CN100478862C - 显示装置和显示方法 - Google Patents

Abstract

在此公开了一种能够同时或交替地显示图像和接收光的显示装置，该显示装置包括：多个布置形成矩阵的显示器件；多个光接收器件，用于接收射到显示屏的光；接收光图像产生单元，用于产生表示接触显示屏或被带到与显示屏非常接近的位置的物体的状态的图像数据；图像处理/评估单元，用于评估物体的位置和大小，以及评估位置和大小的变化；以及命令确定单元，用于识别由操作者输入的命令。在该显示装置中，根据由命令确定单元所识别的命令来执行预定处理。

Description

显示装置和显示方法

技术领域

本发明典型地适用于LCD(液晶显示)装置和/或EL(场致发光)显示装置，涉及一种良好的显示装置和一种良好的显示方法。更具体而言，本发明涉及一种通过显示装置高效且有效地实现操作的技术。

背景技术

相关申请的交叉参考

本发明包含与2005年10月5日在日本专利局提交的日本专利申请JP2005-292605相关的主题，其全部内容被结合于此以作参考。

相关技术的描述

在构造允许仅通过触摸显示装置如TV接收机的显示屏来实现操作的触摸面板中，与显示装置分离的触摸面板被叠加在显示屏上。

作为使用这种分离触摸面板的典型构造，存在一种包括粘在显示屏上透明并且薄的输入检测装置的结构。作为用于检测显示屏上触摸的装置，触摸面板已经投入实际使用。投入实际使用的触摸面板尤其可以是用于检测压力变化的电阻膜型的触摸面板，或者是用于检测静电电信号的静电容型的触摸面板，该信号根据与人体的接触而改变。然而，这些触摸面板基本上仅能够检测表面上一个点的位置，而不能够同时检测多个点的位置。因此，使用这种触摸面板的操作输入装置通常采用一种将操作者所发出的命令识别为基于触摸点方法的命令的方法，该触摸点方法用于将操作者所发出的操作命令识别为基于点的位置随时间流逝而变化的命令。

日本专利公开No.2004-336597公开了一种操作输入接受装置，该装置用于接受表示命令位置在显示屏的二维方向上的移动的输入，基于显示位置的坐标从移动开始到移动结束的变化来识别操作者所发出的操作命令的内容，以及执行根据所识别的命令内容的过程。

发明内容

为了使通过显示装置所实现的操作易于理解并且可以高度有效地执行，提供了一种有效的方法，该方法作为一种允许通过触摸显示装置的显示屏来给出操作命令的方法而被采用。

为了解决由这些触摸面板引起的问题，想到了一种触摸面板，该触摸面板被分段以允许检测多个触摸点。然而，该方法仅能够检测在触摸面板每段的有限范围中的一个触摸点。也就是说，难以检测在显示屏的任意位置上的多个触摸点。此外，还设计出一种触摸位置检测装置，该装置被使得能够通过提供多个采用红外检测技术的检测单元来检测多个触摸点的位置。然而，在这种触摸位置检测装置的情况下，必须在显示屏的外部提供检测单元来作为实现该装置的需求之一。因此，该触摸位置检测装置引起了下述问题：该装置的大小不可避免地增大了，并且该装置自身也变复杂了。

为了解决上述问题，本发明的发明人已经设计出一种显示装置，该显示装置通过检测在显示装置中使用的显示屏上的多个触摸位置来允许操作者实现高级的输入操作，并且持续监视每个位置的坐标和大小。

为了解决上述问题，本发明提供一种显示装置，该显示装置能够：通过使用多个在显示屏上布置形成矩阵的显示器件来在显示装置中所使用的显示屏上显示图像；基于由每个光接收器件输出的接收光信号来获得接触显示屏或带到与显示屏非常接近的位置的每个物体(substance)的图像，每个光接收器件位于与显示器件之一非常接近的位置；通过使用所获得的物体图像来持续监视接触显示屏或被带到与显示屏非常接近的位置的每个物体的位置和大小；以及根据监视的位置和监视的大小的变化而执行过程。

通过向显示装置提供上述构造，由操作者发出的命令能够基于多个目标的每个的位置和大小变化而被识别，每个目标对应于接触在显示装置中所使用的显示屏或带到与显示屏非常接近的位置的物体，并且根据所识别的命令可以执行各种过程。

根据本发明，各种处理可以根据多个目标的每个的位置和大小变化而被执行，每个目标对应于接触在显示装置中所使用的显示屏或被带到与显示屏非常接近的位置的物体。因此，能够增加在显示屏上执行的操作类型的数量，从而允许在显示屏上执行高级操作。

附图说明

图1是示出本发明所提供的信息处理系统的典型功能结构的功能框图；

图2是示出在图1所示的信息处理系统的图像输入/输出装置中使用的命令识别/发出单元的详细的典型功能结构的框图；

图3是示出根据本发明一个实施例的显示装置的典型结构的框图；

图4是示出根据本发明一个实施例的表示/接收光显示面板的典型结构的框图；

图5是示出根据本发明一个实施例的像素的典型结构的图；

图6是示出根据本发明一个实施例在帧周期过程中发出图像的光(或显示图像)和接收图像的光的典型定时的定时图；

图7是示出根据本发明一个实施例在显示装置上执行操作(1)的手指的说明图；

图8示出表示根据本发明一个实施例的从接收光图像中识别操作命令所执行的典型图像处理的流程图；

图9示出表示在图8所示的流程图的步骤处执行的计算每个接触部面积的第一图像处理的典型细节的流程图；

图10是示出由图9中所示的流程图表示的图像处理的典型结果的图；

图11是示出由图9中所示的流程图表示的图像处理的典型结果的图；

图12是示出由图9中所示的流程图表示的图像处理的典型结果的图；

图13是示出由图9中所示的流程图表示的图像处理的典型结果的图；

图14是示出由图9中所示的流程图表示的图像处理的典型结果的图；

图15是示出由图9中所示的流程图表示的图像处理的典型结果的图；

图16示出由图9中所示的流程图表示的图像处理的典型结果的图；

图17示出表示在图8所示的流程图的步骤处执行的计算每个接触部位置的第二图像处理的典型细节的流程图；

图18是示出由图17中所示的流程图表示的图像处理的典型结果的图；

图19是示出由图17中所示的流程图表示的图像处理的典型结果的图；

图20是示出由图17中所示的流程图表示的图像处理的典型结果的图；

图21是示出根据本发明一个实施例在显示装置上执行操作(2)的手指的说明图；

图22示出表示根据本发明一个实施例从接收光图像中识别操作命令所执行的典型图像处理(2)的流程图；

图23是示出根据本发明一个实施例在显示装置上执行操作(3)的手指的说明图；

图24示出表示根据本发明一个实施例从接收光图像中识别操作命令所执行的典型图像处理(3)的流程图；

图25示出表示在图24所示的流程图的步骤S108处执行的确定过程的典型细节的流程图；

图26是示出由图25中所示的流程图表示的图像处理的典型结果的图；

图27是在描述为什么执行图25中所示的流程图的步骤108g至108j的原因时所参考的说明图；

图28是示出在图24中所示的流程图的步骤S114处执行的确定过程的典型结果的图；

图29是表示在图24中所示的流程图的步骤S114处执行的确定过程的典型细节的流程图；

图30是在描述典型确定技术时所参考的说明图，该确定技术在图24所示的流程图的步骤S120处执行的确定过程中被采用；

图31示出在图24所示的流程图的步骤S120处执行的确定过程的典型细节的流程图；

图32是示出由图31所示的流程图表示的处理的典型结果的图；

图33是在描述在图24中所示的流程图的步骤S122处执行的确定过程的典型物体时所参考的说明图；

图34是在描述在图24中所示的流程图的步骤S122处执行的确定过程的典型物体时所参考的说明图；

图35是在描述在图24中所示的流程图的步骤S122处执行的确定过程的典型物体时所参考的说明图；

图36是示出由本发明的实施例产生的典型后操作显示屏(1)的说明图；

图37是示出根据本发明一个实施例在显示装置上执行操作(4)的手指的说明图；

图38示出根据本发明一个实施例从接收光图像中识别操作命令所执行的典型图像处理(4)的流程图；

图39是示出由本发明的实施例产生的典型后操作显示屏(2)的说明图；

图40是示出根据本发明一个实施例在显示装置上执行操作(5)的手指的说明图；

图41示出表示根据本发明一个实施例从接收光图像中识别操作命令所执行的典型图像处理(5)的流程图；

图42是示出由本发明的实施例产生的典型后操作显示屏(3)的说明图；

图43示出根据本发明一个实施例从接收光图像中识别操作命令所执行的典型图像处理(6)的流程图；以及

图44是示出为了执行本发明所应用的处理而执行软件的个人计算机的典型结构的框图。

具体实施方式

如下通过参考图1至44解释本发明的优选实施例。

图1是示出本发明所提供的信息处理系统的典型功能结构的功能框图。

图1所示的信息处理系统包括图像输入/输出装置1和信息处理装置2，它们用作应用本发明的图像处理装置。

图像输入/输出装置1能够显示自身产生的图像或者从信息处理装置2接收的图像，以作为由操作者能够识别的图像。图像输入/输出装置1还将各种信息比如用于获取预定图像的命令适当地输出给信息处理装置2。

更详细地说，图像输入/输出装置1具有包括从显示图像产生单元11到命令识别/发出单元17的范围的部件的结构。

显示图像产生单元11是用于产生要在显示单元13上显示的静止或运动图像的图像数据、并将所产生的图像数据提供给显示控制单元12的部件。应该注意，在下面的描述中，静止和运动图像都被简称为图像，它在不必将静止和运动图像进行相互区分的情况下被用作这两种图像的通用技术术语。

此外，如果需要，显示图像产生单元11与信息处理装置2交换各种信息。稍后将描述在显示图像产生单元11和信息处理装置2之间交换的信息的例子。

显示控制单元12是用于将从显示图像产生单元11接收到的图像数据转换为具有可在显示单元13上显示的格式并具有关于正确显示定时的信息的数据、以及将待显示的数据提供给显示单元13的部件。显示单元13是用于将从显示控制单元12接收到的图像数据在显示屏上显示为能被操作者识别的图像的部件。结果，操作者能够观看和识别所显示的图像。

光接收单元14是具有包括多个布置形成矩阵的光接收器件的结构的部件。每个光接收器件将根据所接收光的量的信号输出给接收光图像产生单元15。根据所接收光的量的信号在下文中被称为接收光信号。

光接收单元14通常设置在与显示单元13相同的平面上，或者叠加在显示单元13上。因此，当显示单元13显示图像时，光接收单元14接收到达显示单元13的光。

换句话说，当操作者观看在显示单元13上显示的图像时，该操作者能够将基于光的命令给予显示单元13。在那时，命令的光被提供给在光接收单元14中所使用的光接收器件，并且每个光接收器件输出具有根据该命令的电平的接收光信号。在此情况下，基于光的命令是由具有一定量的到达光表示的命令，该量至少通过在光接收单元14中所使用的一部分光接收器件而改变。到达光的量的变化幅度、变化率、变化的方向以及变化的其它属性未被特别规定。量变化方向的例子是从明亮级变化为黑暗级和从黑暗级变化为明亮级。存在多种均基于光的命令。例如，光通量增加命令或光通量减少命令可用作基于光的命令。光通量增加命令是通过将外部源所产生的光照射到光接收单元14而引起的命令。光通量减少命令被给出为作为切断外部源所产生的光的结果而获得的阴影。此外，基于光的命令可以是用来自显示单元13的光表示的命令，该光是作为到达显示单元13的光的反射的结果而获得的光，而不是用外部源所产生的光表示的命令。

接收光图像产生单元15是用于基于在光接收单元14中所使用的每个光接收器件输出的接收光信号而产生一幅静止图像的图像数据、并将该数据提供给目标检测单元16的部件。在下面的描述中，静止图像的图像数据被称为接收光图像数据。更精确地说，由于在光接收单元14中所使用的光接收器件顺序地输出接收光信号，因此接收光图像产生单元15持续地产生数条接收光图像数据，并将这些条的接收光图像数据以产生的次序顺序地提供给目标检测单元16，每条数据被提供用于一幅静止图像。也就是说，假设一条接收光图像数据是一场或一帧。在此情况下，接收光图像产生单元15产生包括多个场或帧的运动图像的流数据，并将该流数据提供给目标检测单元16。换句话说，在下面的描述中，接收光图像是指场或帧。

目标检测单元16是用于检测至少一个来自接收光图像数据的目标的部件，所述接收光图像数据是从接收光图像产生单元15接收的。

在此情况下，目标是根据预定规则形成的区域，以作为接收光图像中的区域。例如，接收光图像具有包括多个像素的结构。在此情况下，根据预定规则连接的一个或多个像素的集合是典型的目标。在下面的描述中，这样的集合被称为连接元素。

目标检测单元16进一步产生有关每个目标的各种信息。有关目标的信息在下文被称为目标信息。有关目标的信息通常为目标的属性。更具体地说，目标的属性通常包括目标重心的坐标、目标几何中心的坐标、目标的面积和目标的形状。也就是说，目标检测单元16输出每个目标的属性作为目标信息。

目标检测单元16将目标信息提供给命令识别/发出单元17。

应该注意：没有特别要求目标检测单元16具有产生目标信息的功能。也就是说，代替在目标检测单元16中提供产生目标信息的功能，该功能还可以被结合在命令识别/发出单元17。在此情况下，目标检测单元16检测目标，并将检测结果提供给命令识别/发出单元17。然后，命令识别/发出单元17基于检测结果产生目标信息。

在任一情况下，命令识别/发出单元17是用于识别由操作者给予显示单元13的操作命令以作为基于光的命令的部件，也就是用于识别给予图像输入/输出装置1的操作命令的部分，并将对应于操作命令的内部命令输出给显示图像产生单元11。

应该注意：稍后将通过参考图2解释命令识别/发出单元17和典型命令的细节。

当命令识别/发出单元17如上所述输出内部命令给显示图像产生单元11时，显示图像产生单元11根据命令产生新图像数据以作为用于更新在显示单元13上显示的数据，并将该数据提供给显示控制单元12。这样，在显示单元13上显示的图像就通过内部命令进行更新。

应该注意：显示图像产生单元11也可以传递从命令识别/发出单元17接收到的内部命令给信息处理装置2，而不产生通过自身显示的图像数据。在此情况下，信息处理装置2根据从显示图像产生单元11接收到的内部命令改变将被显示的图像数据，并将该数据提供给显示图像产生单元11。也就是说，信息处理装置2产生将被显示的新图像数据，并将该数据提供给显示图像产生单元11。然后显示图像产生单元11传递将被显示的图像数据给显示控制单元12。同样，在显示单元13上显示的图像通过内部命令进行更新。换句话说，产生将被显示的图像数据的功能不必被包含在图像输入/输出装置1中，但是可以被结合在图像输入/输出装置1外部的信息处理装置2中。

应该注意：根据显示单元13的屏幕显示状态，存在必须仅在某个时间发出命令的情况。这种情况的例子是软件按钮出现在显示屏的右边缘上的情况。在此情况下，命令识别/发出单元17可以通过显示图像产生单元11提供目标信息给信息处理装置2，而不识别操作命令，并且信息处理装置2可识别命令。作为可选方案，信息处理装置2或显示图像产生单元11识别显示屏上软件按钮的位置的坐标，或者确定软件按钮是否存在，并如图中由虚线箭头所示将识别结果或确定结果提供给命令识别/发出单元17。新命令的定义就被新添加，并且命令识别/发出单元17确定该命令是否已被发出。

图2是示出图1中所示的信息处理系统的图像输入/输出装置1中所使用的命令识别/发出单元17的详细典型功能结构的框图。

图2中所示的命令识别/发出单元17具有包括从检测结果保存单元21到命令发出单元27的范围的部件的结构。

从目标检测单元16接收到的目标信息被提供给检测结果保存单元21、时间位置改变命令识别单元22、位置关系命令识别单元23、形状命令识别单元24和复合命令识别单元25。

命令定义保存单元26是用于保存基于从目标检测单元16接收到的目标信息来识别由操作者输入给图像输入/输出装置1的操作命令的一个或多个条件的部件。

在本实施例中，下面四种类型的操作命令是根据目标信息的类型定义的。

第一种类型的操作命令是基于在目标信息中包含的目标形状而被识别为目标的形状的命令。在下面的描述中，第一种类型的操作命令被称为形状类型命令。

第二种类型的操作命令是基于在目标信息中包含的目标坐标系位置而被识别为目标位置的坐标的命令。第二种类型的操作命令可以是基于仅有一个目标的坐标系位置而识别的命令或者是基于多个目标的坐标系位置而识别的命令。在下面的描述中，第二种类型的操作命令被称为位置关系类型命令。

第三种类型的操作命令是基于在目标信息中包含的目标时间位置变化而被识别为随时间流逝的目标位置变化的命令。如上所述，接收光图像产生单元15顺序地产生沿时间轴持续的数条接收光图像数据。更具体地说，第三种类型的操作命令是基于在两个或更多个特定接收光图像中相同目标的坐标系位置变化之间的关系而被识别的命令，这些特定接收光图像被包含在对应于产生的数条接收光图像数据的接收光图像中以作为具有时间差的接收光图像。在下面的描述中，第三种类型的操作命令被称为时间位置变化类型命令。

第四种类型的操作命令是基于至少包括目标形状、目标位置的坐标和随时间流逝的目标位置变化中的两个的复合而被识别的命令，它们作为目标形状、目标位置的坐标和随时间流逝的目标位置变化被分别包含在目标信息中。在下面的描述中，第四种类型的操作命令被称为复合类型命令。

下面的描述按照在此列举它们的次序单独地解释了形状类型命令、位置关系类型命令、时间位置变化类型命令和复合类型命令的细节。

首先，如下解释形状类型命令。

目标的一个或多个形状与形状类型命令相关，并且每个使目标形状与命令相关的关系作为条件被保存在命令定义保存单元26中。形状命令识别单元24从目标检测单元16中所接收到的目标信息中获取目标形状，并将该形状与保存在命令定义保存单元26中的条件进行核对。如果匹配目标形状的特定条件被保存在命令定义保存单元26中，那么形状命令识别单元24将操作者所输入的操作命令识别为对应于匹配目标形状的特定条件的形状类型命令或者识别为由匹配特定条件的目标形状表示的形状类型命令。然后，形状命令识别单元24将命令识别结果通知给命令发出单元27。

在此情况下，目标形状是一个概念，该概念不仅包括诸如圆形和矩形形状之类的目标形状，而且包括其它目标属性，比如目标的预定部分的长度和宽度、目标的大小或面积、或者圆形和矩形形状与其它属性的组合。

应该注意：如上所述，目标的面积被认为是目标的形状。基于目标的面积而识别的典型形状类型命令稍后将通过参考附图比如图40进行解释。

接着，如下解释位置关系类型命令。

位置关系类型命令与一个目标位置的坐标或多个目标位置坐标之间的预定关系相关。使位置关系类型命令与一个目标位置坐标相关的关系或者使位置关系类型命令与多个目标位置坐标之间的预定关系相关的关系作为条件被保存在命令定义保存单元26中。位置关系命令识别单元从目标检测单元16所接收到的目标信息中获取一个目标位置的坐标或者多个目标位置坐标之间的关系，并将该目标位置的坐标或者多个目标位置坐标之间的关系与保存在命令定义保存单元26中的条件进行核对。如果匹配一个目标位置的坐标或者多个目标位置坐标之间的关系的特定条件被保存在命令定义保存单元26中，位置关系命令识别单元23就将操作者所输入的操作命令识别为对应于匹配一个目标位置的坐标或者多个目标位置坐标之间的关系的特定条件的位置类型命令，也就是，由匹配特定条件的目标位置或位置间关系表示的位置关系类型命令。然后，位置关系命令识别单元23将命令识别结果通知给命令发出单元27。

应该注意：目标位置并不限于目标的特定部分的位置，而可能是与目标相关的任何位置，只要该位置能够用于在接收光图像中唯一地识别该目标。例如，目标重心、目标几何中心或目标的预定边缘的坐标可被用作该目标位置的坐标。还值得注意的是：如果接收光图像产生单元15所产生的接收光图像包括多个像素，那么在接收光图像中预定像素的位置坐标就被用作目标位置的坐标。

多个目标的位置坐标之间的预定关系是广义的概念，它包括位置坐标之间的位置关系(也就是，点之间的绝对位置关系)、接收光图像中的点之间的相对位置关系或者绝对与相对位置关系的组合。

更具体地说，用作点之间的绝对位置的在先关系通常是基于点之间的绝对距离的关系，或者是基于作为对点进行相互连接的结果而形成的形状的关系。应该注意，稍后参考图38所示的流程图的描述解释了一种典型情况，即点之间的绝对距离被用作点之间的绝对位置关系，以及位置关系类型命令根据基于点之间的绝对距离的关系进行识别。此外，稍后参考图8和22所示的流程图的描述解释了一种典型的特定情况，即作为对点进行相互连接的结果而形成的形状被用作点之间绝对位置关系，以及位置关系类型命令根据基于作为对点进行相互连接的结果而形成的形状的关系进行识别。在这种特定情况下，点被对直以几乎形成在垂直或水平方向上定向的直线。

接着，如下解释时间位置变化类型命令。

随时间流逝的目标位置的变化与时间位置变化类型命令相关，并且在随时间流逝的目标位置的变化与该命令之间的关系作为条件被保存在命令定义保存单元26中。时间位置变化命令识别单元22从目标检测单元16接收到的目标信息中获取一个目标的位置的坐标以及从存储在检测结果保存单元21中的目标信息中获取相同目标的一个或多个先前位置的坐标。然后时间位置变化命令识别单元22识别从目标检测单元16中接收到的目标信息中获取的坐标与从存储在检测结果保存单元12中的目标信息中获取的坐标之间随时间流逝的变化。随后，时间位置变化命令识别单元22将随时间流逝的位置变化与保存在命令定义保存单元26中的条件进行核对。如果匹配随时间流逝的目标位置变化的特定条件被保存在命令定义保存单元26中，那么时间位置变化命令识别单元22将操作者所输入的操作命令识别为对应于匹配随时间流逝的目标位置变化的特定条件的时间位置变化类型命令，也就是，由匹配特定条件的目标时间位置变化表示的时间位置变化类型命令。然后，时间位置变化命令识别单元22将命令识别结果通知给命令发出单元27。

应该注意：目标位置的上述坐标基本上与由位置关系命令识别单元23作为目标位置的坐标使用的坐标相同。

由目标检测单元16作为目标位置的坐标提供的这些坐标是在组成运动图像的多个接收光图像中选择的接收光图像上的位置坐标。所选择的接收光图像在下文被称为观察的接收光图像，它是用作应该被集中注意力的所处理目标的图像。通常，组成运动图像的接收光图像均是一场或一帧。另一方面，作为相同目标的先前位置的坐标而从检测结果保存单元21中接收到的坐标是比观察的接收光图像更早处理的接收光图像上的位置的坐标。

也就是说，每当接收光图像产生单元15产生接收光图像数据，并且目标检测单元16检测到来自产生数据的目标，检测结果保存单元21就更新目标信息。因此，时间位置变化命令识别单元22能够将最不新(least recent)的数据与紧接在最不新数据之前的数据进行比较。最不新数据是在观察的接收光图像上的目标位置的坐标，而紧接在最不新数据之前的数据是紧接在观察的接收光图像之前的接收光图像上相同目标的位置的坐标。不用说，检测结果保存单元21可用于存储不仅是紧接在观察的接收光图像之前的接收光图像上相同目标的位置的坐标，而且是紧接在观察的接收光图像之前的接收光图像前面紧接的接收光图像上相同目标的位置的坐标。事实上，检测结果保存单元21能够用于存储在多个均在观察的接收光图像之前的先前接收光图像上相同目标的位置坐标。在此情况下，时间位置变化命令识别单元22能够将在观察的接收光图像上目标的位置的坐标与紧接在观察的接收光图像之前一个预定时间周期的接收光图像上相同目标的位置坐标进行比较。

由时间位置变化命令识别单元22作为随时间流逝的目标位置的变化识别的变化并不特别局限于根据预定信息表示的变化，而可以是根据任何信息表示的变化，只要该信息能够用于表示随时间流逝的目标位置变化。例如，随时间流逝的目标位置变化能够用目标的移动方向、目标移动的长度、或者表示移动的长度和方向组合的移动矢量来表示。

应该注意：稍后参考图24所示的流程图的描述解释了一种识别时间位置变化命令的典型情况。还值得注意的是：更准确地说，由稍后通过参考图24解释的流程图表示的典型情况是一种识别时间位置变化类型命令的情况，该时间位置变化类型命令对应于在流程图的步骤S120处执行的确认过程中确认的条件和在同一流程图的步骤S123处执行的识别过程中识别的条件的组合。在步骤S120处执行的确认过程中确认的条件是一种要求三个点近似位于一个圆的圆周上的条件。另一方面，在步骤S123处执行的识别过程中识别的条件是一种放大或者缩小显示屏的请求。

接着，如下解释复合类型命令。

复合类型命令与一种建立来表示至少包括目标类型、目标位置的坐标和随时间流逝的目标位置的变化中的两个的复合的条件相关。这些条件被保存在命令定义保存单元26中。复合命令识别单元25对一个目标从目标检测单元16中获取各种目标信息，并且如果需要，对相同目标从检测结果保存单元21中获取过去的目标信息。过去的目标信息包括目标先前位置的坐标。然后复合命令识别单元25从数条目标信息中产生该目标的上述复合。随后，复合命令识别单元25将该复合与保存在命令定义保存单元26中的条件进行核对。如果匹配该复合的特定条件被保存在命令定义保存单元26中，那么复合命令识别单元25就将操作者所输入的操作命令识别为对应于匹配该复合的特定条件的复合类型命令。然后，复合命令识别单元25将命令识别的结果通知给命令发出单元27。

如上所述，命令定义保存单元26用于保存作为与主要从目标检测单元16中接收到的目标信息进行比较的条件的定义，以便确定操作者所输入的操作命令是否是预定类型的命令。命令定义保存单元26能够用于不仅保存预先设定的定义，而且保存基于作为由操作者执行操作的结果而产生的目标信息的新定义。这些新定义是通过从时间位置变化命令识别单元22到复合命令识别单元25的范围内的部件提供给命令定义保存单元26的，如在从这些部件到命令定义保存单元26的方向上由所画的箭头所示。此外，新定义也能从显示图像产生单元11或者信息处理装置2提供给命令定义保存单元26以保存在命令定义存储单元26中，如在从显示图像产生单元到命令定义保存单元26的方向上所画的箭头所示。当需要将目标信息与出现在显示器33上的屏幕显示的状态进行比较时，所述状态比如是软件按钮如早先所述出现在显示屏的右边缘上的情况，命令定义保存单元26就接收这样的新定义。

命令发出单元27执行内部命令，该内部命令对应于通过从时间位置变化命令识别单元22到复合命令识别单元25范围中任何一个部件识别的操作命令，以便在显示图像产生单元11上执行过程。

应该注意：命令发出单元27还能够执行复合命令识别单元25的功能。在此情况下，命令发出单元27全部检查时间位置变化命令识别单元22到形状命令识别单元24的识别结果，以便最终确定由操作者发出的操作命令的内容，并基于所确定的内容来发出最终的内部命令。然后，命令发出单元27提供该最终的内部命令给显示图像产生单元11。特别是，如果操作命令同时满足作为条件的目标形状、目标位置的坐标和随时间流逝的目标位置的变化中的至少两个时，命令发出单元27就起下述作用，即基于解释所满足条件的结果将复合类型内部命令作为最终命令发出给显示图像产生单元11。

图1和2中所示的每个功能框可以被构造为硬件或软件单元。作为可选方案，功能框也能够被构造为硬件和软件的组合。此外，图1和2中所示的每个功能框也能够被构造为与另一功能框结合起作用的框，即使这样的连接框未在图中示出。相反，图1和2中所示的每个功能框也能够被分成多个功能子框。

图3至43中所示的实施例均是将具有图1所示结构的图像输入/输出装置1应用于构造为液晶显示单元的显示装置的实施例。在每个实施例中，光接收器件设置在邻近组成液晶显示单元的每个发光器件的位置上以提供一种能够并行执行发光过程(或显示过程)和光接收过程(或数据读取过程)的实施例。在此情况下，通过能够并行执行发光过程(或显示过程)和光接收过程(或数据读取过程)的实施例实施的显示单元被称为表示/接收光显示单元。也就是说，实施显示单元13和光接收单元14的组合的实施例被称为表示/接收光显示单元，其中显示单元13和光接收单元14被用于图1所示的图像输入/输出装置1中。此外，正如稍后所述，通过该实施例实施的表示/接收光显示单元不仅能够检测处于与该单元的显示屏接触的状态的触摸物体，而且能够检测处于接近屏幕的状态的物体。在下面的描述中，检测与表示/接收光显示单元的显示屏接触的触摸物体也意味着检测接近屏幕的物体，除非另有说明。

图3是示出根据一个实施例的显示装置的典型结构的框图。根据该实施例，显示装置包括：输入/输出处理单元101，用于执行该装置的输入/输出过程；以及文档处理单元102，用于编辑信息，比如在该装置的显示屏上显示的文本。

输入/输出处理单元101包括显示信号产生单元110、信号控制单元111、显示信号驱动器112、接收光信号接收器113、接收光图像产生单元114、图像处理/评估单元115、命令确定单元116、显示/接收光面板单元120、显示侧扫描器127和接收光侧扫描器128。显示信号产生单元110是一种用于产生显示信息所使用的显示数据、并将该显示数据提供给信号控制单元111的部件。将被显示的信息包括由文档处理单元1请求的文档和由另一应用请求的图像。信号控制单元111传递显示数据给显示信号驱动器112。显示信号驱动器112是一种用于驱动显示/接收光面板单元120以显示诸如图像之类的信息的驱动器。

显示/接收光面板单元120也被称为表示/接收光显示面板，它是一种被构造为通常包括透明电极的液晶显示单元的部件，该透明电极设置在诸如玻璃平面之类的透明板上。更具体地说，用于显示/接收光面板单元120中的透明电极是一种具有多个像素的电极，所述像素被布置在用作传感区域的显示区域121的表面上以形成像素矩阵。显示区域121(传感区域)本身在图4中示出。每个像素用作显示器件。未在图中示出的背光设置在显示区域121(传感区域)的背面上。在本实施例的情况下，背光是发光二极管的矩阵。该背光能够执行控制以用相对较高的速度打开和关闭背光束。背光通过将控制与由显示信号驱动器112执行的驱动操作进行互锁来执行打开和关闭背光束的控制。显示信号驱动器112通过将驱动电压信号施加于构成显示单元中使用的电极的每个像素来驱动用作液晶显示单元的显示/接收光面板单元120。

显示/接收光面板单元120除了显示器件外还包括多个光接收器件。通常，光接收器件均设置在邻近像素的位置上，所述像素位于显示区域(或传感区域)121上以用作显示器件，从而形成矩阵。接收光信号接收器113是一种用于从光接收器件读出信号电荷以作为每个表示累积在光接收器件中接收光的量的数量的部件。

信号控制单元111是一种用于如上所述将从显示信号产生单元110接收到的显示数据传递给显示信号驱动器112、并将驱动命令给予显示侧扫描器127和光接收侧扫描器128的部件，所述显示侧扫描器127和光接收侧扫描器128用于控制显示器件和光接收器件的扫描线。

如上所述，接收光信号接收器113是一种读出由显示/接收光面板单元120接收到的光作为接收光信号、并将该信号提供给接收光图像产生单元114的部件。接收光图像产生单元114是一种用于基于从接收光信号接收器113接收到的接收光信号产生通常表示物体状态的图像数据的部件，该物体已经与显示屏形成接触或正接近屏幕。接收光图像产生单元114具有用作帧存储器的存储单元。该帧存储器用于存储一帧的图像数据。帧存储器本身没有在附图中示出。接收光图像产生单元114提供图像数据给图像处理/评估单元115。图像处理/评估单元115是一种用于处理数据的部件。图像处理/评估单元115处理该图像数据以便识别对应于该物体的目标属性，该物体已经与显示屏形成接触或正接近屏幕。目标的属性包括目标的形状、大小和位置变化。在识别目标属性的过程中，为了检测接触状态的变化或接近状态的变化，图像处理/评估单元115还从在当前过程之前一帧的识别过程中产生的识别结果中发现差异。此外，在本实施例的情况下，图像处理/评估单元115还识别与屏幕上多个位置接触的状态。图像处理/评估单元115输出识别结果给命令确定单元116。命令确定单元116是一种用于基于从图像处理/评估单元115接收到的识别结果来识别什么操作命令已经被输入/输出处理单元101接收到的部件。命令确定单元116提供命令识别的结果给显示信号产生单元110。显示信号产生单元110根据正被执行的应用来执行预定的过程。如下解释一个具体过程状态的例子。

如上所述，输入/输出处理单元101是一种图1所示的典型的图像输入/输出装置1。更具体地说，显示信号产生单元110是一种用于实现显示图像产生单元11的功能的典型部件，而信号控制单元111和显示信号驱动器112是一种用于实现显示控制单元12的功能的典型部件。显示/接收光面板单元120可包括显示侧扫描器127和光接收侧扫描器128，它是一种显示单元13和光接收单元14的典型组合。与接收光图像产生单元114结合工作的接收光信号接收器113是一种典型的接收光图像产生单元15。图像处理/评估单元115主要用作典型的目标检测单元16，而命令确定单元116主要用作典型的命令识别/发出单元17。表达图像处理/评估单元115主要用作典型的目标检测单元16而命令确定单元116主要用作典型的命令识别/发出单元17的语句意味着，图像处理/评估单元115可在一些情况下执行命令识别/发出单元17的一些功能。

接着，通过参考图4解释在显示/接收光面板单元120中使用的驱动器/接收器的典型布置。如图3所示，图像数据根据由显示信号驱动器112为驱动显示/接收光面板单元120而执行的操作出现(或显示)在显示/接收光面板单元120中。另一方面，图像数据根据由接收光信号接收器113为读取显示/接收光面板单元120而执行的操作从显示/接收光面板单元120中被接收(或读出)。显示信号驱动器112和接收光信号接收器113中每个的实际构造被实施为两个单元，这两个单元分别在水平和垂直方向上进行定向以便处理二维图像。

如图4所示，显示/接收光面板单元120包括在显示/接收光面板单元120中心的透明显示区域(或透明传感区域)121。在显示区域(或传感区域)121的四个边缘面上，分别设置显示H驱动器122、显示V驱动器123、传感V接收器124和传感读取H接收器125。显示信号和控制时钟信号作为显示数据被提供给显示H驱动器122和显示V驱动器123，并且用于驱动显示像素，所述像素被布置在显示区域(传感区域)121上以形成矩阵。读取时钟信号被提供给传感V接收器124和传感读取H接收器125，以及由传感V接收器124和传感读取H接收器125产生的接收光信号与读取时钟信号通过接收光信号线被同步地提供给接收光图像产生单元114。

图5是示出位于显示区域(传感区域)121上的像素的典型结构的图。参考数字131表示由像素形成的显示器。显示单元131的结构包括在水平方向上定向的栅极线131h和在垂直方向上定向的漏极线131i。开关器件131a设置在栅极线131h和漏极线131i相交的点上。开关器件131a被连接到像素电极131b。开关器件131a通过控制信号进行控制，该控制信号是作为接通和关断开关器件131a的信号通过栅极线131h提供给它的。在开关器件131a接通时，通过漏极线131i提供给开关器件131a的信号在像素电极131b中设定显示状态。

也被称为光接收器件的光接收传感器131c设置在邻近像素电极131b的位置上。电源电压Vdd被提供给光接收传感器131c。光接收传感器131c(或光接收器件)被连接到复位开关131d和电容器131e。在电容器131e通过接通的复位开关131d复位后，对应于接收光量的电荷聚集在电容器131e上。与聚集在电容器131e上电荷量成比例的电压通过缓冲放大器131f被提供给信号输出电极131j，以输出给具有定时的外部部件，从而接通开关131g。作为控制复位开关131d的信号，由复位电极131k提供的信号接通和关断复位开关131d。另一方面，作为控制开关131g的信号，由控制电极131m提供的信号接通和关断开关131g。

图6是示出在帧周期过程中图像的发光(或显示图像)和接收图像的光的状态的图。图6的水平轴是时间轴，而垂直轴是表示用于显示图像或接收图像的光的扫描线的位置。扫描线也被称为水平线。更新显示信号或读出接收光的过程是通过用屏幕的底线启动并最终用顶线或第一线结束的扫描线进行的。图6示出位于任意帧位置的第n帧的处理和紧接在第n帧之后的第(n+1)帧的处理。

在此情况下，帧周期的长度通常为1/60秒。如图6所示，帧周期分为具有彼此相等长度的第一和第二半。第一半用作接通背光的周期，而第二半用作关断背光的周期。读出接收光信号的过程是在背光接通周期和背光关断周期中执行的。

而且，背光接通周期和背光关断周期均分为具有彼此相等长度的第一和第二半。在第n帧周期中的背光接通周期的第一半期间，显示像素电极的驱动线G1用于在屏幕的下半部上进行扫描，并且该线的显示状态用于更新在帧周期期间出现的图像。另一方面，在第n帧周期中的背光接通周期的第二半期间，扫描线G1未被改变而产生暂停周期。基于同样的理由，在第n帧周期中的背光关断周期的第一半期间，驱动线G1用于在屏幕的上半部上进行扫描，并且该线的显示状态用于更新在帧周期期间出现的图像。另一方面，在第n帧周期中的背光关断周期的第二半期间，扫描线G1未被改变而产生暂停周期。

至于光接收处理，在第n帧周期中的背光接通周期的第一半期间，执行过程RS1以顺序地复位所有线的接收光信号。另一方面，在第n帧周期中的背光接通周期的第二半期间，执行过程RD1以顺序地读出所有线的接收光信号。基于同样的理由，在第n帧周期中的背光关断周期的第一半期间，执行过程RS2以顺序地复位所有线的接收光信号。另一方面，在第n帧周期中的背光关断周期的第二半期间，执行过程RD2以顺序地读出所有线的接收光信号。

如上所述，对于每个帧，执行两个读取过程。第一读取过程是一种在背光接通周期的第二半期间读出接收光信号的过程，该背光接通周期的第二半是所谓的光自发射周期。第二读取过程是一种在背光关断周期的第二半期间读出接收光信号的过程，该背光关断周期的第二半是所谓的光消除周期。为了检测在像素位置的每两个信号之间的差异，在帧的第二读取过程中读出的信号被提供给帧储存器，该帧存储器在光接收单元14中被使用，但是没有在任何一幅附图中示出。然后，表示该差异的信号作为没有噪声的接收光差信号被提供给图像处理/评估单元115。

图7是示出根据本实施例的在显示装置上执行操作的手指的说明图。显示装置的例子被构造为小且薄的显示装置130，它可以由用户(或操作者)容易地携带。显示装置130的结构允许操作者通过使手指f1、f2和f3与在显示装置130的显示/接收光面板单元120中使用的显示区域(传感区域)121的显示屏形成接触来操作显示装置130。当光反射物体比如手指与在显示/接收光面板单元120中使用的显示区域(传感区域)121的显示屏形成接触或者在与显示屏非常接近的位置时，通过在显示/接收光面板单元120上显示的图像发出的光照射到光反射物体上，并通过该物体反射回到显示/接收光面板单元120。通过接收该反射光，就能够确定光反射性物体的形状和位置。如图7的上部所示，当操作者使三个手指f1、f2和f3与显示区域(传感区域)121的右部分显示屏形成接触时，就获得了类似于图7下部所示的接收光图像。该接收光图像示出三个接触部141、142和143。应该注意：更准确地说，类似于图7下部所示的接收光图像是图12所示的图像，以作为稍后通过参考图9至12描述的图像二进制转换过程中产生的图像。

图像处理/评估单元115执行一种从如图7所示的接收光图像中检测多个接触部中每个的形状和位置的过程。然后图像处理/评估单元115提供有关每个接触部的检测形状和位置的信息给命令确定单元116。然后，命令确定单元116是一种用于根据所检测的每个接触部的形状和位置来识别操作命令、并提供所识别的操作命令给显示信号产生单元110的部件。

图8示出表示由图像处理/评估单元115和命令确定单元116执行以从接收光图像中识别操作命令的典型处理的流程图。通过参考该流程图，下面的描述解释基于多个所检测的接触部的位置之间的关系来识别操作者所输入的操作命令的处理。该描述解释了这样的一种情况：作为一种接触部和操作命令之间的关系，在垂直方向上定向并同时与显示屏形成接触的三个手指被预先定义为在该方向上滚动所显示图像的命令。

换句话说，稍后通过参考图8进行解释的流程图表示主要作为位置关系命令识别单元23、命令定义保存单元26和命令发出单元27的功能而执行的典型处理，其中这些部件在图2所示的图像输入/输出装置1的命令识别/发出单元17中被使用，以作为一种被构造成作为图3所示的输入/输出处理单元101中使用的命令确定单元116操作的部件。命令定义保存单元26保存说明在垂直方向上定向并同时与显示屏形成接触的三个手指被解释为一种在该方向上滚动所显示图像的操作命令的定义。基于说明在垂直方向上定向并同时与显示屏形成接触的三个手指被解释为一种在该方向上滚动所显示图像的操作命令的该定义，位置关系命令识别单元23识别一种滚动所显示图像的操作命令。通过参考图8进行解释的流程图表示基于由位置关系命令识别单元23产生的结果从命令发出单元27发出内部命令的典型处理，其中该结果是作为识别操作者所输入的操作命令的过程的结果。

该流程图起始于步骤S101，在该步骤中用于检测接触部的面积的阈值被设定为A。也就是说，位置关系命令识别单元23将产生确定有关操作者的手指、发出操作命令的笔或其它装置是否已经与至少等于阈值A的面积形成接触的结果。该阈值A被设定为经受由操作者通过使任何一个手指、命令笔或其它装置与屏幕部形成接触所执行的操作的屏幕部的面积。然后，在下一步骤S102，获取数据以作为由接收光图像产生单元114所执行的转换接收光信号的过程的结果而获得的接收光图像的数据。在下面的描述中，这种接收光图像的数据被适当地称为图像数据。随后，在下一步骤S103，执行第一图像处理以计算每个接触部的面积。应该注意：在步骤S103执行的第一图像处理稍后将通过参考图9至16进行详细的描述。然后，该处理的流程继续进行到步骤S104以产生确定有关第一图像处理的结果是否表示该图像数据包括面积至少等于阈值A的点的结果。在通过参考图8解释的流程图所表示的处理的解释中提及的点不是指像素，而是指先前提到的目标。也就是说，该点是指稍后通过参考包括图9的图进行描述的连接元素。如果在步骤S104执行的过程中产生的确定结果表示该图像数据包括具有至少等于阈值A的面积的点，那么该处理的流程就继续进行到下一步骤S105。另一方面，如果在步骤S104执行的过程中产生的确定结果表示该图像数据不包括这样的点，那么该处理的流程就返回到步骤S102以获取下一图像数据。在步骤S105，计数分别具有至少等于阈值A的面积的点的数量，以便产生有关该数量是否等于三的确定结果。如果这种点的数量等于三，那么该处理的流程就继续进行到执行下一过程的步骤S107。另一方面，如果这种点的数量小于三，那么该处理的流程就继续进行到执行其它处理的步骤S106。

在步骤S107，执行第二图像处理以确定已经与三个点形成接触的部分的位置之间的关系。应该注意：稍后将通过参考图17至20详细描述在步骤S107执行的第二图像处理。然后，该处理的流程继续进行到下一步骤S108以产生有关三个点的位置是否在垂直方向上大致成直线的确定结果。如果该确定结果表示三个点的位置在垂直方向上大致成直线，那么该处理的流程就继续进行到执行下一过程的步骤S110。另一方面，如果该确定结果没有表示三个点的位置在垂直方向上大致成直线，那么该处理的流程就继续进行到执行其它处理的步骤S109。在步骤S110，为了确定三个点位于屏幕上什么位置，检查在显示屏的垂直方向上大致成直线的位置。如果三个点位于显示屏的左侧位置，该处理的流程就继续进行到将操作命令识别为滚动屏幕到左侧的命令的步骤S111。另一方面，如果三个点位于显示屏的右侧位置，该处理的流程就继续进行到将操作命令识别为滚动屏幕到右侧的命令的步骤S112。

例如，假设操作者使三个手指f1、f2和f3与如图7上部所示的显示区域(传感区域)121的显示屏右边缘形成接触。在此情况下，获得了类似于图7的下部所示的接收光图像，因此，检测到三个接触部141、142和143。在该例子中，假设每个接触部的面积至少等于阈值A，并且三个接触点的位置大致在垂直方向上成直线。由于三个点位于显示屏的右侧，因此屏幕就被滚动到右侧。

接着，下面的描述解释在先前通过参考图8解释的流程图的步骤S103执行的第一图像处理以计算每个接触部面积的细节以及在同一流程图的步骤S107中执行的识别接触部位置之间关系的第二图像处理的细节。该描述从解释第一图像处理开始。

应该注意：在下面的描述中，图像处理/评估单元115被认为是执行在先前通过参考图8解释的流程图的步骤S103中执行的计算每个接触部的面积的第一图像处理以及在同一流程图的步骤S107中执行的识别接触部位置之间关系的第二图像处理的部件。然而，命令确定单元116也可以执行在先前通过参考图8解释的流程图的步骤S103中执行的计算每个接触部面积的第一图像处理的一部分以及在同一流程图的步骤S107中执行的识别接触部位置之间关系的第二图像处理。

图9示出表示在先前通过参考图8解释的流程图的步骤S103中执行的计算每个接触部面积的第一图像处理的细节的流程图。

该流程图从图像处理/评估单元115执行图像二进制转换过程的步骤S103a开始。

更具体地说，例如，假设类似于图10中所示的图像数据是在先前通过参考图8解释的流程图的步骤S102中执行的过程中获得的，以作为接收光图像的数据。该图像数据是在图7上部中所示状态的一个场周期期间重新校准由布置在显示屏上的光接收器件产生的输出的过程的结果。显示屏是在图3中所示的输入/输出处理装置101中使用的显示/接收光面板单元120的显示面。在图10所示的例子中，由光接收器件产生的输出越大，对应于光接收器件的屏幕部的颜色就越白。此外，对应于屏幕部的光接收器件产生大的输出，其中手指与屏幕部形成接触或接近屏幕部。另一方面，不对应于这种屏幕部的光接收器件产生小的输出。

在作为图像数据中的水平线的图10中所示水平线L上的每个像素的信号电平(或亮度)被示出在图11的上部。图像处理/评估单元115通过将水平线上的每个像素的信号电平(或像素值)与图11中的限制电平S进行比较来执行图像二进制转换过程。在图像二进制转换过程中，一的值被分配给信号电平等于或高于限制电平S的像素。另一方面，零的值被分配给信号电平小于限制电平S的像素。图像二进制转换过程的结果在图11的下部示出。应该注意：即使限制电平S在图11所示的例子中是固定的，但是限制电平S也不必为固定值。例如，限制电平S可以作为整个图像数据的平均值而被获得。作为另一种可选方案，限制电平S可以被设定在由滤波器比如平均滤波器从图像数据产生输出的值。

上述的图像二进制转换过程同样对作为接收光图像的数据的图10所示的图像数据的所有水平线进行执行，以给出图12所示的所得图像。也就是说，图12所示的图像类似于图7下部所示的图像，以作为当操作者使三个手指f1、f2和f3与如图7上部所示的显示区域(传感区域)121的显示屏的右边缘形成接触时获得的图像。换句话说，更准确而言，先前通过参考图7解释的三个接触部141、142和143在图12中分别作为区域141、142和143出现，区域141、142和143中的每个包括大量的白色像素，也就是，每个具有像素值为一的像素。

然而，在图12所示的区域141、142和143中每个的内部，也存在黑色像素，也就是，每个具有像素值为零的像素。这里，将每个具有像素值为一的一组像素的区域或包括每个具有像素值为一的像素的连接元素定义为检测目标。然而，在此情况下，图12所示的区域141、142和143中的每个还不能说成是检测目标。应该注意：采用了定义，因为基于该定义，能够容易地产生有关目标的信息。例如，基于该定义，计算目标面积的过程能够在稍后描述的步骤S103e中容易地执行。作为另一个例子，基于该定义，计算目标重心位置的过程能够容易地执行，正如稍后将通过参考图17至20所述的那样。

然后，进一步执行通过参考图9解释的流程图的步骤S103b至S103d的过程，以检测对应于图12所示的区域141、142和143的目标(或连接元素)。

更具体地说，在图3所示的输入/输出处理单元101中使用的图像处理/评估单元115执行在步骤S103b中除去噪声的过程、在步骤S103c中除去孤立点的过程以及在步骤S103d中标记分配过程。通过执行这些过程，有可能产生每个用作图12所示的区域141、142或143的目标的候选的一些连接元素。

应该注意：因为下列原因而在步骤S103b中执行除去噪声的过程。

在许多情况下，作为由在图3所示的输入/输出处理单元101中使用的接收光图像产生单元114所输出的图像数据的图10所示的图像数据包括由在显示/接收光面板单元120中使用的光接收器件的变化引起的以及由该器件的周围环境引起的噪声。即使在步骤S103a中执行的图像二进制转换过程后，这些噪声可能仍保留在图像数据中。如果许多噪声保留在图像数据中，那么在步骤S103c中执行的除去孤立点的过程以及在步骤S103d中执行的标记分配过程的处理量在一些情况下将大大增加。为了防止处理量的增加，在步骤S103b中执行除去噪声的过程。

已经提出了多种方法以作为每个被提供为除去噪声的过程的方法，并且可以采用所提出方法中的任何一种。本实施例采用了一种如下所述的方法。根据所采用的该方法，检查包围一个像素的一些像素的状态，该像素是作为处理目标而被观察的，并且所检查的状态被用作确定所观察像素的像素值的基础，所观察像素是作为处理目标进行观察的像素。

在本方法的情况下，例如，建立下面的规则。有八个像素包围一个所观察的像素。如果包围所观察像素的黑色像素的数量为一或零，那么所观察像素的像素值就被设定为一，或者所观察像素就被认为是白色像素。如早先所述，黑色像素是具有像素值为零的像素。另一方面，如果包围所观察像素的黑色像素的数量至少为五，那么所观察像素的像素值就被设定为零，或者所观察的像素就被认为是黑色像素。如果包围所观察像素的黑色像素的数量等于或大于二，但是等于或小于四，那么所观察的像素值就保持原状。也就是说，由于所观察的像素已经过图像二进制转换过程，那么所观察的像素的像素值就保持为零或一。

在上述规则的实施中，在图3所示的输入/输出处理单元101中使用的图像处理/评估单元115将每个像素对待为所观察的像素，所述像素组成作为图像二进制转换过程的结果而获得的接收光图像，并根据上述规则确定每个所观察的像素的像素值。应该注意：一种选择每个所观察的像素的方法未被特别规定。例如，有可能采用这样一种方法，由此所观察的像素可以按照从在朝着右侧的方向上接收光图像的右/上角的像素开始的次序逐个地顺序进行选择，在当前行(水平线)的右端边缘的像素已经作为所观察的像素被处理后，选择所观察的像素的过程继续到在当前行下面右侧的行的右侧边缘的像素。这种选择所观察像素的过程以逐行的方式执行，直到接收光图像的最后一行(底端行)的所有像素的每个都作为所观察的像素被处理。

应该注意：上述的规则仅仅是一个典型的规则。也就是说，也能够采用另一规则。根据上述的规则，如果包围一个所观察像素的黑色像素的数量为一或零，那么所观察像素的像素值就被设定为一。然而，设定所观察像素的像素值为一的标准并不局限于由该方法设定的标准。也就是说，设定所观察像素的像素值为一的标准能够根据当时条件进行适当的改变。基于同样的理由，另一方面，如果包围一个所观察像素的黑色像素的数量至少为五，那么所观察像素的像素值就被设定为零。然而，因为同样的原因，设定所观察像素的像素值为零的标准并不局限于由该方法设定的标准。也就是说，设定所观察像素的像素值为零的标准能够根据当时条件进行适当的改变。

接着，如下详细地解释在步骤S103c中执行的除去孤立点的过程。

如上所述，从一些作为在步骤S103d中执行的标记分配过程的结果获得的连接元素中检测目标。也就是说，每个用作目标候选的一些连接元素作为在步骤S103d中执行的标记分配过程的结果而被获得。应该注意：在此情况下，一组对应于接触接触部或接近接触部的物体(其在本实施例中为手指)的像素被检测为目标。在此情况下，为了使检测目标的该过程易于执行，也就是，为了减少目标候选的数量，必须适当地执行从每个被包含在由作为目标候选的噪声消除过程中产生的图像数据中的一些连接元素中消除那些明显不是接触接触部或接近接触部的物体的连接元素的过程。明显不是接触接触部或接近接触部的物体的连接元素是由没有在噪声消除过程中消除的噪声产生的连接元素。在通过参考图9解释的流程图的步骤S103c中执行的孤立点消除过程是一种典型的除去连接元素的过程，所除去的连接元素明显不对应于接触接触部或接近接触部的物体。

更具体地说，例如，假设类似于图13所示的接收光图像(或其一部分)是作为在步骤S103b中执行的除去噪声的过程的结果而被获得的。

在此情况下，每个是在周围的黑色环境中一组白色像素的连接元素I和II均是目标的候选。

如前所述，面积阈值在先前通过参考图8解释的流程图的步骤S101执行的过程中被设定为A。然后，在步骤S104中执行产生有关第一图像处理的结果是否表示该图像数据包括面积至少等于阈值A的点的确定的结果的过程。如前所述，点在此情况下不是像素，而是连接元素。也就是说，在图8所示的实施例中，面积至少等于阈值A的连接元素(或在步骤S104中的点)被检测为目标。

在本实施例中，连接元件(或步骤S104中的点)是有关连接元素的像素的数量。假设面积阈值被设定为A(＝10)。在此情况下，面积比面积阈值A小得多的连接元件(或一组像素)被确定为噪声，而不是对应于手指的目标或连接元素。例如，一组比面积阈值A小得多的五个像素被认为是噪声。

在图13所示例子的情况下，连接元素I是一组三个白色像素。也就是说，连接元素I的面积是三。因此，连接元素I被确定为不是有意义的数据或不是目标的候选。确定连接元素I不是有意义的数据或不是目标的候选以及消除连接元素I的过程是一种除去孤立点的过程。应该注意：消除连接元素I的过程是指将组成连接元素I的三个白色像素转换为黑色像素的过程，更具体地说，是指将组成连接元素I的三个白色像素的像素值从一变为零的过程。还值得注意的是：连接元素II是一组15个白色像素。也就是说，连接元素的面积是15。因此，连接元素II在除去孤立点的过程中没有被消除。结果，连接元素II保持原状。也就是说，作为执行除去图13所示的接收光图像(的一部分)上孤立点的过程的结果，获得类似于图14所示的图像。

接着，详细解释在步骤S103d中执行的标记分配过程。

标记分配过程是一种将任意标记附加到每个连接元素上的过程，在从图像数据中除去孤立点的过程后，每个连接元素保持为一组白色像素，每个白色像素在图像数据中具有的像素值为一。

更具体地说，例如，假设作为在步骤S103c中执行的除去孤立点的过程的结果，(一部分)接收光图像如图15所示被获得。

在此情况下，作为对在图15所示的接收光图像执行的标记分配过程的结果，标记01、标记02、标记03和标记04分别被附加到四个连接元素上，如图16所示。

在将标记分配给连接元素的过程在通过参考上述图9解释的流程图的步骤S103d中执行后，该处理的流程就继续进行到步骤S103e。在步骤S103e中，在图3所示的输入/输出处理单元101中使用的图像处理/评估单元115计数在具有附加于其的标记的每个连接元素中包含的点(像素)的数量。

从在步骤S103e中执行的像素计数过程产生的像素计数作为在连接元素中包含的像素数量表示该连接元素的面积。更具体地说，例如作为在步骤S103e中对图16所示的典型接收光图像执行像素计数过程的结果，发现具有标记01的连接元素的面积为189，发现具有标记02的连接元素的面积为6，发现具有标记03的连接元素的面积为236，以及发现具有标记04的连接元素的面积为18。

例如，假设面积阈值A被设定为100。在此情况下，具有标记01的连接元素和具有标记03的连接元素均被检测为目标。也就是说，具有标记01的连接元素和具有标记03的连接元素均是接触显示屏上的接触部或接近接触部的手指的连接元素。因此，在先前通过参考图8解释的流程图的步骤S104中，例如，具有标记01的连接元素和具有标记03的连接元素均被检测为具有面积至少等于阈值A的点。

上面的描述已经解释了在先前通过参考图8解释的流程图的步骤S 103中执行的计算面积的图像处理的细节。

下面的描述解释在先前通过参考图8解释的流程图的步骤S107中执行的找到位置的图像处理的细节。

图17示出表示在步骤S107中执行的图像处理的细节的流程图。

该流程图开始于步骤S107a，在该步骤中在图3所示的输入/输出处理单元101中使用的图像处理/评估单元115找到每个连接元素的重心的坐标。

对于在步骤S107a中找到重心坐标的连接元素是一种已经被检测为目标的连接元素。也就是说，对于在步骤S107a中找到重心坐标的连接元素是一种通常已经在先前通过参考图8解释的流程图的步骤S104中检测为面积至少等于阈值A的连接元素。更具体地说，在图16所示例子的情况下，具有标记01的连接元素和具有标记03的连接元素均被看作在步骤S107a中执行的过程的目标。

然而，更具体地说，为了使具有标记01的连接元素和具有标记03的连接元素中的每个有资格成为在步骤S107a中执行的过程的目标，必须存在面积至少等于阈值A的另一个点(或另一个连接元素)，正如由在先前通过参考图8解释的流程图的步骤S105中执行的确定过程中采用的条件所要求的那样。尽管除了具有标记01的连接元素和具有标记03的连接元素外的这一其它连接元素没有在图16中示出。在此情况下假设未在图16中示出的具有标记02的连接元素实际上作为面积至少等于阈值A的其它连接元素而存在，除了图16所示作为具有标记01的连接元素的连接元素以及图16所示作为具有标记03的连接元素的连接元素外。不用说，所假设的具有标记02的其它连接元素不同于作为具有标记02的连接元素的图16所示的连接元素。下面的描述解释根据图17所示的流程图执行的计算具有标记02的其它连接元素、具有标记01的连接元素以及具有标记03的连接元素的位置的图像处理。

例如，假设像素Pn组成作为具有标记01的连接元素的图16所示的连接元素，以及(xn，yn)表示像素Pn的坐标，其中下标n是1至189范围中的整数。在此情况下，具有标记01的连接元素的重心的坐标如下进行计算。

由于具有标记01的连接元素是一组189个像素，所以将具有标记01的连接元素的重心的坐标G01计算为189个像素位置的平均坐标。也就是说，重心的坐标G01被如下计算：

G01＝((x1+x2+x3+...+x189)/189，(y1+y2+y3+...+y189)/189)

通常，具有标记k的连接元素的重心的坐标Gk被如下表示，其中k是标记号01、02和03中任何一个：

Gk＝((∑xi*wi)/∑wi，(∑yi*wi)/∑wi)...(1)

其中在等式(1)中加权wi在像素具有标记k的情况下具有的值为一，或者在不同于具有标记k的像素的像素的情况下具有的值为零。

通过执行步骤S107a的过程，有可能计算具有标记01的连接元素的重心坐标G01、具有标记02的连接元素的重心坐标G02、以及具有标记03的连接元素的重心坐标G03。应该注意：图18是示出计算具有标记01的连接元素的重心坐标G01和具有标记03的连接元素的重心坐标G03的过程的结果的图。具有标记01的连接元素和具有标记03的连接元素与图16所示的例子的连接元素相同。

应该注意：在下面的描述中，参考符号GK表示具有坐标Gk的点，该坐标Gk是具有标记k的连接元素的重心坐标，其中k是标记号01、02和03中的任何一个。图19是示出在步骤S107a执行的计算具有标记01的连接元素的重心坐标G01、具有标记02的连接元素的重心坐标G02、以及具有标记03的连接元素的重心坐标G03的过程的结果的图。随后的过程被解释如下。

在下一步骤S107b中，图像处理/评估单元115计算重心之间的距离。更具体地说，图像处理/评估单元115计算图19所示的点G01和G02之间的距离、在相同图中所示的点G02和G03之间的距离、以及点G03和G01之间的距离。

然后，在下一步骤S107c中，图像处理/评估单元115计算由水平线和连接最高重心和最低重心的线形成的角度。最高重心是在y坐标中具有最大y坐标的重心，这些y坐标在步骤S107a中被计算为具有标记01的连接元素的重心坐标G01、具有标记02的连接元素的重心坐标G02、以及具有标记03的连接元素的重心坐标G03。另一方面，最低重心是在坐标G01、G02和G03中具有最小y坐标的重心。在图19所示的例子的情况下，最高重心是点G01，而最低重心是点G03。因此，图像处理/评估单元115计算由水平线和连接点G01与点G03的线形成的角度θs。

然后，在下一步骤S107d中，图像处理/评估单元115计算重力点(gravitational point)G01、G02和G03的中心的坐标Gtotal。更具体地说，在图19所示的例子的情况下，根据如下的等式(2)计算重力点G01、G02和G03的中心的坐标Gtotal：

Gtotal＝((x1+x2+x3)/3，(y1+y2+y3)/3)...(2)

通过使用在先前通过参考图8解释的流程图的步骤S107中执行的计算上述位置的处理的结果，有可能在同一流程图的步骤S108和S110中执行确定过程。

例如，在步骤S108执行的产生有关三个点的位置是否在垂直方向上大致成直线的确定的结果的过程中，能够使用在步骤S107c中获得的角度θs。

更具体地说，例如，角度θv可看成是确定的标准。然后，通过检查是否满足下面的关系式(3)执行产生有关三个点的位置是否在垂直方向上大致成直线的确定结果的过程：

(90-θv)＜θs＜(90+θv)...(3)

例如，假设θv＝10度。在此情况下，如果角度θs在80度到100度的范围中，那么在步骤S108中产生的确定结果就为“是”。也就是说，该确定结果表示三个点的位置在垂直方向上大致成直线。

除了上述角度θs外，在步骤S108执行的产生有关三个点的位置是否在垂直方向上大致成直线的确定的结果的过程中，在步骤S 107b中计算的距离也可用于产生更详细的确定结果。

更具体地说，例如，除了在步骤S108执行的产生有关三个点的位置是否在垂直方向上大致成直线的确定结果的过程中使用的角度θs外，也可以使用由下面的关系式(4)和(5)表示的条件。

G01和G02之间的距离＜G03和G01之间的距离...(4)

G02和G03之间的距离＜G03和G01之间的距离...(5)

作为选择方案，例如，也可以使用由下面关系式(6)表示的条件。

Gmid和G02之间的距离＜G03和G01之间的距离...(6)

应该注意：如图20所示，在关系式(6)中使用的符号Gmid表示位于点G01和G03之间的中点，以作为具有下面坐标的点：

((x1-x3)/2，(y1-y3)/2)

还值得注意的是，基于由关系式(6)表示的条件的确定处理稍后将参考图25所示的流程图进行详细的解释。

在通过先前参考图8解释的流程图的步骤S110中执行的确定三个重力点位于屏幕什么位置的过程能够基于在步骤S107d中找到的坐标Gtotal以作为重力点G01、G02和G03的中心的坐标。更具体地说，如果重力点的中心位于显示屏中心的左侧，那么重力点就被确定为位于显示屏左侧上的点。另一方面，如果重力点的中心位于显示屏中心的右侧，那么重力点就被确定为位于显示屏右侧上的点。

然后，通过参考图21和22，下面的描述解释其它基于多个接触部的位置之间的关系来识别操作者所发出的操作命令的典型处理。图21是示出操作者使其三个手指f1、f2和f3接触显示区域(传感区域)121的显示屏下边缘、从而使三个接触部151、152和153被检测的情况的图。

图22示出表示基于在检测到类似于图21所示的接触部时的接收光图像来识别操作者所发出的操作命令的典型处理的流程图。通过参考该流程图，下面的描述解释基于所检测接触部的位置之间的关系来识别操作者所发出的操作命令的典型处理。

该处理是在假设下面的命令定义作为由接触部表示的操作命令的定义被预先添加的情况下来解释的。如果三个手指同时接触在垂直方向上成直线的状态中的接触部，那么由手指表示的操作命令被识别为在垂直方向上滚动所显示图像的命令。如果三个手指同时接触在水平方向上成直线的状态中的接触部，那么由手指表示的操作命令被识别为在水平方向上滚动所显示图像的命令。

换句话说，通过参考图22解释的流程图表示主要作为位置关系命令识别单元23、命令定义保存单元26和命令发出单元27的功能而执行的典型处理，所述位置关系命令识别单元23、命令定义保存单元26和命令发出单元27在图2所示的图像输入/输出处理装置1的命令识别/发出单元17中被使用，以作为被构造成作为图3所示的输入/输出处理单元101中使用的命令确定单元116操作的部件。也就是说，在由通过参考图22解释的流程图表示的典型处理中，命令定义保存单元26包含命令定义，这些命令定义声称，如果三个手指同时接触在垂直方向上成直线的状态中的接触部，那么由手指表示的操作命令就被识别为在垂直方向上滚动所显示图像的命令，而如果三个手指同时接触在水平方向上成直线的状态中的接触部，那么由手指表示的操作命令就被识别为在水平方向上滚动所显示图像的命令。然后，基于这两个命令定义，位置关系命令识别单元23将操作者所输入的操作命令识别为在右、左、向上和向下方向上滚动所显示图像的命令，并且命令发出单元27发出对应于所识别的操作命令的内部命令。

应该注意：与在由图8所示的流程图表示的处理的解释中所提及的点非常类似，在由图22所示的流程图表示的处理的解释中所提及的点不是指像素，而是指先前提及的目标，或者是在通过参考诸如图9之类的附图解释的流程图中提及的连接元素。

在通过参考图22解释的流程图表示的典型处理中，作为一种设定检测接触部的面积阈值A的过程在步骤S101中执行的过程至作为产生有关三个点的位置是否在垂直方向上大致成直线的确定的结果的过程在步骤S108中执行的过程分别与先前通过参考图8解释的流程图的步骤S101至S108的对应过程相同。如果在步骤S108中产生的确定结果表示三个点的位置在垂直方向上大致成直线，该处理的流程就继续进行到执行另一过程的步骤S113。应该注意：在步骤S113中执行的其它过程的例子是先前通过参考图8解释的流程图的步骤S110至S112中执行的过程。另一方面，如果在步骤S108中产生的确定结果没有表示三个点的位置在垂直方向上大致成直线，该处理的流程就继续进行到步骤S114，以产生有关三个点的位置是否在水平方向上大致成直线的确定的结果。如果该确定结果没有表示三个点的位置在水平方向上大致成直线，该处理的流程就继续进行到执行另一过程的步骤S115。另一方面，如果该确定结果表示三个点的位置在水平方向上大致成直线，该处理的流程就继续进行到步骤S116，以识别三个点位于显示屏的什么侧。如果三个点位于显示屏的下侧，那么该处理的流程就继续进行到步骤S117，在该步骤中显示屏在向下方向上滚动。另一方面，如果三个点位于显示屏的上侧，该处理的流程就继续进行到步骤S118，在该步骤中显示屏在向上方向上滚动。

应该注意：在步骤S114中执行的产生有关三个点的位置是否在水平方向上大致成直线的确定结果的过程能够以与在步骤S108中执行的过程相同的方式实施。此外，在步骤S116中执行的识别三个点位于显示屏的什么侧的过程能够以与先前通过参考图8描述的流程图的步骤S110中执行的过程相同的方式实施。

例如，如果操作者使其三个手指f1、f2和f3如先前通过参考图21的上部解释的那样与显示区域(传感区域)121的显示屏的下边缘形成接触，就能获得类似于图21下部所示的接收光图像。在此情况下，由于三个检测的接触部151、152和153在水平方向上大致成直线，并且位于显示屏的下边缘，因此显示屏在向下方向上滚动。

在上述的实施例中，操作者所输入的操作命令基于所检测的接触部之间的关系进行识别。接着，通过参考图23至36，下面的描述解释执行的基于多个接触部所在位置的变化来识别操作者所输入的操作命令的典型处理。图23是示出一种操作者使其三个手指f1、f2和f3与显示区域(传感区域)121的显示屏形成接触的状态的图。假设，从此状态起，由手指f1、f2和f3所触摸的接触位置分别在由箭头a1、a2和a3所示的方向上移动。图23的下部示出上部所示状态的接收光图像。接收光图像P1是在手指f1、f2和f3移动前获得的典型接收光图像。在该接收光图像P1上，三个接触部161a、162a和163a分别为手指f1、f2和f3进行检测。接收光图像P2是在手指f1、f2和f3移动过程中获得的典型接收光图像。接收光图像p3是在手指f1、f2和f3移动后获得的典型接收光图像。这样，在接收光图像的数据中，接触部的位置随时间流逝而改变。结果，在接收光图像P3上，接触部161c、162c和163c之间的距离明显大于分别在初始的接收光图像P1中接触部161a、162a和163a之间的距离。

图24示出表示执行的在检测类似于图23所示的多个接触部的情况下识别操作者所输入的操作命令的处理的流程图。通过参考该流程图，下面的描述解释了执行的基于所检测接触部的移动位置来识别操作者所输入的操作命令的处理。该处理是在假设下面的命令定义作为由接触部表示的操作命令的定义被预先存储的情况下解释的。如果三个手指在大致位于圆的圆周上的状态下同时接触接触部，并且手指的位置正在移动以放大该圆，那么由手指表示的操作命令就被识别为放大所显示图像的命令。如果三个手指在大致位于圆的圆周上的状态下同时接触接触部，并且手指位置正在移动以缩小该圆，那么由手指表示的操作命令就被识别为缩小所显示图像的命令。

换句话说，通过参考图24解释的流程图表示主要作为检测结果保存单元21、复合命令识别单元25、命令定义保存单元26和命令发出单元27的功能执行的典型处理，这些部件在图2所示的图像输入/输出装置1的命令识别/发出单元17中被使用，以作为一种被构造成作为图3所示的输入/输出处理单元101中使用的命令确定单元116操作的部件。也就是说，在由通过参考图24解释的流程图表示的典型处理中，命令定义保存单元26包含了命令定义，这些命令定义声称，如果三个手指在大致位于圆的圆周上的状态下同时接触接触部，并且手指的位置正移动以放大该圆，那么由手指表示的操作命令就被识别为放大所显示图像的命令，而如果三个手指在大致位于圆的圆周上的状态下同时接触接触部，并且手指的位置正移动以缩小该圆，那么由手指表示的操作命令就被识别为缩小所显示图像的命令。然后，基于这两个命令定义，复合命令识别单元25将该操作命令识别为放大和缩小所显示图像的命令，并且命令发出单元27发出对应于所识别的操作命令的内部命令。

也就是说，包含一个基于分别对应于手指的三个目标位置之间的关系的条件(也就是，一种要求三个手指应该在大致位于圆的圆周上的状态下同时接触接触部的条件)和一个基于目标位置随时间流逝的变化的条件(也就是，一种要求三个手指应该在放大该圆的方向上移动的条件)和复合条件是执行放大显示屏的复合命令的条件。基于同样的理由，包含一个基于分别对应于手指的三个目标位置之间的关系的条件(也就是，一种要求三个手指应该在大致位于圆的圆周上的状态下同时接触接触部的条件)和一个基于目标位置随时间流逝的变化的条件(也就是，一种要求三个手指应该在缩小该圆的方向上移动的条件)的复合条件是执行缩小显示屏的复合命令的条件。

由于上述原因，复合命令识别单元25在由通过参考图24解释的流程图表示的典型处理中工作。换句话说，如果复合命令识别单元25的功能如上所述被转移给命令发出单元27，那么位置关系命令识别单元23和时间位置变化命令识别单元22就在该处理中工作。

应该注意：与在由图8所示的流程图表示的处理的解释中提及的点非常类似，在由图24所示的流程图表示的处理的解释中提及的点不是指像素，而是指先前提及的目标或者先前通过参考诸如图9之类的附图解释的流程图中提及的连接元素。

在通过由参考图24解释的流程图表示的典型处理中，作为设定检测接触部的面积阈值A的过程在步骤S101中执行的过程至作为产生有关三个点的位置是否在水平方向上大致成直线的确定结果的过程在步骤S114中执行的过程分别与先前通过参考图22解释的流程图的步骤S101至S114的对应过程相同。如果确定的结果表示三个点大致在水平方向上成直线，那么该处理的流程就继续进行到执行另一过程的步骤S119。

应该注意：在步骤S113中执行的其它过程通常是在先前通过参考图8解释的流程图的步骤S110至S112中执行的过程。然而，为了执行此其它过程，命令定义保存单元26必须保存一种命令定义，该命令定义说明：如果三个手指同时接触在垂直方向上成直线状态下的接触部，那么由手指表示的操作命令就被识别为在垂直方向上滚动所显示图像的命令。

在步骤S119中执行的其它过程通常是在先前通过参考图22解释的流程图的步骤S116至S118中执行的过程。然而，为了执行此其它过程，命令定义保存单元26必须保存一种命令定义，该命令定义说明：如果三个手指同时接触在水平方向上成直线状态下的接触部，那么由手指表示的操作命令就被识别为在水平方向上滚动所显示图像的命令。

如果在步骤S114中执行的过程中产生的确定结果为NO(否)，从而表示三个点在水平方向上没有成直线，那么处理的流程就继续进行到步骤S120以产生有关三个点是否大致位于圆的圆周上的确定结果。如果该确定结果没有表示三个点大致位于圆的圆周上，那么处理的流程就继续进行到执行另一过程的步骤S121。另一方面，如果确定结果表示三个点大致位于圆的圆周上，那么该处理的流程就继续进行到步骤S122以产生有关三个点是否正在移动的确定结果。如果确定结果表示三个点没有在移动，那么由该流程图表示的处理的执行就结束。另一方面，如果确定结果表示三个点正在移动，那么处理的流程就继续进行到步骤S123以产生有关三个点是否正在放大显示屏的方向上移动的确定结果。如果确定结果表示三个点正在放大显示屏的方向上移动，那么处理的流程就继续进行到步骤S124，在该步骤中，操作者所输入的操作命令被识别为放大显示屏的命令。另一方面，如果确定结果表示三个点正在缩小显示屏的方向上移动，那么处理的流程就继续进行到步骤S125，在该步骤中，操作者所输入的操作命令被识别为缩小显示屏的命令。

接着，通过参考图25至35，下面的描述解释在由先前通过参考图24解释的流程图表示的处理中包含的每个主要过程的细节。

应该注意：在下面的描述中，在图3所示的输入/输出处理单元101中使用的图像处理/评估单元115执行上面通过参考图24解释的流程图的步骤S101至S120的过程。然而，命令确定单元116可以执行先前通过参考图24解释的流程图的步骤S101至S120的过程中的至少一些。

图25示出表示在步骤S108执行的产生有关三个点是否在垂直方向上大致成直线的确定结果的过程的细节的流程图。

记住：在下面的描述中，假设图26所示的点的位置是作为先前通过参考图24解释的流程图的步骤S107中执行的作为找到位置的处理的图像处理的结果而获得的。

在步骤S108a至S108f中执行的过程是基于先前所述的关系式(3)确定的处理。

更具体地说，在步骤S108a中，在图3所示的输入/输出处理单元101中使用的图像处理/评估单元115获取角度θv。如先前所述，角度θv是用作一种有关三个连接元素(也就是，在先前通过参考图24解释的流程图的步骤S108中提及的三个点)的位置是否在垂直方向上大致成直线的标准的角度。通常，该角度已经被典型地预先存储在图2所示的图像输入/输出单元1中使用的命令定义保存单元26中。

然后，在下一步骤S108b中，图像处理/评估单元115在三个连接元素中选择具有最小y坐标的重力点的连接元素。令参考符号Gmin表示所选择的连接元素的重力点。在图26所示的典型点的情况下，例如，点G03是连接元素Gmin的重力点。

然后，在下一步骤S108c中，图像处理/评估单元115在三个连接元素中选择具有最大y坐标的重力点的连接元素。令参考符号Gmax表示所选择的连接元素的重力点。在图26所示的典型点的情况下，例如，点G01是连接元素Gmax的重力点。

然后，在下一步骤S108d中，图像处理/评估单元115将三个连接元素中剩余的一个连接元素的重力点看成是重力点Gaux，其在图26所示例子的情况中是点G02。

随后，在下一步骤S108e中，图像处理/评估单元115找到由水平线和将连接元素的重力点Gmin和连接元素的重心点Gmax连接的线形成的角度θs。在图26所示例子的情况下，角度θs是由水平线和连接点G01与点G03的线形成的角度。

然后，在下一步骤S108f中，图像处理/评估单元115产生有关下面的关系式是否适用的确定的结果：

(90-θv)＜θs＜(90+θv)

也就是说，在步骤S108f中，图像处理/评估单元115产生有关关系式(3)是否适用的确定的结果。

如果在步骤S108f执行的过程中产生的确定结果是“否”，从而表示三个点(或三个连接元素)位于在垂直方向上没有成直线的位置，也就是，如果在步骤S108中执行的过程产生“否”的确定结果，那么由先前通过参考图24解释的流程图表示的处理的流程就继续进行到步骤S114。

另一方面，如果在步骤S108f执行的过程中产生的确定结果是“是”，从而表示三个点(或三个连接元素)位于在垂直方向上大致成直线的位置，就执行步骤S108g到S108j的处理。步骤S108g到S108j的处理是基于先前所述的关系式(6)的确定的处理。换句话说，在步骤S108g到S108j执行的确定处理是将注意力集中在三个点成直线的方式的情况下的处理。

更具体地说，在步骤S108g中，图像处理/评估单元115找到在点Gmax和点Gmin之间的中点Gmid。在图26所示的例子中，点Gmax和点Gmin分别是点G01和点G03，以及参考符号Gmid0103表示中点Gmid。

然后，在下一步骤S108h中，图像处理/评估单元115找到点Gmid和Gaux之间的距离(Gmid-Gaux)。如先前所述，在图26所示的例子中，点Gaux是点G02。随后，在下一步骤S108i中，图像处理/评估单元115找到点Gmax和Gmin之间的距离(Gmax-Gmin)。

然后，在下一步骤S108j中，图像处理/评估单元115产生有关下面的关系式是否适用的确定的结果：

(Gmid-Gaux)＜(Gmax-Gmin)/2

应该注意：在图26所示例子的情况下，也就是，在点G01、G03和G02分别用作Gmax、Gmin和Gaux的例子中，关系式(Gmid-Gaux)＜(Gmax-Gmin)/2对应于关系式(6)。也就是说，在步骤S108j中执行的确定过程是一种产生有关关系式(6)是否适用的确定的结果。

换句话说，在步骤S108j中执行的确定过程是一种产生有关距离(Gmid-Gaux)是否小于距离(Gmax-Gmin)一半的确定结果。表示距离(Gmid-Gaux)小于距离(Gmax-Gmin)一半的关系意味着，距离(Gmid-Gaux)小于距离(Gmax-Gmin)或者小于距离(Gmin-Gmid)。在图26所示的例子中，距离(Gmid-Gaux)是距离(Gmid0103-G02)，距离(Gmax-Gmid)是距离(G01-Gmid0103)，以及距离(Gmin-Gmid)是距离(G03-Gmid0103)。

因此，如果在图26所示的例子中的距离(Gmid-Gaux)或距离(Gmid0103-G02)小于图26所示例子中的距离(Gmax-Gmid)或距离(G01-Gmid0103)，或者小于相同例子中的距离(Gmin-Gmid)或距离(G03-Gmid0103)时，那么在步骤S108j中执行的过程产生的确定结果是“是”，这意味着三个点或者三个连接元素位于在垂直方向上大致成直线的位置。因此，在先前通过参考图24解释的流程图的步骤S108执行的过程中产生的确定结果也是“是”。如果在步骤S108执行的过程中产生的确定结果是“是”，那么由流程图表示的处理的流程就继续进行到步骤S113。

另一方面，如果在步骤S108j中执行的过程中产生的确定结果是“否”，从而意味着三个点或者三个连接元素位于没有在垂直方向上大致成直线的位置，那么在先前通过参考图24解释的流程图的步骤S108执行的过程中产生的确定结果也是“否”。如果在步骤S108执行的过程中产生的确定结果是“否”，那么由流程图表示的处理的流程就继续进行到步骤S114。

如上所述，通过参考图25所示的流程图解释的实施例不仅实施在步骤S108a至S108f执行的确定过程或者基于先前解释的关系式(3)的确定过程，而且实施在步骤S108g至S108i执行的确定过程或者基于先前解释的关系式(6)的确定过程。这是因为，通过仅执行基于关系式(3)的确定过程，存在由以前通过参考图24解释的流程图表示的处理的流程可能不会到达流程图的步骤S120以产生有关三个点是否大致位于圆的圆周上的确定结果的情况。

更具体地说，例如，假设在以前通过参考图24解释的流程图的步骤S107中执行的图像处理产生图27所示的结果，而不是图26所示的结果。在此情况下，如图27所示，角度θs是由水平线和连接重心G2与重心G3的线形成的角度。因此，通过仅执行步骤S108a至S108f中的确定过程和基于关系式(3)的确定过程，三个点或三个连接元素的位置就被确定为大致在垂直方向上成直线的位置。然而，在作为位置之间关系的图27所示关系的情况下，三个点或三个连接元素的位置就被确定为没有在垂直方向上成直线的位置。相反，在许多情况下，三个点或三个连接元素的位置被适当地确定为大致位于圆的圆周上的位置。为了解决该问题，通过参考图25所示的流程图解释的实施例增加了基于关系式(6)的确定过程，以便给出三个点或三个连接元素的位置被确定为大致在垂直方向上成直线的更严格的条件。然而，故意地设定一个规则将没有问题，即确定作为位置之间的关系的类似于图27所示的关系是一种三个点大致在垂直方向上成直线的关系。

上面的描述已经解释了先前通过参考图24解释的流程图的步骤S108中执行的产生有关三个点的位置是否大致在垂直方向上成直线的确定结果的确定过程的细节。

通过将图28所示的情况作为例子，下面的描述解释了在先前通过参考图24解释的流程图的步骤S114中执行的产生有关三个点的位置是否大致在水平方向上成直线的确定结果的确定处理的细节。图28所示的点的位置是作为在先前通过参考图24描述的流程图的步骤S107中执行的找到位置的图像处理的结果而获得的。因此，在先前通过参考图24解释的流程图的步骤S108执行的过程中产生的确定结果是“否”，从而使该处理的流程继续进行到下面详细描述的步骤S114。

应该注意：产生有关三个点的位置是否大致在水平方向上成直线的确定结果的处理基本上类似于产生有关三个点的位置是否大致在垂直方向上成直线的确定结果的处理。为此，下面的描述适当地排除了在产生有关三个点的位置是否大致在水平方向上成直线的确定结果的处理中包含的过程的一些解释，所述过程作为对应于在产生有关三个点的位置是否大致在垂直方向上成直线的确定结果的处理中包含的它们各自对应部分的过程。

图29示出表示在先前通过参考图24解释的流程图的步骤S114中执行的产生有关三个点的位置是否大致在水平方向上成直线的确定结果的确定处理的细节的流程图。

稍后通过参考图29解释的流程图的步骤S114a至S114f的过程是先前通过参考图25解释的流程图的步骤S108a至S108f的过程的对应部分。

更详细地说，在步骤S114a中，在图3所示的输入/输出处理单元101中使用的图像处理/评估单元115获取角度θh。与角度θv非常类似，角度θh是用作一种有关三个连接元素(也就是，在先前通过参考图24解释的流程图的步骤S 114中提及的三个点)的位置是否在水平方向上大致成直线的标准的角度。通常，该角度已经被典型地预先存储在图2所示的图像输入/输出单元1中使用的命令定义保存单元26中。

然后，在下一步骤S114b中，图像处理/评估单元115在三个连接元素中选择具有最小x坐标的重力点的连接元素。令参考符号Gmin表示所选择的连接元素的重力点。在图28所示的典型点的情况下，例如，点G13是连接元素的重力点Gmin。

然后，在下一步骤S114c中，图像处理/评估单元115在三个连接元素中选择具有最大x坐标的重力点的连接元素。令参考符号Gmax表示所选择的连接元素的重力点。在图28所示的典型点的情况下，例如，点G11是连接元素的重力点Gmax。

然后，在下一步骤S114d中，图像处理/评估单元115将三个连接元素中剩余的一个连接元素的重力点看成是重力点Gaux，其在图28所示例子情况中是点G12。

随后，在下一步骤S114e中，图像处理/评估单元115找到由水平线和将连接元素的重力点Gmin和连接元素的重力点Gmax连接的线形成的角度θs。在图28所示例子的情况下，角度θs是由水平线和连接点G11与点G13的线形成的角度。

然后，在下一步骤S114f中，图像处理/评估单元115产生一个有关下面的关系式是否适用的确定的结果：

-θh＜θs＜+θh

如果在步骤S114f执行的过程中产生的确定结果是“否”，从而表示三个点(或三个连接元素)位于在水平方向上没有成直线的位置，也就是，如果在先前通过参考图24解释的流程图的步骤S114中执行的过程产生“否”的确定结果，那么由流程图表示的该处理的流程就继续进行到步骤S120。

另一方面，如果在步骤S114f执行的过程中产生的确定结果是“是”，从而表示三个点(或三个连接元素)位于在水平方向上大致成直线的位置，就执行步骤S114g到S114j的过程。步骤S114g到S114j的过程分别对应于先前通过参考图25解释的流程图的步骤S108g至S108j的过程。换句话说，在步骤S114g到S114j执行的确定处理是将注意力集中在三个点成直线的方式的情况下的处理。

更具体地说，在步骤S114g中，图像处理/评估单元115找到点Gmax和点Gmin之间的中点Gmid。在图28所示的例子中，点Gmax和Gmin分别是点G11和点G13，以及参考符号Gmid0103表示中点Gmid。

然后，在下一步骤S114h中，图像处理/评估单元115找到点Gmid和Gaux之间的距离(Gmid-Gaux)，其是图28所示的例子中的点G12。随后，在下一步骤S114i中，图像处理/评估单元115找到点Gmax和Gmin之间的距离(Gmax-Gmin)。

然后，在下一步骤S114j中，图像处理/评估单元115产生有关下面的关系式是否适用的确定的结果：

(Gmid-Gaux)＜(Gmax-Gmin)/2

如果在步骤S114j中执行的过程产生的确定结果是“是”，那么在先前通过参考图24解释的流程图的步骤S114过程中产生的确定结果也是“是”，这意味着三个点或者三个连接元素位于在水平方向上大致成直线的位置。如果在步骤S114执行的过程中产生的确定结果是“是”，那么由流程图表示的处理的流程就继续进行到步骤S119。

另一方面，如果在步骤S114执行的过程中产生的确定结果是“否”，这意味着三个点或者三个连接元素位于没有在垂直方向上大致成直线的位置，也就是，如果在步骤S114执行的过程中产生的确定结果是“否”，那么由先前通过参考图24的流程图表示的处理的流程就继续进行到步骤S120。

如上所述，通过参考图29所示的流程图解释的实施例不仅实施在步骤S114a至S114f执行的确定过程，而且实施在步骤S114g至S114j执行的确定过程。这是因为，通过仅执行步骤S114a至S114f的确定过程，也就是，通过仅执行基于角度θs的确定过程，存在由先前通过参考图24解释的流程图表示的处理的流程可能不会到达步骤S120以产生有关三个点是否大致位于圆的圆周上的确定结果的情况。该情况已经通过参考图27在前面进行了解释。

上面的描述已经解释了在先前通过参考图24解释的流程图的步骤S114中执行的产生有关三个点的位置是否大致在水平方向上成直线的确定结果的确定过程的细节。

下面的描述解释了在先前通过参考图24解释的流程图的步骤S120中执行的产生有关三个点是否大致位于圆的圆周上的确定结果的处理的细节。

如先前所述，由以前通过参考图24解释的流程图表示的实施例执行在步骤S108中产生有关三个点的位置是否在垂直方向上大致成直线的确定结果的过程以及在步骤S114中产生有关三个点的位置是否在水平方向上大致成直线的确定结果的过程。也就是说，由以前通过参考图24解释的流程图表示的实施例包括“垂直或水平”以及“成直线”的条件。因此，三个点或三个连接元素位于并不同于满足该条件的位置的其他位置可被确定为大致存在于圆的圆周上的位置。如果在步骤S108执行的过程中产生的确定结果没有表示三个点的位置在垂直方向上大致成直线，以及在步骤S114执行的过程中产生的确定结果没有表示三个点的位置在水平方向上大致成直线，那么该处理的流程就继续进行到步骤S120以产生有关三个点是否大致位于圆的圆周上的确定结果。在此情况下，在步骤S120执行的过程中产生的确定结果就为“是”。

然而，在此情况下假设在先前通过参考图24解释的流程图的步骤S107中执行的计算位置的图像处理产生图30所示的结果。如图30所示，三个连接元素的重心，也就是，在步骤S120或其它步骤中提及的点，即使在既不是垂直方向又不是水平方向的方向上也相对成直线。因此，即使在此情况下，在步骤S120执行的过程中产生的确定结果也表示三个点大致位于圆的圆周上。

因此，对于一种三个连接元素的重心即使在既不是垂直方向又不是水平方向的方向上也相对成直线的情况下，为了避免在先前通过参考图24解释的流程图的步骤S120中执行的过程表示三个点大致位于圆的圆周上，也就是，为了从“大致位于圆的圆周上”的条件中排除“既不是垂直也不是水平”但为“相对成直线”的条件，例如，能够执行类似于销后通过参考图31解释的流程图表示的处理。

也就是说，图31示出表示在步骤S120执行的产生有关三个点是否大致位于圆的圆周上的确定结果的过程的细节的流程图。

该过程的细节是在假设在先前通过参考图24解释的流程图的步骤S107执行的计算位置的图像处理产生图32所示的结果的情况下进行解释的。

通过参考图31进行解释的流程图开始于步骤S120a，在该步骤中，在图3所示的输入/输出处理单元101中使用的图像处理/评估单元115计算三个连接元素、也就是在步骤S120或其它步骤中提及的三个点的重心之间的距离。

在图32所示的典型结果中，点G31、G32和G33分别是三个连接元素的重心。因此，执行该步骤以找到点G31和G32之间、G32和G33之间以及G33和G31之间的距离。

然后，在下一步骤S120b中，图像处理/评估单元115选择重心Ga和Gb，它们之间的距离是最长的，并找到它们之间的中点作为点Gmid。随后，在下一步骤S120c中，图像处理/评估单元115将剩余的重心看作点Gaux。例如，在图32所示的典型结果中，点G31是重心Ga，G32是重心Gb，点Gmid3132是中点Gmid，以及点G33是重心Gaux。

然后，在下一步骤S120d中，图像处理/评估单元115找到点Gmid和Gaux之间的距离(Gmid-Gaux)。随后，在下一步骤S120e中，图像处理/评估单元115找到点Ga和Gb之间的距离(Ga-Gb)。

然后，在下一步骤S120f中，图像处理/评估单元115产生有关下面的关系式是否适用的确定结果：

(Gmid-Gaux)＜(Ga-Gb)/2

如果在步骤S120f执行的过程中产生的确定结果是“是”，从而表明距离(Gmid-Gaux)大于距离(Ga-Gb)的一半，那么三个点或三个连接重心的位置就被确定为大致位于圆的圆周上。也就是说，在先前通过参考图24解释的流程图的步骤S 120执行的过程中产生的最终确定结果是“是”，从而使该处理的流程继续进行到步骤S122。

另一方面，如果在步骤S120f执行的过程中产生的确定结果是“否”，从而表明距离(Gmid-Gaux)不大于距离(Ga-Gb)的一半，那么三个点或三个连接重心的位置就被确定为没有位于圆的圆周上。也就是说，在先前通过参考图24解释的流程图的步骤S120执行的过程中产生的最终确定结果是“否”，从而使该处理的流程继续进行到步骤S121。

上面的描述已经解释了先前通过参考图24解释的流程图的步骤S120中执行的产生有关三个连接重心是否大致位于圆的圆周上的确定结果的过程的细节。

下面的描述解释了先前通过参考图24解释的流程图的步骤S122中执行的产生有关三个连接重心是否正在移动的确定结果的过程的细节。

在图3所示的输入/输出处理单元101中使用的接收光图像产生单元111，也就是，在图2所示的图像输入/输出单元1中使用的接收光图像产生单元15，沿着时间轴顺序并持续地输出多条接收光图像数据。由用作接收光图像产生单元15的接收光图像产生单元114输出的接收光图像数据是场数据或帧数据。在此情况下，由先前通过参考图24解释的流程图表示的典型处理对所取得的每条接收光图像数据执行，每条数据被看成一个单元。在下面的描述中，经受由先前通过参考图24解释的流程图表示的典型处理的一条接收光图像数据被称为观察的接收光图像数据。

作为对紧接在观察的接收光图像数据之前的接收光图像数据执行由先前通过参考图24解释的流程图表示的处理(或者，特别是，执行在流程图的步骤S107中的过程)的结果而获得的点坐标如前所解释被存储在图2所示的图像输入/输出单元1中使用的命令识别/发出单元17的检测结果保存单元21中。如先前所述，感兴趣的每个点的坐标是目标信息的一部分。

另一方面，作为对观察接收光图像数据执行由先前通过参考图24解释的流程图表示的处理(或者，特别是，执行在流程图的步骤S107中的过程)产生的目标信息的一部分而获得的点坐标也从目标检测单元16被传送给图2所示的图像输入/输出单元1中使用的命令识别/发出单元17。

时间位置变化命令识别单元22和复合命令识别单元25(它们在图2所示的图像输入/输出单元1中使用的命令识别/发出单元17中被使用)的任何一个，也就是，在图3所示的输入/输出处理单元101中使用的命令确定单元116将观察的接收光图像数据的坐标与紧接在观察的接收光图像数据之前的接收光图像数据的坐标进行比较，以便产生有关这些点是否在先前通过参考图24解释的流程图的步骤S122中正在移动的确定结果。

应该注意：为了使解释简单，基于这样的假设给出下面的描述：即执行步骤S122和后续步骤的过程的主要部件是时间位置变化命令识别单元22。

此外，在下面的描述中，还假设有关其位置如图32所示彼此相关的重心G31、G32和G33的信息已经被存储在图2所示的图像输入/输出单元1中使用的命令识别/发出单元17的检测结果保存单元21中，以作为紧接在观察的接收光图像数据之前的接收光图像数据的目标信息。在下面的描述中，紧接在观察的接收光图像数据之前的接收光图像数据的目标信息被称为紧接在前的目标信息。另一方面，有关其位置如图33所示彼此相关的重收G41、G42和G43的信息从目标检测单元16被传送给图2所示的图像输入/输出单元1中使用的命令识别/发出单元17的时间位置变化命令识别单元22，以作为观察的接收光图像数据的目标信息。在下面的描述中，观察的接收光图像数据的目标信息被称为观察的目标信息。

观察的目标信息和紧接在前的目标信息之间的位置关系在图34中示出。应该注意：在下面的描述中，重心G41、G42和G43被称为观察的重心G41、G42和G43，而重心G31、G32和G33被称为紧接在前的重心G31、G32和G33。

也就是说，在先前通过参考图24解释的流程图的步骤S122中，在图2所示的图像输入/输出单元1中使用的时间位置变化命令识别单元22参考了图34所示的信息，以便产生有关点是否正在移动的确定结果。

更具体地说，例如，时间位置变化命令识别单元22首先产生有关观察的重心G41、G42和G43的位置是否已经分别从紧接在前的重心G31、G32和G33的位置移动的确定结果。然后，如果确定结果表示观察的重心G41、G42和G43的位置已经分别从紧接在前的重心G31、G32和G33的位置移动，那么时间位置变化命令识别单元22就找到分别表示由观察的重心G41、G42和G43进行的每个移动的方向和距离的移动矢量。

这种确定技术本身未被特别规定。然而，本实施例采用了下面的技术，即通过测量预定坐标之间的距离来产生有关观察的重心G41、G42和G43的位置是否已经分别从紧接在前的重心G31、G32和G33的位置移动的确定结果。更具体地说，本实施例采用了一种测量在观察的重心的坐标和最接近观察的重心的对应的紧接在前重心的坐标之间的距离的技术。

在图34所示例子的情况下，为了产生有关观察的重心G43的位置是否已经从紧接在前的重心G33的位置移动的确定结果，测量了观察的重心G43的位置和最接近观察的重心G43的紧接在前的重心G33的位置之间的距离。因此，在此情况下，移动矢量被找到为一种表示从紧接在前的重心G33的位置移动到移动的重心G43的位置的移动距离和移动方向的移动矢量。基于同样的理由，为了产生有关观察的重心G42的位置是否已经从紧接在前的重心G32的位置移动的确定结果，测量了观察的重心G42的位置和最接近观察的重心G42的紧接在前的重心G32的位置之间的移动距离。因此，在此情况下，移动矢量被找到为一种表示从紧接在前的重心G32的位置移动的观察的重心G42的位置的移动距离和移动方向的移动矢量。同样，为了产生有关观察的重心G41的位置是否已经从紧接在前的重心G31的位置移动的确定结果，测量了观察的重心G41的位置和最接近观察的重心G41的紧接在前的重心G31的位置之间的距离。因此，在此情况下，移动矢量被找到为一种表示从紧接在前的重心G31的位置移动到观察的重心G41的位置的移动距离和移动方向的移动矢量。

更具体地说，观察的重心G43的位置和紧接在前的重心G33的位置之间的所测量的移动距离与预先确定的阈值进行比较。基于同样的理由，观察的重心G42的位置和紧接在前的重心G32的位置之间的所测量的移动距离与阈值进行比较。同样，观察的重心G41的位置和紧接在前的重心G31的位置之间的所测量的移动距离与阈值进行比较。如果时间位置变化命令识别单元22发现移动距离均大于该阈值，那么在先前通过参考图24解释的流程图的步骤S122执行的过程中产生的确定结果表示这些点正被移动。在此情况下，先前通过参考图24解释的流程图表示的处理的流程就继续进行到步骤S123。否则，就结束该处理的执行。应该注意：作为要求重心G41、G42和G43的所有移动距离应该大于阈值的条件的可选方案，如果发现重心G41、G42和G43的任何一个的移动距离大于该阈值，那么在步骤S122执行的过程中产生的确定结果也可表示这些点正被移动。作为另一种可选方案，如果发现重心G41、G42和G43的任何两个的移动距离均大于该阈值，那么在步骤S122执行的过程中产生的确定结果也可表示这些点正被移动。

如果处理的流程继续进行到步骤S123，在该步骤中，时间位置变化命令识别单元22进一步确定这些点正在如何移动。确定技术本身未被特别限制。例如，然而由于表示由重心G41、G42和G43中每个进行的移动距离和方向的移动矢量是已知的，所以可采用使用该移动矢量的确定技术。

作为另一种确定技术，其顶点与重心G31、G32和G33重合的三角形的面积与如图35所示的其顶点与重心G41、G42和G43重合的三角形的面积进行比较，以便进一步确定这些点在如何移动。在下面的描述中，其顶点与重心G31、G32和G33重合的三角形被称为紧接在前的三角形，而其顶点与重心G31、G32和G33重合的三角形被称为观察的三角形。根据该技术，如果观察的三角形面积大于紧接在前的三角形面积一个预定量，正如从图35中显而易见的，那么在先前通过参考图24解释的流程图的步骤S123执行的过程中产生的确定结果表示这些点均正在沿放大紧接在前的三角形的面积的方向上移动。在此情况下，处理的流程就继续进行到步骤S124。另一方面，如果观察的三角形面积小于紧接在前的三角形面积一个预定量，那么在先前通过参考图24解释的流程图的步骤S123执行的过程中产生的确定结果表示这些点均正在沿缩小紧接在前的三角形面积的方向上移动。在此情况下，处理的流程就继续进行到步骤S125。

通过参考图25至35，上面已经解释了先前通过参考图24解释的流程图表示的处理的主要过程。

如果执行由先前通过参考图24解释的流程图表示的处理，而同时例如操作者使其三个手指f1、f2和f3与如图23的上部所示的显示屏形成接触，并且然后在增加手指之间距离的方向上移动手指，就获得了类似于图23下部所示的接收光图像。在此情况下，由于三个所检测的接触部正在沿将接触部相互分离的方向上移动，所以显示屏就在由用户执行操作以移动手指后如图36所示进行放大。

至此已经解释了改变所显示图像的显示状态的例子。此外，通过使手指、笔或其它装置与显示装置的显示区域形成接触，还可执行各种应用过程。接着，通过参考图37、38和39，下面的描述解释一个执行编辑出现在显示区域中句子的过程的实施例。该实施例适用于一种文本数据比如字符串被显示在如图37上部所示的显示区域121上的情况，并且对该文本数据执行操作。在此情况下，操作者以使手指夹住屏幕上显示的一部分句子的方式来使其两个手指f1和f2接触显示屏。此时，获得类似于图37下部所示的接收光图像，并检测两个接触部171和172。

图38示出表示在检测类似于图37所示的接触部时从接收光图像中识别操作命令所执行的处理的流程图。通过参考该流程图，下面的描述解释基于在接收光图像上多个所检测的接触部的大小来识别操作者所输入的操作命令而执行的处理。在此情况下，使接触部与操作者所输入的操作命令相关的关系被预先定义为一种语句，该语句说明，如果两个手指同时接触用作显示数据的文本数据的字符串的两个端部，那么该字符串就被说成是一种通过操作命令选择的字符串。

换句话说，一个由下面通过参考图38解释的流程图表示的处理例子表示主要作为位置关系命令识别单元23、命令定义保存单元26和命令发出单元27的功能而执行的处理，这些单元在图2所示的图像输入/输出装置1的命令识别/发出单元17中被使用，以作为一种被构造成作为命令确定单元116操作的部件。也就是说，由参考图38解释的流程图表示的处理表示下面的处理。由于执行了使接触部与操作者所输入的操作命令相关的关系，因此一种定义已经被存储在命令定义保存单元26中以作为说明下述的定义：如果两个手指同时接触用作显示数据的文本数据的字符串的两个端部，那么该字符串就被说成是一种通过操作命令选择的字符串。基于存储在命令定义保存单元26中的定义，位置关系命令识别单元23将操作命令识别为要由命令发出单元27发出以在左侧的方向上滚动所显示图像的内部命令，或者将操作命令识别为要由命令发出单元27发出以在右侧的方向上滚动所显示图像的内部命令。

应该注意：与在由图8所示的流程图表示的处理的解释中提及的点非常类似，在由图38所示的流程图表示的处理的解释中提及的点不是指像素，而是指先前提及的目标或者在先前通过参考诸如图9之类的附图解释的流程图中提及的连接元素。

通过参考图38进行解释的流程图起始于步骤S131，在该步骤中，用于作为接触部检测手指尖的面积阈值被设定为A，以及用于作为接触部检测手指本体的面积阈值被设定为B。然后，在下一步骤S132中，获得作为由接收光图像产生单元114执行的转换接收光信号的过程的结果而获得的图像数据。随后，在下一步骤S133中，执行第一图像处理以计算每个接触部的面积。应该注意：在步骤S133中执行的第一图像处理的细节前面已经通过参考图9至16进行了描述。然后该处理的流程继续进行到步骤S134，以产生有关图像数据是否包括所计算的面积至少等于阈值B的点的确定结果。如果确定结果表示图像数据包括所计算的面积至少等于阈值B的点，该处理的流程就继续进行到执行另一过程的步骤S135。另一方面，如果确定结果表示图像数据不包括所计算的面积至少等于阈值B的点，该处理的流程就继续进行到步骤S136，以产生有关图像数据是否包括所计算的面积至少等于阈值A的点的确定结果。如果确定结果表示图像数据不包括所计算的面积至少等于阈值A的点，该处理的流程就返回到获取下一图像数据的步骤S132。另一方面，如果确定结果表示图像数据包括所计算的面积至少等于阈值A的点，该处理的流程就继续进行到步骤S137以产生有关图像数据是否包括所计算的面积分别至少等于阈值A的两个点的确定结果。如果确定结果表示图像数据不包括所计算的面积分别至少等于阈值A的两个点，该处理的流程就返回到获取下一图像数据的步骤S132。另一方面，如果确定结果表示图像数据包括所计算的面积分别至少等于阈值A的两个点，该处理的流程就继续进行到步骤S138，在该步骤中执行一个发现在所计算的面积分别至少等于阈值A的两个点的位置之间的关系的过程。应该注意：在步骤S138中执行的过程的细节已经在前面通过参考图17至20进行了描述。如果在步骤S138中执行的发现所计算的面积分别至少等于阈值A的两个点的位置之间的关系的过程的结果表示，这两个点彼此分开一个预定的距离，那么该处理的流程就继续进行到步骤S139，在该步骤中发出内部命令以选择由这两个点夹住的字符串。

在本实施例中，操作者发出编辑句子的操作命令。因此，在命令确定单元116执行由上述流程图表示的处理后，输入/输出处理单元101将所识别的操作命令的内容报告给文档处理单元102，该文档处理单元102执行对应于操作命令的处部应用。也就是说，文档处理单元102根据所识别的操作命令的内容来执行编辑文本数据的过程。最后，文档处理单元102将编辑过程的结果提供给图像输入/输出单元1，该图像输入/输出单元1从编辑过程的结果中产生数据，并基于该数据显示图像。

例如，操作者执行操作以使两个手指f1和f2接触显示区域121，以便夹住如图37上部所示的显示区域121上显示的一部分句子H1之间。在此情况下，在操作者执行操作后，显示屏示出一种如图39所示由手指f1和f2夹住的句子部分H1被选择的状态。

接着，通过参考图40、41和42，下面的描述解释另一种编辑出现在显示区域121上的句子的过程。图40是示出一种文本数据比如字符串出现在显示区域121上的操作者将手指f1放在出现在显示屏上的句子的字符串上的情况。此时，获得类似于图40下部所示的接收光图像，并检测细长的接触部181。

图41示出表示对于一种检测类似于图40所示的接触部的情况从接收光图像中识别操作命令的处理的流程图。在该处理的情况下，使接触部与操作命令相关的关系被预先定义为说明下述的关系：在文本数据显示在屏幕上的情况下，如果手指放在字符串上，就消除文本数据的字符串。

换句话说，一个由稍后通过参考图41解释的流程图表示的处理的例子表示主要作为形状命令识别单元24、命令定义保存单元26和命令发出单元27的功能而执行的处理。这些单元被用在图2所示的图像输入/输出装置1的命令识别/发出单元17中，以作为一种被构造成作为在图3所示的输入/输出处理单元101中使用的命令确定单元116操作的部件。也就是说，由通过参考图41进行解释的流程图表示的处理表示这样的处理，由于一种关系已经被存储在命令定义保存单元26中以作为接触部与操作者所输入的操作命令相关的关系，该定义说明：如果一个手指放在用作显示数据的文本数据的字符串上，该字符串就被确定为一种通过操作命令进行删除的字符串。基于存储在命令定义保存单元26中的定义，形状命令识别单元24将操作命令识别为由命令发出单元27发出以删除在手指所覆盖的范围内字符串的内部命令。

应该注意：与在由图8所示的流程图表示的处理的解释中提及的点非常类似，在由图41所示的流程图表示的处理的解释中提及的点不是指像素，而是指先前提及的目标或者在先前通过参考诸如图9之类的附图解释的流程图中提及的连接元素。

在由通过参考图41进行解释的流程图表示的处理中，从步骤S131到步骤S134类似于先前通过参考图38解释的流程图的那些步骤。在步骤S131中的处理执行将作为接触部检测的手指尖的面积阈值设定为A，以及将作为接触部检测的手指本体的面积阈值设定为B。在步骤S134中的处理执行产生有关图像数据是否包括所计算的面积分别至少等于阈值B的两个点的确定结果。在图像数据不包括所计算的面积分别至少等于阈值B的两个点时的处理与先前通过参考图38解释的流程图的它们各自对应部分的步骤相同。通过参考图41进行解释的流程图包括附加步骤S141和S142，如果在步骤S143执行的过程中产生的确定结果表示图像数据包括所计算的面积至少等于阈值B的点，就执行步骤S141和S142。更具体地说，在步骤S141中，执行第二图形处理以计算在该点的接触位置的位置。然而，应该注意：计算接触位置的位置所执行的第二图像处理不同于根据先前通过参考图17解释的流程图来计算位置所执行的图像处理。执行第二图像处理以计算接触部的位置，在此情况下接触部是接收光图像上的一个完整的连接元素。如果计算接触位置的位置所执行的第二图像处理的结果表示接触部被叠加在出现于显示屏的字符串上，该处理的流程就继续进行到步骤S142。在该步骤中，操作者所输入的操作命令就被识别为删除字符串的内部命令，接触部叠加在该字符串上。

图42是示出作为执行上述处理的结果而获得的后操作显示屏的图。当操作者将手指f1放在字符串H2上时，该字符串H2出现在如图40上部所示的显示区域121上，手指f1所叠加的字符串H2如图42所示被删除。

应该注意：由参考图38和41解释的流程图表示的处理相互并不排斥。也就是说，前者的处理和后者的处理能够如图43所示的流程图所示被同时执行。在本实施例中，文本数据通过“选择”或“删除”句子进行编辑，如上所述。然而，操作命令也能够在除了选择和删除句子关系之外的关系中与接触部相关。此外，操作命令也能够在说明执行任何内部命令的关系中与接触部相关。

应该注意：与在由图8所示的流程图表示的处理的解释中提及的点非常类似，在由图43所示的流程图表示的处理的解释中提及的点不是指像素，而是指先前提及的目标或者在先前通过参考诸如图9之类的附图解释的流程图中提及的连接元素。

在上述的实施例中，根据操作者所输入的操作命令，检测分别与显示装置的显示区域上多个接触部接触的物体或者分别被带到与接触部非常接近的位置的物体，并且每个接触部的状态被如下用作识别操作命令的基础。

分别用作目标的接触部的位置的关系被用作识别操作命令的基础。

分别用作随时间流逝的目标的接触部位置的变化被用作识别操作命令的基础。

分别用作目标的接触部的形状(比如大小和其它属性)被用作识别操作命令的基础。

通过定义使另一个条件与操作命令相关的关系，操作命令能被识别为执行显示屏上另一个操作和编辑文本数据的另一个过程的内部命令。其它条件可以是上面列出的基础、均由物体触摸或接近的接触部的数量、或接触部移动的方向的组合。除了在显示屏上执行的其它操作和编辑文本数据的其它过程外，还可以执行特定应用。在特定应用的情况下，执行该应用的应用处理单元可以被构造为一个在输入输出处理单元101外部的单元。

在上述的实施例中，主要地，反射性物体比如手指接触显示区域上的接触部或者被带到非常接近接触部的位置。然而，操作命令的设定并不局限于根据由这些实施例设定的条件的命令，因为光接收器件被布置在本发明所提供的显示/接收光面板单元120的显示表面上，以形成器件的二维阵列。例如，操作命令能够通过使用多个包括激光指针的光源、改变光束的大小、改变光束的形状或使用它们的任何组合进行发出。

作为可选方案，操作者能够通过将显示屏上出现的任何图像用作不同于接收光图像的图像来发出操作命令，只要该其它图像根据该命令变化即可。其它图像的例子是另一个接触显示装置的接触显示区域中的接触部或者被带到非常接近显示屏的位置的物体来执行特定处理而产生和检测的图像。例如，当夹子放在显示屏上时，就能够处理特定应用，或者当钥匙放在显示屏上并分别在顺时针或逆时针方向上旋转时，就能够执行锁定或解锁过程。

顺便提一下，前述的系列过程能够通过硬件和/或软件的执行来实现。

在此情况下，图1中所示的图像输入/输出单元1的至少一些部分能够通过具有类似于图44所示的结构的个人计算机来实现。

在图44所示的个人计算机中，CPU(中央处理单元)201通过执行存储在ROM(只读存储器)202中的程序或从存储单元208加载到RAM(随机存取存储器)203中的程序来实现各种处理。RAM 203还用于适当地存储各种信息，比如在执行处理中CPU 201所需的数据。

CPU 201、ROM 202和RAM 203通过总线204相互连接，该总线204还被连接到输入/输出接口205。

输入/输出接口205被连接到输入单元206、输出单元207、存储单元208和通信单元209。输入单元206包括键盘和鼠标，而输出单元207包括显示单元。存储单元208包括硬盘。通信单元209具有调制解调器或终端适配器。通信单元209控制通过包括因特网的网络用未在图中示出的其它装置执行的通信处理。

如果需要，输入/输出接口205也被连接到驱动器210，在该驱动器上适当安装了可移动记录介质211。可移动记录介质211可以是磁盘、光盘、磁光盘或半导体存储器。如果需要，要由CPU 201执行的计算机程序从安装在存储单元208中的可移动记录介质中进行加载。

先前所述的系列过程能够通过硬件和/或软件的执行来实现。如果上述的系列过程通过执行软件来实现，那么包含软件的程序能够通常从网络或记录介质被安装到嵌入专用硬件的计算机、通用个人计算机等中。在此情况下，计算机或个人计算机至少用作上面通过参考图2描述的图像输入/输出单元1的至少一些部分。通用个人计算机是一种能够通过将各种程序安装到其中来执行各种功能的个人计算机。

用于将安装到计算机或通用个人计算机中的程序记录为分别由计算机或通用个人计算机执行的程序的上述记录介质是可移动记录介质211，它从独立于如图44所示的图像输入/输出单元1的主单元被提供给用户。可移动记录介质211的例子也被称为组件介质，它包括磁盘比如软盘、光盘比如CD-ROM(光盘-只读存储器)或DVD(数字通用盘)、磁光盘比如MD(微型盘)以及半导体存储器。代替从可移动记录介质211安装程序，程序也可预先存储在嵌入式记录介质中，该记录介质被包含在图像输入/输出单元1的主单元中。嵌入式记录介质的例子是包含在存储单元208和ROM 202中的硬盘。

还值得注意的是：在本说明书中，上述的流程图的步骤能够沿着时间轴以预先规定的顺序以及同时或单独地执行。

还应注意：在本说明书中使用的技术术语“系统”是指包括多个装置的复合结构。

本领域技术人员应该理解，可根据设计需要和其它因素进行各种修改、组合、子组合和替换，只要它们在所附权利要求书或其等同物的范围内。

Claims (5)

1.一种能够同时或交替地显示图像和接收光的显示装置，所述显示装置包括：

多个布置形成矩阵的显示器件；

多个光接收器件，每个位于靠近所述显示器件之一的位置，以作为用于接收射到所述显示装置的显示屏的光的光接收器件；

接收光图像产生单元，用于基于表示由所述光接收器件接收到的光的接收光信号，产生表示接触所述显示屏或被带到与所述显示屏靠近的位置的物体的状态的图像数据；

图像处理/评估单元，用于基于由所述接收光图像产生单元所产生的图像数据，评估接触所述显示屏或被带到与所述显示屏靠近的位置的物体的位置和大小，以及评估所述位置和所述大小的变化；以及

命令确定单元，用于在由所述图像处理/评估单元执行的检测作为均由所述物体触摸或靠近的接触部的检测时，基于均由所述物体触摸或由所述物体靠近的多个所述接触部的位置之间的关系、所述接触部中每个的位置或所述接触部中每个的大小的变化来识别由操作者输入的命令，

其中根据由所述命令确定单元所识别的命令来执行预定处理。

2.根据权利要求1所述的显示装置，其中所述预定处理是改变由所述显示器件显示的显示图像的处理。

3.根据权利要求1所述的显示装置，其中所述预定处理是改变用于产生由所述显示器件显示的显示图像的应用的操作的处理。

4.根据权利要求1所述的显示装置，其中在由所述图像处理/评估单元执行的处理中待检测的图像是位于所述显示屏上的物体的图像或者位于靠近所述显示屏的位置的物体的阴影的形状。

5.一种能够同时或交替地显示图像和接收光的显示方法，所述显示方法包括下列步骤：

通过使用多个布置形成矩阵的显示器件来显示图像；

当物体接触显示屏上的接触部或者被带到与所述接触部靠近的位置时，通过使用多个均位于靠近所述显示器件之一的位置的光接收器件来检测显示屏上的所述接触部；以及

根据所述接触部的位置之间的关系、所述接触部中每个的位置或所述接触部中每个的大小的变化，执行用于多个接触部的预定处理，这些接触部在物体接触所述接触部或者被带到与所述接触部靠近的位置时被检测。

Images