CN101281445A - 显示装置 - Google Patents

显示装置 Download PDF

Info

Publication number
CN101281445A
CN101281445A CNA2008100911273A CN200810091127A CN101281445A CN 101281445 A CN101281445 A CN 101281445A CN A2008100911273 A CNA2008100911273 A CN A2008100911273A CN 200810091127 A CN200810091127 A CN 200810091127A CN 101281445 A CN101281445 A CN 101281445A
Authority
CN
China
Prior art keywords
target
frame
information
display
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100911273A
Other languages
English (en)
Other versions
CN101281445B (zh
Inventor
津崎亮一
山口和范
原田勉
建内满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Display Inc
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101281445A publication Critical patent/CN101281445A/zh
Application granted granted Critical
Publication of CN101281445B publication Critical patent/CN101281445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/08—Active matrix structure, i.e. with use of active elements, inclusive of non-linear two terminal elements, in the pixels together with light emitting or modulating elements
    • G09G2300/0809—Several active elements per pixel in active matrix panels
    • G09G2300/0842—Several active elements per pixel in active matrix panels forming a memory circuit, e.g. a dynamic memory with one capacitor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • G09G2360/142—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element the light being detected by light detection means within each pixel

Abstract

一种显示装置，包括适于显示图像和读出从外部入射到其上的光的输入/输出单元。所述输入/输出单元能够接受到该输入/输出单元的显示屏上的多个点的同时输入。所述显示屏用透明的或半透明的保护片覆盖。

Description

显示装置
技术领域
本发明涉及显示装置，更具体地，涉及具有适于显示图像和读出(sense)从外部入射到其上的光的输入/输出单元的显示装置。
背景技术
一种用于输出与面板上的多个点相关联的信息的技术是在液晶显示装置中放置光传感器，并通过该光传感器检测从外部输入的光(参见例如日本未审专利申请公开No.2004-127272)。以下，这样的装置将被称为输入/输出面板。
在输入/输出面板中，可以以各种方式检测入射到其上的光。在一种技术中，用户操作具有放置在其上的外部光源(如LED(发光二极管))的笔等，并且从该光源发射的光被检测。在另一技术中，用户使用他的/她的手指或没有光源的笔执行输入操作，并且从液晶显示装置发射(更具体地，从背光灯发出并经由液晶显示装置的显示面板传输的光)、并从位于液晶显示装置的显示屏附近的笔或用户的手指反射到液晶显示装置的内部的光，被光传感器检测。
在静电型或压力敏感型的触摸面板的情况下，当触摸面板上的点被触摸时，与该被触摸点相关联的信息(例如，指示该点的坐标的信息)被输出。然而，点信息仅限于每次单个点。
当用户同时触摸触摸面板上的两个点时，例如依赖于哪个点用更高压力按压或依赖于哪个点更早开始被按压，该触摸面板选择两点之一，并且该触摸面板只输出与选择的点相关联的点信息。
鉴于以上，期望提供一种适于输出与多个点相关联的点信息的输入/输出面板。这种类型的输入/输出面板将发现各种应用。
发明内容
输入/输出面板的显示屏用于在其上显示图像，还读出从外部入射到其上的光。因此，如果显示屏的表面被损坏或被灰尘、指印等弄脏，那么不仅可见度而且光敏感度被劣化。
鉴于以上，期望提供一种对损坏和灰尘具有高抵抗力的输入/输出面板。
根据本发明的实施例，提供了一种显示装置，包括适于显示图像和读出从外部入射到其上的光的输入/输出单元，所述输入/输出单元适于接受到该输入/输出单元的显示屏上的多个点的同时输入，所述显示屏用透明的或半透明的保护片(sheet)覆盖。
所述保护片的表面可以部分地以特定形状凹进或凸起。
所述保护片的表面可以部分地以特定形状凹进或凸起，该特定形状对应于显示在所述显示屏上的用户界面。
所述保护片可以是彩色的。
如上所述，在所述显示装置中，所述输入/输出单元适于显示图像和读出从外部入射到其上的光，所述输入/输出单元能够接受到该输入/输出单元的显示屏上的多个点的同时输入，并且所述显示屏用透明的或半透明的保护片覆盖。
在所述显示装置的该配置中，防止所述适于显示图像和读出从外部入射到其上的光的显示屏被损坏和弄脏，因此防止所述显示装置的可见度和光敏感度的劣化。
附图说明
图1是图示根据本发明实施例的显示系统的方块图；
图2是图示输入/输出显示器的结构的示例的示意图；
图3是图示输入/输出显示器的主要部分的多层结构的示例的示意图；
图4是图示放置在各个位置以控制输入/输出显示器的操作的驱动器的图；
图5是图示输入/输出显示器的像素的电路配置的示例的图；
图6是图示由显示系统执行的显示/读出操作的流程图；
图7是图示配置来执行显示/读出操作的软件的图；
图8是图示在时间t存在于第t帧中的目标的图；
图9是图示在还没有执行融合(merge)的状态中、存在于第(t+1)帧中的各输入斑点(spot)的图；
图10是其中以叠加方式图示第t帧和第(t+1)帧的图；
图11是图示读出的光图像的示例的图；
图12是图示融合处理的细节的流程图；
图13是图示生成器输出目标信息和事件信息的方式的示例图；
图14是图示生成器输出目标信息和事件信息的另一方式的另一示例图；
图15是图示输入/输出显示器的外部结构的示例的图；
图16是图示输入/输出显示器的外部结构的另一示例的图；
图17是图示输入/输出显示器的外部结构的另一示例的图；
图18是图示根据本发明另一实施例的显示系统的方块图；
图19是图示根据本发明另一实施例的显示系统的方块图；
图20是图示以根据本发明实施例的模块的形式配置的输入/输出面板的平面图；
图21是具有根据本发明实施例的输入/输出面板的电视机的透视图；
图22是具有根据本发明实施例的输入/输出面板的数字照相机的透视图；
图23是具有根据本发明实施例的输入/输出面板的个人电脑的透视图；
图24是具有根据本发明实施例的输入/输出面板的便携式终端装置的透视图；以及
图25是具有根据本发明实施例的输入/输出面板的摄像机的透视图。
具体实施方式
在描述本发明的实施例之前，以下讨论了本发明的各特征和在本发明的各实施例中公开的特定元件的对应。该描述意图在于确保支持本发明的各实施例在本说明书中被描述。因此，即使以下实施例中的元件没有描述为与本发明的某个特征相关，那也不一定意味着该元件与权利要求的特征不相关。相反，即使元件在此描述为与本发明的某个特征相关，那也不一定意味着该元件不与本发明的其他特征相关。
根据本发明的实施例，提供了一种显示装置，包括适于显示图像和读出从外部入射到其上的光的输入/输出单元(例如，图1中所示的输入输出显示器22)。所述输入/输出单元适于接受到该输入/输出单元的显示屏(例如，图2中所示的显示屏51A)上的多个点的同时输入，并且所述显示屏用透明的或半透明的保护片覆盖(例如，图2中所示的保护片52、图14中所示的保护片211、图16中所示的保护片231、或图16中所示的保护片261)。
结合附图，参照各优选实施例进一步详细地描述了本发明。
图1是图示根据本发明实施例的显示系统的方块图。
在图1中，显示系统1是例如便携式电话设备或电视(TV)接收器。
显示系统1包括天线10、信号处理单元11、控制器12、存储单元13、操作单元14、通信单元15、以及输入/输出面板16。
信号处理单元11通过天线10解调和/或解码电视无线电波(如地面电视无线电波或卫星电视无线电波)。作为解调/解码的结果获得的图像数据和音频数据被提供到控制器12。
控制器12根据操作信号执行各种处理，该操作信号从依赖于由用户执行的操作的操作单元14提供。在处理中生成的中间数据存储在存储单元13中。控制器12将从信号处理单元11接收的图像数据提供到输入/输出面板16。此外，根据需要，控制器12根据从输入/输出面板16提供的目标/事件信息产生图像数据，并且将得到的图像数据提供到输入/输出显示器22，由此改变图像在输入/输出显示器22上显示的模式。
存储单元13由例如RAM(随机存取存储器)实现。存储单元13由控制器12使用来暂时存储数据。
操作单元14由例如10键区、键盘等实现。当操作单元14由用户操作时，操作单元14生成对应于由用户执行的操作的操作信号，并将生成的操作信号提供到控制器12。
通信单元15适于与使用无线电波的无线电台(未示出)通信。
输入/输出面板16根据从控制器12提供的图像数据在输入/输出显示器22上显示图像。输入/输出面板16还通过对这样的信息执行识别处理和融合处理来产生目标/事件信息，该信息与从输入/输出显示器22输出的读出的光信号中检测的一个或多个点相关联，并且输入/输出面板16将得到的目标/事件信息提供到控制器12。
输入/输出面板16包括显示信号处理单元21、输入/输出显示器22、读出的光信号处理单元23、图像处理单元24、以及生成器25。
显示信号处理单元21处理从控制器12提供的图像数据，由此创建图像数据以提供到输入/输出显示器22。得到的图像数据被提供到输入/输出显示器22。
输入/输出显示器22被配置来显示图像和检测从外部输入的光。更具体地，输入/输出显示器22根据从显示信号处理单元21提供的图像数据，在其显示屏上显示图像。输入/输出显示器22包括多个在显示屏的整个表面分布的光传感器22A，由此输入/输出显示器22检测从外部入射的光，生成对应于入射光的强度的读出的光信号，并且将得到的读出的光信号提供到读出的光信号处理单元23。
读出的光信号处理单元23处理从输入/输出显示器22提供的读出的光信号，以便逐帧创建图像，该图像的亮度在用户的手指接触或靠近输入/输出显示器22的显示屏的区域、和没有与显示屏接触或靠近的区域之间不同。得到的图像被提供到图像处理单元24。
图像处理单元24对从读出的光信号处理单元23图像的每帧执行图像处理，包括二进制化、噪声移除、以及标记，由此检测其中用户的手指或笔与输入/输出显示器22的显示屏接触或靠近的输入斑点。图像处理单元24获得与该输入斑点相关联的点信息(更具体地，指示显示屏上输入斑点的代表点的坐标的信息)，并将该点信息提供到生成器25。
生成器25通过对从图像处理单元24提供的输入斑点的点信息执行融合处理(稍后描述)，生成与目标相关联的信息(以下简称为目标信息)。根据目标信息，生成器25通过执行识别处理(稍后描述)，生成指示目标的状态改变的事件信息。注意到，在融合处理中生成与一些事件相关联的信息。
生成器25包括目标生成器31、事件生成器32以及存储单元33，并且被配置来为每帧生成目标信息和事件信息，并将生成的目标信息和事件信息提供到控制器12。
通过使得用户的手指等接触或靠近显示屏，能够执行输入信息到输入/输出显示器22。目标被定义为到输入/输出显示器22的一系列输入。更具体地，例如，在使用户的手指接触或靠近输入/输出显示器22的显示屏后，如果在维持手指接触或靠近显示屏的同时将手指移动特定的距离，并且如果将手指从显示屏移开，则通过输入/输出显示器22的显示屏上的一系列输入形成目标。
事件指示目标的状态改变。例如，当目标的位置改变、新的目标出现(或生成)、或目标消失(或被删除)时，生成事件。
根据各输入斑点的时间和/或空间位置方面的关系，生成器25的目标生成器31在多个帧上融合从图像处理单元24提供的每帧的输入斑点的点信息，并生成指示已经从外部给出到其的输入的一系列输入斑点的目标信息。得到的生成的目标信息提供到存储单元33。
例如，当在时间t+1的第(t+1)帧的点信息作为与输入斑点相关联的点信息从图像处理单元24给到目标生成器31时，目标生成器31将与第(t+1)帧中的输入斑点相关联的点信息和在第(t+1)帧的时间之前的时间t的第t帧相关联的目标信息进行比较。
当采用第t帧中的某个目标作为感兴趣的目标时，目标生成器31从第(t+1)帧中检测位于空间上最靠近感兴趣的目标的输入斑点，将检测的输入斑点当作由该系列输入给出的感兴趣的目标的部分，并将检测的输入斑点融入感兴趣的目标。
在第(t+1)帧中检测到没有输入斑点位于物理地靠近感兴趣的目标的情况下，目标生成器31确定该系列输入完成，并且目标生成器31删除感兴趣的目标。
在第(t+1)帧中检测到剩余没有被融入任何目标的输入斑点的情况下，目标生成器31确定新的系列输入已经开始，并且目标生成器31创建新的目标。目标生成器31将与得到的目标相关联的信息和与新创建的目标相关联的信息作为第(t+1)帧的目标信息，提供到存储单元33。
根据需要，事件生成器32根据目标信息产生指示每个目标的状态改变的事件信息，并且事件生成器32将事件信息提供到存储单元33。更具体地，例如，事件生成器32分析第t帧的目标信息、第(t+1)帧的目标信息、以及存储在存储单元33中的第t帧之前的一个或多个帧的目标信息(如果需要)，以便检测事件(即目标的状态改变)。事件生成器32产生指示检测的事件的内容的事件信息，并将产生的事件信息作为第(t+1)帧的事件信息提供给存储单元33。
事件生成器32从存储单元33读取第(t+1)帧的目标信息和事件信息，并将它们提供给控制器12。
如果存储单元33从目标生成器31接收目标信息以及从事件生成器32接收事件信息，则存储单元33存储它们。
图2示意性图示输入/输出显示器22的外部结构的示例。该输入/输出显示器22包括主体51和显示屏51A，其适于显示图像和读出从外部入射到其上的光。显示器51A覆盖有保护片52，用于防止显示屏51A被损坏或弄脏。
保护片52可以由透明材料形成为薄板的形状。期望在此使用的透明材料重量轻、抗损坏和灰尘、高耐用性、以及高加工性。例如，聚丙烯树脂可以用作用于此目的的材料。保护片52可以使用螺丝等连接到显示屏51A，使得显示屏51A用保护片52覆盖，或者可以使用粘合剂(如玻璃纸膜)粘合到显示屏51A，使得显示屏51A用保护片52覆盖。
更具体地，例如保护片52可以形成为多层结构，该多层结构与显示屏51A接触的一个表面(背面)由透明的、粘性的和轻的材料(如硅树脂)制成，而其相对表面(外表面)由如PET(聚对苯二甲酸乙二醇酯)的材料制成，该PET透明、重量轻、抗损坏和灰尘、以及耐用性高。保护片52粘合到显示屏51A，使得显示屏51A用保护片52覆盖。
注意到，保护片52由透明材料制成，使得输入/输出显示器22具有高能见度和对光的高敏感度。即使在经常使得用户的手指或笔与输入/输出显示器22的显示屏51A接触时，保护片52保护显示屏51A的表面不被损坏或弄脏，由此保护显示屏51A的可见度和光敏感度不被劣化。
严格的说，使用户的手指或笔与显示屏51A接触不是直接地而是经由保护片52。然而，在以下的解释中，为了易于理解，将使用简单的表述“与显示屏51A接触”。
图3示意性图示输入/输出显示器22的主体51的多层结构的示例。
形成输入/输出显示器22的主体51使得由玻璃等制成的两个透明基底，即TFT(薄膜晶体管)基底61和对向电极基底62相互平行放置，而通过以密封方式在两个透明基底之间的间隙中放置液晶(如扭曲向列(TN)液晶)形成液晶显示层63。
在TFT基底61的面对液晶层63的表面上，形成了电极层64，其包括用作开关元件的薄膜晶体管(TFT)、像素电极、以及适于在薄膜晶体管和像素电极之间提供隔离的隔离层。在对向电极基底62的面对液晶层63的表面上，形成了对向电极65和滤色镜66。通过这些部分，即TFT基底61、对向电极基底62、液晶显示层63、电极层64、对向电极65和滤色镜66，形成了透射液晶显示面板。TFT基底61具有放置在其与面对液晶层63的表面相反的表面上的偏振片67。类似地，对向电极基底62具有放置在其与面对液晶层63的表面相反的表面上的偏振片68。
放置保护片52使得偏振片68与对向电极基底62相反的表面被保护片52覆盖。
背光单元69放置在液晶显示面板的后侧，使得该液晶显示面板从其后侧通过从背光单元发射的光照明，由此在液晶显示面板上显示彩色图像。该背光单元69可以以多个光源(如荧光管或发光二极管)的阵列的形式配置。期望背光单元69能够被高速打开/关闭。
在电极层64中，形成了多个用作光读出元件的光传感器22A。每个光传感器22A放置临近液晶显示器的对应的发光元件之一，使得发光(显示图像)和读出光(读取输入)能够同时执行。
图4图示用于控制输入/输出显示器22的操作的各驱动器放置在各个位置的方式的示例。
在图4所示的示例中，在输入/输出显示器22的中心形成透明显示区域(传感器区域)81，并且水平显示驱动器82、垂直显示驱动器83、垂直传感器驱动器84和水平传感器驱动器85放置在向外临近显示区域81的各四边的外围区域中。
水平显示驱动器82和垂直显示驱动器83适于根据经由图像信号线86提供的、提供用作显示图像数据的显示信号和控制时钟信号，驱动以阵列形式放置在显示区域81中的各像素。
垂直传感器驱动器84和水平传感器驱动器85与从外部提供的读取时钟信号(未示出)同步，从光传感器22A读取读出的光信号，并且经由读出的光信号线87将读出的光信号提供到图1中所示的读出的光信号处理单元23。
图5图示以阵列形式放置在输入/输出显示器22的显示区域81中的像素之一的电路配置的示例。如图5中所示，每个像素101包括用作光传感器22A的薄膜晶体管(TFT)、开关元件111、像素电极112、重置开关113、电容器114、缓冲放大器115、以及开关116。开关元件111和像素电极112形成显示部分，通过该显示部分实现显示功能，而光传感器22A、重置开关113、电容器114、缓冲放大器115以及开关116形成光读出部分，通过该光读出部分实现光读出功能。
开关元件111放置在在水平方向上延伸的栅极线121和在垂直方向上延伸的显示信号线122的交叉点，并且开关元件111的栅极连接到栅极线121，而其漏极连接到显示信号线122。开关元件111的源极连接到像素电极112的一端。像素电极112的另一端连接到互连线123。
开关元件111根据经由栅极线121提供的信号打开或关闭，而像素电极112的显示状态由经由显示信号线122提供的信号确定。
光传感器22A放置临近像素电极112，并且光传感器22A的一端连接到电源线124，经由其提供电源电压VDD，而光传感器22A的另一端连接到重置开关113的一端、电容器114的一端、以及缓冲放大器115的输入端子。重置开关114的另一端(不同于连接到光传感器22A的一端的所述端)和电容器114的另一端(不同于连接到光传感器22A的一端的所述端)都连接到接地端VSS。缓冲放大器115的输出端子经由读取开关116连接到传感器信号线125。
重置开关113的打开/关闭由经由重置线126提供的信号控制。读取开关116的打开/关闭由经由读取线127提供的信号控制。
光传感器22A操作如下。
首先，重置开关113打开，从而重置光传感器22A的电荷(charge)。此后，重置开关113关闭。结果，对应于入射在光传感器22A上的光量的电荷存储在电容器114中。在该状态中，如果读取开关116被打开，则存储在电容器114中的电荷通过传感器信号线125经由缓冲放大器115提供，并且最后输出到外部。
接着，参照图6中所示的流程图，以下解释通过显示系统1执行的显示图像和读出光的处理。
例如，当用户打开显示系统1的电源时，显示系统1的该处理开始。
在以下的解释中，假设已经对直到第t帧的各帧执行了步骤S1到S8，并且与至少在第t帧之前的各帧相关联的目标信息和事件信息已经存储在存储单元33中。
在步骤S1中，输入/输出显示器22的光传感器22A检测从外部入射到其上的光，如从位于与显示屏51A接触或靠近的手指等反射、并入射在光传感器22A上的光，并且光传感器22A将对应于入射光量的读出的光信号提供到读出的光信号处理单元23。
在步骤S2中，读出的光信号处理单元23处理从输入/输出显示器22提供的读出的光信号，以便创建第(t+1)帧图像，其亮度在用户的手指接触或靠近输入/输出显示器22的显示屏的区域和没有什么与显示屏接触或靠近的区域之间不同。得到的图像作为第(t+1)帧图像提供到图像处理单元24。
在步骤S3中，图像处理单元24对从读出的光信号处理单元23提供的第(t+1)帧图像执行图像处理，包括二进制化、噪声移除、以及标记，从而在第(t+1)帧图像中检测其中用户的手指或笔与输入/输出显示器22的显示屏51A接触或靠近的输入斑点。图像处理单元24将与该检测的输入斑点相关联的点信息提供到生成器25。
在步骤S4中，生成器25的目标生成器31对与从图像处理单元24提供的第(t+1)帧的输入斑点相关联的点信息执行融合处理，并基于融合处理的结果产生与第(t+1)帧相关联的目标信息。得到的目标信息存储在存储单元33中。此外，生成器25的事件生成器32基于目标信息执行融合处理，以产生指示已经在第(t+1)帧中发生的事件(如目标的出现或消失)的事件信息，如果这样的事件已经发生。得到的目标信息存储在存储单元33中。融合处理稍后将参照图8到12进一步详细描述。
在步骤S5中，生成器25的事件生成器32基于目标信息进一步执行识别处理，并且生成指示在第(t+1)帧中目标的状态改变的事件信息。得到的事件信息存储在存储单元33中。
例如，如果用户在显示屏51A上移动他的/她的手指同时保持手指与显示屏51A接触或靠近，也就是说，如果目标移动，则事件生成器32生成事件“移动开始”，并将与事件“移动开始”相关联的信息存储在存储单元33中。
例如，如果用户停止在显示屏51A上移动他的/她的手指，即，如果目标停止，则事件生成器32生成事件“移动停止”，并将与事件“移动停止”相关联的信息存储在存储单元33中。
在用户使得他的/她的手指与显示屏51A接触或靠近、沿着显示屏51A的表面移动他的/她的手指特定距离，同时保持手指与显示屏51A接触或靠近、并且最终移动他的/她的手指离开显示屏51A的情况下，如果手指移动开始点和结束点之间的距离等于或大于预定阈值，即，如果目标在移动的距离等于或大于预定阈值后消失，则事件生成器32生成事件“投射(Project)”，并将与事件“投射”相关联的信息存储在存储单元33中。
在用户使得他的/她的手指与显示屏51A接触或靠近、移动他的/她的两根手指以便增加或减少两根手指间的距离同时保持手指与显示屏51A接触或靠近、并且最终移动他的/她的手指离开显示屏51A的情况下，那么进行关于各手指间最后增加的距离与最初距离的比率是否等于或大于预定阈值、或两根手指间最后减少的距离与最初距离的比率是否等于或小于预定阈值的确定。如果确定结果是肯定的，则事件生成器32生成事件“加大(Enlarge)”或“减少(Reduce)”，并将与生成的事件相关联的信息存储在存储单元33中。
在用户使得他的/她的手指与显示屏51A接触或靠近、在显示屏51A的表面上沿着围绕特定点的同心弧移动他的/她的手指特定距离，同时保持手指与显示屏51A接触或靠近、并且最终移动他的/她的手指离开显示屏51A的情况下，那么进行关于由在显示屏51A上初始帧中的两根手指的初始位置定义的初始线、和由在显示屏51A上最终帧(第(t+1)帧)中的两根手指的最终位置定义的最终线之间的旋转角度的绝对值，是否等于或小于预定阈值的确定。如果确定结果是肯定的，即，如果由两个目标定义的线以任一方向旋转的角度等于或大于预定阈值，则事件生成器32生成事件“旋转(Rotate)”，并将与生成的事件相关联的信息存储在存储单元33中。
在用户使得他的/她的手指与显示屏51A接触或靠近、在显示屏51A的表面上沿着围绕特定点的同心弧移动他的/她的手指特定距离，同时保持手指与显示屏51A接触或靠近、并且最终移动他的/她的手指离开显示屏51A的情况下，然后对三根手指中的两根的所有可能的组合的每个，执行计算以确定在显示屏51A上初始帧中的三根手指中的两根的初始位置定义的初始线、和由在显示屏51A上最终帧(第(t+1)帧)中的两根手指的最终位置定义的最终线之间的旋转角度。然后计算通过三根手指中的两根的各自组合进行的平均旋转角度，并进行关于平均旋转角度的绝对值是否等于或大于预定阈值的确定。如果确定结果是肯定的，即，如果在从三个目标出现到消失的时间段期间、其每个由两个总共三个目标中的两个定义的三条线的平均旋转角度等于或大于预定阈值，则事件生成器32生成事件“三点旋转(ThreePointRotate)”，并将与生成的事件相关联的信息存储在存储单元33中。
在步骤S6中，生成器25的事件生成器32从存储单元33读取与第(t+1)帧相关联的目标信息和事件信息，并将它们提供到控制器12。
在步骤S7中，控制器12根据从输入/输出面板16的发生器25提供的目标/事件信息产生图像数据，并经由显示信号处理单元21将得到的图像数据提供给输入/输出显示器22，从而根据需要改变在输入/输出显示器22上显示图像的模式。
在步骤S8中，根据控制器12发出的命令，输入/输出显示器22改变图像显示的模式。例如，图像以顺时针方向旋转90°，并显示得到的图像。
处理流然后返回到步骤S1以对下一帧(即，第(t+2)帧)执行上述处理。
图7图示配置来执行图6中所示的显示/读出处理的软件的示例。
该显示/读出软件包括读出光处理软件模块、点信息生成软件模块、融合软件模块、识别软件模块、输出软件模块、以及为上层应用的显示控制软件模块。
在图7中，输入/输出显示器22的光传感器22A读出从外部入射的光，并产生一帧读出的光信号。如上所述，入射光是例如从接触或靠近显示屏51A的手指等反射的光。
在读出光处理层，对从输入/输出显示器22提供的一帧读出光信号执行包括例如放大、过滤等的读出光处理，由此产生对应于一帧读出光信号的一帧图像。
在直接在读出光处理层更上的点信息生成层中，对作为读出光处理的结果获得的图像执行包括二进制化、噪声移除、以及标记等的图像处理，并且检测其中手指接触或靠近输入/输出显示器22的显示屏51A的输入斑点。然后逐帧生成与输入斑点相关联的点信息。
在直接在点信息生成层上的融合层中，对作为点信息生成处理的结果获得的点信息执行包括融合处理，并且逐帧生成目标信息。根据当前帧的目标信息，生成了指示事件(如目标的生成或删除(消失))的事件信息。
在直接在融合层上的识别层中，基于在融合处理中生成的目标信息识别用户的手指的运动或手势，并且逐帧生成指示目标的状态改变的事件信息。
在直接在识别层上的输出层中，逐帧输出在融合处理中生成的目标信息和事件信息、以及在识别处理中生成的事件信息。
在直接在输出层上的显示控制层中，根据在输出处理中输出的目标信息和事件信息，根据需要将图像数据提供给在图1中所示的输入/输出面板16的输入/输出显示器22，由此改变图像在输入/输出显示器22上显示的模式。
接下来，参照图8到12，进一步详细描述由图1中所示的生成器25执行的融合处理。
图8图示在时间t、在第t帧中存在的目标。
在图8中(以及在稍后将参照的图9和10中)，为了图示方便，在帧上显示了网格。
在图8中，在时间t、在第t帧中存在三个目标#1、#2和#3。可以为每个目标定义属性。该属性可以包括用作识别每个目标的标识信息目标ID(标识符)。在图8所示的示例中，#1、#2和#3作为目标ID分别分配给三个目标。
例如在三根用户的手指接触或靠近输入/输出显示器22的显示屏51A时，这样三个目标#1、#2和#3能够出现。
图9图示在时间t的第t帧之后的在时间t+1的第(t+1)帧，其处于融合处理还没有执行的状态。
在图9所示的示例中，在第(t+1)帧中存在4个输入斑点#a到#d。
例如在四根用户的手指接触或靠近输入/输出显示器22的显示屏51A时，能够发生其中出现四个输入斑点#a到#d的状态。
图10是其中图8中所示的第t帧和图9中所示的第(t+1)帧以叠加方式显示的图。
在融合处理中，在时间上相互靠近的两帧(如第t帧和第(t+1)帧)之间进行输入斑点方面的比较。当第t帧中的特定目标被当作融合处理中的感兴趣的目标时，如果检测到空间上靠近感兴趣的目标的输入斑点，则该输入斑点被当作属于感兴趣的目标的一系列输入斑点之一，因此检测的输入斑点被融入感兴趣的目标中。关于特定输入斑点是否属于特定目标的确定，可以通过确定输入斑点和目标之间的距离是否小于预定阈值(例如，对应于网格的各块的距离)进行。
在存在多个空间上靠近感兴趣的目标的输入斑点的情况下，从所述多个输入斑点中选择最靠近感兴趣目标的输入斑点，并且将选择的输入斑点融入感兴趣的目标中。
在融合处理中，当没有检测到空间上靠近感兴趣的目标时，确定该系列输入斑点的输入完成，并且删除感兴趣的目标。
此外，在融合处理中，如果检测到剩余没有与任何目标融合的输入斑点，也就是说，如果在空间上不靠近任何目标的位置检测到输入斑点，则确定一系列输入斑点的输入已经重新开始，因此创建新的目标。
在图10中所示的示例中，通过检查第(t+1)帧中的输入斑点#a到#d的位置相对于第t帧中的目标#1、#2和#3的位置执行融合处理。在该示例中，在靠近目标#1的位置检测到输入斑点#a和#b。输入斑点#b被确定为比输入斑点#a更靠近目标#1，因此输入斑点#b与目标#1融合。
在图10中所示的示例中，没有输入斑点空间上靠近目标#2，因此目标#2被删除。在此情况下，生成事件“删除”以指示目标已经被删除。
在图10中所示的示例中，输入斑点#c和#d位于靠近目标#3。在该特定情况下，输入斑点#d比输入斑点#c更靠近目标#3，因此输入斑点#d与目标#3融合。
输入斑点#a和#c最后保持没有与目标#1到#3的任一的融合。因此，为该两个斑点创建新的目标，并且生成事件“创建”以指示新的目标已经被创建。
在融合处理中，在第t帧中剩余没有被删除的目标、和对应于剩余没有与第(t+1)帧中的任何存在目标融合的输入斑点的新创建的目标，被用作第(t+1)帧中的目标。然后基于与第(t+1)帧中的输入斑点相关联的点信息产生与第(t+1)帧相关联的目标信息。
通过对从图像处理单元24提供到读出光信号处理单元23的读出光图像的每帧执行图像处理，获得与输入斑点相关联的点信息。
图11图示读出光图像的示例。
在图11所示的示例中，读出光图像包括三个输入斑点#1到#3。
读出光图像上的每个输入斑点是其中光被读出的斑点，该光在从与显示屏51A接触或靠近手指反射后入射。因此，与其中没有手指与显示屏51A接触或靠近的区域相比，每个输入斑点具有更高或更低的亮度。图像处理单元24通过从读出光图像中检测具有更高或更低的亮度的区域来检测输入斑点，并输出指示输入斑点的特征值的点信息。
至于点信息，可以采用指示输入斑点的代表点的位置的信息和指示输入斑点的区域或大小的信息。更具体地，例如，输入斑点的中心的坐标(例如，完全包含输入斑点的最小圆周的中心)或输入斑点的重心的坐标可以用来指示输入斑点的代表点的位置。输入斑点的大小可以由输入斑点的面积表示(图11中的阴影)。输入斑点的区域可以例如由完全包含输入斑点的最小矩形的上端、下端、左端和右端一组坐标表示。
基于与目标融合的输入斑点的点信息产生目标信息中的目标属性信息。更具体地，例如，当输入斑点与目标融合时，维持用作唯一分配给该目标的识别信息的目标ID，但如代表坐标、面积信息、区域信息等的目标属性信息的其他项，由与目标融合的输入斑点的代表坐标、面积信息、区域信息替代。
目标属性信息可以包括指示执行一系列输入的开始时间的信息和指示目标的结束时间的信息。
除了目标属性信息外，目标信息还可以包括例如指示从发生器25输出到控制器12的每帧的目标的数量的信息。
接着，参照图12中的流程图，进一步详细描述由图1中所示的发生器25在图6的步骤S4中执行的融合处理。
在步骤S21中，目标发生器31从存储单元33中读取与时间上靠近第(t+1)帧的第t帧相关联的目标信息，并且将从图像处理单元24提供的第(t+1)帧中的输入斑点的点信息和与从存储单元33中读取的第t帧相关联的目标信息进行比较。
在步骤S22中，目标发生器31确定是否存在剩余没有被检查为在步骤S21中读取的第t帧中的感兴趣的目标的目标。如果在步骤S22中的确定是存在剩余没有被检查为在步骤S21中读取的第t帧中的感兴趣的目标的目标，则在步骤S23中，目标发生器31从第t帧中的各目标中选择这样的目标之一作为感兴趣的目标，并且目标生成器31确定是否第(t+1)帧具有空间上靠近第t帧中的感兴趣的目标的输入斑点。
如果在步骤S23中的确定是第(t+1)帧具有空间上靠近第t帧中的感兴趣的目标的输入斑点，则在步骤S24中，目标生成器31将在步骤S22中确定为空间上靠近感兴趣的目标的第(t+1)帧中的该输入斑点融入感兴趣的目标中。然后产生与处于融合已经执行的状态的感兴趣的目标相关联的目标信息，并作为与第(t+1)帧相关联的目标信息存储在存储单元33中。
更具体地，目标生成器31保持感兴趣目标的目标ID，但是将包括感兴趣的目标的代表坐标的目标属性信息其他项目用融入感兴趣目标的输入斑点的那些替换，并且目标生成器31将第(t+1)帧的得到的目标信息存储在存储单元33中。
另一方面，在在步骤S23中的确定是第(t+1)帧没有空间上靠近第t帧中的感兴趣的目标的输入斑点的情况下，则在步骤S25中，目标生成器31从存储单元33中删除与感兴趣目标相关联的信息。
在步骤S26中，响应于由目标生成器31删除感兴趣目标，事件生成器32发出事件“删除”来指示对应于该目标的一系列输入完成，并且将与该事件相关联的事件信息作为与第(t+1)帧相关联的事件信息存储在存储单元33中。在图10中所示的示例中，当目标#2被当作感兴趣的目标时，发出事件“删除”以指示目标#2已经从第(t+1)帧中删除，并且与事件“删除”相关联的目标信息存储在存储单元33中。
在步骤S24或S26之后，处理流返回到步骤S22以对新的感兴趣目标执行上述处理。
另一方面，如果在步骤S22中的确定是不存在剩余没有被检查为在步骤S21中读取的第t帧中的感兴趣的目标的目标，则在步骤S27中目标生成器31确定是否从图像处理单元24提供的第(t+1)帧具有剩余没有与第t帧的任何目标融合的输入斑点。
在步骤S27中的确定是第(t+1)帧具有剩余没有与第t帧的任何目标融合的输入斑点的情况下，处理流进行到步骤S28。在步骤S28中，目标生成器31为剩余没有融合的输入斑点创建新的目标。
更具体地，如果在第(t+1)帧中检测到剩余没有与第t帧中的任何目标融合的输入斑点，即，如果检测到空间上不靠近任何目标的输入斑点，则确定通过新的一系列输入斑点的输入已经开始，并且创建新的对象。目标生成器31产生与新的目标相关联的信息，并且将其作为与第(t+1)帧相关联的目标信息存储在存储单元33中。
在步骤S29中，响应于由目标生成器31创建新的目标，事件生成器32发出事件“创建”，并将与事件“创建”相关联的事件信息作为与第(t+1)帧相关联的事件信息存储在存储单元33中。融合处理然后结束，并且处理流返回到图6中的步骤S5。
另一方面，如果在步骤S27中的确定是第(t+1)帧没有剩余没有与第t帧的任何目标融合的输入斑点，则跳过步骤S28和S29，并且融合处理结束。处理流返回到图6中的步骤S5。
在上述融合处理中，如果在第t帧中检测到空间上不靠近第(t+1)帧的任何输入斑点的目标，则删除与检测的目标相关联的信息。或者，当在第t帧中检测到这样的目标时，与该检测的目标相关联的信息可以维持用于接下来的几帧。如果在接下来的几帧中没有输入斑点出现在空间上靠近该目标的位置，则可以删除该信息。这确保即使在用户由于失误将他的/她的手指从显示屏移开非常短的时间时，如果用户通过再次使他的/她的手指与显示屏51A接触或靠近而创建输入斑点，则该输入斑点正确地与目标融合。
在融合处理中，如上所述，在输入/输出显示器22的显示屏51A上检测到空间和时间上靠近目标的输入斑点，确定检测的输入斑点是一系列输入斑点之一，并且检测的输入斑点与该目标融合。在融合处理中，如果创建或删除目标，则发出事件以指示该目标已经创建或删除。
图13图示生成器25输出目标信息和事件信息的方式的示例。
在图13的顶部，显示了从在时间n的第n帧到在时间n+5的第n+5帧的一系列帧。在这些帧中，在读出光图像上的输入斑点由开圆表示。在图13的底部，显示了与从第n帧到第n+5帧的每帧相关联的目标信息和事件信息。
在图13的顶部示出的一系列帧中，用户在时间n使他的/她的手指之一与输入/输出显示器22的显示屏51A接触或靠近。在从时间n到时间n+4时间段上，手指维持与输入/输出显示器22的显示屏51A接触或靠近。在第(n+2)帧中，用户开始以从左到右的方向移动手指同时保持手指与显示屏51A接触或靠近。在第(n+4)帧中，用户停止移动手指。在时间n+5，用户将手指从输入/输出显示器22的显示屏51A移开。响应于手指的上述运动，如图13中所示，输入斑点#0出现、移动和消失。
更具体地，如图13的顶部所示，响应于使用户的手指与输入/输出显示器22的显示屏51A接触或靠近，在第n帧中出现输入斑点#0。
响应于在第n帧中输入斑点#0的出现，创建目标#0，并且如图13的底部所示，产生包括目标ID和目标属性信息的其它项目的目标属性信息。此后，除了目标ID外的目标属性信息将被简称为与目标相关联的信息，并且将用INFO表示。在图13所示的示例中，将0作为目标ID分配给目标#0，并且产生包括指示输入斑点#0的位置的信息的相关联的信息INFO。
注意到，目标的实体是位于存储器中的存储区域，用于存储目标属性信息。
在第n帧中，响应于目标#0的创建，产生事件#0。如图13的底部所示，在第n帧中在此产生的事件#0具有多个项目，其包括：事件ID，其被分配0来识别事件；事件类型，其具有值“创建”，指示新的目标已经创建；以及标识信息标识符(tid)，其具有与目标#0的目标ID值相同的值0，以便指示该事件#0代表目标#0的状态。
注意到，其事件类型为指示新的目标已经创建的“创建”的事件表示为事件“创建”。
如上所述，作为事件属性信息的一个项目，每个事件具有识别信息标识符，其识别其状态由事件指示的目标。因此，可以从识别信息标识符确定哪个目标由该事件描述。
注意到，目标的实体是位于存储器中的存储区域，用于存储目标属性信息。
在第(n+1)帧中，如图13的顶部所示，输入斑点#0剩余在与之前帧中相同的位置。
在此情况下，第(n+1)帧中的输入斑点#0与紧接在前的帧(即，第n帧)中的目标#0融合。结果，在第(n+1)帧中，如图13的底部所示，目标#0具有与之前的帧相同的ID，并且具有由包括第(n+1)帧中的输入斑点#0的位置信息的信息更新的相关联的信息INFO。也就是说，维持了目标ID(＝0)，但是相关联的信息INFO由包括第(n+1)帧中的输入斑点#0的位置信息的信息替代。
在第(n+2)帧中，如图13的顶部所示，输入斑点#0开始移动。
在此情况下，第(n+2)帧中的输入斑点#0与紧接在前的帧(即，第(n+1)帧)中的目标#0融合。结果，在第(n+2)帧中，如图13的底部所示，目标#0具有与之前的帧相同的ID，并且具有由包括第(n+2)帧中的输入斑点#0的位置信息的信息更新的相关联的信息INFO。也就是说，维持了目标ID(＝0)，但是相关联的信息INFO由包括第(n+2)帧中的输入斑点#0的位置信息的信息替代。
此外，在第(n+2)帧中，响应于与目标#0融合的输入斑点#0的移动，即，响应于目标#0的移动的开始，产生了事件#1。更具体地，如图13的底部所示，在第(n+2)帧中在此产生的事件#1作为各项目包括：事件ID，具有值1，其与分配给在第n帧中产生的事件ID不同；事件类型，其具有值“移动开始”，指示相应的目标开始移动；以及标识信息标识符，其具有与目标#0的目标ID值相同的值0，以便指示该事件#1代表目标#0的状态。
在第(n+3)帧中，如图13的顶部所示，输入斑点#0仍然移动。
在此情况下，第(n+3)帧的输入斑点#0与紧接在前的帧(即，第(n+2)帧)的目标#0融合。结果，在第(n+3)帧中，如图13的底部所示，目标#0具有与之前的帧的ID相同的ID，并且具有由包括第(n+3)帧中的输入斑点#0的位置信息的信息更新的相关联的信息INFO。也就是说，维持了目标ID(＝0)，但是相关联的信息INFO由包括第(n+3)帧中的输入斑点#0的位置信息的信息替代。
在第(n+4)帧中，如图13的顶部所示，输入斑点#0停止。
在此情况下，第(n+4)帧的输入斑点#0与紧接在前的帧(即，第(n+3)帧)的目标#0融合。结果，在第(n+4)帧中，如图13的底部所示，目标#0具有与之前的帧的ID相同的ID，并且具有由包括第(n+4)帧中的输入斑点#0的位置信息的信息更新的相关联的信息INFO。也就是说，维持了目标ID(＝0)，但是相关联的信息INFO由包括第(n+4)帧中的输入斑点#0的位置信息的信息替代。
此外，在第(n+4)帧中，响应于与目标#0融合的输入斑点#0的移动的结束，即，响应于目标#0的移动的结束，产生了事件#2。更具体地，如图13的底部所示，第(n+4)帧中在此产生的事件#2具有各项目，其包括：事件ID，具有值2，该值与分配给在第n帧中或第(n+2)帧中产生的事件ID不同；事件类型，其具有值“移动停止”，指示相应的目标停止移动；以及标识信息标识符，其具有与已经停止移动的目标#0的目标ID值相同的值0，以便指示该事件#2代表目标#0的状态。
在第(n+5)帧中，如图13的顶部所示，用户将手指从输入/输出显示器22的显示屏51A移开，因此输入斑点#0消失。
在此情况下，在第(n+5)帧中，删除目标#0。
此外，在第(n+5)帧中，响应于与目标#0融合的输入斑点#0的消失，即，响应于目标#0的删除，产生了事件#3。更具体地，如图13的底部所示，第(n+5)帧中在此产生的事件#3具有各项目，其包括：事件ID，具有值3，该值与分配给在第n帧中或第(n+2)帧中或第(n+4)帧中产生的事件ID不同；事件类型，其具有值“删除”，指示相应的目标已经被删除；以及标识信息标识符，其具有与已经被删除的目标#0的目标ID值相同的值0，以便指示该事件#3代表目标#0的状态。
注意到，其事件类型为指示目标已经被删除的“删除”的事件表示为事件“删除”。
图14图示生成器25输出目标信息和事件信息的方式的另一示例。
在图14的顶部，显示了从在时间n的第n帧到在时间n+5的第n+5帧的一系列帧。在这些帧中，在读出光图像上的输入斑点由开圆表示。在图14的底部，显示了与从第n帧到第n+5帧的每帧相关联的目标信息和事件信息。
在图14的顶部示出的帧系列中，用户在时间n使他的/她的手指之一与输入/输出显示器22的显示屏51A接触或靠近。在从时间n到时间n+4时间段上，手指维持与输入/输出显示器22的显示屏51A接触或靠近。在第(n+2)帧中，用户开始以从左到右的方向移动手指，同时保持手指与显示屏51A接触或靠近。在第(n+4)帧中，用户停止移动手指。在时间n+5，用户将手指从输入/输出显示器22的显示屏51A移开。响应于手指的上述运动，如图14中所示，输入斑点#0出现、移动和消失。
此外如图14中所示，用户在时间n+1使他的/她的手指之一与输入/输出显示器22的显示屏51A接触或靠近。在从时间n+1到时间n+3时间段上，该手指(此后称为第二手指)维持与输入/输出显示器22的显示屏51A接触或靠近。在第(n+2)帧中，用户开始以从右到左的方向移动第二手指同时保持手指与显示屏51A接触或靠近。在第(n+3)帧中，用户停止移动第二手指。在时间n+4，用户将手指从输入/输出显示器22的显示屏51A移开。响应于第二手指的上述运动，如图14中所示，输入斑点#1出现、移动和消失。
更具体地，如图14的顶部所示，响应于使用户的第一手指与输入/输出显示器22的显示屏51A接触或靠近，在第n帧中出现输入斑点#0。
响应于在第n帧中输入斑点#0的出现，创建目标#0，并且如图14的底部所示，以与图13中所示示例类似的方式产生包括目标ID和目标属性信息的其他项目的目标属性信息。在下文中除了目标ID外的目标属性信息将被简称为与目标相关联的信息，并且将用INFO表示。在图14所示的示例中，将0作为目标ID分配给目标#0，并且产生包括指示输入斑点#0的位置的信息的相关联的信息INFO。
在第n帧中，响应于目标#0的创建，产生了事件#0。更具体地，如图14的底部所示，第n帧中在此产生的事件#0作为各项目包括：事件ID，具有值1；事件类型，其具有值“创建”，指示新的目标已经创建；以及标识信息标识符，其具有与目标#0的目标ID值相同的值0，以便指示该事件#0代表目标#0的状态。
在第(n+1)帧中，如图14的顶部所示，输入斑点#0剩余在与之前帧中相同的位置。
在此情况下，第(n+1)帧中的输入斑点#0与紧接在前的帧(即，第n帧)中的目标#0融合。结果，在第(n+1)帧中，如图14的底部所示，目标#0具有与之前的帧的ID相同的ID，并且具有由包括第(n+1)帧中的输入斑点#0的位置信息的信息更新的相关联的信息INFO。也就是说，维持了目标ID(＝0)，但是相关联的信息INFO由包括第(n+1)帧中的输入斑点#0的位置信息的信息替代。
还在该第(n+1)帧中，如图14的顶部所示，响应于使用户的手指与输入/输出显示器22的显示屏51A接触或靠近，还出现输入斑点#1。
响应于在第(n+1)帧中输入斑点#1的出现，创建目标#1，并且定义其属性使得目标ID被定义，以便具有不同于分配给已经存在的目标#0的目标ID的值1，并且产生包括指示输入斑点#1的位置的信息的相关联的信息INFO。
此外，在第(n+1)帧中，响应于目标#1的创建，产生了事件#1。更具体地，如图14的底部所示，第n帧中在此产生的事件#1作为各项目包括：事件ID，具有值1，该值与分配给在第n帧中产生的事件ID不同；事件类型，其具有值“创建”，指示新的目标已经创建；以及标识信息标识符，其具有与目标#1的目标ID值相同的值1，以便指示该事件#1代表目标#1的状态。
在第(n+2)帧中，如图14的顶部所示，输入斑点#0和#1开始移动。
在此情况下，第(n+2)帧中的输入斑点#0与紧接在前的帧(即，第(n+1)帧)中的目标#0融合。结果，如图14的底部所示，目标#0具有与之前的帧的ID相同的ID，并且具有由包括第(n+2)帧中的输入斑点#0的位置信息的信息更新的相关联的信息INFO。也就是说，维持了目标ID(＝0)，但是相关联的信息INFO由包括第(n+2)帧中的输入斑点#0的位置信息的信息替代。
此外，第(n+2)帧中的输入斑点#1与第(n+1)帧的目标#1融合。结果，如图14的底部所示，目标#1具有与之前的帧的ID相同的ID，并且具有由包括第(n+2)帧中的输入斑点#1的位置信息的信息更新的相关联的信息INFO。也就是说，目标ID维持在相同值即1，但是相关联的信息INFO由包括第(n+2)帧中的输入斑点#1的位置信息的信息替代。
此外，在第(n+2)帧中，响应于与目标#0融合的输入斑点#0的移动的开始，即，响应于目标#0的移动的开始，产生了事件#2。更具体地，如图14的底部所示，第(n+2)帧中在此产生的事件#2具有各项目，其包括：事件ID，具有值2，该值与分配给已经产生的事件#0或#1的事件ID不同；事件类型，其具有值“移动开始”，指示相应的目标开始移动；以及标识信息标识符，其具有与目标#0的目标ID值相同的值0，以便指示该事件#2代表目标#0的状态。
还在该第(n+2)帧中，响应于与目标#1融合的输入斑点#1的移动的开始，即，响应于目标#1的移动的开始，产生了事件#3。更具体地，如图14的底部所示，在第(n+2)帧中在此产生的事件#3具有各项目，其包括：事件ID，具有值3，该值与分配给已经产生的事件#0到#2的事件ID不同；事件类型，其具有值“移动开始”，指示相应的目标开始移动；以及标识信息标识符，其具有与目标#1的目标ID值相同的值1，以便指示该事件#3代表目标#1的状态。
在第(n+3)帧中，如图14的顶部所示，输入斑点#0仍然移动。
在此情况下，第(n+3)帧中的输入斑点#0与紧接在前的帧(即，第(n+2)帧)中的目标#0融合。结果，在第(n+3)帧中，如图14的底部所示，目标#0具有与之前的帧的ID相同的ID，并且具有由包括第(n+3)帧中的输入斑点#0的位置信息的信息更新的相关联的信息INFO。也就是说，维持了目标ID(＝0)，但是相关联的信息INFO由包括第(n+3)帧中的输入斑点#0的位置信息的信息替代。
在该第(n+3)帧中，输入斑点#1停止。
在此情况下，第(n+3)帧中的输入斑点#1与紧接在前的帧(即，第(n+2)帧)中的目标#1融合。结果，在第(n+3)帧中，如图14的底部所示，目标#1具有与之前的帧的ID相同的ID，并且具有由包括第(n+3)帧中的输入斑点#1的位置信息的信息更新的相关联的信息INFO。也就是说，目标ID维持在相同值即1，但是相关联的信息INFO由包括第(n+3)帧中的输入斑点#1的位置信息的信息替代。
此外，在第(n+3)帧中，响应于与目标#1融合的输入斑点#1的移动的停止，即，响应于目标#1的移动的开始，产生了事件#4。更具体地，如图14的底部所示，在第(n+3)帧中在此产生的事件#4作为项目包括：事件ID，具有值4，该值与分配给已经产生的事件#0到#3的事件ID不同；事件类型，其具有值“移动停止”，指示相应的目标停止移动；以及标识信息标识符，其具有与目标#1的目标ID值相同的值1，以便指示该事件#4代表目标#1的状态。
在第(n+4)帧中，如图14的顶部所示，用户将他的/她的第二手指从显示屏51A移开，因此输入斑点#1消失。
在此情况下，在第(n+4)帧中，删除目标#1。
此外，在该第(n+4)帧中，如图14的底部所示，输入斑点#0停止。
在此情况下，第(n+4)帧的输入斑点#0与紧接在前的帧(即，第(n+3)帧)的目标#0融合。结果，在第(n+4)帧中，如图14的底部所示，目标#0具有与之前的帧的ID相同的ID，并且具有由包括第(n+4)帧中的输入斑点#0的位置信息的信息更新的相关联的信息INFO。也就是说，目标ID维持在相同值即0，但是相关联的信息INFO由包括第(n+4)帧中的输入斑点#0的位置信息的信息替代。
还在该第(n+4)帧中，响应于与目标#0融合的输入斑点#0的移动的结束，即，响应于目标#0的移动的结束，产生了事件#5。更具体地，如图14的底部所示，在第(n+4)帧中在此产生的事件#5作为项目包括：事件ID，具有值5，该值与分配给已经产生的事件#0到#4的事件ID不同；事件类型，其具有值“移动停止”，指示相应的目标停止移动；以及标识信息标识符，其具有与目标#0的目标ID值相同的值0，以便指示该事件#5代表目标#0的状态。
还在该第(n+4)帧中，响应于输入斑点#1的消失，即，响应于目标#1的删除，产生了事件#6。更具体地，如图14的底部所示，在第(n+4)帧中在此产生的事件#6具有各项目，其包括：事件ID，具有值6，该值与分配给已经产生的事件#0到#5的事件ID不同；事件类型，其具有值“删除”，指示相应的目标已经被删除；以及标识信息标识符，其具有与目标#1的目标ID值相同的值1，以便指示该事件#6代表目标#1的状态。
在第(n+5)帧中，如图14的顶部所示，用户将他的/她的第一手指从显示屏51A移开，因此输入斑点#1消失。
在此情况下，从第(n+5)帧中删除目标#0。
此外，在该第(n+5)帧中，响应于输入斑点#0的消失，即，响应于目标#0的删除，产生了事件#7。更具体地，如图14的底部所示，在第(n+5)帧中在此产生的事件#6具有各项目，其包括：事件ID，具有值7，该值与分配给已经产生的事件#0到#6的事件ID不同；事件类型，其具有值“删除”，指示相应的目标已经被删除；以及标识信息标识符，其具有与目标#0的目标ID值相同的值0，以便指示该事件#7代表目标#0的状态。
如上所示，即使同时为输入/输出面板16上的多个斑点执行输入，根据各输入斑点间的时间和空间关系为每个输入斑点序列产生目标信息，并且产生指示每个目标的状态改变的时间信息，由此使得可能同时使用多个斑点输入信息。
接着，参照图15到17，以下描述了输入/输出显示器的配置的其他示例。
在图15所示的示例中，图2中所示的输入/输出显示器201的保护片52由保护片211替代，不同于保护片52，保护片211由半透明彩色材料制成。
通过给保护片211涂色，可以改进输入/输出面板16外观。
半透明彩色材料的使用可以最小化由于保护片211的可见度和光敏感度的劣化。例如，当光传感器22A对具有小于460nm的波长的光(即，对蓝光或近蓝光)具有高敏感度时，也就是说，当光传感器22A能够容易地检测具有小于460nm的波长的光时，如果保护片211由蓝色半透明材料制成，与其他颜色相比，可以维持光传感器22A对蓝色的高敏感度。
在图16所示的示例中，图2中所示的输入/输出显示器221的保护片52由保护片231替代。
保护片231在其与主体51接触的表面相反的一个表面上，具有以凹进或凸起形状形成的导线(guide)231A到231E。导线231A到231E的每个可以被配置以便具有对应于按钮或开关的形状，该按钮或开关用作显示在输入/输出显示器22上的用户接口。该保护片231连接到主体51，使得导线231A到231E位于基本上精确地在显示在显示屏51A上的对应的用户接口，使得当用户接触保护片231时，接触的读出允许用户识别显示在显示屏51A上的每个用户接口的类型和位置。这使得用户操作输入/输出显示器22而不必看着显示屏51A成为可能。因此，能够实现显示系统1的操作性的极大改进。
在图17所示的示例中，图2中所示的输入/输出显示器251的保护片52由保护片261替代。
保护片261由半透明彩色材料制成，使得保护片261在其与主体51接触的表面相反的一个表面上，具有以类似保护片231的方式形成的导线261A到261E，以便改进显示系统1的操作性并改进输入/输出面板16外观。
通过部分凹进或凸起保护片的表面形成图案或字符，可以指示各种类型的信息和/或改进输入/输出面板16外观。
可以形成保护片使得其能够可移除地附接到主体51。这使得可以依赖于用于显示系统1的应用的类型(即，依赖于显示在显示屏51A上的用户接口的类型、形状、位置等)更换保护片。这允许进一步改进操作性。
图18是图示根据本发明另一实施例的显示系统的方块图。
在图18中所示的显示系统301中，输入/输出面板16的发生器25被移入控制器12中。
在图18中所示的显示系统301中，天线310、信号处理单元311、控制器312、存储单元313、操作单元314、通信单元315、显示信号处理单元321、输入/输出显示器322、光传感器322A、读出的光信号处理单元323、图像处理单元324、以及生成器325类似于图1中所示的显示系统1中的天线10、信号处理单元11、控制器12、存储单元13、操作单元14、通信单元15、显示信号处理单元21、输入/输出显示器22、光传感器22A、读出的光信号处理单元23、图像处理单元24、以及生成器25，因此，显示系统301能够以类似于图1中所示的显示系统1的方式执行显示/读出操作。注意到，在显示系统301中，使用存储单元313替代置于图1中所示的显示系统1的发生器25中的存储单元33。
图19是图示根据本发明另一实施例的显示系统的方块图。
在图19中所示的显示系统401中，发生器25和图像处理单元24从输入/输出面板16移入图1中所示的控制器12中。
在图19中所示的显示系统401中，天线410、信号处理单元411、存储单元413、操作单元414、通信单元415、显示信号处理单元421、输入/输出显示器422、光传感器422A、读出的光信号处理单元423、图像处理单元424、以及生成器425类似于图1中所示的显示系统1中的天线10、信号处理单元11、存储单元13、操作单元14、通信单元15、显示信号处理单元21、输入/输出显示器22、光传感器22A、读出的光信号处理单元23、图像处理单元24、以及生成器25，因此，显示系统401能够以类似于图1中所示的显示系统1的方式执行显示/读出操作。
图20图示根据本发明实施例的输入/输出面板601的外观。如图20中所示，输入/输出面板601以平(flat)模块的形状形成。更具体地，输入/输出面板601被配置使得包括以阵列形式排列的各像素的像素阵列单元613形成在隔离基底611上。每个像素包括液晶元件、薄膜晶体管、薄膜电容、以及光传感器。粘合剂被施加到围绕像素阵列单元613的外围区域，并且由玻璃等制成的对向基底612等结合到基底611。输入/输出面板601具有连接器614A和614B，用于从外部输入/输出信号到像素阵列单元613。连接器614A和614B可以以FPC(柔性印刷电路)形式实现。
输入/输出面板可以以例如根据本发明的任一实施例的平面板的形状形成，并且可用于广泛的电子设备(如数字照相机、笔记本型个人计算机、便携式电话设备、或摄影机)中，使得在该电子设备中生成的视频信号在输入/输出面板上显示。以下描述了具有根据本发明实施例的输入/输出面板的电子设备的一些特定示例。
图21图示根据本发明实施例的电视接收器的示例。如图21中所示，电视接收器621具有图像显示器631，其包括前面板631A和滤光镜631B。图像显示器631可以使用根据本发明实施例的输入/输出面板实现。
图22图示根据本发明实施例的数字照相机的示例。在图22的顶部显示了其正视图，而在图22的底部显示了其后视图。如图22中所示，数字照相机641包括成像透镜、闪光灯651、显示器652、控制开关、菜单开关以及快门按钮653。显示器652可以使用根据本发明实施例的输入/输出面板实现。
图23图示根据本发明实施例的笔记本型个人计算机的示例。在图23所示的示例中，个人计算机661包括主要部分661A和盖子部分661B。主要部分661A包括键盘671，其包括用于输入数据或命令的字母键和其他键。盖子部分661B包括适于显示图像的显示器672。显示器672可以使用根据本发明实施例的输入/输出面板实现。
图24图示根据本发明实施例的便携式终端装置的示例。在图24的左手侧示出了处于打开状态的便携式终端装置，而在右手侧示出了处于关闭状态的该装置。如图24中所示，便携式终端装置681包括上层部分681A、经由铰链681连接到上层部分的下层部分681、显示器691、子显示器692、图片灯693以及照相机694。显示器691和/或子显示器692可以使用根据本发明实施例的输入/输出面板实现。
图25图示根据本发明实施例的摄影机的示例。如图25中所示，摄影机701包括主体711、位于前侧的成像透镜712、操作开始/停止开关713以及监视器714。监视器714可以使用根据本发明实施例的输入/输出面板实现。
上述处理步骤的序列可以通过硬件或软件执行。当处理序列由硬件执行时，程序形式的软件可以从程序存储介质安装到提供作为专用硬件的计算机上，或可以安装到能够根据安装到其上的各种程序执行各种处理的通用计算机上。
在本描述中，以安装在存储介质中的程序描述的各步骤，可以根据在程序中描述的顺序以时间顺序或以并行或分立方式执行。
在本描述中，术语“系统”用于描述包括多个子装置的装置的全部。
本领域技术人员应当理解的是，依赖于设计要求和其他因素，可以出现各种修改、组合、子组合和替换，只要它们在权利要求或其等效的范围内。
相关申请的交叉引用
本发明包括于2007年4月6日向日本专利局提交的日本专利申请JP 2007-100884的主题内容，在此通过引用并入其全部内容。

Claims (4)

1.一种显示装置，包括适于显示图像和读出从外部入射到其上的光的输入/输出单元，所述输入/输出单元适于接受到该输入/输出单元的显示屏上的多个点的同时输入，所述显示屏用透明的或半透明的保护片覆盖。
2.如权利要求1所述的显示装置，其中所述保护片的表面部分地以特定形状凹进或凸起。
3.如权利要求2所述的显示装置，其中所述保护片的表面部分地以特定形状凹进或凸起，该特定形状对应于显示在所述显示屏上的用户界面。
4.如权利要求1所述的显示装置，其中所述保护片是着色的。
CN2008100911273A 2007-04-06 2008-04-07 显示装置 Active CN101281445B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP100884/07 2007-04-06
JP2007100884A JP4333768B2 (ja) 2007-04-06 2007-04-06 表示装置

Publications (2)

Publication Number Publication Date
CN101281445A true CN101281445A (zh) 2008-10-08
CN101281445B CN101281445B (zh) 2012-10-10

Family

ID=39826494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100911273A Active CN101281445B (zh) 2007-04-06 2008-04-07 显示装置

Country Status (5)

Country Link
US (1) US20080246722A1 (zh)
JP (1) JP4333768B2 (zh)
KR (1) KR101515868B1 (zh)
CN (1) CN101281445B (zh)
TW (1) TWI387903B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102135841A (zh) * 2011-03-25 2011-07-27 苏州佳世达电通有限公司 具有文件扫描功能的光学触控屏幕及其文件扫描方法
CN105334911A (zh) * 2014-06-26 2016-02-17 联想(北京)有限公司 一种电子设备
CN106502383A (zh) * 2016-09-21 2017-03-15 努比亚技术有限公司 一种信息处理方法及移动终端

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788967B2 (en) * 2008-04-10 2014-07-22 Perceptive Pixel, Inc. Methods of interfacing with multi-input devices and multi-input display systems employing interfacing techniques
KR20100048090A (ko) * 2008-10-30 2010-05-11 삼성전자주식회사 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법
TWI425400B (zh) * 2009-05-26 2014-02-01 Japan Display West Inc 資訊輸入裝置、資訊輸入方法、資訊輸入輸出裝置、儲存媒體及電子單元
US20140267944A1 (en) * 2013-03-14 2014-09-18 FiftyThree Inc. Optically transparent film composites
JP6812119B2 (ja) * 2016-03-23 2021-01-13 旭化成株式会社 電位測定デバイス
TWI798491B (zh) * 2019-07-07 2023-04-11 奕力科技股份有限公司 具有像素結構的顯示裝置與指紋辨識晶片
CN112835417A (zh) * 2021-02-03 2021-05-25 业成科技（成都）有限公司 电子装置及其控制方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4785564A (en) * 1982-12-20 1988-11-22 Motorola Inc. Electronic notepad
US7760187B2 (en) * 2004-07-30 2010-07-20 Apple Inc. Visual expander
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US6677932B1 (en) * 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) * 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
WO2003073159A1 (en) * 2002-02-20 2003-09-04 Planar Systems, Inc. Light sensitive display
AU2003227021A1 (en) * 2002-03-13 2003-09-22 Jonas Ove Philip Eliasson A touch pad, a stylus for use with the touch pad, and a method of operating the touch pad
KR20040005309A (ko) * 2002-07-09 2004-01-16 삼성전자주식회사 도광장치와 이를 갖는 백라이트 어셈블리 및 액정 표시 장치
CN1836133A (zh) * 2003-06-16 2006-09-20 三菱电机株式会社 面状光源装置及采用该装置的显示装置
US7495659B2 (en) * 2003-11-25 2009-02-24 Apple Inc. Touch pad for handheld device
US7728914B2 (en) * 2004-01-28 2010-06-01 Au Optronics Corporation Position encoded sensing device with amplified light reflection intensity and a method of manufacturing the same
JP2005236421A (ja) * 2004-02-17 2005-09-02 Aruze Corp 画像表示システム
JP2005243267A (ja) * 2004-02-24 2005-09-08 Advanced Display Inc 面状光源装置及び液晶表示装置
JP4211669B2 (ja) * 2004-04-26 2009-01-21 セイコーエプソン株式会社 表示装置、表示装置用カラーフィルタ、及び電子機器
US7728823B2 (en) * 2004-09-24 2010-06-01 Apple Inc. System and method for processing raw data of track pad device
JP2006209279A (ja) * 2005-01-26 2006-08-10 Nec Computertechno Ltd 入力装置および触読文字記号入力方法
US7609178B2 (en) * 2006-04-20 2009-10-27 Pressure Profile Systems, Inc. Reconfigurable tactile sensor input device
US7535463B2 (en) * 2005-06-15 2009-05-19 Microsoft Corporation Optical flow-based manipulation of graphical objects
US20070057929A1 (en) * 2005-09-13 2007-03-15 Tong Xie Navigation device with a contoured region that provides tactile feedback
JP5191119B2 (ja) * 2006-12-06 2013-04-24 株式会社ジャパンディスプレイウェスト 表示装置、表示装置の制御方法、及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102135841A (zh) * 2011-03-25 2011-07-27 苏州佳世达电通有限公司 具有文件扫描功能的光学触控屏幕及其文件扫描方法
CN105334911A (zh) * 2014-06-26 2016-02-17 联想(北京)有限公司 一种电子设备
CN106502383A (zh) * 2016-09-21 2017-03-15 努比亚技术有限公司 一种信息处理方法及移动终端

Also Published As

Publication number Publication date
TWI387903B (zh) 2013-03-01
KR20080091022A (ko) 2008-10-09
TW200844809A (en) 2008-11-16
CN101281445B (zh) 2012-10-10
KR101515868B1 (ko) 2015-04-29
US20080246722A1 (en) 2008-10-09
JP4333768B2 (ja) 2009-09-16
JP2008257061A (ja) 2008-10-23

Similar Documents

Publication Publication Date Title
CN101281445B (zh) 显示装置
US8665223B2 (en) Display device and method providing display contact information based on an amount of received light
Hodges et al. ThinSight: versatile multi-touch sensing for thin form-factor displays
TWI402727B (zh) 顯示裝置及位置偵測方法
JP5528739B2 (ja) 検出装置、表示装置、および物体の近接距離測定方法
CN102592514B (zh) 具有光感测功能的有机发光二极管显示装置
JP4915367B2 (ja) 表示撮像装置および物体の検出方法
CN102455826B (zh) 使用红外线传感器模块的显示装置及其驱动方法
WO2010047256A1 (ja) 撮像装置、表示撮像装置および電子機器
JP5424475B2 (ja) 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器
US20150083917A1 (en) Infrared light director for gesture or scene sensing fsc display
JP4748266B2 (ja) 情報入力装置、情報入出力装置および電子機器
US20100053107A1 (en) Information input device, information input method, information input/output device, and information input program
JP4270248B2 (ja) 表示撮像装置、情報入力装置、物体検出プログラムおよび物体の検出方法
CN102844729A (zh) 用于具有可脱离用户输入附件的电子设备的装置、方法和系统
CN101636710A (zh) 用于便携式电子设备的可适配用户接口和机制
CN102446022B (zh) 触控屏幕系统
JP2011044479A (ja) センサ素子およびその駆動方法、センサ装置、ならびに入力機能付き表示装置および電子機器
CN101622590A (zh) 用于便携式电子设备的可适配用户接口和机制
JP4270247B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
JP2009199204A (ja) 電気光学装置、及びその制御方法、並びに電子機器
KR20090095375A (ko) 터치스크린 장치
JP2011118577A (ja) 画像表示装置、画像表示方法、および画像表示システム
JP5392656B2 (ja) 情報入力装置、情報入出力装置および電子機器
KR101784517B1 (ko) 광학 터치 스크린 및 그의 조립 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: NIPPON DISPLAY CO., LTD.

Free format text: FORMER OWNER: SONY CORPORATION

Effective date: 20121121

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20121121

Address after: Aichi

Patentee after: Japan display West Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Sony Corporation

TR01 Transfer of patent right

Effective date of registration: 20211021

Address after: Tokyo, Japan

Patentee after: JAPAN DISPLAY Inc.

Address before: Aichi

Patentee before: Japan display West Co.,Ltd.

TR01 Transfer of patent right