CN101901084A - 信息输入设备和方法、输入输出设备、介质及电子单元 - Google Patents

信息输入设备和方法、输入输出设备、介质及电子单元 Download PDF

Info

Publication number
CN101901084A
CN101901084A CN2010101856942A CN201010185694A CN101901084A CN 101901084 A CN101901084 A CN 101901084A CN 2010101856942 A CN2010101856942 A CN 2010101856942A CN 201010185694 A CN201010185694 A CN 201010185694A CN 101901084 A CN101901084 A CN 101901084A
Authority
CN
China
Prior art keywords
input panel
incoming frame
expression
approaching
indication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010101856942A
Other languages
English (en)
Inventor
津崎亮一
山口和范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Display West Inc
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101901084A publication Critical patent/CN101901084A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/047—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using sets of wires, e.g. crossed wires
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K17/00—Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/94—Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated
    • H03K17/945—Proximity switches
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K17/00—Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/94—Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated
    • H03K17/96—Touch switches
    • H03K17/962—Capacitive touch switches

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种信息输入设备，包括输入面板和一个或多个电路。该一个或多个电路配置为分别从第一、第二、第三输入帧确定物体向输入面板的可能的接近的第一、第二、第三表示。在第一输入帧之后生成第二输入帧，而在第二输入帧之后生成第三输入帧。该一个或多个电路配置为：如果第一和第二表示不相似，则基于第三表示确定是否关于第二输入帧检测到物体向输入面板的接近。

Description

信息输入设备和方法、输入输出设备、介质及电子单元
技术领域
本发明涉及用于输入关于外部接近物体的信息的信息输入设备、信息输入方法、信息输入输出设备、存储介质及电子单元。
背景技术
一些图像显示设备包括触摸面板。触摸面板的类型包括检测电极的接触位置的接触型触摸面板、利用电容的变化的电容性触摸面板、及光学检测手指等的光学触摸面板。
在光学触摸面板中，例如，来自背光的光由液晶设备调制来在显示平面(display plane)上显示图像，光从显示平面发射，由诸如手指之类的外部接近物体反射，使得布置在显示平面上的光接收器件接收所反射的光来检测外部接近物体的位置等。例如，日本未审查专利申请公报No.2008-146165公开了这样的图像显示设备。所公开的图像显示设备包括具有显示图像的显示单元和拾取物体的图像的图像拾取单元的显示器。
发明内容
在上述触摸面板中，在获得(输入)关于外部接近物体的位置等的信息的情况下，希望能够在可以确保输入信息的地方去除(减小)噪声。然而，即使提供了用于去除(减小)这样的噪声的电路等，或者用软件的图像处理去除(减小)了噪声，也会由于取决于周围环境的使用状态，而有时不能有效去除噪声。而且，在由于取决于使用状态的任何原因而在一定时段期间引起信息的损失等的情况下，相关技术要确保输入信息已经很难。
希望提供信息输入设备、信息输入方法、信息输入输出设备、存储介质及电子单元，通过它们可以确保输入关于外部接近物体的信息，而不论使用状态如何。
根据本公开的一个实施例瞄准检测物体的接近(proximity of object)的设备，该设备包括：包含至少一个检测元件的输入面板和至少一个电路，至少一个电路配置为：从第一输入帧确定物体向输入面板的可能的接近的第一表示(representation)；从在第一输入帧之后生成的第二输入帧确定物体向输入面板的可能的接近的第二表示；从在第二输入帧之后生成的第三输入帧确定物体向输入面板的可能的接近的第三表示；以及如果第一和第二表示不相似，则至少部分基于第三表示确定是否关于第二输入帧检测到物体向输入面板的接近。
另一实施例瞄准一种检测物体向输入面板的接近的方法，该方法包括：从第一输入帧确定物体向输入面板的可能的接近的第一表示；从在第一输入帧之后生成的第二输入帧确定物体向输入面板的可能的接近的第二表示；从在第二输入帧之后生成的第三输入帧确定物体向输入面板的可能的接近的第三表示；以及如果第一和第二表示不相似，则至少部分基于第三表示，来使用至少一个电路确定是否关于第二输入帧检测到物体向输入面板的接近。
另一实施例瞄准至少一种非临时计算机可读存储介质，该存储介质编码有多个计算机可执行指令，该多个计算机可执行指令当被执行时实施检测物体向输入面板的接近的方法，所述方法包括：从第一输入帧确定物体向输入面板的可能的接近的第一表示；从在第一输入帧之后生成的第二输入帧确定物体向输入面板的可能的接近的第二表示；从在第二输入帧之后生成的第三输入帧确定物体向输入面板的可能的接近的第三表示；以及如果第一和第二表示不相似，则至少部分基于第三表示确定是否关于第二输入帧检测到物体向输入面板的接近。
根据本发明的一些实施例，即使当例如由于帧之间的噪声和/或帧之间的信息损失因而生成独立检测斑块(isolating detection dots-block)时，变得可以更适当地在输入帧内(例如，帧内处理)和/或跨越多个输入帧(例如，帧间处理)执行关于物体(例如，外部接近物体)向输入面板(例如，触摸面板)的可能的接近的一个或多个检测的处理。因此，可以确保关于外部接近物体的输入信息，而不论使用状态如何。
附图说明
图1是表示根据本发明实施例的信息输入输出设备的配置的框图。
图2是详细表示图1所示的信息输入输出设备的配置的框图。
图3是输入输出面板被部分放大的截面图。
图4是表示由信息输入输出设备执行的整个图像处理的例子的流程图。
图5是表示图4所示的帧内噪声去除处理的详细例子的流程图。
图6是表示拾取图像中输入部分的点信息(检测信息)的例子的示意图。
图7是表示图5所示的使用面积信息的帧内噪声去除处理的例子的示意图。
图8是表示图5所示的使用密度信息的帧内噪声去除处理的例子的示意图。
图9是表示图5所示的使用长宽比信息的帧内噪声去除处理的例子的示意图。
图10是表示图4所示的帧内处理的详细例子的流程图。
图11A是示意性地表示图10所示的帧内处理的例子的示意图。
图11B是示意性地表示图10所示的帧内处理的例子的示意图。
图11C是示意性地表示图10所示的帧内处理的例子的示意图。
图12是表示图10所示的帧插入处理的例子的示意图。
图13A是表示图10所示的突发噪声去除处理的例子的示意图。
图13B是表示图10所示的突发噪声去除处理的例子的示意图。
图14A是表示图10所示的突发噪声去除处理的另一例子的示意图。
图14B是表示图10所示的突发噪声去除处理的另一例子的示意图。
图15是表示根据本发明实施例的第一变体的信息输入输出设备的配置的框图。
图16是表示根据本发明实施例的第二变体的输入输出面板的配置的截面图。
图17是表示根据本发明实施例的第三变体的输入输出面板的配置的截面图。
图18是表示本发明实施例的信息输入输出设备的第一应用例子的外形的立体图。
图19A是表示从正面观察到的第二应用例子的外形的立体图。
图19B是表示从背面观察到的第二应用例子的外形的立体图。
图20是表示第三应用例子的外形的立体图。
图21是表示第四应用例子的外形的立体图。
图22A是打开状态下第五应用例子的立视图。
图22B是打开状态下第五应用例子的侧视图。
图22C是闭合状态下第五应用例子的立视图。
图22D是闭合状态下第五应用例子的左视图。
图22E是闭合状态下第五应用例子的右视图。
图22F是闭合状态下第五应用例子的顶视图。
图22G是闭合状态下第五应用例子的底视图。
具体实施方式
下面将参照附图描述详细描述本发明实施例。描述将按照以下顺序。
I.实施例(帧间处理和帧内噪声处理的信息输入过程)
II.变体(信息输入输出设备和输入输出面板的其它配置的例子)
III.应用例子(应用于电子单元的例子)
[I.实施例]
[信息输入输出设备1的概览配置]
图1示意性地表示根据本发明实施例的信息输入输出设备1的配置。图2详细表示信息输入输出设备1的配置。图3表示部分放大的输入输出面板的截面图。参照图1，信息输入输出设备1包括显示器10和使用显示器10的电子单元主体20。显示器10包括输入输出面板11、显示信号处理部分12、光接收信号处理部分13、图像处理部分14、帧内噪声去除部分151、及帧间处理部分152。电子单元主体20包括控制部分21。因为根据本发明实施例的信息输入方法及存储介质在本实施例的图像输入输出设备1中实施，将在下文一起描述它们。
参照图2，输入输出面板11配置有其中多个像素16以矩阵形式排列的液晶显示面板。输入输出面板11包括显示元件11a和光接收元件11b。显示元件11a是液晶设备，用于通过使用作为光源的背光发射的光，来把诸如图形及字母之类的图像显示在显示平面上。光接收元件11b是诸如光电二极管器件之类的光接收器件，用于接收光来输出相应的电信号。光从背光发射然后由输入输出面板11之外的诸如手指(例如，人类手指)之类的外部接近物体反射，然后返回。然后，光接收元件11b接收这样反射的光来输出光接收信号(检测信号)。在本实施例的情况下，光接收元件11b针对每个像素16布置，由此多个光接收元件11b布置在一个平面中。输入输出面板11(或者输入面板)和光接收信号处理部分13与根据本发明的输入输出面板部分(或输入面板部分)的一个示例性例子相对应。
在输入输出面板11中，如图2和3所示，多个光发射/光接收单元CWR配置为由间隔32彼此分离，并以矩阵形式排列在一对透明基底30和31之间。各个光发射/光接收单元CWR包括光发射单元(CW1、CW2、CW3、......)，并包括分别封装在各个光发射单元CW中的多个光接收单元(CR1、CR2、CR3、......)。作为显示元件11a的液晶单元构成光发射单元CW。光接收单元CR包括作为光接收元件11b的光接收器件PD。光接收单元CR具有布置在背光侧上的透明基底30和光接收器件PD之间的光屏蔽膜33，以便阻止从背光发射的光LB的入射。结果，各个光接收器件PD不受光LB影响，仅仅检测从与背光相对的一侧上的透明基底31的方向进入的光。
图1所示的显示信号处理部分12是在输入输出面板11的在先级中连接并驱动输入输出面板11以便基于显示数据显示图像的电路。
参照图2，显示信号处理部分12包括显示信号保持控制部分40、光发射侧扫描器41、显示信号驱动器42、及光接收侧扫描器43。显示信号保持控制部分40在场存储器(或帧存储器)中存储显示信号生成部分44输出的显示信号，该场存储器(或帧存储器)例如由静态随机存取存储器(SRAM)配置而成，以针对每个屏幕(针对每场显示或每帧显示图像)保持显示信号。显示信号保持控制部分40还具有控制光发射侧扫描器41、显示信号驱动器42及光接收侧扫描器43以便彼此联动地操作它们的功能，其中光发射侧扫描器41和显示信号驱动器42二者驱动每个光发射单元CW，而光接收侧扫描器43用于驱动每个光接收单元CR。具体地，基于场存储器(或帧存储器)中存储的控制信号和显示信号，显示信号保持控制部分40把光发射定时控制信号输出至光发射侧扫描器41，把光接收定时控制信号输出至光接收侧扫描器43，并把单个水平行的显示信号输出至显示信号驱动器42。通过控制信号和显示信号，执行行顺序操作。
光发射侧扫描器41具有按照从显示信号保持控制部分40输出的光发射定时控制信号来选择将被驱动的光发射单元CW的功能。具体地，光发射侧扫描器41通过与输入输出面板11的各个像素16相连接的光发射栅极线供给光发射选择信号来控制光发射器件选择开关。即，在由光发射选择信号施加用以导通某个像素16的光发射器件选择开关的电压的情况下，像素16以与从显示信号驱动器42供给的电压相对应的亮度执行光发射操作。
显示信号驱动器42具有按照关于单个水平行从显示信号保持控制部分40输出的显示信号来向将被驱动的光发射单元CW供给显示数据的功能。具体地，显示信号驱动器42通过与输入输出面板11的各个像素16相连接的数据供给线，向由光发射侧扫描器41选择的像素16供给与显示数据相对应的电压。光发射侧扫描器41和显示信号驱动器42彼此联动地执行行顺序操作，使得在输入输出面板11上显示与任意显示数据相对应的图像。
光接收侧扫描器43具有按照从显示信号保持控制部分40输出的光接收定时控制信号来选择将被驱动的光接收单元CR的功能。具体地，光接收侧扫描器43通过与输入输出面板11的各个像素16相连接的光接收栅极线供给光接收选择信号，来控制光接收器件选择开关。即，如同在光发射侧扫描器41的操作的情况一样，在由光接收选择信号施加用以导通某个像素16的光接收器件选择开关的电压的情况下，将从像素16检测到的光接收信号输出至光接收信号接收器45。结果，例如，基于从某个光发射单元CW发射的光，光接收单元CR可以接收并检测通过接触或逼近物体而反射的光。另外，将光接收块控制信号从光接收侧扫描器43输出至光接收信号接收器45和光接收信号保持部分46，使得光接收侧扫描器43也具有控制有助于这样的光接收操作的块的功能。在本实施例的信息输入输出设备1中，光发射栅极线和光接收栅极线分开连接至每个光接收单元CWR，并且允许光发射侧扫描器41和光接收侧扫描器43每个都独立操作。
图1所示的光接收信号处理部分13连接在输入输出面板11的在后级中，并从光接收元件11b载入光接收信号，来执行信号的放大和滤波处理。参照图2，光接收信号处理部分13包括光接收信号接收器45和光接收信号保持部分46。
光接收信号接收器45具有根据从光接收侧扫描器43输出的光接收块控制信号，获得从每个光接收单元CR输出的单个水平行的光接收信号的功能。将由光接收信号接收器45获得的单个水平行的光接收信号输出至光接收信号保持部分46。
光接收信号保持部分46具有根据从光接收侧扫描器43输出的光接收块控制信号，来把从光接收信号接收器45输出的光接收信号重新配置为每个屏幕(关于每场或每帧显示图像)的光接收信号。由光接收信号保持部分46重新配置的一个屏幕的光接收信号，与构成一个检测帧(或“输入帧”)的光接收信号相对应。结果，这样的光接收信号被存储在由例如将在其中保持的SRAM配置而成的场存储器(或帧存储器)中。由光接收信号保持部分46存储的光接收信号的数据被输出至图像处理单元14(图1)中的位置检测部分47。光接收信号保持部分46也可以由存储器之外的存储设备配置而成。例如，光接收信号可以作为模拟数据(电荷)被存储在电容设备中。
图像处理部分14(图1)是在光接收信号处理部分13的在后级中连接的电路，并且其从光接收信号处理部分13载入拾取图像，来执行诸如二值化、噪声去除和标注之类的处理，然后针对外部接近物体向输入面板的可能的接近的每个检测点(也就是，检测区域，即“检测斑块”)来获得外部接近物体的点信息(即，检测信息)。例如，将在下文详细描述的点信息包括表示外部接近物体的检测点(也就是，检测区域，即“检测斑块”)的重心和中心坐标的位置信息、表示检测点的密度的密度信息、表示检测点的长宽比的长宽比信息和/或检测点的面积信息。
例如，图像处理部分14中的位置检测部分47(图2)基于由图像处理部分14中的标注处理部分(未示出)获得的点信息，来指定被检测物体所定位的位置。结果，允许基于帧(例如，针对各个输入帧)指定接触或逼近手指等的位置。由此，对于每个输入帧，可以确定物体向输入面板的可能的接近的表示。该表示可以包括：针对该输入帧是否确定了物体向输入面板的可能的接近的指示；以及如果这样的话，有物体向输入面板的可能的接近的检测位置的指示。
在帧内噪声去除部分151中，将从图像处理部分14输出的点信息用于去除与包含在拾取图像的帧中的帧内噪声相对应的检测点。具体地，使用来自点信息之中的密度信息、长宽比信息和/或面积信息，以根据检测点的密度、长宽比、和/或面积来确定用于检测点的处理(下文描述的控制部分21中的处理)的执行对于每个检测点有效还是无效。将在下文详细描述帧内噪声去除部分151中的帧内噪声处理。
帧间处理部分152基于每个检测点的点信息，来确定拾取图像的多个时间顺序帧之中每个检测点的相似性。该相似性是基于点信息中包含的位置信息、密度信息、长宽比信息和/或面积信息而从每个检测点的距离、面积、密度和/或长宽比中综合计算出的参数。在帧间处理部分152中，被确定为具有高相似性的检测点被认为是与相同外部接近物体相对应的检测点，然后，使用个别的标识信息[标识数据(ID)]来执行下文描述的跟踪处理。另一方面，在帧间处理部分152中，关于在多个帧中确定检测点具有相对于任何其它检测点的低相似性(即，低相似性的检测点是独立检测点或独立检测斑块)的检测点，临时暂停用于检测点的处理(下文描述的控制部分21中的处理)的执行。然后，根据随后帧中相似性的确定的结果，回顾地执行独立检测点的处理。例如，如果来自当前帧的物体向输入面板的可能的接近的表示不相似于来自先前帧的表示，则可以基于来自随后帧的表示进行是否关于当前帧实际检测到物体接近的确定。将包含点信息和标识信息的跟踪点信息以及下文描述的状态信息从帧间处理部分152输出至电子单元主体20。将在下文详细描述帧间处理部分152中的帧间处理(跟踪处理、帧插入及突发噪声去除处理等)。
电子单元主体20(图1)向显示器10的显示信号处理部分12输出显示数据，并被从帧间处理部分152输入跟踪点信息和状态信息。
控制部分21(图1)使用跟踪点信息和状态信息来改变显示图像，并配置有例如中央处理单元(CPU)。控制部分21包括如图2所示的显示信号生成部分44。显示信号生成部分44基于使用CPU等(未示出)生成然后供给的图像数据来执行随后的处理。即，显示信号基于这样的图像数据而被生成来显示例如关于每个屏幕(关于每场或每帧显示图像)的图像，以输出显示信号至显示信号保持控制部分40。
[信息输入输出设备1的操作和优势]
将参照图1至3及图4至14来描述本实施例的信息输入输出设备1的操作和优势。
[1.图像处理操作的概览]
首先，将参照图4描述信息输入输出设备1中的图像处理操作的概览。图4是表示信息输入输出设备1中整个图像处理的流程图。
从电子单元主体20输出的显示数据被输入到显示信号处理部分12。显示信号处理部分12驱动输入输出面板11，以便基于显示数据来把图像显示在输入输出面板11上。
输入输出面板11在使用从背光发射的光来在显示元件11a上显示图像的同时，驱动光接收元件11b。当诸如手指之类的外部接近物体接触或逼近显示元件11a时，显示在显示元件11a上的图像由外部接近物体反射，然后，光接收元件11b检测所反射的光。根据反射光的检测，从光接收元件11b输出光接收信号。光接收信号被输入至光接收信号处理部分13，来执行诸如信号放大之类的处理(图4中的步骤S10)。以此方式，光接收信号处理部分13获得拾取图像。
随后，光接收信号处理部分13把拾取图像输入到图像处理部分14，来将该拾取图像二值化(步骤S11)。即，初步配置的阈值存储在图像处理部分14中。例如，图像处理部分14确定拾取图像数据的信号强度低于还是高于该阈值，并分别执行将信号设置为“0”或“1”的二值化处理。结果，接收由外部接近物体反射的光的部分被设置为“1”，而其它部分被设置为“0”。由此，一个或多个检测区域(“检测斑块”)可以被确定为一个或多个光接收元件(例如，“斑”)接收足够强度的反射光来生成高于阈值强度的光接收信号的区域(例如，块)。
然后，图像处理部分14从二值化了的拾取图像中去除独立点(步骤S12)。即，在拾取图像如上所述地被二值化的情况下，图像处理部分14去除与外部接近物体独立的部分，并将该部分设置为“0”，使得噪声被去除。
随后，图像处理部分14在标注部分(未示出)中执行标注(步骤S13)。即，在拾取图像如上所述地被二值化的情况下，标注部分执行被设置为“1”的部分的标注。然后，标注部分把被设置为“1”的区域检测为外部接近物体的区域(例如，物体向输入面板的可能的接近的检测)，并关于外部接近物体的每个检测点获得上述点信息。所获得的点信息被输出至帧内噪声去除部分151。
随后，帧内噪声去除部分151使用通过该标注而获得的点信息来执行下面描述的帧内噪声去除处理，以去除与拾取图像的帧内包含的帧内噪声相对应的检测点(步骤S14)。具体地，帧内噪声去除部分151使用后文将详细描述的密度信息、长宽比信息和/或面积信息，来确定对于检测点的处理(控制部分21中的处理)的执行有效还是无效。
随后，帧间处理部分152基于每个检测点的点信息，来在拾取图像的多个时间顺序的帧之中确定每个检测点的相似性，并根据确定结果来执行下文描述的帧间处理(步骤S15)。帧间处理是包括下面描述的跟踪处理、帧插入处理及突发噪声去除处理的处理。
随后，控制部分21使用从帧间处理部分152输入的跟踪点信息和状态信息来执行诸如显示图像的变化之类的希望的处理。例如，给定某种操作菜单显示在屏幕上的情况，控制部分21检测以用户手指从操作菜单选择了哪个按钮，然后执行与所选择的按钮相对应的命令。这完成了信息输入输出设备1的图像处理操作。
[2.帧内噪声去除处理]
将参照图5至9来详细描述图4所示的帧内噪声去除处理。图5是详细表示帧内噪声处理的流程图。
首先，详细描述在帧内噪声处理的情况下使用的点信息。点信息包括表示外部接近物体的检测点的重心和中心坐标的位置信息、表示检测点密度的密度信息、表示检测点的长宽比的长宽比信息和/或检测点的面积信息。具体地，例如在图6所示的检测点(输入部分)#a中，检测点#a的面积由作为各个像素数据连通的部分的面积S表示。检测点#a的长宽比R由外接矩形区域A的纵向(高度方向)上的长度(高度)H与侧向(宽度方向)上的长度(宽度)W的比表示。然而，长宽比R采用两个比W/H和H/W中值小于1的比。另外，外接矩形区域A的四角的位置坐标用于限定高度H＝(Y2-Y1)和宽度W＝(X2-X1)。检测点#a的密度D由检测点#a的面积S与外接矩形区域A(W×H)的面积的面积比[＝S/(W×H)]表示。
[2-1.使用面积信息的去除处理]
在帧内噪声处理中，首先在帧内噪声去除部分151中执行使用上面的点信息之中的面积信息的帧内噪声去除处理(图5中的步骤S141)。具体地，如图7所示，例如，帧内噪声去除部分151根据检测点面积的量值，针对每个检测点确定检测点的处理(控制部分21中的处理)的执行有效还是无效。在图7的例子中，因为检测点#a1的面积S处于已经初步设置的预定范围之内，因此对于检测点#a1的处理的执行被设置为有效。结果，检测点#a1被确定为不与帧内噪声相对应(例如，检测点#a1被确定为与物体向输入面板的可能的接近的有效检测相对应)，从而不执行噪声去除。另一方面，因为检测点#b1的面积S处于已经初步设置的预定范围之外，因此对于检测点#b1的处理的执行被设置为无效。结果，检测点#b1被确定为与帧内噪声相对应(例如，确定在点#b1未检测到物体向输入面板的可能的接近)，从而执行噪声去除。
[2-2.使用密度信息的去除处理]
随后，在帧内噪声去除部分151中，使用上面的点信息之中的密度信息来执行帧内噪声去除处理(步骤S142)。具体地，如图8所示，例如，帧内噪声去除部分151根据检测点密度D的量值，针对每个检测点确定检测点的处理(控制部分21中的处理)的执行有效还是无效(例如，是否实际上检测到物体向输入面板的可能的接近)。在图8的例子中，每个检测点#a2、#b2、及#c2的密度D(分别有外接矩形区域Aa、Ab、Ac)处于已经初步设置的预定范围之内(在图8的例子中，50％≤D≤100％)(分别D＝75％，80％，80％)。结果，对于检测点#a2、#b2、#c2的处理的执行被设置为有效。结果，检测点#a2、#b2、#c2被确定为不与帧内噪声相对应，从而不执行噪声去除。另一方面，因为检测点#d2的密度D处于已经初步设置的预定范围(50％≤D≤100％)(D＝30％)之外，因此对于检测点#d2的处理的执行被设置为无效。结果，检测点#d2被确定为与帧内噪声相对应，从而执行噪声去除。
[2-3.使用长宽比信息的去除处理]
随后，在帧内噪声去除部分151中，使用上面的点信息之中的长宽比信息来执行帧内噪声去除处理(步骤S143)。具体地，如图9所示，例如，帧内噪声去除部分151根据检测点长宽比R的量值，针对每个检测点确定检测点的处理(控制部分21中的处理)的执行有效还是无效。在图9的例子中，检测点#a2和#d2的长宽比R处在已经初步设置的预定范围(在图9的例子中，50％≤R≤100％)之内(在二者的检测点中R＝100％)。结果，对于检测点#a2和#d2的处理的执行被设置为有效。结果，检测点#a2和#d2被确定为不与帧内噪声相对应，从而不执行噪声去除。另一方面，因为检测点#b2和#c2的长宽比R处在已经初步设置的预定范围(50％≤R≤100％)(在二者的检测点中R＝20％)之外，因此对于检测点#b2和#c2的处理的执行被设置为无效。结果，检测点#b2和#c2被确定为与帧内噪声相对应，从而执行噪声去除。
以此方式，执行步骤S141至S143中所示的帧内噪声去除处理，从而有效地去除帧内噪声，实现检测点处理的适当执行(控制部分21中的处理)。应当理解，在帧内噪声处理中，可以利用面积度量、密度度量和/或长宽比度量的任何组合，在根据本公开的各种实施例中可以省略一些度量。
[3.帧间处理]
将参照图10至14详细描述图4所示的帧间处理。图10是详细表示帧间处理的流程图。
[3-1.跟踪和整合处理]
帧间处理部分152计算在当前帧之前紧邻的帧的每个检测点(跟踪点)中的跟踪点信息(点信息和标识信息)和当前帧的每个检测点(输入部分)中的点信息之间的相似性(图10中的步骤151)。相似性是基于点信息中包含的位置信息、密度信息、长宽比信息和/或面积信息而从检测点之间的距离、面积、密度、和/或长宽比中综合计算出的参数。例如，相似性可以由评估值限定，通过计算在之前紧邻的帧中的检测点和当前帧中的检测点之间的诸如距离、面积、密度、和长宽比之类的差值，将每个差值分别乘以系数，并将其积相加，来求得该评估值。当评估值等于或小于预定阈值时，帧间处理部分152确定相似性高，当评估值大于预定阈值时，确定相似性低。关于评估值，可以使用诸如距离、面积、密度、和/或长宽比之类的一个或多个属性中的任意单个属性或组合。作为替换，变化率等而不是相应属性的差值可以用于评估值。然后，帧间处理部分152将具有高相似性的每个检测点对(当前帧的检测点和之前紧邻帧的跟踪点)视为与相同外部接近物体相对应的检测点，并执行下面描述的整合(融合)处理(步骤S152)。然后，帧间处理部分152向将被整合的检测点和跟踪点分配各自的标识信息[标识数据(ID)]，并在随后帧中使用ID执行跟踪处理。在此情况下，如果希望，确定为具有高相似性的每个检测点的状态信息可以设置为“正常(Normal)”。由此，如果当前帧中的检测点高度相似于先前帧中的检测点，则可以确定在当前帧中检测到与该先前帧中相同的物体向输入面板接近。
具体地，例如，假定如图11A所示，在拾取图像的任意第N帧中存在三个检测点(跟踪点)#1至#3，并且如图11B所示，在紧邻第N帧之后的第(N+1)帧中存在四个检测点(输入点)#a至#d。当第N帧和第(N+1)帧的拾取图像相互重叠时，展示如图11C所示的状态。
在此情况下，在步骤S151中，如上所述在三个检测点(跟踪点)#1至#3和四个检测点(输入点)#a至#d之间分别计算相似性。在实施例中，如图11C所示，确定在检测点(跟踪点)#1和检测点(输入点)#b之间及检测点(跟踪点)#3和检测点(输入点)#d之间的相似性高。相应地，在步骤S152，对检测点#1和检测点#b及对检测点#3和检测点#d执行整合(融合)处理，向其分配单独ID，在随后的帧中使用该ID执行跟踪处理。
[3-2.帧插入处理]
另一方面，随后，帧间处理部分152去除并非上述整合处理的对象的跟踪点(步骤S153)。即，当前帧被确定为不具有与之前紧邻的帧相比有高相似性的检测点，由此，帧间处理部分152删除在之前紧邻的帧中新确定的独立检测点。具体地，在图11C所示的例子中，去除检测点(跟踪点)#2。
然而，此时，例如，帧间处理部分152执行如图12所示的帧插入处理，不立即去除这样的跟踪点(独立检测点)。具体地，帧间处理部分152分配表示“保持(Hold)”的状态信息给这样的跟踪点(独立检测点)，针对该独立检测点临时保持点信息和ID。然后，帧间处理部分152根据随后帧中相似性的确定结果，使用当前帧中的所保持的点信息和标识信息，来执行检测点的帧插入处理。即，在例如图12所示的例子中，分配有指示拾取图像的第(N+2)帧中“正常”的状态信息的检测点#11已经确定为在随后的第(N+3)帧中不存在。结果，第(N+3)帧中的检测点(跟踪点)#11首先被分配表示“保持”的状态信息，点信息和ID被临时保持。然后，当再次确定与检测点(跟踪点)#11具有高相似性的检测点存在于随后的第(N+4)帧中时，检测点(跟踪点)#11的帧插入处理在第(N+3)帧中回顾地执行，并确定关于第(N+3)帧检测到向输入面板的物体接近。作为结果，排除了在第(N+3)帧中的检测点的损失，从而可以有效地利用信息。同时，例如，具有“Stealth(未确定)”状态的跟踪点(将在下文详细描述)在帧插入处理中被立即去除。
[3-3.突发噪声去除处理]
随后，帧间处理部分152把并非上述整合处理的对象的检测点(输入点)登记为新生成的跟踪点(步骤S154)。即，帧间处理部分152针对被确定为与多个帧中的任何其它检测点具有低相似性的如图11C所示的检测点(输入部分)#a和#c的情况那样的检测点(输入部分)执行新的登记，并向其分配新的ID。
然而，此时帧间处理部分152执行突发噪声去除处理，并且不马上对于这样的检测点(独立检测点)执行新的登记，并如图13A和13B所示那样，例如，将其状态信息设置为“Stealth”(“未确定”)。即，帧间处理部分152向在当前帧中已经新确定的独立检测点分配表示未确定(stealth)状态的状态信息，以针对独立检测点临时暂停处理(控制部分21中的处理)的执行。然后，帧间处理部分152根据随后帧中的相似性的确定结果，对独立检测点回顾地执行处理。具体地，在图13A所示的例子中，已经在拾取图像的第(N+1)和第(N+3)帧中的每个中新检测到检测点(输入部分)#21。在此情况下，每个帧中的检测点(输入部分)#21的状态信息被设置为“Stealth(未确定)”。另一方面，在图13B所示的例子中，已经在拾取图像的第(N+1)帧中新检测到检测点(输入部分)#22。在此情况下，第(N+1)帧中的检测点#22的状态信息被设置为“Stealth(未确定)”。然后，基于第(N+1)帧中相似性的随后的确定结果，第(N+1)帧和第(N+2)帧中的检测点被确定为彼此具有高相似性，从而在第(N+1)帧中的检测点#22的状态信息被回顾地设置为“正常”，并确定对于第(N+1)帧检测到向输入面板的物体接近。
由此，独立检测点首先被分配表示“Stealth(未确定)”的状态信息。这使得应用(控制部分21)可以忽略可能是突发噪声的信息。同时，在图13A和13B中，虽然表示“Stealth(未确定)”的状态信息仅仅设置在第一帧中，但是用户可以任意改变被设置为“Stealth(未确定)”的新登记帧的号码。
然而，在如图13B和14A所示执行这样的突发噪声去除处理的情况下，在事件(控制部分21中的处理)发生期间或许可能引起时间延迟。相应地，例如如图14B所示，优选的是，当新确定的独立检测点将被分配表示“Stealth(未确定)”的状态信息时，帧间处理部分152临时保持该独立检测点的点信息和ID。这使得事件(控制部分21中的处理)可以使用随后帧中所保持的点信息和标识信息来发生，从而排除上述的时间延迟。由此，与当前帧相关联的显示图像可以基于当前帧中的检测的点信息来控制。
以此方式，即使当由于例如帧之间的噪声的生成及帧之间信息的损失因而生成独立检测点时，也通过执行步骤S151至S154中所示的帧间处理，临时暂停关于独立检测点的处理的执行。而且，因为根据随后帧中的相似性的确定结果来回顾地执行处理，因此更适当地执行关于检测点的处理(控制部分21中的处理)。
因此，根据本实施例，在帧间处理部分152中，基于每个检测点的点信息，在彼此不同的多个帧(拾取图像的多个时间顺序的帧)之中，在每个检测点中确定相似性，并且根据确定结果，执行帧间处理(包括跟踪处理、帧插入处理、及突发噪声去除处理的处理)。具体地，关于作为被确定为与其它检测点具有低相似性的检测点的独立检测点，在多个帧之中临时暂停关于检测点的处理(控制部分21中的处理)的执行，并且根据随后帧中相似性的确定结果，来回顾地执行关于独立检测点的处理。结果，即使当由于例如帧之间的噪声的生成及帧之间信息的损失因而生成独立检测点时，也可以更适当地关于检测点执行处理。作为结果，可以确保输入关于外部接近物体的信息，而不论使用状态如何。
而且，在帧内噪声去除部分151中，在从图像处理部分14输出的点信息之中的密度信息、长宽比信息、和/或面积信息可以用于根据检测点的密度、长宽比、和/或面积量来针对每个检测点确定检测点的处理(控制部分21中的处理)的执行有效还是无效，以便去除与在拾取图像的帧中包含的帧内噪声相对应的检测点。结果，可以不仅有效地排除帧之间的噪声的生成并排除帧之间的信息的损失，并且可以有效地去除帧内噪声，从而可以进一步确保输入关于外部接近物体的信息，而不论使用状态如何。
[II.变体]
下面将描述本发明的一些变体。与上述实施例中的要素相同的要素标注相同的参考标号，将不详细提供其描述。
[第一变体]
图15表示根据本发明实施例的第一变体的信息输入输出设备2的框结构。与根据上述实施例的信息输入输出设备1相比较，信息输入输出设备2的不同之处在于，电子单元主体20提供有图像处理部分14、帧内噪声去除部分151、及帧间处理部分152。即，在信息输入输出设备2中，显示器10提供有显示信号处理部分12、输入输出面板11、及光接收信号处理部分13。另外，电子单元主体20提供有控制部分21、图像处理部分14、帧内噪声去除部分151、及帧间处理部分152。具有这样的配置的信息输入输出设备2也实现与上述实施例的信息输入输出设备1类似的效果。
[第一变体和第二变体]
虽然在此已经参照包括具有多个显示元件11a和光接收元件11b的输入输出面板11的信息输入输出设备1和2(包含光学触摸传感器的设备)，作为例子描述了本发明实施例，然而本发明还可以应用于具有其它配置的输入输出面板。
[第二变体]
图16表示根据本发明实施例的第二变体的输入输出面板5(包含接触型触摸传感器)中的像素Px的截面结构。输入输出面板5包括第一基底50、第二基底60、及包含液晶分子71的液晶层70。第一基底50具有玻璃基底50A、栅极绝缘膜51A、第一中间层绝缘膜52A、信号线SL、第二中间层绝缘膜52B、公共电极53、第三中间层绝缘膜52C、及像素电极54(第一传感器电极)。第二基底60包括玻璃基底60A、滤色器61、及相对传感器电极62(第二传感器电极)。即，在输入输出面板5内部，接触型触摸传感器配置有像素电极54和相对电极62。像素电极54例如具有包括多个边缘54B的截面形状。定向膜(未示出)在边缘54B变得更薄，边缘54B从定向膜暴露出。相对传感器电极(counter sensor electrode)62(包括槽62A和图案62B)面向边缘54B布置。结果，第二基底60的弯曲导致相对传感器电极62与像素电极54的所暴露边缘54B接触，以便彼此直接导通，从而抑制位置检测的不稳定。由此，可以基于通过输入面板的一部分的压缩而产生的一个或多个电接触来确定物体向输入面板的可能的接近(例如，接触)的表示。特别是，在输入输出面板5是边缘场切换(FFS)液晶显示面板的情况下，因为像素电极54初始地具有初始包括多个槽54A的平面形状，因此可以不降低孔径比而改进位置检测的性能。
[第三变体]
图17表示根据本发明实施例的第三变体的输入输出面板8(包含电容性触摸传感器的输入输出面板)的主要部分的截面结构。输入输出面板8使用作为显示设备的液晶显示设备，电容性触摸传感器通过使用初始包含在液晶显示设备中的电极(下面描述的公共电极843)的一部分并以共享方式使用显示驱动信号(下面描述的公共驱动信号Vcom)来配置。输入输出面板8包括像素基底82、布置为面向像素基底82的相对基底84、及布置在像素基底82和相对基底84之间的液晶层86。
像素基底82具有用作电路板的薄膜晶体管(TFT)基底821和以矩阵形式布置在TFT基底831上的多个像素电极822。在TFT基底821上形成显示驱动器、用于驱动各个像素电极822的TFT及诸如用于向各个像素电极供给图像信号的源极线和用于驱动各个TFT的栅极线的连接器(每个均未示出)。在TFT基底821上可以形成用于执行触摸检测操作的检测电路。
相对基底84包括玻璃基底841、布置在玻璃基底841的一个表面上的滤色器842、及在滤色器842上形成的公共电极843。在滤色器842中，例如，包括红(R)、绿(G)、和蓝(B)的三色的滤色器层循环布置，每个R、G、B三色关联为针对每个显示像素(像素电极822)的集合。公共电极843还用作用于传感器的驱动电极，该驱动电极构成用于执行触摸检测操作的触摸传感器的一部分。
公共电极843通过接触导电圆柱体847连接至TFT基底821。具有交流(AC)矩形波的公共驱动信号Vcom从TFT基底821经由接触导电圆柱体847施加至公共电极843。公共驱动信号Vcom与施加至像素电极822的像素电压相关联地限定每个像素的显示电压，还用作触摸传感器的驱动信号。即，公共驱动信号Vcom的极性以预定周期反转。
传感器检测电极844(触摸检测电极)形成在玻璃基底841的另一表面上。而且，偏振板845布置在传感器检测电极844上。传感器检测电极844构成触摸传感器的一部分。
液晶层86根据电场的状态来调制穿过层86的光。例如，各种液晶用于例如扭曲向列(TN)型液晶、垂直排列(VA)型液晶、及电控双折射(ECB)型液晶。
定向膜均布置在液晶层86和像素电极82之间及布置在液晶层86和相对基底84之间。光入射侧偏振板布置在像素基底82的下表面上。定向膜和偏振板在图中未示出。
在输入输出面板8中，例如，当用户的手指接触或逼近相对基底84的表面上的任何位置时，在触摸位置处初始生成的电容元件的电容量由于接触或逼近的手指而改变。作为结果，触摸位置被扫描时(即，当公共驱动信号Vcom施加至与公共电极843的电极图案中的触摸位置相对应的电极图案时)的检测信号Vdet的值变得低于其它位置中的值。检测电路比较检测信号Vdet与阈值电压Vth，确定具有低于阈值电压Vth的检测信号Vdet的部分为触摸位置。可以从公共驱动信号Vcom的施加定时并从低于阈值电压Vth的检测信号Vdet的检测定时来确定触摸位置。由此，可以基于输入面板的一个或多个电容元件的电容量的变化来确定物体向输入面板的可能的接近的表示。
[III.应用例子]
将参照图18至22来描述参照上述实施例及变体描述的信息输入输出设备的应用例子。根据实施例及变体的信息输入输出设备每个都可应用于电子单元的每个领域，诸如电视设备、数字照相机、膝上型计算机、诸如移动电话的移动终端设备、摄像机等。换句话说，可以向外部输入视频信号或内部生成视频信号作为图像或视频画面显示的每个领域的电气设备应用实施例及变体的信息输入输出设备的每个。
[应用例子1]
图18表示应用了根据实施例及变体的任意一个的信息输入输出设备的电视设备的外表。例如，电视设备具有视频显示屏幕510，该视频显示屏幕510包括前面板511和滤波器玻璃512，该视频显示屏幕510配置有根据实施例及变体的任意一个的信息输入输出设备。
[应用例子2]
图19A和19B表示应用了根据实施例及变体的任意一个的信息输入输出设备的数字照相机的外表。例如，数字照相机具有用于闪光的光发射部分521、显示器522、菜单开关523、及快门释放按钮524，该显示器522配置有根据实施例及变体的任意一个的信息输入输出设备。
[应用例子3]
图20表示应用了根据实施例及变体的任意一个的信息输入输出设备的膝上型计算机的外表。例如，膝上型计算机具有主体531、用于字母等的输入操作的键盘532、及用于显示图像的显示器533，该显示器533配置有根据实施例及变体的任意一个的信息输入输出设备。
[应用例子4]
图21表示应用了根据实施例及变体的任意一个的信息输入输出设备的视频照相机的外表。例如，视频照相机具有主体541、用于拍摄对象的在主体541的前侧上提供的透镜542、拍摄时的开始/停止开关543及显示器544，该显示器544配置有根据实施例及变体的任意一个的信息输入输出设备。
[应用例子5]
图22A至22G分别表示应用了根据实施例及变体的任意一个的信息输入输出设备的移动电话的外表。例如，移动电话具有上壳体710、下壳体720、把上壳体710连接到下壳体720的连接器730(铰链)、显示器740、子显示器750、画面灯760、及照相机770。该显示器740或子显示器750配置有根据实施例及变体的任意一个的信息输入输出设备。
[替代变体]
虽然已经参照上述实施例、变体、及应用作为例子描述了本发明，但是本发明不限于这些，而是可以进行各种修改。
例如，实施例等中描述的步骤S141至S143每个都不限于图5所示的执行顺序，而是可以按任何顺序执行。而且，可以不必执行步骤S141至S143的全部，即，可以执行其中的一个或多个。类似地，实施例等中描述的步骤S151至S154每个都不限于图10所示的执行顺序。例如，步骤S153和S154可以颠倒执行。而且，上述实施例等中描述的点信息可以不包括位置信息、密度信息、长宽比信息、及面积信息中的全部。点信息可以至少包括位置信息。即，在一些实施例中，实施例等中描述的步骤S141至S143每个都可以不执行，而是可以仅仅执行步骤S151至S154。
在上述实施例等中，虽然已经描述了控制部分21提供在电子单元主体20中的情况，但是控制部分21可以提供在显示器10中。
而且，在图2和3所示的例子中，虽然对于单个光发射单元提供单个光接收单元，但是可以对于多个光发射单元提供单个光接收单元。
另外，在上述实施例等中，虽然已经描述了在一个基底上整合地提供显示面板和触摸传感器(触摸面板)的信息输入输出设备(设置有输入输出面板的信息输入输出设备)，但是本发明不限于此。即，本发明的实施例等还可应用于例如触摸传感器提供在显示设备外部上的信息输入输出设备(包括外部触摸传感器的信息输入输出设备)。
在上述实施例等中，已经把使用液晶显示面板的配置描述为输入输出面板。然而，根据本发明的任意一个实施例等的信息输入输出设备还可以采用有机电致发光(EL)面板等用作输入输出面板的配置。有机EL设备具有应用正向偏压来导致发光、及应用反向偏压来导致接收光及生成电流的特征。相应地，有机EL设备变得具有显示元件11a和光接收元件11b。输入输出面板11通过关于每个像素16布置有机EL设备来配置。正向偏压根据显示数据施加至每个有机EL设备来发光，从而显示图像，反向偏压施加至其它有机EL设备来接收反射的光。
而且，在实施例等中，虽然已经描述了包括具有多个显示元件和多个光接收元件的输入输出面板(具有用来检测外部接近物体的检测功能和图像显示功能的输入输出面板)的信息输入输出设备，但是本发明不限于此。具体地，本发明的实施例等可以应用于包括具有用来检测外部接近物体的检测功能的输入面板的信息输入设备(具有多个光接收元件的图像拾取设备)。即，可以分离地提供这样的输入面板和基于由控制部分21生成的显示图像来执行图像显示的输出面板(显示面板)。在此情况下，用于输入面板的一个检测屏幕的检测信号与构成一个检测帧的检测信号相对应。
而且，可以通过硬件或软件来执行在实施例等中描述的处理序列。在处理序列通过软件执行的情况下，构成软件的程序可以安装在通用计算机等上。这样的程序可能最初记录在嵌在计算机中的记录介质中。在此方面，一些实施例可以使用编码有计算机可执行指令的一个或多个有形非临时计算机可读存储介质来实施，该计算机可执行指令当由一个或多个处理器执行时执行在此描述的任意功能。
本申请包含与2009年5月26日在日本专利局提交的日本优先权专利申请JP 2009-126488号中所公开的主题相关的主题，其全部内容通过引用包含于此。
本领域技术人员应当理解，只要在所附权利要求及其等同内容的范围内，可以根据设计要求及其它因素进行各种修改、组合、部分组合、及替换。

Claims (35)

1.一种用于检测物体的接近的设备，该设备包括：
输入面板，包含至少一个检测元件；以及
至少一个电路，配置为：
从第一输入帧确定物体向输入面板的可能的接近的第一表示；
从在第一输入帧之后生成的第二输入帧确定物体向输入面板的可能的接近的第二表示；
从在第二输入帧之后生成的第三输入帧确定物体向输入面板的可能的接近的第三表示；以及
如果第一和第二表示不相似，则至少部分基于第三表示确定是否关于第二输入帧检测到物体向输入面板的接近。
2.按照权利要求1所述的设备，其中，所述至少一个电路进一步配置为：
如果第一和第二表示类似，则至少部分基于第一和第二表示确定是否关于第二输入帧检测到物体向输入面板的接近。
3.按照权利要求1所述的设备，其中，所述第一、第二、第三表示每个都关于相应的输入帧包括：
是否检测到物体向输入面板的可能的接近的指示；以及
如果检测到物体向输入面板的可能的接近，则有物体向输入面板的可能的接近的检测位置的指示。
4.按照权利要求1所述的设备，其中，所述至少一个电路配置为：
至少部分基于接收阈值量之上的反射光的输入面板的至少一个光接收元件，来确定第一、第二、第三表示中的至少一个。
5.按照权利要求1所述的设备，其中，所述至少一个电路配置为：
至少部分基于通过压缩输入面板的一部分而产生的至少一个电接触，来确定第一、第二、第三表示中的至少一个。
6.按照权利要求1所述的设备，其中，所述至少一个电路配置为：
至少部分基于输入面板的至少一个电容元件的电容量的变化，来确定第一、第二、第三表示中的至少一个。
7.按照权利要求1所述的设备，其中，
第一和第二表示每个都关于相应的输入帧包括物体向输入面板的可能的接近的检测位置的指示；以及
所述至少一个电路配置为：至少部分通过比较第一表示的位置指示和第二表示的位置指示，来确定第一和第二表示是否相似。
8.按照权利要求7所述的设备，其中，所述至少一个电路进一步配置为至少部分通过如下操作来确定第一和第二表示是否相似：
计算第一和第二表示的位置指示之间的差值；以及
将所计算出的差值与阈值量相比较。
9.按照权利要求8所述的设备，其中，所述至少一个电路进一步配置为至少部分通过如下操作来确定第一和第二表示是否相似：
如果所计算出的差值高于阈值量，则确定第一和第二表示不相似；以及
如果所计算出的差值不高于阈值量，则确定第一和第二表示相似。
10.按照权利要求7所述的设备，其中，
所述第一和第二表示每个都进一步包括关于物体向输入面板的可能的接近的相应检测的面积指示、密度指示、及长宽比指示的至少一个；以及
所述至少一个电路进一步配置为：至少部分通过比较第一表示的至少一个指示和第二表示的至少一个指示，来确定第一和第二表示是否相似。
11.按照权利要求10所述的设备，其中，所述至少一个电路进一步配置为至少部分通过如下操作来确定第一和第二表示是否相似：
计算第一表示的至少一个指示和第二表示的至少一个指示之间的至少一个差值；
计算该至少一个差值与在第一和第二表示的位置指示之间的差值的组合；以及
将所计算出的组合与阈值量相比较。
12.按照权利要求11所述的设备，其中，所述至少一个电路进一步配置为至少部分通过如下操作来确定第一和第二表示是否相似：
如果所计算出的组合高于阈值量，则确定第一和第二表示不相似；以及
如果所计算出的组合不高于阈值量，则确定第一和第二表示相似。
13.按照权利要求1所述的设备，其中，所述至少一个电路配置为至少部分通过如下操作来确定第一、第二和第三表示中的至少一个：
标识在与从输入面板的一个或多个检测元件接收的一个或多个检测信号相对应的相应输入帧中的区域；
确定所标识区域的面积度量、密度度量、及长宽比度量中的至少一个；以及
比较该至少一个度量与至少一个预定范围，来确定是否在与所标识区域相对应的位置处检测到物体向输入面板的可能的接近。
14.按照权利要求1所述的设备，其中，
所述第一表示关于第一输入帧包括物体向输入面板的可能的接近的检测的第一位置的指示；以及
所述至少一个电路配置为：
至少部分通过确定第二表示不指示在与第一位置相类似的位置处
关于第二输入帧检测到物体向输入面板的可能的接近，确定第一和第二表示不相似；以及
至少部分通过如下操作来确定是否关于第二输入帧检测到物体向输入面板的接近：
如果第三表示指示在与第一位置相类似的位置处关于第三输入帧检测到物体向输入面板的可能的接近，则确定关于第二输入帧检测到物体向输入面板的接近。
15.按照权利要求1所述的设备，其中，
所述第二表示关于第二输入帧包括物体向输入面板的可能的接近的检测的第一位置的指示；以及
所述至少一个电路配置为：
至少部分通过确定第一表示不指示在与第一位置相类似的位置处关于第一输入帧检测到物体向输入面板的可能的接近，确定第一和第二表示不相似；以及
至少部分通过如下操作来确定是否关于第二输入帧检测到物体向输入面板的接近：
如果第三表示不指示在与第一位置相类似的位置处关于第三输入帧检测到物体向输入面板的可能的接近，则确定关于第二输入帧未检测到物体向输入面板的接近。
16.按照权利要求15所述的设备，其中，所述至少一个电路进一步配置为至少部分通过如下操作来确定关于第二输入帧是否检测到物体向输入面板的接近：如果第三表示指示在与第一位置相类似的位置处关于第三输入帧检测到物体向输入面板的可能的接近，则
确定关于第二输入帧检测到物体向输入面板的接近。
17.按照权利要求16所述的设备，其中，所述至少一个电路进一步配置为如果确定关于第二输入帧检测到物体向输入面板的接近，则：
至少部分基于第一位置的指示，来控制与第二输入帧相关联的显示图像。
18.一种检测物体向输入面板的接近的方法，该方法包括：
从第一输入帧确定物体向输入面板的可能的接近的第一表示；
从在第一输入帧之后生成的第二输入帧确定物体向输入面板的可能的接近的第二表示；
从在第二输入帧之后生成的第三输入帧确定物体向输入面板的可能的接近的第三表示；以及
如果第一和第二表示不相似，则至少部分基于第三表示，来使用至少一个电路确定是否关于第二输入帧检测到物体向输入面板的接近。
19.按照权利要求18所述的方法，进一步包括：
如果第一和第二表示类似，则至少部分基于第一和第二表示确定是否关于第二输入帧检测到物体向输入面板的接近。
20.按照权利要求18所述的方法，其中，所述第一、第二、第三表示每个都关于相应的输入帧包括：
是否检测到物体向输入面板的可能的接近的指示；以及
如果检测到物体向输入面板的可能的接近，则有物体向输入面板的可能的接近的检测位置的指示。
21.按照权利要求18所述的方法，其中，至少部分基于接收阈值量之上的反射光的输入面板的至少一个光接收元件，来确定第一、第二、第三表示中的至少一个。
22.按照权利要求18所述的方法，其中，至少部分基于通过压缩输入面板的一部分而产生的至少一个电接触，来确定第一、第二、第三表示中的至少一个。
23.按照权利要求18所述的方法，其中，至少部分基于输入面板的至少一个电容元件的电容量的变化，来确定第一、第二、第三表示中的至少一个。
24.按照权利要求18所述的方法，其中，
第一和第二表示每个都关于相应的输入帧包括物体向输入面板的可能的接近的检测位置的指示；以及
所述方法进一步包括：至少部分通过比较第一表示的位置指示和第二表示的位置指示，来确定第一和第二表示是否相似。
25.按照权利要求24所述的方法，其中，确定第一和第二表示是否相似包括：
计算第一和第二表示的位置指示之间的差值；以及
将所计算出的差值与阈值量相比较。
26.按照权利要求25所述的方法，其中，确定第一和第二表示是否相似进一步包括：
如果所计算出的差值高于阈值量，则确定第一和第二表示不相似；以及
如果所计算出的差值不高于阈值量，则确定第一和第二表示相似。
27.按照权利要求24所述的方法，其中，
所述第一和第二表示每个都进一步包括关于物体向输入面板的可能的接近的相应检测的面积指示、密度指示、及长宽比指示的至少一个；以及
确定第一和第二表示是否相似进一步包括：比较第一表示的至少一个指示和第二表示的至少一个指示。
28.按照权利要求27所述的方法，其中，确定第一和第二表示是否相似包括：
计算第一表示的至少一个指示和第二表示的至少一个指示之间的至少一个差值；
计算该至少一个差值与在第一和第二表示的位置指示之间的差值的组合；以及
将所计算出的组合与阈值量相比较。
29.按照权利要求28所述的方法，其中，确定第一和第二表示是否相似进一步包括：
如果所计算出的组合高于阈值量，则确定第一和第二表示不相似；以及
如果所计算出的组合不高于阈值量，则确定第一和第二表示相似。
30.按照权利要求18所述的方法，其中，确定第一、第二和第三表示中的至少一个包括：
标识在与从输入面板的一个或多个检测元件接收的一个或多个检测信号相对应的相应输入帧中的区域；
确定所标识区域的面积度量、密度度量、及长宽比度量中的至少一个；以及
比较该至少一个度量与至少一个预定范围，来确定是否在与所标识区域相对应的位置处检测到物体向输入面板的可能的接近。
31.按照权利要求18所述的方法，其中，
所述第一表示关于第一输入帧包括物体向输入面板的可能的接近的检测的第一位置的指示；
所述方法进一步包括至少部分通过确定第二表示不指示在与第一位置相类似的位置处关于第二输入帧检测到物体向输入面板的可能的接近，来确定第一和第二表示不相似；以及
确定是否关于第二输入帧检测到物体向输入面板的接近包括：
如果第三表示指示在与第一位置相类似的位置处关于第三输入帧检测到物体向输入面板的可能的接近，则确定关于第二输入帧检测到物体向输入面板的接近。
32.按照权利要求18所述的方法，其中，
所述第二表示关于第二输入帧包括物体向输入面板的可能的接近的检测的第一位置的指示；
所述方法进一步包括至少部分通过确定第一表示不指示在与第一位置相类似的位置处关于第一输入帧检测到物体向输入面板的可能的接近，确定第一和第二表示不相似；以及
确定是否关于第二输入帧检测到物体向输入面板的接近包括：
如果第三表示不指示在与第一位置相类似的位置处关于第三输入帧检测到物体向输入面板的可能的接近，则确定关于第二输入帧未检测到物体向输入面板的接近。
33.按照权利要求32所述的方法，其中，确定关于第二输入帧是否检测到物体向输入面板的接近进一步包括：如果第三表示指示在与第一位置相类似的位置处关于第三输入帧检测到物体向输入面板的可能的接近，则
确定关于第二输入帧检测到物体向输入面板的接近。
34.按照权利要求33所述的方法，进一步包括：如果确定关于第二输入帧检测到物体向输入面板的接近，则
至少部分基于第一位置的指示，来控制与第二输入帧相关联的显示图像。
35.至少一种编码有多个计算机可执行指令的非临时的计算机可读存储介质，该多个计算机可执行指令当执行时实施检测物体向输入面板的接近的方法，所述方法包括：
从第一输入帧确定物体向输入面板的可能的接近的第一表示；
从在第一输入帧之后生成的第二输入帧确定物体向输入面板的可能的接近的第二表示；
从在第二输入帧之后生成的第三输入帧确定物体向输入面板的可能的接近的第三表示；以及
如果第一和第二表示不相似，则至少部分基于第三表示确定是否关于第二输入帧检测到物体向输入面板的接近。
CN2010101856942A 2009-05-26 2010-05-19 信息输入设备和方法、输入输出设备、介质及电子单元 Pending CN101901084A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009126488 2009-05-26
JP126488/09 2009-05-26

Publications (1)

Publication Number Publication Date
CN101901084A true CN101901084A (zh) 2010-12-01

Family

ID=42697567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101856942A Pending CN101901084A (zh) 2009-05-26 2010-05-19 信息输入设备和方法、输入输出设备、介质及电子单元

Country Status (6)

Country Link
US (2) US8482538B2 (zh)
EP (1) EP2256597B1 (zh)
JP (1) JP5560095B2 (zh)
KR (1) KR20100127704A (zh)
CN (1) CN101901084A (zh)
TW (1) TWI425400B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186290A (zh) * 2011-12-28 2013-07-03 原相科技股份有限公司 手写系统及其操作方法
WO2015192712A1 (zh) * 2014-06-20 2015-12-23 深圳印象认知技术有限公司 接触式图像采集器、触摸屏、指纹采集器及电子设备
US9519380B2 (en) 2011-12-22 2016-12-13 Pixart Imaging Inc. Handwriting systems and operation methods thereof

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5224973B2 (ja) * 2008-08-26 2013-07-03 株式会社ジャパンディスプレイウェスト 情報入出力装置および情報入出力方法
JP5366051B2 (ja) 2009-04-20 2013-12-11 株式会社ジャパンディスプレイ 情報入力装置、表示装置
TWI425400B (zh) 2009-05-26 2014-02-01 Japan Display West Inc 資訊輸入裝置、資訊輸入方法、資訊輸入輸出裝置、儲存媒體及電子單元
JP5458443B2 (ja) 2010-09-14 2014-04-02 株式会社ジャパンディスプレイ タッチ検出機能付き表示装置、および電子機器
JP5183790B2 (ja) * 2010-09-27 2013-04-17 京セラ株式会社 携帯端末装置
US8676227B2 (en) * 2011-05-23 2014-03-18 Transcend Information, Inc. Method of performing a data transaction between a portable storage device and an electronic device
CN102955595B (zh) * 2011-08-21 2016-05-25 宸鸿科技(厦门)有限公司 触控感测方法以及装置
US9207837B2 (en) * 2011-12-20 2015-12-08 Nokia Technologies Oy Method, apparatus and computer program product for providing multiple levels of interaction with a program
JP5962278B2 (ja) * 2012-07-12 2016-08-03 ノーリツプレシジョン株式会社 画像処理プログラム、画像処理装置及び画像処理方法
US20150205396A1 (en) * 2012-10-19 2015-07-23 Mitsubishi Electric Corporation Information processing device, information terminal, information processing system and calibration method
US9977514B1 (en) * 2012-12-06 2018-05-22 Richard Martin Greene Method and apparatus for digital painting with natural textures
KR101526425B1 (ko) * 2014-02-21 2015-06-05 현대자동차 주식회사 제스처 인식 장치 및 제스처 인식 방법
JP6704802B2 (ja) * 2016-06-10 2020-06-03 株式会社ジャパンディスプレイ 入力検出装置および電子装置
WO2019028209A1 (en) * 2017-08-02 2019-02-07 Tactual Labs Co. NOISE MITIGATION FOR FREQUENCY DOMAIN SENSOR

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945515A (zh) * 2005-10-05 2007-04-11 索尼株式会社 显示装置和显示方法
CN101135949A (zh) * 2006-08-31 2008-03-05 索尼株式会社 成像和显示设备、信息输入设备、物体检测介质及方法
CN101196789A (zh) * 2006-12-06 2008-06-11 索尼株式会社 显示装置、显示装置控制方法和程序
EP1988448A1 (en) * 2006-02-23 2008-11-05 Pioneer Corporation Operation input device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
JP3964552B2 (ja) * 1998-08-25 2007-08-22 三菱電機株式会社 圧力検知デジタイザ
JP2000357046A (ja) * 1999-06-15 2000-12-26 Mitsubishi Electric Corp 手書入力装置、方法ならびに手書入力プログラムを記録したコンピュータで読取可能な記録媒体
TWI297845B (en) * 2005-02-18 2008-06-11 Au Optronics Corp Flat panel display with touch-controlled function and manufacturing method thereof
GB0611032D0 (en) * 2006-06-05 2006-07-12 Plastic Logic Ltd Multi-touch active display keyboard
JP2008097172A (ja) * 2006-10-10 2008-04-24 Sony Corp 表示装置および表示方法
JP4333768B2 (ja) * 2007-04-06 2009-09-16 ソニー株式会社 表示装置
JP2008299474A (ja) * 2007-05-30 2008-12-11 Sony Corp 表示制御装置および方法、表示装置、撮像装置、並びに、プログラム
JP2009048335A (ja) * 2007-08-16 2009-03-05 Lg Display Co Ltd 液晶表示装置
JP5172296B2 (ja) 2007-11-28 2013-03-27 ダイキョーニシカワ株式会社 ドアモジュール
TWI425400B (zh) 2009-05-26 2014-02-01 Japan Display West Inc 資訊輸入裝置、資訊輸入方法、資訊輸入輸出裝置、儲存媒體及電子單元

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945515A (zh) * 2005-10-05 2007-04-11 索尼株式会社 显示装置和显示方法
EP1988448A1 (en) * 2006-02-23 2008-11-05 Pioneer Corporation Operation input device
CN101135949A (zh) * 2006-08-31 2008-03-05 索尼株式会社 成像和显示设备、信息输入设备、物体检测介质及方法
CN101196789A (zh) * 2006-12-06 2008-06-11 索尼株式会社 显示装置、显示装置控制方法和程序

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9519380B2 (en) 2011-12-22 2016-12-13 Pixart Imaging Inc. Handwriting systems and operation methods thereof
CN103186290A (zh) * 2011-12-28 2013-07-03 原相科技股份有限公司 手写系统及其操作方法
WO2015192712A1 (zh) * 2014-06-20 2015-12-23 深圳印象认知技术有限公司 接触式图像采集器、触摸屏、指纹采集器及电子设备
US9996198B2 (en) 2014-06-20 2018-06-12 Vkansee Technology Company Ltd. Contact image acquisition device, touch screen, fingerprint acquisition device, and electronic device

Also Published As

Publication number Publication date
US8482538B2 (en) 2013-07-09
TW201102893A (en) 2011-01-16
US20130285988A1 (en) 2013-10-31
KR20100127704A (ko) 2010-12-06
EP2256597A1 (en) 2010-12-01
TWI425400B (zh) 2014-02-01
JP5560095B2 (ja) 2014-07-23
US20100302203A1 (en) 2010-12-02
EP2256597B1 (en) 2014-11-26
US9176625B2 (en) 2015-11-03
JP2011008777A (ja) 2011-01-13

Similar Documents

Publication Publication Date Title
CN101901084A (zh) 信息输入设备和方法、输入输出设备、介质及电子单元
US10061418B2 (en) Display device with touch detection function, touch detection device, and electronic unit
CN202649956U (zh) 触摸屏和计算装置
CN102007446B (zh) 触控与近接感测式显示面板、显示组件以及其触控与近接感测方法
CN102341774B (zh) 集成触摸屏
US20170131836A1 (en) Display device with touch detection function and electronic apparatus
JP5563250B2 (ja) 立体画像表示装置
WO2021083003A1 (zh) 显示装置及电子设备
CN103699269B (zh) 一种双面触摸显示装置
US20110084934A1 (en) Information input device, information input method, information input/output device, computer readable non-transitory recording medium and electronic unit
US20110037732A1 (en) Detecting device, display device, and object proximity distance measuring method
CN105992994A (zh) 用于自电容触摸传感器的集成触摸和显示架构
CN103019433A (zh) 用于触摸屏的多模式电压
CN102375636A (zh) 具有触摸检测功能的显示单元及电子装置
CN101937293A (zh) 信息输入装置和显示装置
CN102062965A (zh) 具有触摸面板的立体液晶显示器及其制造方法
CN108288018A (zh) 一种显示模组及移动终端
KR20120031877A (ko) 터치 검출 장치, 터치 검출 기능이 있는 표시 장치, 터치 위치 검출 방법 및 전자 기기
US11296155B2 (en) Display panel and operation method thereof
US20100013795A1 (en) Display apparatus, method for controlling display apparatus, and electronic apparatus
CN101661371A (zh) 信息输入设备、信息输入方法、信息输入/输出设备
WO2021083255A1 (zh) 显示装置及电子设备
CN105677126A (zh) 一种显示面板和显示装置
JP2010152573A (ja) 表示装置、および表示方法
CN107256098A (zh) 检测显示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NIPPON DISPLAY CO., LTD.

Free format text: FORMER OWNER: SONY CORPORATION

Effective date: 20121105

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20121105

Address after: Aichi

Applicant after: Japan display West Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Sony Corp.

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20101201