CN102460355A - 一体化输入和显示系统及方法 - Google Patents

一体化输入和显示系统及方法 Download PDF

Info

Publication number
CN102460355A
CN102460355A CN201080024844XA CN201080024844A CN102460355A CN 102460355 A CN102460355 A CN 102460355A CN 201080024844X A CN201080024844X A CN 201080024844XA CN 201080024844 A CN201080024844 A CN 201080024844A CN 102460355 A CN102460355 A CN 102460355A
Authority
CN
China
Prior art keywords
screen
sensor
touch
matrix
integrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201080024844XA
Other languages
English (en)
Other versions
CN102460355B (zh
Inventor
沙伦·埃尔利希
劳尔·法尔卡斯
埃利泽·佩拉克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RADION ENGINEERING Co Ltd
Original Assignee
RADION ENGINEERING Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RADION ENGINEERING Co Ltd filed Critical RADION ENGINEERING Co Ltd
Publication of CN102460355A publication Critical patent/CN102460355A/zh
Application granted granted Critical
Publication of CN102460355B publication Critical patent/CN102460355B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

一体化输入和显示系统及方法，能够感测用户使用多个干涉技术和手段(例如触摸或悬停)做出的干涉。一个系统包括：触摸屏，能够发射和引导光从而使用户能够通过物理干涉从触摸屏发射的光来输入图画，并通过触摸屏显示该干涉；感测系统，包括根据以下述方式关于触摸屏定位的预定布局而布置的多个光学传感器，该方式允许传感器感测来自触摸屏的光并将该感测转化为帧，帧的每一个都包含感测到的光的像素化图像数据；以及屏幕一体化模块，能够将传感器在给定时刻感测到的帧一体化为包含一体化全屏像素化图像数据的单屏幕读数。

Description

一体化输入和显示系统及方法
技术领域
本发明大体上涉及输入和显示系统，更具体地涉及包括触摸屏的输入和显示系统。
背景技术
触摸屏是能够在显示区域中检测触摸的输入及显示设备，因此其作为集成在单个平台中的显示系统以及输入系统这两者来操作。触摸屏被普遍且广泛地使用，例如在自动柜员机(ATM)中，ATM使用户能够通过呈现选项的区域进行按压从而对通过屏幕呈现给他的选项进行选择。
出现的一个问题是大多数触摸屏仅允许检测每次在一个触摸点中执行的一个触摸，因此限制了需要多个同时触摸点的应用。一些应用(诸如，图画及手写相关应用)需要识别用于输入图画/文本的手段(例如，手指、整个手、指示笔等)。通过悬停(实际上没有触摸屏幕表面)输入触摸点在这些已知触摸屏中也可能是有问题的，这是因为其需要完全不同的检测系统，然而悬停输入技术可以是非常卫生和有益的，尤其对于公共使用的触摸屏(诸如，在ATM中)。
存在允许识别多个触摸点的已知触摸屏，其允许通过使用各种输入手段(诸如，手指、多个手指和指示笔)输入触摸点和图画，该触摸屏包括布置在触摸屏内的不可见的导线，其中通过识别沿这些导线传输的信号的变化和/或电导率的变化来识别触摸。由于导线可能随着时间推移而改变其传导信号的质量，因此该方法可导致各种问题。
发明内容
根据本发明的一方面，提供一体化输入和显示系统，包括：至少一个触摸屏，其能够发射和引导光从而使用户通过物理地干涉从该触摸屏发射的光来输入图画，并通过该触摸屏显示所述干涉；感测系统，包括根据以下述方式相对于触摸屏定位的预定布局所布置的多个(multiplicity，多重)光学传感器，该方式允许传感器感测由用户对来自触摸屏的光所做出的干涉，并将该感测转化为帧，每个帧包括感测光的像素化图像数据；以及屏幕一体化模块，能够将传感器在给定时刻感测到的帧一体化为包含一体化全屏像素化图像数据的单个屏幕读数。
根据本发明的另一方面，提供对来自能够感测来自触摸屏的光强度和光学干涉的多个传感器的传感器数据进行分析的计算机实现方法，其中触摸屏能够发光并显示用户通过物理地干涉发射光所输入的输入图画，该方法包括：
提供传感器的布局，其中该布局包括每个传感器关于其它传感器以及关于触摸屏的定位；
输入至少一幅图画，其中用户使用至少一个干涉手段和至少一种输入技术来输入图画；
从传感器中的每一个接收传感器数据，其中每个传感器都提供单独的像素化图像数据，该数据是表示由每个传感器感测到的、对发射光的各干涉关于传感器的位置的帧；
将接收自所有传感器的全部帧的像素化图像数据一体化为包括一体化全屏像素化图像数据的单个屏幕读数。
根据本发明的另一方面，进一步提供联合体，包括：
多个一体化输入和显示系统，每个系统都包括：
至少一个触摸屏，能够发射和引导光从而使用户通过物理地干涉从该触摸屏发射的光来输入图画，并通过该触摸屏显示该干涉；
感测系统，包括根据以下述方式相对于触摸屏定位的预定布局所布置的多个光学传感器，该方式允许传感器感测来自触摸屏的光并将该感测转化为帧，每个帧包括感测光的像素化图像数据；以及
屏幕一体化模块，能够将传感器在给定时刻感测到的帧一体化为包含一体化全屏像素化图像数据的单个屏幕读数，以及
多个链接机制，每个都能够连接两个相邻的输入和显示系统。
链接机制中的每个都可以实现识别其连接的一体化输入和显示系统的位置，其中每个链接机制都可进一步实现传输表示其连接的每两个相邻系统的相对位置的位置数据以供进一步处理和操作，从而允许根据联合体中每个屏幕的相对位置来操作显示。该联合体可进一步操作地与能够在综合体的不同屏幕中显示媒体内容的至少一个应用关联，其中在任何给定时刻的视觉显示的位置是根据应用规则并根据联合体的配置而定义的。
附图说明
根据以示例方式给出并仅用于本发明的示例性讨论的本文随后描述的实施方式连同参考附图(附图，或简称“图”)，将更透彻地理解视为本发明的主题，其中：
图1示意性示出了根据本发明的一些实施方式的一体化输入和显示系统；
图2是示意性示出了根据本发明的一些实施方式用于分析来自多个传感器的传感器数据的方法的流程图，该多个传感器能够感测来自一体化输入和显示系统的触摸屏的光强度和光学干涉；
图3示意性示出了根据本发明的一些实施方式、关于输入和显示系统的感测系统的布局中每个传感器的有效视场而布置的传感器布局；
图4A和4B示意性示出了根据本发明的一些实施方式的传感器的传感器校准矩阵，其关于传感器的视场并且关于布局中传感器的重叠区计算；
图4C示意性示出了根据本发明的一些实施方式、使用全屏校准算子产生全屏图像数据矩阵的计算；
图5A示意性示出了根据本发明的一些实施方式、使用全屏校准算子产生全屏图像数据矩阵的方法；
图5B示意性示出了根据本发明的一些实施方式、用于产生针对输入和显示系统的传感器的强度(intensity，亮度)校准算子的方法；
图5C示意性示出了根据本发明的一些实施方式、使用全屏校准算子和强度校准算子产生全屏图像数据矩阵的方法；
图6示意性示出了根据本发明的一些实施方式、在连接至组定时单元的交替组中布置的传感器的布局，该组定时单元被设计用于增强感测频率分辨率；
图7示意性示出了根据本发明的一些实施方式、能够感测预定波段光的输入和显示系统；
图8示意性示出了根据本发明的一些实施方式、能够感测悬停干涉的输入和显示系统；
图9示意性示出了根据本发明的一些实施方式、发光系统与感测系统集成的一体化输入和显示系统；
图10示意性示出了根据本发明的一些实施方式、具有背光照明的一体化输入和显示系统；
图11示意性示出了根据本发明的一些实施方式、包括相互链接的多个输入和显示系统的联合体；
图12是示意性示出了根据本发明的一些实施方式、在位于联合体中预定位置的多个扬声器之间分配音频信号的框图。
具体实施方式
在详细说明本发明的至少一个实施方式之前，应当理解本发明并不将其应用限于下面描述中所阐述的或附图中所示出的部件的构造和布置的细节。本发明适用于其它实施方式或以各种方式实践或执行。
同样，应当理解本文采用的措辞和术语用来描述而不应当被认为是限制。在其它模块中，众所周知的方法、过程、部件和电路未详细描述，以便不模糊本公开的教导。
本发明在其一些实施方式中提供了输入和显示系统以及方法，其允许用户通过对从触摸屏发射的光进行物理干涉(例如，通过书写、画草图等)来输入图画，使用户能够使用多个干涉技术(例如，通过单手指/多手指/指示笔或任何其它物体触摸)和/或多个干涉手段(例如，指示笔、手指、其它物体)并能够显示绘制的图画。
现在参考图1，其示意性地示出了根据本发明的一些实施方式的一体化输入和显示系统1000。系统1000可以包括：
至少一个触摸屏100，能够发射和引导光从而允许用户通过物理干涉从该触摸屏发射的光来输入图画，并通过该触摸屏显示干涉；
感测系统200，包括根据以下述方式相对于触摸屏100定位的预定布局(例如，成排)布置的多个光学传感器210(诸如，数码相机、CCD照相机或任何其它基于光学的采集器件)，该方式允许传感器感测来自触摸屏100的光并将该感测转化为每个都包括感测光的像素化图像数据的帧；
处理单元300，能够接收和处理像素化图像数据；以及
控制单元600，能够从处理单元300接收数据，并根据接收的数据控制触摸屏100和感测系统200。
系统1000使用户能够使用各种干涉手段来干涉发射光并且能够使用各种输入技术。例如，系统1000可实现检测用户是否使用指示笔10a、手指10b或任何其它纵向物体来输入图画，用户是否使用多个或单个手段以及使用手段的数量。取决于本发明的实施方式，该技术也可指代悬停。
根据实施方式，如图1中所示，处理系统300可以包括：
屏幕一体化模块310，能够使传感器210在给定时刻感测到的帧一体化为包含一体化全屏像素化图像数据的单屏幕读数；
分析模块320，能够从屏幕一体化模块310接收一体化全屏像素化图像数据并分析接收的一体化全屏像素化图像数据，从而识别用户在触摸屏100上做出的触摸点，识别表示用户所做绘图的触摸图案，并识别用户用来输入图画的干涉类型(例如，通过单个触摸手段触摸；通过多个触摸手段触摸、通过指示笔悬停、通过手指悬停等)以及用来实现绘图的干涉手段10a、10b和/或10c(例如，手指、多个手指、指示笔或能够对发射光进行干涉的任何其它物体)；以及
通信模块330，能够与至少一个终端400通信，其中通信模块330能够从屏幕一体化模块310以及分析模块320接收数据，并向终端400传输一体化全屏像素化图像数据和分析数据，以便数据的进一步处理并实现根据传输的数据操作至少一个应用。
终端400可以是获取来自用户的输入数据的、本领域已知的任何系统，诸如游戏系统；计算机系统；个人数字助理(PDA)、识别文本和/或转化手写体的应用、整体附至输入和显示系统1000的处理器等。
终端400可以在接收到图画图案的输入时根据各种预定操作规则来实现操作。例如，如果是从左到右绘制线条的游戏，那么可操作特定功能，而绘制圆形图可以不同方式协作。作为另一例子，如果终端400是能够接收一种或多种语言的手写字的语言应用，那么该应用可以对能够转化输入的字母和词语并在同一屏幕上的不同位置呈现输入的文本的软件代码进行操作。
根据实施方式，如图1中所示，触摸屏可包括：
发光系统110，包括至少一个光源111和至少一个准直仪112；
光导层120，能够在整个光导层120上基本上均匀地漫射从发光系统110发射的光；
可触摸涂层122，其附至光导层120的外表面，其中涂层122使光导层120漫射的光能够通过该可触摸涂层；以及
液晶显示器(LCD)130或能够显示电子数据和图画的任何其它光学器件，其中LCD 130可操作地连接到控制单元600，该控制单元通过从分析单元320中检索数据并呈现由此识别的图画图案和/或任何其它表现来控制显示。
根据实施方式，触摸屏100的光导层120可进一步包括附至光导层120的至少一个侧表面(见于图1)的一个或更多反射器121，其能够将来自发光系统110的光反射回到光导层120，由此减少发射光的损失，否则该发射光会发射至触摸屏100侧面而不指向光导层120的外表面(以便用户通过干涉来绘图)，或发射到传感器210面对以便接收光的侧面。
根据实施方式，附至每个光源111的光准直仪112可具有圆锥形，其中圆锥体的较窄端面对光导层120，较宽端面对光源111。准直仪112可包括反射性内表面113(见图1)，其能够将从光源111发射的光引导或聚焦到光导层120。
根据实施方式，光源可包括发光二极管(LED)。
取决于发光系统110的位置，光导层120可由本领域已知的任何光漫射材料或能够引导光遍及光导层120的任何光导材料制成。光导层120可以按照以下方式将光遍及触摸屏100进行漫射，该方式使至少一些光能够基本上均匀地从光导层漫射至触摸屏100的外侧，以便允许光发射到触摸涂层122的表面，从而允许用户使用绘图手段(例如10a、10b或10b和10c)，对从光导层发射的光进行干涉。
发光系统110的光源111可全部位于光导层120的侧面(如图1中所示)，其中传感器210可沿基本垂直于设置了至少一个光源的光导层120的侧面的平面而置于触摸屏100的下面。可替换地，光源111可位于光导层120的侧面，其中传感器120可位于光导层120的任何其它一个或多个其它侧面(垂直和/或平行于光源111所处的平面)。
触摸涂层122可由本领域已知的易于触摸并能够以对从光导层120发射的光最小干涉来保护光导层的任何材料(例如，透明或半透明材料)制成。
根据一些实施方式，指示笔10a可包括反射部11，其在用户将反射部11指向触摸屏100的同时使用指示笔10a在触摸屏100的涂层122上绘画时，该反射部能够将朝向反射部11发射的光进行反射，如图1中所示。
根据一些实施方式，用于感测系统200的传感器210可以基本上是低分辨率照相机(例如，能够产生640×480像素帧的照相机)，从而为制造商和消费者降低系统1000的价格。
根据一些实施方式，如图1中所示，屏幕一体化模块310可包含校准模块311，其能够产生一个或更多校准算子，根据该算子可执行屏幕一体化，并且可选地，可以执行每个照相机的每个像素的信号校准。
根据一些实施方式，分析单元320能够识别触摸的点，并通过使用能够计算干涉斑点大小(例如，宽度)、波干涉图案的图像分析而可能识别干涉手段，并由此分析干涉手段距触摸涂层122的距离以及手段类型。即使在输入图画时同时使用相同或不同类型的若干手段，这仍可完成。
根据一些实施方式，能够几乎实时地完成经分析的图案的一体化、分析和显示，从而允许用户尽可能接近于输入图画的时刻来观看他/他绘制的斑点和图案。
现在参考图2，其是示意性地示出了一旦提供了传感器的布局、根据本发明的一些实施方式用于分析来自多个传感器的传感器数据的方法的流程图，该多个传感器能够感测来自触摸屏的光强度和光学干涉，其中，该触摸屏能够发射光并显示用户通过物理地干涉发射光所输入的图画，该布局包括每个传感器关于其它传感器以及关于触摸屏的定位。该方法可包括下述步骤中的至少一些：
操作触摸屏的发光系统21；
操作传感器22；
输入至少一幅图画24，其中用户使用至少一个干涉手段和至少一种输入技术从而在触摸屏上进行绘制；
从传感器中的每一个接收传感器数据25，其中每个传感器提供单独的像素化图像数据，该数据是表示由每个传感器感测的发射光的各干涉关于传感器位置的帧；
使从全部传感器接收的全部帧的像素化图像数据一体化为包括一体化全屏像素化图像数据(例如，全屏矩阵)的单屏幕读数26；
分析一体化全屏像素化图像数据，从而识别用户在触摸屏上做出的触摸点(一旦接收一体化全屏像素化图像)27；
步骤25至27可针对每个传感器的每个帧重复28；
分析预定的“N”个帧，其中一旦分析了所有传感器的“N”个帧循环，那么用户绘制的图画以及触摸类型和手段可完全识别29；以及
将经分析的数据和一体化全屏数据传输到至少一个终端以便进一步处理30。
根据实施方式，由每个传感器210输出的每个帧的每个像素化数据都可包括预定大小的矩阵。每个像素代表强度值，其中每个值都根据由传感器210感测的强度的定位而被定位在矩阵中。传感器数据的一体化包括通过提取每个矩阵的相关矩阵部分并使矩阵部分组合为单个的一体化全屏矩阵而使全部传感器210的输出矩阵一体化，其中根据传感器210的定位布局来执行每个矩阵部分的提取。可根据每个传感器210关于从触摸屏100发射的光的有效视场和感测系统200关于触摸屏100的定位来定义该布局。
为了从每个传感器210中提取相关矩阵部分，可针对全部传感器210产生全屏校准算子，该算子是矩阵大小与全屏矩阵大小相同的矩阵算子。校准算子可由每个都包括每个传感器210的传感器校准矩阵的较小传感器算子矩阵构造，其中根据传感器在布局中的定位而在全屏校准矩阵中布置传感器校准矩阵。每个传感器210的传感器校准矩阵都可包括根据传感器的有效视场重叠的传感器210区而定位在矩阵中的零值，以及根据传感器的有效视场未重叠的传感器210区而定位在矩阵中的非零值。
可通过根据传感器210的布局组合传感器矩阵来执行一体化，由此创建作为全屏校准算子的组合矩阵，并使全屏校准矩阵中的每个值与该组合矩阵中的每个相应值相乘，产生另一混合矩阵，在该另一混合矩阵中有关传感器重叠区的所有像素为空(null)。然后提取混合矩阵的非零值并将其按照对应该值在混合矩阵中定位的顺序进行布置，创建一体化全屏矩阵，该矩阵代表组合为单屏幕读数的全部传感器的强度值的一体化读数。
现在参考图3，示意性示出了关于每个传感器210的有效视场30布置的传感器210a、210b、210c等的布局。在该布局中每个传感器210可与相邻传感器210重叠。例如，如图3中所示，传感器210a具有有效视场30a并位于该布局的边角，并因此分别邻近于有效视场30b和30c的传感器210b和210c，其中与传感器210b的有效视场的重叠区为40b，与传感器210c的有效视场的重叠区为40a。在该实施例中，传感器210大小相同，并具有正方形或矩形视场。取决于在布局中的定位，在该布局中其它传感器210可与四个相邻的传感器210重叠。
现在参考图4A和图4B，其示意性地示出了关于传感器210的视场30以及关于传感器210的重叠区40而针对传感器210计算的传感器校准矩阵。图4A代表具有像素化传感器矩阵31输出的各近矩形视场30的传感器210，其中矩阵31输出代表在每个像素中测量的光强度。传感器210根据其关于布局中其它传感器210的位置而与四个相邻传感器210重叠，并具有宽度为一个像素的重叠区40。这可转化为传感器校准矩阵32，其中所有框像素(framing pixel)为空并由零值表示，而其它像素由非零值整数表示(例如“1”)。传感器校准矩阵32具有与传感器210的输出矩阵相同的尺寸。这确保通过操作传感器矩阵31和传感器校准矩阵32的标积，全部重叠像素归零。
分别地，如图4B中所示，在仅仅传感器210的视场30的一些边界重叠的情况下，传感器校准矩阵32具有相应的归零像素。
现在参考图4C，其示意性地示出了根据本发明的一些实施方式的全屏校准算子33的构造，以及产生代表非重叠感测区的一体化全屏矩阵36的计算处理，其中非重叠感测区代表整个屏幕。
如图4C中图解，根据每个传感器都输出3×3传感器矩阵32的实施方式，通过根据传感器210在布局中的位置来组合传感器矩阵从而构造全屏校准算子33。传感器210的输出矩阵可按照相同方式组合为组合矩阵34，并(使用标积乘法)与全屏校准算子相乘。该操作可产生混合矩阵35，其中所有重叠区都由零值代表，并且其它非重叠区由可相当于测量的和/或计算的光强度的非零值代表。一旦去除零值，可随后从混合矩阵35提取非零值，并关于其在混合矩阵35中的位置来定位。这可产生代表全屏读数36的简化矩阵。
现在参考图5A，其是示意性地示出了根据本发明的一些实施方式、构造全屏校准矩阵的处理的流程图。该处理可以包括：
接收可用传感器的有效视场41；
取决于触摸屏的尺寸和传感器与触摸屏之间的几何关系，计算对于最优地感测整个触摸屏所需的传感器数量“n”及其布置(构造其布局)42，其中该步骤可产生传感器中每一个的重叠区输出；
根据计算出的布置来定位传感器43；
开始校准构造44，其定义全屏校准矩阵；
接收传感器“i”的传感器矩阵大小(m×n)45；
针对每个传感器“i”关于布局中传感器的位置识别重叠传感器矩阵区(发生重叠的传感器矩阵中的像素位置)46(例如，通过获知传感器“i”关于其它相邻传感器的位置)；
根据识别的重叠区针对每个传感器“i”创建传感器校准矩阵，其中传感器校准矩阵的大小相当于传感器矩阵的大小m×n 47；
步骤45至47可针对全部“n”个传感器的每个传感器重复48；
以及
根据传感器的布局组合全部传感器校准矩阵，由此构造全屏校准矩阵49，该全屏校准矩阵可随后被存储从而在使用触摸屏100时用于每个感测会话。
可针对传感器中每一个的输出执行额外校准，从而允许基本上优化强度读数，其中每个传感器矩阵都可对于像素表示所代表的强度表示进行校准。这对于提高传感器输出的分辨率可能是有利的，尤其在使用低质量(且便宜)传感器210的情况下。
现在参考图5B，其是示意性地示出了根据本发明的一些实施方式、针对布局中预定的“I”个传感器中每个传感器“i”来产生强度校准矩阵的处理的流程图。
该处理可包括：
开始像素的强度校准51；
选择新传感器52；
针对传感器矩阵中的每个像素“mn”-接收传感器“i”的像素mn的测量强度值53；
关于预定阈值检查强度的值54；
如果像素的测量强度值大大超过阈值(例如，远大于或远小于-预定的关系(例如，阈值和测量值之间的差异的绝对值不超过预定的delta值))，-存储超过值及其相应定位(mn值)I传感器矩阵和传感器(i)55；以及
这可针对每个传感器的每个传感器(步骤56-57)的每个像素执行，其中一旦存储传感器“i”的全部超过值，那么分析该存储值从而计算和产生传感器“i”的像素强度校准算子58(例如，矩阵具有针对每个传感器i的每个超过像素的校准函数)，59-60。
现在参考图5C，其是示意性地示出了根据本发明的一些实施方式、读取来自从触摸屏实时地进行光学读取的多个传感器的像素化图像数据的方法的流程图。该读取方法可包括：
在定时t0从全部传感器接收传感器矩阵61；
根据每个传感器的强度校准算子来校准每个传感器的每个像素的强度62；
通过根据传感器的物理布置和定位而布置经校准的传感器像素矩阵，构造组合传感器矩阵63；
将组合传感器矩阵中位置“ij”中每个分量的值与校准算子矩阵的等效分量(equivalent component)ij相乘64-其可产生混合矩阵；以及
使产生的混合矩阵简化为一体化全屏矩阵65，例如通过提取混合矩阵的非零值并关于其在混合矩阵中的相对位置放置该非零值。
像素强度校准算子可包括以下功能，允许对超过预定阈值的全部像素求平均、能够计算用于校准每个超过像素的函数，同时存储每个超过像素的矩阵定位从而产生强度校准算子，在操作传感器像素化图像数据时能够校准全部传感器的像素。
现在参考图6，其示意性地示出了根据本发明的一些实施方式以交替组布置的、连接到组定时单元600’的传感器210的布局，其中该组定时单元被设计用于提高传感器210的感测分辨率。根据这些实施方式，全部传感器210都可具有相同的低感测频率“f”，意味着传感器210每预定时间单位“t”获取帧图像。传感器210可成组(例如，行)布置，其中每个组的传感器210都可同步从而在预定时刻开始感测。每个组都可被设定为在不同时刻开始感测，以便实现对传感器210低频的补偿，并提高整个感测系统200的感测频率。
例如，如图6中所示，组I和II以传感器210的两个交替阵列来布置。输入和显示系统1000可以可操作地连接到组定时单元600’(例如，嵌入在控制单元600中)，能够以下述方式实现对所有传感器210的感测定时的控制：传感器210的至少两个交替阵列中的每一个在不同的预定定时：t1和t2开始感测，其中t1≠t2，由此允许在补偿频移(与|t1-t2|成比例)中采样，从而使感测系统200的整体感测频率加倍。
现在参考图7，其示意性地示出了根据本发明的一些实施方式、能够感测预定波段光的输入和显示系统1000。根据这些实施方式，发光系统100能够以预定波段(例如，近红外NIR)发光，其中传感器210适于感测该波段的光。
现在参考图8，其示意性地示出了根据本发明的一些实施方式的输入和显示系统1000。根据这些实施方式，除发光系统110之外，系统1000还可以包括附加的外部发光器件140，其中发光器件140能够按照以下方式在触摸屏100的触摸涂层122外部、在触摸屏100上方发射并引导光：该方式允许传感器122在距触摸屏100的一定距离内测量在触摸屏120上方发生的对光发射的干涉的测量，从而使用户能够使用悬停技术来输入图画。该干涉可由系统100通过分析干涉图案来识别，从而识别直接触摸是否施加到涂层122，从而执行该干涉或悬停技术。
系统1000可以使用户能够使用各种类型的手段(例如手指、指示笔等)，通过在由另外发光器件140发射光的区域周围悬停来绘图。
从附加的发光器件140发射的光可具有与发光系统110的波段“λ2”不同的波段“λ1”，从而有助于识别干涉技术。
现在参考图9，其示意性地示出了根据本发明的其他实施方式的输入和显示系统1000。根据这些实施方式，发光系统110可集成在感测系统200内，其中光源111盘绕在传感器210之间，如图9中所示。这样，光可在面对用户并垂直于触摸屏100的平面的方向上直接向上发射。
现在参考图10，其示意性地示出了根据本发明的其他实施方式的输入和显示系统1000。根据这些实施方式，光源111被布置为背光系统(例如，其中每个光源111都是LED)。背光技术能够根据触摸屏100的大小和尺寸而使现成照明平台适应。该布置还有助于美观地隐藏发光系统110和光源111。另外，传感器210可附至触摸屏100的其它侧面，实现从各种角度和位置进行感测。
现在参考图11，其示意性地示出了根据本发明的一些实施方式的联合体2000，其中该联合体包括彼此链接从而构造多个触摸屏100联合体2000的多个输入和显示系统1000。
联合体2000可包括多个输入和显示系统1000和多个链接机制99，该链接机制能够将一体化输入和显示系统1000彼此物理连接，并从而识别每个一体化输入和显示系统1000关于如此连接的至少一个其它一体化输入和显示系统1000中每一个的位置。每个链接机制99可进一步能够传输表明其连接的每两个相邻系统1000的相对位置的位置数据，以供在音频和/或视频处理和控制单元91和92中分别进一步处理和操作，从而允许根据每个屏幕在联合体2000中的相对位置来操作显示器，允许一个或多个应用在联合体2000中显示内容和/或媒体演示，仿佛是单屏幕，和/或允许根据涉及系统1000的位置数据的预定规则来创造有关系统1000的位置和数量的效果。
联合体2000可进一步可操作地关联另外的应用、终端和/或人性化接口装置93或计算机化系统94，以便进一步操作和处理。
另外，如图11中所示，多个扬声器97可安装在每两个相邻系统1000之间和/或安装在系统1000处，实现从远程应用接收音频信号并因此产生音频声音。根据本发明的一些实施方式，操作扬声器97并提供扬声器97关于系统1000位置的应用可实现根据在任何给定时刻操作和显示的系统1000操作扬声器97，由此实现在联合体2000中系统1000的屏幕100之间随视觉显示移动而移动声音播放位置的各种视听效果。
现在参考图12，其是示意性地示出了根据本发明的一些实施方式、在位于与联合体2000中触摸屏100位置有关的预定位置的多个扬声器77之间分配音频信号的系统的框图。
为了实现声音播放通过安装在联合体2000中各位置的各种扬声器97的分配，提供用于将音频信号分配到多个频道77的方法和系统，每个频道77都可通向位于不同触摸屏100侧、在联合体2000处的不同扬声器97。
根据图12中示出的实施方式，用于分配音频信号的系统可以包括：
接口98，能够操作全部应用；
应用库71，可操作地关联于接口98；
应用位置跟踪器72，可操作地关联于接口98，能够跟踪应用的位置(意味着哪个屏幕应播放应用的图像)72；
应用隔离驱动器73，能够隔离每个应用；
音频频道动态路由器74，其可操作地关联于接口98，能够将音频信号应传输到的扬声器97关联到被跟踪的识别出的应用位置；
声卡驱动链接器75和包含多个声道77的声卡76，其能够将音频信号链接到扬声器，使每个扬声器与声道77关联，并根据音频信号对应用的关联来传输音频信号，该应用程序最终使信号与声道关联并使信号从其传输到关联的扬声器。
在上面描述中，实施方式是本发明的实施例或实现方式。出现的各种“一个实施方式”、“实施方式”或“一些实施方式”并不必全部指代相同实施方式。
尽管在单个实施方式的背景下描述了本发明的各种特征，但该特征可单独地或以任何适当的组合来提供。因此，尽管此处为了清楚而在单独的实施方式的背景下描述本发明，但本发明也可在单个实施方式中实施。
根据本发明的其它实施方式(未示出)，一体化输入和显示系统可以包括：
至少一个触摸屏，能够发射和引导任何种类的电磁辐射(诸如，射频(RF)辐射)，从而使用户能够通过物理干涉从该触摸屏发射的辐射来输入图画，并通过该触摸屏显示所述干涉；
感测系统，包括适于感测在触摸屏处发射的特定电磁辐射(例如，适合感测在RF范围中的辐射)的多个传感器，其中根据按照以下方式关于触摸屏定位的预定布局来布置传感器，该方式允许传感器感测用户对来自触摸屏的发射辐射的干涉，并将感测转化为帧，其中每个帧都包括感测光的像素化图像数据；以及
屏幕一体化模块，能够将传感器在给定时刻感测的帧一体化为包含一体化全屏像素化图像数据的单屏幕读数。
在说明书中参考“一些实施方式”、“实施方式”、“一个实施方式”或“其它实施方式”意思是结合该实施方式描述的特殊特征、结构或特性包含在本发明的至少一些实施方式中，但不必包含在本发明的全部实施方式中。
应当理解，本文采用的措辞和术语不构成限制，并仅用来描述。
本发明的教导的原理及使用可参考所附描述、附图和实施例来更好地理解。
应当理解，本文阐述的细节并不解释为对本发明的应用的限制。
此外，应当理解，本发明可以按照各种方式执行或实现，并且本发明可在上面描述中概述的实施方式之外的实施方式中实施。
应当理解，术语“包括”、“包含”、“构成”及其各种语法变体并不排除添加一个或更多部件、特征、步骤或整体或其组，并且术语解释为指定的部件、特征、步骤或整体。
如果说明书或权利要求涉及“附加”元件，其并不排除存在多于一个的该附加元件。
应当理解，在权利要求或说明书涉及“一(a)”或“一(an)”元件之处，这样的指代并不解释为仅具有该元件中的一个。
应当理解，在说明书陈述“可(may)”、“可以(might)”、“能(can)”或“能够(could)”包括部件、特征、结构或特性之处，并不需要包括该特别的部件、特征、结构或特性。
在可应用之处，尽管状态图、流程图或该两者可用来描述实施方式，但本发明不限于这些图或相应描述。例如，流并不需要移动通过每个所示的方框或状态，或完全按照与所示和描述相同的顺序来进行。
可通过人工、自动或其组合执行或完成选定的步骤或任务来实现本发明的方法。
术语“方法”可指代实现给定任务的方式、工具、技术和进程，包括但不限于本发明所属领域的从业者已知的方式、工具、技术和进程，或由该已知方式、工具、技术或进程发展而来的方式、工具、技术和进程。
在权利要求和说明书中呈现的描述、例子、方法和材料不解释为限制而仅用于说明。
在此使用的科技术语的含义可通常由本发明所属领域的技术人员理解，除非另外定义。
本发明可在具有等效或相似于本文描述的方法和材料的测试或实践中实施。
在本说明书中参考或提到的任何公开(包括专利、专利申请和论文)都以其全部内容结合在本说明书中，达到似乎每个单独公开都具体且单独表示从而包括在此的相同程度。另外，在本发明的一些实施方式的描述中任何参考的引用和识别并不解释为承认这样的参考作为本发明的现有技术是有效的。
尽管已关于有限数量的实施方式描述了本发明，但这些实施方式并不解释为对于本发明范围的限制，而是一些优选实施方式的范例。其它可能的变化、修改和应用也在本发明的范围内。因此，本发明的范围并不受所描述的内容的限制，而是由所附权利要求及其法律等效来限定。
权利要求书(按照条约第19条的修改)
1.一种系统，包括：
前表面，具有前侧和后侧，并且进一步由透明或半透明材料制成；
至少一个光源，位于所述后侧；
光学传感器阵列，位于所述后侧并面向所述前表面，其中，所述传感器被放置使得所述传感器的至少一些具有重叠视场，从而位于所述前侧并且(i)在距离所述前表面的特定范围内的或(ii)压向所述前表面的一个或多个物体的多个点对于两个以上传感器可见；
数据处理单元，操作地关联于全部所述传感器，
其中，所述传感器中的每一个被配置为感测光学图像，所述光学图像包括由所述一个或多个物体对于所述光造成的干涉；
其中，所述数据处理单元被配置为：
(i)从全部所述传感器接收所述光学图像；以及
(ii)将全部光学图像一体化为以下各项中的至少一个：
a.通过消除由所述传感器的重叠视场导致的重叠像素，压至所述前表面上的所述一个或多个物体的单个一体化图像，该图像与全部所述传感器的累积视场关联；
b.基于所述传感器的所述重叠视场，在距离所述前表面的特定范围内的所述一个或多个物体的一体化三维图像。
2.根据权利要求1所述的系统，进一步包括：分析模块，被配置为接收所述单个一体化图像并识别由用户在所述前表面上做出的触摸点。
3.根据权利要求2所述的系统，其中，所述分析模块进一步被配置为识别表明所述用户在所述前表面上绘制的图画的触摸图案。
4.根据权利要求2所述的系统，其中，所述分析模块进一步被配置为在所述物体按压至所述前表面上所施加的压力的相对水平之间进行区分。
5.根据权利要求1所述的系统，进一步包括：控制单元，被配置为从所述分析单元接收数据，并基于接收到的所述数据控制所述光源的发光水平以及所述传感器阵列。
6.根据权利要求1所述的系统，其中在不同时刻对所述传感器的具有重叠视场的两个以上子集进行采样，从而获得对所述前侧处所述一个或多个物体的较高采样率。
7.根据权利要求1所述的系统，其中，所述前表面是显示器。
8.根据权利要求7所述的系统，其中，所述系统在液晶显示器(LCD)内实现。
9.根据权利要求1所述的系统，其中，所述光学传感器被配置使得所述光学图像像素化。
10.根据权利要求9所述的系统，其中，所述数据处理单元被配置为使得在一体化所述图像之前将所述光学图像二进制化。
11.一种方法，在包括：(i)前表面，具有前侧和后侧，并且进一步由透明或半透明材料制成；(ii)至少一个光源，位于所述后侧；以及(iii)位于所述后侧并面向所述前表面的光学传感器阵列的系统中，其中，所述传感器被放置使得所述传感器的至少一些具有重叠视场，从而位于所述前侧并且(a)在距离所述前表面的特定范围内的或(b)压向所述前表面的一个或多个物体的多个点对于两个以上传感器可见，所述方法包括：
对于每个传感器，感测光学图像，所述光学图像包括由所述一个或多个物体对于所述光造成的干涉；
从全部所述传感器接收所述光学图像；
将全部光学图像一体化为以下各项中的至少一个：(i)通过消除由所述传感器的重叠视场导致的重叠像素，压至所述前表面上的所述一个或多个物体的单个一体化图像，该图像与全部所述传感器的累积视场关联；以及(ii)基于所述传感器的所述重叠视场，在距离所述前表面的特定范围内的所述一个或多个物体的一体化三位图像。
12.根据权利要求11所述的方法，进一步包括：接收所述单个一体化图像并识别由用户在所述前表面上做出的触摸点。
13.根据权利要求12所述的方法，进一步包括识别表明所述用户在所述前表面上绘制的图画的触摸图案。
14.根据权利要求11所述的方法，进一步包括：在所述物体按压至所述前表面上所施加的压力的相对水平之间进行区分。
15.根据权利要求11所述的方法，进一步包括：基于从所述单个一体化图像得到的数据控制所述光源的发光水平。
16.根据权利要求11所述的方法，进一步包括：在不同时刻对所述传感器的具有重叠视场的两个以上子集进行采样，从而获得对所述前侧处所述一个或多个物体的较高采样率。
17.根据权利要求11所述的方法，进一步包括：在所述前表面上显示数据。
18.根据权利要求17所述的方法，其中，所述方法在液晶显示器(LCD)内实现。
19.根据权利要求11所述的系统，其中，所述光学传感器的所述感测产生像素化图像。
20.根据权利要求19所述的系统，进一步包括在所述一体化之前将所述像素化图像二进制化。

Claims (47)

1.一种一体化输入和显示系统，包括：
至少一个触摸屏，能够发射和引导光从而使用户能够通过物理干涉从所述触摸屏发射的光来输入图画并通过所述触摸屏显示所述干涉；
感测系统，包括根据以下述方式关于所述触摸屏定位的预定布局而布置的多个光学传感器，所述方式允许所述传感器感测由所述用户对来自所述触摸屏的光做出的干涉，并将所述感测转化为帧，所述帧的每一个都包含感测到的所述光的像素化图像数据；以及
屏幕一体化模块，能够将所述传感器在给定时刻感测到的帧一体化为包含一体化全屏像素化图像数据的单屏幕读数。
2.根据权利要求1所述的一体化输入和显示系统，进一步包括：分析模块，能够从所述屏幕一体化模块接收所述一体化全屏像素化图像数据，并分析所述一体化全屏像素化图像数据，从而识别所述用户在所述触摸屏上做出的触摸点。
3.根据权利要求2所述的一体化输入和显示系统，其中，所述分析模块进一步能够识别表明所述用户在所述触摸屏上绘制的图画的触摸图案。
4.根据权利要求2所述的一体化输入和显示系统，其中，所述分析模块进一步能够识别所述用户对于输入所述图画所使用的干涉类型，其中所述干涉类型是以下各项中的至少一项：通过单个触摸手段触摸；通过多个触摸手段触摸。
5.根据权利要求4所述的一体化输入和显示系统，其中，所述干涉手段包括以下各项中的至少一项：用户的手指、指示笔、纵向物体。
6.根据权利要求5所述的一体化输入和显示系统，其中，所述指示笔包括反射部，所述反射部能够在所述用户将所述反射部指向所述触摸屏的同时使用所述指示笔在所述触摸屏上绘图时，对朝着所述部发射的光进行反射。
7.根据权利要求1所述的一体化输入和显示系统，进一步包括：控制单元，能够从分析单元接收数据并根据接收的所述数据控制发光系统和所述感测系统。
8.根据权利要求1所述的一体化输入和显示系统，其中，所述触摸屏包括：
发光系统，包括至少一个光源；
光导层，能够漫射从所述发光系统发射的光；以及
可触摸涂层，附至所述光导层的外表面，其中，所述涂层使所述光导层漫射的光能够通过所述可触摸涂层。
9.根据权利要求8所述的一体化输入和显示系统，其中，所述触摸屏进一步包括：反射器，附至所述光漫射层的至少一个侧表面，所述反射器能够将来自所述发光系统的光反射回所述漫射层，由此减少发射光的损失。
10.根据权利要求8所述的一体化输入和显示系统，其中，所述发光系统进一步包括：光学准直仪，能够将光引导至所述光导层。
11.根据权利要求10所述的一体化输入和显示系统，其中，所述准直仪是圆锥形结构，其中所述结构的内表面涂覆有反光涂层，从而能够将从所述至少一个光源发射的光引导至所述光导层。
12.根据权利要求8所述的一体化输入和显示系统，其中，所述至少一个光源包括发光二极管(LED)光源。
13.根据权利要求8所述的一体化输入和显示系统，其中，所述光导层是光漫射体，能够按照以下方式遍及所述触摸屏分散光，所述方式使所述光的至少一些能够从所述光导层基本均匀地分散到所述触摸屏的外侧，以便允许光发射到触摸层的表面，从而允许所述用户使用绘图手段来干涉从所述触摸屏发射的光。
14.根据权利要求8所述的一体化输入和显示系统，其中，所述至少一个光源能够发射预定波段的光，其中所述传感器适于感测该相同波段的光。
15.根据权利要求14所述的一体化输入和显示系统，其中，所述光源中的至少一些集成在所述感测系统中，其中，集成的所述光源置于所述传感器之间，从而允许直接向所述触摸屏发射光。
16.根据权利要求8所述的一体化输入和显示系统，其中，所述至少一个光源位于所述光导层的侧面，并且所述传感器沿基本垂直于所述光导层的所述至少一个光源所在的侧面的平面而置于所述触摸屏下面。
17.根据权利要求8所述的一体化输入和显示系统，其中，所述至少一个光源位于所述光导层的侧面，所述传感器在所述光导层的至少一个其它侧面。
18.根据权利要求8所述的一体化输入和显示系统，其中，所述触摸屏进一步包括：LCD层，用于能够显示所述用户输入的所述图画，其中所述LCD可操作地连接到控制单元，所述控制单元能够通过从分析单元检索数据并呈现由此识别的所述图画图案来控制所述显示。
19.根据权利要求1所述的一体化输入和显示系统，其中，所述传感器是低分辨率数码相机。
20.根据权利要求1所述的一体化输入和显示系统，进一步包括：通信模块，能够与至少一个终端通信，其中所述通信模块能够向所述终端传输所述一体化全屏像素化图像数据和经分析的数据，以便能够使所述终端进一步处理所述数据并根据从所述一体化输入系统传输的所述数据来操作至少一个应用。
21.根据权利要求20所述的一体化输入和显示系统，其中，所述至少一个终端是以下各项中的至少一项：游戏系统；计算机系统；PDA。
22.根据权利要求1所述的一体化输入和显示系统，其中，每个所述传感器输出的每个所述帧的每个所述像素化数据都包括矩阵，其中所述矩阵具有预定大小，其中每个像素都由所述矩阵中的强度值代表，其中每个值都根据已由所述每个传感器感测到的所述强度所处的位置而定位在所述矩阵中，其中所述屏幕一体化模块通过提取每个矩阵的关联矩阵部分并将所述矩阵部分组合为单个的一体化全屏矩阵而能够使全部传感器的所述输出矩阵一体化，其中根据所述传感器的定位布局执行每个矩阵部分的所述提取，
以及，其中根据每个传感器关于从所述触摸屏发射的光的有效视场和所述感测系统关于所述触摸屏的定位来定义所述布局。
23.根据权利要求22所述的一体化输入和显示系统，其中，所述屏幕一体化模块进一步包括：校准模块，能够产生全屏校准算子，所述全屏校准算子是矩阵大小与所述全屏矩阵相同的矩阵算子，其中所述算子由较小算子矩阵构造，每个较小算子矩阵都包括每个传感器的传感器校准矩阵，其中所述传感器校准矩阵根据所述传感器在所述布局中的所述定位而布置在所述全屏校准矩阵中，以及
其中，所述校准矩阵包括根据所述传感器的有效视场重叠的传感器区域而位于矩阵中的零值。
24.根据权利要求23所述的一体化输入和显示系统，其中，所述屏幕一体化模块能够接收由全部传感器输出的传感器矩阵，根据传感器布局组合所述传感器矩阵，由此创建组合矩阵，并使所述校准矩阵中每个值与所述组合矩阵的每个相应值相乘，产生另一混合矩阵，在所述另一混合矩阵中与所述传感器的重叠区域相关的全部所述像素为空，以及
其中，提取所述混合矩阵的全部非零值并按照对应于所述全部非零值在所述混合矩阵中的定位来布置所述全部非零值，创建所述全屏矩阵，所述全屏矩阵代表组合为单屏幕读数的全部传感器的强度值的一体化读数。
25.根据权利要求1所述的一体化输入和显示系统，其中，全部传感器都具有相同感测频率，其中所述传感器的布局按照传感器的至少两个交替阵列执行，其中所述输入系统进一步包括组定时单元，所述组定时单元能够以传感器的至少两个交替阵列中每一个在预定的不同定时开始感测的方式控制全部传感器的所述感测定时，由此允许在补偿频移中采样，由此提高触摸感测系统的整体感测频率。
26.根据权利要求1所述的一体化输入和显示系统，进一步包括：至少一个附加的发光系统，用于在所述触摸屏的外部按照以下方式在所述触摸屏上方发射并引导光，该方式允许所述传感器测量在所述触摸屏上方在距所述触摸屏预定的距离内发生的对所述光发射的干涉，从而使所述用户能够使用悬停输入技术来输入图画。
27.根据权利要求26所述的一体化输入和显示系统，其中，在所述触摸屏上方发射的所述光具有预定波长，其中所述传感器的至少一些能够感测所述波长并感测光散射中的干涉图案。
28.根据权利要求1所述的一体化输入和显示系统，进一步包括：至少一个附加光源，用于使所述传感器能够感测发生在所述触摸屏上方在距所述触摸屏的预定距离内的对于所述光发射的干涉，由此使所述用户能够使用悬停输入技术来输入图画，其中所述附加光源位于所述触摸屏下方。
29.根据权利要求1所述的一体化输入和显示系统，其中，所述干涉包括绘图，其中所述绘图包括以下各项中的至少一项：书写、画草图、擦除。
30.根据权利要求1所述的一体化输入和显示系统，进一步包括：至少一个链接机制，能够将所述一体化输入和显示系统物理连接到至少一个其它的一体化输入和显示系统、识别所述一体化输入和显示系统关于由此连接的至少一个其它的一体化输入和显示系统的每一个的位置、以及传输位置数据用于进一步处理和操作，其中，所述处理和操作能够根据传输的所述位置数据、根据预定规则在多个链接的一体化输入和显示系统上将媒体演示呈现为单屏幕演示，所述预定规则取决于链接的一体化输入和显示系统的数量以及其链接的配置。
31.根据权利要求30所述的一体化输入和显示系统，其中，多个链接机制能够构造链接系统的联合体。
32.一种分析来自多个传感器的传感器数据的计算机实现方法，所述多个传感器能够感测来自触摸屏的光强度和光学干涉，其中所述触摸屏能够发射光并显示用户通过物理干涉所述发射光而输入的输入图画，所述方法包括：
提供所述传感器的布局，其中所述布局包括每个传感器关于其它所述传感器以及关于所述触摸屏的定位；
输入至少一幅图画，其中所述用户使用至少一个干涉手段和至少一种输入技术来输入所述图画；
从所述传感器的每个接收传感器数据，其中每个传感器都提供单独的像素化图像数据，所述像素化图像数据是表明由每个传感器关于所述传感器的位置而感测的对于所述发射光的各干涉的帧；以及
使从全部传感器接收的全部帧的所述像素化图像数据一体化为包含一体化全屏像素化图像数据的单屏幕读数。
33.根据权利要求32所述的方法，进一步包括：
从所述屏幕一体化模块接收所述一体化全屏像素化图像数据；以及
分析所述一体化全屏像素化图像数据，从而识别所述用户在所述触摸屏上做出的触摸点。
34.根据权利要求33所述的方法，其中，所述分析进一步能够识别表明所述用户在所述触摸屏上做出的绘图的触摸图案。
35.根据权利要求33所述的方法，其中，所述分析进一步能够识别所述用户输入所述图画所使用的干涉类型，其中所述干涉类型是以下各项中的至少一项：通过单个触摸手段触摸；通过多个触摸手段触摸。
36.根据权利要求32所述的方法，其中，每个所述传感器所输出的每个所述帧的每个所述像素化数据都包括矩阵，其中所述矩阵具有预定大小，其中每个像素都由所述矩阵中的强度值代表，其中每个值都根据已由所述每个传感器感测到的所述强度所处的位置而定位在所述矩阵中，
其中，所述一体化包括通过提取每个矩阵的关联矩阵部分并将所述矩阵部分组合为单个的一体化全屏矩阵来一体化全部传感器的输出矩阵，其中根据所述传感器的定位布局执行每个矩阵部分的所述提取，
以及，其中根据每个传感器关于从所述触摸屏发射的光的有效视场和所述感测系统关于所述触摸屏的定位来定义所述布局。
37.根据权利要求36所述的方法，进一步包括：针对全部所述传感器产生全屏校准算子，所述全屏校准算子是矩阵大小与所述全屏矩阵相同的矩阵算子，其中所述算子由较小传感器算子矩阵构造，每个较小传感器算子矩阵都包括每个传感器的传感器校准矩阵，其中所述传感器校准矩阵根据所述传感器在所述布局中的定位而布置在所述全屏校准矩阵中，
其中，所述校准矩阵包括根据所述传感器的有效视场重叠的传感器区域而位于矩阵中的零值，以及根据所述传感器的有效视场未重叠的传感器区域而位于矩阵中的非零值，
其中，通过根据传感器布局来组合传感器矩阵从而执行所述一体化，由此创建组合矩阵，并使所述校准矩阵中每个值与所述组合矩阵的每个相应值相乘，产生另一混合矩阵，在所述另一混合矩阵中与所述传感器的重叠区域相关的全部所述像素为空，以及
其中，提取所述混合矩阵的全部非零值并按照对应于所述全部非零值在所述混合矩阵中的定位来布置所述全部非零值，创建所述一体化全屏矩阵，所述一体化全屏矩阵代表组合为单屏幕读数的全部传感器的强度值的一体化读数。
38.根据权利要求32所述的方法，其中，所述传感器的布局的提供能够按照传感器的至少两个交替阵列来布置所述传感器，其中全部传感器都具有相同感测频率，其中所述输入系统进一步包括组定时单元，所述组定时单元能够以传感器的至少两个交替阵列中每一个在预定的不同定时开始感测的方式控制全部传感器的所述感测定时，由此允许在补偿频移中采样，由此提高所述触摸感测系统的整体感测频率。
39.根据权利要求32所述的方法，进一步包括：在所述触摸屏的外部按照以下方式在所述触摸屏上方发射并引导光，该方式允许所述传感器测量在所述触摸屏上方在距所述触摸屏预定的距离内发生的对所述光发射的干涉，从而使所述用户能够使用悬停输入技术来输入图画。
40.根据权利要求32所述的方法，进一步包括：通过在所述传感器上发射光并测量关于预定阈值的每个像素的强度读数，并对超过所述预定阈值的全部像素求平均来产生像素强度校准算子，计算用于校准每个超过像素的函数，同时存储每个超过像素的矩阵定位，从而产生强度校准算子，能够在操作所述传感器像素化图像数据时校准全部传感器的所述像素。
41.根据权利要求32所述的方法，进一步包括：使用用于所述显示的所述触摸屏显示所述用户做出的所输入的干涉。
42.一种联合体，包括：
多个一体化输入和显示系统，每个系统都包括：
至少一个触摸屏，能够发射和引导光从而使用户能够通过物理干涉从所述触摸屏发射的光来输入图画并通过所述触摸屏显示所述干涉；
感测系统，包括根据以下述方式关于所述触摸屏定位的预定布局而布置的多个光学传感器，所述方式允许所述传感器感测来自所述触摸屏的光，并将所述感测转化为帧，所述帧的每一个都包含感测到的所述光的像素化图像数据；以及
屏幕一体化模块，能够将所述传感器在给定时刻感测到的帧一体化为包含一体化全屏像素化图像数据的单屏幕读数，以及
多个链接机制，每个都能够连接两个相邻的输入和显示系统；
其中，所述链接机制中的每一个都能够识别其连接的一体化输入和显示系统的位置，其中每个链接机制都进一步能够传输表明其连接的每两个相邻系统的相对位置的位置数据以便进一步处理和操作，从而允许根据所述联合体中每个屏幕的所述相对位置操作所述显示，以及
其中所述联合体可操作地关联能够在所述联合体的不同屏幕中显示媒体内容的至少一个应用，其中在任何给定时刻的视觉显示的位置根据应用规则并根据所述联合体的配置而定义。
43.根据权利要求42所述的联合体，进一步包括：多个扬声器，能够接收音频数据并播放所述音频数据，其中所述扬声器安装于所述联合体的不同输入和显示系统。
44.根据权利要求43所述的联合体，其中，所述扬声器可操作地关联能够根据应用位置分配所述音频信号的分配系统。
45.一种一体化输入和显示系统，包括：
至少一个触摸屏，能够发射和引导光从而使用户能够通过物理干涉从所述触摸屏发射的光来输入图画并通过所述触摸屏显示所述干涉；以及
感测系统，包括根据以下述方式关于所述触摸屏定位的预定布局而布置的多个光学传感器，所述方式允许所述传感器感测所述用户对来自所述触摸屏的光的干涉，并将所述感测转化为帧，所述帧的每一个都包含感测到的所述光的像素化图像数据。
46.一种一体化输入和显示系统，包括：
至少一个触摸屏，能够发射和引导任何种类的电磁辐射从而使用户能够通过物理干涉从所述触摸屏发射的所述辐射来输入图画并通过所述触摸屏显示所述干涉；
感测系统，包括多个传感器，每个传感器适于感测在所述触摸屏处发射的特定的所述电磁辐射，其中所述传感器根据以下述方式关于所述触摸屏定位的预定布局而布置，所述方式允许所述传感器感测所述用户对来自所述触摸屏的所述辐射的干涉，并将所述感测转化为帧，所述帧的每一个都包含感测到的光的像素化图像数据；以及
屏幕一体化模块，能够将所述传感器在给定时刻感测到的帧一体化为包含一体化全屏像素化图像数据的单屏幕读数。
47.根据权利要求46所述的一体化输入和显示系统，其中所述触摸屏能够发射在RF范围内的电磁辐射，其中所述传感器适于感测对于所发射的辐射的范围合适的范围中的RF辐射。
CN201080024844.XA 2009-04-05 2010-04-01 一体化输入和显示系统及方法 Expired - Fee Related CN102460355B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16674709P 2009-04-05 2009-04-05
US61/166,747 2009-04-05
PCT/IB2010/051439 WO2010116308A1 (en) 2009-04-05 2010-04-01 Unified input and display system and method

Publications (2)

Publication Number Publication Date
CN102460355A true CN102460355A (zh) 2012-05-16
CN102460355B CN102460355B (zh) 2016-03-16

Family

ID=42935692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080024844.XA Expired - Fee Related CN102460355B (zh) 2009-04-05 2010-04-01 一体化输入和显示系统及方法

Country Status (5)

Country Link
US (1) US8884925B2 (zh)
EP (1) EP2417513A4 (zh)
CN (1) CN102460355B (zh)
IL (1) IL215563A (zh)
WO (1) WO2010116308A1 (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970362A (zh) * 2013-01-31 2014-08-06 广州三星通信技术研究有限公司 利用光学干涉或衍射原理的触摸装置及其触摸检测方法
CN105955591A (zh) * 2015-03-08 2016-09-21 苹果公司 用于显示和使用菜单的设备、方法和图形用户界面
CN106104565A (zh) * 2014-03-21 2016-11-09 索尼公司 具有基于显示器的指纹读取器的电子设备
CN108572728A (zh) * 2016-07-12 2018-09-25 索尼公司 信息处理设备、信息处理方法和程序
CN108874239A (zh) * 2018-05-24 2018-11-23 信利光电股份有限公司 一种触摸控制方法、触控显示模组、存储介质和移动终端
CN109035907A (zh) * 2018-07-26 2018-12-18 广州华夏职业学院 一种同屏教育设备
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
CN109656423A (zh) * 2018-09-07 2019-04-19 友达光电股份有限公司 感测显示装置及应用其的显示模块
US10268341B2 (en) 2015-03-08 2019-04-23 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10303354B2 (en) 2015-06-07 2019-05-28 Apple Inc. Devices and methods for navigating between user interfaces
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10402073B2 (en) 2015-03-08 2019-09-03 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10437333B2 (en) 2012-12-29 2019-10-08 Apple Inc. Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
US10455146B2 (en) 2015-06-07 2019-10-22 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10481690B2 (en) 2012-05-09 2019-11-19 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for media adjustment operations performed in a user interface
US10496260B2 (en) 2012-05-09 2019-12-03 Apple Inc. Device, method, and graphical user interface for pressure-based alteration of controls in a user interface
US10592041B2 (en) 2012-05-09 2020-03-17 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
US10599331B2 (en) 2015-03-19 2020-03-24 Apple Inc. Touch input cursor manipulation
US10613634B2 (en) 2015-03-08 2020-04-07 Apple Inc. Devices and methods for controlling media presentation
US10620781B2 (en) 2012-12-29 2020-04-14 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US10698598B2 (en) 2015-08-10 2020-06-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10775999B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10775994B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
US10782871B2 (en) 2012-05-09 2020-09-22 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US10884591B2 (en) 2012-05-09 2021-01-05 Apple Inc. Device, method, and graphical user interface for selecting object within a group of objects
US10908808B2 (en) 2012-05-09 2021-02-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
US10915243B2 (en) 2012-12-29 2021-02-09 Apple Inc. Device, method, and graphical user interface for adjusting content selection
US10969945B2 (en) 2012-05-09 2021-04-06 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
US11010027B2 (en) 2012-05-09 2021-05-18 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US11023116B2 (en) 2012-05-09 2021-06-01 Apple Inc. Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US11231831B2 (en) 2015-06-07 2022-01-25 Apple Inc. Devices and methods for content preview based on touch input intensity

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8884925B2 (en) 2009-04-05 2014-11-11 Radion Engineering Co. Ltd. Display system and method utilizing optical sensors
EP2494427A4 (en) * 2009-10-26 2015-09-02 Semiconductor Energy Lab DISPLAY DEVICE AND SEMICONDUCTOR ELEMENT
KR20110103140A (ko) * 2010-03-12 2011-09-20 삼성전자주식회사 선택적으로 광을 조사하는 멀티터치 및 근접한 오브젝트 센싱 장치
US9019240B2 (en) * 2011-09-29 2015-04-28 Qualcomm Mems Technologies, Inc. Optical touch device with pixilated light-turning features
US20150193085A1 (en) * 2012-07-09 2015-07-09 Radion Engineering Co. Ltd. Object tracking system and method
EP2693316A1 (en) * 2012-07-31 2014-02-05 BlackBerry Limited Electronic device and method of detecting touches on a touch-sensitive display
CN103065532A (zh) * 2013-01-11 2013-04-24 绍兴电力局 互动模拟显示系统
US9430097B2 (en) * 2013-09-30 2016-08-30 Synaptics Incorporated Non-orthogonal coding techniques for optical sensing
KR102284430B1 (ko) 2014-12-15 2021-08-04 삼성디스플레이 주식회사 표시 장치
KR20210145413A (ko) * 2020-05-25 2021-12-02 에스케이하이닉스 주식회사 메모리 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1550940A2 (en) * 2004-01-02 2005-07-06 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region.
EP1739528A1 (en) * 2000-07-05 2007-01-03 Smart Technologies Inc. Camera-based touch system
CN101019096A (zh) * 2004-05-05 2007-08-15 智能技术公司 用于相对于触摸面检测指示器的装置和方法
CN101278251A (zh) * 2005-05-02 2008-10-01 智能技术无限责任公司 交互式大规模触摸面系统
CN201181561Y (zh) * 2008-04-24 2009-01-14 黄振武 交互式玻璃影像系统
CN101375297A (zh) * 2006-01-13 2009-02-25 智能技术Ulc公司 交互式输入系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
JP3513419B2 (ja) * 1999-03-19 2004-03-31 キヤノン株式会社 座標入力装置及びその制御方法、コンピュータ可読メモリ
US7388693B2 (en) 2003-02-28 2008-06-17 Lexmark International, Inc. System and methods for multiple imaging element scanning and copying
KR20060135610A (ko) 2003-09-22 2006-12-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 광 가이드를 사용한 터치 스크린
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
KR20060062164A (ko) * 2004-12-03 2006-06-12 삼성전자주식회사 광센서를 내장하는 표시 장치
US8610675B2 (en) * 2007-03-14 2013-12-17 Power2B, Inc. Interactive devices
WO2007014293A1 (en) * 2005-07-25 2007-02-01 The Regents Of The University Of California Digital imaging system and method to produce mosaic images
JP2007156757A (ja) 2005-12-02 2007-06-21 Sharp Corp 表示装置
US20070221828A1 (en) 2006-03-23 2007-09-27 Saxena Kuldeep K Optical input device, and methods of detecting input to an electronic device
JP4891666B2 (ja) * 2006-06-22 2012-03-07 東芝モバイルディスプレイ株式会社 液晶表示装置
US8797233B2 (en) * 2008-08-20 2014-08-05 The Regents Of The University Of California Systems, methods, and devices for dynamic management of data streams updating displays
US20100060611A1 (en) * 2008-09-05 2010-03-11 Sony Ericsson Mobile Communication Ab Touch display with switchable infrared illumination for touch position determination and methods thereof
US8884925B2 (en) 2009-04-05 2014-11-11 Radion Engineering Co. Ltd. Display system and method utilizing optical sensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1739528A1 (en) * 2000-07-05 2007-01-03 Smart Technologies Inc. Camera-based touch system
EP1550940A2 (en) * 2004-01-02 2005-07-06 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region.
CN101019096A (zh) * 2004-05-05 2007-08-15 智能技术公司 用于相对于触摸面检测指示器的装置和方法
CN101278251A (zh) * 2005-05-02 2008-10-01 智能技术无限责任公司 交互式大规模触摸面系统
CN101375297A (zh) * 2006-01-13 2009-02-25 智能技术Ulc公司 交互式输入系统
CN201181561Y (zh) * 2008-04-24 2009-01-14 黄振武 交互式玻璃影像系统

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481690B2 (en) 2012-05-09 2019-11-19 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for media adjustment operations performed in a user interface
US11221675B2 (en) 2012-05-09 2022-01-11 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US10775994B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
US10782871B2 (en) 2012-05-09 2020-09-22 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US10592041B2 (en) 2012-05-09 2020-03-17 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
US11023116B2 (en) 2012-05-09 2021-06-01 Apple Inc. Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US11010027B2 (en) 2012-05-09 2021-05-18 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US10969945B2 (en) 2012-05-09 2021-04-06 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
US10942570B2 (en) 2012-05-09 2021-03-09 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US10496260B2 (en) 2012-05-09 2019-12-03 Apple Inc. Device, method, and graphical user interface for pressure-based alteration of controls in a user interface
US10775999B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10884591B2 (en) 2012-05-09 2021-01-05 Apple Inc. Device, method, and graphical user interface for selecting object within a group of objects
US10908808B2 (en) 2012-05-09 2021-02-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
US10620781B2 (en) 2012-12-29 2020-04-14 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US10437333B2 (en) 2012-12-29 2019-10-08 Apple Inc. Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
US10915243B2 (en) 2012-12-29 2021-02-09 Apple Inc. Device, method, and graphical user interface for adjusting content selection
CN103970362B (zh) * 2013-01-31 2016-12-28 广州三星通信技术研究有限公司 利用光学干涉或衍射原理的触摸装置及其触摸检测方法
CN103970362A (zh) * 2013-01-31 2014-08-06 广州三星通信技术研究有限公司 利用光学干涉或衍射原理的触摸装置及其触摸检测方法
CN106104565A (zh) * 2014-03-21 2016-11-09 索尼公司 具有基于显示器的指纹读取器的电子设备
CN106104565B (zh) * 2014-03-21 2019-09-24 索尼公司 电子设备和读取电子设备的用户的指纹的方法
US10268342B2 (en) 2015-03-08 2019-04-23 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10338772B2 (en) 2015-03-08 2019-07-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10402073B2 (en) 2015-03-08 2019-09-03 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10387029B2 (en) 2015-03-08 2019-08-20 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10268341B2 (en) 2015-03-08 2019-04-23 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10613634B2 (en) 2015-03-08 2020-04-07 Apple Inc. Devices and methods for controlling media presentation
CN105955591A (zh) * 2015-03-08 2016-09-21 苹果公司 用于显示和使用菜单的设备、方法和图形用户界面
US10860177B2 (en) 2015-03-08 2020-12-08 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
CN105955591B (zh) * 2015-03-08 2021-01-22 苹果公司 用于显示和使用菜单的设备、方法和图形用户界面
US10599331B2 (en) 2015-03-19 2020-03-24 Apple Inc. Touch input cursor manipulation
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10705718B2 (en) 2015-06-07 2020-07-07 Apple Inc. Devices and methods for navigating between user interfaces
US11231831B2 (en) 2015-06-07 2022-01-25 Apple Inc. Devices and methods for content preview based on touch input intensity
US10455146B2 (en) 2015-06-07 2019-10-22 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10303354B2 (en) 2015-06-07 2019-05-28 Apple Inc. Devices and methods for navigating between user interfaces
US11327648B2 (en) 2015-08-10 2022-05-10 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10884608B2 (en) 2015-08-10 2021-01-05 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10963158B2 (en) 2015-08-10 2021-03-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10754542B2 (en) 2015-08-10 2020-08-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10698598B2 (en) 2015-08-10 2020-06-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
CN108572728A (zh) * 2016-07-12 2018-09-25 索尼公司 信息处理设备、信息处理方法和程序
CN108874239A (zh) * 2018-05-24 2018-11-23 信利光电股份有限公司 一种触摸控制方法、触控显示模组、存储介质和移动终端
CN109035907A (zh) * 2018-07-26 2018-12-18 广州华夏职业学院 一种同屏教育设备
CN109035907B (zh) * 2018-07-26 2021-12-10 广州华夏职业学院 一种同屏教育设备
CN109656423B (zh) * 2018-09-07 2022-03-29 友达光电股份有限公司 感测显示装置及应用其的显示模块
CN109656423A (zh) * 2018-09-07 2019-04-19 友达光电股份有限公司 感测显示装置及应用其的显示模块

Also Published As

Publication number Publication date
US20120026134A1 (en) 2012-02-02
WO2010116308A1 (en) 2010-10-14
EP2417513A4 (en) 2013-10-30
EP2417513A1 (en) 2012-02-15
US8884925B2 (en) 2014-11-11
IL215563A (en) 2015-07-30
IL215563A0 (en) 2011-12-29
WO2010116308A4 (en) 2011-01-06
CN102460355B (zh) 2016-03-16

Similar Documents

Publication Publication Date Title
CN102460355A (zh) 一体化输入和显示系统及方法
US20110199338A1 (en) Touch screen apparatus and method for inputting user information on a screen through context awareness
US9213443B2 (en) Optical touch screen systems using reflected light
CN101743527B (zh) 基于受抑全内反射的触摸屏
US7705835B2 (en) Photonic touch screen apparatus and method of use
CN101642372B (zh) 生物识别装置
US6100538A (en) Optical digitizer and display means for providing display of indicated position
US9185277B2 (en) Panel camera, and optical touch screen and display apparatus employing the panel camera
CN105637456B (zh) 集成光收集光导与场序色彩显示器
CN102378957A (zh) 利用反射光的光学触摸屏幕系统
US20100315383A1 (en) Touch screen adopting an optical module system using linear infrared emitters
US20100238139A1 (en) Optical touch screen systems using wide light beams
US20060290684A1 (en) Coordinate detection system for a display monitor
CN105324741A (zh) 光学接近传感器
WO2010122865A1 (ja) 入力装置
US20130222353A1 (en) Prism illumination-optic
CN101911159A (zh) 带光传感器的显示装置
CN102016771A (zh) 具有受控照明的交互输入系统
CN106255944A (zh) 移动平台中的空中和表面多点触摸检测
US20200278768A1 (en) Electronic blackboard and control method thereof
US9035914B2 (en) Touch system including optical touch panel and touch pen, and method of controlling interference optical signal in touch system
WO2011052261A1 (ja) ポインティング装置
CN102236479A (zh) 用于光学手指导航的背光装置
KR20120073763A (ko) 표시장치
US20150227261A1 (en) Optical imaging system and imaging processing method for optical imaging system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160316

Termination date: 20190401

CF01 Termination of patent right due to non-payment of annual fee