CN106227392B - 触摸屏装置及其控制方法 - Google Patents

触摸屏装置及其控制方法 Download PDF

Info

Publication number
CN106227392B
CN106227392B CN201610387741.9A CN201610387741A CN106227392B CN 106227392 B CN106227392 B CN 106227392B CN 201610387741 A CN201610387741 A CN 201610387741A CN 106227392 B CN106227392 B CN 106227392B
Authority
CN
China
Prior art keywords
ultrasonic
reflected
signal
ultrasonic sensor
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610387741.9A
Other languages
English (en)
Other versions
CN106227392A (zh
Inventor
崔成焘
俞载宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150105136A external-priority patent/KR102167576B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106227392A publication Critical patent/CN106227392A/zh
Application granted granted Critical
Publication of CN106227392B publication Critical patent/CN106227392B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0436—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which generating transducers and detecting transducers are attached to a single acoustic waves transmission substrate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Abstract

提供了一种基于超声波的触摸屏装置。触摸屏装置包括显示器、超声波传感器和处理器。超声波传感器发射超声波信号。处理器响应于超声波信号从超声波传感器发射、从显示器上触摸的对象反射并且被超声波传感器接收，而基于所接收的超声波信号的飞行时间(ToF)来确定对象的触摸点。

Description

触摸屏装置及其控制方法
对相关申请的交叉引用
此申请要求2015年7月24日在韩国知识产权局提交的韩国专利申请No.10-2015-0105136号以及2015年6月2日在美国专利商标局提交的美国临时No.62/169,783的优先权，通过引用将其公开全部合并于此。
技术领域
与本公开一致的装置和方法涉及一种触摸屏装置及其控制方法，并且更特别地，涉及一种超声波触摸屏装置及其控制方法。
背景技术
触摸感测装置，诸如触摸屏、触摸板等，是附接到显示装置来向用户提供直观的输入方法的输入设备。触摸感测装置已经被广泛应用于各种类型的电子设备，诸如便携式电话、个人数字助理(PDA)、导航系统等。特别是，随着对智能手机的需求增加，使用触摸屏作为能够在有限的外形因素下提供各种输入方法的触摸感测装置的比率也已经增加。
根据感测触摸输入的方法，应用于便携式设备的触摸屏可以被实现为电阻型、电容型、红外(IR)型、表面声波(SAW)型等。
与电阻型、电容型等屏幕相比，在SAW类型触摸屏中，发射的超声波遇到障碍，因而波的大小被减小。因为SAW类型触摸屏具有高光穿透性和高精度和分辨率，所以SAW类型触摸屏已经被主要广泛应用于无人信息终端等。
然而，SAW类型触摸屏存在缺点。现有技术SAW类型触摸屏易受触摸屏表面上的污染物影响，并且超声波沿着触摸屏表面发射。因此，现有技术SAW类型触摸屏具有较低的软触摸识别性能。此外，现有技术SAW类型触摸屏需要多个声学反射器和额外的处理用于防止幻象触摸(ghost touch)。因此，现有技术SAW类型触摸屏的设计复杂，并且其成本增加。
因此，拥有以低成本进一步方便地提高触摸的识别性能的方法将是有利的。
发明内容
示范性实施例克服了以上缺点和上面没有描述的其它缺点。此外，不要求示范性实施例克服上述缺点，并且示范性实施例可能没有克服上述任何缺点。
一方面是提供一种可以通过使用超声波的飞行时间(ToF)来进一步精确地测量触摸点的触摸屏装置及其控制方法。
根据示范性实施例的一方面，提供了一种触摸屏装置，其包括：显示器；多个超声波传感器，被配置为发射超声波信号；以及处理器，被配置为，响应于超声波信号从多个超声波传感器发射、从显示器上触摸的对象反射并且被所述多个超声波传感器接收，来基于所接收的超声波信号的飞行时间(ToF)确定对象的触摸点。
响应于超声波信号分别从所述多个超声波传感器的第一和第二超声波传感器发射、从对象反射并且分别被第一和第二超声波传感器接收，处理器可以分别计算从第一和第二超声波传感器到对象的距离并且基于计算的距离来确定对象的触摸点。
响应于在显示器上多个对象被触摸并且超声波信号从第一超声波传感器发射、从第一对象折射并且被第二超声波传感器接收，处理器可以通过使用已经从第一超声波传感器发射、从第一对象折射并被第二超声波传感器接收的超声波信号的ToF来移除第一对象的幻象触摸，来确定第一对象的触摸点。
处理器可以从第一超声波传感器接收的超声波信号中分离从多个对象当中除第一对象之外的另一对象反射的超声波信号，来提取从第一对象反射的超声波信号，通过使用已经从第一超声波传感器发射、从第一对象折射并被第二超声波传感器接收的超声波信号的ToF来从第二超声波传感器接收的超声波信号中提取从第一对象反射的超声波信号，并且基于所提取的超声波信号来确定第一对象的触摸点。
触摸屏装置还可以包括存储器，该存储器被配置为存储超声波信号的多个反射波形，每个反射的波形对应于距离，其中处理器将所提取的超声波信号的波形与存储的反射波形比较来分别确定从第一和第二超声波传感器到第一对象的距离，并且基于所确定的距离来确定第一对象的触摸点。
响应于在显示器上多个对象被触摸，并且超声波信号从多个对象的第一对象反射，并且超声波信号从多个对象的第二对象反射，其中超声波信号彼此重叠然后被接收，处理器可以通过使用重叠的超声波信号的波形上分别从第一和第二对象反射的超声波信号彼此重叠的重叠区域的大小以及超声波信号之间的相位差中的至少一个，来确定分别从第一和第二对象反射的超声波信号的ToF。
触摸屏装置还可以包括存储器，该存储器被配置为存储取决于分别从第一和第二对象反射的超声波信号彼此重叠的超声波信号中重叠区域的大小和相位差中的至少一个的反射波形，其中处理器从与分别从第一和第二对象反射的超声波信号彼此重叠的重叠区域的大小和相位差中的至少一个对应的反射波形的候选组中，提取与重叠的超声波信号的峰值和斜率值中的至少一个对应的反射波形，并且处理器基于所提取的反射波形来确定分别从第一和第二对象反射的超声波信号彼此重叠的重叠区域的大小和相位差中的至少一个。
处理器可以计算所接收的超声波信号的ToF来检测对象的外点，并从检测到的外点估计对象的大小和形状。
处理器可以计算作为超声波信号从第一超声波传感器发射、从对象折射并且被第二超声波传感器接收的时间的时间，来检测对象的额外的外点。
触摸屏装置还可以包括反射器装置，该反射器装置被配置为在显示器的外部提供，反射器装置具有在基本上平行于显示器的方向上反射或折射从所述多个超声波传感器发射的超声波信号的一部分的抛物面表面。
触摸屏装置还可以包括超声波信号吸收材料，该超声波信号吸收材料被配置为吸收除了在基本上平行于显示器的方向上反射或折射的超声波信号之外的其它超声波信号的至少一部分。
根据示范性实施例的另一方面，提供了一种控制触摸屏装置的方法，该方法包括：从多个超声波传感器发射超声波信号；通过所述多个超声波传感器接收已经从显示器上触摸的对象反射的反射超声波信号；以及基于所接收的超声波信号的ToF来确定对象的触摸点。
超声波信号的接收可以包括从所述多个超声波传感器的第一和第二超声波传感器分别发射超声波信号，以及通过第一和第二超声波传感器来接收已经从对象反射的反射超声波信号，其中对象的触摸点的确定可以包括基于所接收的超声波信号的ToF来分别计算从第一和第二超声波传感器到对象的距离；以及基于所计算的距离来确定对象的触摸点。
响应于显示器上多个对象被触摸，并且超声波信号从第一超声波传感器发射，从第一对象折射，并且被第二超声波传感器接收，可以通过使用已经从第一超声波传感器发射、从第一对象折射并且被第二超声波传感器接收的超声波信号的ToF来移除第一对象的幻象触摸点，来确定第一对象的触摸点。
第一对象的触摸点的确定可以包括从第一超声波传感器接收的超声波信号中分离从除第一对象之外的另一对象反射的超声波信号，来提取从第一对象反射的超声波信号，以及使用已经从第一超声波传感器发射、从第一对象折射并被第二超声波传感器接收的超声波信号的ToF来从第二超声波传感器接收的超声波信号中提取从第一对象反射的超声波信号；并且基于所提取的超声波信号来确定第一对象的触摸点。
该方法还可以包括：存储超声波信号的反射波形，每个反射的波形对应于距离，其中第一对象的触摸点的确定可以包括将所提取的超声波信号的波形与存储的反射波形比较来分别确定从第一和第二超声波传感器到第一对象的距离；以及基于所确定的距离来确定第一对象的触摸点。
对象的触摸点的确定可以包括，响应于在显示器上多个对象被触摸，并且超声波信号从所述多个对象的第一对象反射，并且超声波信号从所述多个对象的第二对象反射，其中超声波信号彼此重叠然后被接收，而通过使用重叠且被接收的信号的波形上分别从第一和第二对象反射的超声波信号彼此重叠的重叠区域的大小以及超声波信号之间的相位差中的至少一个，来确定分别从第一和第二对象反射的超声波信号的ToF。
该方法还可以包括存储取决于分别从第一和第二对象反射的超声波信号彼此重叠的超声波信号中重叠区域的大小和相位差中的至少一个的反射波形，其中所述确定可以包括从与分别从第一和第二对象反射的超声波信号彼此重叠的重叠区域的大小和相位差中的至少一个对应的反射波形的候选组中，提取与重叠的超声波信号的峰值和斜率值中的至少一个对应的反射波形；以及基于所提取的反射波形来确定分别从第一和第二对象反射的超声波信号彼此重叠的重叠区域的大小和相位差中的至少一个。
所述确定可以包括计算所接收的超声波信号的ToF来检测对象的外点；以及从检测到的外点估计对象的大小和形状。
所述确定可以包括计算作为超声波信号从第一超声波传感器发射、从对象折射并且被第二超声波传感器接收的时间的时间，来检测对象的额外的外点。
从所述多个超声波传感器发射的超声波信号的一部分可以从在显示器的外部提供的反射器装置的抛物面反射或折射，来与显示器基本上平行。
除了从反射器装置反射或折射的基本上与显示器平行的超声波信号之外，其它超声波信号的至少一部分可以被在所述多个超声波传感器周围分别提供的超声波吸收材料所吸收。
根据示范性实施例的另一个方面，提供了一种触摸屏装置，包括：显示器；第一超声波传感器；第二超声波传感器；以及处理器，被配置为，响应于第一超声波信号从第一超声波传感器发送、从在显示器上触摸的对象反射并且被第一超声波传感器接收，以及第二超声波信号从第二超声波传感器发送、从在显示器上触摸的对象反射并且被第二超声波传感器接收，而基于所接收的第一和第二超声波信号的飞行时间(ToF)来确定对象的触摸点。
处理器可以计算从第一超声波传感器到对象的第一距离，和从第二超声波传感器到对象的第二距离，并且基于所计算的第一和第二距离来确定对象的触摸点。
对象可以是第一对象，并且响应于在显示器上第一对象和第二对象被触摸并且第三超声波信号从第一超声波传感器发射、从第一对象折射并且被第二超声波传感器接收，处理器可以通过使用第三超声波信号的ToF来移除第一对象的幻象触摸。
处理器可以从第一超声波传感器接收的超声波信号中分离从第二对象反射的超声波信号，来提取从第一对象反射的第一超声波信号，通过使用第三超声波信号的ToF来从第二超声波传感器接收的超声波信号中提取从第一对象反射的超声波信号，并且基于所提取的超声波信号来确定第一对象的触摸点。
附图说明
通过参照附图描述某些示范性实施例，以上和/或其它方面将更加显然，附图中：
图1是根据示范性实施例的触摸屏装置的结构的框图；
图2是用于描述根据示范性实施例的反射或折射从超声波传感器发射的与显示器平行的超声波信号的方法的触摸屏装置的侧视图；
图3A至3C示出根据各种示范性实施例的超声波传感器和反射器装置的配置；
图4示出根据示范性实施例的确定对象的触摸点的方法；
图5示出根据示范性实施例的如果在多个对象上执行多触摸则确定每个触摸点的方法；
图6A和6B是示出根据示范性实施例的在多触摸中被超声波传感器接收的超声波信号的波形的曲线图；
图7是示出根据示范性实施例的取决于距离的超声波信号的反射波形模型的曲线图；
图8A至8D示出根据示范性实施例的在多触摸中防止幻象触摸识别的方法；
图9是根据示范性实施例的确定多触摸中的每个触摸点的过程的流程图；
图10A至10C示出根据另一示范性实施例的在多触摸中被超声波传感器接收的超声波信号的波形；
图11A和11B示出根据示范性实施例的在多触摸中检测第一反射信号和第二反射信号之间的相位差的方法；
图12示出根据示范性实施例的在多触摸中取决于第一反射信号和第二反射信号之间的重叠区域的大小以及第一反射信号和第二反射信号之间的相位差的反射波形模型；
图13是示出根据示范性实施例的在多触摸中如果第一反射信号和第二反射信号具有特定的相位差则取决于第一反射信号和第二反射信号之间的重叠区域的大小的模型的曲线图；
图14A和14B示出根据示范性实施例的检测对象的外点来估计对象的大小和形状的方法；
图15A和15B示出根据示范性实施例的估计对象的大小和形状的方法；
图16是根据另一示范性实施例的触摸屏装置的详细结构的框图；以及
图17是根据示范性实施例的控制触摸屏装置的方法的流程图。
具体实施方式
现在将参照附图详细描述某些示范性实施例。
在下面的描述中，即使在不同的图中，相同的图参考数字也用于相同的元素。在描述中定义的事项，诸如详细的结构和元件，被提供来帮助对本发明构思的全面理解。因而，显然可以没有那些具体定义的事项来实行示范性实施例。此外，不详细描述公知功能或结构，因为它们会以不必要的细节模糊本发明构思。
示范性实施例可以被不同地修改。因此，具体示范性实施例在图中被示出并且在详细描述中被详细描述。然而，要理解，本公开不限于具体示范性实施例，而是包括所有修改、等价和替代而不脱离本公开的范围和精神。此外，不详细描述公知功能或结构，因为它们会以不必要的细节模糊本公开。
图1是根据示范性实施例的触摸屏装置100的结构的框图。触摸屏装置100指的是可以通过显示器上的触摸来接收用户命令的电子设备。触摸屏装置100的示例可以包括智能手机、相机、平板个人电脑(PC)、笔记本PC、台式PC、媒体播放器(MP3播放器等)、个人数字助理(PDA)、游戏终端、可穿戴设备等。此外，根据本示范性实施例的触摸屏装置100也可以应用于安装有显示器的家庭用具(例如，电冰箱、洗衣机等)。
参照图1，触摸屏装置100包括显示器110、多个超声波传感器120和处理器130。
显示器110是被用户触摸的元件。详细地，用户可以通过使用手指或电子笔来在与显示在显示器110上的各种类型的内容对应的区域中触摸显示器110，以输入期望的信息。换言之，显示器110可以被实现为显示内容并且同时作为触摸板操作的触摸屏。
显示器110可以被实现为各种类型的显示器，诸如液晶显示器面板(LCDP)、有机发光二极管(OLED)、硅上液晶(LCoS)、数字光处理(DLP)等。此外，显示器110可以包括驱动器电路，并且可以被实现为诸如非晶硅(a-si)薄膜晶体管(TFT)、低温多硅(LTPS)TFT、有机TFT(OTFT)等以及背光单元等的类型。
这里，在被触摸的显示器110的前表面可以提供加强来保护显示器110的玻璃基底、保护膜等。
多个超声波传感器120包括第一至第n超声波传感器120-1至120-n，并且它们是发射和/或接收超声波信号的元件。第一至第n超声波传感器120-1至120-n被分别提供在显示器110的外部，来发射超声波信号并接收从对象反射或折射的超声波信号，以检测从第一至第n超声波传感器120-1至120-n到对象的距离以及从第一至第n超声波传感器120-1至120-n到对象的方向。
现在将参照图2来描述布置在触摸屏装置100中的第一至第n超声波传感器120-1至120-n的结构以及生成被发射为与显示器110平行的超声波信号的方法。
图2是用于描述根据示范性实施例的反射或折射从超声波传感器发射来与显示器平行的超声波信号的方法的触摸屏装置的侧视图。为了方便描述，现在将参照图2至图3C来描述第一超声波传感器120-1的结构和操作。然而，其余超声波传感器的结构和操作是相同的。
参照图2，第一超声波传感器120-1可以位于显示器110的外部周围，以便越过显示器110并在显示器110上方发射超声波。如果触摸显示器110的对象是用户的食指50，则触摸屏装置100可以计算超声波信号从第一超声波传感器120-1被发射然后从食指50反射所花费的时间，即，超声波信号的飞行时间(ToF)，以检测从第一超声波传感器120-1到食指50的距离。
然而，因为超声波传感器一般在3维(3D)空间中的角度范围中发射超声波信号，所以超声波传感器一般在这样的一般情况中接收从多个源反射的信号，例如，从用户的食指、用户的拇指、用户的手背或另一对象。因此，触摸屏装置可能不能按照期望精确地检测显示器中食指触摸显示器的位置。
因此，如图2中所示，在根据示范性实施例的触摸屏装置100中，反射器装置10可以被安装在第一超声波传感器120-1周围来反射或折射从第一超声波传感器120-1发射的超声波信号的一部分，以便与显示器110的表面平行。
这里，反射器装置10的内表面可以被实现为抛物面形状，该抛物面形状被配置为反射或折射从第一超声波传感器120-1发射的超声波信号以便反射或折射的超声波信号基本上与显示器110的表面平行。反射器装置10可以由可以反射或折射超声波的诸如金属、塑料等的任何类型的材料形成。
触摸屏装置100可以包括超声波信号吸收材料20，用于吸收从第一超声波传感器120-1发射的超声波信号中除了在显示器110上方反射以与显示器110的表面平行的超声波信号之外的超声波信号。即，可以提供超声波信号吸收材料20来吸收寄生信号。超声波信号吸收材料20可以由具有吸收超声波的高性能的材料等形成。例如，通过使用诸如纹理、毛毡等的外部开口材料，或者如果使用共振吸收方法则通过使用吸音板等，来形成超声波信号吸收材料20。
为了防止即使食指50靠近显示器110和悬停在显示器110上方，食指50也被识别为触摸显示器110，显示器110和被发射以与显示器110的表面平行的超声波信号之间的距离41可以被最小化。此外，寄生信号的生成可以被最小化，或者所生成的寄生信号可以被移除，来最小化寄生反射噪声。
为此，反射器装置10的高度和位置以及反射器装置10的抛物面的形状可以被配置为最小化或消除寄生信号。图3A至3C示出根据示范性实施例的超声波传感器和反射器装置的配置。
图3A示出在图2中示出的第一超声波传感器120-1和反射器装置10的配置。如图3A中所示，印刷电路板(PCB)连接器30可以被提供在显示器110的转角来机械地和/或电地将显示器110和反射器装置10彼此连接。挡板连接器40可以被提供在PCB连接器30下方来支持PCB连接器30，并提供将显示器110与反射器装置10连接的挡板。在一些示范性实施例中，挡板连接器40可以包围反射器装置10。第一超声波传感器120-1和反射器装置10可以在PCB连接器30上方彼此结合。
如图3A中所示，从反射器装置10反射的超声波信号的一部分可以被发射在显示器110上方以与显示器110平行。在图3A的示范性实施例中，没有从反射器装置10反射的超声波信号的一部分可以被超声波信号吸收材料20吸收，或者可以在不与显示器110的表面平行的方向上被超声波信号吸收材料反射。在此配置中，反射器装置10具有简单的结构，因而易于构造。
这里，PCB连接器30可以被实现为可以吸收超声波的吸音材料。
图3B示出根据另一示范性实施例的超声波传感器和反射器装置的配置。在图3B的示范性实施例中，PCB连接器30的内部空间可以以在上部具有开口的穹顶形状来提供，并且反射器装置10可以在PCB连接器30的上部的外表面上提供。第一超声波传感器120-1可以在PCB连接器30上被穹顶形状部分地包围的PCB连接器30的内部空间中提供。可以用超声波信号吸收材料来提供、涂上和/或覆盖由穹顶形状形成的PCB连接器30的内部空间。
如图3B中所示，触摸屏装置100可以被配置以便使得从第一超声波传感器120-1发射的大部分超声波信号能够被PCB连接器30吸收或反射，从而不从PCB连接器30离开。这里，仅在退出PCB连接器30的穹顶形状的上部的开口的方向上发射的超声波信号可以从反射器装置10反射以与显示器110的表面平行。
在图3B的示范性实施例中，寄生信号从PCB连接器30反射以在短时间返回到第一超声波传感器120-1。因而，寄生信号的飞行时间可以用于滤出寄生信号。因此，寄生反射噪声可以被减小。
图3C示出根据另一示范性实施例的超声波传感器和反射器装置的配置。在图3C的示范性实施例中，反射器装置10-1可以被布置在显示器110的表面下面以与显示器110结合。此外，挡板10-2可以在与反射器装置10-1与显示器110结合的侧相反的侧与反射器装置10-1结合。
这里，挡板10-2可以具有包括反射表面的形状，该反射表面可以以90°的角度反射已经从反射器装置10-1反射以向上发射的超声波信号，以便在显示器110上方与显示器110的表面平行。换言之，反射器装置10-1向上反射超声波信号，并且挡板10-2的反射表面以90°的角度反射超声波信号以便在显示器110上方与显示器110的表面平行。因此，仅从反射器装置10-1反射以从挡板10-2的反射表面的极端部分区域(extremely partial area)反射的超声波信号可以被发射以在显示器110上方与显示器110的表面平行。
在图3C的示范性实施例中，在显示器110的表面的顶端上方的挡板10-2的高度H可以被最小化来最小化显示器110和被发射以与显示器110的表面平行的超声波之间的距离。因此，由悬停引起的触摸误识别率可以被减小。
返回图1，处理器130是控制触摸屏装置100的全面操作的元件。
如果从多个超声波传感器120发射的超声波信号从触摸显示器110的对象反射，然后被多个超声波传感器120接收，则处理器130可以基于所接收的超声波信号的ToF来确定对象的触摸点。
例如，如果超声波信号分别从第一超声波传感器和第二超声波传感器发射，并且从对象反射以分别被第一和第二超声波传感器接收，则处理器130可以基于所接收的超声波信号的ToF来计算从第一和第二超声波传感器到对象的触摸点的距离，并且基于所计算的距离来确定对象的触摸点。
现在将参照图4来详细描述确定对象的触摸点的方法。
图4示出根据示范性实施例的确定对象的触摸点的方法。现在将描述第一至第四超声波传感器120-1至120-4被分别提供在显示器110的角周围的示范性实施例。然而，本发明不限于以上示范性实施例。因此，触摸屏装置100可以在显示器110的外部的各种位置的两个或三个超声波传感器，或者在各种位置的五个或更多个超声波传感器。
如图4中所示，如果在显示器110上触摸对象o1，则处理器130可以检测作为超声波从第一超声波传感器120-1的发送器tA被发射，从对象o1被反射，并且返回到第一超声波传感器120-1的接收器rA的时间的ToF。换言之，ToF是从超声波自超声波传感器的发送到在超声波传感器处对从对象o1反射的超声波的接收的往返时间。这里，因为超声波的速度总是恒定在340m/s，所以处理器130可以基于检测到的ToF来计算从第一超声波传感器120-1到对象o1的距离a1。
处理器130也可以检测作为超声波从第二超声波传感器120-2的发送器tB发射，从对象o1反射然后返回到第二超声波传感器120-2的接收器rB的时间的ToF。处理器130可以基于检测到的ToF来计算从第二超声波传感器120-2到对象o1的距离b1。
如果计算出距离a1和b1，则可以通过三角法来计算显示器110上对象o1的位置。换言之，如果第一超声波传感器120-1和第二超声波传感器120-2之间的距离被假设为触摸屏装置100中的基站的信息，并且计算出从第一超声波传感器120-1到对象o1的距离a1和从第二超声波传感器120-2到对象o1的距离b1，则可以确定三角形的三个元素(三边的长度)，并且处理器130可以通过使用三角法来确定在显示器110的2维(2D)坐标上的对象o1的位置。
结果，处理器130可以基于对象o1距第一超声波传感器120-1和第二超声波传感器120-2的距离来确定对象o1的触摸点。
如上所述，可以计算距最少两个超声波传感器的距离来确定对象o1的触摸点。即，可以不同地选择用于距离计算的超声波传感器，但是可以选择以包括如下超声波传感器：检测到最快的ToF的超声波传感器，即，距对象o1最短距离的超声波传感器，以及接近可能距对象o1是最短距离的超声波传感器。换言之，在图4中在四个超声波传感器120-1至120-4中，第一超声波传感器120-1是距对象o1最短距离，因此选择包括第一超声波传感器120-1，并且第二超声波传感器120-2是最接近第一超声波传感器120-1的传感器，并且因此也选择包括第二超声波传感器120-2。
从第一至第四超声波传感器120-1至120-4发射的超声波信号可以是不同的信号。例如，从第一超声波传感器120-1和第二超声波传感器120-2发射的超声波信号可以具有不同的频率。
详细地，每个超声波传感器可以接收从每个超声波传感器发射、从对象反射并被接收的超声波信号。换言之，超声波传感器不但接收它自己发送并反射的信号，而且接收来自其它超声波传感器的信号。在这种情况下，处理器可能不能够精确地测量从超声波传感器到对象的距离。
因此，分别从超声波传感器发射的超声波信号可以被实现为不同的信号，以将从另一超声波发送器发射然后从对象o1折射的超声波信号与从它自己的超声波发送器发送、被反射并被接收的超声波信号分开。
或者，处理器130可以对从第一超声波传感器120-1和第二超声波传感器120-2发射的超声波信号执行时间划分，来根据时间区别地分开分别从超声波传感器发射的超声波信号以区分信号。换言之，处理器130可以控制超声波传感器，使得首先第一超声波传感器120-1发送和接收，然后第二超声波传感器120-2发送和接收，然后第三超声波传感器120-3发送和接收等，来循环通过(cycle through)超声波传感器，从而避免信号之间的干扰。在这样的过程中，超声波传感器可以使用相同的信号。
即使通过多个对象在显示器110上执行多触摸，处理器130也可以通过使用与上述方法相同的方法来确定触摸点。此详细内容将参照图5来描述。
图5示出根据示范性实施例的如果通过多个对象执行多触摸则确定每个触摸点的方法。
例如如果通过两个对象来执行多触摸，则处理器130可以通过使用作为超声波信号从第一超声波传感器120-1发射并且从第一对象o1反射并返回的时间的ToF，来计算从第一超声波传感器120-1到第一对象o1的距离a1。处理器130也可以通过使用作为超声波信号从第二超声波传感器120-2发射，并且从第一对象o1反射并返回的时间的ToF，来计算从第二超声波传感器120-2到第一对象o1的距离b2。处理器130可以通过使用所计算的距离a1和b2来确定在显示器110的2D坐标上的第一对象o1的触摸点。
确定第二对象o2的触摸点的过程与上述过程相同。处理器130可以通过使用作为超声波信号从第二超声波传感器120-2发射并且从第二对象o2反射并返回的时间的ToF，来计算从第二超声波传感器120-2到第二对象o2的距离b1。处理器130也可以通过使用作为超声波信号从第一超声波传感器120-1发射并且从第二对象o2反射并返回的时间的ToF，来计算从第一超声波传感器120-1到第二对象o2的距离a2。处理器130可以通过使用所计算的距离b1和a2来确定在显示器110的2D坐标上的第二对象o2的触摸点。
图6A和6B是示出根据示范性实施例的在多触摸中被超声波传感器接收的超声波信号的波形的曲线图。
图6A中所示的信号的波形可以被假设为由第一超声波传感器120-1接收的反射的信号。如图6A中所示，反射的信号的波形可以包括从第一超声波传感器120-1发射并且从第一对象o1反射并返回的信号的波形61，以及从第一超声波传感器120-1发射并且从第二对象o2反射并返回的信号的波形62，其中第二对象o2比第一对象o1距第一超声波传感器120-1更远。这里，两个信号的波形61和62不彼此重叠。
这里，根据图6A的反射信号的波形61和62，处理器130可以检测两个信号分别被第一超声波传感器120-1接收的时间。参照图6A，从第一对象o1反射的信号被接收的时间是与水平轴上的2对应的时间，并且从第二对象o2反射的信号被接收的时间是与水平轴上的4对应的时间。通过使用此信息，处理器130可以通过使用关于第一超声波传感器120-1发射超声波信号的时间和每个反射的信号被检测到的时间的信息，来检测从第一对象o1和第二对象o2反射的超声波信号的ToF和距离。
根据另一示范性实施例，本发明的触摸屏装置100可以包括存储取决于距离的超声波信号的反射波形的存储器(未显示)。这里，处理器130可以将检测到的反射信号的波形61和62与存储的反射波形比较来确定从第一超声波传感器120到第一对象o1和第二对象o2的距离。
详细地，如图6B中所示，处理器130可以提取从第一对象o1反射的信号的波形61的包络63和从第二对象o2反射的信号的波形62的包络64，并且将所提取的包络64与存储在存储器中的取决于距离的超声波信号的反射波形的包络比较。如图7中所示，存储器可以存储多触摸中取决于距离的超声波信号的反射波形模型。
参照图7，存储器可以存储查找表(LUT)，在LUT中响应于在发射的超声波信号Tx中从对象反射并返回的反射信号波形的包络特性来映射从超声波传感器到对象的距离或ToF。因此，处理器130可以搜索存储在存储器中的LUT，用于与所提取的反射信号的包络63和64的斜率和强度的特性对应的ToF或距离的值，来确定从第一超声波传感器120-1到第一对象o1和第二对象o2的距离。
然而，如果由两个或更多个对象检测到的触摸点存在，则分别从超声波传感器检测到的超声波信号包括分别从两个或更多个对象反射的全部超声波信号。因此，如果分别由超声波传感器检测到的ToF被结合，则不是实际触摸点(即幻象触摸点)的坐标出现。现在将参照图8A至8D来描述移除幻象触摸的方法。
图8A至8D示出根据示范性实施例的在多触摸中防止幻象触摸识别的方法。
图8A和8C示出生成幻象触摸的过程。详细地，参照图8A，处理器130可以检测从第一超声波传感器120-1发射并从第一对象o1反射并返回的超声波信号的ToF，来计算从第一超声波传感器120-1到第一对象o1的距离a1。这里，处理器130检测从第二超声波传感器120-2发射并且从第一对象o1反射并返回的超声波信号的ToF，以及从第二超声波传感器120-2发射并且从第二对象o2反射并返回的超声波信号的ToF，并且分别确定b2和b1。因此，两种类型的结合的可能性的问题发生。换言之，如果从第一超声波传感器120-1到第一对象o1的距离a1以及从第二超声波传感器120-2到第一对象o1的距离b2被结合，则检测到实际的触摸点11a。如果从第一超声波传感器120-1到第一对象o1的距离a1以及从第二超声波传感器120-2到第二对象o2的距离b1被结合，则检测到幻象触摸点11c。
类似于图8A中所示的情形，图8B示出了这样的现象，其中如果从第一超声波信号120-1发射并且从第二对象o2反射并返回的超声波信号的ToF以及从第二超声波传感器120-2发射并且从第一对象o1反射和返回的超声波信号的ToF被结合，则生成幻象触摸点11d。
因此，如图8C中所示，除了实际触摸点11a和11b之外，通过分别由超声波传感器检测到的距离的结合，另外生成了幻象触摸点11c和11d。因此，触摸识别错误发生。
为了防止幻象触摸的识别，如果超声波信号从第一超声波传感器120-1发射，从第一对象o1折射，并且被第二超声波传感器120-2接收，则处理器130可以通过额外地使用折射和接收的超声波信号的ToF来移除第一对象o1的幻象触摸点以确定第一对象o1的触摸点。
详细地，处理器130可以将从除了第一对象的另一对象反射的超声波信号与被第一超声波传感器120-1接收的超声波信号分开，以提取从第一对象o1反射的超声波信号。处理器130可以通过使用从第一对象o1折射和接收的超声波信号的ToF，来从第二超声波传感器120-2接收的超声波信号中提取从第二对象o2反射的超声波信号。因此，处理器130可以基于所提取的超声波信号来确定第一对象o1的触摸点。这里，第一对象o1可以是在比另一对象相对更接近第一超声波传感器120-1的点处触摸的对象，即，可以是从第一对象o1反射的超声波信号，然后首先被第一超声波传感器120-1接收。
例如，参照图8D，在从第一超声波传感器120-1发射的超声波信号中，可能存在从第一对象o1折射并被第二超声波传感器120-2接收的超声波信号。处理器130可以检测如上所述折射的信号的ToF，并且将满足检测到的折射信号的ToF的点确定为实际触摸点11a和幻象触摸点11c。这里，处理器130可以计算从第一超声波传感器120-1发射、从实际触摸点11a折射并且被第二超声波传感器120-2接收的虚拟折射信号的ToF，以及从幻象触摸点11c折射并被第二超声波传感器120-2接收的虚拟折射信号的ToF，并且执行将所计算的ToF与实际检测到的折射信号的ToF比较的过程。
为此，第一超声波传感器120-1和第二超声波传感器120-2可以彼此同步。彼此同步的第一超声波传感器120-1和第二超声波传感器120-2可以共享分别从第一超声波传感器120-1和第二超声波传感器120-2发射的超声波信号，以及所接收的超声波信号的时间信息。因此，可以在上述示范性实施例中检测到折射的信号的ToF。
图9是根据示范性实施例的确定多触摸中的每个触摸点的过程的流程图。
在操作S905中，第一超声波传感器120-1接收反射的信号(第一Rx信号)。在操作S910中，第一超声波传感器120-1提取从在最接近第一超声波传感器120-1的点处触摸的对象o1反射的信号的ToF(第一ToF)。这里，在最接近第一超声波传感器120-1的点处触摸的对象o1被定义为第一对象，并且在另一点处触摸的对象o2被定义为第二对象。
在操作S915中，第一超声波传感器120-1基于所提取的ToF来检测从第一超声波传感器120-1到第一对象o1的距离。
在操作S920中，第二超声波传感器120-2接收反射的信号(第二Rx信号)。在操作S925中，第二超声波传感器120-2提取来自第一超声波传感器120-1的、从第一对象o1折射并且被第二超声波传感器120-2接收的超声波信号的ToF。第二超声波传感器120-2基于所提取的ToF，在从第二超声波传感器120-2接收的第二Rx信号中确定从第一对象o1反射并接收的超声波信号。在操作S930中，第二超声波传感器120-2提取构成第二Rx信号的信号的最快信号的ToF(第一ToF)或者下一信号的ToF(第二ToF)。
在操作S940中，通过三角法来检测第一对象o1的位置，其中三角法使用操作S915中的从第一超声波传感器120-1到第一对象o1的距离，以及操作S930中从第二超声波传感器120-2到第一对象o1的距离。
在操作S945中，第一超声波传感器120-1移除从第一对象o1反射的超声波信号(第一反射信号)，来提取从第二对象o2反射的超声波信号(第二反射信号)的ToF(第二ToF)。在操作S950中，第一超声波传感器120-1检测从第一超声波传感器120-1到第二对象o2的距离。
在操作S955中，第二超声波传感器120-2从第二Rx信号提取第一ToF或第二ToF，其中从第二Rx信号移除了与从第一对象o1反射的超声波信号对应的第一反射信号或第二反射信号。在操作S960中，第二超声波传感器120-2检测从第二超声波传感器120-2到第二对象o2的距离。
在操作S965中，通过三角法来检测第二对象o2的位置，其中三角法使用操作S950中的从第一超声波传感器120-1到第二对象o2的距离，以及操作S960中从第二超声波传感器120-2到第二对象o2的距离。
图10A至10C是示出根据另一示范性实施例的在多触摸中被超声波传感器接收的超声波信号的波形的曲线图。
参照图10A和10B，被超声波传感器接收的反射信号的波形101可以是如下形状，分别从第一对象o1和比第一对象o1相对远离超声波传感器的点的第二对象o2反射的两个超声波信号的波形102和103的部分区域彼此重叠。这里，超声波传感器将被描述为第一超声波传感器120-1。当在从第一超声波传感器120-1到第一对象o1的距离a1与从第一超声波传感器120-1到第二对象o2的距离a2之是具有小差异时，两个超声波信号之间重叠的程度可能较大。
存储器可以存储取决于反射信号的重叠区域的大小的反射波形模型，其中分别从第一对象o1和第二对象o2反射的超声波信号彼此重叠。
这里，处理器130可以提取由第一超声波传感器120-1接收的反射信号的波形101的包络106，并且将所提取的包络106与存储的反射波形模型的包络比较，来分别检测两个超声波信号的波形102和103的分别的独立包络模型104和105。稍后将参照图12来描述详细检测过程。
图11A和11B示出根据示范性实施例的在多触摸中检测第一反射信号和第二反射信号之间的相位差的方法。
如图11A中所示，由第一超声波传感器120-1接收的反射信号可以具有如下形状，其中从第一对象o1反射的超声波信号(实线)和从第二对象o2反射的超声波信号(虚线)彼此重叠。为便于描述，从第一对象o1反射的超声波信号将被称为第一反射信号，并且从第二对象o2反射的超声波信号将被称为第二反射信号。此外，仅第一反射信号被接收的区域将被称为第一区域，第一和第二反射信号彼此重叠并且然后被接收的区域将被称为第二区域，并且仅第二反射信号被接收的区域将被称为第三区域。第一和第二反射信号被接收的区间(第二区域的长度)对应于10.25λ，并且第一和第二反射信号具有90°的相位差。
被第一超声波传感器120-1接收的反射信号如图11B中所示。参照图11B，在仅第一反射信号被接收的第一区域(同相)中周期保持恒定，然后由于相位差(异相)，在第一和第二反射信号彼此重叠的第二区域中周期改变。之后，在仅第二反射信号被接收的第三区域(同相)中周期保持恒定。然而，在第一和第三区域中接收的信号具有90°的相位差。
因此，处理器130可以比较仅第一反射信号被接收的第一区域中的第一反射信号的相位与仅第二反射信号被接收的第三区域中的第二反射信号的相位，来检测第一和第二反射信号之间的相位差。处理器130通过综合地使用仅第一反射信号被接收的第一区域的距离信息，关于第一和第二反射信号之间的相位差的信息以及关于第二反射信号的强度、上升斜率和下降斜率的信息，可以检测第二反射信号的ToF。现在将参照图12来描述此检测方法的详细解释。
图12示出根据示范性实施例的在多触摸中取决于第一和第二反射信号之间的重叠区域的大小以及第一和第二反射信号之间的相位差的反射波形模型。
存储器可以存储取决于分别从第一和第二对象反射的超声波信号之间重叠的超声波信号的重叠区域的大小以及超声波信号的相位差中的至少一个的反射波形。
这里，处理器130可以从与分别从第一和第二对象反射的超声波信号彼此重叠的重叠区域的大小以及超声波信号之间的相位差中的至少一个对应的反射波形的候选组中提取与重叠的超声波信号的强度值和斜率值中的至少一个对应的反射波形。处理器130然后可以确定分别从第一和第二对象反射的超声波信号彼此重叠的重叠区域以及超声波信号之间的相位差中的至少一个。
参照图12，存储器可以存储与取决于由超声波传感器接收的反射信号波形中第一和第二反射信号彼此重叠的重叠区域的大小以及第一和第二反射信号之间的相位差的反射信号波形的特性对应的第一和第二反射信号的独立反射波形模型。图12示出以LUT形式存储在存储器中的第一和第二反射信号的独立反射波形的包络模型。
详细地，可以根据第一区域的大小来将存储在存储器中的包络模型分类。例如，第一区域的大小可以被定义为Rx1-Rx2，并且从第一反射信号的接收开始的点到第一反射信号的接收结束的点的距离，或者从第二反射信号的接收开始的点到第二反射信号的接收结束的点的距离可以被定义为Tp。这里，存储在存储器中的包络模型可以被分类为满足0<Rx1-Rx2<Tp/2的表达式的第一包络模型组(图12中的最左列)、满足Tp/2<Rx1-Rx2<Tp的表达式的第二包络模型组(图12中的中间列)以及满足Tp<Rx1-Rx2的表达式的第三包络模型组(图12中的最右列)。换言之，第一包络模型组是多于一半的第一反射信号与多于一半的第二反射信号彼此重叠并且包括具有最大的大小的重叠区域的组。第三包络模型组包括第一和第二反射信号之间的重叠区域，其中重叠区域具有最小的大小。例如，第一包络模型组的第一区域的大小对应于大约5λ，第二包络模型组的第一区域的大小对应于大约10λ，并且第三包络模型组的第一区域的大小对应于大约15λ。
如图12中所示，水平轴X1根据除了小数点单位的值的实数值的大小来划分第一和第二反射信号之间的接收区间Rx1-Rx2。垂直轴Y1考虑小数点单位的小数值的大小，即仅相位差，来划分第一和第二反射信号之间的接收区间。
从LUT，处理器130可以从水平轴X1和垂直轴Y1检测与被第一超声波传感器120-1接收的反射信号之间的相位差以及第一区域的大小对应的包络模型组，来缩小(narrow)候选模型组。此外，处理器130可以将接收的反射信号的斜率和强度与候选模型组比较来最终确定相应的包络模型。
例如，如图13中所示，如果确定了相位差，则包括具有相应的相位差的多个包络模型以及不同的实数值的候选模型组可以是要搜索的模型组。
垂直轴Y1上根据取决于相位差的划分的第一和第二反射信号之间的区间差比在水平轴X1上相对更小。当第一和第二反射信号之间的重叠区域的大小变得更大时，被第一超声波传感器120-1接收的反射信号的波形根据相位差而灵敏地变化。特别是，可以相对于第一包络模型组来执行对相位差的确定，如图11中所示。
如果根据上述过程确定了最终的包络模型，则处理器130可以从第二反射信号的独立包络模型估计第二反射信号的接收开始的时间，并且检测从第一超声波传感器120-1发射并且从第二对象反射并返回的超声波信号的ToF。
图14A和14B示出根据示范性实施例的检测对象的外点(outer dot)来估计对象的大小和形状的方法。
如图14A中所示，如果通过对象o1在显示器110上执行表面触摸，则本发明构思的技术精神可以应用于检测对象o1的触摸表面的形状的技术领域。详细地，如图14B中所示，处理器130可以计算从分别在显示器110的角提供的超声波传感器发射，从对象反射，并且分别返回到超声波传感器的超声波信号的ToF，来检测对象o1的外点。这里，处理器130可以连接对象o1的外点来估计对象o1的大小和形状。
图15A和15B示出根据示范性实施例的估计对象的大小和形状的方法。
处理器130可以计算作为超声波信号从一个超声波传感器发射，从对象反射，并且被另一超声波传感器接收的时间的时间，来检测对象的额外的外点。如图15A和15B中所示，从第三超声波传感器120-3发射的超声波信号的一部分可以从对象折射，然后被第四超声波传感器120-4接收。这里，处理器130可以计算从对象折射的超声波信号的ToF来检测执行折射所在的外点14e。
为了计算从对象折射的超声波信号的ToF来检测外点14e，第三超声波传感器120-3和第四超声波传感器120-4可以彼此同步，并且分别从第三超声波传感器120-3和第四超声波传感器120-4发射的超声波信号可以是不同信号。例如，分别从第三超声波传感器120-3和第四超声波传感器120-4发射的超声波信号可以具有区别的信号，该区别的信号具有不同的频率。或者，从第三超声波传感器120-3和第四超声波传感器120-4发射的超声波信号可以被处理器130时间划分。
根据上述示范性实施例，在不增加超声波传感器的数量的情况下可以额外地提取对象的外点。因此，可以估计对象的大小和形状。
图16是根据另一示范性实施例的触摸屏装置100'的框图。如图16中所示，根据本示范性实施例的触摸屏装置100'包括显示器110、第一至第n超声波传感器120-1至120-n、处理器130、存储器140和用户接口150。在下文中，省略图16中与图1的那些相同的元件的描述。
处理器130是控制触摸屏装置100’的全面操作的元件。详细地，处理器130包括随机存取存储器(RAM)131、只读存储器(ROM)132、主中央处理单元(CPU)133、第一至第n接口134-1至134-n以及总线135。这里，可以通过总线135将RAM 131、ROM 132、主CPU 133、第一至第n接口134-1至134-n等连接到彼此。
主CPU 133存取存储器140来通过使用所存储的操作系统(O/S)执行引导。主CPU133可以通过使用存储在存储器140中的各种类型的程序、内容和数据等来执行各种操作。
ROM 132存储用于引导系统的命令集等。如果接通命令被输入来供电，则主CPU133将存储在存储器140中的O/S复制到RAM 131中，并且根据存储在ROM 132中的命令运行O/S来引导系统。如果引导完成，则主CPU 133将存储在存储器140中的各种类型的应用复制到RAM 131中，并且运行复制在RAM 131中的应用程序来执行各种类型的操作。
将第一至第n接口134-1至134-n连接到各种类型的元件，如上所述。一个接口可以是通过网络连接到外部装置的网络接口。
处理器130的上述操作可以通过存储在存储器140中的程序来执行。
存储器140可以存储用于驱动触摸屏装置100'的O/S软件模块以及各种类型的数据，诸如各种类型的多媒体内容。
详细地，存储器140可以存储处理从包括在触摸屏装置100'中的各硬件发送的信号的基础模块，管理数据库(DB)或寄存器的存储模块，生成布局的屏幕的图形处理模块，安全模块等。特别是，存储器140可以存储用于检测超声波信号的ToF的ToF计算器模块、用于检测对象的触摸点的触摸坐标确定器模块等的程序。
如上所述，存储器140还可以存储超声波信号的反射波形模型，以及取决于超声波信号之间的重叠区域的大小和超声波信号的相位差中的至少一个的反射波形模型。
用户接口150是感测用于控制触摸屏装置100'的全面操作的用户交互的元件，并且用户接口150可以包括各种类型的交互传感器，诸如相机(未显示)、麦克风(未显示)等。
图17是根据示范性实施例的控制触摸屏装置的方法的流程图。
在操作S1710中，超声波信号从多个超声波传感器发射，并且反射的超声波信号被多个超声波传感器接收。超声波信号可以从触摸显示器的对象被反射。这里，分别从第一和第二超声波传感器发射的超声波信号可以从对象反射，并且分别被第一和第二超声波传感器接收。
在操作S1720中，所接收的超声波信号的ToF被检测，并且基于检测到的ToF来确定触摸的对象的点。这里，可以基于所接收的超声波信号的ToF来计算从第一和第二超声波传感器到对象的触摸点的距离。此外，可以基于计算的距离来确定对象的触摸点。
此外，如果多个对象在显示器上被触摸，并且超声波信号从第一超声波传感器发射，从第一对象折射，并且被第二超声波传感器接收，则可以通过额外地使用折射和接收的超声波信号的ToF来移除第一对象的幻象点，来确定第一对象的触摸点。
更详细地，如果比另一对象相对更接近第一超声波传感器的第一对象的点被触摸，则通过使用折射和接收的超声波信号的ToF，可以将从另一对象反射的超声波信号从第一超声波传感器接收的超声波信号中分开来提取从第一对象反射的超声波信号，并且从第一对象反射的超声波信号可以从第二超声波传感器接收的超声波信号中提取。这里，可以基于提取的超声波信号来确定第一对象的触摸点。
此外，可以存储取决于距离的超声波信号的反射波形。这里，可以将提取的超声波信号的波形与存储的反射波形比较来提取从第一和第二超声波传感器到第一对象的触摸点的距离，并且基于计算的距离来确定第一对象的触摸点。
如果从第一对象反射的超声波信号与从第二对象反射的超声波信号彼此重叠然后被接收，则可以通过使用分别从第一和第二对象反射的超声波信号彼此重叠的重叠区域的大小以及超声波信号之间的相位差中的至少一个来确定分别从第一和第二对象反射的超声波信号的ToF。
这里，在分别从第一和第二对象反射的超声波信号彼此重叠的超声波信号中，可以预存储取决于重叠区域的大小和相位差中的至少一个的反射波形。可以从与分别从第一和第二对象反射的超声波信号彼此重叠的重叠区域的大小和相位差中的至少一个对应的反射波形的候选组中提取与重叠的超声波信号的峰值和斜率值中的至少一个对应的反射波形。这里，从分别从第一和第二对象反射的超声波信号彼此重叠的重叠区域的大小以及相位差中选择的至少一个可以被确定以确定分别从第一和第二对象反射的超声波信号的ToF。
根据上述各种示范性实施例，可以提高触摸屏的触摸识别性能。此外，可以容易地提供触摸屏从而节约成本。
根据上述各种示范性实施例来控制触摸屏装置的方法可以具体化为程序，然后被存储在各种类型的记录媒体上。换言之，可以被各种类型的处理器处理来运行上述各种控制方法的计算机程序可以被存储并使用在非瞬时计算机可读介质上。
非瞬时性计算机可读介质是不像寄存器、高速缓冲和存储器一样临时存储数据，而是半永久性地存储数据并且可被设备读取的介质。更具体地，上述应用或程序可以被存储在非瞬时性计算机可读媒体中，诸如高密度磁盘(CD)、数字视频盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡和只读存储器(ROM)。
上述示范性实施例和优点仅仅是示范性的，并且不被解释为限制性。本教导可以被容易地应用到其它类型的装置。此外，示范性实施例的描述意欲是说明性的，而不意欲限制权利要求的范围，并且很多替换、修改和变化对于本领域技术人员将是显然的。

Claims (13)

1.一种触摸屏装置，包括：
显示器；
多个超声波传感器，被配置为发送超声波信号；以及
处理器，被配置为，响应于由多个超声波传感器接收从显示器上触摸的对象反射的超声波信号，来基于所接收的超声波信号的飞行时间(ToF)确定对象的触摸点，
其中，多个超声波传感器包括第一超声波传感器和第二超声波传感器，以及
其中，处理器基于从第一超声波传感器发送、被多个对象反射并由第一超声波传感器接收的超声波信号的ToF、从第二超声波传感器发送、被多个对象反射并由第二超声波传感器接收的超声波信号的ToF，以及从第一超声波传感器发送并被多个对象折射并由第二超声波传感器接收的超声波信号的ToF，来确定在显示器上触摸的多个对象的触摸点。
2.如权利要求1所述的触摸屏装置，其中响应于超声波信号分别从所述第一和第二超声波传感器发送，从对象反射并且分别被第一和第二超声波传感器接收，处理器分别计算从第一和第二超声波传感器到对象的距离，并且基于所计算的距离来确定对象的触摸点。
3.如权利要求1所述的触摸屏装置，其中处理器从第一超声波传感器接收的超声波信号中分离所述多个对象当中除第一对象之外的另一对象反射的超声波信号，来提取从第一对象反射的超声波信号，通过使用已经被从第一超声波传感器发送、从第一对象折射并且被第二超声波传感器接收的超声波信号的ToF来从第二超声波传感器接收的超声波信号中提取从第一对象反射的超声波信号，并且基于所提取的超声波信号来确定第一对象的触摸点。
4.如权利要求3所述的触摸屏装置，进一步包括：
存储器，被配置为存储多个超声波信号的反射波形，每个反射波形对应于一距离，
其中处理器将所提取的超声波信号的波形与所存储的反射波形进行比较来分别确定从第一和第二超声波传感器到第一对象的距离，并且基于所确定的距离确定第一对象的触摸点。
5.如权利要求1所述的触摸屏装置，其中响应于接收其中从多个对象中的第一对象和第二对象中的每一个反射的超声波信号重叠的重叠信号，处理器通过使用分别从第一和第二对象反射的超声波信号在重叠的超声波信号的波形上彼此重叠的重叠区域的大小以及超声波信号之间的相位差中的至少一个，来确定分别从第一和第二对象反射的超声波信号的ToF。
6.如权利要求5所述的触摸屏装置，还包括：
存储器，被配置为存储取决于超声波信号中的重叠区域的大小和相位差中的至少一个的反射波形，其中在所述超声波信号中分别从第一和第二对象反射的超声波信号彼此重叠，
其中处理器从与分别从第一和第二对象反射的超声波信号彼此重叠的重叠区域和相位差中的至少一个对应的反射波形的候选组中，提取与重叠的超声波信号的峰值和斜率值中的至少一个对应的反射波形，并且处理器基于所提取的反射波形来确定分别从第一和第二对象反射的超声波信号彼此重叠的重叠区域的大小和相位差中的至少一个。
7.如权利要求1所述的触摸屏装置，其中处理器计算所接收的超声波信号的ToF来检测对象的外点，并且从检测的外点估计对象的大小和形状。
8.如权利要求7所述的触摸屏装置，其中处理器计算作为超声波信号被从第一超声波传感器发送、从对象折射并且被第二超声波传感器接收的时间的时间，来检测对象的额外的外点。
9.如权利要求1所述的触摸屏装置，还包括：
反射器装置，被配置为在显示器的外部提供，反射器装置具有在基本上平行于显示器的方向上反射或折射从所述多个超声波传感器发送的超声波信号的一部分的抛物面表面。
10.如权利要求9所述的触摸屏装置，还包括：
超声波信号吸收材料，被配置为吸收除了在基本上平行于显示器的方向上被反射或折射的超声波信号之外的其它超声波信号的至少一部分。
11.一种控制触摸屏装置的方法，该方法包括：
从多个超声波传感器发送超声波信号；
由多个超声波传感器接收从显示器上触摸的对象反射的超声波信号；以及
基于所接收的超声波信号的ToF来确定对象的触摸点，
其中，多个超声波传感器包括第一超声波传感器和第二超声波传感器，以及
其中，基于从第一超声波传感器发送、被多个对象反射并由第一超声波传感器接收的超声波信号的ToF、从第二超声波传感器发送、被多个对象反射并由第二超声波传感器接收的超声波信号的ToF，以及从第一超声波传感器发送并被多个对象折射并由第二超声波传感器接收的超声波信号的ToF，来确定在显示器上触摸的多个对象的触摸点。
12.如权利要求11所述的方法，其中超声波信号的接收包括：
分别从所述多个超声波传感器的第一和第二超声波传感器发送超声波信号，并且通过第一和第二超声波传感器来接收已经从对象反射的反射超声波信号，
其中对象的触摸点的确定包括：
分别基于所接收的超声波信号的ToF来计算从第一和第二超声波传感器到对象的距离；以及
基于所计算的距离来确定对象的触摸点。
13.一种触摸屏装置，包括：
显示器；
第一超声波传感器，被配置为发送第一超声波信号；
第二超声波传感器，被配置为发送第二超声波信号；以及
处理器，被配置为，响应于由第一超声波传感器接收从显示器上触摸的对象反射的第一超声波信号，以及由第二超声波传感器接收从显示器上触摸的对象反射的第二超声波信号，而基于所接收的第一和第二超声波信号的飞行时间(ToF)来确定对象的触摸点，
其中，处理器基于被多个对象反射并由第一超声波传感器接收的第一超声波信号的ToF、被多个对象反射并由第二超声波传感器接收的第二超声波信号的ToF，以及被多个对象折射并由第二超声波传感器接收的第一超声波信号的ToF，来确定在显示器上触摸的多个对象的触摸点。
CN201610387741.9A 2015-06-02 2016-06-02 触摸屏装置及其控制方法 Expired - Fee Related CN106227392B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562169783P 2015-06-02 2015-06-02
US62/169,783 2015-06-02
KR1020150105136A KR102167576B1 (ko) 2015-06-02 2015-07-24 터치 스크린 장치 및 그 제어 방법
KR10-2015-0105136 2015-07-24

Publications (2)

Publication Number Publication Date
CN106227392A CN106227392A (zh) 2016-12-14
CN106227392B true CN106227392B (zh) 2020-12-08

Family

ID=57440653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610387741.9A Expired - Fee Related CN106227392B (zh) 2015-06-02 2016-06-02 触摸屏装置及其控制方法

Country Status (3)

Country Link
US (1) US9785288B2 (zh)
CN (1) CN106227392B (zh)
WO (1) WO2016195306A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11255663B2 (en) 2016-03-04 2022-02-22 May Patents Ltd. Method and apparatus for cooperative usage of multiple distance meters
US11402950B2 (en) * 2016-07-29 2022-08-02 Apple Inc. Methodology and application of acoustic touch detection
CN106896955B (zh) * 2017-01-13 2019-11-15 业成科技（成都）有限公司 超声波传感装置及其检测电路与检测方法
JP2018133021A (ja) * 2017-02-17 2018-08-23 富士通コンポーネント株式会社 触感提示装置及びタッチパネル
WO2018218080A1 (en) * 2017-05-24 2018-11-29 Apple Inc. System and method for acoustic touch and force sensing
CN107179676B (zh) * 2017-05-24 2019-04-23 成都理工大学 基于数字解调的超声波飞行时间测量方法
US11334196B2 (en) 2017-05-24 2022-05-17 Apple Inc. System and method for acoustic touch and force sensing
CN107291307A (zh) * 2017-07-26 2017-10-24 京东方科技集团股份有限公司 超声波触控装置及方法、显示装置
KR102326770B1 (ko) * 2017-08-03 2021-11-17 삼성전자 주식회사 디스플레이장치 및 그 제어방법
CN108845323B (zh) * 2018-04-28 2020-12-04 京东方科技集团股份有限公司 面板以及使用面板确定目标物体的位置的方法
CN111208920A (zh) * 2018-11-21 2020-05-29 艾力普提实验室公司 功率调节
CN110300226B (zh) * 2019-06-28 2021-06-29 Oppo广东移动通信有限公司 电子设备及其手电筒的控制方法
CN111966242B (zh) * 2020-08-17 2024-03-12 京东方科技集团股份有限公司 触控显示面板及显示装置
CN112650414B (zh) * 2020-12-30 2024-03-22 安徽鸿程光电有限公司 触控装置、触控点定位方法、模块、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458599A (zh) * 2007-12-14 2009-06-17 清华大学 触摸屏、触摸屏的制备方法及使用该触摸屏的显示装置
CN102662535A (zh) * 2011-11-18 2012-09-12 友达光电股份有限公司 可侦测物体的显示器及其控制方法
CN104238831A (zh) * 2009-04-16 2014-12-24 内奥诺德公司 利用反射光的光学触摸屏幕系统
US8994696B2 (en) * 2012-10-30 2015-03-31 Elo Touch Solutions, Inc. Acoustic touch apparatus with addressable multi-touch capability

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6741237B1 (en) 2001-08-23 2004-05-25 Rockwell Automation Technologies, Inc. Touch screen
US7411584B2 (en) * 2003-12-31 2008-08-12 3M Innovative Properties Company Touch sensitive device employing bending wave vibration sensing and excitation transducers
US8243048B2 (en) 2007-04-25 2012-08-14 Elo Touch Solutions, Inc. Touchscreen for detecting multiple touches
US8251909B2 (en) 2007-07-16 2012-08-28 Arnold Stephen C Acoustic imaging probe incorporating photoacoustic excitation
US8395685B2 (en) 2008-07-07 2013-03-12 The Charles Stark Draper Laboratory, Inc. Wide dynamic range imaging sensor and method
US8941625B2 (en) * 2009-07-07 2015-01-27 Elliptic Laboratories As Control using movements
KR101100369B1 (ko) * 2010-04-23 2011-12-30 (주)나노티에스 3차원 터치 위치 검출 장치 및 방법과, 이를 갖는 3차원 터치 스크린 시스템
KR20120069204A (ko) 2010-12-20 2012-06-28 동우 화인켐 주식회사 위치 입력 장치
US9477350B2 (en) * 2011-04-26 2016-10-25 Sentons Inc. Method and apparatus for active ultrasonic touch devices
US9189109B2 (en) * 2012-07-18 2015-11-17 Sentons Inc. Detection of type of object used to provide a touch contact input
EP2581814A1 (en) * 2011-10-14 2013-04-17 Elo Touch Solutions, Inc. Method for detecting a touch-and-hold touch event and corresponding device
WO2013074471A1 (en) 2011-11-15 2013-05-23 Elo Touch Solutions, Inc. Radial transducer & radial layout for acoustic wave touch sensor
US9201546B2 (en) * 2012-03-09 2015-12-01 Elo Touch Solutions, Inc. Acoustic touch apparatus with multi-touch capability
KR101985498B1 (ko) 2012-06-19 2019-06-03 엘지전자 주식회사 위치 검출 장치 및 그 방법
US9348468B2 (en) * 2013-06-07 2016-05-24 Sentons Inc. Detecting multi-touch inputs
KR102226535B1 (ko) * 2013-10-28 2021-03-11 삼성전자주식회사 스크린을 제어하는 전자 장치 및 방법
CN104636002B (zh) * 2013-11-14 2019-04-05 中兴通讯股份有限公司 一种触摸屏及终端
CN104216576B (zh) * 2014-08-27 2018-05-11 合肥鑫晟光电科技有限公司 一种表面声波触摸屏及触摸显示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458599A (zh) * 2007-12-14 2009-06-17 清华大学 触摸屏、触摸屏的制备方法及使用该触摸屏的显示装置
CN104238831A (zh) * 2009-04-16 2014-12-24 内奥诺德公司 利用反射光的光学触摸屏幕系统
CN102662535A (zh) * 2011-11-18 2012-09-12 友达光电股份有限公司 可侦测物体的显示器及其控制方法
US8994696B2 (en) * 2012-10-30 2015-03-31 Elo Touch Solutions, Inc. Acoustic touch apparatus with addressable multi-touch capability

Also Published As

Publication number Publication date
US9785288B2 (en) 2017-10-10
CN106227392A (zh) 2016-12-14
US20160357279A1 (en) 2016-12-08
WO2016195306A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
CN106227392B (zh) 触摸屏装置及其控制方法
US10067608B2 (en) Touch recognition apparatus and control method thereof
US8743065B2 (en) Method of identifying a multi-touch rotation gesture and device using the same
JP6572231B2 (ja) ディスプレイセンサ及びベゼルセンサのための伝導性トレース・ルーティング
US20140043251A1 (en) Dual Scanning with Automatic Gain Control
US20120249471A1 (en) Method of identifying a multi-touch rotation gesture and device using the same
US20120249487A1 (en) Method of identifying a multi-touch shifting gesture and device using the same
TW201510804A (zh) 觸控面板控制方法
US20110115821A1 (en) Control Method, Control Device and Electronic Device
US9317150B2 (en) Virtual and configurable touchscreens
WO2012129973A1 (en) Method of identifying multi-touch scaling gesture and device using the same
CN104991686A (zh) 一种超声波触控系统
CN107690611B (zh) 触摸识别设备及其控制方法
CN102722295A (zh) 一种触摸屏
US8952934B2 (en) Optical touch systems and methods for determining positions of objects using the same
EP3295286B1 (en) Touch screen apparatus and control method thereof
US9152275B2 (en) Optical touch system, method of touch detection and non-transitory computer readable medium recording program instructions
US11029798B2 (en) Display apparatus and method of controlling the same
CN103593085A (zh) 使用第一触摸接口和第二触摸接口来检测触摸事件
US8692785B2 (en) Method and system for detecting one or more objects
CN114546146A (zh) 触摸屏的触摸响应延时测量方法、装置、系统及交互平板
US9971457B2 (en) Audio augmentation of touch detection for surfaces
KR102093887B1 (ko) 이동 단말기 및 그 제어 방법
TWI442287B (zh) 感測式輸入裝置及其輸入方法
KR20190052977A (ko) 초음파를 이용한 위치 인식 장치, 시스템, 방법 및 이를 수행하는 프로그램이 기록되어 컴퓨터로 판독 가능한 기록매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201208

CF01 Termination of patent right due to non-payment of annual fee