CN110622115A - 触摸操作的表面 - Google Patents

触摸操作的表面 Download PDF

Info

Publication number
CN110622115A
CN110622115A CN201780090659.2A CN201780090659A CN110622115A CN 110622115 A CN110622115 A CN 110622115A CN 201780090659 A CN201780090659 A CN 201780090659A CN 110622115 A CN110622115 A CN 110622115A
Authority
CN
China
Prior art keywords
touch
location
signal
triggering
actuator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780090659.2A
Other languages
English (en)
Inventor
平木刚史
福本雅朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110622115A publication Critical patent/CN110622115A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0436—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which generating transducers and detecting transducers are attached to a single acoustic waves transmission substrate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种方法提供了基于表面的可触摸用户界面。该表面支持直接人机交互作为传统的触敏平台。根据该方法的实现，机械致动器传感器组件被布置在任何类型的对象处，并且该组件生成和感测在对象中传播的机械波。以这种方式，“可触摸”表面可以被创建。

Description

触摸操作的表面
背景技术
大面积显示器已经被广泛用于各个领域以进行演示或展示。同时，随着小型且廉价的投影仪的快速发展，已经可以携带便携式投影仪并且以放大模式将有趣的内容直接投影在表面(诸如会议室的墙壁)上以与他人共享内容。例如，用户可以使用投影仪将演示文稿传递给观众。
典型的投影仪系统不支持在表面上的投影用户界面(UI)上的直接人机交互，因为与触摸屏或触摸板不同，表面本身不具有任何触敏机制。在这种情况中，如果用户想要直接在投影的UI上执行操作或操纵内容，则用户通常需要手持无线被耦合到另一UI的附加设备，或者在手中或戴在他/她的身上。尤其对于那些喜欢涉及用手直接指向屏幕的演示样式的用户而言，这可能会带来不便。
发明内容
本文中描述的主题的实现提供了基于表面的可触摸用户界面(UI)。该表面支持直接人机交互作为传统触敏平台。根据本文中描述的主题的实现，机械波(诸如声波)致动器传感器组件被布置在任何类型的表面处，并且该组件生成和感测在对象中传播的机械波。以这种方式，可以创建“可触摸”的表面。然后，可以通过在对象中传递的机械波的特性来检测表面上的触摸。通过致动器传感器组件“主动”创建的触敏机制，以类似于在典型触摸板或触摸屏上触发事件的方式，用户可以通过直接在表面上进行直观的触摸操作来在表面上触发事件。
应当理解，本“发明内容”既不旨在标识本文中描述的主题的实现的关键或必要特征，也不旨在用于限制本文中描述的主题的范围。通过以下描述，本文中描述的主题的其他特征将变得容易理解。
附图说明
通过结合附图对本文中描述的主题的示例实现进行更详细的描述，本文中描述的主题的上述和其他目的、特征和优点将变得更加很清楚，其中在本文中描述的主题的示例实现中，相同的附图标记通常表示相同的组件。
图1是根据本文中描述的主题的实现的配备有可触摸表面的示例投影系统的示意性配置；
图2A示出了根据本文中描述的主题的实现的未被触摸的可触摸表面的示意图；
图2B示出了根据本文中描述的主题的实现的被触摸的图2A的可触摸表面的示意图；
图2C示意性地示出了当如图2A所示的表面未被触摸时的检测到的信号的模式；
图2D示意性地示出了当如图2B所示的表面被触摸时的检测到的信号的模式；
图3示出了其中可以实现本文中描述的主题的一个或多个实现的设备的示例实现的框图。
图4A示出了根据本文中描述的主题的实现的集成在单个单元内的示意性致动器传感器组件；
图4B示出了根据本文中描述的主题的实现的单独分布在表面上的示意性致动器传感器组件；
图5A示出了关于表面的中间对称轴的两个对称区域，其中图4A的集成致动器传感器组件被布置在中间底部部分处。
图5B示出了图5A所示的表面，其中在右上方区域处安装有固定组件。
图5C示出了表面，其中在右上区域处具有平坦拐角；
图5D示出了表面，其中在左上区域处安装有固定组件并且在右上区域处安装有平坦拐角。
图5E示出了致动器传感器组件在表面上的示例位置和取向；
图5F示出了致动器传感器组件在表面上的另一示例位置和定向；
图6示出了根据本文中描述的主题的实现的示例校准过程的流程图；
图7示出了根据本文中描述的主题的实现的配备有单独的致动器传感器组件的示例可触摸门；
图8示出了根据本文中描述的主题的实现的配备有非平坦可触摸表面的另一示例投影系统的示意性配置。
图9示出了根据本文中描述的主题的一种实现的用于检测对象的触摸表面上的触摸操作的计算机实现的方法的流程图；
图10示出了其中可以实现本文中描述的主题的一个或多个实现的电子设备的示例实现的框图。
具体实施方式
现在将参考若干示例实现来讨论本文中描述的主题。应当理解，这些实现被讨论仅用于使得本领域技术人员能够更好地理解并且因此实现本文中描述的主题的目的，而非暗示对主题范围的任何限制。
如本文中使用的，术语“包括”及其变型应当被理解为表示“包括但不限于”的开放术语。术语“基于”应当被理解为“至少部分基于”。术语“一种(one)实现”和“一种(an)实现”应当被理解为“至少一种实现”。术语“另一实现”应当被理解为“至少一种其他实现”。术语“第一”、“第二”等可以指代不同或相同的对象。下面可以包括其他定义(显式和隐式)。术语的定义在整个说明书中是一致的，除非上下文另外明确指出。
为了便于说明，参考投影仪系统描述根据本文中描述的主题的实现的触摸操作表面。然而，这仅是为了说明，而没有暗示对本文中描述的主题的范围的任何限制。应当注意，还已经设想了触摸操作系统1000的其他使用场景，这将在后面描述。
图1示出了根据本文中描述的主题的实现的示例触摸操作系统1000的概述。在该示例中，在不建议对本文中描述的主题的范围进行任何限制的情况中，触摸操作系统1000是投影仪系统。此外，贯穿本公开的机械波被描述为声波，并且贯穿本公开的相应的机械波致动器传感器组件被描述为声致动器传感器组件。使机械波在其中传播的介质发生振荡的任何其他类型的机械波也是可能的。
如图所示，触摸操作系统1000包括具有大面积投影表面310的对象300，并且致动器210和传感器220(有时称为致动器传感器组件200)布置成靠近对象300的表面310。在该示例中，致动器210和传感器220分别附接到对象300的表面310上。然而，应当注意，致动器210和传感器220的定位(location)仅是示意性的，并且它们可以根据请求被布置在表面310上的其他定位，这将在后面被提到。
系统1000还包括设备100(有时称为控制单元)。设备100包括处理单元110和被耦合到处理单元110的存储器120。设备100可以被编程或配置为执行存储在存储器120中的指令以经由声波生成信号211来控制致动器210的操作。以所接收的信号211作为输入，致动器210生成期望类型的声波作为输出。另一方面，设备100从传感器220接收信号221，并且基于所接收的信号221来确定是否在表面310上施加了触摸，并且还确定表面上的触摸的性质。
在该示例中，系统1000还包括投影仪相机系统400。投影仪410可操作以将感兴趣的内容投影在对象300的表面310上。在该示例中与投影仪410集成在一起的相机420用于通过各种图像处理技术来执行指尖检测，从而提高了触摸位置确定的准确性。因此，在该示例中，系统1000还包括在设备100与投影仪相机系统400之间的通信链路500，诸如光学或无线通信路径，使得设备100和投影仪相机系统400可以彼此通信以实现其间的协作。
应当注意，并非总是需要投影仪相机系统400。在一些实现中，仅基于声波的触摸操作表面就足以检测触摸特性并且准确地触发相应的事件或动作。稍后将描述不使用投影仪相机系统400的实现中的一些。
为了便于讨论，现在将参考参考图2A和图2B描述本文中描述的触摸操作系统1000的一些基本操作原理。
通常，在本文中描述的主题的各种实现中，弹性柔度的改变被用于标识是否在表面上施加了触摸。众所周知，每个对象具有取决于其形状、材料和边界条件的独特的弹性柔度。对象的负载和约束条件决定了边界条件，并且这些参数根据触摸的位置和压力而变化。因此，由于对象的形状和材料在短时间内不改变，因此对象的弹性柔度随着被施加在对象上的触摸而改变。
图2A和图2B分别示意性地示出了在表面310上没有被施加触摸时的对象300和在表面310上被施加有触摸时的对象300。为了基于变化的弹性柔度在对象300上构建可触摸UI，根据本文中描述的主题的实现，致动器210被布置在对象300的表面310附近，并且用于在对象300中生成声波。此外，传感器220也被布置在对象300的表面310附近，并且用于收集在对象300中传播的声波并且将所接收的声波转换为可测量信号。
如上所述，触摸将导致对象300的弹性柔度的变化。现在，随着所生成的声波在对象300中的传送，对象的弹性柔度的变化将不可避免地影响声波的传播路径。图2A和图2B示意性地示出了当在对象300上施加触摸时在对象300中传送的声波的传播路径301A、301B(统称为传播路径301)的变化。
对象300中的声波的传播路径301的变化进一步导致声波特性的变化，进而导致信号模式的变化。信号的模式与信号的强度和频率有关。图2C和图2D分别示意性地示出了在未被施加触摸(图2A所示)和被施加有触摸(图2B所示)时在频域中、即在信号的频谱中的检测到的信号的模式。在每种情况中，频谱的每个峰值对应于频率分量(标记为f1、f2、……、fn)。
这样，给定信号的模式，设备100的处理单元110可以确定在表面310上是否发生触摸，并且然后进一步确定表面310上的触摸位置和/或触摸压力。因此，设备100可以基于触摸位置和/或压力来触发相应的功能或事件，从而向用户提供一种直观方式用于经由表面310上的投影UI与机器进行交互。
与其中使用光学传感器或超声波传感器的一些传统解决方案相比，根据本文中描述的主题的实现的触摸操作系统1000在触摸实际上在表面310上发生的时间检测触摸。这表示，可以通过对用户指尖的触觉反馈来检测“真实”触摸。取而代之，这些基于光学传感器或超声波传感器的解决方案通常会检测用户的手或任何其他触摸工具(诸如笔和手写笔)是否遮挡了非常靠近表面的空间。
此外，在基于表面声波的一些传统解决方案中，需要特殊玻璃或片材上的电容式触摸屏膜片或电阻膜片。因此，膜片的安装是困难的，特别是当操作表面较大(诸如100英寸)时。相反，根据本文中描述的主题的实现的触摸操作系统1000不需要例如横跨整个操作表面的玻璃或薄片，这简化了表面的制造或准备。
发明人已经发现，原则上可以使用任何类型的对象来构建这种触敏机制。具体地，在一些实现中，对象300可以由各种材料制成，诸如混凝土、玻璃、木材、砂浆、塑料等。在一些实现中，对象300的表面积可以在宽范围内变化，例如，在10英寸至100英寸的范围内。在一些实现中，对象100的取向也可以根据使用场景而改变。这样，对象300的示例可以包括但不限于会议室的墙壁、公寓的门、壁挂板和水平桌面、窗玻璃、以及地板或天花板。
在一些实现中，致动器210和传感器220(或致动器传感器组件200)可以经由吸盘粘贴在对象300的表面上。使用这种吸盘，可以实现快速且牢固的安装。此外，与一些传统对象中的传统内置致动器传感器组件相比，这种易于附接且可拆卸的致动器传感器组件增强了不同表面之间的兼容性。
在一些实现中，致动器210可以选自接触扬声器、压电组件和巨磁材料(GMM)组件。因此，在一些实现中，传感器220可以选自接触麦克风、压电组件和GMM组件。
在一些实现中，致动器210被配置为生成高振动声能，诸如20W，以确保在传感器220处的可检测的信号强度，因为有时在特定材料中声振动能会迅速衰减。这对于传感器220在大面积表面(诸如100英寸)中远离致动器210安装的情况特别有利。
备选地或附加地，如图3的实现中所示，声放大器113和信号放大器114被设置为外部组件，并且分别被耦合到致动器210和传感器220。以这种方式，声放大器113驱动致动器210，并且信号放大器114放大从传感器220收集的微弱信号。在一些实现中，声放大器113和信号放大器114可以是集成在设备100内的组件(或电路)。
备选地或附加地，系统1000还可以包括滤波器(未示出)，该滤波器被配置为减少或什至消除来自信号的噪声。在一些实现中，这种滤波器可以被集成在信号放大器114内。
备选地或附加地，如图3所示的设备100的处理单元110还可以包括信号分析器112以对检测到的信号执行分析或评估。在一些实现中，信号分析器112可以是快速傅立叶变换(FFT)分析器，其通过使用FFT将从传感器220测量的信号221(尤其是放大信号)转换为频谱。有利地，这提供了对噪声的鲁棒性，尤其是在与被测信号相关联的信噪比(SNR)很低时。
因此，在一些实现中，在如图3所示的一些实现中，处理单元111还包括声发生器111。在这种情况中，基于从声发生器111接收到的指令或推荐，致动器210可生成具有在听不见的频率范围内的多个频率分量的声波。这是有益的，因为人们通常听不到在听不见的范围内的声音，并且因此不会被所生成的在这样的频率范围内的声波所打扰。
另外，在FFT之后，具有多个频率分量的这种声波将具有丰富的频谱信息，即如图3所示的多个频率分量f1、f2、……、fn，这将促进将一个信号模式与另一信号模式区分开，从而使得能够标识多个触摸特性。这是因为，通过比较多个峰中的每个峰(例如，相对高度和峰位移)，仍然可以区分出即使具有细微差异(在位置和/或压力方面)的两个触摸操作。
在示例实现中，由声波发生器提供的声信号是在16kHz至20kHz的范围内的线性调频信号。图3示意性地示出了其中频率随着时间增加(或减小)的线性调频信号。然而，应当理解，该示例不暗示对本文中描述的主题的范围的限制，并且可以使用适合于标识触摸特性的任何类型的信号(以及任何类型的声波)。
在如图4A所示的一些实现中，致动器210和传感器220可以作为致动器传感器组件200集成在一个单元200内，并且安装在表面310上。在表面上安装一个单元200降低了安装难度，同时增加了组件200的完整性。
在如图4B所示的一些其他实现中，致动器210和传感器220被分离地布置在表面310上。如图4B的示例中所示，致动器210和传感器220对角地并且彼此分开地布置。利用单独布置的致动器210和传感器220，由于两个组件之间的距离，可以容易地标识触摸。仍然应当理解，致动器210和传感器220的这种示例性布置并不暗示对本文中描述的主题的范围的限制，并且可以根据需要设想任何合适的布置。
此外，随着表面310上的致动器传感器组件200数目的增加，检测精度可以提高。然而，大量的致动器传感器组件200将增加安装的工作量。因此，在一些实现中，一个或两个致动器传感器组件200被安装为“检测精度”与“容易安装”之间的权衡设计。
应当注意，当传感器输出模式被很好地训练时(即，有足够的学习样本用于模式训练/识别)，仅一个致动器传感器组件就可以足以检测表面上的触摸的特性。与需要多个传感器来检测和比较由每个传感器接收的传播波的能量的传统定位确定解决方案相比，根据本文中描述的主题的基于信号模式的检测机制可以减少致动器传感器组件的数目，并且从而降低了成本。
然而，应当注意，在一个或两个致动器传感器组件200被对称地布置在诸如矩形表面等对称表面310上的实现中，系统1000可以另外包括固定或安装组件320，固定或安装组件320也被布置在对象300的表面310附近以人工地向对象300的对称表面310引入不对称性。
图5A示出了这样的对称(在该示例中为矩形)对象300，其中两个标记区域“A”311和“B”312对称地位于表面的对称轴330的两侧(由虚线表示)。在这一示例中，一个单元致动器传感器组件200安装在表面的底部区域的对称轴330处。在这种情况中，一个单元组件200不能将被施加在区域“A”311上的触摸与被施加在区域“B”312上的触摸区分开。此外，在对称表面310上的致动器传感器组件200的这样的对称布置中，驻波(未示出)可能站在特定位置。
为了解决这些问题，在如图5B所示的实现中，固定组件320可以例如安装在矩形表面的右上角，以破坏该表面的对称几何形状。在一些实现中，如上所述，致动器传感器组件200的位置以及固定组件320的位置和形状可以被进一步优化以抑制驻波的生成。
在如图5C所示的一些实现中，代替如图5B的示例中安装的固定组件320，可以通过创建对象300的平坦拐角330(即，去除直角拐角)来引入表面310的不对称性。尽管这种不对称形状可能难以在墙壁或门上实现，但是仍然可以在易于修改的一些对象(诸如用于粘贴海报的软板)中实现。
在如图5D所示的一些实现中，可以将多种类型的不对称性同时引入到同一表面上。如图5D所示，对象包括如图5C所示的平坦拐角330和如图5B所示的固定组件320。
图5E和5F示出了一些其他实现。在图5E中，选择致动器传感器组件200的位置和取向以减少“对称”状态。图5F还可以通过将致动器210和传感器220分开放置来减少“对称”状态。
基本上，不同的触摸操作可以生成不同的传感器输出序列(或“模式”)。以这种方式，用于时间同步的多个信号的任何可用模式识别技术都可以用作分类器(例如，机器学习)。
因此，在一些实现中，触发事件包括基于信号的模式来从对象300上的多个区域确定区域，很多区域中的每个与至少一个模式相关联，然后基于所确定的区域触发事件。
在这种情况中，继续参考图3，设备100还可以包括分类器115或与分类器115耦合以对具有相似特性的多个模式进行分组/聚类。例如，多个相似模式可以一起限定表面310的区域。该区域中的这些模式是先前从该区域内施加的一些触摸操作中获知的。
在一些实现中，只要检测到的模式与指示相同区域的任何先前获知和存储的模式具有某种相似性，就可以足以触发与该区域对应的特定事件，而无需接收到的模式至少与该区域内的所获知的模式完全匹配。
应当理解，有时用于创建可触摸UI的表面的属性是用户未知的。因此，在一些实现中，对于触摸操作系统的每次使用，在将致动器传感器组件200安装在表面310上之后，可能需要校准过程。
图6示出了根据本文中描述的主题的示例实现的示例校准过程600的流程图。如图6所示，在610处，首先收集在表面310上没有被施加触摸操作的状态。在这种情况中，可以实现指示没有被施加触摸的信号的第一模式(作为参考模式)。在某些情况中，只有经过很短的时间后，才可以收集第一模式。
在620处，将目标标记投影在表面的位置上。在630处，在对该位置施加触摸操作之后，收集与投影的目标标记相关联的触摸位置以进行位置校准，并且同时可以实现指示对该位置施加触摸的特定的第二模式。然后在表面上使用的标记位置将上述过程重复几次。在640处，形成位置与相应的第二模式之间的关系，该关系可以被存储并且用于训练分类器115。
为了建立完整的数据库，在一些实现中，可以关于很多其他参数执行如图6所示的方法，诸如不同的触摸压力、不同的墙壁类型和不同的墙壁尺寸。另外，在一些实现中，也可以在不同的参与者之间进行以上研究。
在示例实现中，当用户触摸如图1所示的投影区域350的左侧区域或右侧区域时，可以执行翻转滑动操作。作为另一示例，当用户触摸投影区域350的底部区域时，可以执行双击操作。当然，根据用户或应用的特定要求，表面310还可以划分为更多区域，例如五个、十个、二十个等。因此，可以将不同事件分配给由表面310定义的不同区域。
在另一示例实现中，代替投影区域350，用户可以触摸印刷或粘贴在诸如聚苯乙烯泡沫塑料板等对象300上的海报上的一些预定义位置。在这种情况中，当用户触摸海报上的特定区域时，可以从扬声器再现评论声音，或者当用户触摸插图面板时，可以再现角色的声音。
在另一示例实现中，致动器传感器组件200可以附接在桌子上(或在桌子后面)。在这种情况中，可以检测文具的位置。在另一示例实现中，该设备可以附接到椅子或床。在这种情况中，可以检测用户的姿势。
在另一示例实现中，致动器传感器组件200可以附接在地板上(或在地板后面)。在这种情况中，可以检测用户或家具在地板上的位置。而且，甚至可以检测“谁”在地板上。这是因为，当用户的身体直接接触地板时，所生成的声波还将至少部分传播通过用户的身体。在这种情况中，信号模式不仅受到用户体重的影响，而且还可以受到他/她的鞋子和衣服以及用户身体结构的影响，例如，用户的肌肉和脂肪的比例。
在一些实现中，触摸是手势的一部分，并且基于所确定的区域来触发事件包括从多个区域确定被施加有至少一个先前触摸的至少一个先前区域，并且至少一个先前触摸是手势的先前部分。然后，基于所确定的区域和至少一个先前区域来触发事件。
在示例实现中，如上所述的可触摸UI可以直接在公寓的普通门700上创建，而不需要如图1所示的投影仪系统。在这种情况中，手势可以定义用于锁定/解锁门的PIN码。在该实现中，可以通过将开发的单元嵌入在门600的背面上来安装触摸操作系统1000(或致动器传感器组件200)，这是因为，声音振动被传递，而不管它是来自门的正面还是背面。图7示出了具有从外部不可见的九个预定义区域(由数字“1”、“2”、……、“9”标记，并且统称为710)的这样的门锁系统，并且致动器210和传感器220也如上所述从外部不可见。图7中的不可见内容或组件由虚线表示。
以这种方式，不会损害景观，并且提高了安全性，因为门本身用作PIN码的输入区域，并且触摸操作系统(或致动器传感器组件200)不会暴露在外。现在，当用户使用这种系统锁定/解锁门时，似乎用户只是在“随机”触摸门700的不同区域。
再次参考图1，在一些实现中，触摸操作系统1000还可以包括投影仪相机子系统400。由虚线框指示的区域定义了表面310上的投影区域350，并且四个虚线360A、360B、360C和360D(统称为“360”)表示从投影仪410发射的投影线。
在需要高精度的触摸位置检测的一些实现中，这种投影仪相机子系统400可以很有帮助。因为，这样的系统400可以使用成像处理技术来准确地检测用户的指尖。
在如图1所示的一些实现中，设备100将指示触摸被施加在对象300上的信息提供给相机420的控制器430，以使得相机420能够确定在对象上施加触摸的指尖的定位。例如，相机420可以包括用于连续跟踪用户的指尖的深度传感器(未示出)。在一些实现中，指尖识别可以使用从深度传感器收集的深度数据并且基于在如图1所示的指尖检测单元431中提供的机器学习来实现。
利用所识别的指尖位置，相机420的控制器430然后可以向设备100发送回指尖的定位的指示。在设备100经由通信信道500接收到指尖的定位的指示之后，通过如上所述的基于声波的检测而确定的表面310上的触摸的位置基于所接收的指示被更新为更新后的位置。最后，根据更新后的位置(实际上是更准确的位置)，将触发相应的事件。
在一些实现中，利用这种确定的指尖位置，例如，显示在表面310上的光标可以连续地跟随用户的手。在这种情况中，系统可以用作普通的指点设备，诸如鼠标或指点杆。
图8示出了具有用于实现与投影映射应用的基于触摸的交互的非平坦表面的实现的另一示例。如图所示，大面积投影表面310具有弯曲或非平坦区域310B。因此，投影区域350可以具有变形或不连续的区域。例如，由于阴影区域601是投影仪410的“阴影”区域，因此没有图像被投影在阴影区域601上。如果相机420在阴影区域601中，则相机420也无法捕获指点定位602。传统的基于相机的交互系统仅通过相机420来检测指点定位，因此它不能检测阴影区域601中的指点动作602。另一方面，所提出的系统可以通过使用基于声学的检测机制来检测阴影区域601中的指点动作602。
在一些实现中，根据信号的模式，还可以实现对象300上的触摸的压力信息。在一些实现中，通过使用被施加在表面310上的压力信息，除了2D位置之外，还可以基于压力来触发不同的事件。利用除了位置信息之外的压力信息，可以实现更复杂的动作。
在示例实现中，用户可以允许使用如上所述的触摸操作系统1000查看顺序的脑磁共振成像(MRI)扫描。用户可以通过经由传统触摸(例如，使用0.75kgf的触摸压力)在x和y方向上进行操纵图像来有效浏览表面310上的图像，另一方面，用户可以通过硬触摸(例如，使用2.98kgf的触摸压力)在z方向上放大图像。当然，根据用户的具体应用或要求，触摸压力还可以分为两个以上的等级。
在其中用户可以利用触摸压力来切换应用的动作的另一示例实现中，用户可以通过正常触摸来在x和y方向上查看和操纵地图图像，另一方面，用户可以通过硬触摸来获取详细的图片。
图9示出了根据本文中描述的主题的一种实现的用于检测对象300的触摸表面310上的触摸操作的计算机实现的方法800的流程图。
如图9所示，在910处，接收与在对象中传播的声波对应的信号。在920处，通过检测信号的模式来确定声波在对象中的传播路径是否被改变。信号的模式与信号的强度和频率中的至少一项有关。在930处，响应于确定信号的传播路径被改变，确定被施加在对象上的触摸。
在下文中，在图10中示出了设备100的示例实现。在该示例中，电子设备100是通用计算设备的形式。电子设备100的组件可以包括但不限于一个或多个处理器或处理单元110、存储器120、一个或多个输入设备1030、一个或多个输出设备1040、存储装置1050和一个或多个通信单元1060。处理单元110可以是真实或虚拟处理器，并且能够根据存储器120中存储的程序来执行各种处理。在多处理系统中，多个处理单元执行计算机可执行指令以增加处理能力。
电子设备100通常包括各种机器可读介质。这样的介质可以是计算系统/服务器可访问的任何可用介质，包括易失性和非易失性介质、可移动和不可移动介质。存储器120可以是易失性存储器(例如，寄存器、高速缓存、随机存取存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM))、闪存)或其某种组合。存储装置1050可以是可移动的或不可移动的，并且可以包括机器可读介质，诸如闪存驱动器、磁盘或可以用于存储信息并且可以在电子设备100内访问的任何其他介质。
电子设备100还可以包括其他可移动/不可移动、易失性/非易失性计算系统存储介质。尽管未在图10中示出，但是可以提供用于从可移动非易失性磁盘(例如，“软盘”)读取或向其写入的磁盘驱动器、以及用于从可移动非易失性光盘读取或向其写入的光盘驱动器。存储器120可以包括具有被配置为执行本文中描述的主题的各种实现的功能的一组(例如，至少一个)程序模块的至少一个程序产品。
具有一组(至少一个)程序模块1024的程序/实用工具1022可以存储在例如存储器120中。这样的程序模块1024包括但不限于操作系统、一个或多个应用、其他程序模块和程序数据。这些示例的每个或某些组合可以包括联网环境的实现。程序模块1024通常执行本文中描述的主题的实现的功能和/或方法，例如方法600和方法800。
输入单元1030可以是各种不同的输入设备中的一种或多种。例如，输入单元1030可以包括用户设备，诸如鼠标、键盘、轨迹球、指点杆等。输入单元1030可以实现一种或多种自然用户界面技术，诸如语音识别或触摸和手写笔识别。作为其他示例，输入单元1030可以包括扫描设备、网络适配器或向电子设备10提供输入的另一设备。输出单元1040可以是显示器、打印机、扬声器、网络适配器或提供来自电子设备10的输出的另一设备。输入单元1030和输出单元1040可以并入诸如触摸屏或虚拟现实系统等单个系统或设备中。
处理单元110可以通过使用信号的模式来检测用户在对象300的表面310上的触摸。在检测到用户的触摸时，处理单元110可以响应于触摸表面的不同位置被触摸而触发不同的事件。通常，本文中描述的所有方法可以由处理单元110实现。
通信单元1060使得能够通过通信介质与另一计算实体进行通信。另外，电子设备100的组件的功能可以在单个计算机或能够通过通信连接进行通信的多个计算机中实现。因此，电子设备100可以使用到一个或多个其他服务器、网络个人计算机(PC)或另一公共网络节点的逻辑连接在联网环境中操作。作为示例而非限制，通信介质包括有线或无线联网技术。
电子设备100还可以根据需要与一个或多个外部设备(未示出)(诸如存储设备、显示设备等)、使得用户能够与电子设备100交互的一个或多个设备、和/或使得电子设备100能够与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。
本文中描述的功能可以至少部分由一个或多个硬件逻辑组件执行。例如而非限制，可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、系统级芯片系统(SOC)、复杂可编程逻辑器件(CPLD)等。
用于执行本文中描述的主题的方法的程序代码可以用一种或多种编程语言的任何组合来编写。这些程序代码可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器或控制器，以使得该程序代码在由处理器或控制器执行时使得在流程图和/或框图中指定的功能/操作被实现。程序代码可以完全在机器上执行，部分在机器上执行，作为独立软件包执行，部分在机器上并且部分在远程机器上执行，或者完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是可以包含或存储供指令执行系统、装置或设备使用或与其相结合使用的程序的任何有形介质。机器可读介质可以是机器可读信号介质或机器可读存储介质。机器可读介质可以包括但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备、或上述各项的任何合适的组合。机器可读存储介质的更具体示例将包括具有一根或多根电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程读取器只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备或上述各项的任何合适组合。
此外，尽管以特定顺序描绘操作，但是这不应当被理解为要求这样的操作以所示的特定顺序或以连续的顺序执行，或者执行所有示出的操作，以实现期望的结果。在某些情况中，多任务和并行处理可能是有利的。同样，尽管以上讨论中包含若干特定实现细节，但是这些细节不应当被解释为对本文中描述的主题范围的限制，而应当被解释为对可以特定于特定实现的特征的描述。在单独实现的上下文中描述的某些特征也可以在单个实现中组合实现。相反，在单个实现的上下文中描述的各种特征也可以分别在多个实现中或以任何合适的子组合来实现。
在下文中，将列出本文中描述的主题的一些示例实现。
在一些实现中，提供了一种设备。该设备包括：处理单元；以及被耦合到处理单元并且在其上存储有指令的存储器，这些指令在由处理单元执行时，使得该设备执行动作，这些动作包括：接收与在对象中传播的机械波对应的信号；通过检测信号的模式来确定机械波在对象中的传播路径是否被改变，信号的模式与信号的强度和频率中的至少一项有关；以及响应于确定信号的传播路径被改变，确定触摸被施加在对象上。
在一些实现中，这些动作还包括：使得致动器生成在对象中传播的机械波。
在一些实现中，使得致动器生成机械波包括：使得致动器生成具有在16kHz至20kHz的范围内的多个频率分量的机械波。
在一些实现中，这些动作还包括：从信号的模式确定触摸的属性，属性至少指示被施加在对象上的触摸的第一位置；以及至少基于触摸的第一位置来触发事件。
在一些实现中，属性还指示对象上的触摸的压力，并且触发事件包括：基于第一位置和触摸的压力来触发事件。
在一些实现中，触发事件包括：基于信号的模式来从对象上的多个区域确定区域，多个区域中的每个区域与至少一个模式相关联；以及基于所确定的区域来触发事件。
在一些实现中，触摸是手势的一部分，并且基于所确定的区域来触发事件包括：从多个区域确定被施加有至少一个先前触摸的至少一个先前区域，至少一个先前触摸是手势的先前部分；以及基于所确定的区域和至少一个先前区域来触发事件。
在一些实现中，这些动作还包括：向相机的控制器提供关于被施加在对象上的触摸的信息，以使得相机能够确定在对象上施加触摸的触摸工具的定位。
在一些实现中，触发事件包括：从相机的控制器接收触摸工具的定位的指示；基于所接收的指示来将对象上的触摸的第一位置校准到第二位置；以及基于第二位置来触发事件。
在一些实现中，提供了一种触摸操作系统，该系统包括：被配置为生成在对象中传播的机械波的致动器；以及传感器，该传感器被配置为：响应于被施加在对象上的触摸，检测机械波的传播路径的变化；生成表示机械波的传播路径的检测到的变化的信号；以及将信号提供给根据本文中描述的主题的实现的设备。
在一些实现中，致动器被配置为生成具有在16kHz至20kHz的范围内的多个频率分量的机械波。
在一些实现中，致动器选自包括以下的组：接触扬声器；压电组件；以及巨磁组件。
在一些实现中，致动器和传感器被可拆卸地布置在对象的表面上。
在一些实现中，致动器和传感器被分离地布置在对象的表面上。
在一些实现中，该系统还包括：被布置在对象的表面附近以用于向对象的表面引入不对称性的固定组件。
在一些实现中，提供了一种计算机实现的方法。该方法包括：接收与在对象中传播的机械波对应的信号；通过检测信号的模式来确定机械波在对象中的传播路径是否被改变，信号的模式与信号的强度和频率中的至少一项有关；以及响应于确定信号的传播路径被改变，确定触摸被施加在对象上。
在一些实现中，该方法还包括：从信号的模式确定触摸的属性，属性至少指示被施加在对象上的触摸的第一位置；以及至少基于触摸的第一位置来触发事件。
在一些实现中，属性还指示对象上的触摸的压力，并且触发事件包括：基于第一位置和触摸的压力来触发事件。
在一些实现中，该方法还包括：向相机的控制器提供关于被施加在对象上的触摸的信息，以使得相机能够确定在对象上施加触摸的触摸工具的定位。
在一些实现中，触发事件包括：从相机的控制器接收触摸工具的定位的指示；基于所接收的指示来将对象上的触摸的第一位置校准到第二位置；以及基于第二位置来触发事件。

Claims (20)

1.一种设备，包括：
处理单元；以及
存储器，被耦合到所述处理单元并且在其上存储有指令，所述指令在由所述处理单元执行时，使得所述设备执行动作，所述动作包括：
接收与在对象中传播的机械波对应的信号；
通过检测所述信号的模式来确定所述机械波在所述对象中的传播路径是否被改变，所述信号的所述模式与所述信号的强度和频率中的至少一项有关；以及
响应于确定所述信号的传播路径被改变，确定触摸被施加在所述对象上。
2.根据权利要求1所述的设备，所述动作还包括：
使得致动器生成在所述对象中传播的所述机械波。
3.根据权利要求2所述的设备，其中使得致动器生成所述机械波包括：
使得所述致动器生成具有在16kHz至20kHz的范围内的多个频率分量的所述机械波。
4.根据权利要求1所述的设备，所述动作还包括：
从所述信号的所述模式确定所述触摸的属性，所述属性至少指示被施加在所述对象上的所述触摸的第一位置；以及
至少基于所述触摸的所述第一位置来触发事件。
5.根据权利要求4所述的设备，其中所述属性还指示所述对象上的所述触摸的压力，并且触发事件包括：
基于所述第一位置和所述触摸的所述压力来触发所述事件。
6.根据权利要求4所述的设备，其中触发事件包括：
基于所述信号的所述模式来从所述对象上的多个区域确定区域，所述多个区域中的每个区域与至少一个模式相关联；以及
基于所确定的所述区域来触发所述事件。
7.根据权利要求6所述的设备，其中所述触摸是手势的一部分，并且基于所确定的所述区域来触发所述事件包括：
从所述多个区域确定被施加有至少一个先前触摸的至少一个先前区域，所述至少一个先前触摸是所述手势的先前部分；以及
基于所确定的所述区域和所述至少一个先前区域来触发所述事件。
8.根据权利要求4所述的设备，所述动作还包括：
向相机的控制器提供关于被施加在所述对象上的所述触摸的信息，以使得所述相机能够确定在所述对象上施加所述触摸的触摸工具的定位。
9.根据权利要求8所述的设备，其中触发所述事件包括：
从所述相机的控制器接收所述触摸工具的所述定位的指示；
基于所接收的所述指示来将所述对象上的所述触摸的所述第一位置校准到第二位置；以及
基于所述第二位置来触发所述事件。
10.一种触摸操作的系统，包括：
致动器，被配置为生成在对象中传播的机械波；以及
传感器，被配置为：
响应于被施加在所述对象上的触摸，检测所述机械波的传播路径的变化；
生成表示所述机械波的所述传播路径的检测到的所述变化的信号；以及
将所述信号提供给根据权利要求1至9中任一项所述的设备。
11.根据权利要求10所述的系统，其中所述致动器被配置为生成具有在16kHz至20kHz的范围内的多个频率分量的所述机械波。
12.根据权利要求10所述的系统，所述致动器选自包括以下的组：
接触扬声器；
压电组件；以及
巨磁组件。
13.根据权利要求10所述的系统，其中所述致动器和所述传感器被可拆卸地布置在所述对象的表面上。
14.根据权利要求13所述的系统，其中所述致动器和所述传感器被分离地布置在所述对象的所述表面上。
15.根据权利要求10所述的系统，还包括：
固定组件，被布置在所述对象的所述表面附近以用于向所述对象的所述表面引入不对称性。
16.一种计算机实现的方法，包括：
接收与在对象中传播的机械波对应的信号；
通过检测所述信号的模式来确定所述机械波在所述对象中的传播路径是否被改变，所述信号的所述模式与所述信号的强度和频率中的至少一项有关；以及
响应于确定所述信号的所述传播路径被改变，确定触摸被施加在所述对象上。
17.根据权利要求16所述的方法，还包括：
从所述信号的所述模式确定所述触摸的属性，所述属性至少指示被施加在所述对象上的所述触摸的第一位置；以及
至少基于所述触摸的所述第一位置来触发事件。
18.根据权利要求17所述的方法，其中所述属性还指示所述对象上的所述触摸的压力，并且触发事件包括：
基于所述第一位置和所述触摸的所述压力来触发所述事件。
19.根据权利要求17所述的方法，还包括：
向相机的控制器提供关于被施加在所述对象上的所述触摸的信息，以使得所述相机能够确定在所述对象上施加所述触摸的触摸工具的定位。
20.根据权利要求19所述的方法，其中触发所述事件包括：
从所述相机的控制器接收所述触摸工具的所述定位的指示；
基于所接收的所述指示来将所述对象上的所述触摸的所述第一位置校准到第二位置；以及
基于所述第二位置来触发所述事件。
CN201780090659.2A 2017-05-12 2017-05-12 触摸操作的表面 Pending CN110622115A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/084198 WO2018205275A1 (en) 2017-05-12 2017-05-12 Touch operated surface

Publications (1)

Publication Number Publication Date
CN110622115A true CN110622115A (zh) 2019-12-27

Family

ID=64104376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780090659.2A Pending CN110622115A (zh) 2017-05-12 2017-05-12 触摸操作的表面

Country Status (3)

Country Link
US (1) US11061514B2 (zh)
CN (1) CN110622115A (zh)
WO (1) WO2018205275A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230081827A1 (en) * 2021-09-08 2023-03-16 Samsung Electronics Co., Ltd. Method and apparatus for estimating touch locations and touch pressures

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0202772D0 (en) * 2002-02-06 2002-03-27 Soundtouch Ltd Input apparatus
CN102289320A (zh) * 2011-08-08 2011-12-21 刘源 可自定义显示界面范围的多点触控展示方法
US20130093731A1 (en) * 2011-10-14 2013-04-18 Daniel H. Scharff Acoustic Touch Apparatus
US20130108061A1 (en) * 2010-08-26 2013-05-02 A School Corporation Kansai University Piezoelectric device
US20150009185A1 (en) * 2013-07-08 2015-01-08 Corning Incorporated Touch systems and methods employing acoustic sensing in a thin cover glass
US9465577B1 (en) * 2010-03-26 2016-10-11 Open Invention Network Llc Method and apparatus for processing data based on touch events on a touch sensitive device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7157649B2 (en) * 1999-12-23 2007-01-02 New Transducers Limited Contact sensitive device
JP3862516B2 (ja) * 2001-05-15 2006-12-27 富士通株式会社 タッチパネル装置
GB0116310D0 (en) * 2001-07-04 2001-08-29 New Transducers Ltd Contact sensitive device
US7978184B2 (en) 2002-11-08 2011-07-12 American Greetings Corporation Interactive window display
CN2611974Y (zh) 2003-03-31 2004-04-14 深圳市先导电子有限公司 手写输入发射和接收装置
US20060139339A1 (en) * 2004-12-29 2006-06-29 Pechman Robert J Touch location determination using vibration wave packet dispersion
US7499039B2 (en) * 2005-01-10 2009-03-03 3M Innovative Properties Company Iterative method for determining touch location
JP4506742B2 (ja) * 2006-01-27 2010-07-21 エプソンイメージングデバイス株式会社 タッチパネル、電気光学装置及び電子機器
FR2916545B1 (fr) * 2007-05-23 2009-11-20 Inst Pour Le Dev De La Science Procede pour localiser un toucher sur une surface et dispositif pour la mise en oeuvre de ce procede.
US20090273583A1 (en) * 2008-05-05 2009-11-05 Sony Ericsson Mobile Communications Ab Contact sensitive display
AU2010300077A1 (en) * 2009-09-22 2012-05-17 Rpo Pty Limited Projection systems for touch input devices
KR20110111031A (ko) * 2010-04-02 2011-10-10 삼성전자주식회사 복합 터치 스크린 패널 장치
FR2967788B1 (fr) * 2010-11-23 2012-12-14 Commissariat Energie Atomique Systeme de detection et de localisation d’une perturbation d’un milieu, procede et programme d’ordinateur correspondants
US9189109B2 (en) * 2012-07-18 2015-11-17 Sentons Inc. Detection of type of object used to provide a touch contact input
GB201117542D0 (en) 2011-10-11 2011-11-23 Light Blue Optics Ltd Touch-sensitive display devices
CN103513499A (zh) 2012-06-29 2014-01-15 建兴电子科技股份有限公司 影像投影装置及其侦测方法
CN204066012U (zh) 2014-07-31 2014-12-31 联想(北京)有限公司 一种投影装置
US9946298B2 (en) 2015-04-08 2018-04-17 Mediatek Inc. Wearable device interactive system
CN106610757B (zh) 2016-08-26 2019-08-02 北京一数科技有限公司 一种投影触控方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0202772D0 (en) * 2002-02-06 2002-03-27 Soundtouch Ltd Input apparatus
US9465577B1 (en) * 2010-03-26 2016-10-11 Open Invention Network Llc Method and apparatus for processing data based on touch events on a touch sensitive device
US20130108061A1 (en) * 2010-08-26 2013-05-02 A School Corporation Kansai University Piezoelectric device
CN102289320A (zh) * 2011-08-08 2011-12-21 刘源 可自定义显示界面范围的多点触控展示方法
US20130093731A1 (en) * 2011-10-14 2013-04-18 Daniel H. Scharff Acoustic Touch Apparatus
US20150009185A1 (en) * 2013-07-08 2015-01-08 Corning Incorporated Touch systems and methods employing acoustic sensing in a thin cover glass

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
窦振中: "《常用信息技术设备教程》[M]", 北京：高等教育出版社, pages: 60 - 61 *

Also Published As

Publication number Publication date
WO2018205275A1 (en) 2018-11-15
US11061514B2 (en) 2021-07-13
US20200167036A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
US12118134B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
CN105683882B (zh) 等待时间测量与测试系统和方法
US7973778B2 (en) Visual simulation of touch pressure
US8614669B2 (en) Touchless tablet method and system thereof
US7158117B2 (en) Coordinate input apparatus and control method thereof, coordinate input pointing tool, and program
US8743089B2 (en) Information processing apparatus and control method thereof
CN109952551A (zh) 触敏键盘
US20130141396A1 (en) Virtual keyboard interaction using touch input force
Schmitz et al. ./trilaterate: A fabrication pipeline to design and 3D print hover-, touch-, and force-sensitive objects
US20120110447A1 (en) Control of virtual object using device touch interface functionality
JP2006323823A (ja) 音ベースの仮想キーボード、装置、及び方法
KR101019254B1 (ko) 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
TW200907770A (en) Integrated touch pad and pen-based tablet input system
CN103529942A (zh) 基于免接触的手势的输入
TW201135553A (en) Contact sensitive device for detecting temporally overlapping traces
CN105531756A (zh) 信息处理装置、信息处理方法和计算机程序
US11907464B2 (en) Identifying a contact type
CN108628492A (zh) 用于显示装置中的力敏组件的方法和系统
US11061514B2 (en) Touch operated surface
De Pra et al. Infrared vs. ultrasonic finger detection on a virtual piano keyboard
Braun et al. CapTap: combining capacitive gesture recognition and acoustic touch detection
Yoshida et al. Smatable: A Vibration-Based Sensing Method for Making Ordinary Tables Touch-Interfaces
Funk et al. Martin Schmitz Martin Stitz Florian Müller Technische Universität Darmstadt Technische Universität Darmstadt Technische Universität Darmstadt Darmstadt, Germany Darmstadt, Germany Darmstadt, Germany schmitz@ tk. tu-darmstadt. de stitz@ tk. tu-darmstadt. de mueller@ tk. tu-darmstadt. de
Crevoisier et al. Transforming daily life objects into tactile interfaces
Park Evaluation of interaction tools for augmented reality based digital storytelling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination