CN109074221A - 显示设备的声音的选择性衰减 - Google Patents

显示设备的声音的选择性衰减 Download PDF

Info

Publication number
CN109074221A
CN109074221A CN201780023861.3A CN201780023861A CN109074221A CN 109074221 A CN109074221 A CN 109074221A CN 201780023861 A CN201780023861 A CN 201780023861A CN 109074221 A CN109074221 A CN 109074221A
Authority
CN
China
Prior art keywords
contact
sound
display equipment
input object
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780023861.3A
Other languages
English (en)
Other versions
CN109074221B (zh
Inventor
S·M·唐纳利
J·D·威尔森
D·瓦尔拉莫夫
E·伊米尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109074221A publication Critical patent/CN109074221A/zh
Application granted granted Critical
Publication of CN109074221B publication Critical patent/CN109074221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04166Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

显示设备包括感测子系统,该感测子系统被配置成检测与经由输入对象在显示设备的表面处的接触而发生的对显示设备的触摸输入相关联的一个或多个条件。显示设备进一步包括被配置成接收声音的话筒系统、逻辑机和保持指令的存储机。这些指令能由逻辑机执行以基于一个或多个条件确定接触的时间;至少基于该接触时间确定接触的声音特性;以及经由应用选择性衰减来处理被接收到话筒系统中的声音以生成音频输出。选择性衰减基于声音特性来被选择,并且在起始于经确定的接触时间处的时间间隔上被应用。

Description

显示设备的声音的选择性衰减
背景
用户可通过使用一个或多个输入对象与触敏显示设备的表面进行交互来操纵该显示设备的各种软件/硬件组件。这样的输入对象可包括无源触控笔、有源触控笔、人类手指等。显示设备可附加地包括一个或多个话筒,以用于在显示设备的本地环境中捕捉音频。此类音频可经由一个或多个内部/外部扬声器来被记录、播放,并且/或者通过计算机网络来被传送。在一些情形中,话筒可拾取由触控笔或其他输入对象与显示器表面之间的接触产生的声音。
附图简述
图1描绘了示例触敏显示设备。
图2描绘了图1的触敏显示设备的光学堆叠及相关联的子系统。
图3描绘了可被包括在图2的光学堆叠中的示例电极矩阵。
图4描绘了能与图1的触敏显示设备一起使用的示例输入对象。
图5描绘了示例触敏显示设备。
图6描绘了接近触敏显示设备的示例输入对象。
图7描绘了与接触相关联的声音的选择性衰减。
图8描绘了基于声音特性的选择性衰减的选择。
图9描绘了用于衰减声音的示例方法。
图10描绘了示例计算系统。
详细描述
本公开的讨论涉及降低/最小化由接触触敏显示设备的表面的对象产生的不需要的声音。这些声音可以连同显示设备附近的话音和其他声音一起被接收到与触敏显示器相关联的话筒系统中。所接收的声音接着被处理以生成音频输出,其可以以各种方式和在各种位置处被呈现给收听者。配备话筒的显示设备被用于各种各样的设置中,以记录/传送在设备的本地环境中出现的期望的声音(例如,人类语音、音乐)。例如,触敏显示设备可被用来在用户参加会议或课程时记录声音。附加地或替代地,用户可使用触敏显示设备通过计算机网络与其他计算设备(例如,台式计算机、膝上型计算机、移动电话、平板设备、机顶盒)的用户进行口头通信。
如以上所指出,当话筒系统正在接收环境声音(例如,会议室会议中的参与者的话音)时,触敏显示设备的用户可通过使用输入对象来与设备交互。尽管输入对象可包括各种有源触控笔和无源触控笔以及用户的手指,但是本文中所讨论的声音衰减办法可以与同显示设备的表面形成接触的任何类型的输入对象一起在其使用过程期间被采用。
输入对象和显示设备的表面之间的接触可产生轻敲声或其他可听的接触声,这些声音可由话筒系统接收并且被包括在最终被呈现给收听者的音频输出中。相应地,期望的声音(例如,会议中的对话)可能受到音频输出中的接触声(例如,触控笔/手指在显示器上轻敲、触控笔/手指跨显示器的表面的滑动)的负面影响。此类接触声可能只不过是分散注意力,或者在最坏的情况下可能使得期望的声音听不见。例如,在课堂讲座中,常见的用例示例是学生在录制讲座时用触控笔来记笔记。此类笔记记录将涉及触控笔与用户设备的输入表面的持续和频繁的接触。由此产生的敲击声可潜在地使音频无法使用。
相应地,本公开构想了一种被配置成接收、处理和输出声音的显示设备,其中该处理包括选择性地衰减所接收的声音以至少部分地衰减由触控笔、手指或其他输入对象产生的接触声。该显示设备包括被配置成检测与触控笔或其他输入对象的触摸输入相关联的一个或多个条件的感测子系统。检测到的条件被以各种方式用来控制话筒系统内的选择性衰减,以降低/消除不需要的接触声。在一些实例中,检测到的条件被用来预测接触将发生的时间,以及使用在接触的时间处开始的定制衰减。通常,期望衰减尽可能地受时间限制,即,在接触的时间处开始并且仅持续和接触声将负面地影响音频体验一样长的时间。
图1示出了包括触摸传感器101的触敏显示设备100。在一些示例中,尽管显示设备100可以是例如具有大于1米的对角线尺寸D的大幅面显示设备,但是显示器可采取任何合适大小。例如,类似于显示器100的显示器可以与智能电话、平板、膝上型计算机、可转换计算机和/或任何其他计算设备一起使用。显示设备100可被配置成检测显示设备的表面与一个或多个输入对象之间的触摸输入,诸如经由用户的手指102赋予的触摸输入和/或由输入设备104(在图1中被示为触控笔)提供的输入。手指102和输入设备104是作为非限制性示例被提供的,并且任何其他合适的输入对象可结合显示设备100被使用。显示设备100可被配置成从与显示设备100接触的输入对象接收输入。附加地,显示设备100可被配置成从不与显示设备100接触的输入对象(例如,悬停在显示器的表面附近和/或以恒定/可变速率接近显示器的表面的输入设备)接收输入。显示设备100的各种组件可用于检测与此类触摸输入相关联的条件,以便预测尚未发生的接触的一个或多个声音特性,如下面将进一步详细描述的。如本文中所使用的“触摸输入”指代从与显示设备100接触的输入对象以及未与/尚未与显示设备接触的输入对象接收的输入。在一些示例中,显示设备100可被配置成同时接收来自两个或更多个源的输入,在该情形中,显示设备可被称为多点触摸显示设备。
显示设备100可被可操作地耦合到图像源106,图像源106可以是例如在显示设备100外部或被容纳在显示设备100内的计算设备。图像源106可以接收来自显示设备100的输入、处理该输入,以及作为响应为显示设备100生成合适的图形输出108。以这种方式,显示设备100可提供用于与可以适当地对触摸输入进行响应的计算设备交互的自然范式。以下参考图10描述关于示例计算设备的细节。
图2是图1的显示设备100的光学堆叠200的截面视图。光学堆叠200可以是显示设备100的被配置成检测与对显示设备的触摸输入相关联的一个或多个条件的感测子系统的组件。光学堆叠200包括被配置成允许接收触摸输入和生成图形输出的多个组件。光学堆叠200可包括具有用于接收触摸输入的顶表面204的光学透明触摸片材202,以及将该触摸片材202的底表面粘合到触摸传感器208(其可对应于例如图1的触摸传感器101)的顶表面的光学透明粘合剂(OCA)206。触摸片材202可由任何合适的(一种或多种)材料构成,诸如玻璃、塑料、或其他材料。如本文中所使用的“光学透明粘合剂”指代透射基本上全部(例如,约99%)的入射可见光的一类粘合剂。
如以下参考图3更详细地描述的,触摸传感器208包括形成其电容可以在检测触摸输入时被评估的电容器的电极矩阵。触摸传感器208中的一个或多个电容器中的电容的改变可以与输入对象和显示设备之间的接触相关联。如图2所示,电极可被形成在两个分开的层中:接收电极层(Rx)210和被定位在该接收电极层下面的传送电极层(Tx)212。例如,接收和传送电极层210和212可各自被形成在相应的介电基板上,所述介电基板包含包括但不限于玻璃、聚对苯二甲酸乙二醇酯(PET)、或环烯烃聚合物(COP)膜的材料。接收和传送电极层210和212可由第二光学透明粘合剂(OCA)211粘合在一起。OCA 211可以例如是丙烯酸压敏粘合剂膜。
图2中解说的触摸传感器配置是作为示例被提供的,并且其他布置处于本公开的范围内。例如,在其他实现中,层210、211和212可被整体地形成为单个层,其中电极被设置在该整体层的相对表面上。此外,触摸传感器208可替代地被配置成使得传送电极层212被提供在上方,并经由OCA 211与位于其下方的接收电极层210粘合。
继续图2,触摸传感器208在传送电极层212的底表面处经由第三光学透明粘合剂(OCA)216来被绑定到显示器堆叠214。显示器堆叠214可以是例如液晶显示器(LCD)堆叠、有机发光二极管(OLED)堆叠、或等离子显示器面板(PDP)。显示器堆叠214被配置成通过显示器堆叠的顶表面发射光L,使得所发射的光在光发射方向上行进通过层216、212、211、210、206、触摸片材202并通过顶表面204离开。以这种方式,所发射的光可在用户看来好像是在触摸片材202的顶表面204上所显示的图像。
对光学堆叠200的进一步改变是可能的。例如,其中层211和/或216被省略的实现是可能的。在该示例中,触摸传感器208可以是空气间隙的且与显示器堆叠214光学地解耦。此外,层210和212可被层压在顶表面204上。更进一步,层210可被设置在顶表面204上,而层212可被相对地设置且在顶表面204下方。
图2还示出了被可操作地耦合到接收电极层210、传送电极层212、和显示器堆叠214的控制器218。控制器218被配置成驱动传送电极层212中的传送电极、经由接收电极层210中的接收电极接收由被驱动的传送电极产生的信号,以及在检测到被赋予光学堆叠200的触摸输入的情况下定位该触摸输入。控制器218可进一步驱动显示器堆叠214以允许对触摸输入进行响应的图形输出。可替代地提供两个或更多控制器,并且在一些示例中,可为接收电极层210、传送电极层212、和显示器堆叠214中的每一者实现相应的控制器。在一些实现中,控制器218可被实现在图1的图像源106中。
图3示出了示例触摸传感器矩阵300。矩阵300可被包括在图2的光学堆叠200的触摸传感器208中以将触摸感测功能性赋予例如图1的显示设备100。矩阵300包括采用与接收列304垂直地分隔开的传送行302的形式的多个电极。例如,传送行302和接收列304可分别被形成在光学堆叠200的传送电极层212和接收电极层210中。传送行302与接收列304的每个垂直交点形成诸如节点306之类的对应节点,其电属性(例如,电容)可被测量以检测触摸输入。出于清楚的目的,在图3中示出了三个传送行302和三个接收列304,但是矩阵300可包括任何合适数量的传送行和接收列,其例如可以在一百或一千的量级上。
尽管在图3中示出了矩形网格布置,但是矩阵300可采取其他几何布置—例如,该矩阵可按菱形图案来被布置。替代地或附加地,矩阵300中的各个个体电极可采取非线性几何尺寸—例如,电极可呈现弯曲或之字形(zigzag)几何尺寸,这可使得由电极对底层显示器的遮挡造成的显示伪像(例如,混叠,莫尔图案)的可察觉性最小化。传送行302和接收列304可根据任何合适的布局来被定位/定向。例如,传送行302可相对于地面被水平地定向、相对于地面被垂直地定向或以另一角度来被定向。同样,接收列304可相对于地面被水平地定向、相对于地面被垂直地定向或以另一角度来被定向。
矩阵300中的每个传送行302可被附连到相应的驱动器308,该驱动器308被配置成以时变电压驱动其对应的传送行。在一些实现中,矩阵300的驱动器308可以由形成例如图2的控制器218的一部分的现场可编程门阵列(FPGA)内所实现的微编码的状态机来驱动。每个驱动器308可被实现为具有一个触发器(flip-flop)和用于其对应传送行的输出的移位寄存器,并且可操作以独立于寄存器状态强制所有输出值为零。对每个移位寄存器的输入可以是时钟、数据输入、以及消隐输入(blanking input),其可被来自微编码的状态机的输出驱动。可通过在要被激励的每个输出上为一和在其他地方为零以填充移位寄存器来传送信号,并接着利用期望的调制来切换消隐输入。此类信号在本文中被称为“激励序列”,因为这些信号可以是当被数字地采样时包括脉冲序列(例如,相对较高数字值的一个或多个采样,接着是相对较低数字值的一个或多个采样,或反之亦然)的时变电压。如果以这种方式使用移位寄存器,则激励序列可以仅取两个数字值—例如,只传送二进制激励序列。在其他实现中,驱动器308可被配置成传送可采取三个或更多个数字值的非二进制激励序列。非二进制激励序列可允许驱动器输出的谐波含量中的降低并且减少由矩阵300辐射的发射。
驱动器308可共同被实现为驱动电路系统310。例如,电路系统310可被配置成接收来自一个或多个计算机组件的命令/输入。此外,电路系统310可协调每个驱动器308的激活。例如,电路系统310可建立每个驱动器308被驱动的次序,以及确定每个驱动器用于驱动其对应行的信号。
在一些实现中,矩阵300可被配置成与诸如图4中所示的有源触控笔400之类的有源触控笔和/或其他输入对象进行通信。该实现可至少部分地使得触敏显示设备100在矩阵300被实现在显示设备100中时能够与输入对象104进行通信。具体而言,可以在一个或多个传送行302与有源触控笔400的导电元件(例如,电极笔尖)之间建立数据可沿其被传送的静电信道。可以由感测子系统在检测到与显示设备和输入对象之间的接触相关联的一个或多个条件时评估经由静电链路传输的数据。在一个示例中,经由静电信道的通信通过同步模式从矩阵300到有源触控笔400的传输而被发起。同步模式可使得矩阵300和有源触控笔400能够获得共享的时间感,并且可以经由多个传送行302来被传送,使得有源触控笔400可接收该模式而不管其相对于矩阵的位置。共享的时间感可促成有源触控笔400检测到在传送行302上传送的激励序列或其他信号的时间与矩阵300中的位置的相关性,因为同步模式可以产生传送行302被驱动的次序的指示。这样的相关性可以使有源触控笔400能够确定相对于矩阵300的至少一个坐标(例如,y坐标),该坐标可以(例如,经由静电信道)被传送回矩阵或经由不同的通信协议(例如,无线电,蓝牙)被传送至相关联的显示设备。为了确定有源触控笔400的第二坐标(例如,x坐标),可以将所有传送行302保持在恒定电压,并且有源触控笔400可以将时变电压传送到矩阵300,该矩阵可以顺序地测量由每个接收列304中的有源触控笔400的电压带来的电流以查明第二坐标。
矩阵300中的每个接收列304可以耦合到相应的接收器312,该接收器312被配置为接收由传送行302上的激励序列的传送带来的信号。接收器312可一起被实现为接收电路314。电路系统314可被配置成处理和解释由接收器检测到的电信号,目的是检测与对矩阵300的触摸输入相关联的条件。在触摸检测期间,矩阵300可以将除一个或多个激励序列被沿其传送的一个或多个有源传送行外的所有传送行302保持在恒定电压处。在传送激励序列期间,所有接收列304可以被保持在恒定电压(例如,接地)。利用被施加到有源传送行302的激励序列和被保持在恒定电压处的所有接收列304,电流可以流过由有源传送行与接收列的垂直交点形成的节点中的每一者。每个电流可以与其对应节点的电容成比例。因此,可以通过测量流动自有源传送行302的每个电流来测量每个节点的电容。以这种方式,可以通过测量节点电容来检测触摸输入。矩阵300可以以某帧率(例如,60Hz、120Hz)来被重复地扫描以持续地检测触摸输入,其中帧的完整扫描包括将激励序列施加到每个传送行302,并且针对每个被驱动的传送行,收集来自所有接收列304的输出。然而,在其他示例中,帧的完整扫描可以是对传送行302和接收列304中的一者或两者的期望的子集的扫描,而不是对全部的扫描。
作为电容的测量的替代或补充,在矩阵300上可以执行其他测量以检测触摸—例如,在激励序列的传输与由所传送的激励序列造成的对接收到的信号的接收之间的时间延迟、和/或所传送的激励序列与所得到的接收到的信号之间的相移可被测量。
以上所描述的触摸传感器矩阵是作为示例被提供的,而并不旨在为限制性的。其他触摸传感器配置可被采用,而不背离本公开的范围。
图4示出了示例有源触控笔400。有源触控笔400是输入对象的示例。有源触控笔400包括一端上的电极笔尖402和相对端上的电极擦除器404。电极笔尖402和电极擦除器404可能是导电的并且被配置成当接近图3的电极矩阵300的驱动电极时接收电流。笔尖402可包括被配置成当笔尖402被压在表面上时检测压力的压力传感器406。同样,擦除器404可包括被配置成当擦除器404被压在表面上时检测压力的压力传感器408。在一个示例中,压力传感器406和408中的每一者都是力敏电阻器。相应压力传感器406和408中的每一者的触摸压力值可被发送到控制器410。在一个示例中,触摸压力值可由6比特的值来表示。此外,压力传感器406和408中的任一者/两者的触摸压力值可被包括在与显示设备的表面和输入对象(例如,有源触控笔400)之间的接触相关联的一个或多个条件中。
如图所示,电极笔尖402和电极擦除器404被可操作地耦合到模拟电路412。模拟电路412可包括线性模拟部件,该线性模拟组件被配置成将笔尖/擦除器维持在恒定电压处并且将任何流进或流出笔尖/擦除器的电流转换为成比例的电流感测(current-sense)电压。
模数(A/D)转换器414被操作地耦合到模拟电路412并且被配置成将从模拟电路412接收的电压数字化成数字数据以促成后续处理。作为非限制性示例,转换器414可以以1Mbit/s的采样率来转换具有100kHz带宽的传入静电信号。
有源触控笔400包括可由用户按压以提供附加用户输入的管状(barrel)开关按钮416。按钮416的状态可被发送到控制器410。
控制器410包括逻辑机418和存储机420,该存储机被配置成保持能由逻辑机418执行以执行本文中所讨论的各种操作的指令。例如,控制器410可被配置成从包括压力传感器406、压力传感器408和按钮416的各种传感器接收信号。此外,控制器410可被配置成处理来自A/D转换器414的经数字化的信号以执行本文中所讨论的其他操作。
有源触控笔400可以以接收模式和驱动模式操作。可采用接收模式来(1)将有源触控笔400同步到与触摸传感器相关联的计算设备/处理器,以建立/维持共享的时间感;和(2)建立有源触控笔400相对于触摸传感器矩阵的Y坐标(或在垂直地定向的行的情况下建立X坐标)。同步通常发生在时间帧的开始处,其中触摸传感器矩阵上的一个或多个行利用同步脉冲来被驱动,该同步脉冲引起/改变有源触控笔400的电极笔尖402(或电极擦除器404)上的电条件。通常经由相关操作来处理接收到的信号,以便建立/维持共享的时间感。通常,跨触摸传感器矩阵的整个高度/宽度的多个行被用同步脉冲来驱动,使得有源触控笔400接收充足的信号,而不管其相对于触摸传感器矩阵300的位置。
有源触控笔400还可在正常扫描触摸传感器矩阵300的各行期间以接收模式来操作。换言之,有源触控笔400可在各行被扫描时接收信号以建立手指在触摸传感器矩阵300上的悬停/触摸的X和Y坐标。接收电路系统通常运行被调谐到正在触摸传感器矩阵300上被使用的(诸)驱动信号的相关操作。在接收到最大幅值(例如,相关性最高)的信号之际,有源触控笔400记录下该最高信号的定时。所记录的定时允许有源触控笔400和触摸传感器矩阵300的显示设备100知道有源触控笔400离哪一行最接近,由此建立有源触控笔400的Y位置。在一些示例中,有源触控笔400通过某种类型的无线链路(例如,任选的无线电发射器422)向触摸传感器矩阵300报告行位置信息(例如,定时、行计数器的值)。作为无线电链路的替代或补充,行位置信息可经由有源触控笔400的电极笔尖402(或电极擦除器404)的激励来被静电地传送。此类信息可构成与显示设备和有源触控笔400之间的接触相关联的一个或多个条件。
在一些实现中,可采用插值来增加位置分辨率。例如,假设行K处的幅值最高,则行K-2、K-1、K+1、K+2的幅值也可被注意到。评估这些相邻行的幅值可允许更精细地确定Y位置。本质上,有源触控笔400“侦听”来自各行的通信,并且基于该通信的“响度(loudness)”来对有源触控笔400离“正在说话(talking)”的行有多接近作出评估。通过评估“最响”行的任一侧上的几行的通信音量,可确定较高的位置粒度。
除了在“同步子帧”期间以及在“行驱动”子帧期间接收之外,有源触控笔400可在“触控笔驱动”子帧期间驱动其电极(笔尖或擦除器)。在该情形中,向触控笔笔尖施加驱动信号影响/改变触摸传感器矩阵的一个或多个列电极上的电条件。列接收电路系统如以上所描述地进行相关,以便解释所接收的信号。经历最高信号或高于阈值信号的列被推断为有源触控笔400离得最近的列,由此建立有源触控笔400的X位置。并且与Y确定一样,列的聚类分组处的条件可被用来建立更高的位置分辨率。
还将领会,在触控笔驱动子帧中接收到的信号可被用来对具有两个或更多个触摸感测矩阵的系统中的有源触控笔400的Y位置进行消歧。在触控笔驱动子帧期间,有源触控笔400将仅点亮其靠近的矩阵上的各列,由此使得不确定性得以解决。
此外,在触控笔驱动子帧期间,有源触控笔400可经由在有源触控笔400的电极(例如,笔尖402、擦除器404)与触摸传感器矩阵300之间形成的静电信道将触控笔信息传送到显示设备100。如以上所讨论的,可执行各种操作来降低包括此类触控笔信息的报告的大小,以便以有效且稳健的方式传送该报告,使得经由静电通信信道的数据传输可被减少。
图5示意地描绘了示例显示设备500。如与显示设备100一样,显示设备500可以是任何合适的大小和形状因子。显示设备500包括可以是显示可视内容的触敏屏幕的一部分的表面501并且被配置成接受来自触控笔、手指和其他输入对象的触摸输入。
显示设备500进一步包括感测子系统502,其被配置成检测与经由输入对象与表面501的接触而发生的对显示设备的触摸输入相关联的一个或多个条件。如下面更详细描述的,经感测的条件可包括以下中的一个或多个:(1)触摸输入在显示设备上的位置;(2)输入对象的类型或品牌、或可影响其接触声的输入对象的物理结构或特性的任何其他标识;(3)输入对象在其与显示设备形成接触时正以此行进的速度;(4)输入设备的用户;(5)显示设备中的输入对象之间发生接触的力/压力;(6)输入对象的哪一端正被使用,例如,擦除器端或书写端;(7)等等。如下面更详细描述的,检测到的条件集被用来理解将因输入对象与显示设备作出接触而产生的声音的性质。利用该知识,所描述的系统和方法智能地选择和控制声音衰减过程,该声音衰减过程被专门配置成以针对性方式降低/消除由输入对象和显示设备之间的接触引起的不期望的声音。在一个实现中,选择性衰减包括对话筒系统内正被处理的声音的因频率而异的增益调整。
感测子系统502可包括未在图5中具体示出的用于检测与触摸输入相对应的各种条件的各种组件。如以上所描述,触摸输入可包括在输入对象和显示设备500的表面之间发生的物理接触、和/或经由与显示设备500的表面的邻近度(即,输入对象“悬停”在上面)而发生的输入。相应地,由感测子系统502检测到的条件可以与正在发生或最近已发生的接触、和/或可能在将来发生的接触(例如,基于触控笔朝向显示设备的检测到的移动的预测的接触)相关联。如下面将描述的,输入对象和显示设备的表面之间的接触经常产生不期望的接触声。由感测子系统检测到的条件可用于确定接触的定时以及所得到的接触声的声音特性。接触声的声音特性可基于与接触相关联的条件(触控笔的类型、触控笔端部、接触的速度、接触的位置等)而变化。如下面详细描述且在上面简要提及的,显示设备500可在选择性地衰减所接收的声音时将检测到的条件和推断的声音特性纳入考虑。在许多示例中,这将导致在由触控笔/输入对象产生的不需要的轻敲或其他声音方面的期望的降低。
本文中所描述的接触声衰减可以与各种输入对象一起被采用。图5中示出了各种示例,包括1)输入对象504A,即人类的手;2)输入对象504B,即无源触控笔;3)输入对象504C,即有源触控笔。显示设备500可被用来检测与来自任何输入对象504的触摸输入相关联的条件,例如经由图2和图3的光学堆叠和电极矩阵。在输入对象504A和504B的情形中,检测到的条件可包括输入对象附近的行电极和列电极之间的电容中的检测到的改变。在输入对象504C的情形中,检测到的条件可包括电容中的改变以及如上面参考图4所描述的有源触控笔所发射的一个或多个驱动信号。由感测子系统502检测到的条件可附加地包括与输入对象有关/源自输入对象的其他信息,包括例如经由静电或无线电链路传送的信息。
感测子系统502可检测各种各样的条件,以便选择性地衰减被接收到显示设备的话筒系统中的声音。在一个示例中,检测到的条件可包括输入对象的标识或其特性之一。例如,不同种类的输入对象(例如,无源触控笔、有源触控笔、人类手指)可以在显示设备内(例如,在电容式触摸传感器矩阵处)引起不同的电条件。作为结果,感测子系统502可以能够基于检测到的条件在特定输入对象已与显示设备作出接触之前或接触之际标识该特定输入对象。因为输入对象504中的每一者可具有不同的大小、形状、结构等,所以由显示设备和输入对象之间的接触产生的接触声可以与利用不同输入对象产生的接触声不同。相应地,显示设备可取决于检测到的输入对象的标识特性以差异方式选择性地衰减被接收到显示设备的话筒系统中的声音。
一些种类的触控笔包括可用于与显示设备交互的多个操作端。例如,有源触控笔400包括主要(例如,笔尖)端和次要(例如,擦除器)端。相应地,由检测到的条件指示的标识特性可以在适用的情况下进一步描述/指示每个输入对象的操作端。输入对象的每个操作端可以以不同方式影响触摸传感器中的电条件,从而允许感测子系统502确定哪个操作端正在接近/已接触显示设备。此外,输入对象可包括可用于确定哪个操作端正在接近显示设备的部件,并且例如以静电方式或经由无线电链路将该信息中继到显示设备。输入对象的每个操作端可具有不同的结构/特性,其进而导致在与显示设备接触之际产生不同的声音。相应地,选择性衰减可以附加地至少部分地基于所描述的操作端。
由检测到的条件指示的标识特性可以在相关的情况下附加地描述输入对象的品牌。例如,诸如输入对象504B和504C之类的触控笔设备可以由各自具有不同的尺寸和属性的各种制造商来生产。不同品牌的输入对象可能对触摸传感器中的电条件具有不同的影响,并且显示设备可相应地能够标识针对其检测到条件的输入对象的品牌。此外,输入对象可例如经由静电或无线电链路将指示其自身品牌的信息传送到显示设备。这些是非限制性示例,触控笔品牌可以以各种方式来被检测。如与一个触控笔的不同端部一样,不同品牌的触控笔可具有不同的形状、大小、材料等,使得它们在接触显示设备时产生不同的声音。这些标识特性(即,品牌)可因此控制话筒系统内所应用的选择性衰减。一般而言,本公开涵盖触控笔的任何标识(品牌、操作端、触控笔类型等),以便出于智能地控制显示设备的话筒系统内的声音降低衰减的目的而查明其接触声的特性。
如图所示,输入对象504A和504C没有接触显示设备500。尽管如此,感测子系统502可仍然检测与对应于输入对象504A和504C的对显示器的触摸输入相关联的条件。例如,在接触显示设备之前,显示设备500附近的人类的手/手指(即,输入对象504A)可以在可检测的程度上影响感测子系统的行电极和列电极之间的电容。类似地,即使在输入对象接触显示器之前,输入对象504C也可发射能由感测子系统502检测的有源信号。
由感测子系统检测到的条件可包括输入对象504和显示设备500之间的接触的二维位置的指示。这样的接触可以是实际接触,诸如输入对象504B和显示器500之间的接触。附加地,条件可包括相对于尚未发生的接触的显示设备500的二维位置的指示。例如,输入对象504A和504C可各自接近显示设备500,但尚未与它接触。相应地,感测子系统502可检测与输入对象和显示设备之间的预测的/到来的接触相对应的条件。例如,输入对象504A和504B可影响有限数量的节点(诸如上面参考图3描述的节点306)处的电容。感测子系统可使用受影响节点的位置以便估计基于每个节点受影响的程度进行插值的二维位置。类似地,输入对象504C和显示设备500之间的交互(诸如上面参考图3和4描述的那些)可用于在输入对象已接触显示器之前确定输入对象504C的二维位置。对于实际和预测的接触两者而言,输入对象504和显示设备500之间的二维接触位置在图5中由二维接触位置505来表示。在一些实现中,二维位置可以用X轴和Y轴表示,其中X和Y轴中的每一个平行于表面501的平面。
输入对象和显示设备的表面之间的接触可取决于接触的特定二维位置而产生可听的不同接触声。例如,显示设备的表面可基于显示设备的内部组织或者显示设备正被保持/支持的方式而在不同的二维位置处具有不同的声学属性。相应地,显示设备可以在选择选择性衰减时使用接触的二维位置的指示。
在一些实现中,感测子系统502可用于确定每个输入对象相对于显示设备500的表面501的当前三维位置。三维位置可包括沿X和Y轴的实际/预测的接触的二维位置以及输入对象相对于垂直于表面501延伸的Z轴的位置。相应地,感测子系统500可确定远离表面501的每个输入对象的当前距离。这样的距离可被称为Z距离。Z距离随时间的观察到的变化可对应于输入对象正接近表面501/正从表面501收回的速率,如将在下面参考图6更详细地描述的。
如以上所指出,诸如输入对象504C之类的有源触控笔可包括被配置成检测有源触控笔的当前条件的各种内部传感器/组件。例如,输入对象504C可任选地包括被配置成检测输入对象的当前加速度的加速度计。此外,输入对象504C可任选地包括一个或多个力传感器,诸如有源触控笔400的压力传感器406和408,该一个或多个力传感器被配置成测量输入对象和显示设备的表面之间的接触的力。该信息以及由输入对象检测到的任何其他相关信息可被传送到感测子系统并且被包括在与触摸输入相关联的一个或多个条件中。接触力可能对由接触产生的接触声具有影响,因为更有力的接触可能产生更响亮和/或声学上不同的接触声。相应地,显示设备可在选择性地衰减所接收的声音时使用来自加速度计和/或力传感器的信息。
将会领会,显示设备500可以与任何合适的输入对象一起使用,而不仅仅是图5中所示的那些输入对象。此外,尽管在图5中示出了三个输入对象,但是在其他实施例中,可以使用任何数量和种类的输入对象。
在一些实现中,显示设备500可包括被配置成检测输入对象与显示设备的表面之间的接触的一个或多个接触传感器506。此类接触传感器可以是可用于将被施加到显示设备的表面的物理力转换成电流/数字信息的任何类型的传感器。接触传感器506可以是感测子系统502的组件。将会领会,接触传感器506可检测与对显示设备的触摸输入相关联的各种条件,包括以上所描述的许多条件。例如,由接触传感器506生成的信息可用于检测与显示设备接触的输入对象的二维位置、定时、力和标识特性。此外,显示设备500可包括被定位在相对于显示设备的表面的任何位置中的任何合适数量的接触传感器506。能由接触传感器检测的许多条件可能对接触声的声音特性具有影响。因此,显示设备可在执行选择性衰减时将来自接触传感器的信息纳入考虑。
显示设备500还包括一个或多个相机508。如与接触传感器506一样,显示设备500可包括被定位在相对于显示设备的表面的任何位置中的任何合适数量的相机。相机508可被嵌入在显示设备500的表面501中。例如,相机508可被嵌入在诸如光学堆叠200之类的光学堆叠中,并且可视地标识接近/接触显示设备的输入对象。替代地,相机508可以是显示设备500的组件,但是不被嵌入在表面501中。此外,相机508可以在显示设备500的外部,并且使用有线/无线通信链路与显示设备500通信。相应地,相机508可以是感测子系统502的组件,并且从相机接收的信息可被包括在与触摸输入相关联的一个或多个条件中。此类信息可被用来预测作为接触的结果而可能出现的声音特性,其进而可被用来选择和应用特定的选择性衰减。
如以上所描述,触敏显示设备通常包括被配置成接收声音的话筒系统。在本公开的示例中,尽管显示设备500包括具有四个个体话筒510A-510D的话筒系统510,但是任何数量的话筒可被采用。话筒系统510可接收显示设备500的本地环境中的声音,其可包括人类语音、音乐、来自触控笔的接触声等。如在别处和贯穿本公开所描述的,话筒系统510从显示设备周围的环境接收声音,并且该声音通常包括作为触控笔或其他输入对象接触显示设备的表面的结果而产生的轻敲或其他不期望的声音。在话筒系统和/或显示设备的其他部分内,由话筒系统接收的声音被处理以降低或消除由输入对象产生的接触声。通常,该处理是针对接触声的特定声音特性而定制的选择性衰减,并且被应用达被精确地控制的、有时间限制的持续时间,以便最小化衰减由话筒系统拾取的期望声音的可能性。
显示设备500可以被多个不同的用户单独地和/或同时地使用。由感测系统502的各种组件检测到的条件可因此用于确定当前使用显示设备的任何和所有用户的身份。如与由感测系统所作的其他确定一样,该标识可出于确定由输入对象作出的接触声的声音特性的目的而被作出。例如,显示设备500可以将特定输入对象与特定用户相关联,以及在检测到在显示设备的表面和已知输入对象之间的接触的任何时间标识用户。显示设备500可以在提供触摸输入之前提示任何和所有活动用户来标识他们自己。一个或多个用户可登录到显示设备500的操作系统和/或访问特定用户简档,从而允许显示设备确定用户身份。此外,相机508可用于经由面部识别标识用户,并且话筒系统510可用于经由话音识别标识用户。一般而言,显示设备500可利用各种可访问信息以便确定一个或多个用户的身份。显示设备的不同用户可具有不同的触摸输入习惯、和/或使用不同的输入对象,并因此产生不同的接触声。例如,两个不同的用户可使用相同的输入对象来与显示设备交互,并且还产生具有不同声音特性的接触声。相应地,用户身份还可在确定声音特性和选择合适的衰减时被考虑。
图6示意性地描绘了触敏显示设备600,其可基本上类似于以上所描述的显示设备500。例如,显示设备600可包括感测子系统(未示出),该感测子系统被配置成检测与经由输入对象与显示设备的表面的接触而发生的对显示器的触摸输入相关联的一个或多个条件。由感测子系统检测到的条件可最终被用来选择用于降低接收到的声音中的接触声的选择性衰减。
图6还示出了输入对象602,其随着时间的推移接近显示设备600。如以上参考图5所描述,触摸传感器(或其他感测机构)可确定输入对象和显示设备之间的距离(即,Z距离)。例如,输入对象可影响电极矩阵中的电条件/信号。这些条件/信号中的改变可以与显示设备表面和输入对象之间的Z距离中的改变相关。
图6描绘了对Z距离随时间的改变的跟踪。如图6所示,输入对象602在一系列连续时间间隔610、620和630上接近显示设备600,在时间630处接触显示设备。相应地,由感测子系统检测到的一个或多个条件可包括通过评估Z距离随时间的改变计算出的输入对象的速度的指示。输入对象的速度可以与到来的接触的力成比例或与其相关联,这可进而影响由该接触产生的接触声和/或接触声的持续时间。相应地,所指出的输入对象的速度可以在选择选择性衰减时被考虑。
显示设备600可被配置成基于由感测子系统检测到的一个或多个条件来确定输入对象与显示设备的表面之间的接触的时间。在尚未接触显示设备的输入对象的情形中,确定接触的时间可包括预测接触将在什么时间发生。该预测可以基于任何/所有检测到的条件。具体而言,如由感测子系统检测到的输入对象的当前速度可被推断到将来以便预测接触的时间。例如,显示设备500可构建诸如图表650之类的图表,从而示出随时间的Z距离。图表650的斜率可对应于输入对象602的当前速度,其可被向前推断直到对应于接触的时间的X截距被达到。在图6中,这对应于时间630。如在别处所讨论的,经确定的接触时间的一种用途是确定何时开始应用选择性衰减。一般而言,通常期望选择性衰减只有在必要时才被应用以合需地衰减不需要的接触声,从而限制滤除出人类话音或其他期望的声音的可能性。
当输入对象602接近显示设备600时,感测子系统可进一步能够确定输入对象602的当前角度。如图6所示,输入对象602基本上平行于Z轴地接近显示设备600。然而,用户可以以任何合适的角度将输入对象带向显示设备。例如,当使用触控笔在显示设备上书写/记笔记时,用户可以以相对于Z轴的角度保持输入对象。该角度可例如在0和60度之间。相应地,由感测子系统检测到的一个或多个条件可指示输入物体的接近的角度。输入对象的不同接近角度还可影响由输入对象和显示设备之间的接触造成的接触声。相应地,显示设备可在选择选择性衰减时使用关于接近角度的信息。
如以上所描述,输入对象和显示设备的表面之间的接触可产生接触声,其可被接收到话筒系统中。由显示设备产生的音频输出可包括在显示设备和任何数量的输入对象之间的接触期间产生的多个这样的接触声。音频输出可指代处理操作的最终结果,其中所接收的声音被选择性地衰减以生成音频输出。该输出可以是电信号,该电信号可接着在任何位置处和任何设备上被使用以驱动扬声器生成其中轻敲噪声被从其原本将会是的噪声中降低的声音输出。例如,音频输出可以是被传送到用于记录/回放的一个或多个外部设备的数字信号、和/或可以被本地地记录/播放的模拟信号。相应地,诸如显示设备500和显示设备600之类的显示设备的组件可用于选择性地衰减被接收到话筒系统中的声音,以便至少部分地衰减接触声。例如,显示设备可包括存储机和逻辑机,该逻辑机被配置成执行由存储机保持的指令。此类指令的执行可导致所接收的声音的选择性衰减,如将在下面描述的。
触敏显示设备可包括感测子系统,该感测子系统被配置成检测与接触相关联的多个条件,如上面参考图5和图6所描述。此类条件可指示例如接触的二维位置、输入对象的标识特性、输入对象的速度、接触的力、输入对象的接近的角度、显示设备的用户的身份等。由输入对象和显示设备的表面之间的接触产生的接触声可以基于一个或多个条件而不同地发出声音。例如,输入对象可基于显示设备的内部组织和声学属性而在接触相对于显示器表面的不同二维位置时产生不同的接触声。类似地,具有不同标识特性(例如,结构、品牌、操作端)的输入对象可产生不同的接触声。输入对象的速度和接触的力可影响所产生的声音—例如,较高的速度和较大的力可产生持续达较长的历时的较响的接触声。由接触产生的接触声可根据输入对象击中显示器的角度而变化。此外,不同的用户可具有不同形状的手、用更多/更少的力击中显示器、和/或展现可能影响每个用户在与显示设备交互时产生的接触声的其他因用户而异的触摸输入习惯。
相应地,可通过声音特性来描述接触声,并且可通过显示设备至少基于经确定的特定接触的时间来确定该接触的声音特性。一般而言,声音特性可大致描述由接触产生的接触声开始/被预计开始的时间。当附加条件被检测到并且关于特定输入对象的附加信息被习得时,声音特性可基于经累积的/新检测到的条件来被确定。例如,声音特性可指示接触声中存在的频率/泛音(overtone)的分布和幅值以及接触声的总响度。可针对最近已发生的接触确定声音特性,例如通过评估来自一个或多个接触传感器的信息。替代地,可针对尚未发生的接触确定声音特性。在该情形中,声音特性可基于从一个或多个条件已知的关于输入对象的事物来被预测。
图7示意性地描绘了图表700,其示出了输入对象和显示设备的表面之间的接触的声音特性。图表700采用接触声的频域表示的形式。图表700示出了接触声中的各个个体频率以及每个频率的相对幅值,从而产生该接触的唯一声音签名。图表700中示出的声音特性可针对刚刚发生的接触、和/或预测的接触/到来的接触来被确定。如以上所描述,图表700中的声音特性的特定外观(即,频率的分布和相对幅值)可取决于由感测子系统检测到的一个或多个条件。
图7中所示的图表710是被接收到话筒系统中的声音的频域描绘。图表710中示出的频谱可因此对应于人类语音、音乐、和/或其他期望的声音以及由输入对象和显示设备的表面之间的接触产生的接触声。换言之,图表710中示出的至少一些频率可对应于接触声而不是期望的声音。
相应地,在一些情形中,可能期望显示设备通过应用选择性衰减来处理被接收到话筒系统中的声音以生成音频输出。选择性衰减可基于声音特性来被选择。图7的图表720示出了针对图表700中所示的声音特性选择的示例选择性衰减。将选择性衰减应用于图表710中所示的所接收的声音可导致对接触声的至少部分的移除。图表720中所示的频谱用对角线来填充,以便指示该频谱不表示所接收的声音。相反,图表720中所示的频谱指示要从声音中移除的频率。如图所示,图表720中所示的频谱具有与图表700中所示的声音特性的频谱相同的幅值和分布。这么做使得对所接收的声音应用选择性衰减可以选择性地只衰减与接触声相关联的频率。在一些实现中,应用选择性衰减包括将频率相关的增益应用于被接收到话筒系统中的声音,其中受制于频率相关的增益的频率是图表720中所示的那些频率。
如下面将参考图8所描述的,图表720中示出的选择性衰减可实时地针对图表700中所示的声音特性被立即动态地生成。替代地,显示设备可维护包括多个模板选择性衰减的数据库或查找表,这些模板选择性衰减对应于不同的声音特性集。该数据库/查找结构可以在系统工程期间在设计时被生成,和/或可以在系统的终端用户操作期间被构建/补充。在这样的查找表实现的情形中,显示设备可以在确定声音特性之际查阅查找表并选择可接着被应用于所接收的声音的匹配的选择性衰减。
图7的图表730示出了经由将图表720中所示的选择性衰减应用于图表710中示出的所接收的声音而生成的音频输出。如图所示,对所接收的声音的处理已降低了对应于图表700中所示的声音特性的各个个体频率的幅值。相应地,所生成的音频输出可包括被接收到话筒系统中的任何期望的声音,并且不包括由输入对象和显示设备的表面之间的接触产生的接触声。图表730中所示的音频输出可被记录以供稍后回放、被发送到一个或多个扬声器以供立即回放、和/或作为音频流的一部分被发送到一个或多个外部通信设备。
如图5所示,显示设备可包括话筒系统,该话筒系统包括若干不同地定位的话筒。每个不同地定位的话筒可接收在显示设备的本地环境中发生的声音的稍微不同的子集。当生成音频输出时,来自话筒系统中的每个不同话筒的声音可被“混合”在一起成为单个音轨。简要地转到图5,由输入对象505A和表面501之间的接触产生的接触声可以在由话筒510A接收的声音中被很好地表示,尽管很大程度上不存在于由话筒510C接收的声音中。类似地,由输入对象504C之间的接触产生的声音可以在由话筒510D接收的声音中被很好地表示,并且在很大程度上不存在于由其他话筒510接收的声音中。相应地,在一些情形中,可能期望基于不同地定位的话筒在这些不同地定位的每个话筒处不同地应用选择性衰减。例如,当针对由位置505A处的接触产生的声音应用选择性衰减时,可以对话筒510A所接收的声音施加比对其他话筒510更重的选择性衰减。一般而言,如果确定接触声被更重地表示在由特定话筒接收的声音中(例如,通过评估该话筒的接收到的声音的按分贝的音量而被确定)、和/或如果确定该特定话筒的二维位置比其他话筒更接近接触的二维位置,则可以对该特定话筒施加比对其他话筒更重的选择性衰减。
图8示意性地示出了基于声音特性的选择性衰减的选择,以及对所接收的声音的选择性衰减的应用。如图8所示的声音特性A 800可以是至少基于所确定的接触的时间以及由感测子系统检测到的一个或多个条件的声音特性集。基于该声音特性,显示设备可选择要应用于所接收的声音的选择性衰减,诸如选择性衰减802。附加地或替代地,显示设备可被配置成以期望的声音(例如,人类话音、音乐)的重建来选择性地替换接触声。
在对选择性衰减802进行选择之际时,该选择性衰减可被应用于被接收到话筒系统中的声音。在一些实现中,只有当接触声的检测到的音量与本地环境中其他声音的检测到的音量之间的比率超过阈值时,选择性衰减才被应用。图表804是由话筒系统接收的音频波形的时域近似。尽管声音特性A 800和选择性衰减802可以针对最近发生的接触来被确定或者针对尚未发生的接触来被预测,但是图表804示出了在其被话筒系统实时接收时的音频波形。如图所示,图表804描绘了基本上规则的音频波,其被在接触时间806处开始的突然的不规则性扰乱。接触时间806可指示显示设备预测接触将发生的时间。相应地,显示设备可以将选择性衰减802应用于在接触时间806处开始的所接收的声音。取决于感测子系统检测到的条件的准确性,接触时间806可以基本上类似于输入对象接触显示设备的实际时间。
可以在经确定的接触时间806处开始的时间间隔808上应用选择性衰减802。如在别处所描述,通常期望确保选择性衰减仅被应用达接触声的长度。如果选择性衰减被应用达过短的时间,则接触声可能无法被从音频输出中完全移除。相反,如果选择性衰减被应用达过长的时间,则可能过度干扰话音或其他期望的声音。相应地,时间间隔808的长度可被设置为等于由接触产生的接触声的预测的长度。为实现此目的,时间间隔的长度可基于由感测子系统检测到的一个或多个条件中的任一个/全部而变化。例如,由相对较高的力的接触产生的接触声可能比由相对较小的力的接触产生的接触声持续更久。这可通过接触传感器和/或力传感器的使用来被确定,也可基于输入对象的经确定的速度来被计算。由此,显示设备可以在比不那么有力的接触声更长的时间间隔上对更有力的接触声施加选择性衰减。这在图8中示出,如时间间隔808持续与图表804中的由接触声导致的不规则性大致相同的时间长度。间隔长度也可以基于二维接触位置、输入对象标识特性、用户身份等而改变,并且这些条件中的每一者可被用来确定应当在其上应用选择性衰减的合适的时间间隔。
图8还示出了声音特性B 810,其可以是与声音特性A 800基本上不同的声音特性集。例如,声音特性B 810可基于由感测子系统检测到的不同条件来被确定。相应地,显示设备已选择了被设计成与声音特性802不同地衰减频率的选择性衰减812。例如,声音特性810可对应于不同类型的输入对象、更有力/不那么有力的接触、不同的二维位置处的接触等。选择性衰减812被应用于从接触时间816开始且在时间间隔818上持续的图表814。如图所示,时间间隔818的长度与时间间隔808的长度不同。这可以基于声音特性A 800和声音特性B 810之间的差异。
如以上所描述,显示设备的感测子系统可确定哪个(哪些)用户当前正在使用输入对象来与显示设备交互。相应地,经确定的用户身份可被包括在由感测子系统检测到的一个或多个条件中。接触时间和声音特性可以接着基于该用户身份。相应地,选择性衰减可基于显示设备的用户的身份来被选择。例如,显示设备的不同用户可具有不同的触摸输入习惯,这可能影响当每个用户与显示设备交互时所产生的接触声。相应地,显示设备可为每个用户选择不同的选择性衰减,以便最好地从音频输出中移除接触声。
在一些实现中,一旦接触的声音特性被确定,选择性衰减就可被自动地生成。替换地,显示设备可维护数据库/查找表,该数据库/查找表包括多个准备好的选择性衰减,这些选择性衰减中的每一者匹配特定的声音特性集。这样的查找表可以以与图8类似的方式来被组织,其中对于给定的声音特性集,显示设备自动地选择选择性衰减并将其应用于所接收的声音。
如本文中所描述的查找表可利用任何合适程度的粒度,以便有效地选择针对接触声的选择性衰减。例如,在基础级别上,显示设备可基于单个条件确定输入对象的声音特性,并查阅查找表以选择针对经确定的声音特性的选择性衰减。随着复杂度的增加,显示设备可检测接触的多个不同条件,每个检测到的条件改变经确定的声音特性。在该示例中,对于根据检测到的条件确定的每个不同的可能的声音特性集,不同的选择性衰减可以是可用的。例如,显示设备可检测到某个用户的手中的具有某一速度的正接近特定二维位置的特定输入对象,并且预测该接触的高度具体的声音特性。相应地,显示设备可查阅查找表并选择因上述条件中的每一者而异的选择性衰减。此外,查找表可基于可以由声音特性指示的时间间隔的预测的长度来提供不同的选择性衰减。
尽管从这样的查找表中选择的选择性衰减可能不完全匹配经确定的声音特性,但是无论如何都被应用以便节省计算资源。附加地,所选择的选择性衰减可被修改,以便计及特定的经确定的声音特性。例如,这可包括调整选择性衰减以计及不同的二维位置、触控笔的品牌、接触的力等。
将会领会,显示设备可确定声音特性的任何组合,并因此选择任何合适的选择性衰减。所选择的衰减可接着在任何时间在任何上下文中被应用于所接收的声音,并且应用可以在任何合适的时间间隔上持续。图8仅旨在解说选择性衰减选择和应用的一般过程,而并非旨在限制本公开。
在一些实现中,显示设备可用于渐进式地开发针对输入对象的定制选择性衰减。这可包括记录针对输入对象和显示设备之间的一系列触摸事件所检测到的条件,以及评估所应用的选择性衰减成功地从所生成的音频输出中移除了接触声的程度。随着时间的推移,显示设备可渐进式地在各种设置中更多地了解输入对象的声学属性、用户的使用习惯、显示设备自身的声学属性、显示设备的本地环境的声学属性等。该信息可被用来建立选择性衰减/渐进式地定制现有的选择性衰减,以便更好地从将来接收到的声音中移除接触声。可以为许多不同的输入对象构建此类定制选择性衰减。此外,定制选择性衰减可被储存在如以上所描述的查找表中/被用来构建所述查找表,使得下一次显示设备检测到与已知输入对象的接触时,该接触的具体条件可被用来从该查找表中自动地选择合适的选择性衰减。
图9解说了方法900,即一种用于衰减声音的示例方法。在902处,方法900包括检测与经由输入对象和显示设备的表面之间的接触而发生的对显示设备的触摸输入相关联的一个或多个条件。检测到的条件可包括例如接触的二维位置;输入对象的描述该输入对象的结构、品牌、和/或操作端的标识特性;输入对象的速度;接触的力;和显示设备的用户的身份。
在904处,方法900包括基于一个或多个条件确定接触的时间。经确定的接触时间可对应于刚刚发生的接触的时间、或接触被预计发生的将来时间。
在906处,方法900包括至少基于该接触时间来确定接触的声音特性。这些声音特性可附加地基于任何/所有检测到的条件来被确定。例如,输入对象类型、二维接触位置、接触力、用户身份等可各自影响由接触产生的声音,并因此可能需要在确定接触的声音特性时被计及。
在908处,方法900包括经由话筒系统接收声音。所接收的声音可包括诸如人类语音、音乐等的期望的声音以及由输入对象和显示设备的表面之间的接触产生的接触声。
在910处,方法900包括经由应用选择性衰减来处理被接收到话筒系统中的声音以生成音频输出。选择性衰减可基于声音特性来被选择,并且至少部分地从音频输出中移除接触声。选择性衰减可以从包括与声音特性的各组合相匹配的多个选择性衰减的数据库或查找表中选择。
在一些实施例中,本文中所描述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体而言,这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库、和/或其他计算机程序产品。
图10示意性地示出了可执行上述方法和过程中的一个或多个的计算系统1000的非限制性实施例。以简化形式示出了计算系统1000。计算系统1000可采取以下形式:一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如,智能电话)、和/或其他计算设备。
总而言之,本文中的示例系统和方法包括确定与触控笔或其他输入对象与触摸交互式显示设备的表面之间发生的接触相关联的条件。各种各样的机制可被采用以确定这些条件,包括预交互确定(例如,根据用户输入)和经由触摸传感器、加速度计、力传感器、相机、话筒等的实时感测。对条件的检测可经由显示设备的操作、触控笔的操作、触控笔和显示设备一起的协同动作、和/或通过其他设备/传感器/软件而发生。就出于检测接触条件的目的而需要触控笔和显示设备之间的通信而言,可以经由静电通信、无线电链路通信或其他通信机制在触控笔和显示设备之间传达信息。根据检测到的条件,接触的时间以及与该接触相关联的声音特性可被确定。在一个示例中,接触时间经由可检测“悬停”的触摸传感器的操作来被确定/预测。声学特性可以在各种时间(例如,设计时间和/或实时操作期间)处被确定,使得它们与条件集相关联。例如,正由特定用户(4)操作的以特定速度接触显示设备(5)的特定位置的(2)特定品牌的触控笔(3)的(1)擦除器端可经由该条件集的经验观察来与特定的声音特性(例如,频谱表征)相关。这些声音特性可例如经由查找表来与适合于合需地衰减接触声的选择性衰减相匹配。条件集可进一步指示选择性衰减可能被需要的间隔有多长,以便实现接触声的期望的衰减,同时最小化对话音或其他想要的声音的影响。
计算系统1000包括逻辑机1002和存储机1004。计算系统1000可任选地包括显示子系统1006、输入子系统1008、通信子系统1012、和/或在图10中未示出的其他组件。在一些实现中,图10中示出的组件中的每一者可共同被包括在单个封装中。替代地,参考图10所描述的任何/所有组件可被分开地容纳/定位,并且通过有线/无线链路彼此通信。例如,触敏“设备”可指代分布式布置,其中触摸响应组件可位于与话筒和其他传感器、处理和/或存储组件分开的壳体中。
逻辑机1002包括被配置成执行指令的一个或多个物理设备。例如,逻辑机可被配置成执行作为以下各项的一部分的指令:一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。此类指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑机可包括被配置成执行软件指令的一个或多个处理器。附加地或替代地,逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核,并且在其上执行的指令可被配置成用于串行、并行、和/或分布式处理。逻辑机的各个个体组件可任选地分布在两个或更多个分开的设备之间,这些设备可位于远程和/或被配置成用于协同处理。逻辑机的各方面可通过按云计算配置来配置的能远程地访问的联网计算设备来被虚拟化和执行。
存储机1004包括被配置成保持能由逻辑机执行以实现本文中所描述的方法和过程的指令的一个或多个物理设备。当实现这些方法和过程时,可以变换存储机1004的状态(例如,以保持不同的数据)。
存储机1004可包括可移除和/或内置设备。存储机1004可包括光学存储器(例如,CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如,RAM、EPROM、EEPROM等)、和/或磁存储器(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等),等等。存储机1004可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。
应当领会,存储机1004包括一个或多个物理设备。然而,本文中所描述的指令的各方面可替代地通过不被物理设备保持达有限持续时间的通信介质(例如,电磁信号、光信号等)来传播。
逻辑机1002和存储机1004的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“模块”、“程序”和“引擎”可被用来描述被实现来执行特定功能的计算系统1000的一方面。在一些情形中,可以经由执行被存储机1004保持的指令的逻辑机1002来实例化模块、程序或引擎。将会理解,可以从相同应用、服务、代码块、对象、库、例程、API、函数等实例化不同的模块、程序、和/或引擎。同样,可以由不同的应用、服务、代码块、对象、例程、API、函数等来实例化相同的模块、程序、和/或引擎。术语“模块”、“程序”和“引擎”可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
将会领会,如本文中所使用的“服务”是能跨多个用户会话执行的应用程序。服务可用于一个或多个系统组件、程序、和/或其他服务。在一些实现中,服务可以在一个或多个服务器计算设备上运行。
当包括显示子系统1006时,显示子系统1006可被用来呈现由存储机1004保持的数据的视觉表示。该视觉表示可采取图形用户界面(GUI)的形式。由于本文中所描述的方法和过程改变了由存储机保持的数据,并由此变换了存储机的状态,因此同样可以变换显示子系统1006的状态以视觉地表示底层数据中的改变。显示子系统1006可包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑机1002和/或存储机1004组合在共享封装中,或者此类显示设备可以是外围显示设备。
在包括输入子系统1008时,输入子系统1008包括诸如键盘、鼠标、触摸屏、或游戏控制器之类的一个或多个用户输入设备或者与所述用户输入设备对接。在一些实施例中,输入子系统可包括所选择的自然用户输入(NUI)部件或与其对接。此类部件可以是集成的或外围的,并且输入动作的换能和/或处理可以在板上或在板外被处置。示例NUI部件可包括用于语音和/或话音识别的话筒;用于机器视觉和/或姿势识别的红外、色彩、立体、和/或深度相机;用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计、和/或陀螺仪;以及用于评估脑部活动的电场感测部件。具体而言,输入系统1008可包括感测子系统1009和话筒系统1010。感测子系统1009可包括可用于检测与输入对象和显示设备之间的接触相关联的一个或多个条件的各种组件。话筒系统1010可包括被配置成接收声音的一个或多个话筒。
当包括通信子系统1012时,通信子系统1012可被配置成将计算系统1012与一个或多个其他计算设备通信地耦合。通信子系统1012可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限定性示例,通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网进行通信。在一些实施例中,通信子系统可允许计算系统1012经由诸如互联网之类的网络将消息发送至其他设备以及/或者从其他设备接收消息。
在一个示例中,一种显示设备包括:感测子系统,其被配置成检测与经由输入对象在显示设备的表面处的接触而发生的对显示设备的触摸输入相关联的一个或多个条件;被配置成接收声音的话筒系统;逻辑机;以及保持能由逻辑机执行以进行以下的指令的存储机:基于该一个或多个条件确定该接触的时间;基于该一个或多个条件确定该接触的声音特性;以及经由应用选择性衰减来处理被接收到话筒系统中的声音以生成音频输出,该选择性衰减基于声音特性来被选择并且在起始于经确定的接触时间处的时间间隔上被应用。在该示例或任何其他示例中,时间间隔的长度基于该一个或多个条件而变化。在该示例或任何其他示例中,该一个或多个条件包括在显示设备的表面上的接触的二维位置的指示。在该示例或任何其他示例中,话筒系统包括被配置成接收声音的至少两个不同地定位的话筒,并且选择性衰减基于这些话筒被不同地定位而在这些话筒中的每一者处被不同地应用。在该示例或任何其他示例中,该一个或多个条件包括输入对象的一个或多个标识特性的指示。在该示例或任何其他示例中,该输入对象的一个或多个标识特性描述输入对象的结构、输入对象的品牌和输入对象的操作端中的一者或多者。在该示例或任何其他示例中,该一个或多个条件包括输入对象的速度的指示。在该示例或任何其他示例中,选择性衰减进一步基于显示设备的用户的身份来被选择。在该示例或任何其他示例中,该指令能进一步执行以基于针对输入对象和显示设备之间的一系列触摸事件检测到的一个或多个条件来渐进式地开发针对输入对象的定制选择性衰减。在该示例或任何其他示例中,应用选择性衰减包括将频率相关的增益应用于被接收到话筒系统中的声音。在该示例或任何其他示例中,感测子系统包括被配置成检测输入对象与显示设备的表面之间的接触的接触传感器。在该示例或任何其他示例中,输入对象是包括力传感器的触控笔,该力传感器被配置成测量输入对象与显示设备的表面之间的接触的力,并且由力传感器测量的这个力被包括在该一个或多个条件中。
在一个示例中,一种用于衰减声音的方法包括:经由感测子系统检测与经由输入对象和显示设备的表面之间的接触而发生的对显示设备的触摸输入相关联的一个或多个条件;基于该一个或多个条件确定该接触的时间;基于该一个或多个条件确定该接触的声音特性;经由话筒系统接收声音;以及经由应用选择性衰减来处理被接收到话筒系统中的声音以生成音频输出,该选择性衰减基于声音特性来被选择并且在起始于经确定的接触时间处的时间间隔上被施加。在该示例或任何其他示例中,时间间隔的长度基于该一个或多个条件而变化。在该示例或任何其他示例中,该一个或多个条件包括在显示设备的表面上的接触的二维位置的指示。在该示例或任何其他示例中,话筒系统包括被配置成接收声音的至少两个不同地定位的话筒,并且选择性衰减基于这些话筒被不同地定位而在这些话筒中的每一者处被不同地应用。在该示例或任何其他示例中,该一个或多个条件包括输入对象的速度的指示。在该示例或任何其他示例中,应用选择性衰减包括将频率相关的增益应用于被接收到话筒系统中的声音。
在一个示例中,一种显示设备包括:感测子系统,其被配置成检测与经由输入对象在显示设备的表面处的接触而发生的对显示设备的触摸输入相关联的一个或多个条件,该一个或多个条件至少指示显示设备的表面上的接触的二维位置;被配置成接收声音的话筒系统;逻辑机;以及保持能由逻辑机执行以进行以下的指令的存储机:基于该一个或多个条件确定该接触的时间;基于该一个或多个条件确定该接触的声音特性;以及经由应用选择性衰减来处理被接收到话筒系统中的声音以生成音频输出,该选择性衰减基于声音特性来被选择并且在起始于经确定的接触时间处的时间间隔上被应用,该时间间隔的长度基于该一个或多个条件而变化。在该示例或任何其他示例中,该一个或多个条件包括输入对象的速度的指示。
应当理解,本文中所描述的配置和/或办法本质上是示例性的,且这些具体实施例或示例不应被视为具有限制意义,因为许多变体是可能的。本文中所描述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此,所解说和/或所描述的各种动作可以以所解说和/或所描述的顺序执行、以其他顺序执行、并行地执行,或者被省略。同样,以上所描述的过程的次序可被改变。
本公开的主题包括本文中所公开的各种过程、系统和配置以及其他特征、功能、动作、和/或属性的所有新颖和非显而易见的组合和子组合,以及其任何和所有等同物。

Claims (12)

1.一种显示设备,包括:
感测子系统,所述感测子系统被配置成检测与经由输入对象在所述显示设备的表面处的接触而发生的对所述显示设备的触摸输入相关联的一个或多个条件;
被配置成接收声音的话筒系统;
逻辑机;以及
存储机,所述存储机保持能由所述逻辑机执行以进行以下的指令:
基于所述一个或多个条件确定所述接触的时间;
基于所述一个或多个条件确定所述接触的声音特性;以及
经由应用选择性衰减来处理被接收到所述话筒系统中的声音以生成音频输出,所述选择性衰减基于所述声音特性来被选择并且在起始于所确定的接触时间处的时间间隔上被应用。
2.根据权利要求1所述的显示设备,其特征在于,所述时间间隔的长度基于所述一个或多个条件而变化。
3.根据权利要求1所述的显示设备,其特征在于,所述一个或多个条件包括在所述显示设备的表面上的所述接触的二维位置的指示。
4.根据权利要求1所述的显示设备,其特征在于,其中所述话筒系统包括被配置成接收声音的至少两个不同地定位的话筒,并且其中所述选择性衰减基于这些话筒被不同地定位而在这些话筒中的每一者处被不同地应用。
5.根据权利要求1所述的显示设备,其特征在于,所述一个或多个条件包括所述输入对象的一个或多个标识特性的指示。
6.根据权利要求5所述的显示设备,其特征在于,所述输入对象的所述一个或多个标识特性描述所述输入对象的结构、所述输入对象的品牌和所述输入对象的操作端中的一者或多者。
7.根据权利要求1所述的显示设备,其特征在于,所述一个或多个条件包括所述输入对象的速度的指示。
8.根据权利要求1所述的显示设备,其特征在于,所述选择性衰减进一步基于所述显示设备的用户的身份来被选择。
9.根据权利要求1所述的显示设备,其特征在于,所述指令能进一步执行以基于针对所述输入对象和所述显示设备之间的一系列触摸事件检测到的一个或多个条件来渐进式地开发针对所述输入对象的定制选择性衰减。
10.根据权利要求1所述的显示设备,其特征在于,应用所述选择性衰减包括将频率相关的增益应用于被接收到所述话筒系统中的所述声音。
11.根据权利要求1所述的显示设备,其特征在于,所述感测子系统包括被配置成检测所述输入对象与所述显示设备的表面之间的接触的接触传感器。
12.根据权利要求1所述的显示设备,其特征在于,所述输入对象是包括力传感器的触控笔,所述力传感器被配置成测量所述输入对象与所述显示设备的表面之间的所述接触的力,并且由所述力传感器测量的所述力被包括在所述一个或多个条件中。
CN201780023861.3A 2016-04-13 2017-04-05 显示设备的声音的选择性衰减 Active CN109074221B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/097,878 2016-04-13
US15/097,878 US10365763B2 (en) 2016-04-13 2016-04-13 Selective attenuation of sound for display devices
PCT/US2017/026033 WO2017180379A1 (en) 2016-04-13 2017-04-05 Selective attenuation of sound for display devices

Publications (2)

Publication Number Publication Date
CN109074221A true CN109074221A (zh) 2018-12-21
CN109074221B CN109074221B (zh) 2021-10-08

Family

ID=58579288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780023861.3A Active CN109074221B (zh) 2016-04-13 2017-04-05 显示设备的声音的选择性衰减

Country Status (4)

Country Link
US (1) US10365763B2 (zh)
EP (1) EP3443448B1 (zh)
CN (1) CN109074221B (zh)
WO (1) WO2017180379A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817096B2 (en) 2014-02-06 2020-10-27 Apple Inc. Force sensor incorporated into display
EP2954392B1 (en) 2013-02-08 2022-12-28 Apple Inc. Force determination based on capacitive sensing
US9671889B1 (en) 2013-07-25 2017-06-06 Apple Inc. Input member with capacitive sensor
JP6276867B2 (ja) 2014-02-12 2018-02-07 アップル インコーポレイテッド シートセンサ及び容量性アレイを採用する力判定
US10007343B2 (en) * 2016-03-31 2018-06-26 Apple Inc. Force sensor in an input device
CN114721531A (zh) * 2016-08-12 2022-07-08 株式会社和冠 触控笔、传感器控制器、控制器、系统以及方法
JP2021145928A (ja) * 2020-03-19 2021-09-27 任天堂株式会社 ゲームシステム、情報処理プログラム、情報処理装置、および情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059897A (ja) * 1998-08-06 2000-02-25 Matsushita Electric Ind Co Ltd 音声再生装置および音声再生方法
US20140022189A1 (en) * 2012-07-18 2014-01-23 Sentons Inc. Touch input surface speaker
CN104937663A (zh) * 2012-12-28 2015-09-23 汤姆逊许可公司 用于麦克风阵列校正的方法、装置和系统
CN105302367A (zh) * 2015-10-08 2016-02-03 业成光电(深圳)有限公司 触控模组及应用该触控模组的触控显示装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09149157A (ja) * 1995-11-24 1997-06-06 Casio Comput Co Ltd 通信端末装置
KR970049359A (ko) 1995-12-26 1997-07-29 베일리 웨인 피 감지 패널에 대한 물체의 상대 속도에 의한 접촉 감지 방법 및 그 장치
US7379562B2 (en) * 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
JP4218573B2 (ja) 2004-04-12 2009-02-04 ソニー株式会社 ノイズ低減方法及び装置
WO2006070044A1 (en) 2004-12-29 2006-07-06 Nokia Corporation A method and a device for localizing a sound source and performing a related action
JP5056157B2 (ja) 2007-05-18 2012-10-24 ソニー株式会社 ノイズ低減回路
WO2008150916A1 (en) 2007-05-29 2008-12-11 Livescribe, Inc. Enhanced audio recording for smart pen computing systems
US9335869B2 (en) * 2007-10-01 2016-05-10 Igt Method and apparatus for detecting lift off on a touchscreen
US8027743B1 (en) 2007-10-23 2011-09-27 Adobe Systems Incorporated Adaptive noise reduction
US20090122024A1 (en) 2007-10-30 2009-05-14 Takashi Nakamura Display Device Provided With Optical Input Function
US8149227B2 (en) 2008-04-03 2012-04-03 Livescribe, Inc. Removing click and friction noise in a writing device
US8213635B2 (en) 2008-12-05 2012-07-03 Microsoft Corporation Keystroke sound suppression
JP2010249940A (ja) 2009-04-13 2010-11-04 Sony Corp ノイズ低減装置、ノイズ低減方法
KR20110007848A (ko) 2009-07-17 2011-01-25 삼성전자주식회사 휴대단말기의 제어 장치 및 방법
GB0919672D0 (en) 2009-11-10 2009-12-23 Skype Ltd Noise suppression
KR101171826B1 (ko) 2009-12-04 2012-08-14 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP5017441B2 (ja) 2010-10-28 2012-09-05 株式会社東芝 携帯型電子機器
TWI457794B (zh) * 2012-03-28 2014-10-21 Wistron Corp 可偵測筆觸壓力之觸控筆及其光機系統
US20140331146A1 (en) 2013-05-02 2014-11-06 Nokia Corporation User interface apparatus and associated methods
KR102056316B1 (ko) 2013-05-03 2020-01-22 삼성전자주식회사 터치 스크린 동작 방법 및 그 전자 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059897A (ja) * 1998-08-06 2000-02-25 Matsushita Electric Ind Co Ltd 音声再生装置および音声再生方法
US20140022189A1 (en) * 2012-07-18 2014-01-23 Sentons Inc. Touch input surface speaker
CN104937663A (zh) * 2012-12-28 2015-09-23 汤姆逊许可公司 用于麦克风阵列校正的方法、装置和系统
CN105302367A (zh) * 2015-10-08 2016-02-03 业成光电(深圳)有限公司 触控模组及应用该触控模组的触控显示装置

Also Published As

Publication number Publication date
EP3443448A1 (en) 2019-02-20
EP3443448B1 (en) 2021-05-26
US10365763B2 (en) 2019-07-30
WO2017180379A1 (en) 2017-10-19
US20170300172A1 (en) 2017-10-19
CN109074221B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN109074221A (zh) 显示设备的声音的选择性衰减
JP5520812B2 (ja) 音と位置の測定
CN104169848B (zh) 检测触摸输入力
EP2780782B1 (en) Localized haptic feedback
CN103543944B (zh) 执行包括笔识别面板的终端的功能的方法及其终端
CN103348407B (zh) 电子音响信号产生装置及电子音响信号产生方法
Chen et al. Your table can be an input panel: Acoustic-based device-free interaction recognition
US10088921B2 (en) Devices for sharing user interactions
CN104756054A (zh) 通过超声波传感器进行力检测
US10564740B2 (en) Pen device—panel interaction based on electromagnetic signals output by the pen device
CN102364413A (zh) 手写注释捕捉系统和方法
US10481705B2 (en) Active stylus synchronization with multiple communication protocols
CN107465972A (zh) 一种移动终端的音频播放控制方法及无线耳机
CN103425489A (zh) 用于控制具有骨导换能器的装置的系统和设备
CN108234767A (zh) 屏幕状态的控制方法、移动终端及计算机可读存储介质
CN106662974A (zh) 概率触摸感测
CN109952554A (zh) 有源触控笔速度校正
EP3676692A1 (en) Selective scanning for touch-sensitive display device
US11392290B2 (en) Touch control surfaces for electronic user devices and related methods
Pätzold et al. Audio-based roughness sensing and tactile feedback for haptic perception in telepresence
TW201407565A (zh) 紙電腦行動學習及測驗系統之方法
CN207354555U (zh) 一种无线耳机
CN115963935A (zh) 一种书写方法及相关装置
JP2014099073A (ja) 電子機器、その制御方法及びプログラム
CN104008753A (zh) 一种信息处理方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant