CN117296030A - 对触敏电极的电噪声估计 - Google Patents

对触敏电极的电噪声估计 Download PDF

Info

Publication number
CN117296030A
CN117296030A CN202280034416.8A CN202280034416A CN117296030A CN 117296030 A CN117296030 A CN 117296030A CN 202280034416 A CN202280034416 A CN 202280034416A CN 117296030 A CN117296030 A CN 117296030A
Authority
CN
China
Prior art keywords
touch
sensitive
electrode
electrical noise
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280034416.8A
Other languages
English (en)
Inventor
G·庞达克
N·林恩伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN117296030A publication Critical patent/CN117296030A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04182—Filtering of noise external to the device and not generated by digitiser components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种触敏显示设备包括一个或多个触敏显示器，每个触敏显示器包括多个触敏感电极。该一个或多个触敏显示器上的空闲触敏电极被标识，该空闲触敏电极(1)至少暂时不受一个或多个输入对象与该一个或多个触敏显示器的邻近的影响，以及(2)受在该一个或多个触敏显示器上的图像内容的显示所引起的电噪声的影响。影响该空闲触敏电极的该电噪声被测量。至少部分地基于测得的影响该空闲触敏电极的电噪声并且使用经训练的神经网络来估计由图像内容的该显示所引起的、正在影响被占用的触敏电极的电噪声的量，该被占用的触敏电极受该一个或多个输入对象与该一个或多个触敏显示器的邻近的影响。

Description

对触敏电极的电噪声估计
背景技术
显示设备可以包括多个触敏电极，这些触敏电极使得能够检测由输入对象与显示器的邻近引起的触摸输入。触摸输入检测的准确性可能受到电噪声的影响。
附图说明
图1示意性地示出了示例触敏显示设备。
图2例示了用于触敏显示设备的电噪声估计的示例方法。
图3示意性地例示了受输入对象的邻近影响的触敏电极。
图4示意性地例示了在两个触敏显示器上的空闲和被占用的触敏电极的标识。
图5示意性地例示了在不同时间帧上的触敏显示器的触敏电极。
图6示意性地例示了对影响触敏电极的电噪声的估计。
图7示意地示出了示例计算系统。
具体实施方式
触敏显示设备可检测由合适的输入对象与一个或多个触敏显示器的表面的邻近所导致的触摸输入。如此处所使用的，“触摸输入”指的是由触敏显示设备检测到的由输入对象对触敏显示器的表面的邻近或接触导致的任何输入。合适的输入对象的非限制性示例包括人的手指、人手的其他部分、触控笔(包括有源和无源触控笔)以及合适的控制设备(例如，附连到显示器表面的拨盘控件)。
这在图1中被示意性地示出，图1示出了包括触敏显示器102A和102B的示例触敏显示设备100。触敏显示器102A/102B可各自具有任何合适的大小和尺寸。在此示例中，触敏显示设备包括两个触敏显示器，尽管这不是限制性的。在其他示例中，触敏显示设备可以具有单个触敏显示器或多于两个触敏显示器。在触敏显示设备包括两个或多个触敏显示器的情况下，每个显示器不需要具有相同的尺寸、形状或分辨率。
在一些情形中，触敏显示设备可以与合适的计算机硬件共享共用外壳，例如诸如在移动电话或平板计算机中。在图1的示例中，触敏显示设备100包括控制器104，该控制器104被配置成执行触敏显示设备的任何或所有计算功能。然而，在其他示例中，触敏显示设备可以是被配置成呈现经由合适的有线或无线连接从单独的设备或源接收到的内容的独立外围显示器(例如，监视器或电视机)。在任一情形中，触敏显示设备可具有任何合适的形状因子和硬件配置。触敏显示设备可被实现为以下参照图7描述的计算系统700。此外，控制器104可以经由以下参照图7描述的逻辑子系统702和存储子系统704来实现。
在图1中，人手106的手指正在接触触敏显示器102A的表面，这导致触敏显示设备100检测该手指的当前二维位置处的触摸输入。类似地，触控笔108也接触显示器102B的表面，使得触敏显示设备检测在触控笔的当前二维位置处的触摸输入。
触敏显示设备100在一些情形中可以在显示器102A和102B中的一者或两者上显示图像内容。在图1的示例中，触敏显示器102A正在显示图像内容110A，而触敏显示器102B正在显示图像内容110B。这一图像内容可以接收自可采取任何合适的形式的图像源112。例如，图像源可包括在显示设备100外部或被容纳在显示设备100内的计算设备。
触敏显示器可以以利用任何合适的触摸感测和/或悬停感测技术的任何合适方式检测输入对象的邻近。例如，每个触敏显示器可以使用合适的电容式触摸传感器，例如，依赖于互电容或自电容，尽管可以使用任何触摸和/或悬停感测技术，包括非电容技术。在图1中，第一触敏显示器102A包括第一多个触敏电极114A，其被配置成检测输入对象与第一触敏显示的邻近。类似地，第二触敏显示器102B包括第二多个触敏电极114B，其被配置成检测输入对象与第二触敏感显示器的邻近。
触敏电极可以例如检测由输入对象与显示表面的邻近引起的电容变化，和/或以其他合适的方式检测触摸输入。通过监视多个触敏电极处的电状况，控制器104可以确定任何触摸输入相对于触敏显示器的表面的二维位置。触敏电极和触摸控制器用虚线示出以指示它们被置于显示器表面以下。电极可以具有任何合适的分辨率和/或覆盖区域(例如，所有显示区域的100％覆盖或小于100％覆盖)。
在触敏显示设备包括两个或更多个触敏显示器的情况下，如图1所示，两个或多个触敏显示器可以相对于彼此具有任何静态或动态的空间和/或角度关系。例如，在图1中，触敏显示设备100进一步包括设置在第一触敏显示器102A和第二触敏显示器102之间的铰链116。以此方式，第一触敏显示器和第二触敏显示器之间的角度关系可被动态地调整。
本公开将触摸输入描述为由触敏显示设备响应于输入对象与触敏显示器的表面的“邻近”而被检测。这可包括其中输入对象直接接触触敏显示器的表面的情形。在一些情形中，触摸输入可附加地在输入对象悬停邻近显示器表面(例如，在几厘米内)而不直接接触显示器表面时被检测到。
无论如何，触敏显示设备可以被配置成以各种合适的方式响应触摸输入。以此方式，用户可以通过有意地使输入对象邻近触敏显示器来控制触敏显示设备。然而，触摸输入的准确和一致的检测可能会受到各种电噪声源的影响，这些电噪声源可能会影响触敏显示设备的性能。
在一些情况下，这种电噪声可能是由在一个或多个触敏显示器上的图像内容的显示引起的。这可能是由于显示器刷新率和触敏电极的采样率之间的相互作用造成的，当这两个速率不同步时就会出现这种情况。例如，当显示器在触敏电极处发生触摸采样的同时刷新时，图像内容的显示可能注入电噪声，电噪声干扰对触摸输入进行准确和一致的检测。虽然可以通过设计触摸感应显示设备来同步触摸采样和显示刷新，使这两个过程始终在不同的时间进行，从而避免这种显示噪声，但这显著增加了触敏显示设备设计的复杂性和成本。
为了减轻这种电噪声的影响，触敏显示设备在一些情形中可能标识当前没有检测到输入对象的邻近，但仍然受到电噪声影响的“空闲”触敏电极。为了本公开的目的，“空闲”触敏电极是当前不受输入对象与对应于该电极的显示表面的邻近的影响的触敏电极。可以理解的是，如果电极报告的信号中，由于输入对象的邻近而导致的信号小于阈值百分比(例如10％)，则该电极可能“当前不受输入对象的邻近的影响”，因此“空闲电极”不必仅包括完全不受附近任何或所有潜在触摸输入源影响的电极。相比之下，“被占用”的触敏电极是指当前正在检测来自附近输入对象的触摸输入的电极，例如，报告由于输入对象的邻近而导致高于阈值百分比(例如10％)的信号的电极。通过测量在空闲触敏电极处检测到的电噪声，然后从多个被占用的触敏电极输出的读数中减去测得的电噪声，触敏显示设备可以更一致且准确地检测触摸输入相对于显示表面的位置。
然而，可能出现触摸敏感显示器的基本上所有触摸敏感电极都被占用的情况。换言之，可能不存在触敏显示设备可以用来表征电噪声，然后从由多个被占用的电极报告的信号中减去电噪声的空闲电极。例如，当触敏显示器(例如，智能手机显示器)的尺寸相对较小，使得邻近显示表面的一个或多个输入对象同时影响显示器的基本上所有电极时，可能会发生这种情况。作为一个非限制性示例，用户在用触控笔写字的同时用手和手掌覆盖显示器表面的大部分可以占据显示器的基本上所有触敏电极，从而不剩下可用于减轻电噪声的空闲电极。然而，应当理解，在特定触敏显示器的基本上所有触敏电极都被占用的情形中，可能会出现任何数量的其他情况。
因此，本公开涉及用于触敏显示设备的触摸输入检测的技术。具体地，本公开集中在使用一个或多个经训练的神经网络来至少部分地基于在空闲电极处测得的电噪声来估计影响被占用的显示电极的电噪声的量。然而，值得注意的是，在一些情况下，空闲电极可以在与被占用的触敏电极不同的触敏显示器上。附加地或替换地，在空闲触敏电极处测得的电噪声可用于估计在之后电极被占用时影响同一电极的电噪声的量。在任何情形中，本文所描述的技术都可用于估算影响被占用的触敏电极的电噪声的量，即使在同一触敏显示器上目前没有可用的空闲触敏电极时也是如此。以这种方式，触摸输入可以被更准确地解析为相对于触敏显示器的表面的二维位置，即使在准确的输入检测会受到电噪声影响的情况下也是如此。
图2例示了用于在触敏显示设备上进行触摸输入检测的示例方法200。方法200可由具有任何合适的硬件配置和形状因子的任何合适的触敏显示设备来实现。方法200的步骤在一些情形中可以由合适的计算机处理器或其他逻辑组件(诸如上文关于图1描述的控制器104)来执行。在一些示例中，方法200可由以下参照图7描述的计算系统700来实现。
在202，方法200包括在触敏显示设备的一个或多个触敏显示器上显示图像内容。这在图1中示意性地例示，其中触敏显示设备在触敏显示器102A和102B上显示图像内容110A和110B。
应当理解，图1中所示的特定图像内容仅仅是非限制性示例。通常，如本文所描述的触敏显示设备可以在显示设备的任何或所有触敏显示器上显示几乎任何图像内容。作为非限制性示例，图像内容可以包括由设备的应用或操作系统呈现的用户界面内容、静态图像、用户触摸输入的指示(例如，反映输入对象跨显示表面的移动的“墨水”线)，和视频内容(例如，来自由设备渲染的本地文件、从远程源流式传输的视频或由外部回放设备提供的视频信号)。
不管图像内容的性质如何，应当理解，如上所讨论的，图像内容的显示可能导致或促成影响触敏电极的电噪声。在一些情形中，图像内容的性质(例如，亮度、颜色、图案)可能影响电噪声的性质。此外，电噪声的性质和/或强度在某些情况下可能随时间变化。例如，如上所讨论的，与图像内容的显示相关的电噪声可能是由显示内容刷新的速率与触敏电极处发生触摸采样的速率之间的相互作用引起的。考虑到这一点，当特定输入对象与显示表面接触时，电噪声可能以与显示刷新率和触摸采样率之间的差相对应的速率半周期性地发生。然而，每次输入对象接触显示表面时，电噪声发生的半周期性速率可能会改变，并因此可能不会随时间保持一致。
简单地返回图2，在204，方法200包括标识一个或多个触敏显示器上的空闲触敏电极，空闲触敏电极(1)至少暂时不受一个或多个输入对象与一个或多个触敏显示器的邻近的影响，以及(2)受在一个或多个触敏显示器上的图像内容的显示所引起的电噪声的影响。为了本公开的目的，假设触敏显示设备能够基于电极报告的信号来区分空闲电极和被占用电极。如下面将更详细地讨论的，影响空闲触敏电极的电噪声的量可被用于估计影响被占用的触敏电极(即使当前在与被占用电极相同的显示器上没有可用的空闲电极)的电噪声的量。例如，被占用的电极可以与空闲电极相同，尽管是在之后的时间，这意味着当电极空闲时测得的先前电噪声可以用于估计当电极被占用时影响电极的当前电噪声。作为另一示例，所标识的空闲电极可被用于估计影响在同一触敏显示设备的完全不同的触敏显示器上的被占用电极的电噪声，例如，空闲电极可在显示设备的第一显示器上，而被占用电极在同一设备的第二显示器上。
关于图3示意性地例示了空闲触敏电极的标识。图3再次示出了触敏显示设备100，包括由铰链116分开的第一和第二触敏显示器102A和102B。此外，在图3的示例中，触控笔108(以比图1中更大的尺寸示出)再次向触敏显示器102B提供触摸输入。
图3还示意性地例示了触敏显示器102A和102B的触敏电极114A和114B的活动。触敏电极114A和114B被描绘为虚线矩形，指示设置在触敏显示器102A和102B的相应表面下方的多个触敏电极。尽管未示出各个触敏电极，但是多个电极114B内的两个特定触敏电极300A和300B的位置由白色圆圈指示。
此外，在图3中，一些触敏电极114B受到触控笔108的邻近的影响。换言之，当触控笔接近触敏显示器102B的表面时，一些触敏电极114B对触控笔的存在作出反应——例如，经由电容的变化。受触控笔的邻近的影响的电极在图3中由填充有暗填充图案的圆圈302指示。如图所示，电极300A在圆圈302之外，这指示电极300A是不受触控笔108的邻近的影响的“空闲”电极。相反，电极300B在圆圈302之内，这指示电极300B是受触控笔108的邻近的影响的“被占用”电极。
值得注意的是，如上所描述的，触敏电极114A和114B中的任何一个或全部可能受到由在触敏显示器102A和102B上的图像内容的显示引起的电噪声的影响。当空闲电极(诸如电极300A)可用时，影响电极的电噪声可被表征，并从被占用电极中减去该电噪声，以更准确地检测触摸输入。
然而，如上所讨论的，可能出现在同一触敏显示器上没有可用的空闲电极来表征由图像内容的显示引起的电噪声的场景。该场景是关于图4示意性地例示的，再次示出触敏显示设备100。在图4的示例中，触控笔108由人手106握持，并且手和触控笔两者都接触触敏显示器102B的表面。考虑到这一点，触敏显示器102B的基本上所有触敏电极114B都受到触控笔和手中的一个或两个的邻近的影响，如填充表示电极114B的整个虚线矩形的暗填充图案所指示的。
图4还示出了包括电极400A和400B的两个特定触敏电极(再次由白色圆圈指示)的位置。在此示例中，电极400A是包括在触敏显示器102A中的空闲电极。电极400B和触敏显示屏102B的其他触敏电极一样被占用。换言之，在触敏显示器102B上不存在可用于表征并由此校正由于图像内容的显示而影响电极114B的电噪声的空闲触敏电极。然而，如以下将更详细描述的，在空闲电极400A处测得的电噪声可以用于估计影响被占用电极400B的噪声的量。
图5示意性地例示了标识空闲触敏电极的另一种场景。此示例特别集中在触敏显示器102A的触敏电极114A上。在图5中，触敏电极114A包括特定的触敏电极500。在特定时间帧“T1”，大多数触敏电极114A受到一个或多个输入对象的邻近的影响，但是触敏电极500是空闲的。然而，在之后的时间帧“T5”，基本上所有触敏电极114A都被占用，包括电极500。如将在下文中更详细地描述的，当电极500空闲时在电极500处测得的电噪声可用于估计当电极500之后被占用时影响电极500的电噪声。
简单地返回图2，在206，方法200包括测量影响空闲触敏电极的电噪声。将理解，测量电噪声的具体方式将根据实现、用于显示图像内容的具体显示技术以及用于检测触敏电极处的触摸输入的具体触摸感测技术而变化。通常，在确定触敏电极是空闲的(例如，当前没有检测到输入对象的邻近)时，触敏显示设备可以将触敏电极输出的信号记录为对应于电噪声。
在一些情形中，例如，在电噪声随时间变化的情形中，空闲触敏电极输出的信号可以在一系列时间帧内记录。例如，如上所讨论的，与图像内容的显示相关的电噪声可能是由显示内容刷新的速率与触敏电极处发生触摸采样的速率之间的相互作用引起的。考虑到这一点，当特定输入对象与显示表面接触时，电噪声可能由于显示刷新率和触摸采样率之间的差而速率半周期性地发生。然而，每次输入对象接触显示表面时，电噪声发生的半周期性速率可能会改变，并因此可能不会随时间保持一致。
无论如何，为了本公开的目的，触敏显示设备首先标识空闲触敏电极，然后测量影响空闲电极的电噪声。标识电极和测量电噪声的具体方式可能因实现而异。考虑到这一点，电噪声的性质(例如，幅度、测量单位、发生率)可以类似地根据实现而变化。
继续图2，在208，方法200包括至少部分地基于测得的影响空闲触敏电极的电噪声并且使用经训练的神经网络来估计由图像内容的显示所引起的、正在影响被占用的触敏电极的电噪声的量。值得注意的是，如上所讨论的，“被占用”触敏电极是当前受一个或多个输入对象与触敏显示设备的一个或多个触敏显示器的邻近的影响的触敏电极。
如上所讨论的，测量电噪声的空闲触敏电极可被包括在与被占用的触敏电极不同的触敏显示器中。这是图4中示意性例示的场景，其中触摸敏感显示器102B的基本上所有触摸敏感电极都被占用，包括电极400B。所标识的空闲电极400A在同一触敏显示设备的分开的显示器(例如显示器102A)上。尽管如此，在空闲电极400A处测得的电噪声可被用于估计影响被占用电极400B的电噪声。这是在一个触敏显示器的电极可能经历具有与影响第二触敏显示器电极的电噪声相似特性的电噪声的假设下操作的，尽管具有时间偏移。鉴于此，在一个电极(例如，空闲电极)处测得的电噪声可用于估计影响不同显示器上的不同电极(例如，被占用电极)的电噪声。
这可以经由合适的经训练的神经网络来完成。在一个示例中，经训练的神经网络可以是长短期记忆(LSTM)神经网络，尽管除了LSTM神经网络之外或代替LSTM神经网网，可以使用任何合适的人工智能(AI)和/或机器学习(ML)技术。在用损失函数实现神经网络的情况下，可以使用任何合适的损失函数。作为一个示例，损失函数可以是平方可积(L2)函数。下面将参照图7描述合适的ML和/或AI技术的示例。
在使用经训练的神经网络的情况下，可以以任何合适的方式并使用任何合适的训练数据来训练神经网络。作为一个示例，可以使用至少部分地基于多个输入/输出示例的受监督学习来训练经训练的神经网络。多个输入/输出示例的第一集合可至少包括(1)把在触敏显示设备的第一触敏显示器上的第一训练触敏电极处测得的电噪声作为输入，以及(2)把在触敏显示设备的第二触敏显示器上的相应第二训练触敏电极处测得的电噪声作为输出。值得注意的是，训练数据可以包括多对不同的第一和第二训练电极。以此方式，神经网络可以被训练为对于在空闲电极处测得的输入电噪声预测影响不同触敏显示器上的对应电极的输出电噪声。
可以理解，触敏显示设备的任何或所有触敏电极都可以用作训练神经网络的“训练”电极。换句话说，术语“训练触敏电极”用于指代在训练阶段用于提供用于训练神经网络的输入/输出示例的触敏电极的电极。相同的触敏电极之后可以用于在触敏显示设备的真实世界使用期间检测触摸输入。
值得注意的是，这些测量可以在相对于每个显示器的内部时间序列的相同时间帧上被捕获。换句话说，对第一电极的测量可以在相对于第一显示器的时间帧“T1”处进行，对第二电极的测量也可以在相对于第二显示器的时间帧“T1”处进行。然而，应当理解，用于第一显示器的T1和用于第二显示器的T1可以不完全同时发生。相反，在由每个显示器跟踪的对应时间帧之间可能存在一定程度的时间偏移。
在一些情形中，用于训练神经网络的电噪声测量可以在每个触敏显示设备的制造或校准期间进行。附加地或替换地，神经网络的训练可以随着时间的推移而重复或更新——例如，基于设备的真实世界使用，或者经由软件更新。
多个输入/输出示例可以包括对第一和第二触敏显示器的基本上所有触敏电极的电噪声测量。换言之，第一显示器的各个电极可以在多个输入/输出示例中的一个或多个输入中表示，并且第二显示器的各个电极可以在一个或多个输出中表示。在其他示例中，多个输入/输出示例可以表示比第一显示器和第二显示器的所有触敏电极更少的触敏电极。
在一些情况下，每对第一和第二训练电极相对于每一个触敏电极网格可以具有基本相似的二维坐标——例如，如果第一训练电极在第一显示器的左上角，那么对应的第二训练电极可以在第二显示器的左下角具有对应的位置。然而，在其他示例中，在多个输入/输出示例中使用的电极对可以相对于彼此和每个触敏电极网格具有其他合适的空间关系。
上面描述的输入/输出示例使用来自第一显示器上的电极的电噪声测量值作为输入，并且使用来自第二显示器上电极的电噪声测量值作为输出。然而，在一些情形中，多个输入/输出示例的第二集合可至少包括(1)把在触敏显示设备的第二触敏显示器上的第二训练触敏电极处测得的电噪声作为输入，以及(2)把在触敏显示设备的第一触敏显示器上的相应第一训练触敏电极处测得的电噪声作为输出。因此，在一个显示器上的空闲电极处测得的电噪声可被用于估计影响另一显示器上的对应电极的电噪声的量，因为神经网络是在表示两个显示器的输入/输出示例上训练的。
本公开主要集中在每个电极的单个“电噪声”测量。然而，应当理解，在一些情况下，每个电极可以具有实数值(例如，同相)和虚数值(例如正交)两者。因此，在一些情况下，在训练神经网络中使用的输入集合可以具有Nx2的大小，其中N是在其上训练神经网络的电极的总数。
该讨论主要集中在空闲触敏电极和被占用触敏电极在不同触敏显示器上的场景上。然而，如上所讨论的，在一些情况下，当电极被占用时，在空闲触敏电极处测得的电噪声可用于估计在之后时间帧上影响同一电极的电噪声。换言之，被占用的触敏电极受一个或多个输入对象在多个连续时间帧中的当前时间帧上的邻近的影响，而被占用的触敏电极在当前时间帧之前一个或多个时间帧发生的先前时间帧上被标识为空闲触敏电极。
这是图5中示意性地例示的场景，其中电极500在第一时间帧T1上是空闲的并且在之后的时间帧T5上被占用。在帧T1上在电极500处测得的电噪声可用于估计在当前时间帧T5上影响电极500的电噪声的量。在此示例中，在当前时间帧上，多个触敏电极114A中的每个触敏电极都受一个或多个输入对象的邻近的影响——例如，基本上所有电极114A都被占用。此外，影响被占用的触敏电极的电噪声的量可通过经训练的神经网络至少部分地基于先前时间帧(例如，T1)与当前时间帧(例如，T5)之间的一个或多个时间帧的量来进一步估计。在此非限制性示例中，在先前时间帧和当前时间帧之间存在四个时间帧。然而，应当理解，本文所描述的技术可以应用于宽范围的时间间隔。以此方式，触敏显示设备可以基于从过去没有任何合适数量的帧的触敏电极收集的测量来考虑电噪声，这可以允许在更宽范围的使用情况下校正电噪声。
同样，这可以经由合适的经训练的神经网络和/或其他合适的ML/AI技术来实现。例如，经训练的神经网络可以是LSTM神经网络。在用损失函数实现神经网络的情况下，可以使用任何合适的损失函数。作为一个示例，损失函数可以是平方可积(L2)函数。下面将参照图7描述合适的ML和/或AI技术的示例。
在使用经训练的神经网络的情况下，可以以任何合适的方式并使用任何合适的训练数据来训练神经网络。作为一个示例，可以使用至少部分地基于多个输入/输出示例的受监督学习来训练经训练的神经网络。每个输入/输出示例可以至少包括(1)把在输入时间帧以及在输入时间帧和之后的输出时间帧之间发生的多个时间帧上在训练触敏电极处测得的电噪声作为输入，以及(2)把在输出时间帧上在训练触敏电极处测得的电噪声作为输出。换言之，可以基于在不同时间在同一电极处进行的两个不同的电噪声测量，以及分离这两个测量的多个时间帧来训练神经网络。以此方式，当特定电极在当前时间帧T上被占用，而电极在较早的时间帧T-K上空闲时，可以训练神经网络以基于在T-K处测得的电噪声和K的值来估计在时间T处影响电极的电噪声的量。
经训练的神经网络可以在任何合适数量的K值(例如，输入测量值和输出测量值之间的时间差)上进行训练。换言之，对于每个电极，可以用由多个不同时间间隔分隔的输入/输出值来训练神经网络——例如，一个输入/输出对的K值为1，另一输入/输出对的K值为2，依此类推。这可以持续到最大帧间隔阈值，该阈值可以具有取决于实现的任何合适的值。作为一个非限制性示例，可以使用200帧的最大K值。这可能是合适的，因为如上所讨论的，由图像内容的显示引起的电噪声经常以半周期性的速率发生。因此，在K达到200帧之前，任何电噪声都可能被表示至少一次。
如上讨论的，在一些情形中，用于训练神经网络的电噪声测量可以在每个触敏显示设备的制造或校准期间进行。附加地或替换地，神经网络的训练可以随着时间的推移而重复或更新——例如，基于设备的真实世界使用，或者经由软件更新。
多个输入/输出示例可以包括基本上所有触敏电极的电噪声测量。换句话说，任何特定触敏显示器的每个电极可以在多个输入/输出示例中表示。然而，在其他示例中，多个输入/输出示例可以表示比第一显示器和第二显示器的所有触敏电极更少的触敏电极。
此外，如上所讨论的，训练数据不仅需要包括每个电极的单个“电噪声”测量。相反，在一些情况下，每个电极可以具有实数值(例如，同相)和虚数值(例如正交)两者。因此，在一些情况下，用于训练神经网络的输入集合可以具有Nx3的大小，其中N是在其上训练网络的电极的总数，包括当前训练示例的每个电极的实数、虚数和K值。
在任何情况下，如上所讨论的，经训练的神经网络可被用于至少部分地基于在空闲触敏电极处测得的电噪声来估计影响被占用的触敏电极的电噪声的量。该过程是关于图6示意性地例示的。
在图6中，空闲触敏电极600如上所描述被标识。从那里，触敏显示设备测量影响空闲触敏电极的电噪声602。电噪声被提供给如上所描述地训练的神经网络604。在空闲触敏电极与被占用的触敏电极相同的情形中，神经网络可以附加地接收自电极最后空闲以来的多个帧606(例如，如上所描述的K值)。基于这些输入，经训练的神经网络输出影响被占用的触敏电极的估计的电噪声608。
在一些情况下，可能存在多个连续帧，其中给定触敏显示器上没有任何触敏电极是空闲的。因此，在一些情况下，触敏显示设备可以进一步使用经训练的神经网络来估计在当前时间帧之后的一个或多个时间帧中的每一个时间帧上影响被占用的触敏电极的电噪声的量。例如，当被占用的触敏电极与当前触敏电极相同时，在先前时间帧上影响电极的电噪声可以在一系列后续时间帧中的每个时间帧上与更新的K值一起提供给经训练的神经网络，以给出对影响电极的当前电噪声的更新估计。这可以持续直到检测到新的空闲触敏电极，或者达到最大帧间隔阈值。如上所讨论的，帧间隔阈值可以具有任何合适的值(例如，200个时间帧的值)。
到目前为止，本公开关注于其中在单个空闲电极处测得的电噪声用于估计影响单个被占用电极的电噪声的场景。然而，在一些情况下，在使用一个神经网络来估计影响被占用电极的电噪声之后，第二神经网络可以用于估计影响多个附加的被占用触敏电极的电噪声。换句话说，上述经训练的神经网络可以是第一触敏电极，并且触敏显示设备可以被配置成使用第二经训练的神经网络来估计由图像内容的显示引起的电噪声的量，该电噪声正在影响在与被占用的触敏电极相同的触敏显示器上的多个触敏电极中的每一者。这至少可以部分地基于影响被占用的触敏电极的电噪声来实现。
这也在图6中例示。如图所示，经训练的神经网络604输出影响被占用电极的电噪声的估计608。该估计被提供给第二经训练的神经网络610，其输出影响多个其他被占用电极中的每一者的电噪声的估计612，例如，与被占用电极在同一触敏显示器上的几乎所有触敏电极。
与第一神经网络一样，任何合适的技术都可以用于实现第二经训练的神经网络。在一些示例中，第二经训练的神经网络可以是卷积神经网络(CNN)，因为人们相信CNN非常适合于解释不同触敏电极之间的空间差异，这将在下面更详细地描述。下面将参照图7描述合适的ML和/或AI技术的附加的非限制性示例。
在使用两个不同的神经网络的情况下，第一神经网络通常可以处理不同触敏电极之间的时间关系，而第二神经网络可以处理不同触摸敏感电极之间的空间关系。取决于在触敏显示器上呈现的图像内容的性质，影响一个电极的电噪声可以与影响同一显示器上的不同电极的电噪声相关，但不同。在实践中，已经观察到，可以在触敏显示器上呈现的各种不同类型的图像内容将导致与影响显示器的触敏电极的电噪声相关的相对有限数量的不同空间模式。换言之，第二个经训练的神经网络可以在相对少量的不同空间模式(例如，20个不同的模式)上进行训练，并且这将足以捕捉神经网络在实际使用期间中会接触到的大多数情况。
与上述第一神经网络一样，第二神经网络的训练可以以任何合适的方式进行。例如，第二神经网络的训练数据可以包括作为输入的在输入电极处测得的电噪声，以及作为输出的影响同一显示器上的多个其它电极的电噪声。在一些情况下，可以为每个电极提供多个训练示例，对应于显示器上呈现的不同类型的视觉内容。
此外，本公开主要集中于其中仅标识一个空闲电极的场景。应当理解，在其他实现中，可以标识两个或多个不同的空闲触敏电极，并且可以测量影响两个或更多个不同电极中的每一者的电噪声。从那里，在两个或更多个不同电极处测得的电噪声可以被提供给一个或更多经训练的神经网络，以估计影响一个或多个被占用的触敏电极的电噪声。这可以允许以增加计算复杂性为代价，更准确地表征和减去影响被占用电极的电噪声。
本文描述的方法和过程可以绑定到一个或多个计算设备的计算系统。具体地，此类方法和过程可以被实现为可执行计算机应用程序、网络可访问计算服务、应用编程接口(API)、库、或者以上和/或其他计算资源的组合。
图7示意性地示出了计算系统700的简化表示，该计算系统700被配置成提供本文中描述的任何乃至所有计算功能性。计算系统700可以采用一个或多个个人计算机、网络可访问的服务器计算机、平板计算机、家庭娱乐计算机、游戏设备、移动计算设备、移动通信设备(例如，智能电话)、虚拟/增强/混合现实计算设备、可穿戴计算设备、物联网(IoT)设备、嵌入式计算设备和/或其他计算设备的形式。
计算系统700包括逻辑子系统702和存储子系统704。计算系统700可任选地包括显示子系统706、输入子系统708、通信子系统710、和/或在图7中未示出的其他子系统。
逻辑子系统702包括被配置成执行指令的一个或多个物理设备。例如，逻辑子系统可被配置成执行作为一个或多个应用、服务、或其他逻辑构造的一部分的指令。逻辑子系统可包括被配置成执行软件指令的一个或多个硬件处理器。附加地或替换地，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件设备。逻辑子系统的处理器可以是单核的或多核的，并且其上执行的指令可以被配置成用于串行、并行和/或分布式处理。逻辑子系统的各个个体组件可任选地分布在两个或更多个分开的设备之间，该设备可以位于远程以及/或者被配置成用于协同处理。逻辑子系统的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储子系统704包括被配置成临时和/或永久地保持计算机信息(诸如可由逻辑子系统执行的数据和指令)的一个或多个物理设备。当存储子系统包括两个或更多个设备时，这些设备可以共处一处和/或位于远程。存储子系统704可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。存储子系统704可以包括可移动和/或内置设备。当逻辑子系统执行指令时，存储子系统704的状态可被变换——例如，以保持不同的数据。
逻辑子系统702和存储子系统704的各方面可以被一起集成到一个或多个硬件逻辑组件中。此类硬件逻辑组件可包括例如程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)、以及复杂可编程逻辑器件(CPLD)。
逻辑子系统和存储子系统可以协作以实例化一个或多个逻辑机。如本文所使用的，术语“机器”被用来统一指代硬件、固件、软件、指令、和/或协作以提供计算机功能性的任何其他组件的组合。换言之，“机器”从来都不是抽象概念，而总是具有有形形式。机器可以由单个计算设备实例化，或者机器可以包括由两个或更多个不同计算设备实例化的两个或更多个子组件。在一些实现中，机器包括与远程组件(例如，由服务器计算机的网络提供的云计算服务)协作的本地组件(例如，由计算机处理器执行的软件应用)。赋予特定机器其功能性的软件和/或其他指令可任选地被保存为一个或多个合适的存储设备上的一个或多个未执行模块。
机器可使用现有技术和/或未来机器学习(ML)、人工智能(AI)和/或自然语言处理(NLP)技术的任何合适的组合来实现。可包括在一个或多个机器的实现中的技术的非限制性示例包括：支持向量机、多层神经网络、卷积神经网络(例如，包括用于处理图像和/或视频的空间卷积网络、用于处理音频信号和/或自然语言句子的时间卷积神经网络，和/或配置成卷积和池化跨一个或多个时间和/或空间维度的特征的任何其他合适的卷积神经网络)、递归神经网络(例如，长-短期记忆网络)、联想存储器(例如，查找表、哈希表、Bloom滤波器、神经图灵机和/或神经随机存取存储器)、字嵌入模型(例如，GloVe或Word2Vec)、无监督空间和/或聚类方法(例如，最近邻算法、拓扑数据分析和/或k-均值聚类)、图形模型(例如(隐藏)马尔可夫模型、马尔可夫随机场、(隐藏)条件随机场和/或AI知识库)和/或自然语言处理技术(例如，标记化、词干提取、构成和/或依赖分析、和/或意图识别、分段模型和/或超分段模型(例如，隐藏动态模型))。
在一些示例中，可使用一个或多个可微函数来实现本文描述的方法和过程，其中可微函数的梯度可参考可微函数的输入和/或输出(例如，参考训练数据和/或参考目标功能)来计算和/或估计。此类方法和过程可至少部分地由一组可训练的参数来确定。因此，用于特定方法或过程的可训练参数可通过任何适当的训练规程来调整，以便持续地改进该方法或过程的功能。
用于调整可训练参数的训练规程的非限制性示例包括有监督训练(例如，使用梯度下降或任何其他合适的优化方法)、零样本(zero-shot)、少样本(few-shot)、无监督学习方法(例如，基于从无监督聚类方法导出的类的分类)、强化学习(例如基于反馈的深度Q学习)和/或生成性对抗神经网络训练方法、信念传播、RANSAC(随机样本共识)、带上下文的bandit方法、最大似然方法和/或期望最大化。在一些示例中，可参考测量多个组件的集体功能的性能的目标功能(例如，参考增强反馈和/或参考经标记的训练数据)同时训练本文描述的系统的多个方法、过程和/或组件。同时训练多种方法、过程和/或组件可改进此类集体功能。在一些示例中，一个或多个方法、过程和/或组件可独立于其他组件来训练(例如，对历史数据进行离线训练)。
当被包括时，显示子系统706可被用来呈现由存储子系统704保持的数据的视觉表示。该视觉表示可采取图形用户界面(GUI)的形式。显示子系统706可包括利用实质上任何类型的技术的一个或多个显示设备。在一些实现中，显示子系统可以包括一个或多个虚拟现实、增强现实或混合现实显示器。
在包括输入子系统708时，输入子系统708可以包括或对接于一个或多个输入设备。输入设备可包括传感器设备或用户输入设备。用户输入设备的各示例包括键盘、鼠标、触摸屏或游戏控制器。在一些实施例中，输入子系统可包括所选择的自然用户输入(NUI)部件或者与上述自然用户输入(NUI)部件相对接。此类部件可以是集成的或外围的，并且输入动作的换能和/或处理可以在板上或板外被处置。示例NUI部件可以包括用于语音和/或话音识别的话筒；用于机器视觉和/或姿势识别的红外、彩色、立体和/或深度相机；以及用于运动检测和/或意图识别的头部跟踪器、眼部跟踪器、加速度计、和/或陀螺仪。
当包括通信子系统710时，通信子系统710可被配置成将计算系统700与一个或多个其他计算设备通信地耦合。通信子系统710可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。通信子系统可以被配置成经由个人网络、局域网和/或广域网进行通信。
通过示例并参考相关联的附图来呈现本公开。在一个或多个附图中可能基本相同的组件、过程步骤和其他元素被协调地标识并且以最少的重复进行描述。然而，应当指出，被协调地标识的元素也可能在一定程度上有所不同。应当进一步指出，一些附图可能是示意性的并且未按比例绘制。附图中所示的各种绘图比例、纵横比和组件数目可能被蓄意失真以使得更容易看到某些特征或关系。
在一个示例中，一种触敏显示设备包括：一个或多个触敏显示器，每个触敏显示器包括多个触敏电极；逻辑子系统；以及存储子系统，该存储子系统保存能由该逻辑子系统执行以进行以下操作的指令：在该一个或多个触敏显示器上显示图像内容；标识该一个或多个触敏显示器上的空闲触敏电极，该空闲触敏电极(1)至少暂时不受一个或多个输入对象与该一个或多个触敏显示器的邻近的影响，以及(2)受在该一个或多个触敏显示器上的图像内容的显示所引起的电噪声的影响；测量影响该空闲触敏电极的该电噪声；以及至少部分地基于测得的影响该空闲触敏电极的电噪声并且使用经训练的神经网络来估计由图像内容的该显示所引起的、正在影响被占用的触敏电极的电噪声的量，该被占用的触敏电极受该一个或多个输入对象与该一个或多个触敏显示器的邻近的影响。在此示例或任何其他示例中，该被占用的触敏电极受该一个或多个输入对象在多个连续时间帧中的当前时间帧上的邻近的影响，并且该被占用的触敏电极在该当前时间帧之前一个或多个时间帧发生的先前时间帧上被标识为空闲触敏电极。在此示例或任何其他示例中，影响该被占用的触敏电极的电噪声的量通过该经训练的神经网络至少部分地基于该先前时间帧与该当前时间帧之间的该一个或多个时间帧的量来进一步估计。在此示例或任何其他示例中，该经训练的神经网络至少部分地基于多个输入/输出示例来训练，其中每个输入/输出示例至少包括(1)把在输入时间帧以及在该输入时间帧和之后的输出时间帧之间发生的多个时间帧上在训练触敏电极处测得的电噪声作为输入，以及(2)把在该输出时间帧上在该训练触敏电极处测得的电噪声作为输出。在此示例或任何其他示例中，在该当前时间帧上，该多个触敏电极中的每个触敏电极都受该一个或多个输入对象的邻近的影响。在此示例或任何其他示例中，该指令可进一步执行以使用该经训练的神经网络以至少部分地基于在该先前时间帧上影响该空闲触敏电极的该电噪声来估计在该当前时间帧之后的一个或多个时间帧中的每个时间帧上影响该被占用的触敏电极的电噪声的量，直到新的空闲触敏电极被标识或者帧间隔阈值被达到。在此示例或任何其他示例中，该一个或多个触敏显示器包括两个触敏显示器。在此示例或任何其他示例中，该空闲触敏电极被包括在与该被占用的触敏电极不同的触敏显示器中。在此示例或任何其他示例中，该经训练的神经网络至少部分地基于多个输入/输出示例来训练，并且其中该多个输入/输出示例的第一集合至少包括(1)把在该触敏显示设备的第一触敏显示器上的第一训练触敏电极处测得的电噪声作为输入，以及(2)把在该触敏显示设备的第二触敏显示器上的第二训练触敏电极处测得的电噪声作为输出。在此示例或任何其他示例中，该多个输入/输出示例的第二集合至少包括(1)把在该触敏显示设备的该第二触敏显示器上的该第二训练触敏电极处测得的电噪声作为输入，以及(2)把在该触敏显示设备的该第一触敏显示器上的该第一训练触敏电极处测得的电噪声作为输出。在此示例或任何其他示例中，该经训练的神经网络是第一经训练的神经网络，并且该指令可进一步执行以至少部分地基于影响该被占用的触敏电极的该电噪声并使用第二经训练的神经网络来估计由图像内容的该显示所引起的、正在影响与该被占用的触敏电极相同的触敏显示器上的该多个触敏电极中的每个触敏电极的电噪声的量。在此示例或任何其他示例中，该第一经训练的神经网络是长短期存储器(LSTM)神经网络。在此示例或任何其他示例中，该第二经训练的神经网络是卷积神经网络(CNN)。
在一个示例中，一种用于触敏显示设备的方法包括：在该触敏显示设备的一个或多个触敏显示器上显示图像内容，该一个或多个触敏显示器中的每个触敏显示器包括多个触敏电极；标识该一个或多个触敏显示器上的空闲触敏电极，该空闲触敏电极(1)至少暂时不受一个或多个输入对象与该一个或多个触敏显示器的邻近的影响，以及(2)受在该一个或多个触敏显示器上的图像内容的显示所引起的电噪声的影响；测量影响该空闲触敏电极的该电噪声；以及至少部分地基于测得的影响该空闲触敏电极的电噪声并且使用经训练的神经网络来估计由图像内容的该显示所引起的、正在影响被占用的触敏电极的电噪声的量，该被占用的触敏电极受该一个或多个输入对象与该一个或多个触敏显示器的邻近的影响。在此示例或任何其他示例中，该被占用的触敏电极受该一个或多个输入对象在多个连续时间帧中的当前时间帧上的邻近的影响，并且该被占用的触敏电极在该当前时间帧之前一个或多个时间帧发生的先前时间帧上被标识为空闲触敏电极。在此示例或任何其他示例中，影响该被占用的触敏电极的电噪声的量通过该经训练的神经网络至少部分地基于该先前时间帧与该当前时间帧之间的该一个或多个时间帧的量来进一步估计。在此示例或任何其他示例中，该一个或多个触敏显示器包括两个触敏显示器。在此示例或任何其他示例中，该空闲触敏电极被包括在与该被占用的触敏电极不同的触敏显示器中。在此示例或任何其他示例中，该经训练的神经网络是第一经训练的神经网络，并且该进一步包括至少部分地基于影响该被占用的触敏电极的该电噪声并使用第二经训练的神经网络来估计由图像内容的该显示所引起的、正在影响与该被占用的触敏电极相同的触敏显示器上的该多个触敏电极中的每个触敏电极的电噪声的量。
在一个示例中，一种触敏显示设备包括：第一触敏显示器和第二触敏显示器，每个触敏显示器包括多个触敏电极；逻辑子系统；以及存储子系统，该存储子系统保存能由该逻辑子系统执行以进行以下操作的指令：在该第一和第二触敏显示器上显示图像内容；标识该第一触敏显示器上的空闲触敏电极，该空闲触敏电极(1)至少暂时不受一个或多个输入对象与该第一触敏显示器的邻近的影响，以及(2)受在该第一触敏显示器上的图像内容的显示所引起的电噪声的影响；测量影响该空闲触敏电极的该电噪声；以及至少部分地基于测得的影响该空闲触敏电极的电噪声并且使用经训练的神经网络来估计由图像内容的该显示所引起的、正在影响该第二触敏显示器上被占用的触敏电极的电噪声的量，该被占用的触敏电极受该一个或多个输入对象与该第二触敏显示器的邻近的影响。
应当理解，本文中所描述的配置和/或办法本质上是示例性的，并且这些具体实施例或示例不应被视为具有限制意义，因为许多变体是可能的。本文中所描述的具体例程或方法可表示任何数目的处理策略中的一个或多个。由此，所解说和/或所描述的各种动作可按所解说和/或所描述的顺序执行、按其他顺序执行、并行地执行，或者被省略。同样，以上所描述的过程的次序可被改变。
本公开的主题包括此处公开的各种过程、系统和配置以及其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (15)

1.一种触敏显示设备，包括：
一个或多个触敏显示器，每个触敏显示器包括多个触敏电极；
逻辑子系统；以及
存储子系统，所述存储子系统保存能由所述逻辑子系统执行以进行以下操作的指令：
在所述一个或多个触敏显示器上显示图像内容；
标识所述一个或多个触敏显示器上的空闲触敏电极，所述空闲触敏电极(1)至少暂时不受一个或多个输入对象与所述一个或多个触敏显示器的邻近的影响，以及(2)受在所述一个或多个触敏显示器上的图像内容的显示所引起的电噪声的影响；
测量影响所述空闲触敏电极的所述电噪声；以及
至少部分地基于测得的影响所述空闲触敏电极的电噪声并且使用经训练的神经网络来估计由图像内容的所述显示所引起的、正在影响被占用的触敏电极的电噪声的量，所述被占用的触敏电极受所述一个或多个输入对象与所述一个或多个触敏显示器的邻近的影响。
2.如权利要求1所述的触敏显示设备，其特征在于，所述被占用的触敏电极受所述一个或多个输入对象在多个连续时间帧中的当前时间帧上的邻近的影响，并且所述被占用的触敏电极在所述当前时间帧之前一个或多个时间帧发生的先前时间帧上被标识为空闲触敏电极。
3.如权利要求2所述的触敏显示设备，其特征在于，影响所述被占用的触敏电极的电噪声的量通过所述经训练的神经网络至少部分地基于所述先前时间帧与所述当前时间帧之间的所述一个或多个时间帧的量来进一步估计。
4.如权利要求3所述的触敏显示设备，其特征在于，所述经训练的神经网络至少部分地基于多个输入/输出示例来训练，其中每个输入/输出示例至少包括(1)把在输入时间帧以及在所述输入时间帧和之后的输出时间帧之间发生的多个时间帧上在训练触敏电极处测得的电噪声作为输入，以及(2)把在所述输出时间帧上在所述训练触敏电极处测得的电噪声作为输出。
5.如权利要求2所述的触敏显示设备，其特征在于，在所述当前时间帧上，所述多个触敏电极中的每个触敏电极都受所述一个或多个输入对象的邻近的影响。
6.如权利要求2所述的触敏显示设备，其特征在于，所述指令可进一步执行以使用所述经训练的神经网络以至少部分地基于在所述先前时间帧上影响所述空闲触敏电极的所述电噪声来估计在所述当前时间帧之后的一个或多个时间帧中的每个时间帧上影响所述被占用的触敏电极的电噪声的量，直到新的空闲触敏电极被标识或者帧间隔阈值被达到。
7.如权利要求1所述的触敏显示设备，其特征在于，所述一个或多个触敏显示器包括两个触敏显示器。
8.如权利要求7所述的触敏显示设备，其特征在于，所述空闲触敏电极被包括在与所述被占用的触敏电极不同的触敏显示器中。
9.如权利要求8所述的触敏显示设备，其特征在于，所述经训练的神经网络至少部分地基于多个输入/输出示例来训练，并且其中所述多个输入/输出示例的第一集合至少包括(1)把在所述触敏显示设备的第一触敏显示器上的第一训练触敏电极处测得的电噪声作为输入，以及(2)把在所述触敏显示设备的第二触敏显示器上的第二训练触敏电极处测得的电噪声作为输出。
10.如权利要求9所述的触敏显示设备，其特征在于，所述多个输入/输出示例的第二集合至少包括(1)把在所述触敏显示设备的所述第二触敏显示器上的所述第二训练触敏电极处测得的电噪声作为输入，以及(2)把在所述触敏显示设备的所述第一触敏显示器上的所述第一训练触敏电极处测得的电噪声作为输出。
11.如权利要求1所述的触敏显示设备，其特征在于，所述经训练的神经网络是第一经训练的神经网络，并且所述指令可进一步执行以至少部分地基于影响所述被占用的触敏电极的所述电噪声并使用第二经训练的神经网络来估计由图像内容的所述显示所引起的、正在影响与所述被占用的触敏电极相同的触敏显示器上的所述多个触敏电极中的每个触敏电极的电噪声的量。
12.如权利要求11所述的触敏显示设备，其特征在于，所述第一经训练的神经网络是长短期存储器(LSTM)神经网络。
13.如权利要求11所述的触敏显示设备，其特征在于，所述第二经训练的神经网络是卷积神经网络(CNN)。
14.一种用于触敏显示设备的方法，所述方法包括：
在所述触敏显示设备的一个或多个触敏显示器上显示图像内容，所述一个或多个触敏显示器中的每个触敏显示器包括多个触敏电极；
标识所述一个或多个触敏显示器上的空闲触敏电极，所述空闲触敏电极(1)至少暂时不受一个或多个输入对象与所述一个或多个触敏显示器的邻近的影响，以及(2)受在所述一个或多个触敏显示器上的图像内容的显示所引起的电噪声的影响；
测量影响所述空闲触敏电极的所述电噪声；以及
至少部分地基于测得的影响所述空闲触敏电极的电噪声并且使用经训练的神经网络来估计由图像内容的所述显示所引起的、正在影响被占用的触敏电极的电噪声的量，所述被占用的触敏电极受所述一个或多个输入对象与所述一个或多个触敏显示器的邻近的影响。
15.如权利要求14所述的方法，其特征在于，所述被占用的触敏电极受所述一个或多个输入对象在多个连续时间帧中的当前时间帧上的邻近的影响，并且所述被占用的触敏电极在所述当前时间帧之前一个或多个时间帧发生的先前时间帧上被标识为空闲触敏电极。
CN202280034416.8A 2021-05-12 2022-04-09 对触敏电极的电噪声估计 Pending CN117296030A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/319,077 2021-05-12
US17/319,077 US11513631B1 (en) 2021-05-12 2021-05-12 Electrical noise estimation for touch-sensitive electrodes
PCT/US2022/024153 WO2022240516A1 (en) 2021-05-12 2022-04-09 Electrical noise estimation for touch-sensitive electrodes

Publications (1)

Publication Number Publication Date
CN117296030A true CN117296030A (zh) 2023-12-26

Family

ID=81387028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280034416.8A Pending CN117296030A (zh) 2021-05-12 2022-04-09 对触敏电极的电噪声估计

Country Status (4)

Country Link
US (1) US11513631B1 (zh)
EP (1) EP4338040A1 (zh)
CN (1) CN117296030A (zh)
WO (1) WO2022240516A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7033941B2 (ja) * 2018-02-01 2022-03-11 株式会社ワコム センサシステム
KR20230064137A (ko) * 2021-11-03 2023-05-10 삼성전자주식회사 터치 센서에 대한 노이즈를 예측하는 디스플레이 장치 및 컴퓨팅 시스템
US11775117B1 (en) * 2022-07-07 2023-10-03 Stmicroelectronics (Beijing) R&D Co., Ltd. System and method for display synchronization

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101773612B1 (ko) 2011-01-13 2017-08-31 삼성전자주식회사 터치 영역 확인 장치 및 방법
JP5667960B2 (ja) * 2011-10-14 2015-02-12 株式会社ジャパンディスプレイ 表示装置、タッチ検出装置、および電子機器
KR20140046327A (ko) 2012-10-10 2014-04-18 삼성전자주식회사 멀티 디스플레이 장치, 입력 펜, 멀티 디스플레이 장치의 제어 방법 및 멀티 디스플레이 시스템
US10067575B2 (en) 2012-11-30 2018-09-04 Apple Inc. Noise correction for stylus applications on tablets and other touch devices
KR102080896B1 (ko) 2013-01-29 2020-02-25 삼성디스플레이 주식회사 모바일 장치 및 이의 구동 방법
US10048775B2 (en) 2013-03-14 2018-08-14 Apple Inc. Stylus detection and demodulation
US10725591B1 (en) * 2014-04-30 2020-07-28 Cypress Semiconductor Corporation Passive touch detection for capacitive sense array
US9557868B2 (en) 2014-11-21 2017-01-31 Apple Inc. Noise reduction for touch sensor system with active stylus
US9864466B2 (en) 2015-12-31 2018-01-09 Synaptics Incorporated Mitigating common mode display noise using hybrid estimation approach
US9811181B2 (en) 2016-02-24 2017-11-07 Apple Inc. Noise correction for a stylus touch device
KR20170140976A (ko) 2016-06-14 2017-12-22 엘지전자 주식회사 폴더블 디바이스 및 그 제어방법
US10845930B2 (en) * 2018-09-28 2020-11-24 Apple Inc. Common mode noise mitigation for integrated touch screens
TWI731442B (zh) 2019-10-18 2021-06-21 宏碁股份有限公司 電子裝置及其利用觸控資料的物件資訊辨識方法
US11899881B2 (en) * 2020-07-17 2024-02-13 Apple Inc. Machine learning method and system for suppressing display induced noise in touch sensors using information from display circuitry

Also Published As

Publication number Publication date
US11513631B1 (en) 2022-11-29
US20220365620A1 (en) 2022-11-17
EP4338040A1 (en) 2024-03-20
WO2022240516A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
US11513631B1 (en) Electrical noise estimation for touch-sensitive electrodes
EP3466070B1 (en) Method and device for obtaining image, and recording medium thereof
KR102334139B1 (ko) 적응적 호모그래피 매핑에 기초한 눈 시선 추적
US9696859B1 (en) Detecting tap-based user input on a mobile device based on motion sensor data
US9591295B2 (en) Approaches for simulating three-dimensional views
RU2644520C2 (ru) Бесконтактный ввод
US9213436B2 (en) Fingertip location for gesture input
US9303982B1 (en) Determining object depth information using image data
EP3243162A1 (en) Gaze detection offset for gaze tracking models
WO2013138489A1 (en) Approaches for highlighting active interface elements
US20170256073A1 (en) Minimizing variations in camera height to estimate distance to objects
US10600189B1 (en) Optical flow techniques for event cameras
JP2016515242A (ja) 校正不要な注視点推定の方法と装置
KR20210069491A (ko) 전자 장치 및 이의 제어 방법
KR20170014491A (ko) 움직임 인식 방법 및 움직임 인식 장치
US10146306B2 (en) Gaze position detection apparatus and gaze position detection method
US20210409626A1 (en) Patch tracking image sensor
US9400575B1 (en) Finger detection for element selection
WO2017184274A1 (en) System and method for determining and modeling user expression within a head mounted display
US9811916B1 (en) Approaches for head tracking
CN115989469A (zh) 用于触敏显示设备的噪声补偿
US9772679B1 (en) Object tracking for device input
CN108369486A (zh) 通用涂墨支持
CN115885244A (zh) 用于触敏显示器的触摸限制区域
KR20210000671A (ko) 헤드 포즈 추정

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination