CN117940882A - 对显示器的位置进行编码和识别 - Google Patents

对显示器的位置进行编码和识别 Download PDF

Info

Publication number
CN117940882A
CN117940882A CN202280061534.8A CN202280061534A CN117940882A CN 117940882 A CN117940882 A CN 117940882A CN 202280061534 A CN202280061534 A CN 202280061534A CN 117940882 A CN117940882 A CN 117940882A
Authority
CN
China
Prior art keywords
display
backlight
encoding
code
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280061534.8A
Other languages
English (en)
Inventor
欧文·德拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN117940882A publication Critical patent/CN117940882A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

通常，本公开中描述的主题可以体现在用于确定光接收设备所取向的显示器的位置的方法、系统和程序产品中。该方法包括由光接收设备捕捉由显示器传输的光，其中显示器被配置为从显示器的相应多个不同区域发射多个不同编码，使得多个不同区域中的每个区域发射来自多个不同编码中的唯一编码。该方法包括由计算系统标识在由显示器传输并由光接收设备捕捉的光内编译的第一编码。该方法包括由计算系统从显示器的多个不同区域中确定与第一编码对应的显示器的第一区域。

Description

对显示器的位置进行编码和识别
本申请要求2021年9月17日提交的美国临时申请序列号63/245,593的优先权，其全部内容通过引用并入本文。
技术领域
本文档大体上涉及对显示器的位置进行编码和识别。
背景技术
交互地绘制和/或注释显示设备的能力通过使显示设备交互式来增加显示设备的效用。将这样的能力添加到大型显示器可能涉及增加的成本，从而阻碍了包括输入接口和与其一起出现的交互式功能的显示器的广泛实现。传统的笔传感器技术通常要求在其制造时将输入接口技术集成到显示设备中。在制造之后可能难以向显示设备添加笔跟踪技术。售后的传感器可能是难看的、安装不方便的，并且经受与显示设备的不良对准。
发明内容
本文档描述了用于对显示器的位置进行编码和识别的技术、方法、系统和其他机制。
在某些实例中，特定实施方式可以实现以下优点中的一个或多个。用户可以能够例如通过用笔设备在显示设备上书写或使用笔设备选择由显示设备呈现的项目来与显示设备交互。这样的功能可以在显示设备中实现，而无需向现有显示设备或显示设备的设计添加硬件。例如，显示设备不需要包括触摸敏感层以提供用户输入功能。相反，现有的显示设备控制器(控制显示设备操作的小型计算机)可以被编程为修改传输到提供背光或视觉内容的发光二极管(LED)阵列的信号，使得LED阵列的不同区域发射不同模式的脉冲。具有光传感器的用户手持笔设备可以检测这些脉冲并由此导出笔设备相对于显示设备的位置/取向。脉冲可能对用户不可见。用户与显示设备的特定部分交互的能力显著增加了用户与显示设备交互的能力。
作为下面描述的实施例的附加描述，本公开描述了以下实施例。
实施例1是一种用于确定光接收设备所取向的显示器的位置的计算机实现的方法，包括：由所述光接收设备捕捉由所述显示器传输的光，其中，所述显示器被配置为从所述显示器的相应多个不同区域发射多个不同编码，使得所述多个不同区域中的每个区域发射来自所述多个不同编码中的唯一编码；由计算系统标识在由所述显示器传输并由所述光接收设备捕捉的光内编译的第一编码；以及由所述计算系统从所述显示器的所述多个不同区域中确定所述显示器的与所述第一编码对应的第一区域。
实施例2是根据实施例1的计算机实现的方法，包括：由所述计算系统标识在由所述显示器传输且由所述光接收设备捕捉的所述光内编译的第二编码；以及由所述计算系统从所述显示器的所述多个不同区域中确定所述显示器的与所述第二编码对应的第二区域。
实施例3是根据实施例2的计算机实现的方法，包括：由所述计算系统标识所述第一编码的第一强度；由所述计算系统标识所述第二编码的第二强度；由所述计算系统基于所述第一编码的所述第一强度相对于所述第二编码的所述第二强度的比较来确定所述光接收设备所取向的所述显示器的所述位置。
实施例4是根据实施例3所述的计算机实现的方法，其中：所述第一编码由所述显示器的背光的一个或多个发光二极管(LED)的第一组产生；所述第二编码由所述显示器的背光的一个或多个LED的第二组产生；液晶显示面板，所述液晶显示面板覆盖所述显示器的所述背光；所述方法包括，在基于所述第一编码的所述第一强度相对于所述第二编码的所述第二强度的比较来确定所述光接收设备所取向的所述显示器的所述位置之前：基于所述显示器的所述第一区域内的LCD元件的强度对所述第一编码的所述第一强度进行加权，所述显示器的所述第一区域内的所述LCD元件覆盖所述背光的所述一个或多个LED的第一组；以及基于所述显示器的所述第二区域内的LCD元件的强度对所述第二编码的所述第二强度进行加权，所述显示器的所述第二区域内的所述LCD元件覆盖背光的所述一个或多个LED的第二组。
实施例5是根据实施例3或4的计算机实现的方法，其中：对所述第一编码和所述第二编码进行编译的所述光为显示器背光调制的单个帧期间传输的光；以及所述第一编码和所述第二编码在时间上重叠。
实施例6是根据实施例3至5中任一项的计算机实现的方法，其中：所述光接收设备的单个光电检测器捕捉对所述第一编码和所述第二编码两者进行编译的所述光。
实施例7是根据实施例3至6中任一项所述的计算机实现的方法，其中：所述计算系统使用来自加速度计的指示所述光接收设备已经移动的方向的数据来确定所述光接收设备所取向的所述显示器的所述位置。
实施例8是根据实施例3至7中任一项所述的计算机实现的方法，包括：由所述计算系统传输信息以使所述显示器在所述光接收设备所取向的所述显示器的所述位置处呈现图形内容，以指示所述光接收设备对所述显示器的所述位置的选择。
实施例9是根据实施例3至8中任一项的计算机实现的方法，其中：所述第一编码包括标识所述显示器的第一X-位置的第一脉冲和标识所述显示器的第一Y-位置的第二脉冲；以及所述第二编码包括标识所述显示器的第二X-位置的第三脉冲和标识所述显示器的第二Y-位置的第四脉冲。
实施例10是根据实施例9的计算机实现的方法，其中：所述第一脉冲的起始位置标识所述显示器的所述第一X-位置；所述第二脉冲的起始位置标识所述显示器的所述第一Y-位置；所述第三脉冲的起始位置标识所述显示器的所述第二X-位置；以及所述第四脉冲的起始位置标识所述显示器的所述第二Y-位置。
实施例11是根据实施例3至9中任一项的计算机实现的方法，其中：第一编码包括第一脉冲串行模式；并且第二编码包括第二脉冲串行模式。
实施例12是根据任一前述实施例的计算机实现的方法，包括：所述显示器从所述显示器的所述相应多个不同区域输出所述多个不同编码，包括：一个或多个发光二极管(LED)的第一组，所述一个或多个发光二极管(LED)的第一组在帧序列的每个帧期间将所述第一编码传输作为第一脉冲串行模式；以及一个或多个LED的第二组，所述一个或多个LED的第二组将所述第二编码传输作为第二脉冲串行模式，所述一个或多个LED的第二组在所述帧序列的每个帧期间不同于LED的所述第一组。
实施例13涉及一种计算系统，包括：一个或多个处理器；以及包括指令的一个或多个计算机可读设备，所述指令在由所述一个或多个处理器执行时使所述计算系统执行任一前述权利要求所述的方法。
在下面的附图和描述中阐述了一个或多个实施方式的细节。根据说明书和附图以及权利要求，其他特征、目的和优点将是显而易见的。
附图说明
图1示出了包括可被独立控制的多个背光区域的显示设备的示例。
图2A-图2B示出了将光检测系统和相关联的解调和位置估计子系统集成到笔仪器中的笔仪器。
图3展示编码系统的实例时序图。
图4示出了坐标调制编码的示例分布。
图5A-图5B示出了用于对显示器的位置进行编码和识别的过程的流程图。
图6是可以用于将本文档中描述的系统和方法实现为客户端或服务器或多个服务器的计算设备的框图。
各个附图中相同的附图标记指示相同的元件。
具体实施方式
本文大体上描述了对显示器的位置进行编码和识别。例如，显示器可以被配置为使得显示器的每个部分传输编译该部分的相应位置的光图案。在一些示例中，显示器的每个部分包括传输该部分的相应编码的一组一个或多个LED(例如，背光LED)。所传输的光图案可能对人类不可见，而是可由诸如手持式无线笔设备的计算机化感测设备检测到。这样的笔设备可以对接收到的光进行解码以标识发射所接收的光的显示器的位置，并且将所标识的位置直接或间接地传输到显示器，例如，以使显示器示出由正在空中挥动笔设备的用户绘制的线。
液晶显示模块(LCM)构成具有大于8英寸的对角线尺寸的大多数显示器。具有供应局部背光调光控制的背光的LCM已变得广泛可用。这样的显示器中的背光不限于在整个显示器上提供相等的照明，而是可以可控地调整以降低显示器的某些区域中的显示亮度(例如，使暗区更暗)。这种选择性背光控制提高了显示对比度并且还降低了背光的平均功率耗散，因为只有图像的明亮部分被完全照明。
可以应用对背光强度的局部控制来确定感测仪器相对于显示器(例如，由用户在显示器的表面上操纵的笔)的位置。通过用不同的调制图案调制不同的背光区域，由显示表面的点提供的光对显示表面的该点的位置进行编译。
背光通常使用具有快速响应时间的LED来构造，并且通常通过使用脉冲宽度调制或相关调制方法(例如，通过设置LED发射的时间与它们不发射的时间的比率)改变背光区域的占空比来调整期望的照明水平。以高于人类视觉的临界融合频率的速率应用背光LED的调制，使得调制方案的改变被人类感知为亮度的改变，区别于调制模式的改变。典型的背光调制频率范围从80Hz到10kHz。
由于人类观察者在人眼的响应时间(例如，数十毫秒)内仅知道显示器输出中的积分能量，因此背光调制可以对补充信息进行编译，同时保持预期的感知亮度。编译信息对于以比人眼更快的响应时间操作的光感测仪器是可检测的，并且具有对该补充数据流进行解码的装置。虽然人类视觉对调制光(被感知为亮度)中的能量敏感，但是只要调制频率高于眼睛的临界融合频率，人类视觉就对该调制的相位和频率不敏感。电子光检测系统可以被配置为对入射光的相位和频率敏感(并且对其能量含量不敏感)，使得显示图像的人类感知和机器可读数据的编码可以是分开的，并且不需要彼此干扰。
图1示出包括可以被独立控制的多个背光区域的显示器的示例。例如，项A-G表示可独立控制的LED背光组(例如，每组包括8x16 LED集合)。来自背光LED组的已经传播通过漫射系统的光可以扩展以发射显示器的对应背光区域，在该背光区域处来自对应背光LED组的光是可检测的。在图1中，一些这样的LED背光区域被标记为区域W-Z。显示器的一些区域可以从多个背光LED区域输出光。示例这样的区域在图1中被阴影化并且被标记为过渡区域，因为所标识的区域从多个背光LED组发射光。
被定位成接收经调制的显示光的适当配备的笔或其他接收仪器可以提取在从显示器发射的光中编译的信息。如果背光调制对于跨显示器的有效区域的不同位置是不同的，则仪器或与其通信的另一系统可以基于仪器接收的调制(以及如果在单个帧期间接收到多个调制编码，则调制光的相对强度)来估计仪器相对于显示器的位置。
为了接收和解码调制光，仪器包括光学接口(例如，取向成从显示器接收光的光圈、透镜或光导)和一个或多个光电检测器(例如，光电二极管、光电晶体管、成像器、图像传感器或其他类型的光传感器)。光电检测器响应于由背光发射的光能，其可以包括诸如红外的不可见波长。光电检测器可以是足够敏感和快速的，以支持数据流的解调。尽管光电检测器系统可以是相机成像器，但是可以基于由简单光电二极管或类似的低分辨率、低成本光学检测器系统接收的光来执行角度和距离的估计。低分辨率光学检测器系统可以从连续低功率操作，连续低功率可以低于相机成像器消耗的功率量。解调可以通过专用电子硬件、专用软件或硬件和软件的混合，例如，基于微控制器从一个或多个光电检测器接收信号来执行。
图2A-图2B示出了将光检测系统和相关联的解调和位置估计子系统集成到笔仪器中的笔仪器。这样的笔仪器还可以包括无线通信机构(图中标记为“Tx”)和合适的电池电源。这样的仪器可以检测和解码调制光数据，并且基于接收到的光信号来估计对应的显示相关位置。笔仪器然后可以将位置估计无线地传送到直接或间接控制由显示设备呈现的图像的主机设备，以基于涉及笔仪器的用户交互来引起对所显示的图像的修改。主机设备可以包括被包括在笔仪器正在其上书写的显示器中的电路、被包括在插入到显示器的端口中的软件狗(dongle)中的电路、位于与显示器和笔仪器相同的房间或建筑物中的桥接设备、或者与笔仪器和显示器直接或间接通信的云计算系统。
系统组件的此布置允许用户与具有熟悉且未束缚的仪器的显示系统交互(例如，绘图特征，或激活或移动屏幕上元件)，且对显示系统有很少或没有成本阻碍，因为单独地调制背光的区的能力可能已经存在于显示系统中。这样的笔仪器可用于各种用户交互，诸如突出显示显示器的一部分、调整控制值、移动屏幕上元素、以及在显示器上绘制可移动光斑以模拟激光指示器的效果。
笔仪器可以使用被配置为接收窄接受角范围内的光的一个或多个光电检测器来实现。这可以使用准直透镜或反射器或通过诸如长且窄的管的孔完成。接收光的解调和所得解调信号的内插处理可用于确定笔指向显示器的哪个区域。这样，笔仪器不需要被放置成与显示器接触，而是可以用作由远离显示器的用户操作的指向仪器(例如，在一些配置中在1-5米的距离处)。如上所述，位置标识系统可以用笔仪器中的解调和位置估计组件来实现，尽管这样的组件可以位于主机设备处。
位置标识系统可以基于仪器从其接收光的显示器的部分(例如，基于从接收到的光解码的编码的数量确定的)来估计仪器到显示器的距离。例如，由仪器接收的调制显示光的角跨度可以用于估计仪器和显示器之间的距离。例如，如果被配置为接收窄角度范围内的光的光学检测器检测到来自显示器的许多或所有区域的调制光，则可以确定仪器与显示器相距相当大的距离。随着仪器更靠近显示器，检测到的显示区域的数量减少。
背光调制和漫射
LCD背光源有时被划分为数十或数百个区域，并且每个区域中的背光LED的占空比可以被独立地控制以局部控制图像亮度。具有局部背光调光的示例设备包括Sony XG95LCD电视和MSI Creator 17膝上型计算机(具有240个背光区域)。
为了支持仪器感测，可以在很少或没有附加材料成本并且很少或没有对用户的视觉干扰的情况下将增强的调制应用于每个背光区域。这种增强的调制可以保持每个背光区域的总占空比，同时编码唯一和(可选地)动态数据。
漫射系统通常位于电视机或其他显示设备中的背光LED和显示面板之间，其中漫射系统扩散光，使得来自一个区域的光以区域之间的边界处的逐渐过渡(在图1至图2A中标记为过渡区域)与另一区域混合。由于光被漫射系统混合在一起，位于显示设备的表面处或附近的仪器中的光学检测器可以接收来自多于一个相邻背光区域的光。解码系统可以解码组合调制背光，从而允许基于检测到的区域调制来确定粗略仪器位置，并且允许基于来自附近背光区域的贡献的相对强度来确定精细仪器位置。
在示例制造产品中，三星QE55Q90TATXXU QLED 55”电视背光被划分为120个区域(15个区域乘8个区域)。背光漫射意味着在显示表面上存在大约60mm的区域，光在该区域上是源自相邻背光区域的光的漫射混合物。在任何给定点处由相邻背光区域贡献的光的比例可以用于确定感测仪器相对于各个区域的位置。
经过显示表面的仪器可以快速移动。例如，3m/s是手持仪器在大显示器上快速移动的代表性速率，其中移动源自肩部而不是手腕或肘部。因此，调制方案应当适应基于这种短期曝光的解调和解码。假定直径为约50mm的漫射背光区域和3m/s的仪器速度，仪器暴露于调制光的时间窗口可以为约17毫秒。
具有大约8毫秒的持续时间的编码的连续重复呈现可以确保接收仪器在17毫秒窗口内捕捉至少一个完整的编码突发。如果接收仪器能够存储部分编码，则仪器可以将提供有小于17毫秒的编码重复间隔的完整编码拼接在一起。在这样的实例中，处理可以适应编码发射与经过的仪器的时间窗口之间的任何任意相位关系。
编码
调制到背光区域上的编码在显示器的物理范围内可以是唯一的，包括背光区域和相邻区域之间的漫射过渡。由于接收仪器可以一次捕捉若干编码，因此这些编码应当是完全可分离的。这可使用诸如沃尔什函数的正交调制技术来实现，但其中每个编码在时间上偏移的每个编码的简单脉冲可以是足够的并且在图3中说明。
局部不同的编码确保靠近显示器表面的仪器将不必适应来自显示器上其他地方的大量或任何编码泄漏。然而，全局唯一编码可用于标识整个显示区域上的位置。
合适的编码方案的各方面可以包括以下中的一些：
·保持背光占空比(例如，没有人类可见强度调制)
·在所有编码中使用恒定能量
o这样做在显示器上的各处保持显示器亮度
o这样做给电源系统呈现了恒定的负载
·适用于用低成本电路系统进行检测的编码
o合适的编码可以提供大的调制深度
o合适的编码可能不需要过快的光学检测器系统
·同时接收多个相等能量编码不导致位置数据的损坏
·针对供应背光区域的电源系统允许恢复时间
·能够在非常短的时间段(<200ms)内提供位置估计，例如，因为笔仪器可以从显示边界快速移动到显示活动区域中，并且快速处理使得显示器上的位置能够被快速解码
·仅与显示器位置相关联(具有包括全局辅助数据的可选能力)，使得调制不需要响应于仪器的存在或位置，使得任何数量的仪器可以与单个显示器同时使用。
·具有最小计算付出的简单解码
o用于长电池寿命的低功耗
o电子组件的低成本
除了位置数据之外，还可以传送模态和其他信息，例如，显示器是否处于支持笔交互的模式，或者该特定显示器的标识编码。
一个示例编码方案使用PPM(脉冲位置调制)和恒定能量PWM(脉冲宽度调制)。示例编码方案可以具有以下属性中的一个或多个：
·每个帧传送X坐标、Y坐标和一些辅助数据
·每个框架为6ms长以适应快速移动仪器
·所有背光区域由相同持续时间的帧调制
·所有背光区域调制帧同时开始
·每帧有4个脉冲(假定禁用背光输出)
·在脉冲之间存在至少400us个不活动
·脉冲在持续时间上为150us或200us
·帧中的总脉冲持续时间总是550us
·前两个脉冲(S1和S2)形成同步事件
·当S1为200us长时，S2为150us长，反之亦然
·S1和S2可以用辅助数据调制
·辅助数据值对于所有背光区域是相同的
·脉冲指示背光的X坐标
·脉冲指示背光的Y坐标
·坐标值在时间上被编译脉冲的位置
·相邻坐标值的脉冲时间不重叠
·远距离坐标值的脉冲时间可以重叠，但是为唯一的
在相邻背光区域的X和Y坐标脉冲可以不重叠的情况下，可以独立地测量由具有显示表面的窄视图的光电检测器从每个背光区域接收的能量(尽管可以解码重叠的脉冲，因为脉冲强度将在脉冲重叠的情况下增加)。具有显示表面的宽视图的光电检测器接收重叠脉冲，但能量贡献仍可分离，因为有时仅一个背光区域改变状态(在接通与关断之间)，因此可隔离其能量贡献。如果需要这种能力，则光检测系统可以具有对应的短响应时间和宽动态范围。
图3示出了上述编码系统的示例时序图。针对6000us长度的单个帧(每个帧和其中的编码内容在一系列帧上重复)示出了由六个背光区域中的每个背光区域提供的背光输出。在前1600us个同步周期中，每个背光区域输出具有不同长度的S1和S2值以编译0或1的辅助数据。以下2500us周期编译X坐标，随后是100us的暂停，并且随后是编译Y坐标的1500us周期。
上面讨论的示例编码系统给出了背光的恒定5450us/6000us＝90.83％占空比。这可以表示高于期望的显示亮度，因此可以进行附加规定以调整感知的显示亮度，同时保留编码方案。例如，可以使用可调电流源来减小背光系统中的电流。作为另一示例，取决于要由每个特定背光区域生成的总能量(例如，基于用户选择的显示器的总亮度)，可以引入“关断”时间的更多实例，诸如在6ms编码窗口之后的附加时段，在该附加时段期间可以关断或接通显示器背光区域。
使用S1和S2脉冲来检测和同步解码过程使得位置检测电子器件/软件能够在一定时间段之后(例如，在遵循S1和S2同步模式的4.4ms时间段期满之后)忽略背光活动，只要背光活动不复制同步模式。作为另一实例，如果脉冲可独立于其长度通过其起始位置来标识，可以改变编译X和Y坐标的脉冲的长度以改变总显示强度。
在示例编码系统中，脉冲S1和S2具有互补的持续时间，使得可以在脉冲对上编译数据而不影响调制帧中的整体光能。可以在同步时段期间编译的示例附加数据包括显示设备的身份标识、参数数据，诸如所支持的X和Y坐标的范围，以及模态信息(例如，显示器是否进入低功率状态)。一系列帧可用于传送多位数据。嵌入在数据中的独特前导码模式和同步字的使用可以用于将接收到的数据与预定消息格式对齐。可以使用诸如CRC或校验和的校验码来验证编码内容和对齐。
在一些示例中，执行解调的主机设备的接收仪器或处理系统接收指示背光调制帧的开始的显示定时信号(例如，由显示器经由诸如蓝牙或WiFi的传统无线通信系统传输)。在这样的实例中，显示器背光调制可以不包括同步周期，因为接收仪器可接收指示每一帧的开始的信号，且因此可能能够在无同步周期的情况下确定帧内的每个脉冲的位置。
解码和位置估计
配备有接收来自显示表面的一小部分的光的光电检测器的仪器可以基于由光电检测器接收的背光能量来估计光电检测器系统相对于显示器的位置。当仅检测到单个经调制背光信号时，可将对应背光区域的中心位置用作位置估计。当检测到多个调制信号(例如，可分离的坐标脉冲)时，每个信号中的能量的估计可用于内插位置估计。例如，可以使用模数转换器来确定由光电检测器接收的脉冲的幅度，并且可以使用每个坐标的所得测量幅度作为加权因子来标识与检测到的编码对应的相对于背光区域的中心的选定位置。所有接收到的背光区域的所得加权平均值X和Y值提供内插位置估计。
类似的方法可以用于在较大比例的显示器表面上接收的光电检测器系统，并且在这种情况下，基于覆盖LED背光的LCD面板的图像亮度和颜色来修改加权值可以提高估计的准确度。在给定背光区域前面的像素是暗的情况下，位置估计器中的该区域的加权可以成比例地增加以补偿像素矩阵中的光衰减。
由于光学效率的自然变化，或者由旨在修改局部图像亮度和功耗的系统控制活动引起，背光区域本身也可以具有不同的光强度。这些变化的知识可以用于通过调整在位置估计器中组合的背光区域的加权因子来补偿它们可能对调制背光信号的影响。作为暗源或已经被像素矩阵衰减的背光区域可以在位置估计器中被更重地加权，除非它们的贡献的信噪比太低。
多个光电检测器可以组合成单个信号以由单个位置估计器处理，或者它们可以由单独的位置估计器处理，并且所得的估计位置组合成总体位置估计。这可以使用平均方法来完成。
显示图像的内容
简化的位置检测机制涉及当显示器显示所有白色像素(例如，LCD面板显示所有白色像素)时确定仪器相对于显示器表面的位置，因为显示器像素矩阵在显示所有白色时将不对显示器上的背光输出具有显著影响。然而，在正常使用中，显示器可能具有白色以外的内容，这可能导致显示器上的背光强度不均匀。通过检查缓冲器(例如，驱动显示器的图形系统中的帧缓冲器)，可以估计显示矩阵对背光区域的影响，使得可以将预期的照明分布(强度和颜色对时间)映射到整个显示器表面或其部分。
只要来自给定背光区域或区域集合的光可在仪器中的光电检测器处以足够的信噪比接收，可以恢复该背光区域或区域集合的编码。显示表面处的预期照明轮廓可用于将加权因子应用于背光区域以避免偏置。在没有该加权的情况下，位置估计可以变得偏向具有亮像素值的图像的部分。预期照明分布也可用于验证位置估计。如果检测值和期望值之间的差大，则估计可以被认为是不可靠的。
一旦已经确定了近似位置估计，就可以修改该区域中的像素值以改进解调的SNR并最小化偏差。例如，这可以通过在以估计位置为中心的区域上将像素值设置为白色来完成。
在不知道显示内容的情况下解决显示器上的准确位置可以例如使用具有窄视场的光学检测系统来完成。在这样的示例中，附近背光区域的漫射混合的贡献可以通过显示器上的相同像素并且以相同的方式被像素矩阵修改。然后，使用附近背光区域的比例强度来估计仪器位置仍然可以是有效的，而不知道(或补偿)显示内容。
使用比例能量位置估计方法的光电检测器的视场越宽，显示像素内容可能对位置估计具有的影响越大。然而，接收来自显示表面的显著比例的背光能量(利用单个广角光电检测器系统或利用具有窄角度视图的多个光电检测器)允许补偿调制光的不均匀分布，从而改进位置估计。举例来说，定位于显示表面上或附近的仪器可被配置以具有从环绕仪器的背光区域接收光的光电检测器。虽然观察显示表面上的小区域的窄角光电检测器可以仅从单个背光区域接收光，并且因此仅提供近似的位置估计，但是具有宽的光学覆盖确保更多的背光区域可见，并且可以改进仪器位置的插值。
如上所述，显示器上的图像可以通过降低某些背光区域的强度来影响该插值。避免这种情况但也避免需要补偿所显示的图像的一种配置是使用多个窄角度光电检测器系统。每个光电检测器通过显示表面的足够小的区域接收光，使得像素矩阵内容对该区域中可用的背光能量的影响对于所有背光源是共同的。虽然以这种方式导出的单个位置估计可能受到有助于估计的可用背光区域的数量的影响，但是组合来自接收来自显示器的不同部分上的小区域的光的其他类似光电检测器的多个类似导出的估计可以降低最终位置估计的平均误差。
补充位置估计
取决于背光区域的数量、漫射器设计和系统的要求，可以仅基于背光区域的可分离调制来估计放置在显示器表面处或附近的仪器，如上所述。在一些情况下，可以使用附加信息，并且可以由辅助传感器(例如，加速度计、指南针、陀螺仪、触摸传感器或其他机制)或使用登记显示矩阵本身的其他方法来提供附加信息。
为了跨显示表面的所有部分解码背光数据，显示器的所有区域可以提供阈值亮度水平(例如，最小亮度水平)，或者光电检测器可以足够敏感以解调已经穿过显示矩阵的较暗区域的光。一旦已经建立了仪器的近似位置，就可以通过选择性地调整近似位置中的显示器像素以透射到仪器光电检测器或多个仪器光电检测器的路径中的背光能量来实现改进的光学信号质量。这可以由具有影响显示器像素值的能力的系统的任何部分(例如，主机设备GPU、CPU或显示器内的能够修改由GPU或CPU提供的像素值的子系统)来完成。该动作具有向用户提供已经在显示器上检测到仪器的可见响应的附加益处。
仪器相对于显示表面的快速移动可能导致丢失的编码和位置估计中的增加的误差。利用来自仪器中或附接到仪器的其他传感器(例如，一个或多个加速度计)的数据融合背光驱动的位置估计可以帮助克服估计误差并提供更准确和频繁的位置报告。相反，在一些实施方式中，缓慢移动可导致位置估计的误差，因为来自背光区域的光可能不在各处重叠，从而给出关于仪器是在背光区域内居中还是稍微偏离背光区域的中心的不确定性(例如，导致对角线绘制的线中的“阶梯”)。
加速度计数据可以与不完美的估计报告组合，如果加速度计数据表示线性移动，则用平滑轨迹替换来自背光估计的锯齿状轨迹。可以从背光能量分布导出预期准确度的度量，因为在来自一个背光区域的光与来自相邻背光区域的光漫射混合的情况下准确度和分辨率可以最高，并且在仅来自单个背光区域的光可用的情况下准确度和分辨率可以最低。
可实时地(例如，基于经解调背光信号)完成准确度估计，或使用系统中的经调制光分布的知识从预先生成的映射读取准确度估计。当估计的仪器位置处于高预期准确度的区域中时，报告可以被标记为可靠的。当仪器移动通过预期准确度降低的区域时，加速度计数据可以在位置报告中被更重地加权。加速计由于累积误差而遭受漂移，使得由背光数据提供的绝对参考是有用的补充数据源。
多个仪器
可以一次在同一显示器上使用诸如上述那些的多个仪器。这是因为仪器之间可能不存在交互，因为每个仪器可以直接从显示器接收编译光并通过无线链路向主机设备报告对应的位置。
每个仪器可以具有唯一标识符，并且唯一标识符可以在系统中与仪器的位置直接相关联。这在将唯一属性分配给仪器时，诸如绘制特定颜色或线宽度是有用的。对许多仪器的支持是可能难以用诸如EMR笔(例如，来自Wacom的那些)的已知系统支持的特征。
手掌拒绝
使用局部调制的背光来驱动仪器位置感测的另一益处是，这种技术对于握持仪器的手的存在是鲁棒的。使用穿过显示表面(例如，来自FlatFrog的那些)的光的中断的光学笔传感器由感测区域中的手的存在，例如，当手搁置在显示表面上时，而被中断。在存在手的情况下跟踪仪器的位置的能力通常被称为手掌拒绝，并且当显示器处于部分或基本上水平的取向时特别有价值。
头戴式设备实施方式
在另一应用中，本文所述的感测仪器的类型可用于确定头戴式设备在用户上的取向，例如，使得空间音频音景可被映射到显示器，以增强空间化声源看起来源自屏幕上的特定位置的效果。头戴式设备上的一个或多个光检测系统可以解调来自头戴式设备所指向的显示区域的光，并且系统可以使用位置特定的背光编码来估计头戴式设备相对于显示器的取向和可选的距离。头部相对于显示器的布置可以用于对与所显示的材料相关联的声音进行空间编译，以给出声音源自显示器或甚至显示器上的特定位置的听觉印象。
OLED显示器
虽然已经关于液晶显示技术呈现了本文描述的方法，但是类似的方法可以应用于OLED显示器。与以毫秒测量的LCD像素响应时间相比，OLED像素的响应时间通常约为1us，因可能以类似于(i)具有局部调光的背光和(ii)LCD像素矩阵的组合输出的方式调制OLED面板上的像素区域的发光度。
OLED像素的人类感知亮度和颜色可以通过OLED像素发射元件的占空比来设置(例如，每个OLED像素包括三个或四个OLED子像素，每个OLED子像素包括单个OLED元件和对应的电路)。由OLED像素编译的编码/图案分别将位置和可选模式信息传送到被配置为接收和解码发射的设备。使用OLED显示器的优点在于，可以容易地跨显示器上实现更大数量的区域(例如，潜在地每个像素发射不同的编码)，以形成相对小的区域和位置确定的更高准确度。
图4示出了坐标调制编码的示例分布。可以使用模数转换器来确定由光检测器接收的脉冲的幅度，并且可以使用贡献于检测到的信号的每个背光区域的所得测量幅度作为加权因子来标识相对于与检测到的编码对应的背光区域的中心的所选位置。
在存在针对X和Y坐标的单独调制的情况下(例如，针对表示一个轴上的位置的脉冲使用一个时间窗口，并且针对表示第二轴上的位置的脉冲使用单独时间窗口)，背光区域可以在第一轴上一起调制，然后在第二轴上一起调制。图4示出了此情况的示例，其中在背光调制帧中的X调制时间窗口的持续时间内在背光区域的垂直对准列中的每一者上相同地调制编码Xn，且在Y调制时间窗口期间在背光区域的每一水平行上相同地调制编码Yn。
可以使用检测到的调制Xn和Xn+1(以及其他X调制编码，如果它们在光电检测器处被接收)的幅度来执行插值，以估计X轴上的位置。Y轴位置可以通过内插检测到的调制Yn和Yn+1(以及其他Y调制编码，如果它们在光电检测器处被接收)的幅度来估计。在给出的示例中，将存在10个X编码和6个Y编码，这可以比具有60个要区分的完全独立的编码更方便，每个背光区域一个。
图5A-图5B示出了用于对显示器的位置进行编码和识别的示例过程的流程图。换句话说，确定光接收装置取向(朝向显示器)的显示器的位置。
在框510处，显示器在显示器的相应多个不同区域处输出多个不同编码。每个编码可以由不同的LED组生成(框512)。例如，显示器可以包括LED面板，并且该面板可以被分成一定数量的组，其可以具有相同的尺寸。每个组可以包括一个或多个LED。例如，组可以包括8个LED乘12个LED高的LED块，总共96个LED发射相同图案。每个组可以发射不同/唯一的图案。
如图3的示例时序图所示，每个LED块可以输出包括标识LED块的X位置的第一脉冲和标识LED块的Y位置的第二脉冲的编码(框514)。同样如图3的示例时序图所示，每个编码可以在单个帧期间由其相应的LED块发送(框516)。每个LED块可以在帧序列(例如，帧的连续呈现，一个接一个)中的每个帧期间输出其相应的编码。
LED可以是背光的那些，并且可以被LCD面板覆盖(框518)。因此，从观看显示器的用户的角度来看，对应于LED块的可见区域的亮度基于(1)来自相应块的LED和(2)覆盖LED块的LCD像素的暗度两者的亮度。在一些示例中，LED是OLED显示器的一部分，并且没有覆盖LED的单独的LCD面板。
在框520处，光接收设备捕捉由显示器发射的光。例如，图2A-图2B所示的笔可以包括检测由显示器的某个部分透射的光的光电检测器。
在框530处，计算系统标识在捕捉的光内编译的第一编码。例如，光接收设备和/或与光接收设备通信的主机设备的计算组件可以分析捕捉的光以标识在接收的光内编译的编码。标识第一编码可以包括标识同步事件，并且然后确定同步事件之后的脉冲的位置。
在框532处，计算系统确定显示器的对应于第一编码的第一区域。以此方式，可以确定光接收装置所取向的显示器的位置。例如，计算系统可以分析同步事件之后的第一脉冲的位置并且将第一脉冲的位置与显示器的X坐标相关联，并且分析同步之后的第二脉冲的位置并且将第二脉冲的位置与显示器的Y坐标相关联。
该过程可以进一步在框540处继续，其中计算系统确定所捕捉的光是否包括第二编码。第二编码还可以被包括在所捕捉的光的单个帧内，其中由显示器传输的每个帧可以具有指定的时间和/或由同步事件分开。捕捉光的单个帧内的多个编码可以包括在帧的X坐标部分期间的多个脉冲和在帧的Y坐标部分期间的多个脉冲。在一些实施方式中，脉冲可以重叠，例如，在捕捉的光包括来自具有相同X坐标的两个区域的光的情况下，潜在地导致具有至少一部分的脉冲具有增加的幅度(例如，脉冲重叠的幅度的两倍)。计算系统可以将X坐标脉冲与对应的Y坐标脉冲相关联，例如，基于具有对应/相同幅度的第一X脉冲和第二Y脉冲以及具有对应/相同幅度的第二X脉冲和第一Y脉冲，将第一X脉冲与第二Y脉冲配对并且将第二X脉冲与第一Y脉冲配对。
在一些示例中，第一编码和第二编码可以在时间上重叠。例如，区域0的编码(参见图3)与来自区域1的编码(参见图3)在时间上重叠，至少因为区域0的编码：(1)在区域1的编码发射X坐标脉冲之前发射X坐标脉冲，以及(2)在区域1的编码发射Y坐标脉冲之后发射Y坐标脉冲。
在框550处，计算系统可以确定显示器的对应于第二编码的第二区域。例如，计算系统可以分析同步事件之后的第三脉冲的位置并且将第三脉冲的位置与显示器的X坐标相关联，并且分析同步之后的第四脉冲的位置并且将第四脉冲的位置与显示器的Y坐标相关联。(脉冲在本文中被描述为第三和第四脉冲，以将这些脉冲与上述第一和第二脉冲区分开，即使很可能第一和第三脉冲都在第二和第四脉冲之前发生。)由于两个脉冲被不同的LED组同时传输，所以两个脉冲可以被表示为具有增加的幅度的单个脉冲是可能的。
在框552处，计算系统可以确定每个编码的强度。例如，计算系统确定第一编码的强度和第二编码的强度。图3示出了显示设备对编码的传输，并且因此每个编码具有相同的传输强度。由于每个LED块的光的对应贡献不同，因此包括多个编码的捕捉光将可能表示具有不同强度的每个编码。强度可以被表示为脉冲的强度或脉冲周围的光传输(例如，强度下降，其中脉冲由不存在光提供)。
在框554处，计算系统可以基于传输编码的背光LED上的像素的强度来对每个编码的强度进行加权。例如，由显示器的暗区后面的LED块传输的编码的标识强度可能需要增加重量以补偿阻挡光传输的显示器的暗区。该操作补偿重叠LCD像素值的接收亮度以抵消LCD像素值的影响，使得LED组的亮度可以彼此比较以确定由光接收设备接收的多个编码的相对强度。
在框556处，计算系统可以确定光接收设备所取向的显示器的位置。可通过标识从其接收光的编码、标识编码对应的区域之间的半途位置且然后基于第一编码的强度与第二编码的强度的比较而调整所述位置来确定此位置(框558)。例如，如果第一编码具有比第二编码更大的强度(例如，在强度已经基于像素强度被加权之后)，则所确定的位置可以是比第二区域的中心更靠近第一区域的中心的比例量。框556的操作可以基于两个以上标识编码(例如，基于三个、四个、五个或甚至更多个编码的加权强度)来确定位置。
在仅标识单个编码的示例中，计算系统可以确定光接收设备被取向为该位置的中心的显示器的位置。
在框560处，如果计算系统不标识捕捉的光中的第二编码(在图5B的可选处理中)，则可以确定光接收设备的显示器的位置。位置可以基于第一区域的中心(框562)。例如，该位置可以是第一区域的中心。
框556和560的位置确定都可以考虑来自附加的一个或多个传感器的信号，例如，来自加速度计的数据，如本说明书中先前所讨论的。
在框570处，计算系统可以传输信息以使显示器在显示器的所确定的位置处呈现图形内容。例如，主机设备可以向显示器发送信息以使显示器在所确定的位置处绘制。结合图5A-图5B的流程图中所示的过程的多次迭代，显示器可以绘制表示光接收设备的移动的曲线。
在各种实施方式中，如果先前操作不成功(例如，如果不执行确定)，则不执行“响应于”或“由于”另一操作(例如，确定或标识)而执行的操作。“自动”执行的操作是在没有用户干预(例如，中间用户输入)的情况下执行的操作。用条件语言描述的本文档中的特征可以描述可选的实施方式。在一些示例中，从第一设备向第二设备“传输”包括第一设备将数据放置到网络中以供第二设备接收，但是可以不包括第二设备接收数据。相反，从第一设备“接收”可以包括从网络接收数据，但是可以不包括第一设备发送数据。
计算系统“确定”可以包括计算系统请求另一设备执行确定并将结果提供给计算系统。此外，计算系统“显示”或“呈现”可以包括计算系统发送数据以使另一设备显示或呈现所引用的信息。
图6是可以用于将本文档中描述的系统和方法实现为客户端或服务器或多个服务器的计算设备600、650的框图。计算设备600旨在表示各种形式的数字计算机，诸如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备650旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。这里示出的组件、它们的连接和关系以及它们的功能仅旨在作为示例，并且不旨在限制本文档中描述和/或要求保护的实施方式。
计算设备600包括处理器602、存储器604、存储设备606、连接到存储器604和高速扩展端口610的高速控制器608、以及连接到低速扩展端口614和存储设备606的低速控制器612。组件602、604、606、608、610和612中的每一个使用各种总线互连，并且可以被安装在公共主板上或以其他适当的方式安装。处理器602可以处理用于在计算设备600内执行的指令，包括存储在存储器604中或存储设备606上的指令，以在外部输入/输出设备(诸如耦合到高速控制器608的显示器616)上显示GUI的图形信息。在其他实施方式中，可以适当地使用多个处理器和/或多个总线以及多个存储器和存储器类型。而且，可以连接多个计算设备600，其中每个设备提供必要操作的部分(例如，作为服务器库、一组刀片服务器或多处理器系统)。
存储器604在计算设备600内存储信息。在一个实施方式中，存储器604是一个或多个易失性存储器单元。在另一实施方式中，存储器604是非易失性存储器单元。存储器604也可以是另一种形式的计算机可读介质，诸如磁盘或光盘。
存储设备606能够为计算设备600提供大容量存储。在一个实施方式中，存储设备606可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备、或磁带设备、闪存或其他类似的固态存储器设备、或设备阵列，包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含指令，该指令在被执行时执行一种或多种方法，诸如上述的那些。信息载体是计算机或机器可读介质，诸如存储器604、存储设备606或处理器602上的存储器。
高速控制器608管理计算设备600的带宽密集型操作，而低速控制器612管理较低带宽密集型操作。功能的这种分配仅是示例。在一个实施方式中，高速控制器608耦合到存储器604、显示器616(例如，通过图形处理器或加速器)，并且耦合到可以接受各种扩展卡(未示出)的高速扩展端口610。在该实施方式中，低速控制器612耦合到存储设备606和低速扩展端口614。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、指向设备、扫描仪或联网设备，诸如交换机或路由器。
如图所示，计算设备600可以以多种不同的形式实现。例如，它可以实现为标准服务器620，或者在一组这样的服务器中多次实现。它也可以被实现为机架服务器系统624的一部分。此外，它可以在诸如膝上型计算机622的个人计算机中实现。替换地，来自计算设备600的组件可与移动设备(未示出)中的其他组件(诸如设备650)组合。每个这样的设备可以包含一个或多个计算设备600、650，并且整个系统可以由彼此通信的多个计算设备600、650组成。
计算设备650包括处理器652、存储器664、诸如显示器654的输入/输出设备、通信接口666和收发器668以及其他组件。设备650还可以设置有存储设备，诸如微驱动器或其他设备，以提供附加的存储。组件650、652、664、654、666和668中的每一个使用各种总线互连，并且组件中的几个可以被安装在公共主板上或以其他适当的方式安装。
处理器652可以执行计算设备650内的指令，包括存储在存储器664中的指令。处理器可以被实现为包括单独的和多个模拟和数字处理器的芯片的芯片组。另外，处理器可以使用多种架构中的任何一种来实现。例如，处理器可以是CISC(复杂指令集计算机)处理器、RISC(精简指令集计算机)处理器或MISC(最小指令集计算机)处理器。处理器可以提供例如设备650的其他组件的协调，诸如对用户界面的控制、设备650运行的应用以及设备650的无线通信。
处理器652可以通过耦合到显示器654的控制接口658和显示接口656与用户通信。显示器654可以是例如TFT(薄膜晶体管液晶显示器)显示器或OLED(有机发光二极管)显示器或其他适当的显示技术。显示接口656可以包括用于驱动显示器654以向用户呈现图形和其他信息的适当电路。控制接口658可以从用户接收命令并且转换它们以提交给处理器652。另外，可以提供与处理器652通信的外部接口662，以便实现设备650与其他设备的近区域通信。外部接口662可以例如在一些实施方式中用于有线通信，或者在其他实施方式中用于无线通信，并且也可以使用多个接口。
存储器664在计算设备650内存储信息。存储器664可以被实现为一个或多个计算机可读介质、一个或多个易失性存储器单元或非易失性存储器单元中的一个或多个。还可以提供扩展存储器674并通过扩展接口672将其连接到设备650，扩展接口672可以包括例如SIMM(单列直插式存储器模块)卡接口。这样的扩展存储器674可以为设备650提供额外的存储空间，或者还可以为设备650存储应用或其他信息。具体地，扩展存储器674可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器674可以被提供为设备650的安全模块，并且可以用允许设备650的安全使用的指令来编程。此外，可以经由SIMM卡提供安全应用以及附加信息，诸如以不可破解的方式将标识信息放置在SIMM卡上。
存储器可以包括例如闪存和/或NVRAM存储器，如下所述。在一个实施方式中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含指令，所述指令在被执行时执行一种或多种方法，诸如上述那些。信息载体是计算机或机器可读介质，诸如存储器664、扩展存储器674或处理器652上的存储器，其可以例如通过收发器668或外部接口662接收。
设备650可以通过通信接口666进行无线通信，通信接口666在必要时可以包括数字信号处理电路。通信接口666可以提供各种模式或协议下的通信，例如GSM语音呼叫、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器668发生。此外，可以发生短距离通信，诸如使用蓝牙、WiFi或其他这样的收发器(未示出)。此外，GPS(全球定位系统)接收器模块670可以向设备650提供附加的导航和位置相关的无线数据，其可以适当地由在设备650上运行的应用使用。
设备650还可以使用音频编解码器660可听地通信，音频编解码器660可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器660可同样诸如通过扬声器(例如，在装置650的手持设备中)为用户生成可听声音。这样的声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备650上操作的应用生成的声音。
如图所示，计算设备650可以以多种不同的形式实现。例如，它可以被实现为蜂窝电话680。其还可以被实施为智能电话682、个人数字助理或其它类似移动设备的部分。
另外，计算设备600或650可以包括通用串行总线(USB)闪存驱动器。USB闪存驱动器可以存储操作系统和其他应用。USB闪存驱动器可以包括输入/输出组件，诸如可以插入到另一计算设备的USB端口中的无线发射器或USB连接器。
这里描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，该可编程系统包括至少一个可编程处理器，该可编程处理器可以是专用或通用的，被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并向其传输数据和指令。
这些计算机程序(也称为程序、软件、软件应用或编码)包括用于可编程处理器的机器指令，并且可以用高级过程和/或面向对象的编程语言和/或汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，这里描述的系统和技术可以在具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可以通过其向计算机提供输入的键盘和指向设备(例如，鼠标或轨迹球)的计算机上实现。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以包括声学、语音或触觉输入的任何形式接收来自用户的输入。
这里描述的系统和技术可以在计算系统中实现，该计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过该图形用户界面或Web浏览器与这里描述的系统和技术的实施方式进行交互)，或者这样的后端、中间件或前端组件的任何组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)、对等网络(具有自组织或静态成员)、网格计算基础设施和因特网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系通过在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
尽管上面已经详细描述了一些实施方式，但是其他修改也是可能的。此外，可以使用用于执行本文中描述的系统和方法的其他机制。另外，附图中描绘的逻辑流程不需要所示的特定次序或顺序次序来实现期望的结果。可以提供其他步骤，或者可以从所描述的流程中消除步骤，并且可以向所描述的系统添加或从所描述的系统移除其他组件。因此，其他实施方式在所附权利要求书的范围内。

Claims (13)

1.一种用于确定光接收设备所取向的显示器的位置的计算机实现的方法，包括：
由所述光接收设备捕捉由所述显示器传输的光，其中，所述显示器被配置为从所述显示器的相应多个不同区域发射多个不同编码，使得所述多个不同区域中的每个区域发射来自所述多个不同编码中的唯一编码；
由计算系统标识在由所述显示器传输并且由所述光接收设备捕捉的光内编译的第一编码；以及
由所述计算系统从所述显示器的所述多个不同区域中确定所述显示器的与所述第一编码对应的第一区域。
2.根据权利要求1所述的计算机实现的方法，包括：
由所述计算系统标识在由所述显示器传输并且由所述光接收设备捕捉的所述光内编译的第二编码；以及
由所述计算系统从所述显示器的所述多个不同区域中确定所述显示器的与所述第二编码对应的第二区域。
3.根据权利要求2所述的计算机实现的方法，包括：
由所述计算系统标识所述第一编码的第一强度；
由所述计算系统标识所述第二编码的第二强度；
由所述计算系统基于所述第一编码的所述第一强度相对于所述第二编码的所述第二强度的比较来确定所述光接收设备所取向的所述显示器的所述位置。
4.根据权利要求3所述的计算机实现的方法，其中：
所述第一编码由所述显示器的背光的一个或多个发光二极管LED的第一组产生；
所述第二编码由所述显示器的背光的一个或多个LED的第二组产生；
液晶显示LCD面板，所述LCD面板覆盖所述显示器的所述背光；
所述方法包括，在基于所述第一编码的所述第一强度相对于所述第二编码的所述第二强度的比较来确定所述光接收设备所取向的所述显示器的所述位置之前：
基于所述显示器的所述第一区域内的LCD元件的强度对所述第一编码的所述第一强度进行加权，所述显示器的所述第一区域内的所述LCD元件覆盖所述背光的所述一个或多个LED的第一组；以及
基于所述显示器的所述第二区域内的LCD元件的强度对所述第二编码的所述第二强度进行加权，所述显示器的所述第二区域内的所述LCD元件覆盖所述背光的所述一个或多个LED的第二组。
5.根据权利要求3或4所述的计算机实现的方法，其中：
对所述第一编码和所述第二编码进行编译的所述光为显示器背光调制的单个帧期间传输的光；以及
所述第一编码和所述第二编码在时间上重叠。
6.根据权利要求3至5中的任一项所述的计算机实现的方法，其中：
所述光接收设备的单个光电检测器捕捉对所述第一编码和所述第二编码两者进行编译的所述光。
7.根据权利要求3至6中的任一项所述的计算机实现的方法，其中：
所述计算系统使用来自加速度计的指示所述光接收设备已经移动的方向的数据来确定所述光接收设备所取向的所述显示器的所述位置。
8.根据权利要求3至7中的任一项所述的计算机实现的方法，包括：
由所述计算系统传输信息以使所述显示器在所述光接收设备所取向的所述显示器的所述位置处呈现图形内容，以指示所述光接收设备对所述显示器的所述位置的选择。
9.根据权利要求3至8中的任一项所述的计算机实现的方法，其中：
所述第一编码包括标识所述显示器的第一X-位置的第一脉冲和标识所述显示器的第一Y-位置的第二脉冲；以及
所述第二编码包括标识所述显示器的第二X-位置的第三脉冲和标识所述显示器的第二Y-位置的第四脉冲。
10.根据权利要求9所述的计算机实现的方法，其中：
所述第一脉冲的起始位置标识所述显示器的所述第一X-位置；
所述第二脉冲的起始位置标识所述显示器的所述第一Y-位置；
所述第三脉冲的起始位置标识所述显示器的所述第二X-位置；以及
所述第四脉冲的起始位置标识所述显示器的所述第二Y-位置。
11.根据权利要求3-9中的任一项所述的计算机实现的方法，其中：
所述第一编码包括第一脉冲串行模式；以及
所述第二编码包括第二脉冲串行模式。
12.根据任一前述权利要求所述的计算机实现的方法，包括：
由所述显示器从所述显示器的所述相应多个不同区域输出所述多个不同编码，包括：
一个或多个发光二极管LED的第一组，所述一个或多个LED的第一组在帧序列的每个帧期间将所述第一编码传输作为第一脉冲串行模式；以及
一个或多个LED的第二组，所述一个或多个LED的第二组将所述第二编码传输作为第二脉冲串行模式，在所述帧序列的每个帧期间所述一个或多个LED的第二组不同于LED的所述第一组。
13.一种计算系统，包括：
一个或多个处理器；以及
包括指令的一个或多个计算机可读设备，所述指令在由所述一个或多个处理器执行时使所述计算系统执行任一前述权利要求所述的方法。
CN202280061534.8A 2021-09-17 2022-09-15 对显示器的位置进行编码和识别 Pending CN117940882A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163245593P 2021-09-17 2021-09-17
US63/245,593 2021-09-17
PCT/US2022/043667 WO2023043928A1 (en) 2021-09-17 2022-09-15 Encoding and recognizing positions of a display

Publications (1)

Publication Number Publication Date
CN117940882A true CN117940882A (zh) 2024-04-26

Family

ID=83690213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280061534.8A Pending CN117940882A (zh) 2021-09-17 2022-09-15 对显示器的位置进行编码和识别

Country Status (2)

Country Link
CN (1) CN117940882A (zh)
WO (1) WO2023043928A1 (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69202975T2 (de) * 1991-04-03 1996-02-15 Hewlett Packard Co Positionsbestimmende vorrichtung.
US6078312A (en) * 1997-07-09 2000-06-20 Gateway 2000, Inc. Pointing device with absolute and relative positioning capability
US20060087497A1 (en) * 2004-10-21 2006-04-27 Borgaonkar Shekhar R Digital pen for capturing hand-drawn data
KR101236809B1 (ko) * 2005-06-17 2013-02-25 아노토 아베 위치 및 정보 코드를 결합하는 방법 및 시스템
US7619607B2 (en) * 2005-06-30 2009-11-17 Microsoft Corporation Embedding a pattern design onto a liquid crystal display
CA2634908C (en) * 2005-12-23 2015-05-19 Gcoder Systems Ab Positioning pattern
US8619065B2 (en) * 2011-02-11 2013-12-31 Microsoft Corporation Universal stylus device
US9292131B2 (en) * 2011-07-14 2016-03-22 3M Innovative Properties Company Light guide for backlight
DE102011086318A1 (de) * 2011-11-14 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Positionsbestimmung eines Objekts mittels Erfassung eines Positionsmusters durch optischen Sensor
US20130135219A1 (en) * 2011-11-30 2013-05-30 Qualcomm Mems Technologies, Inc. Touchscreen Having A Color Coded 2-D Space
CN107422926B (zh) * 2017-08-01 2020-12-18 英华达（上海）科技有限公司 一种输入方法及装置

Also Published As

Publication number Publication date
WO2023043928A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
US9019239B2 (en) Creative design systems and methods
CN106415301B (zh) 用于在基于光的通信中的光栅线对准的技术
US8449122B2 (en) Image marking method and apparatus
CN100388173C (zh) 确定显示面上的位置的方法和交互式显示系统
US6963331B1 (en) Position information input apparatus and method
US9081445B2 (en) Display and user interface
US20140313166A1 (en) Interactive input system and method
US9753558B2 (en) Pointing system and method
CN102053763B (zh) 光学位置检测装置及带位置检测功能的显示装置
US10133366B2 (en) Interactive projector and interactive projection system
WO2012121969A2 (en) Visual pairing in an interactive display system
CA2996034A1 (en) Transparent interactive touch system and method
US8674286B2 (en) Optical position detection device and apparatus with position detection function
US20150097775A1 (en) Method and apparatus for determining the pose of a light source using an optical sensing array
JP2018010439A (ja) 座標検出装置
JP2006268111A (ja) 座標入力装置
CN117940882A (zh) 对显示器的位置进行编码和识别
JP5471266B2 (ja) 位置検出機能付き投射型表示装置
JP2002229726A (ja) 座標入力装置
Sugimoto et al. A display-based tracking system: Display-based computing for measurement systems
US9544561B2 (en) Interactive projector and interactive projection system
JP5317219B2 (ja) 画像ディスプレイのための制御装置および制御方法
JP2011258102A (ja) 入力装置
CN106325610B (zh) 触控显示系统、触控装置与触控显示方法
JP2017003613A (ja) 表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination