CN102622109B - 通用指示笔设备 - Google Patents

通用指示笔设备 Download PDF

Info

Publication number
CN102622109B
CN102622109B CN201210030336.3A CN201210030336A CN102622109B CN 102622109 B CN102622109 B CN 102622109B CN 201210030336 A CN201210030336 A CN 201210030336A CN 102622109 B CN102622109 B CN 102622109B
Authority
CN
China
Prior art keywords
equipment
stylus
image
display
imageing sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210030336.3A
Other languages
English (en)
Other versions
CN102622109A (zh
Inventor
A·诺瓦兹基
C·P·撒克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN102622109A publication Critical patent/CN102622109A/zh
Application granted granted Critical
Publication of CN102622109B publication Critical patent/CN102622109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明描述了通用指示笔设备。指示笔设备通过光学元件接收来自显示器的光，该光学元件适用于增大在指示笔设备的图像传感器上形成的图像的场曲率。基于图像中对焦的部分的大小和形状，可确定指示笔设备相对于显示器的距离、方向和/或方位。另外，对应于每一像素或像素组的位置被编码到由显示器的每一像素或像素组发射出的蓝光中。在初始化后或在丢失同步之后，指示笔设备可通过解码经编码的位置来确定它相对于各像素的位置。在将其位置与显示器同步之后，指示笔设备可通过跟踪显示器的像素来确定其后续位置。

Description

通用指示笔设备
技术领域
本发明涉及指示笔设备。
背景技术
常常由平板计算设备用于输入的指示笔设备通常使用超声波、表面声波、电磁和静电系统中的一个或多个来实现。在电磁系统中，传感器阵列通常被安装在平板设备的显示器后方。基于从传感器阵列接收到的信号来确定指示笔设备相对于显示器的位置。静电系统可使用透明电极阵列来传感从指示笔设备发射出的信号。尽管这些系统是有效的，但传感器阵列必需被内置于显示器中并因此无法由用户在稍后添加。
发明内容
提供了一种指示笔设备，该设备通过光学元件接收来自显示器的光，该光学元件适用于增大在指示笔设备的图像传感器上形成的图像的场曲率。基于对焦的图像的一部分的大小和形状，可确定指示笔设备相对于显示器的距离、方向和方位。另外，对应于每一像素或像素组的位置被编码到由显示器的每一像素或像素组发射出的蓝光中。在初始化后或在丢失同步之后，指示笔设备可通过解码经编码的位置来确定它相对于各像素的位置。在将其位置与显示器同步之后，指示笔设备可通过跟踪显示器的像素来确定其后续位置。
在一种实现中，在指示笔设备的图像传感器处接收从显示器发射出的光。光通过光学元件来接收，该光学元件增大图像传感器上形成的图像的场曲率。图像中对焦的一部分由图像传感器确定。图像中对焦的一部分的大小由图像传感器确定。基于所确定的大小来确定指示笔设备和显示器的位置和姿态。
在一种实现中，在指示笔设备的图像传感器处接收从显示器的多个像素发射出的光。每一像素可具有显示器上的相关联的位置。基于由指示笔设备的图像传感器接收的光来确定至少一个像素的位置。基于所确定的至少一个像素的位置，由指示笔设备的图像传感器确定指示笔设备相对于显示器的位置。
提供本发明内容以便以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图说明
当结合附图进行阅读时，可以更好地理解以上概述以及以下对说明性实施例的详细说明。出于说明各实施例的目的，在附图中示出各实施例的示例性构造；然而，各实施例不局限于所公开的具体方法和手段。在附图中：
图1是用于使用指示笔设备的示例环境的图示；
图2是在指示笔设备的传感器上形成的图像的图示；
图3是在指示笔设备的传感器上形成的图像的另一图示；
图4是在指示笔设备的传感器上形成的图像的另一图示；
图5是用于使用像素四方格(quad)来编码位置的示例编码方案的图示；
图6是用于确定指示笔设备的距离、方向和方位的方法的实现的操作流程；
图7是用于确定指示笔设备的位置和姿态的方法的实现的操作流程；
图8是用于确定指示笔设备的位置的方法的实现的操作流程；以及
图9是根据本发明的系统的一种实现的计算系统环境的框图。
具体实施方式
图1是用于使用指示笔设备101的示例环境100的图示。如图所示，环境100包括指示笔设备101和耦合到计算设备110的显示器180。显示器180可包括各种显示类型，包括但不限于，液晶显示器(LCD)。显示器180可包括多个像素，每一像素与显示器180上的位置相关联。计算设备110可驱动显示器180，并且可使用诸如例如参考图9描述的计算设备900之类的一个或多个通用计算设备来实现。
指示笔设备101可包括耦合到主体部分106的前端部分105。指示笔设备101可被配置成由用户握住主体部分106，并且可用于使用前端部分105来与显示器180所显示的图像进行交互。例如，用户可使用指示笔设备101，通过握住主体部分106并改变前端部分105相对于显示器180的位置来控制显示器180上显示的光标，或者与作为显示器180所显示的图像的一部分的一个或多个图标或图形进行交互。指示笔设备101可由电源125(诸如例如电池)供电。电源125可位于主体部分106中。
指示笔设备101可包括耦合到指示笔设备101的前端部分105的接触传感器107。接触传感器107可包括例如当用户朝着显示器180按压指示笔设备101的前端部分105时可被启动的按钮或压敏开关。例如，用户可激活接触传感器107以指示对显示器180所显示的图标的选择，或者可激活接触传感器107以指示用户想要在显示器180上绘制一条线的图像。
指示笔设备101可进一步包括电子装置120。电子装置120可在主体部分106中实现，并且可包括能够基于从显示器180发射出的、并由指示笔设备101接收的光来确定指示笔设备101的位置的处理器或其他电子组件。指示笔的位置由指示笔轴与显示平面180的交点的平面内坐标构成，并且可包括悬停距离。悬停距离可以是接触传感器107和显示器180之间的距离。在某些实现中，电子装置120可进一步确定由三个角度来描述的指示笔姿态，该三个角度是指示笔设备101相对于显示器180的方位、仰角和旋转。
指示笔设备101可进一步包括发射器123。发射器123可被实现在主体部分106中，并且可将数据从指示笔设备101发送到计算设备110处的对应接收器112。所发出的数据可包括所确定的指示笔设备101的位置和姿态。所发出的数据可进一步包括与接触传感器107和/或用户激活的按钮或触摸传感器的启动相关联的任何数据。发射器123可以是无线发射器，诸如蓝牙发射器。然而，可使用任何其他类型的无线或有线发射装置。
接收器112可将发出的数据提供给指示笔驱动器111。指示笔驱动器111可根据从指示笔设备101接收的数据来移动或调节由计算设备110显示的一个或多个光标或图标。指示笔驱动器111可以是由计算设备110执行的软件应用。如将在下文中进一步描述的，指示笔驱动器111可进一步将一个或多个信号或模式编码到由显示器180的像素所显示的光中，其可由电子装置120用来确定指示笔设备101的位置。
指示笔设备101可进一步包括透镜130。透镜130可被实现在前端部分105中，并且可接收从显示器180发射出的、透过前端部分105的光。在某些实现中，透镜130可以是定焦透镜。然而，可使用其他类型的透镜。
指示笔设备101可进一步包括图像传感器135。图像传感器135可被实现在前端部分105中，并且可接收从显示器180的一个或多个像素发射出的穿过透镜130的光。所接收的光可形成图像传感器135上的图像，该图像可由电子装置120用来确定指示笔设备101的位置和/或姿态。在某些实现中，图像传感器135可以是256像素×256像素的图像传感器。然而，可以使用其它尺寸的图像传感器。
指示笔设备101可进一步包括光学元件185。光学元件185可被实现在前端部分105中，并且可接收从显示器180发射出的光(如图1中使用虚线示出的光线141a、141b和141c)。所接收的光线141a-c可穿过光学元件185，并且通过透镜130并定向到图像传感器135上。
光学元件185可由指示笔设备101用来增大通过透镜130被投影到图像传感器135上的图像的场曲率。场曲率是拍摄图像的范围的平滑度的测量。一般地，诸如透镜130之类的透镜被构造成减少或最小化场曲率。然而，因为定焦透镜对景深的物理限制，使用这样的透镜的指示笔设备101的可实现的悬停距离可能不足以用于常见应用。通过使用光学元件185来增加被投影的图像的场曲率，沿着可检测的悬停距离和/或位置的范围来增加透镜130的有效景深。然而，这样的景深的增加是以位于焦内的被投影的图像的量为代价的。
例如，由实线所示的光线143a、143b和143c表示从显示器180发射出的在没有光学元件185的益处的情况下穿过透镜130的假设光线。由光线143a、143b和143c在图像传感器135上形成的图像的所得景深由框191示出。景深是距离192。在这种情况下，只要显示器180的一部分位于由框191所表示的体积内，图像传感器135可从该体积中获取显示器180的焦内图像，则指示笔设备101就能够跟踪其位置。因为没有任何在由框191所表示的体积外部的显示器180的像素可在图像传感器135上形成的图像中位于焦内，所以这样的透镜130的可检测的悬停距离的范围被限于距离192。
相反，由穿过光学元件185的光线141a、141b和141c在图像传感器135上形成的图像的景深由框194示出。通过增加图像传感器135上形成的图像的场曲率，可检测的悬停距离的范围从距离192被增加至距离193。然而，在任何给定距离处图像传感器135中位于焦内的部分被类似地减少了。
在某些实现中，光学元件135可包括能够增加透镜130的场曲率的任何光学元件。例如，光学元件可包括折射性元件，诸如棱柱折射性元件或旋转对称的双锥形元件。在另一示例中，光学元件135可包括诸如镜子之类的反射性元件。另外，在某些实现中，光学元件135可包括多个光学元件，诸如例如多个平面刻面或表面。
电子装置120可基于图像传感器上形成的图像中位于焦内的部分的区域或形状来确定指示笔设备101的悬停距离。具体地，电子装置120可基于图像传感器135上形成的图像中位于焦内的部分的半径与图像传感器135上形成的图像中不在焦内的部分的面积之比来确定指示笔的悬停距离。
例如，图2是图像传感器135上形成的图像200的图示。图像200包括焦内部分206和焦外部分207。在所示示例中，光学元件185是旋转对称的折射性光学元件185，从而导致焦内部分206是环形椭圆区域。焦内部分206用阴影示出，而焦外部分207被示为没有阴影。焦内部分206的形状和数量可取决于所使用的光学元件185的类型来改变。
随着指示笔设备101移动得更接近显示器180，焦内部分206的半径减小。类似地，随着指示笔设备101移动得更远离显示器180，焦内部分206的半径增大。因此，悬停距离与焦内部分206的半径成比例。在某些实现中，焦内部分206的半径可基于由焦内部分206形成的环形的内径和外经之差来确定。因而，指示笔设备101的电子装置120可基于焦内部分206的半径来确定指示笔设备101的悬停距离。
电子装置120可类似地基于图像传感器135上形成的图像中焦内部分的偏心率来确定指示笔设备101的悬停距离。例如，图3是图像传感器135上形成的图像300的图示。图像300包括焦内部分306和焦外部分307。焦内部分306用阴影示出，而焦外部分307被示为没有阴影。在光学元件185是旋转对称的折射性光学元件185的情况下，指示笔设备101的方向可根据由环形焦内部分306的外部所形成的椭圆的偏心率来测量。随着指示笔设备101的用户减小指示笔设备101和显示器180之间形成的角度，椭圆的偏心率增大。在光学元件185是非旋转对称的光学元件或者包括多个光学元件的情况下，一个或多个焦内部分的偏心率可以是对当与基准或基线焦内部分306比较时焦内部分306有多扭曲或有多变形的测量。
电子装置120可类似地基于图像传感器135上形成的图像中的焦内部分的方向来确定指示笔设备101的方位或旋转。例如，图4是图像传感器135上形成的图像400的图示。图像400包括焦内部分406和焦外部分407。焦内部分406用阴影示出，而焦外部分407被示为没有阴影。随着指示笔设备101围绕通过接触传感器107和主体部分106的轴而旋转，焦内部分406类似地进行旋转。在光学元件185是旋转对称的折射性光学元件的情况下，指示笔设备101的方位可根据由焦内部分406的外环所形成的椭圆关于所选法线的旋转来测量。在焦内部分406是多个部分的情况下，指示笔设备101的方位可根据这些部分之一关于所选法线的旋转来测量。
电子装置120可进一步确定指示笔设备101相对于显示器180的位置。指示笔设备101的位置可由电子装置120通过确定显示器180上其光形成了图像传感器135上形成的图像的焦内部分的像素的位置来确定。
在某些实现中，指示笔驱动器111可将每一像素的位置编码到由显示器180的像素发射出的光中。电子装置120随后可基于图像传感器135接收的光中的经编码的位置来确定指示笔设备101的位置。在某些实现中，显示器180的每一像素可包括三个一组的元件，每一元件能够发射出蓝光、绿光或红光之一。像素的位置可被编码到三个一组的元件所发射出的三色光之一中。一般地，人眼对于蓝光的空间分辨率低于对红光或绿光的空间分辨率。因此，通过将像素的位置编码到蓝光中降低了用户将感知到经编码的位置的概率。
在某些实现中，为促进上述编码方案，指示笔设备101可进一步包括位于透镜130和图像传感器135之间的滤波器133。滤波器133可以是高通滤波器，并且可以阻挡光的一个或多个波长到达图像传感器135。在使用蓝光将每一像素的位置编码到光中的情况下，滤波器133可仅允许从显示器180的像素所发射出的蓝光到达图像传感器135。通过阻挡每一像素的红光和绿光，增加了每一像素的视像素对比度(apparent pixel contrast)，且减少了由光学元件185引入的彩色畸变。
图5是用于使用像素四方格(quad)来编码位置的示例编码方案500的图示。在所示示例中，像素被分组成四像素的四方格，每一像素四方格对应于显示器180上的位置。这四个像素的强度可被设为它们原始值的平均值，这相当于低通滤波器操作。为了传达它们的位置，每一像素四方格可交替由它们的对应蓝光元件根据编码方案500的模式501、503、505、507、509、511、513、515、517、519、521、523、525、527、528、531、533、535和537发射出的蓝光的强度。每一像素四方格可显示可由电子装置120检测的模式501-537的唯一序列，并且可用于确定像素四方格(以及指示笔设备101)在显示器180上的位置。
在编码方案500中，四方格中的像素的蓝光分量的强度根据19个模式501-537来交替。四分体中的“0”符号指示该像素相对于蓝光的强度未改变。四分体中的“+”符号指示该像素相对于蓝光的强度被增大。四分体中的“-”符号指示该像素相对于蓝光的强度被减小。像素的强度可按诸如例如百分之十之类的较小量来增大或减小。对于每一模式，像素四方格发射出的总的光量可保持不变。
为避免用户对编码方案的感知，四方格中其强度被增大或减小的像素的数量被平衡。例如，模式501没有强度增大或减小的像素，模式503具有一个强度增大的像素和一个强度减小的像素，而模式519具有两个强度增大的像素和两个强度减小的像素。存在19个模式501-537满足平衡要求以及在上文中概括并在图5中示出的编码方案500。
一旦电子装置120标识了像素四方格在显示器180中的位置，电子装置120就可使用该位置信息来推断四方格中的每一像素的位置。因为此，最多具有2048×2048像素的显示器可使用20位数字来编码每一像素四方格的位置。给定编码方案500中的19个模式501-537，这20位数字可由显示器180在6帧中显示。使用用19个模式501-537编码的6帧得到196个可能的代码，这相当于近似25位。这些额外的位可由指示笔驱动器111用于冗余编码以例如提高可靠性和/或降低噪声。
在某些实现中，在被称为同步阶段期间，电子装置125可使用标准解码算法(诸如维特比算法)基于编码方案500来确定指示笔设备101相对于显示器180的初始位置。在同步阶段期间，电子装置125或可能已经丢失了指示笔设备101的位置或例如指示笔设备101可能最近已被初始化。在电子装置125确定了指示笔设备101的位置之后，电子装置125可通过使用图像传感器135来跟踪由指示笔设备101通过的显示设备的像素来确定指示笔设备101的后续位置。如果指示笔设备101变得无法基于像素跟踪来确定其位置，则电子装置125可重新进入同步阶段以确定指示笔设备101的位置。例如，用户可能已经将指示笔设备101放下，或者以其他方式握着它太过远离显示器180。
在某些实现中，当指示笔设备101处于同步阶段时，电子装置125可向指示笔驱动器111发出信号。指示笔设备101随后可在同步阶段期间将像素的位置编码到由像素发射出的光中，并且可在电子装置125发出信号表明它已经成功地确定了指示笔的位置之后(即，已经退出了同步阶段)停止将像素的位置编码到光中。通过仅对同步阶段期间的光进行编码，用户将检测到经编码的模式或者被经编码的模式打扰的可能性被降低。
图6是用于确定指示笔设备的距离、方向和方位的方法的实现的操作流程。方法600可由例如指示笔设备101和计算设备110之一或两者来实现。
在601，在指示笔设备的图像传感器处接收从显示器发射出的光。光可由图像传感器135通过光学元件185接收，并且可在图像传感器135上形成图像。光学元件185可增大图像传感器135上形成的图像的场曲率。光学元件185可以是折射性或反射性光学元件185。另外，光学元件185可使用多个光学元件来实现。
在603确定图像中位于焦内的部分。图像中位于焦内的部分可由电子装置120和图像传感器135确定。如上所述，光学元件185增大图像传感器135上形成的图像的场曲率。然而，场曲率的增加是以图像聚焦为代价的。取决于所使用的光学元件的类型，图像中可能存在一个连续部分位于焦内，或者图像中可能存在多个不连续的部分位于焦内。
在605确定图像中位于焦内的部分的形状。该部分的大小可由电子装置120和图像传感器135确定。位于焦内部分的形状可通过确定图像中位于焦内的面积来确定。例如，在该部分是圆环形区域的情况下，可基于环形区域的半径来确定面积。在图像中有多个位于焦内的部分的情况下，图像中位于焦内的部分的形状可通过对每一焦内部分的面积求和来确定。
在607确定指示笔设备和显示器之间的距离。该距离可以是悬停距离，并且可由电子装置120基于图像中位于焦内部分的形状和半径来确定。
在609确定图像中位于焦内的部分的偏心率。图像中位于焦内部分的偏心率可由图像传感器135和电子装置120确定。在图像中位于焦内的部分是普通椭圆环的情况下，偏心率可以是对由环的外部所形成的椭圆与圆有多么不同的测量。在图像中位于焦内的部分不是普通椭圆或者包括多个部分的情况下，偏心率可以是对当与一个或多个基准部分相比图像中的一个或多个焦内部分有多变形的测量。
在611基于所确定的偏心率来确定指示笔设备的倾斜。倾斜可以是指示笔设备和显示器之间的角度的测量，并且可由电子装置120和图像传感器135确定。一般地，偏心率越大，指示笔的倾斜越大，且反之亦然。
在613确定图像中位于焦内的部分的方向。该方向可由电子装置120和图像传感器135确定。该方向可以是图像的部分相对于法线的旋转的角度测量。在图像中的焦内部分包括多个部分的情况下，可确定这些部分之一的方向。
在615基于所确定的方向来确定指示笔设备的方位。该方位可由电子装置120和图像传感器135确定。一般地，所确定的方向的角度越大，方位越大，且反之亦然。
在617，将所确定的距离、倾斜和方位提供给耦合到指示笔设备的计算设备。所确定的距离、倾斜和方位可由指示笔设备101的发射器123提供给计算设备110的接收器112。所提供的数据可由指示笔驱动器111用来更新例如对应于指示笔设备101的光标或图标。
图7是用于确定指示笔设备的位置和姿态的方法700的实现的操作流程。方法700可由例如指示笔设备101和计算设备110之一或两者来实现。
在701，从图像传感器确定图像。该图像可以是在指示笔设备101的图像传感器135上形成的图像。
在703，该图像被处理以确定一个或多个像素。该图像可由指示笔设备101的电子装置120处理。在某些实现中，该图像可使用定位暗区周围的亮点的算子(例如，带有小内核的卷积)来处理。给定足够的对比度，区域的中心可被确定为是来自显示器180的像素的中心。像素的对比度可以是对像素位于焦内的程度的测量。如果像素是位于焦内的，则它将具有高对比度。如果像素靠近景深的任一端，则对比度将是低的。如果像素超出景深，则可能根本没有对比度或者可能找不到像素。
在705，估计指示笔设备的位置和姿态。指示笔设备101的位置和姿态可由电子装置120估计。如果在获取的图像中已经标识了足够数量的像素，则像素坐标和对比度(焦内)信息最初可用于估计指示笔设备101相对于显示器180的位置。在某些实现中，这可以由电子装置120通过使用最小平方误差和(例如，最小平方拟合)来求解等式系统来完成。可以使用其他方法。
在707，映射像素位置。像素位置可由电子装置120来映射。在某些实现中，在703确定的像素可基于指示笔设备光学元件的几何形状被映射到显示器180上的像素位置。
在709，细化位置和姿态估计。该估计可由电子装置120基于像素位置的映射来细化。在某些实现中，该估计可基于像素位置的映射、通过用对应于x、y和z位置坐标以及方位、距离和旋转角度的6个变量来求解等式系统来细化。
在711，检查经细化的估计以寻找误差。经细化的估计可由电子装置120来检查以寻找误差。该估计可能因为图像传感器135和显示器180中所确定的像素之间的映射而具有误差。因为可能的映射的数量较小，所以电子装置120尝试所有可能的映射，并选择具有最小误差的位置和姿态的估计。
在713，可发起跟踪循环。跟踪循环可由电子装置120来发起。在跟踪循环期间，可持续地确定指示笔相对于起始像素位置的位置和姿态。
在715，同步指示笔设备。指示笔设备101可由电子装置120使用绝对位置解码算法来同步。在某些实现中，绝对位置解码算法可得到关于显示器180的绝对位置的确定。当在跟踪期间已经分析了足够数量的显示器180帧或者已经观察了足够大区域的显示器180时，绝对位置解码算法可完成。
在717，提供绝对位置信息。绝对位置信息可由电子装置120提供给计算设备110。绝对位置信息可由电子装置120跟踪，并且随着指示笔设备101移动被持续地提供给计算设备110。
图8是用于确定指示笔设备的位置的方法的实现的操作流程。方法800可由指示笔设备101和计算设备110中的一个或多个来实现。
在801，在指示笔设备的图像传感器处接收从显示器的多个像素发射出的光。光可在指示笔设备101的图像传感器135上从显示器180的多个像素接收。指示笔设备101例如可能已经对着显示器被握着，并且可能正试图通过确定显示器上的光被图像传感器135接收到的像素的位置来确定指示笔设备101在显示器前方的位置。在某些实现中，接收的光可通过滤波器133来接收。
在803，基于接收的光来确定至少一个像素的位置。该位置可由指示笔设备101的电子装置120和图像传感器135确定。在某些实现中，可基于被编码到由指示笔设备发射出的光中的代码或模式来确定该位置。例如，在某些实现中，指示笔驱动器111可将显示器的像素分组成四像素的四方格。每一四像素的四方格可通过增大、减小或不调整由四方格中的每一像素所显示的蓝光的量来显示唯一序列的模式。因为每一四方格所显示的每一序列模式是唯一的，所以电子装置120可基于该唯一序列的模式来确定四方格中至少一个像素的位置。例如，参考图5来描述这样的模式。
在805，基于该至少一个像素的位置来确定指示笔设备相对于显示器的位置。该位置可由指示笔设备101的电子装置120来确定。
在807，提供指示笔的所确定的位置。所确定的位置可由指示笔设备101的发射器123提供给计算设备110的接收器112。指示笔驱动器111可使用所提供的位置来更新例如对应于指示笔设备101的光标或图标。
图9示出了在其中可实现各示例实施例和各方面的示例性计算环境。计算系统环境只是合适的计算环境的一个示例，并非旨在对使用范围或功能提出任何限制。
可以使用多种其它通用或专用计算系统环境或配置。适合使用的公知的计算系统、环境和/或配置的示例包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、智能电话、网络个人计算机(PC)、微型计算机、大型计算机、嵌入式系统、包括任何以上系统或设备的分布式计算环境等。
可以使用诸如程序模块等可由计算机执行的计算机可执行指令。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。也可使用其中任务由通过通信网络链接或其他数据传输介质的远程处理设备执行的分布式计算环境。在分布式计算环境中，程序模块和其他数据可以位于包括存储器存储设备的本地和远程计算机存储介质中。
参考图9，用于实现此处所描述的各方面的示例性系统包括计算设备，诸如计算设备900。在其最基本配置中，计算设备900通常包括至少一个处理单元902和存储器904。取决于计算设备的确切配置和类型，存储器904可以是易失性的(如随机存取存储器(RAM))、非易失性的(诸如只读存储器(ROM)、闪存等)或两者的某种组合。该最基本配置在图9中由虚线906示出。
计算设备900可以具有附加特征或功能。例如，计算设备900还可包含附加存储(可移动和/或不可移动)，包括但不限于磁盘、光盘或磁带。这样的额外存储在图9中由可移动存储908和不可移动存储910示出。
计算设备900通常包括各种计算机可读介质。计算机可读介质可以是可由设备900访问的任何可用介质，并且包括易失性和非易失性介质、可移动和不可移动介质。
计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。存储器904、可移动存储908和不可移动存储910都是计算机存储介质的示例。计算机存储介质包括但不限于，RAM、ROM、电可擦除可编程只读存储器(EEPROM)、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或可用于存储所需信息且可以由计算设备900访问的任何其它介质。任何这样的计算机存储介质都可以是计算设备900的一部分。
计算设备900可包含允许该设备与其它设备通信的通信连接912。计算设备900还可具有输入设备914，诸如键盘、鼠标、笔、语音输入设备、指示笔、触摸输入设备等。还可包括输出设备916，诸如显示器、打印机等。所有这些设备在本领域是众知的并且不必在此详细讨论。
计算设备900还可具有显示器917。显示器917可包括各种公知的显示器类型，包括液晶显示器、阴极射线管显示器、有机发光二极管显示器等。可使用本领域公知的任何类型的显示器。一示例显示器是参考图1示出的显示器180。
应该理解，此处描述的各种技术可以结合硬件或软件，或在适当时结合两者的组合来实现。因此，当前公开的主题的方法和装置或其特定方面或部分可采取包含在诸如软盘、CD-ROM、硬盘驱动器或任何其它机器可读存储介质等有形介质中的程序代码(即，指令)的形式，其中当程序代码被加载到诸如计算机等机器内并由其执行时，该机器成为用于实现当前所公开的主题的装置。
尽管示例性实现可涉及在一个或多个独立计算机系统的上下文中利用当前所公开的主题的各方面，但本主题不受此限制，而是可以结合任何计算环境，诸如网络或分布式计算环境来实现。此外，当前所公开的主题的各方面可在多个处理芯片或设备中或跨多个处理芯片或设备实现，且存储可类似地跨多个设备来实现。这些设备可能包括例如个人计算机、网络服务器、以及手持式设备。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于通用指示笔的方法，包括：
在指示笔设备的图像传感器处接收从显示器发射出的光(601)，其中接收到的光在所述图像传感器上形成图像；
由所述图像传感器确定所述图像中对焦的部分(603)；以及
基于所述图像中位于焦内的部分的形状和半径来确定所述指示笔设备的位置和姿态(705)。
2.如权利要求1所述的方法，其特征在于，所述光由所述图像传感器通过光学元件接收，所述光学元件增大在所述图像传感器上形成的图像的场曲率。
3.如权利要求1所述的方法，其特征在于，所述图像中位于焦内的部分是椭圆形环，并且所述方法进一步包括：
确定所述椭圆形环的偏心率；以及
基于所述椭圆形环的偏心率来确定所述指示笔设备的倾斜。
4.如权利要求1所述的方法，其特征在于，所述图像中位于焦内的部分是椭圆形环，并且所述方法进一步包括：
确定所述椭圆形环的方向；以及
基于所述椭圆形环的方向来确定所述指示笔设备的方位。
5.一种用于通用指示笔的系统，包括：
计算设备(110)；
耦合到所述计算设备的显示器(180)；以及
指示笔设备(101)，包括：
光学元件(185)；以及
图像传感器(135)，所述图像传感器适用于：
通过所述光学元件接收从所述显示器发射出的光(601)，其中接收到的光在所述图像传感器上形成图像；
确定所述图像中位于焦内的部分(603)；
确定所述图像中位于焦内的部分的形状和半径(605)；以及
基于所确定的形状和半径来确定所述指示笔设备和所述显示器之间的距离(607)。
6.如权利要求5所述的系统，其特征在于，所述光学元件增加在所述图像传感器上形成的图像的场曲率。
7.如权利要求5所述的系统，其特征在于，所述光学元件是反射性光学元件或折射性光学元件之一。
8.如权利要求5所述的系统，其特征在于，所述图像中位于焦内的部分是椭圆形环，并且所述图像传感器进一步适用于：
确定所述椭圆形环的偏心率；以及
基于所述椭圆形环的偏心率来确定所述指示笔设备的倾斜。
9.如权利要求5所述的系统，其特征在于，所述图像中位于焦内的部分是椭圆形环，并且所述图像传感器进一步适用于：
确定所述椭圆形环的方向；以及
基于所述椭圆形环的方向来确定所述指示笔设备的方位。
10.如权利要求5所述的系统，其特征在于，所述指示笔设备适用于将所确定的距离提供给所述计算设备。
CN201210030336.3A 2011-02-11 2012-02-10 通用指示笔设备 Active CN102622109B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/025,165 US8619065B2 (en) 2011-02-11 2011-02-11 Universal stylus device
US13/025,165 2011-02-11

Publications (2)

Publication Number Publication Date
CN102622109A CN102622109A (zh) 2012-08-01
CN102622109B true CN102622109B (zh) 2015-08-19

Family

ID=46562061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210030336.3A Active CN102622109B (zh) 2011-02-11 2012-02-10 通用指示笔设备

Country Status (7)

Country Link
US (1) US8619065B2 (zh)
EP (1) EP2673693B1 (zh)
JP (1) JP5964329B2 (zh)
KR (2) KR101931924B1 (zh)
CN (1) CN102622109B (zh)
HK (1) HK1172109A1 (zh)
WO (1) WO2012108988A2 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8963838B2 (en) * 2011-10-25 2015-02-24 Texas Instruments Incorporated Enhanced projected image interface
KR101991493B1 (ko) * 2012-01-17 2019-06-20 삼성전자주식회사 터치 인터페이스를 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 휴대 단말
CN102740020B (zh) * 2012-05-28 2015-01-21 歌尔声学股份有限公司 等离子电视机的控制方法、蓝牙触控笔和等离子电视机
US20140062966A1 (en) * 2012-09-05 2014-03-06 Research In Motion Limited Stylus Having a Flexibly-Resilient Tip
US9921626B2 (en) * 2012-09-28 2018-03-20 Atmel Corporation Stylus communication with near-field coupling
US9348438B2 (en) 2013-02-19 2016-05-24 Dell Products L.P. Advanced in-cell touch optical pen
FR3006757B1 (fr) * 2013-06-11 2016-10-14 Fogale Nanotech Procede pour caracteriser un objet d'interet en interaction avec une interface de mesure, et dispositif mettant en oeuvre le procede
WO2015022940A1 (ja) 2013-08-16 2015-02-19 株式会社ワコム 指示体検出装置及び指示体検出方法
EP2998837A4 (en) 2013-08-16 2016-09-14 Wacom Co Ltd DETECTION SENSOR FOR A DISPLAY DEVICE AND DETECTION DEVICE FOR A DISPLAY DEVICE
US10423245B2 (en) 2014-01-31 2019-09-24 Qualcomm Incorporated Techniques for providing user input to a device
CN104932714A (zh) * 2014-03-19 2015-09-23 张云山 笔型光学指示装置及其控制方法
WO2016170888A1 (ja) 2015-04-20 2016-10-27 株式会社ワコム アクティブスタイラス及びセンサコントローラを用いた方法、センサコントローラ、アクティブスタイラス、及びシステム
US9785262B2 (en) 2015-04-20 2017-10-10 Wacom Co., Ltd. System and method for bidirectional communication between stylus and stylus sensor controller
US10116963B1 (en) * 2017-06-11 2018-10-30 Dot Learn Inc. Vector-based encoding technique for low-bandwidth delivery or streaming of vectorizable videos
JP2019149730A (ja) * 2018-02-27 2019-09-05 Ｎｅｃディスプレイソリューションズ株式会社 表示装置、位置検出装置、表示調整システム、表示方法、位置検出方法、及び表示調整方法
KR102185942B1 (ko) * 2018-11-19 2020-12-02 주식회사 네오랩컨버전스 이미지 센서를 이용하여 전자펜의 기울기를 획득하는 방법, 그 장치 및 전자펜
KR102709014B1 (ko) * 2019-06-03 2024-09-24 엘지전자 주식회사 필기 입력 장치
WO2023043928A1 (en) * 2021-09-17 2023-03-23 Google Llc Encoding and recognizing positions of a display

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2244892B (en) * 1990-06-08 1994-12-14 Electronic Graphics Ltd Computer graphics
EP0578692B1 (en) * 1991-04-03 1995-06-14 Hewlett-Packard Company Position-sensing apparatus
US5701140A (en) 1993-07-16 1997-12-23 Immersion Human Interface Corp. Method and apparatus for providing a cursor control interface with force feedback
GB9516441D0 (en) * 1995-08-10 1995-10-11 Philips Electronics Uk Ltd Light pen input systems
US6195618B1 (en) 1998-10-15 2001-02-27 Microscribe, Llc Component position verification using a probe apparatus
JP4200588B2 (ja) 1999-05-28 2008-12-24 株式会社デンソー ２次元情報読取装置
US6970583B2 (en) 2000-05-25 2005-11-29 Black Gerald R Identity authentication device
EP1342151A4 (en) * 2000-12-15 2007-02-28 Finger System Inc OPTICAL PEN-TYPE MACHINE AND METHOD FOR CONTROLLING IT
KR20010016506A (ko) 2000-12-15 2001-03-05 양홍영 광 마우스 장치
KR100408518B1 (ko) * 2001-04-12 2003-12-06 삼성전자주식회사 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법
GB0213215D0 (en) * 2002-06-08 2002-07-17 Lipman Robert M Computer navigation
US7952570B2 (en) * 2002-06-08 2011-05-31 Power2B, Inc. Computer navigation
GB0223074D0 (en) 2002-10-04 2002-11-13 Motion Touch Ltd Recording writing movements
US20050020303A1 (en) 2003-05-12 2005-01-27 Chan Steven Sunyuen Mobile electronic device with integrated stylus input device
KR100438846B1 (ko) 2003-10-07 2004-07-06 함종훈 펜형 마우스 장치
US7298367B2 (en) * 2003-11-25 2007-11-20 3M Innovative Properties Company Light emitting stylus and user input device using same
EP1697876B1 (en) * 2003-12-15 2009-03-11 Anoto Ab An optical system, an analysis system and a modular unit for an electronic pen
US20050156915A1 (en) 2004-01-16 2005-07-21 Fisher Edward N. Handwritten character recording and recognition device
KR100860158B1 (ko) 2004-01-27 2008-09-24 김철하 펜 형의 위치 입력 장치
US7048198B2 (en) * 2004-04-22 2006-05-23 Microsoft Corporation Coded pattern for an optical device and a prepared surface
US20060028457A1 (en) 2004-08-08 2006-02-09 Burns David W Stylus-Based Computer Input System
NO323926B1 (no) * 2004-11-12 2007-07-23 New Index As Visuelt system samt styringsobjekt og apparat til bruk i systemet.
US7646377B2 (en) * 2005-05-06 2010-01-12 3M Innovative Properties Company Position digitizing using an optical stylus to image a display
US7817816B2 (en) * 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
IL176618A0 (en) * 2006-06-29 2006-10-31 Zalman Schwartzman A solar cocentrating device for photovoltaic energy generation
JPWO2008093395A1 (ja) * 2007-01-30 2010-05-20 パイオニア株式会社 入力システム及び方法、並びにコンピュータプログラム
US8548317B2 (en) * 2007-03-28 2013-10-01 Anoto Ab Different aspects of electronic pens
EP2430510A2 (en) * 2009-05-15 2012-03-21 Polyvision Corporation Electronic display systems having mobile components

Also Published As

Publication number Publication date
KR101953403B1 (ko) 2019-02-28
CN102622109A (zh) 2012-08-01
KR101931924B1 (ko) 2018-12-21
EP2673693A2 (en) 2013-12-18
US20120206349A1 (en) 2012-08-16
US8619065B2 (en) 2013-12-31
JP2014508355A (ja) 2014-04-03
JP5964329B2 (ja) 2016-08-03
EP2673693B1 (en) 2018-05-02
KR20180057731A (ko) 2018-05-30
HK1172109A1 (zh) 2013-04-12
KR20140043058A (ko) 2014-04-08
EP2673693A4 (en) 2017-04-12
WO2012108988A2 (en) 2012-08-16
WO2012108988A3 (en) 2012-10-26

Similar Documents

Publication Publication Date Title
CN102622109B (zh) 通用指示笔设备
US9202280B2 (en) Position estimation based rotation of switched off light source
US10823958B2 (en) Electronic device for encoding or decoding frames of video and method for controlling thereof
CN112470467B (zh) 头戴式设备(HMD)发现在并置虚拟、增强和混合现实(xR)中的应用
US10930056B2 (en) Electronic device for generating images having rendering qualities differing by view vector
CN108429906B (zh) 电子设备和用于在电子设备中发送和接收图像数据的方法
US20170169759A1 (en) Electronic device having flexible display and method for controlling the same
KR102548199B1 (ko) 전자 장치 및 전자 장치의 시선 추적 방법
CN113076025A (zh) 可穿戴设备
CN115202129B (zh) 包括相机的电子设备和电子设备控制方法
KR20180069642A (ko) 커버 장치의 개폐를 판단하는 전자 장치와 이의 동작 방법
CN114207553B (zh) 用于处理滚轮输入的电子装置及其操作方法
US20190004661A1 (en) Electronic device for providing service and operating method thereof
KR20180014614A (ko) 전자 장치 및 전자 장치의 터치 이벤트 처리 방법
KR102355759B1 (ko) 사용자의 위치를 결정하는 전자 장치 및 그 제어 방법
US20190349562A1 (en) Method for providing interface for acquiring image of subject, and electronic device
EP3381369A1 (en) Electronic device and method for measuring biometric information
US10936057B2 (en) System and method for natural three-dimensional calibration for robust eye tracking
KR102595449B1 (ko) 전자 장치 및 전자 장치 제어 방법
CN103983425A (zh) 一种led发光角度和光强检测方法及装置
CN107111354B (zh) 非故意触摸拒绝
KR20180033845A (ko) 전자 장치와 이의 동작 방법
CN114652267B (zh) 眼球追踪方法、系统、可读存储介质及电子设备
CN117850610A (zh) 通过戒指鼠标实现鼠标右键的方法、装置、介质及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1172109

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C14 Grant of patent or utility model
C41 Transfer of patent application or patent right or utility model
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20150728

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1172109

Country of ref document: HK