CN104516532A - 使用光学感测阵列确定光源姿态的设备和方法 - Google Patents

使用光学感测阵列确定光源姿态的设备和方法 Download PDF

Info

Publication number
CN104516532A
CN104516532A CN201410525213.6A CN201410525213A CN104516532A CN 104516532 A CN104516532 A CN 104516532A CN 201410525213 A CN201410525213 A CN 201410525213A CN 104516532 A CN104516532 A CN 104516532A
Authority
CN
China
Prior art keywords
light
display panel
pattern
attitude
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410525213.6A
Other languages
English (en)
Inventor
理查德·I·麦卡特尼
戴维·M·霍夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of CN104516532A publication Critical patent/CN104516532A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light

Abstract

提供了一种使用光学感测阵列确定光源姿态的设备和方法。姿态确定系统包括：光源，被构造为发射与三个或更多个非共线点相对应的光的图案；以及显示面板，在显示区域中包括多个光学传感器。光学传感器被构造为检测光图案。姿态确定系统被构造为利用检测的光图案来确定光源相对于显示面板的位置。一种用于确定光源相对于显示面板的姿态的方法包括：发射光，光来自光源并具有与三个或更多个非共线点相对应的图案；利用在显示面板的显示区域中的多个光学传感器来检测光图案；以及利用检测的光图案通过处理器来确定光源相对于显示面板的位置。

Description

使用光学感测阵列确定光源姿态的设备和方法
本申请要求于2013年10月3日提交的第61/886,575号以及于2014年9月16日提交的第14/488,146号美国临时申请的优先权和权益，上述美国临时申请的全部内容通过引用被包含于此。
技术领域
本发明的实施例的方面针对一种姿态确定系统、一种用于确定光源的姿态的方法和一种用于确定光源的姿态的显示面板。
背景技术
物体(诸如手持式指示器)的姿态是指它相对于参考点(例如，显示装置)的位置(例如，x/y/z坐标或者(右/左)/(前/后)/(上/下))和方位(例如，俯仰/偏航/滚转)，并且可以使用三维(3-D)空间中的六个自由度的描述来表述。实时姿态确定可使物体被实时跟踪。用于通过自动化手段(诸如计算机或其它处理器-驱动电子装置)确定物体(例如，运动的物体)的姿态的在先技术具有诸如太慢或效率太低、太不精确、体积太大、太复杂或者太有限或其它限制(像是仅当物体位于距参考点窄的范围的距离内时很好地工作，或确定少于描述的六个自由度)的缺点，从而难以在实际的实时设置中很好地使用。
发明内容
本发明的实施例提供了一种使用一个光束指示器(或一个光源)或者多个光束指示器(或多个光源)，以从远程位置接近显示器与显示器的交互的方法。这种指示器提供了一种新的用户接口，新的用户接口能够被用于实现与通过计算机鼠标或跟踪球所提供的特征相似的特征，以及诸如屏幕绘画装置、头或其它身体部位的跟踪装置、游戏武器、跟踪或控制装置、用于实现其它通用用户接口功能的装置等的附加特征。
本发明的另一实施例使用从多个光束投到具有嵌入式光学传感器阵列的显示器上的分离的图像，以确定每个光束源相对于显示器的姿态。能够以相对于显示器参考框架的六个自由度的描述(x、y、z、俯仰、偏航和滚转)的方式通过单应性矩阵分析来确定每个光源的姿态。
本发明的又一实施例使用单应性矩阵分析，以高效地确定物体在宽范围的情形下的姿态(诸如相对于显示装置的姿态)。示例实施例能够在比现有系统中所能够达到的距显示装置宽的范围的距离(包括近和远)下快速(诸如实时地)并精确地(诸如所有六个自由度的描述)确定物体的姿态。这些实施例还能够通过执行对物体的实时姿态确定并通过跟踪它们的对应的光源来实时地跟踪物体。
本发明的再一实施例针对于一种显示装置，并且具体针对于一种对于显示装置的新的用户接口(诸如通过激光指示器实现的新的用户接口)。这些实施例通用度高，提供的功能性和通用性超过鼠标或其它指示装置的功能性和通用性，例如，通过对具有六个自由度的姿态描述的多个指示器提供支持，以创建新的用户接口。这些界面能够实现新的游戏、能够实现新的3D显示交互、提供用于会议室和教学环境的新的协同屏幕以及与显示类装置的其它新的交互。
根据本发明的实施例，提供了一种姿态确定系统。所述姿态确定系统包括：光源，被构造为发射与三个或更多个非共线点相对应的光的图案；以及显示面板，在显示区域中包括多个光学传感器。光学传感器被构造为检测光图案。姿态确定系统被构造为利用检测的光图案确定光源相对于显示面板的位置。
光图案相对于旋转可以是不对称的。
光图案的一部分可以与剩余的光图案不同地被调制。
姿态确定系统还可以被构造为通过在检测的光图案中检测对应的所述三个或更多个非共线点来确定光源相对于显示面板的位置。
所述姿态确定系统还可以包括指示器，指示器包括光源。
指示器可以包括两个或更多个指示器，所述两个或更多个指示器具有可分离的各自的所述光图案。姿态确定系统还可以被构造为利用各自的所述检测的光图案来确定所述两个或更多个指示器相对于显示面板的位置。
所述姿态确定系统还可以包括处理器，处理器被构造为利用所述光图案的参考版本和检测的光图案来确定光源相对于显示面板的位置。
处理器还可以被构造为将检测的光图案与参考光图案对比。
处理器还可以被构造为利用检测的光图案来确定光源相对于显示面板的方位。
处理器还可以被构造为利用检测的光图案来确定光源相对于显示面板的六个自由度的位置信息。
处理器还可以被构造为利用单应性矩阵分析来确定光源相对于显示面板的位置和方位。
光源可以包括激光器和位于激光器前方的一个或更多个衍射光学器件。
光源可以包括非平行光源和位于非平行光源前方的图案化光掩模。
根据本发明的另一实施例，提供了一种用于确定光源相对于显示面板的姿态的方法。所述方法包括：发射光，光来自光源并具有与三个或更多个非共线点相对应的图案；利用在显示面板的显示区域中的多个光学传感器来检测光图案；以及利用检测的光图案通过处理器来确定光源相对于显示面板的位置。
光源可以包括两个或更多个光源，所述两个或更多个光源被构造为发射可分离的各自的所述光图案。所述方法还可以包括利用各自的所述检测的光图案来确定所述两个或更多个光源相对于显示面板的位置。
所述方法还可以包括通过处理器将检测的光图案与所述光图案的参考版本相对比。所述方法还可以包括利用检测的光图案通过处理器来确定光源相对于显示面板的方位。
在本发明的又一实施例中，提供了一种用于确定包括光源的指示器的姿态的显示面板，所述光源被构造为发射具有与三个或更多个非共线点相对应的图案的光。所述显示面板包括：显示区域，包括多个光学传感器，多个光学传感器被构造为检测从光源发射的光图案；以及处理器。处理器被构造为在检测的光图案中通过检测对应的所述三个或更多个非共线点来确定指示器相对于显示面板的位置。
指示器可以包括两个或更多个指示器，所述两个或更多个指示器具有可分离的各自的所述光图案。处理器还可以被构造为利用各自的所述检测的光图案来确定所述两个或更多个指示器相对于显示面板的位置。
处理器还可以被构造为利用检测的光图案来确定指示器相对于显示面板的方位。
附图说明
专利申请文件包含以颜色绘制的至少一幅图。
附图与说明书一起示出了本发明的示例实施例。这些图与描述一起用于更好地解释本发明的方面和原理。
图1是根据本发明实施例的示例设备的示意图，示例设备包括显示装置和光学指示装置，用于确定光学指示装置的姿态。
图2是根据本发明实施例的图1的设备的示例操作的示意图。
图3是根据本发明实施例的由光学指示装置发射的示例光图案的示图。
图4是根据本发明另一实施例的由光学指示装置发射的示例光图案的示图。
图5至图6包括图5(a)、图5(b)、图6(a)和图6(b)，示出了从不同方位被投影到显示面板上的图3的光图案。
图7包括图7(a)、图7(b)和图7(c)，示出了使用不同的旋转度被投影到显示面板上的图3的光图案。
图8包括图8(a)和图8(b)，示出了从不同的距离被投影到显示面板上的图3的光图案。
图9到图10示出根据本发明实施例的示例光束源。
图11是根据本发明实施例的用于确定光源相对于显示装置的姿态的示例方法的流程图。
具体实施方式
现在将参照附图描述本发明的示例实施例。在附图中，相同或相似的标号始终指示相同或相似的元件。这里，当描述本发明的实施例时，术语“可以”的使用是指“本发明的一个或更多个实施例”。另外，当描述本发明的实施例时，诸如“或”的选择性语言的使用是指对于每个对应的所列项目的“本发明的一个或更多个实施例”。
本发明的一个或更多个实施例针对于一种使用光学感测阵列(诸如嵌入在显示装置(或为简短起见称为“显示器”)中的光学感测阵列)利用六度描述的方式确定光学指示器或其它光源的姿态的装置和方法。本发明的实施例利用嵌入在显示器中的光学感测阵列以确定一个或更多个光束源的姿态(诸如相对于显示器的位置和方位)，所述一个或更多个光束源均具有独特的识别投影图案。可以通过单应性矩阵(或单应性矩阵分析)以相对于显示器参考框架的六个自由度描述(例如，x、y、z、俯仰、偏航和滚转)的方式来确定每个光源的位置。单应性矩阵是几何学的分支，其中，能够对通过投影到表面上引起的变形进行分析以重建投影的起源。
现在将参照图1到图2来描述本发明的示例实施例。图1是根据本发明实施例的示例设备100的示意图，示例设备100包括显示装置10和光学指示装置(或指示器)110，用于确定光学指示装置110相对于显示装置10的姿态。图2是根据本发明实施例的图1的设备100的示例操作的示意图。
显示装置10包括显示面板20和控制器30。显示装置10还可以包括扫描驱动器40和数据驱动器50，用于驱动像素60(例如，像素60位于来自于扫描驱动器40的水平扫描线与来自于数据驱动器50的竖直数据线的交叉区域处)。显示面板20可以是诸如OLED显示面板的平板式显示面板，用于向显示面板的使用者或观看者显示图像(例如，使用被构造为分别发射红光、绿光和蓝光的红色像素、绿色像素和蓝色像素60的彩色图像)。
显示面板10还包括嵌入或布置在像素60之间的多个光学传感器70，诸如光学传感器70的阵列。例如，光学传感器70可以与一种颜色的像素60一样多，或者，传感器70可以类似于矩阵图案那样密集地分布在像素60之间，比如每16个像素60有一个传感器70。可以使用嵌入式光学传感器阵列70，以通过例如单应性矩阵分析(如随后将更加详细描述的那样)来确定针对显示面板20的光束源的姿态。光学传感器70可以被构造为感测特定波长的光或特定波长范围的光，所述光包括通常对人类来说是不可见的光(诸如红外光)。
控制器30控制显示装置10的操作，控制诸如显示面板20的像素60以及光学传感器70的操作。控制器30可以例如通过控制扫描驱动器40和数据驱动器50来控制像素60(例如，通过从外部源接收图像信号，将它们转换为对应的数据信号以驱动像素60并且将数据信号提供到数据驱动器50)。控制器30可以通过周期性地(诸如每帧或每若干帧)测量在每个传感器70处的光强度、频率等并使用测量的光强度或其它测量值以辨别被照到显示面板20或者被显示面板20接收的光学指示器光图案，来控制光学传感器阵列70。尽管控制器30在图1中被示出为一个组件，但对于普通技术人员来说将明显的是，它也可以被实施为多个组件或多个微处理器(例如，一个用于控制图像生成，一个用于使用光学传感器数据执行图案识别等)。
指示装置110(诸如激光器或其它光学指示器)包括光源120，光学图案130从光源120发出。光源120可以是可见光或非可见光(诸如红外光)，或者可以是特定波长或特定波长范围的光，比如光学传感器阵列70能够检测到的波长。光源120可以发射近平行光(例如，随着其从光源120传播而逐渐散开的光)。利用被构造为检测光图案130并测量它的空间属性的光学传感器70，光图案130可以具有可识别的方位和空间变形(例如，光图案130可以包含可用于确定旋转及透视变形的特定特征)。可以使用光的两种或更多种调制(例如，颜色、强度、脉冲率等)来发射光图案130，以进一步表征图案130。
作为非限制性示例，光图案130可以假设是(或相当于、或者独特地定义)一小组独特的可辨识的非共线点，诸如三个或四个点(如在图4中，示出三个非共线点)。例如，图案130可以是旋转不对称的(即，对于任意点都不具有旋转对称性)，或者对于另一点展现出旋转对称的点中的任意一点可以以其是旋转对称的方式与其它点区别开来(例如，所述点中的一个点与其它点不同地调制)。
即，可以由光源120按这样的方式提供图案130：当与已知的参考图案相比较时，光源120相对于光学感测阵列70的方位可以由普通技术人员确定(使用例如单应性阵列分析来确定)。投影图像的点可以由此被唯一地识别出，以解决对应性问题，即，使每个投影点与如通过光学感测阵列70所测量的从光源120透射的光图案130中的它们的对应点进行唯一地匹配，光图案130包括来自多个光源120的有区别的光图案130。换句话说，空间图案可以是有区别的，使得显示系统可以解决识别的对应性，其中，在屏幕上的各个点映射为指示器的参考图案的它们各自的点。
应该提及的是，这里使用的术语“点”是指离散实体的明确定义的位置。例如，光的“点”应该具有足够的清晰度，从而它们能够被光学传感器阵列70检测(例如，其对应的感测值被确定为代表相同的投影物体的光学传感器70的任何分组的中心可以被认为是“点”)。
这些少量的点可以是更复杂的不对称图案(如在图3中)的一部分(或者来源于更复杂的不对称图案)，组成复杂图案(或空间图案)的各种形状或其它要素被用于确定所关注的少量(例如三个或四个)的点的位置。然而，更复杂的图案(或空间图案)的几何不对称是按照下述方式使光的图案130从光源120透射至光学感测阵列70的一种技术：能够在光学感测阵列70处接收的光图案(的点)与参考图案(的点)之间建立对应性，使得普通技术人员能够确定光源120相对于光学感测阵列70的姿态。
因此，使用独特的空间图案可以被认为是以接收装置能够解调接收到的信号并通过与参考图案的对应性识别少量的点的方式来调制少量的点。然而，对普通技术人员来说将明显的是，在这种技术之中存在许多调制技术和不同的调制值可以用来完成相同的任务。作为光图案130可以如何被调节和被透射的非限制性示例，再次假设底图案130为少量不对称布置的点，图案130可以以对所述点中的一者用不同的光调制的方式(诸如不同的亮度、时间次序(例如，使用微型投影机技术)、颜色、尺寸、形状、脉冲图案等，或者这些调制的结合)透射，以能够使普通技术人员从它们的对应的光学传感器阵列70的传感器读数来识别有区别的点。
例如，假设三个点P、Q和R组成特殊图案130，上述点中的一个可以以不同的颜色(例如，P是红色，Q和R是蓝色)、不同的亮度(例如，P是亮的，Q和R是暗的)、不同的时间次序(例如，P在一组中是首先透射的点，Q和R是第二次透射的点，或者Q和R分别是第二次和第三次透射的点)、不同的尺寸(例如，P大，Q和R小)、不同的形状(例如，P为三角形，Q和R为圆形)、不同的脉冲图案(例如，P是脉冲，Q和R恒定)等透射。在其它实施例中，每个点可以以不同的调制而透射，例如P、Q和R以不同的颜色、亮度、尺寸、形状、脉冲图案(例如，P为快脉冲，Q为慢脉冲，R恒定)等而透射，这更加容易地解决了对应性问题。
虽然图1中示出了一个指示装置110，但是本发明不限于此。在其它实施例中，设备100能够确定许多这样的指示装置110的姿态。例如，每个指示装置110可以被构造为发射具有不同图案(比如独特的图案)的光，并且显示装置10可以被构造为与其它图案分开检测每个这样的图案。作为非限制性示例，上述调制技术可以应用于不同的图案，诸如每个图案使用不同的调制技术，或仅以不同调制方式使用同样的调制技术或者使用调制技术或调制方式的不同组合，以能够使几乎无限数量的这种指示器被同时跟踪，这对于普通技术人员来说将是明显的。这种不同的光图案将始终被称为是“可分离的”。
例如，使用微型投影机技术，各三个点的两种图案(也就是说，P1/Q1/R1以及P2/Q2/R2)可以以六个脉冲的次序(按顺序P1、Q1、R1、P2、Q2和R2)透射，由此快速使它们解制为它们的发射光图案的正确的对应。作为另一示例，当使用多个有区别的空间图案以区分指示装置110时，空间图案可以是有区别的，使得显示系统可以解决集体性对应，其中，集体性对应指对在屏幕上检测的点所创建的指示装置进行识别并且进一步确定在屏幕上的各个点与指示器的参考图案中的它们的相应点的对应。
在图2中，显示装置10概念性地示出为显示面板20，来自指示装置110(或其它光学源)的发射的光学图案130被接收在显示面板20上。显示面板20具有嵌入式的光学感测阵列70。设备100(例如，显示装置10)被构造为确定指示装置110相对于显示面板20的姿态(例如，六个自由度的位置和方位信息)。
更详细地说，发光图案130创建落在嵌入式光学感测阵列70上的变形的图像210。变形的图像210通过感测阵列70被感测，并且分析与发射的图案130的已知参考图案的关系(例如，与发射的图案130的已知参考图案进行对比)，以使用六个自由度的描述来确定指示装置110相对于感测阵列70的源位置和方位。例如，控制器30可以利用普通技术人员公知的单应性工具来编程，并进行由感测阵列70所感测的、通过控制器30解读的或者提供到控制器(诸如参考图像)的输入。
这些输入可以包括变形图像210的尺寸和布置。由此，控制器30随后可以通过给出的参考图像中的特征的角度扩展来估算距光源120的距离(例如，基于通过光学感测阵列70检测的图像的尺寸以及在参考图像中的对应特征的已知的角度尺寸来推定距指示装置110的距离)并确定指示装置110(或者更精确地说，指示装置110的光源120)的对应位置和方位，即，指示装置110相对于显示面板20的姿态。
图3是根据本发明实施例的由光学指示装置发射的示例照明图案(或空间图案)300的示图。
光图案300可以由近平行的光源(例如，随着光从源传播，光逐渐散开)发射。光图案300包括四个形状—方形310、三角形320、月牙形330和圆形340，为参考起见，示出了两条虚线A和B。光图案300的左右和上下的图像均不对称。例如，不存在正交轴A和B使得图案300关于轴A或轴B显示为对称。图案300还展示出旋转不对称性。
更详细地，将理解的是，相对于虚构的参考框架来定义左、右、上和下。对于左右不对称，形成在通过图像中的点(例如，A线和B线的相交处)绘制的虚构线A的每侧上的两部分图像不是镜面图像。以此类推，对于上下不对称，形成在正交地穿过该同一点绘制的第二虚线B的每侧上的两部分图像不是镜面图像。
将注意到的是，对普通技术技术人员来说将明显的是，光图案300仅是不限制数量的这种图案的一个示例，本发明不限于此。例如，图4是根据本发明实施例的由光学指示装置发射的另一示例光图案400的示图。光图案400比光图案300更简单，也具有左右及上下不对称性。光图案400也展示出旋转不对称性。
在图4中，光图案400示出为具有连接线的三个点410、420和430，但是仅这三个点足以在左右和上下两方面建立不对称性，从而建立对应性以及旋转不对称性。此外，对普通技术人员来讲将明显的是，不对称的光图案可以减少至确定投影在显示面板上时的光图案的方位的足够数量的点(诸如三个)。然而，光图案的其它部分在由光图案相对于显示面板的特定方位来确定这些点(例如，解决对应性问题)方面是有益的。
图5至图6包括图5(a)、图5(b)、图6(a)和图6(b)，示出了从不同方位被投影到显示面板上的图3的光图案300。
在图5(a)中，投影为至显示面板的法线的右侧接近45°。在图5(b)中，投影为至显示面板的法线的左侧接近45°。在图6(a)中，投影为在显示面板的法线下方接近45°。在图6(b)中，投影为在显示面板的法线上方接近45°。在图5(a)和图5(b)中，光学源绕竖直轴旋转(偏航)。在图6(a)和图6(b)中，光学源绕水平轴旋转(俯仰)。对普通技术人员来说将明显的是，图像的参考版本(例如，见图3)与测量版本之间的单应性矩阵的分析使得确定旋转角(偏航或俯仰)。普通技术人员将进一步理解的是，当投影图像是光学源的偏航旋转和俯仰旋转的组合结果时，同样的分析将确定组合的偏航角和俯仰角。
图7包括图7(a)、图7(b)和图7(c)，示出了使用不同的旋转度(或滚转度)被投影到显示面板上的图3的光图案。
在图7中的三个效果图中，光图案图像相对于显示面板绕传播轴旋转或滚转。例如，在图7(a)中，旋转度(或滚转度)为–10°(即，逆时针转10°)，在图7(b)中，旋转度为+149°(即，顺时针转149°)，在图7(c)中，旋转度为+101°(即，顺时针转101°)。对普通技术人员来说将明显的是，与图像的参考版本(例如，见图3)的比较使得相对于传感器阵列坐标的旋转角确定。普通技术人员将进一步理解的是，可以将用于确定滚转角度的单应性矩阵分析进行组合，以确定光学源的组合俯仰角与偏航角并提供对光学源的俯仰、偏航和滚转的确定。
图8包括图8(a)和图8(b)，示出了从不同的距离被投影到显示面板上的图3的光图案。
对于图8(a)和图8(b)二者来说，光源相对于显示面板的方位相同。然而，光源的位置不同，产生图8(b)的光图案的光源的位置是产生图8(a)的光图案的光源距显示面板的距离的70％。
因此，从图8(a)和图8(b)中明显的是，图8(b)中的图像为图8(a)中的图像的尺寸的百分之70。可以这么说，感测阵列上的图像与产生图8(b)的图像的光学源之间的距离为在感测阵列上的图像与产生图8(a)的图像的光学源之间的距离的百分之70。
一般而言，对普通技术人员来说将明显的是，与从光源传播的平行光偏离已知的角度(例如，见图2)以及已知的参考图像(例如，见图3)结合的图像尺寸信息使得可以估算光源相对于感测阵列的绝对距离。距离估算可以结合俯仰、偏航和滚转角度信息，以利用六个自由度的位置信息(x、y、z、俯仰、偏航和滚转)知晓光源相对于嵌入式感测阵列(并由此相对于显示器)的位置。
图9到图10示出根据本发明实施例的示例光束源900和1000。
在图9的光束源900中，激光源910发射平行光束920的光，平行光束920的光穿过通常的衍射光学器件930(诸如衍射光栅)，以创建与光图案呈期望的偏差的投影图案940，诸如如上所述的不对称光图案。在图10的光束源1000中，非平行光束源1010(诸如发光二极管(LED)或其它近点光源)发射非平行光束1020的光，非平行光束1020的光被壁1030所容纳并且部分地平行穿过具有图案化光掩模1040的透镜，以创建与光图案呈期望的偏差的投影图案1050，诸如如上所述的不对称光图案。
图11是根据本发明实施例的用于确定光源相对于显示装置的姿态的示例方法1100的流程图。对普通技术人员来说将明显的是，例如，通过执行完成上述方法的计算机指令的计算机处理器，可以执行在本申请中这些和其它描述的方法。此外，在本发明的这些和其它描述的方法中，步骤的表象和次序不必限制于所描述的步骤的表象和次序，并且在其它实施例中，步骤的表象和次序可以改变，以实现同样或类似的结果，这对于普通技术人员来说将是明显的。
处理开始，并且在步骤1110中，光是从光源(例如，指示器)朝着显示面板发射的光。光具有如上所述的图案。例如，光图案可以对应于三个或更多个非共线点(例如，旋转不对称图案或者用于一部分光图案的与剩余光图案相比不同的调制)。在步骤1120中，利用在显示面板的显示区域中的多个光学传感器来检测光图案。在步骤1130中，利用检测的光图案通过处理器来确定光源(或指示器)相对于光学传感器阵列(或显示面板)的位置和方位(例如，六个自由度的位置信息)。例如，对应的三个或更多个非共线点可以通过处理器在检测的光图案中确定，处理器使用单应性矩阵分析，以将检测的光图案中的对应的三个或更多个非共线点与光源的参考光图案(包括三个或更多个非共线点)进行对比。
本发明的实施例使大量有用的应用成为可能。例如，在一个实施例中，光束源可以集合到3D眼镜中，以允许显示系统跟踪用户的头并渲染适用于每个用户的位置的3D内容。在这种实施例的一个延伸中，虚拟的3D图像将被渲染，以随着通过指示器(包括装有光束源的指尖)直接操纵而出现，其中，光束的片段在图像中被渲染，以出现在从指示器延伸到用户的视野内。在具有多视点3D系统的实施例中，随着头的运动能够为用户展示出适于每个用户位置的3D渲染。
在其它实施例中，游戏可以被构造为使用关于用户的物体或者点的相对位置的认知，以创建高保真虚拟现实体验。在办公实施例中，多个独特的指示器可以由不同的用户使用，以与显示器协作交互。指示器将非常类似于激光指示器而进行工作，但是还具有进一步的能力，不仅指示而且还“点击”。例如，在一个实施例中，在指示器上的按钮将被用于改变投影图像，由此发出“鼠标点击”操作的信号，从而允许指示器装置横跨空间的操作。在另一实施例中，这些相同的指示器还将用作虚拟的马克笔，以支持在显示器上绘画(诸如在内容上标记)或支持包括在与位于远程的协同显示器联网时远程协作交互的虚拟白板。
在本发明的另一实施例中，提供了一种用于一个或更多个用户的3D渲染系统。这里，在对一个或更多个用户控制的情况下，虚拟的3D物体通过成像机(例如，3D显示系统，该3D显示系统使用例如显示两种不同图像和对应的偏振的3D眼镜的显示系统，以针对它们的各个眼睛分离图像)渲染。例如，每个用户可以具有用作具有成像机的光学指示器(例如，如在上述实施例中所描述的)的触针。另外，3D眼镜可以具有它们自己的指示器或者如上所述的光源，并且可以用于跟踪对应的用户的头(以给一部分3D图像通过例如触针操纵的3D渲染系统提供进一步输入)。触针可以具有按钮(与鼠标或其它指示装置类似的部件)，以能够实现3D渲染功能。
这种3D渲染系统将对于一个或更多个用户同时提供头部跟踪和指示器跟踪。这是一个比可比实施方式所能够实现的更加协同的环境(通过以更大的交互量容纳多个用户)。
尽管已经结合特定的示例实施例描述了本发明，但是将理解的是，本发明不限于公开的实施例，而是相反的，意在覆盖包括在权利要求书及其等同物的精神和范围内的各种修改和等同布置。

Claims (20)

1.一种姿态确定系统，其特征在于，所述姿态确定系统包括：
光源，被构造为发射与三个或更多个非共线点相对应的光的图案；以及
显示面板，在显示区域中包括多个光学传感器，所述光学传感器被构造为检测光图案，
其中，姿态确定系统被构造为利用检测的所述光图案确定所述光源相对于所述显示面板的位置。
2.如权利要求1所述的姿态确定系统，其中，所述光图案相对于旋转是不对称的。
3.如权利要求1所述的姿态确定系统，其中，所述光图案的一部分与剩余的所述光图案不同地被调制。
4.如权利要求1所述的姿态确定系统，其中，所述姿态确定系统还被构造为通过在所述检测的光图案中检测对应的所述三个或更多个非共线点来确定所述光源相对于所述显示面板的位置。
5.如权利要求1所述的姿态确定系统，所述姿态确定系统还包括指示器，所述指示器包括所述光源。
6.如权利要求5所述的姿态确定系统，
其中，指示器包括两个或更多个指示器，所述两个或更多个指示器具有能够分离的各自的所述光图案，
其中，所述姿态确定系统还被构造为利用各自的所述检测的光图案来确定所述两个或更多个指示器相对于所述显示面板的位置。
7.如权利要求1所述的姿态确定系统，所述姿态确定系统还包括处理器，所述处理器被构造为利用所述光图案的参考版本和所述检测的光图案来确定所述光源相对于所述显示面板的位置。
8.如权利要求7所述的姿态确定系统，其中，所述处理器还被构造为将所述检测的光图案与参考光图案对比。
9.如权利要求7所述的姿态确定系统，其中，所述处理器还被构造为利用所述检测的光图案来确定所述光源相对于所述显示面板的方位。
10.如权利要求9所述的姿态确定系统，其中，所述处理器还被构造为利用所述检测的光图案来确定所述光源相对于所述显示面板的六个自由度的位置信息。
11.如权利要求9所述的姿态确定系统，其中，所述处理器还被构造为利用单应性矩阵分析来确定所述光源相对于所述显示面板的所述位置和所述方位。
12.如权利要求1所述的姿态确定系统，其中，所述光源包括激光器和位于激光器前方的一个或更多个衍射光学器件。
13.如权利要求1所述的姿态确定系统，其中，所述光源包括非平行光源和位于所述非平行光源前方的图案化光掩模。
14.一种用于确定光源相对于显示面板的姿态的方法，其特征在于，所述方法包括：
发射光，光来自所述光源并具有与三个或更多个非共线点相对应的图案；
利用在所述显示面板的显示区域中的多个光学传感器来检测光图案；以及
利用所述检测的光图案通过处理器来确定所述光源相对于所述显示面板的位置。
15.如权利要求14所述的方法，其中，所述光源包括两个或更多个光源，所述两个或更多个光源被构造为发射能够分离的各自的所述光图案，所述方法还包括利用各自的所述检测的光图案来确定所述两个或更多个光源相对于显示面板的所述位置。
16.如权利要求14所述的方法，所述方法还包括通过所述处理器将所述检测的光图案与所述光图案的参考版本相对比。
17.如权利要求14所述的方法，所述方法还包括利用所述检测的光图案通过所述处理器来确定所述光源相对于所述显示面板的方位。
18.一种用于确定包括光源的指示器的姿态的显示面板，所述光源被构造为发射具有与三个或更多个非共线点相对应的图案的光，所述显示面板包括：
显示区域，包括多个光学传感器，所述多个光学传感器被构造为检测从所述光源发射的光图案；以及
处理器，
其中，所述处理器被构造为在检测的光图案中通过检测对应的所述三个或更多个非共线点来确定所述指示器相对于所述显示面板的位置。
19.如权利要求18所述的显示面板，
其中，所述指示器包括两个或更多个指示器，所述两个或更多个指示器具有能够分离的各自的所述光图案，
其中，所述处理器还被构造为利用各自的所述检测的光图案来确定所述两个或更多个指示器相对于所述显示面板的所述位置。
20.如权利要求18所述的显示面板，其中，所述处理器还被构造为利用所述检测的光图案来确定所述指示器相对于所述显示面板的方位。
CN201410525213.6A 2013-10-03 2014-10-08 使用光学感测阵列确定光源姿态的设备和方法 Pending CN104516532A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361886575P 2013-10-03 2013-10-03
US61/886,575 2013-10-03
US14/488,146 2014-09-16
US14/488,146 US20150097775A1 (en) 2013-10-03 2014-09-16 Method and apparatus for determining the pose of a light source using an optical sensing array

Publications (1)

Publication Number Publication Date
CN104516532A true CN104516532A (zh) 2015-04-15

Family

ID=51726312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410525213.6A Pending CN104516532A (zh) 2013-10-03 2014-10-08 使用光学感测阵列确定光源姿态的设备和方法

Country Status (3)

Country Link
US (1) US20150097775A1 (zh)
EP (1) EP2857934A1 (zh)
CN (1) CN104516532A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113955705A (zh) * 2021-10-19 2022-01-21 正星科技股份有限公司 油管姿态识别装置、方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9386667B2 (en) * 2014-02-26 2016-07-05 Blaine Clifford Readler Encoded light-activated illumination
EP3424276A1 (en) * 2016-03-02 2019-01-09 Philips Lighting Holding B.V. Method for determining contribution and orientation of light sources at a predetermined measurement point
DE102016113060A1 (de) * 2016-07-15 2018-01-18 Beckhoff Automation Gmbh Verfahren zum Steuern eines Objekts
US10372155B2 (en) * 2017-08-20 2019-08-06 Pixart Imaging Inc. Joystick and related control method
WO2019148350A1 (en) * 2018-01-31 2019-08-08 Nokia Technologies Oy Position determination

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9229540B2 (en) * 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US20070273679A1 (en) * 2004-03-08 2007-11-29 Barton Daniel J Orientation data collection system
US7499027B2 (en) * 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
TWI351224B (en) * 2006-12-28 2011-10-21 Pixart Imaging Inc Cursor controlling method and apparatus using the same
WO2008104082A1 (en) * 2007-03-01 2008-09-04 Titan Medical Inc. Methods, systems and devices for threedimensional input, and control methods and systems based thereon
EP2281230A1 (en) * 2008-04-10 2011-02-09 Karl Christopher Hansen Simple-to-use optical wireless remote control
TWI434204B (zh) * 2010-11-02 2014-04-11 Au Optronics Corp 應用於三維指向系統之方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113955705A (zh) * 2021-10-19 2022-01-21 正星科技股份有限公司 油管姿态识别装置、方法及系统

Also Published As

Publication number Publication date
EP2857934A1 (en) 2015-04-08
US20150097775A1 (en) 2015-04-09

Similar Documents

Publication Publication Date Title
US10191559B2 (en) Computer interface for manipulated objects with an absolute pose detection component
CN104516532A (zh) 使用光学感测阵列确定光源姿态的设备和方法
Molyneaux et al. Interactive environment-aware handheld projectors for pervasive computing spaces
CN110476148B (zh) 用于提供多视图内容的显示系统和方法
US9201568B2 (en) Three-dimensional tracking of a user control device in a volume
EP3262439B1 (en) Using intensity variations in a light pattern for depth mapping of objects in a volume
US20100315414A1 (en) Display of 3-dimensional objects
CN102216890A (zh) 带有图像传感器和信号处理器的触摸输入
CN206833463U (zh) 用于物体定位与姿态分析的多色主动光源
US11055049B1 (en) Systems and methods for facilitating shared rendering
Okumura et al. Acitve projection AR using high-speed optical axis control and appearance estimation algorithm
US11132832B2 (en) Augmented reality (AR) mat with light, touch sensing mat with infrared trackable surface
CN111095357A (zh) 定位系统
Hiraki et al. Phygital field: An integrated field with physical robots and digital images using projection-based localization and control method
CN110430421A (zh) 一种用于五面led-cave的光学跟踪定位系统
US20230349693A1 (en) System and method for generating input data from pose estimates of a manipulated object by using light data and relative motion data
US9582084B2 (en) Interactive projector and interactive projection system
CN109683774A (zh) 交互式显示系统及交互式显示控制方法
Sobota et al. Virtual reality technologies as an interface of cognitive communication and information systems
WO2023230182A1 (en) Three dimensional mapping
KR20120114767A (ko) 사물 투척형 게임 디스플레이 시스템 및 그 방법
Prima et al. A Pointing Device for 3D Interactive Spherical Displays
US20230336944A1 (en) Location and space aware adaptive synchronization
RE Low cost augmented reality for industrial problems
Takahashi et al. A Perspective-Corrected Stylus Pen for 3D Interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150415

WD01 Invention patent application deemed withdrawn after publication