CN104205006B - 测量方法及执行该测量方法的装置 - Google Patents

测量方法及执行该测量方法的装置 Download PDF

Info

Publication number
CN104205006B
CN104205006B CN201280068981.2A CN201280068981A CN104205006B CN 104205006 B CN104205006 B CN 104205006B CN 201280068981 A CN201280068981 A CN 201280068981A CN 104205006 B CN104205006 B CN 104205006B
Authority
CN
China
Prior art keywords
display device
light source
video camera
light
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280068981.2A
Other languages
English (en)
Other versions
CN104205006A (zh
Inventor
杰拉尔德·菲特雷尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SeeReal Technologies GmbH
Original Assignee
SeeReal Technologies GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SeeReal Technologies GmbH filed Critical SeeReal Technologies GmbH
Publication of CN104205006A publication Critical patent/CN104205006A/zh
Application granted granted Critical
Publication of CN104205006B publication Critical patent/CN104205006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种测量方法,其中通过依靠显示设备预先确定的照明,利用在光源图像的平面上的照明光的强度分布,标记物体的第一位置,所述显示设备特别是全息或自动立体显示设备,以及所述物体特别是显示设备的观察者;并且其中在摄像机的坐标系中确定物体的第一位置相对于第二位置的相对位置。

Description

测量方法及执行该测量方法的装置
本发明涉及一种测量方法以及用于执行该测量方法的装置。
给予观察者真实空间——即三维——感知的显示设备正变得越来越受欢迎。
典型地,这些显示设备的观察者需要辅助工具,例如头戴显示器、灯具、偏光眼镜或快门眼镜,从而能够通过显示设备三维地感知所显示的场景。
允许观察者观察而无需附加的辅助工具的显示设备也是已知的。典型地,对于这些显示设备,例如,自动立体显示设备(autostereoscopic display device)或全息显示设备(holographic display device),需要关于相对于显示设备观察者所处的地方的信息。
以往,为了这一目的,使用两个记录显示设备的前面空间的摄影机。连接到摄影机的估算单元识别显示设备的观察者的脸并且特别是能确定观察者的眼睛瞳孔的相对于摄影机(camera)位置的位置。在这种情况下,相对于显示设备的摄影机的记录方向(recording direction)以固定的方式(fixed way)被预先确定,从而可以从相对于摄像机的眼睛瞳孔的位置确定相对于显示设备的眼睛瞳孔的位置。在装置的运输期间,可能发生的是,相对于显示设备的摄像机的位置以及特别是方向被改变。因此,不再能够准确地或者正确地确定相对于显示设备的眼睛瞳孔的位置,并且设备的重新校准是必要的。
此外,可以三维地测量物体的专用装置是已知的。通常,在这些装置的实例中,用激光在物体上产生线。然后,用摄像机记录用这些线照明的物体的图像,并从线的变形(distortion)计算该物体的形状且将其存储为数字模型。然而,为了给观察者提供检验这一数字模型的可能性,另一个数字显示设备是额外必要的。
针对这一背景,因此本发明的目的是提供一种测量方法和具有减小了设备支出的装置。
根据本发明,通过独立专利权利要求1和15的内容来实现这一目的。在引用专利权利要求1和15的专利权利要求2至14和16至18中提及了本发明的有利配置。
因此,对该目的的解决方案包括在测量方法中,其中,通过依靠显示设备的预先确定的照明,利用在光源图像的平面上的照明光的强度分布,标记物体的第一位置,并且其中在摄像机的坐标系中确定物体的第一位置相对于第二位置的相对位置。
本发明是基于这样的构思:将显示设备本身用作确定相对于物体的第二位置的物体的第一位置的相对位置的装置。由于通过显示设备本身预先确定对于图像信息的显示的照明,因此可能确定物体的第一位置的位置以及,依靠摄像机的坐标系中相对于第一位置的第二位置的相对位置,还确定在显示设备的坐标系中物体的第二位置的位置。
因此,摄像机的校准,即其相对于显示设备的坐标系的位置和方向的确定,可以省略。
通过使用全息显示设备,可以通过相干光束的相长干涉或相消干涉产生在光源图像的平面上的照明光的强度分布。以这种方式,随着物体与显示设备的距离的变化而强烈改变的照明光的强度分布以受控的方式实现。
自动立体显示设备可由比全息显示设备更简单的模块组成。具体地,自动立体显示设备不需要产生具有大的相干长度的光以便呈现三维场景的光源。因此,自动立体显示设备的使用可以使该方法更简单。
当显示设备旨在与观察者交互时,标记显示设备的观察者的第一位置尤其是有利的。但是,标记无生命物体的第一位置也是可能的,从而它可以被测量或可以有意地照明为具有纹理。
根据测量方法的第一改进中,光源图像的平面中的照明光的强度分布包括一个衍射级的光源图像。
显示设备通常具有含预先确定光栅的光的空间调制器。空间调制器的光栅可以用于作为一种具有预先确定的光栅周期的天然衍射光栅,使得在光源图像的平面中的照明光的强度分布可以包括一个衍射级的光源图像。可以想到使用第0衍射级的光源图像,即非衍射光源图像。然而,也可以使用更高的衍射级。例如为了提高测量方法的精度,由于可以检测出多个光源图像,也可以针对生成强度分布使用多个衍射级。由于预先确定的光栅周期,可以非常精确地预先确定强度分布中的最大值和/或最小值的间隔。可能的是,非常精确地预先确定第一位置相对于第二位置的相对位置的确定的精度。
根据测量方法的另一种配置,第二位置是观察者的眼睛瞳孔,并且在摄像机的坐标系统中确定第一位置相对于观察者的眼睛瞳孔的相对位置。观察者的眼睛瞳孔是观察者的脸上非常显眼的点或区域。它们因此可以通过连接到摄像机的评价逻辑相对简单地确认。另外,相对于观察者的眼睛瞳孔的位置的第一位置的相对位置的确定可以使随观察者的眼睛的瞳孔的位置变化的控制成为可能。特别是,在物理地面上不能以其他方式被区分的观察者可受益于这一点。
此外,根据测定方法的一个示例性实施例,通过预先确定的照明的变化,使第一位置与观察者的脸部的预先确定的区域相重合,特别是与观察者的眼睛瞳孔相重合。以这种方式,可以执行观察者的跟踪。
在旨在允许观察者的真正三维感知而无需辅助装置(例如偏光眼镜或快门眼镜)的显示装置的情况下,如下可能是有利的:不仅要确定第一位置相对于第二位置的相对位置,还要使得它们直接重合。以这种方式,例如播放电影的场景时,能够仅故意照亮观察者的脸部的可预先确定的区域。以这种方式,计算三维呈现的计算费用可被减小。
根据测量方法的另一改进,要显示给观察者的图像被用作光源图像的平面中的照明光的强度分布或作为光源图像。
使用显示给观察者的图像可使执行测量方法成为可能,即使当它被用来作为观察者的显示装置。当涉及呈现三维场景的显示装置时,该呈现可以适合于观察者的不同位置。
根据测量方法的另一配置,该物体的第二位置是以显示设备的预先确定的照明通过第二光源图像的平面中的照明光的第二强度分布进行界定。
物体的第一位置与第二位置之间的距离可以以这种方式在显示设备的坐标系中是已知的,以及因此相对于显示设备的摄像机的位置和方向可以从摄像机的坐标系中的第一位置与第二位置的相对距离而确定。
在第二光源图像的平面中的照明光的第二强度分布可以具有衍射级的光源图像。使用衍射级作为光源图像可以有如下优点:它们的距离,或底层的衍射角(underlyingdiffraction angle),可由显示设备的光栅以固定方法而预先确定。该方法的再现性因此可以提高。
此外,根据测定方法的一个示例性实施例,使可预先确定的图案形成于物体上,特别是在观察者的脸部,通过照明光的第一和第二强度分布,将该图案的图像用摄像机记录,以及检查该图案的所记录的图像与可预先确定的图案的差异。
通过确定与可预先确定的图案的差异,可以想到确定物体的形状。也可能确定该物体是否对应于预先确定的物体或不同的物体。
根据测量方法的另一改进,第一衍射级被用作第一光源图像以及不同的衍射级被用作第二光源图像。
将定义的衍射级用作光源图像可以具有如下优势:它们的距离可以由显示设备的光栅以固定的方式预先确定,从而使所测量的相对位置可以归结为绝对位置。衍射图案是由显示设备的光栅或显示设备的可控空间光调制器的光栅、所用光的一个或多个波长、以及到照射面的距离(即到照明物体的距离)而给出。
根据测量方法的另一配置,使用经校准的物体。经校准的物体是指具有足够准确已知形状的物体。根据摄像机的坐标系中的经校准的物体的第二位置与物体的第一位置的相对位置的确定,可以相对于显示设备的坐标系以更高的精度确定摄像机的位置和方向。
此外,根据测定方法的一个示例性实施例,摄像机的坐标系根据摄像机的坐标系中的第一位置相对于第二位置的相对位置来相对于显示设备的坐标系被校准。
摄像机的坐标系的校准可以使得能够避免连续测定相对位置,因为显示设备的坐标系中的物体的第二位置的位置也可以确定而不必通过预先确定的照明标记该物体的第一位置。当摄像机的方位和/或位置已经改变,校准只需要在相对大的距离上进行。校准可能,特别是,在该装置的传输之后是必要的。在预定的时间间隔进行校准是可以设想到的。然而,也可设想到只响应于观察者的明确要求而进行校准。
根据测量方法的另一改进,摄像机被设置在相对于显示设备的预先确定的距离和/或预先确定的方向上,以及显示设备的坐标系中的第二位置的位置可根据摄像机的坐标系中的第一位置相对于第二位置的相对位置而确定。以这种方式,尤其是物体的形状可被确定。
根据该测定方法的另一配置,第一光源图像和第二光源图像由显示设备的光学系统和由具有第一可见光波长和/或第二可见光波长和/或第三可见光波长和/或红外波长的光的可控空间光调制器的预先确定的照明产生,以及摄像机和/或另外的摄像机上设有一个过滤器,它基本上仅仅是针对第一可见光波长和/或第二可见光的波长和/或第三可见光波长和/或红外波长的光是透射的。
通过具有限定波长的光和对应过滤器的使用,信号噪声比可得到改善。特别地,环境光对测量结果的影响可以减小。针对红外波长的光是透射的过滤器的使用可以是有利的,尤其是当记录观察者时。例如,当摄像机的过滤器仅透射红外波长的光时,观察者的眼睛瞳孔的位置有可能更简单地被确定。
通常情况下,采用此处描述的类型的显示设备,观察者是由3种波长的光形成的有色光源图像显示。通过使用所有3种波长,测量的准确性可以得到改善。
此外,根据测量方法的另一示例性实施例,第一位置相对于第二位置的相对位置在第二摄像机的第二坐标系中确定。
通过使用第二摄像机,除了关于物体第一位置和物体第二位置所在方向的信息,还有可能获得关于第一和第二物体与显示设备之间的距离的信息。进一步的摄像机有可能进一步提高空间分辨率。
根据测定方法的另一示例性实施例,通过依靠显示设备——特别是全息或自动立体显示设备——的预先确定的照明,利用在光源图像的平面上的照明光的强度分布,标记显示装置的观察者的第一位置,显示给观察者的图像的观察窗被用作光源图像的平面中的照明光的强度分布或用作光源的图像,在摄像机的坐标系中确定第一位置相对于观察者的眼睛瞳孔的相对位置,并且通过预先确定的照明的变化,使第一位置与观察者的脸部的预先确定的区域相重合,特别是与观察者的眼睛瞳孔相重合。该测量方法可以针对两个眼睛瞳孔进行。可以针对每个眼睛的瞳孔为观察者提供特定的图像信息。以这种方式,例如,可以赋予特别好的景深印象。另外,观察窗可以连续地跟踪至眼睛的位置,这样有可能避免眼睛瞳孔获得(pickup)更高的衍射级光图像。
另一方面,上述的目的是通过用于执行测量方法的装置实现的,其中该装置包括:显示设备,摄像机和用于确定摄像机的坐标系中的第一位置的位置的评估单元。
关联于这种显示设备,特别是关联于全息显示设备或自动立体显示设备的优点,已在关于根据本发明的方法的上文中描述。
根据装置的第一改进,摄像机包括CCD(电荷耦合元件)传感器。
CCD传感器可以具有特别大的动态范围,也就是记录图像区域的非常明亮和非常暗区域二者。
作为选择,摄像机还可以包括CMOS(金属氧化物半导体元件)传感器。在一般情况下,CMOS传感器具有比CCD传感器更大的动态范围,CCD传感器通常具有与CMOS传感器相比更高的位深(bit depth)。CMOS传感器通常还可以记录长波长的红外光。
摄像机还可以是彩色摄像机。通过另外使用颜色信息,相对位置确定的准确度能进一步提高。
此外,根据装置的一个示例性实施例,该装置包括光源和光学系统,以及光源图像的平面的照明光的的强度分布可以用光源和光学系统产生。
根据本发明,借助成像于或投射到物体上的照明光的强度分布,该物体的第一位置与物体的第二位置的可靠的相对位置可以在摄像机的坐标系中确定,第二位置是观察者的眼睛瞳孔。
根据优选实施例,可以使用至少一个窄的带通滤波器,这样信号噪声比可以增加。三带通滤波器的透射特性显示在图5中。在这种情况下,透射率被绘制为所使用的光的波长的函数。透射可以以这样一种方式被优化,这样它针对多个窄带光谱范围分别起作用。因此,可以使用相应的光谱窗,例如为(457±3)nm,(532±3)nm,(640±3)nm和/或(780±5)nm。这样的光谱过滤器现在已经是大规模的产品,其使用的主要领域是在荧光光学显微镜或物体的颜色分隔的三维呈现中。也可以使用仅仅一个红外线波长,例如780nm,以被用作一个不可见的部件。这是因为,780nm的波长的光仅在高强度下才能被看到。因此,可以在近红外范围内或在红外范围内使用窄的光谱窗。环境光可以通过例如>200的因子被抑制。
有利的是,还有可能,例如,借助于根据本发明的测量方法的额外的子系统,使用红外线扫描(即线光栅(line raster))。
眼睛的位置的检测或确定可借助CMOS阵列或CMOS线而执行。在这种情况下的视网膜扫描构成跟踪眼睛位置的快速可能性。这可以通过使用产生预先确定的空间相关性的近红外LED来实现。因此,眼或瞳孔的位置可以与预定义的或预先确定的照明函数(illumination function)相关。
根据这方面的第一示例性实施例,可以使用多个光源,其中光在不同方向上发射。因此,有可能从不同的方向照射多个观察者的头部和眼睛。不同的照明方向,可例如通过接通和关断不同方向的光源,来接通和关断。这可以顺序地或同时进行,例如在用具有基本相同的波长的光照明的情况下按顺序进行。如果使用不同波长的照明光,这也可以同时进行。
根据这方面的另一个示例性实施例,可以使用扫描方案。在这种情况下,一个扫描(光栅)可以例如在一个方向或在两个,三个或更多个不同的方向进行。每个一维扫描(即沿一个基本上直线的光束的各个栅格)给出增加的视网膜反射信号。这里还有,使用窄带光谱滤波器将扫描仪的光源与环境光分离,从而增加检测信号的信号噪声比。
眼睛位置的评价或确定可例如在两个不同的方向依次进行。因此,当使用CMOS线检测器时,眼睛的或眼睛瞳孔的x和y位置可例如在1/1000秒内确定。
此外可以实施不同的扫描方式。例如,可以进行全局扫描,例如在x和y方向上或在交叉方向上。也可以实施角度依赖性的扫描。此外,可以使用α和β角扫描以确定角度扫描线的方向依赖性部分。多个扫描方法可以被组合,以减少或排除在该位置确定中可能的不确定性。
除了这一点,扫描区域可被定义或建立。该扫描区域可能实质上小于整体扫描区域。因此,该扫描可在这些减少的扫描区域中进行,以使扫描速度和眼睛检测可以更迅速地进行。
具体地,在一个示例性实施例中,布置在x方向上或者在水平方向上的线扫描仪,可以设置在显示设备和线性检测器的一侧,或一种(二维)检测矩阵可以布置在显示设备的另一侧。而且可以将线扫描仪和检测器提供在显示设备的两侧。类似的布置可以被设置在显示设备的上侧和下侧,例如以实施y扫描。
例如可以执行一个具有成本效益的方案,其中:DOE(衍射光学元件)布置在IR-LED(红外发光二极管)和一维扫描镜的前面,IR-LED和一维扫描镜被布置在也包含所有的电子驱动的标准IC(集成电路)封装件中,以驱动小扫描镜。
该检测原理也可以与HMD(头戴式显示器,适合于观察者的头部的显示器)一起使用。
如果,例如,使用一维或二维的CMOS检测器阵列,这里,可以再次选择受限制的扫描范围,使得信号可以从受限制的扫描范围进行检测,并以增加的重复率读出。为此,例如,可使用用于查找观察者的头部的模块,其仅检测观察者的头部的位置。观察者的头部的这些位置数据可以用于选择的扫描范围,例如通过使用两个一维扫描仪。
例如,25毫米×25毫米或甚至基本上更小的小区域可以被使用,该区域大致集中在眼睛瞳孔的中间。该区域或者该表面被一维或二维的线扫描照明。快速光电检测二极管可以布置在显示设备的边缘。这些检测器可以例如被提供有窄带滤波器,其被调谐至照明波长,例如近红外光的发光二极管。因此,快速子系统从而产生,其可在显示装置中使用,特别是当显示设备被配置成直接观看装置,HMD或移动显示器或平板的形式。光电检测器或光电二极管也可以具有专门调整的角度依赖的方向特性,其特别地检测来自预先确定的空间区域或跟踪区域的光。同样以这种方式,不是来自扫描范围或检测范围的光的量可以减小。
根据该装置的另一改进中,该装置包括一个过滤器,其布置在所述第一摄像机的前面,并且基本上仅对于第一可见光波长和/或第二可见光波长和/或第三可见光波长和/或红外波长的光是透射的。
相关的优点已经在关于根据本发明的方法的上文中描述了。
现在将借助附图更详细地说明进一步的配置。在示意图中,
图1显示了根据本发明的测量方法的示例性实施例的流程图,
图2显示了用于执行根据本发明的示例性实施例的测量方法的装置,
图3显示了相对于照明光的光源图像的观察者的眼睛在光源图像的平面上的位置,在本示例性实施例中光源图像的平面布置为平行于可控空间光调制器的表面,
图4示出了用于执行根据本发明的测量方法的装置和观察者眼睛的平面图,以及
图5以图示法示出了三带通滤波器的透射特性。
图1以图示的方法示出了根据本发明的测量方法的示例性实施例的流程图。
在第一步骤1中,通过借助显示设备的预先确定的照明照射物体,并且通过光源图像的平面中的照明光的强度分布标记物体的第一位置。
在第二步骤2中,在摄像机的坐标系中确定物体的第一位置与第二位置的相对位置。
图2示出了根据本发明的装置3的示例性实施例。装置3包括显示设备4,摄像机5和评估单元6,显示设备包括:光源7,光的空间调制器8和光学系统9。
如果小范围的光源被扩展到了大面积,这在图2中表示为7,那么具有至少在一个方向上的聚焦作用的光学系统至少在一个方向上产生光源图像,其例如位于靠近平面13。如果7是发光面,那么在13处具有与发光面的平面波的频谱成比例的强度分布。空间调制器可以在这种情况下引入衍射增宽。
光的空间调制器8也被称为术语“空间光调制器”,或简称SLM,以及其用于给光施加空间调制。通常情况下,SLM调制光的强度。然而,调制相位的SLM也是已知的,并且另外可以想象用SLM同时调制相位和强度。
在所示的示例性实施例中,显示设备4由评估单元6通过连接件10驱动,以及该显示装置4照射物体11的照明经预先确定。在本例中,物体11是显示设备4的观察者。通过预先确定的照明,照明光12的强度分布在光源图像的平面13中产生,并且从而标记物体11的第一位置。
在一般情况下,在平面13中通过显示设备所产生的强度分布可以比图2中的要小。它可以,例如,包含观察窗,其具有10mm×10mm的尺寸,甚至仅仅直径为3mm。
使用摄像机5,记录在光源图像的平面13内的照明光12的强度分布以及使用摄像机5记录该物体的第一位置。摄像机5同样地记录物体11的第二位置,此处为观察者的眼睛瞳孔14。根据通过连接件15由摄像机5提供的数据,然后评估单元6确定摄像机5的坐标系中物体11的第一位置与第二位置的相对位置。
图3示出了观察者眼睛16和17的位置,其脸部(图3中未示出)由显示设备(图3中未示出)、特别是全息或自动立体显示设备所照明。在用显示设备照明观察者期间,该照明光的强度分布常常具有多个衍射级18-30的光源图像。图3示出了通过二维编码方法获得的并被表示为黑色的圆形区域的衍射级18-30。非衍射光源图像18被表示为第0衍射级的光源图像。包括非衍射光源图像18并一直延伸到最接近的更高衍射级的顶棚采光光源图像19-22的区域,被称为观察窗31。观察窗31被概括为图3中的椭圆。进一步远离观察窗31的光源图像可以,例如,通过可控的空间调制器的像素的余弦延伸的切趾曲线降低它们的强度,如WO2009/156191 A1中所描述的那样。如果,如图3所示,观察窗31与眼16的位置相重合,那么将其它光源图像可以被抑制到这样的程度:它们对于另一只眼睛17不再是可感知的。所以,这可以甚至在眼睛的运动的事件中完成,照明通常是连续地适应于眼睛的位置。被加以考虑的眼球运动由在图3中的四个短箭头所示。
图4示出了根据本发明的装置32的另一示例性实施例。该装置32包括一显示设备33,两个摄像机34,35和评估单元36。两个摄像机34,35相对于显示设备33的方向和定位以固定的方式通过安装被预先确定。换句话说,两个照相机34、35的坐标系被校准。
观察者所处的该装置32前面的空间通过两个摄像机34,35记录,观察者的脸部借助于摄像机图像识别。眼睛瞳孔37,38的位置在各摄像机34,35的经校准的坐标系中被确定。以这种方式,首先,针对眼瞳37,从摄像机34,35的位置延伸出并指向眼睛瞳孔37的方向的两个方向矢量39,40被获得。从跨越两个方向矢量39,40的直线的交叉点处,然后可以确定从显示设备33到眼睛瞳孔37的距离,或眼睛瞳孔37和显示设备33之间的相对位置。对第二只眼睛瞳孔37进行相同的步骤。
在装置32的运输期间,可能发生的是,照相机34,35的位置,或它们相对于显示设备33的方向被无意地改变。其坐标系因此相对于显示设备33不再是校准的。
在物体(参见图3)上产生的光源图像的距离可以由显示设备33的本地象素光栅(native pixel raster)以固定的方式预先确定,例如,作为可控空间光调制器的傅立叶变换,特别是当使用根据WO2006/066919 A1的显示设备时,或根据本发明的测量方法被应用于公开于WO2006/066919 A1中的显示设备时。对于设备32的校准,多个衍射级18-30的光源图像,即光源图像光栅,可以由相应的照相机34,35记录,以及该物体的位置可以从摄像机34,35的各坐标系中的光源图像的相对位置确定。由于光源图像相对于显示设备33的位置是已知的,该装置因此可以被重新校准。

Claims (18)

1.一种用于确定第一位置处的光强度分布相对于第二位置处的物体的相对位置的测量方法,其特征在于,
通过显示设备,特别是全息或自动立体显示设备在光源的光源图像的平面上产生照明光的强度分布,所述显示设备包含至少一个光源、空间光调制器及光学系统,在所述光源的光源图像的平面中提供物体,特别是显示设备的观察者,其中所述光源为发光面,在所述光源图像的平面中提供强度分布,所述强度分布与所述发光面的平面波频谱成比例;
预先确定照明光的强度分布以便标记第一位置;并且
通过摄像机记录第一位置以及记录第二位置处的物体,并且在所述摄像机的坐标系中确定第一位置相对于第二位置的相对位置。
2.如权利要求1所述的测量方法,其特征在于,光源图像的平面中的照明光的强度分布包括一个衍射级的光源图像。
3.如权利要求1所述的测量方法,其特征在于,第二位置是观察者的眼睛瞳孔,并且第一位置相对于观察者的眼睛瞳孔的相对位置是在摄像机的坐标系统中确定。
4.如权利要求1所述的测量方法,其特征在于,通过预先确定的照明的变化,使第一位置与观察者的脸部的预先确定的区域相重合,特别是与观察者的眼睛瞳孔相重合。
5.如权利要求1所述的测量方法,其特征在于,显示给观察者的图像的观察窗被用作光源图像的平面中的照明光的强度分布或用作光源图像。
6.如权利要求1所述的测量方法,其特征在于,该物体的第二位置是由显示设备的预先确定的照明通过第二光源图像的平面中的照明光的第二强度分布进行界定。
7.如权利要求6所述的测量方法,其特征在于,通过照明光的第一和第二强度分布,将可预先确定的图案形成在物体上,特别是在观察者的脸部,其中该图案的图像由摄像机记录,以及其中检查该图案的所记录的图像与可预先确定的图案的差异。
8.如权利要求6所述的测量方法,其特征在于,第一衍射级被用作第一光源图像以及不同的衍射级被用作第二光源图像。
9.如权利要求1所述的测量方法,其特征在于,使用经校准的物体。
10.如权利要求6所述的测量方法,其特征在于,摄像机的坐标系根据摄像机的坐标系中的第一位置相对于第二位置的相对位置来相对于显示设备的坐标系被校准。
11.如权利要求1所述的测量方法,其特征在于,摄像机被设置在相对于显示设备的预先确定的距离和/或预先确定的方向上,以及其中显示设备的坐标系中的第二位置的位置可根据摄像机的坐标系中的第一位置相对于第二位置的相对位置而确定。
12.如权利要求1所述的测量方法,其特征在于,第一光源图像和/或第二光源图像由显示设备的光学系统和由具有第一可见光波长和/或第二可见光波长和/或第三可见光波长和/或红外波长的光的可控空间光调制器的预先确定的照明产生,以及
其中摄像机和/或另外的摄像机上设有过滤器,它基本上仅仅是针对第一可见光波长和/或第二可见光的波长和/或第三可见光波长和/或红外波长的光是透射的。
13.如权利要求1所述的测量方法,其特征在于,第一位置相对于第二位置的相对位置在第二摄像机的第二坐标系中确定。
14.如权利要求4所述的测量方法,其特征在于,
通过依靠显示设备的预先确定的照明,利用在光源图像的平面上的照明光的强度分布,标记显示装置的观察者的第一位置,所述显示设备特别是全息或自动立体显示设备,
其中显示给观察者的图像的观察窗被用作光源图像的平面中的照明光的强度分布或用作光源图像,
其中第一位置相对于观察者的眼睛瞳孔的相对位置在摄像机的坐标系中确定,
其中通过预先确定的照明的变化,使第一位置与观察者的脸部的预先确定的区域相重合,特别是与观察者的眼睛瞳孔相重合。
15.一种用于执行权利要求1所述的测量方法的装置,其特征在于,所述装置包括显示设备、至少一个摄像机和用于确定摄像机的坐标系中的第一位置的位置的评估单元,所述显示设备特别是全息显示设备或自动立体显示设备。
16.如权利要求15所述的装置,其特征在于,摄像机包括CCD传感器或CMOS传感器,和/或所述摄像机是彩色摄像机。
17.如权利要求15所述的装置,其特征在于,其包括光源,其中光源图像的平面上的照明光的强度分布可以用光源和光学系统产生。
18.如权利要求15所述的装置,其特征在于,
其中所述装置包括过滤器,其中该过滤器布置在所述摄像机的前面,并且其中该过滤器基本上仅对于第一可见光波长和/或第二可见光波长和/或第三可见光波长和/或红外波长的光是透射的。
CN201280068981.2A 2011-12-02 2012-12-03 测量方法及执行该测量方法的装置 Active CN104205006B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102011055967.1 2011-12-02
DE102011055967.1A DE102011055967B4 (de) 2011-12-02 2011-12-02 Messverfahren und Vorrichtung zur Durchführung des Messverfahrens
PCT/EP2012/074289 WO2013079727A1 (de) 2011-12-02 2012-12-03 Messverfahren und vorrichtung zur durchführung des messverfahrens

Publications (2)

Publication Number Publication Date
CN104205006A CN104205006A (zh) 2014-12-10
CN104205006B true CN104205006B (zh) 2018-04-06

Family

ID=47520897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280068981.2A Active CN104205006B (zh) 2011-12-02 2012-12-03 测量方法及执行该测量方法的装置

Country Status (5)

Country Link
US (1) US11675426B2 (zh)
CN (1) CN104205006B (zh)
DE (1) DE102011055967B4 (zh)
TW (1) TWI588441B (zh)
WO (1) WO2013079727A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10775878B2 (en) * 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US10564429B2 (en) * 2018-02-01 2020-02-18 Varjo Technologies Oy Gaze-tracking system using illuminators emitting different wavelengths

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0821908A1 (en) * 1996-08-01 1998-02-04 Sharp Kabushiki Kaisha Eye detection system
CN101088053A (zh) * 2004-12-23 2007-12-12 视瑞尔技术公司 一种计算全息图的方法
DE102007030378A1 (de) * 2007-06-29 2009-01-02 Spatial View Gmbh Dresden System zur Bestimmung der Lage eines Kamerasystems
EP2236074A1 (en) * 2009-04-01 2010-10-06 Tobii Technology AB Visual display with illuminators for gaze tracking
CN101945612A (zh) * 2008-02-14 2011-01-12 诺基亚公司 用于确定注视方向的设备和方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
EP0961506B1 (en) * 1998-05-20 2003-03-26 Texas Instruments France Autostereoscopic display
DE19953835C1 (de) * 1999-10-30 2001-05-23 Hertz Inst Heinrich Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US7809160B2 (en) * 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
WO2008025839A1 (de) * 2006-09-01 2008-03-06 Seereal Technologies S.A. Verfahren zum generieren von videohologrammen in echtzeit mittels subhologrammen
DE102007010807B4 (de) * 2007-03-02 2012-11-15 B.R. Deutschland, vertr. d. d. Bundesministerium f. Wirtschaft u.Technologie, dieses vertr. d. d. Präs. d. Phys.-Techn. Bundesanstalt Verfahren und Vorrichtung zur Vermessung der Topografie einer Oberfläche eines Messobjekts
EP2519014B1 (en) * 2008-04-22 2014-05-14 Ehn Spire Limited Liability Company Position-permissive autostereoscopic display systems and methods
DE102008002692B4 (de) 2008-06-26 2019-02-21 Seereal Technologies S.A. Displayeinrichtung zur dreidimensionalen holographischen oder stereoskopischen Darstellung räumlicher Objekte und Verfahren zum Ermitteln einer Apodisationsfunktion für eine Apodisationsmaske
CN102483605B (zh) 2009-06-23 2015-09-30 视瑞尔技术公司 用于显示二和/或三维图像内容的显示器的光调制器装置
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0821908A1 (en) * 1996-08-01 1998-02-04 Sharp Kabushiki Kaisha Eye detection system
CN101088053A (zh) * 2004-12-23 2007-12-12 视瑞尔技术公司 一种计算全息图的方法
DE102007030378A1 (de) * 2007-06-29 2009-01-02 Spatial View Gmbh Dresden System zur Bestimmung der Lage eines Kamerasystems
CN101945612A (zh) * 2008-02-14 2011-01-12 诺基亚公司 用于确定注视方向的设备和方法
EP2236074A1 (en) * 2009-04-01 2010-10-06 Tobii Technology AB Visual display with illuminators for gaze tracking

Also Published As

Publication number Publication date
US11675426B2 (en) 2023-06-13
DE102011055967A1 (de) 2013-06-06
TWI588441B (zh) 2017-06-21
DE102011055967B4 (de) 2016-03-10
CN104205006A (zh) 2014-12-10
TW201329416A (zh) 2013-07-16
WO2013079727A1 (de) 2013-06-06
US20140327612A1 (en) 2014-11-06

Similar Documents

Publication Publication Date Title
US11025897B2 (en) Method and system for tracking eye movement in conjunction with a light scanning projector
CN109459849A (zh) 用于深度感测的非机械光束转向
CN110050235A (zh) 全息投影仪
US20140307100A1 (en) Orthographic image capture system
CN104221059B (zh) 基于衍射感测镜子位置
CN100592029C (zh) 测距设备
TWI513273B (zh) 掃描投影機及用於3d映射之影像擷取模組
EP0580354B1 (en) Stereoscopic display apparatus and method
US20140168424A1 (en) Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
JP6161714B2 (ja) 3次元の物体の直線寸法を制御する方法
CN109425305A (zh) 使用多个脉冲式结构光投影仪的深度测量
EP3616595B1 (en) Medical observation device such as a microscope or an endoscope, and method for displaying medical images
US20230069179A1 (en) Active stereo matching for depth applications
CN109426818B (zh) 用于识别视线外对象的装置
US10728518B2 (en) Movement detection in low light environments
US20170024890A1 (en) Apparatus and method for measuring quality of holographic image
CN103486979A (zh) 混合系统
US9354606B1 (en) Systems and methodologies related to generating projectable data for 3-D viewing
CN104205006B (zh) 测量方法及执行该测量方法的装置
CN110300976A (zh) 眼睛注视跟踪
WO2021242338A1 (en) Systems and methods for providing mixed-reality experiences under low light conditions
KR20170052297A (ko) 디스플레이 패널 외관 검사 장치 및 그 검사 방법
US20070210985A1 (en) Three dimensional imaging system
EP4325433A1 (en) Augmented reality device and method for acquiring depth map using depth sensor
KR20110033350A (ko) 모션캡쳐 홀로그램 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Parr street Luxemburg Mons bigch City princi

Applicant after: Seereal Technologies GmbH

Address before: The Grand Duchy of Luxemburg, Mons bigch

Applicant before: Seereal Technologies GmbH

GR01 Patent grant
GR01 Patent grant