CN105592310B - 用于投影仪校准的方法和系统 - Google Patents
用于投影仪校准的方法和系统 Download PDFInfo
- Publication number
- CN105592310B CN105592310B CN201510677502.2A CN201510677502A CN105592310B CN 105592310 B CN105592310 B CN 105592310B CN 201510677502 A CN201510677502 A CN 201510677502A CN 105592310 B CN105592310 B CN 105592310B
- Authority
- CN
- China
- Prior art keywords
- image
- projector
- pattern
- laser
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000010191 image analysis Methods 0.000 claims description 5
- 238000000105 evaporative light scattering detection Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 13
- 238000012986 modification Methods 0.000 abstract description 4
- 230000004048 modification Effects 0.000 abstract description 4
- 230000008859 change Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000010561 standard procedure Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2504—Calibration devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及用于投影仪校准的方法和系统。所述方法包括将测试图案投影到场景或场景内的物体上并且使用相机捕获测试图案。一旦相机已捕获到测试图案图像，方法还包括通过处理元件估计透视投影矩阵，基于非线性失真函数曲解所估计的投影矩阵，以及修改投影仪以基于失真函数投影光。本公开还涉及包括用于投影具有叠覆在第一图像上的第二图像的输出呈现的两种类型的投影仪的呈现或投影系统。
Description
技术领域
本文所描述的技术一般涉及用于校准一个或多个投影仪的方法和系统。
背景技术
图像投影仪可以用于将图像投影到诸如屏幕或其它表面之类的投影表面上。在一些应用中，视频投影仪可以用于增强、补充（compliment）或以其它方式扩增表面上的物体以创建动态且令人愉悦的用户体验，诸如像游乐园魅力。例如，可以在表面上投影与表面上的真实物体虚拟“交互”的角色或物体。
常规视频投影仪具有数个限制。特别地，常规视频投影仪具有有限的色域和亮度。由于这些限制，仅使用常规视频投影仪的呈现可能看起来枯燥和单调。另外，在其中存在环境照明的情形中，结果得到的图像可能看起来被冲掉并且不真实。相反，诸如激光扫描投影仪之类的激光投影仪具有相比于常规视频投影仪的增加的亮度和色域。特别地，激光投影仪可以投影纯饱和的、即单色的红色、绿色和蓝色色调，这允许比常规视频投影仪明显更宽的色域。
然而，用于激光投影仪的已知校准技术要求大量用户交互、是时间密集的，并且通常并不非常精确。这样，存在对于可以用于更精确且自动地校准激光投影仪的技术的需要。
在说明书的该背景技术章节中包括的信息（包括本文引述的任何参考文献及其任何描述或讨论）仅仅为了技术参考的目的而被包括并且不被视为如权利要求中所限定的本发明的范围通过其定界的主题。
发明内容
本公开的一个示例涉及一种校准具有非均匀失真特性的投影仪的方法。该方法包括通过处理元件接收投影到投影表面上的校准图案的第一校准图像，由处理元件通过分析第一校准图像和校准图案生成透视投影矩阵，以及由处理元件通过分析第一校准图像确定非线性映射函数。
本公开的另一示例包括一种用于校准诸如激光投影仪或具有非均匀失真特性的其它投影仪之类的投影仪的系统。该系统包括将第一校准图案投影到投影表面上的投影仪、捕获投影到投影表面上的第一校准图案的第一校准图像的相机以及与相机通信的计算设备。计算设备基于第一校准图像生成透视投影矩阵并且通过分析第一校准图像和第一校准图案确定用于投影仪的失真映射，失真映射确定存在于投影仪内的非线性失真，其未通过透视投影矩阵精确近似。
本公开的又一示例包括具有通过使用非线性映射技术校准的激光投影仪和视频投影仪的投影系统。通过使用该系统，视频投影仪将第一图像投影到投影表面上并且激光投影仪将第二图像投影到投影表面上。第二图像在投影表面上叠覆第一图像并且提供用于第一图像的至少一个部分的扩增和/或强调（accent）。
提供本发明内容来以简化的形式引入以下在具体实施方式中进一步描述的概念的选择。本发明内容不意图标识所要求保护的主题的关键特征或必要特征，也不意图用于限制所要求保护的主题的范围。在本发明的各种实施例的以下书面描述中提供如权利要求中所限定的本发明的特征、细节、实用性和优点的较为广泛的呈现并且将其图示在附图中。
附图说明
本专利或申请文件包含以颜色绘制的至少一幅图。在请求和支付必要费用后将由官方提供具有（多个）彩色图的本专利或专利申请公开的副本。
图1是本公开的投影校准系统的等距视图。
图2是图1的校准系统的框图。
图3是图1中的系统的激光投影仪110的框图。
图4A-4I图示了用于使用在校准图1的投影系统中的校准图案的各种示例。
图5是图示了校准激光投影仪的方法的流程图。
图6是如投影到投影表面上的校准图案的示例校准图像。
图7是图示了用于创建用于校准激光投影仪的失真映射的方法的流程图。
图8A是使用图7中的方法创建的失真映射的示例。
图8B是在图1的投影仪的校准之前和之后的校准测试图案元素的示例。
图9是使用经校准的激光投影仪的示例性投影系统的等距视图。
图10是图示了使用图9的系统投影图像的方法的流程图。
图11A是在强调投影到场景图像上的图像之前的背景或场景图像的放大图像。
图11B是具有叠覆在其顶部之上的强调图像的图11A的场景图像的放大图像。
说明书
概述
本公开一般涉及校准展现出非均匀失真特性的投影仪，诸如激光投影仪、具有鱼眼透镜、椭球体或其它变化形状透镜的投影仪。方法还涉及单独或与一个或多个激光器或其它类型的投影仪组合地在一个或多个呈现中使用经校准的投影仪（在一个示例中为激光投影仪）。本文所公开的实施例一般适用于任何类型的投影仪，包括具有传统透镜投影系统的那些。然而，如以下所详述的，校准方法在与具有带有非典型、非均匀或非预期失真性质的光学组件的投影仪或投影仪系统一起使用时可以特别有用。如本文所使用的术语“激光投影仪”意指基本上任何类型的相干光投影部件，诸如但不限于验电器激光扫描投影仪。术语“具有非均匀失真特性的投影仪”可以是指具有带有极端和/或非均匀失真的投影光学器件的投影仪，诸如具有劣质透镜光学器件的投影仪、激光投影仪、具有光路中的镜子的投影系统或者使用鱼眼或其它广视场投影透镜的投影仪（例如图像最大化（IMAX）投影仪）。要指出的是，当如本文所描述的校准技术与常规基于透镜的投影仪一起使用时，一些步骤可能不是必要的以便精确地校准投影仪或投影系统。如本文所使用的术语“视频投影仪”意指基本上任何类型的基于透镜的二维光栅投影部件，诸如数字光处理投影仪、液晶显示投影仪等等。
校准方法包括创建校准图案，将一个或多个校准图案投影到投影表面上，利用一个或多个相机捕获（多个）校准图案的至少一个校准图像，以及使用所捕获的校准图像以创建将输入图像转换成输出图像的失真映射。在一些实施例中，可以投影两个或更多校准图案并且可以捕获两个或更多校准图像。
用于校准方法的校准或测试图案可以是包括诸如点、线、线段、形状、色调变化或其它类型的图案之类的元素阵列的基本上任何类型的结构化光图案，其可以是随机的或有序的、重复的或非重复的。在一些示例中，校准图案可以表示二进制编码序列，其中图案内的每一个元素（例如点、线等）可以唯一可标识。在一些实施例中，可以按序列单独投影多个校准图案，其提供从每一个图案检测的附加数据点。如以下将讨论的，这允许校准图案的每一个元素用于确定投影表面上的校准图案的相应元素的物理位置。
一旦已经创建或选择了校准图案，向投影仪提供投影到投影表面上的校准图案。投影表面可以是屏幕、物体和/或基本上任何类型的表面。当投影校准图案时，两个或更多相机或单个三维相机捕获投影表面上的校准图案的校准图像。在一些实施例中，激光投影仪将校准图案投影在激光投影仪的虚拟图像平面上的特定或已知二维（2D）位置处。例如，已知2D位置可以是用于投影来自激光投影仪的光的原始输入坐标。此外，如以上所描述的，两个或更多校准图案可以以预确定的序列投影并且每一个校准图案的图像在其被投影时可以被捕获。
通过使用处理器或其它计算元件，所捕获的校准图像和已知2D位置可以用于确定用于激光投影仪的测试图案元素的2D坐标。然而，处理器分析用于校准图案的测试图案元素的标识符以确定每一个元素在投影表面上的三维（3D）投影位置。例如，处理器可以基于所投影的校准图像内的元素位置以及已知相机位置和取向三角测量用于每一个元素的3D投影位置。然而，可以使用确定测试图案元素的3D位置的其它方法，诸如使用3D立体相机或能够进行深度测量的其它成像设备，在这些实例中可能仅要求单个相机，而三角测量投影位置可能要求两个相机。
一旦已经确定图案元件的实际3D位置，可以创建透视投影矩阵。例如，处理器可以通过假定激光投影仪的投影特性由用于针孔设备的针孔近似表示来创建透视投影矩阵。也就是说，处理器可以假定激光投影仪具有与具有光学透镜系统的常规投影仪类似的投影特性。以此方式创建的透视投影矩阵典型地不如所期望的那样精确，因为激光扫描投影仪由于镜组件而不是透镜组件的使用而不表现为针孔设备并且因此不类似于完美的针孔设备。因此，透视投影矩阵不精确地表示图案元素的位置。
为了改进精度，可以在应用所估计的透视投影矩阵之后执行附加的非线性2D映射以更加精确地匹配每一个图案元素的3D位置的变换。在一个实施例中，内插方法用于创建用于每一个所检测的图案元素之间的点的密集查找表。因此，激光投影仪在其虚拟图像平面上的点处展现出的失真可以被顾及到并且量化，这允许激光投影仪的校准。也就是说，可以使用与附加非线性2D映射组合的矩阵变换来转换或修改输入图像以提供输出图像，其中输出图像将投影成使得每一个像素被投影到投影表面上的期望位置上。
由于激光投影仪可以被精确地校准从而允许输入图像投影在期望的位置处，因此激光投影仪可以用于要求高度精确的投影的呈现。例如，激光投影仪可以用于在视频投影仪的图像的顶部上或者在与其相同的位置上投影强调图像。在该示例中，激光投影仪可以被校准使得所投影的输入图像的特定元素将匹配由视频投影仪投影的对应或补充图像内容。作为另一示例，激光投影仪可以用于将图像投影到3D物体或表面上并且图像的每一个点可以显示在期望的位置上。
在一个实施例中，包括经校准的激光投影仪和一个或多个视频投影仪的系统可以一起用于提供呈现、输出、娱乐特征、游乐园魅力等等。特别地，激光投影仪的增强的亮度和颜色饱和可以用于显示高频特征、强调细节，或者以其它方式将视频投影仪呈现扩增到一个或多个投影表面上。作为示例，如果由常规视频投影仪投影的物体应当具有闪烁或闪耀品质，诸如下雪场景或闪烁的钻石，激光投影仪可以用于投影叠覆有所投影的视频物体的亮得多的图像特征。在该示例中，激光投影的特征可以增强图像数据，创建“闪烁”或其它明亮输出，导致针对诸如游乐园客人之类的用户的更加现实和有趣的呈现。由于校准，由视频投影仪投影的图像和由激光投影投影的图像可以基本上对准以创建期望的美学效果。
在一些实施例中，系统可以显示来自投影仪的期望图像内容，连同可以伴随或者同步到呈现的任何其它的视觉或音频效果，诸如附加的场景照明、特殊效果声音和/或角色对话。
具体实施方式
现在转向各图，现在将更加详细地讨论本公开的校准方法和系统。图1是校准系统10的透视图。图2是校准系统10的简化框图。参照图1和2，校准系统10可以包括一个或多个激光投影仪110、投影表面161、一个或多个相机120a, 120b、以及一个或多个计算机130。一个或多个激光投影仪110、相机120a, 120b、以及计算机130可以全部与彼此电气通信和/或包括在每一个设备之间共享和输送信息的能力。以下将按顺序讨论每一个部件。
投影表面161可以是基本上任何类型的不透明表面或物体。例如，投影表面161可以是平坦的、非平面的或变化的并且可以包括一个或多个纹理或表面变化和/或颜色。在一些实例中，投影表面161可以包括相对于彼此在不同深度或位置处的多个表面。投影表面161的类型和结构可以如所期望的那样变化。
相机120a和120b可以是能够捕获静止或视频图像的基本上任何设备，例如电荷耦合设备相机或互补金属氧化物半导体（CMOS）图像传感器相机。统称为相机系统120的相机120a, 120b可以能够捕获全色图像和/或单色图像，并且可以使用任何类型的滤波器，诸如一个或多个滤色器。在一个实施例中，相机120a, 120b被配置成捕获激光投影仪110的基本上整个动态范围而没有严重的剪裁。每一个相机120a, 120b配准或以其它方式放置在以其环境的已知位置处，使得每一个相机120a, 120b相对于投影表面161的特定取向和位置。
在一些实施例中，使用两个或更多相机120a, 120b。在这些实施例中，相机120a和120b以预确定的分离距离SD（即已知分离距离）从彼此物理偏移。除了分离距离SD之外，相机120a, 120b相对于彼此的取向同样可以是已知或预确定的。例如，相机120a, 120b的取向可以手动或者利用标准方法确定。要指出的是，虽然示出两个相机120a, 120b，但是在其它实施例中，可以使用多于两个相机，或者两个相机120a, 120b可以被诸如3D相机、立体或深度感测相机系统之类的单个相机取代。
继续参照图1和2，校准系统10还包括计算机130。计算机130分析来自投影仪110和相机120二者的数据，并且还可以可选地控制任一设备的一个或多个功能。在图1的示例中，仅示出一个计算机130；然而，在其它实施例中，可以使用多于一个计算机。计算机130可以包括一个或多个处理元件301、电源302、显示器303、一个或多个存储器部件304以及输入/输出（I/O）接口305。计算机130的每一个元件可以经由一个或多个系统总线、无线地通信等。
处理元件301可以是能够处理、接收和/或发送指令的基本上任何类型的电子设备。例如，处理元件301可以是微处理器或微控制器。此外，应当指出的是，计算机130的选择部件可以由第一处理器控制，并且其它部件可以由第二处理器控制，其中第一和第二处理器可以或者可以不与彼此通信。
存储器304存储由计算机130使用的电子数据以存储用于处理元件301的指令，以及存储用于校准系统10的呈现和/或校准数据。例如，存储器304可以存储对应于各种应用的数据或内容，诸如但不限于音频文件、视频文件等等。存储器304可以是例如磁光存储装置、只读存储器、随机存取存储器、可擦除可编程存储器、闪速存储器或一个或多个类型的存储器部件的组合。
电源302向计算机130的部件提供电力并且可以是电池、电源线或配置成向激光投影仪10的部件传输电力的其它元件。
显示器303向用户提供视觉反馈，并且可选地可以充当使得用户能够控制、操纵和校准校准系统10的各种部件的输入元件。显示器303可以是任何合适的显示器，诸如液晶显示器、等离子体显示器、有机发光二极管显示器和/或阴极射线管显示器。在其中显示器303用作输入的实施例中，显示器可以包括一个或多个触摸或输入传感器，诸如电容触摸传感器、电阻网格等。
I/O接口305提供去往和来自激光投影仪110、相机120和计算机130以及其它设备（例如其它计算机、辅助场景照明、扬声器等）的通信。I/O接口305可以包括一个或多个输入按钮、通信接口（诸如WiFi、以太网等）、以及其它通信部件（诸如通用串行总线（USB）线缆等）。
可选地，计算机130可以具有传感器306。传感器306包括能够感测特性或参数中的改变并且产生电信号的基本上任何设备。传感器306可以与相机120a, 120b结合使用，或者代替相机120a, 120b使用，或者可以用于感测诸如围绕投影表面161的环境照明之类的其它参数。计算机130的传感器306和显示器303可以如所期望的那样变化以满足特定应用的需要。
现在将更加详细地讨论校准系统10的激光投影仪110。图3是激光投影仪110的简化框图。参照图1和3，激光投影仪110用于将光图案、图像等投影到场景160的投影表面161上。激光投影仪110可以是基本上任何类型的相干光和/或非基于透镜的投影部件。应当指出的是，尽管关于激光投影仪讨论本文所讨论的实施例，但是校准方法和系统可以与展现出非均匀失真特性的基本上任何类型的投影仪（诸如像鱼眼透镜投影仪、椭球体投影仪等）一起使用，并且如此，任何特定实施例的讨论仅仅意指作为说明。
在一些实施例中，激光投影仪110可以投射红色、绿色和/或蓝色相干光。在其它实施例中，如所必要的，激光投影仪110可以投射基本上任何其它颜色或频率的光，包括可见或不可见光（例如紫外、红外和其它光）。激光投影仪110可以是验电器扫描激光投影仪等等。激光投影仪110可以包括镜组件201、激光源202、一个或多个处理元件203、一个或多个存储器部件204、I/O接口205和电源206。在一些实施例中，计算机130可以提供用于投影仪110的一些或全部处理和存储功能，并且在这些实施例中，可以省略投影仪110的一个或多个特征。
镜组件201将激光源202发射的光引导到投影表面161上。在一些实施例中，镜组件201可以包括连接到验电器、伺服器或其它运动诱导元件的两个或更多镜子。在一个实施例中，镜组件201的镜子可以相对于彼此正交取向，使得一个镜子绕第一轴旋转并且另一个镜子绕与第一轴正交的第二轴旋转。运动诱导元件基于对投影仪110的输入而移动镜子以改变从投影仪110发射的光的输出和位置。
一个或多个处理元件203从存储器部件204或I/O接口205接收输入图像数据。处理元件203可以基本上类似于处理元件112，并且可以是能够处理、接收和/或发送指令的任何电子设备。例如，处理元件203可以是微处理器或微控制器。
存储器204存储被激光投影仪110和/或计算机130使用的电子数据，并且可以是易失性或非易失性存储器。存储器204可以基本上类似于存储器114，但是在许多实施例中可以要求比其它部件更少的存储装置。
电源206向激光投影仪的部件提供电力。电源206可以是电池、电源线或配置成向激光投影仪的部件传输电力的其它元件。
激光源202可以是一个或多个固态激光源，诸如激光二极管，或者可以是气体激光源和/或其它类型的相干光。
I/O接口205提供去往和来自激光投影仪110和计算机130以及其它设备的通信。I/O接口205可以包括一个或多个输入按钮、通信接口（诸如WiFi、以太网等），以及其它通信部件（诸如通用串行总线（USB）线缆等）。
再次参照图1，校准系统10用于校准激光投影仪110。作为校准过程的部分，激光投影仪110将校准图案150投影到场景160上。图4A-4I图示了校准图案150的各种示例。参照图4A-4I，校准图案150是具有若干图案元素151的预定义的、结构化的光布置。例如，校准图案150可以包括具有基本上恒定的性质或在规定的值范围内变化的性质的一个或多个团块或区。在一些示例中，每一个图案元素151或团块中的点可以在至少一个特性中类似于彼此。校准图案150可以以这样的方式构造使得每一个图案元素151的位置可以提供标识信息。例如，每一个图案元素151可以包括可以被明显显示和/或隐含推导的与其相关联的标识符。
在一些实施例中，图案元素151可以是激光点或其它形状的阵列。在其它实施例中，图案元素151可以以圆形、加号、方形的形状或其它合适几何形状。另外，图案元素151还可以包括在颜色、色调、强度、偏振或浓淡中的局部化或结构化改变或变化，其中这些特性可以提供被追踪的附加数据点或者可以形成图案元素自身。在一个实施例中，校准图案150可以包含成行和成列布置为图案元素151的64x64激光点的阵列。应当指出的是，图案元素151可以采取如所期望的基本上任何形状或大小。如以下将更加详细讨论的，在一些实施例中，图案150中的每一个图案元素可以以通过二进制接通/关断发生的系列唯一地标识每一个元素151的时间二进制编码序列来投影。就是说，校准图案150可以形成到允许每一个元素151被检测和提取并且其在图案内的位置可以被获得的任何结构化光图案形状和布局中。
继续参照图4A-4I，校准图案150可以包括布置在一个或多个取向、布置或图案中的多个激光点测试图案元素151。在一些实施例中，图案元素151可以均匀地分布在行和/或列中，并且在其它实施例中，图案元素151可以以非均匀但结构化的方式分布。例如，参照图4A，元素151布置在行和列中，其中每一个元素151与每一个相邻元素151等距。作为另一示例，参照图4B，元素151分离成彼此间隔开的两个相等的区段。在该示例中，区段内的元素151相对于该区段内的其它元素相等间隔。如图4A-4I中所示出的，可以使用具有用于元素151的布置的不同特性或特征的其它图案。
图案150内的图案元素151的数目可以基于校准的期望精度而变化。特别地，当元素151的数目增加时，精度同样可以增加。另外，图案150内的每一个元素151之间的分离或距离还可以改进校准的灵敏度并且因此改进精度。例如，在其中投影表面161可以具有动态几何结构的实例中，图案元素之间的分离可以减小和/或可以添加附加的图案元素151。通过减小相应图案元素151之间的分离，更多图案元素151可以投影到投影表面161的相同表面区域上。换言之，通过增加投影到特定区域的元素151的数目，更多元素151可能定位在投影表面161的刻面（facet）上，这可以允许检测更多的元素151。
校准图案150可以基于与场景160、投影仪110的所期望的校准精度等等相关联的各种特性来选择。这样，任何特定实施例的讨论仅仅意味着是说明性的。
现在将更加详细地讨论校准系统10的操作和用于校准投影仪系统的方法。图5是图示了用于校准激光投影仪110的方法的流程图。参照图5，方法500可以以操作501开始。在操作501中，激光投影仪110将校准图案150投影到投影表面161上。在一个实施例中，图案元素151被单独或以时间二进制编码序列成组地投影。例如，在一个实施例中，每一个元素151可以通过接通/关断发生的系列来标识，在其它实施例中，图案元素151可以基本上同时投影。
在一些实施例中，可以投影包含图案元素151的子集的校准图案150的部分，而随后投影具有其它图案元素151的组的总体校准图案150的其余部分。在再其它的实施例中，可以投影具有图案元素151的第一集合的校准图案150，随后是具有图案元素151的第二集合的另一校准图案150，其可以与第一校准图案150相同或不同。具有第二组图案元素151的第二校准图案150可以被选择或选取以帮助进一步精炼投影表面161的特征。另外，第二校准图案150可以基于由相机120a, 120b提供的图像反馈来选择。也就是说，投影仪或投影系统的校准可以是以自适应的方式基于多于一个校准图案150的投影。
如以上参照图4A-4I所描述的，校准图案150的配置可以如所期望的那样变化，并且在一些实施例中可以定制成场景160的几何结构或其它特性，包括投影表面161的表面和构形。换言之，图案150内的元素151的布置的选择和图案150的投影序列可以基于所期望的投影表面161而确定。
当在操作501中将校准图案150投影到场景上时，方法进行到操作502。在操作502中，相机120a, 120b捕获所投影的校准图案150的校准图像。如以上所讨论的，场景160内的相机120a, 120b的几何位置是已知的，即相机120a, 120b相对于彼此和其它物体的位置和取向是已知的。相机120a, 120b可以在使用之前调节使得相机快门能够捕获图案元素151而不使图像传感器感光器过饱和。该调节可以自动或由用户手动（例如通过调节曝光设置）完成。
通过使用相机120a, 120b，捕获一个或多个校准图像。图6图示了校准图像。参照图6，校准图像208可以是照片、数字图像等，其捕获如投影到投影表面161上的图案150。在图6中所示的示例中，图4A的校准图案150被投影到表面161上并且被捕获。而且，如图6中所示，校准图案150的图案元素151在校准图像208中示出，并且如以下将更加详细地解释的，其可以分离地标识。在许多实施例中，每一个相机120a, 120b捕获校准图像208并且由于相机120a, 120b相对于场景160的各种位置和分离距离SD，由每一个相机120a, 120b捕获的每一个校准图像208可以对应于从不同视角投影到投影表面161上的校准图案150。
在一些实施例中，可以以预确定的序列投影多个校准图案并且可以捕获针对每一个校准图案的一个或多个校准图像208。通过使用多个图案，处理元件可以能够更容易地确定激光投影仪的失真，如以下将更加详细讨论的那样。
再次参照图5，一旦已经捕获到校准图像208，方法500进行到操作503。在操作503中，向计算机130提供校准图像208，并且处理元件301分析校准图像208。特别地，处理元件301分析校准图像208以检测每一个图像208中的图案元素151。处理元件301使用诸如团块检测算法或可以检测图案元素151的位置的其它算法之类的图像分析算法检测图案元素151的位置。
用于检测图案元素151的图像分析算法可以基于图案元素151的特性选择。例如，如果图案元素151是点或团块，处理元件301可以使用团块检测算法。作为一个示例，团块检测算法可以包括从图像减去背景和对图像限阈以便掩蔽所怀疑的团块或特征位置的步骤。算法然后可以分析每一个所掩蔽的区以计算该团块的重心。在以下更加详细讨论的本公开的一个示例性实施例中，当处理元件301被配置成使用团块检测算法来检测图案元素151时，处理元件301可以分析和比较针对每一个所检测的团块的重心相对于针对其它团块的重心的位置以便确定2D图像平面内的团块的坐标。
在其它实施例中，如果图案元素151被选择成线或线段，可以使用线中心检测算法。用于检测图案元素151的其它算法也可以或可替换地包括特征检测、边缘检测、顺序二进制编码团块、二进制编码水平和/或竖直线、利用长曝光的格雷码、颜色编码图案、强度编码图案、更复杂的图案元素特征等。取决于图案元素151的形状，一些算法可以比其它算法更精确，而其它算法可能要求更少的处理能力。
返回图5，一旦测试图案已经由相机系统120捕获并且由计算机130处理，方法500进行到操作503。例如，图像分析算法可以回顾校准图像208以检测在诸如但不限于亮度、颜色或色调之类的一个或多个性质方面与周围区相比不同的区。在该示例中，所捕获的图案元素151将更亮并且可以具有与图案150的周围区域不同的颜色，并且因此允许处理元件112检测其位置。
在一个示例中，处理元件112可以分析所捕获的图像208以确定每一个图案元素151的中心在相应相机120a, 120b的2D图像平面中的位置。也就是说，每一个图案元素151的2D坐标可以通过使用每一个元素151的可检测特征来确定。在一个示例中，团块检测算法可以用于提供针对图案元素151的中心位置的子像素精度。然而，如以上所讨论的，也可以使用其它算法。
参照图1和5，在操作503期间，计算机103的处理元件112确定通过两个相机120a,120b可见的图案元素151。例如，处理元件112可以分析第一相机120a的校准图像208以匹配与特定图案元素151相关联的唯一标识符（例如由于其位置、亮度、序列中的位置、颜色或其它特性）并且确定具有相同标识符的元素151是否在第二相机120b的校准图像208中。
应当指出的是，取决于每一个相机120a, 120b的位置和投影表面161的配置，通过两个相机120a, 120b可见的图案元素151的数目可以是校准图案150中的图案元素151的总数目的子集。也就是说，由于涉及相机定位的阻挡、投影仪定位或投影表面161的特定表面特征，一些图案元素151可以出现在仅一个校准图像中或者在两个校准图像208中都不出现。
如以上简短讨论的，尽管两个相机120a, 120b用于捕获校准图像208，但是在其它实施例中，可以使用附加的相机。可替换地或此外，可以使用能够进行深度感知的一个或多个相机，诸如3D立体相机、KINECT-型深度相机、3D相机或任何其它类型的主动或被动深度检测相机（诸如基于飞行时间的3D相机或红外3D相机）。
一旦已经在校准图像208中检测到图案元素151，方法可以进行到操作504。在操作504中，处理元件112或可选地用户确定是否已经检测到充足数目的图案元素151。所检测到的元素151的充足数目可以取决于校准的期望精度。特别地，所检测到的元素151的数目是否足以精确地表示激光投影仪110的虚拟图像平面以及提供充分追踪投影表面161的几何结构的足够精度。
在操作504中，可以基于例如所检测到的图案元素151的最小阈值来确定所检测到的元素151的充足数目。可替换地或此外，操作504中的确定可以基于校准图像208中的空区域或被阻挡区域的量。
如果在操作504中，所检测到的元素151的数目不足，方法可以返回到操作501并且投影校准图案150。校准图案150可以与原始投影的或新近选择的校准图案150相同。例如，所投影的校准图案150可以被选择成更好地消除空和/或被阻挡区域。如果在操作504中，所检测到的元素151的数目是充足的，方法500可以进行到操作505。
在操作505中，处理元件112确定场景160内的测试图案元素151的3D位置。通过使用对至少两个相机120a, 120b（或至少一个深度感知相机）可见的图案元素151，投影表面161上的那些测试图案元素151的位置可以通过使用三角测量或另一位置算法来确定。例如，在其中使用两个相机的实施例中，两个相机120a, 120b之间的分离距离SD连同校准图像208的图案元素151的所感知的位置中的改变（例如视差），处理元件112确定所投影的图案元素151与每一个相机120a, 120b的距离。利用已知的每一个相机120a, 120b的位置和所投影的图案元素151的位置，可以确定图案元素151的3D位置在投影表面161和/或162上的撞击位置。
一旦已经确定图案元素151的至少一个子集的3D位置，方法进行到操作506。在操作506中，处理元件112估计透视投影矩阵。在一个示例中，透视投影矩阵可以通过假定激光投影仪110的投影近似针孔设备来创建。当激光投影仪110不是针孔设备并且不具有近似针孔设备的透镜系统时，在该操作506中估计的透视投影矩阵可能需要被进一步校正，但是提供用于激光投影仪110的初始校准。
为了创建透视投影矩阵，诸如校准图案150的预定义的和/或预选的结构和图案150内的每一个元素151的所检测到的投影位置之类的已知输入用于映射3D投影图案。特别地，每一个图案元素151在激光投影仪110的虚拟图像平面上的2D位置映射到投影表面161上的3D投影位置。换言之，2D到3D对应性被建立并且被用于使用诸如直接线性变换之类的标准方法生成透视投影矩阵。创建透视投影矩阵的示例可以在R.I. Hartley和A.Zisserman的书“Multiple View Geometry in Computer Vision”第二版（其通过引用以其整体被并入在本文）中找到。
一旦已经在操作506中确定了所估计的透视投影矩阵，方法进行到操作507。在操作507中，创建用于激光投影仪110的诸如查找表之类的失真映射。如以上所讨论的，由于激光投影仪110的镜组件201，由激光投影仪110展现出的失真一般将不精确地遵从可以应用于计及基于透镜的成像系统的非线性的基于针孔设备的标准透镜失真模型（例如径向失真模型）。特别地，该近似计及具有光学投影透镜的视频投影仪的失真。因此，在操作506中估计的透视投影矩阵（基于标准透镜失真模型）未顾及到激光投影仪110和所估计的透视投影矩阵的完整失真性质，并且由激光投影仪110投影到场景160中的图案元素的实际位置将误对准。取决于针对激光投影仪110所要求的期望精度，透视投影矩阵可以是充足的。然而，在许多实例中，可能要求更精确的校准并且因此可以创建在一些实施例中可以为查找表的失真映射。
在操作507中，在操作506中生成的透视投影矩阵可以用作激光投影仪110生成失真映射的失真的初始估计。图7是图示操作507的流程图。参照图7，操作507可以以过程701开始。在过程701中，处理元件301将所估计的投影矩阵与所捕获的校准图像208比较以确定图案元素151的所估计的位置与图案元素151的实际位置之间的偏差。作为示例，如果激光投影仪110将图案元素151投影在虚拟图像平面上的坐标（1,1）处，由于镜组件201（和投影仪的其它固有特征）所致的失真可以导致图案元素151在（1.5,.5）的“实际”或“感知”坐标处撞击在投影表面161上。在操作701中，可以确定所估计的透视投影矩阵（即图案元素151的所估计的投影位置）与图案元素151的实际投影位置之间的偏差。过程701可以针对每一个所检测到的图案元素151执行。
一旦已经将透视投影矩阵与所捕获的（多个）校准图像208比较，操作507可以进行到过程702。在过程702中，处理器元件301计算将所估计的投影矩阵中的每一个所检测到的图案元素151映射到激光投影仪110的虚拟图像平面的意图投影位置上所要求的曲解（warping）。也就是，需要应用到输入图像使得图案元素151在期望的位置处撞击投影表面161的失真量。当确定用于每一个图案元素151的曲解量后，方法700进行到在操作703中创建查找表。查找表可以包括用于由相机120a, 120b检测的用于那些图案元素151的失真量。为了更精确地映射激光投影仪110的失真，可以执行内插方法。特别地，处理元件301可以使用所检测到的图案元素151内插用于查找表的附加点以估计针对所投影的图案元素之间的点的失真特性。
可以利用各种内插算法，并且所执行的内插可以基于数个变量选择，包括所检测到的图案元素151的数目、测试图案150的结构或特性或者投影表面161的几何结构、处理资源等等。在一些实施例中，基于样条、位置变化的内插方法用于创建用于针对所检测到的测试图案元素151之间的点的查找表的附加条目。另外，查找表可以是简单的查找表、颜色映射或其它类型的查找表。
图8A图示了以失真映射的形式的查找表的一个示例。如图8A中所示，失真映射900可以包含分配到或对应于激光投影仪110的图像平面内的像素位置的条目。分配到映射900的条目的颜色可以表示在该像素位置处应用以校正由于激光投影仪110所致的失真的校正或曲解量。也就是说，图像平面的归一化的x和y坐标可以被分配特定阴影、色调或颜色强度，其可以被处理元件301解释以确定校正量。在一个实施例中，当在操作507的过程703中创建查找表后，处理元件301可以将经曲解或校正的x和y位置存储在红色和绿色通道中。在其它实施例中，失真映射900内的条目可以不仅对应于曲解量，而且对应于曲解方向。要指出的是，作为在操作604中创建的查找表的一个示例来提供失真映射900，并且可以使用其它类型的查找表。
已经在操作703中创建了查找表之后，过程507终止。参照图5，当完成操作507时，方法500可以进行到操作508。在操作508中，查找表（例如颜色映射900）可以用于从期望的输入图像创建经校准的强调图像。特别地，转换或曲解图像数据以计及当通过激光投影仪110投影图像时将发生的失真。
应当指出的是，尽管将查找表和投影矩阵讨论为在分离的操作中计算，但是在一些实施例中，查找表和投影矩阵可以在单个操作中确定。例如，投影矩阵可以被约束到诸如特定视场、纵横比等之类的一个或多个预确定的性质。通过约束矩阵，查找表和投影矩阵可以基本上同时在相同的操作中计算。
在一个示例中，在操作508中，在过程604中创建的查找表用于转换激光投影仪110虚拟图像平面的坐标，使得由激光投影仪110投影的包括图像数据元素（例如像素或像素组）的图像将在期望的位置中撞击投影表面161。
图8B是使用映射900的来自操作508的转换的图示。参照图8B，利用图案元素151的经转换、校准的位置803叠覆基于透视投影矩阵的未经校准的位置802。如图8B中所示，激光投影仪110所展现出的失真可以跨激光投影仪的虚拟图像平面广泛地变化。由“O”表示的经校准的图案元素803与由“X”表示的经校准的图案元素802之间的位置改变是如以上讨论的在操作508中执行的非线性转换的结果。在许多实施例中，经校准的图案元素802可以在通过未经校准的投影仪100投影之前与校准图案元素的期望位置对准。
再次参照图5，在已经在操作508中转换了强调输入图像以形成经校准的强调图像之后，方法500进行到操作509。在操作509中，处理元件112可以向激光投影仪110传输经校准的强调图像数据。可替换地或此外，处理元件112可以将经转换的图像存储在存储器114中或者可以向另一计算设备传输经转换的图像。在操作509之后，方法进行到结束状态510。
现在将更加详细地讨论用于使用经校准的激光投影仪110以用于提供与投影表面161上的特征对准的强调图像和/或另一投影图像的系统。图9是呈现系统12的透视图。呈现系统12包括视频投影仪100和一个或多个激光投影仪110。呈现系统12将一个或多个图像投影到场景160上，场景160可以包括任何数目的物体并且可以是基本上任何形状，诸如3D形状、表面等。如以上关于图1所描述的，投影表面和/或场景可以包括具有变化构形、不同颜色、纹理等的投影表面。应当理解的是，呈现系统12可以在室内或室外使用。
视频投影仪100可以定位在相对于场景160的基本上任何位置处，但是典型地定位成使得其取向成面向投影表面163。视频投影仪100被配置成将诸如图片和/或视频之类的一个或多个图像投影到投影表面163上。
视频投影仪100具有限定用于视频投影仪100的投影区域的视场101。要指出的是，呈现系统12的视频投影仪100可以是能够显示红色、绿色和蓝色（RGB）或另一颜色空间图像信号的基于光栅化的视频投影仪。然而，可以可选地使用单色投影仪。视频投影仪100典型地将包含光源和透镜。光源可以是任何类型的发光元件，诸如但不限于一个或多个发光二极管（LED）、白炽灯泡、卤素灯等。透镜与光源光学连通并且从源向期望的目的地（在该情况中为投影表面163）传输光。透镜使一个以上的参数变化以影响光，诸如将光聚焦在特定距离处。视频投影仪100还可以包括可以自动和/或手动调节的白色平衡调节或其它颜色平衡特征。这允许应用投影仪的白色点以便避免人类观察者可见的色移。
使用图5的方法校准激光投影仪110使得可以转换或以其它方式修改期望的输入图像使得图像的图像元素被投影到投影场景160的期望位置上。这允许投影仪110将其输出图像与视频投影仪110的图像输出对准以实现高光、强调或其它扩增呈现。
参照图10，现在将讨论使用呈现系统12的呈现方法400。方法在操作401处开始并且计算机130从例如其它计算设备、存储器存储部件、网络等的期望的源接收输入视频投影仪图像数据。输入图像数据可以包括场景图像数据，诸如纹理信息，静止或移动图像，动画图像（诸如视频序列）等。例如，场景图像数据可以包括与彼此、场景160内的元素或特征虚拟“交互”（例如横穿形成场景160的物体的部分）的角色。换言之，场景图像数据可以包含对于期望的场景而言适当的任何类型的环境呈现信息。
在操作401之后，方法400可以进行到操作402。在操作402中，计算机130的处理元件112接收对应于用于激光投影仪110的输出的强调图像。强调图像可以包括以预确定的方式扩增、补充或以其它方式强调用于视频投影仪的场景图像数据的图像数据。通常，强调图像可以包括可能不能够被视频投影仪100复制或产生但是由于激光投影仪110的独特特性和亮度而可以如期望的那样精确投影的特征或特性。
应当指出的是，场景图像数据和强调图像数据二者可以一起存储在例如计算机130的存储器114上以用于控制呈现系统12。可替换地，场景图像数据可以与强调图像数据分离地存储，并且由计算机130分离地访问和传输到适当的投影仪。
一旦计算机130接收到输入场景图像和强调图像，方法400可以进行到操作403。在操作403中，处理元件112转换强调图像以计及激光投影仪110的失真。例如，使用图5的方法500中所创建的查找表（诸如图8A的颜色映射900），处理元件112调节强调图像。因此，当强调图像由投影仪110输出时，诸如每一个像素或像素组之类的各种图像元素可以投影到场景160上的期望位置上。可替换地或此外，激光投影仪110的特性可以基于查找表调节以补偿失真。在该示例中，强调图像可能不需要修改，因为激光投影仪110自身可以被修改。也就是说，激光投影仪110用于确定投影位置的坐标系统可以被调节或修改以将光投影在如以上所确定的经校正的强调图像位置处。
一旦已经修改了强调图像或激光投影仪110，方法400可以进行到操作404。在操作404中，视频投影仪100将场景图像数据投影到场景160上。例如，参照图9，场景图像数据1200可以由计算设备130或其它设备提供给视频投影仪100，并且视频投影仪100输出对应于期望的场景图像的光。
再次参照图7，当投影场景图像时，方法400可以进行到操作405。在操作405中，激光投影仪110将经转换或修改的强调图像投影到场景160上。由于激光投影仪110的校准和/或强调图像1100的修改，由激光投影仪110投影的强调图像的特征可以投影到对应于投影仪100投影的场景图像数据的特征的场景160内的位置上。
参照图9，视频投影图像1200和激光投影图像1100的双投影因此允许强调图像扩增视频投影仪投影的图像以创建组合图像1300。作为一个示例，场景图像数据可以包括诸如仙女（fairy）之类的角色，并且强调图像可以用于通过应用闪烁或发亮效果来高亮或强调跟随在仙女之后的仙尘踪迹。
图11A是场景图像的放大图像并且图11B是具有投影在其中的强调图像的图11A的场景图像的放大图像。参照图9, 11A和11B，场景图像1200由视频投影仪投影并且可能不包括高频细节，诸如非常明亮或闪烁的斑点等。然而，在图11B中，一旦强调图像1100被激光投影仪1100投影，组合图像1300可以包括场景图像1200的总体细节连同强调图像1100的经扩增部分二者。强调图像1100提供明亮色调、不同颜色或不能通过视频投影仪完成的其它特性。
在一个示例中，强调图像1100被配置成投影成以便叠覆在由（多个）视频投影仪100投影的场景图像1200上。可替换地，两个图像可以以其它方式投影在一起。场景图像1200可以表示场景几何结构、角色、背景场景等。如在图11B中可以看到的，一旦已经执行了根据本公开的投影系统的校准，由视频投影仪100投影的场景图像数据就叠覆由激光投影仪100投影的强调图像数据并且与其对准。并且强调图像与场景图像混合以创建期望的美学呈现。场景图像与强调图像之间的对准是可能的，因为强调图像1100使用失真映射900进行修改以计及失真。可替换地或此外，激光投影仪110而不是用于强调图像的输入图像可以被校准以校正这样的失真。
在一些实施例中，激光投影仪和视频投影仪的视场（FOV）基本上叠覆。在其它实施例中，激光投影仪和视频投影仪的FOV仅部分叠覆，其中相应投影仪的FOV的未叠覆部分可以与诸如朝向场景的不同部分取向或者在场景160内的不同透视角度或高度处取向的第二视频投影仪之类的提供在投影系统中的另一投影仪的FOV叠覆。
以上说明书、示例和数据提供了如权利要求中所限定的本发明的示例性实施例的结构和使用的完整描述。尽管以上以某种程度的特定性或者参照一个或多个单独的实施例描述了所要求保护的发明的各种实施例，但是本领域技术人员可以对所公开的实施例做出大量更改而不脱离于所要求保护的发明的精神和范围。因此设想到其它实施例。意图在于包含在以上描述中并且在附图中示出的所有事项应当被解释为仅仅说明特定实施例而不是限制性的。可以做出细节或结构上的改变而不脱离于如随附权利要求中限定的本发明的基本元素。
Claims (17)
1.一种校准投影仪的方法，包括：
通过处理元件接收投影到投影表面上的第一校准图案的第一校准图像；
通过处理元件确定多个图案元素的三维位置；
由处理元件通过分析第一校准图像和第一校准图案生成透视投影矩阵；以及
由处理元件通过分析第一校准图像确定非线性映射函数，
其中第一校准图案包括多个图案元素，
其中非线性映射函数通过由处理元件比较第一校准图像和透视投影矩阵来确定。
2.根据权利要求1所述的方法，还包括通过处理元件使用图像分析算法检测多个图案元素。
3.根据权利要求1所述的方法，还包括由处理元件通过使用非线性映射函数变换第一校准图像来生成经校准的图像。
4.根据权利要求1所述的方法，还包括通过处理元件确定针对多个图案元素中的每一个的变换量。
5.根据权利要求1所述的方法，还包括通过处理元件使用非线性映射函数创建查找表。
6.根据权利要求5所述的方法，还包括通过处理元件在查找表内内插值以增加值的数目。
7.根据权利要求1所述的方法，还包括：
通过处理元件接收投影到投影表面上的第二校准图案的第二校准图像，其中第二校准图案不同于第一校准图案。
8.根据权利要求7所述的方法，其中生成透视投影矩阵还包括分析第二校准图像和第二校准图案。
9.一种用于校准具有非均匀失真特性的投影仪的系统，包括：
投影仪，其中投影仪将第一校准图案投影到投影表面上；
相机，其中相机捕获投影到投影表面上的第一校准图案的第一校准图像；以及
与相机电气通信并且具有至少一个处理元件的计算设备，该计算设备执行以下操作：
确定多个图案元素的三维位置；
基于第一校准图像生成透视投影矩阵；以及
通过分析第一校准图像和第一校准图案确定用于投影仪的失真映射，其中失真映射确定存在于激光投影仪内的失真，其中，失真映射通过比较第一校准图像和透视投影矩阵来确定，
其中第一校准图像包括具有多个图案元素的结构化光图案。
10.根据权利要求9所述的系统，其中处理元件通过深度检测算法确定图案元素的三维位置。
11.根据权利要求9所述的系统，其中深度检测算法是三角测量算法。
12.根据权利要求9所述的系统，其中处理元件使用团块检测算法检测多个图案元素。
13.根据权利要求12所述的系统，其中处理元件还内插落在第一校准图像内的图案元素之间的点。
14.根据权利要求9所述的系统，其中投影仪是验电器激光扫描投影仪。
15.根据权利要求9所述的系统，其中处理元件通过借由将失真映射应用于输入图像变换输入图像来创建经修改的输出图像，其中针对激光投影仪的失真校正经修改的输出图像。
16.一种投影系统，包括：
视频投影仪，投影包括多个元素的第一图像到投影表面上；和
激光投影仪将第二图像投影到投影表面上，其中，
通过将激光投影仪建模为具有针孔近似的针孔设备，使用透视投影矩阵来校准激光投影仪，以基于通过图像分析算法和非线性映射函数检测第一图像中的多个元素来提供第一校准近似以校正由针孔近似产生的第一校准近似中的不准确性并确定失真映射以针对激光投影仪固有的失真进行调整，其中失真映射通过比较第一图像和透视投影矩阵来确定；
其中第二图像将第一图像覆盖在投影表面上。
17.根据权利要求16所述的投影系统，其中第二图像与第一图像的第一部分对准以提供对第一图像的强调。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/534,855 US10080004B2 (en) | 2014-11-06 | 2014-11-06 | Method and system for projector calibration |
| US14/534855 | 2014-11-06 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105592310A CN105592310A (zh) | 2016-05-18 |
| CN105592310B true CN105592310B (zh) | 2019-02-12 |
Family
ID=54359745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510677502.2A Active CN105592310B (zh) | 2014-11-06 | 2015-10-16 | 用于投影仪校准的方法和系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US10080004B2 (zh) |
| EP (1) | EP3018903B1 (zh) |
| CN (1) | CN105592310B (zh) |
| HK (1) | HK1224467A1 (zh) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10080004B2 (en) | 2014-11-06 | 2018-09-18 | Disney Enterprises, Inc. | Method and system for projector calibration |
| JP2016099742A (ja) * | 2014-11-19 | 2016-05-30 | 株式会社東芝 | 情報処理装置、映像投影装置、情報処理方法及びプログラム |
| JP6484071B2 (ja) * | 2015-03-10 | 2019-03-13 | アルプスアルパイン株式会社 | 物体検出装置 |
| US10742961B2 (en) * | 2015-09-02 | 2020-08-11 | Industrial Technology Research Institute | Depth sensing apparatus with self-calibration and self-calibration method thereof |
| US20170094238A1 (en) * | 2015-09-30 | 2017-03-30 | Hand Held Products, Inc. | Self-calibrating projection apparatus and process |
| KR20170070415A (ko) * | 2015-12-14 | 2017-06-22 | 현대자동차주식회사 | 영상 투사 장치 및 그 제어 방법 |
| US10104351B2 (en) * | 2016-03-10 | 2018-10-16 | Panasonic Intellectual Property Management Co., Ltd. | Projection system and calibration apparatus |
| EP3264360A1 (en) * | 2016-06-28 | 2018-01-03 | Dassault Systèmes | Dynamical camera calibration |
| US10145680B2 (en) * | 2016-08-12 | 2018-12-04 | Microvision, Inc. | Devices and methods for providing depth mapping with scanning laser image projection |
| US10158834B2 (en) * | 2016-08-30 | 2018-12-18 | Hand Held Products, Inc. | Corrected projection perspective distortion |
| CN106454292A (zh) * | 2016-09-29 | 2017-02-22 | 西安中科晶像光电科技有限公司 | 一种固定标记实现双画面自动匹配的系统和方法 |
| US10200683B2 (en) | 2016-12-21 | 2019-02-05 | Microvision, Inc. | Devices and methods for providing foveated scanning laser image projection with depth mapping |
| JP6702171B2 (ja) * | 2016-12-22 | 2020-05-27 | カシオ計算機株式会社 | 投影制御装置、投影制御方法及びプログラム |
| CN106683134B (zh) * | 2017-01-25 | 2019-12-31 | 触景无限科技（北京）有限公司 | 一种台灯的图像校准方法及装置 |
| DE102017202652A1 (de) * | 2017-02-20 | 2018-08-23 | Siemens Aktiengesellschaft | Vorrichtung und Verfahren zur Kalibrierung mittels projizierter Muster |
| WO2018155198A1 (ja) * | 2017-02-22 | 2018-08-30 | ソニー株式会社 | 情報処理装置および方法 |
| CN107068017A (zh) * | 2017-03-10 | 2017-08-18 | 长春中国光学科学技术馆 | 自适应投影演示装置 |
| CN108632585B (zh) * | 2017-03-24 | 2021-03-09 | 中兴通讯股份有限公司 | 一种图像校正方法及装置、存储介质、投影设备 |
| CN107463902B (zh) * | 2017-08-07 | 2020-11-24 | 上海碧虎网络科技有限公司 | 一种投影机自动识别投影异常的方法和系统 |
| CN111164375B (zh) * | 2017-10-06 | 2022-04-19 | 先进扫描仪公司 | 用于生成锐化阴影的装置 |
| US10415967B2 (en) | 2017-10-16 | 2019-09-17 | Electronic Theatre Controls, Inc. | System and method for determining a position of a light fixture |
| DE102017010683B4 (de) * | 2017-11-17 | 2019-08-14 | domeprojection.com GmbH | Verfahren zur automatischen Wiederherstellung eines eingemessenen Zustands eines Projektionssystems |
| CN111699672B (zh) * | 2018-03-13 | 2023-01-31 | 夏普Nec显示器解决方案株式会社 | 视频控制装置和视频控制方法 |
| JP7342856B2 (ja) | 2018-03-29 | 2023-09-12 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
| CN110784692B (zh) * | 2018-07-31 | 2022-07-05 | 中强光电股份有限公司 | 投影装置、投影系统及影像校正方法 |
| CA3109097A1 (en) * | 2018-09-18 | 2020-03-26 | Nearmap Australia Pty Ltd | System and method of selecting a complementary image from a plurality of images for 3d geometry extraction |
| US10373325B1 (en) * | 2018-09-28 | 2019-08-06 | Lightform, Inc. | Method for augmenting a scene in real space with projected visual content |
| CN110966920B (zh) * | 2018-09-29 | 2022-01-25 | 北京金风科创风电设备有限公司 | 风力发电机组的扭缆检测方法及系统 |
| EP3651119A1 (en) * | 2018-11-06 | 2020-05-13 | Koninklijke Philips N.V. | Disparity estimation from a wide angle image |
| TWI680436B (zh) * | 2018-12-07 | 2019-12-21 | 財團法人工業技術研究院 | 深度相機校正裝置及其方法 |
| US11727597B2 (en) * | 2018-12-21 | 2023-08-15 | Sony Group Corporation | Calibrating volumetric rig with structured light |
| ES2954842T3 (es) * | 2019-03-13 | 2023-11-27 | Oreal | Sistemas, dispositivos, y métodos para proyectar contenido digital sobre la superficie facial de un usuario |
| JP7249207B2 (ja) * | 2019-05-28 | 2023-03-30 | シャープ株式会社 | シェーディング補正信号生成装置、複合機及びシェーディング補正信号生成方法 |
| JP2023508501A (ja) * | 2019-12-29 | 2023-03-02 | マジック アイ インコーポレイテッド | ３次元座標と２次元特徴点との関連付け |
| CN111311686B (zh) * | 2020-01-15 | 2023-05-02 | 浙江大学 | 一种基于边缘感知的投影仪失焦校正方法 |
| US11303864B2 (en) * | 2020-09-09 | 2022-04-12 | Christie Digital Systems Usa, Inc. | System and method for projector alignment using detected image features |
| CN112614075B (zh) * | 2020-12-29 | 2024-03-08 | 凌云光技术股份有限公司 | 一种面结构光3d系统的畸变校正方法及设备 |
| CN114727073B (zh) * | 2021-01-05 | 2023-09-01 | 成都极米科技股份有限公司 | 一种图像的投影方法、装置、可读存储介质及电子设备 |
| CN113251951B (zh) * | 2021-04-26 | 2024-03-01 | 湖北汽车工业学院 | 基于单标定面映射的线结构光视觉测量系统的标定方法 |
| US11611732B1 (en) | 2021-08-25 | 2023-03-21 | Christie Digital Systems Usa, Inc. | Method and device for aligning color channels |
| CN114820791B (zh) * | 2022-04-26 | 2023-05-02 | 极米科技股份有限公司 | 障碍物检测方法、装置、系统及非易失性存储介质 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5204944A (en) * | 1989-07-28 | 1993-04-20 | The Trustees Of Columbia University In The City Of New York | Separable image warping methods and systems using spatial lookup tables |
| US6520646B2 (en) * | 1999-03-03 | 2003-02-18 | 3M Innovative Properties Company | Integrated front projection system with distortion correction and associated method |
| US7242818B2 (en) * | 2003-01-17 | 2007-07-10 | Mitsubishi Electric Research Laboratories, Inc. | Position and orientation sensing with a projector |
| US6811264B2 (en) | 2003-03-21 | 2004-11-02 | Mitsubishi Electric Research Laboratories, Inc. | Geometrically aware projector |
| US7137707B2 (en) * | 2004-07-01 | 2006-11-21 | Mitsubishi Electric Research Laboratories, Inc | Projector-camera system with laser pointers |
| US7252387B2 (en) * | 2005-03-21 | 2007-08-07 | Mitsubishi Electric Research Laboratories, Inc. | System and method for mechanically adjusting projector pose with six degrees of freedom for image alignment |
| US7740361B2 (en) * | 2006-04-21 | 2010-06-22 | Mersive Technologies, Inc. | Alignment optimization in image display systems employing multi-camera image acquisition |
| US8406562B2 (en) * | 2006-08-11 | 2013-03-26 | Geo Semiconductor Inc. | System and method for automated calibration and correction of display geometry and color |
| US8994757B2 (en) * | 2007-03-15 | 2015-03-31 | Scalable Display Technologies, Inc. | System and method for providing improved display quality by display adjustment and image processing using optical feedback |
| EP2162863B1 (en) * | 2007-06-05 | 2014-07-30 | DigitalOptics Corporation International | Non-linear transformations for enhancement of images |
| JP5047058B2 (ja) | 2008-05-26 | 2012-10-10 | シャープ株式会社 | 携帯端末装置 |
| US8766998B1 (en) | 2008-08-22 | 2014-07-01 | Aechelon Technology, Inc. | Sampling of non-planar display surfaces |
| DE102009025201B3 (de) * | 2009-06-12 | 2011-01-27 | Konrad Maierhofer | Projektionsvorrichtung |
| US8842222B2 (en) | 2010-04-18 | 2014-09-23 | Imax Corporation | Double stacked projection |
| CN103329540B (zh) * | 2010-11-15 | 2016-08-24 | 斯加勒宝展示技术有限公司 | 利用手动和半自动技术校准显示系统的系统和方法 |
| US20130229396A1 (en) * | 2012-03-05 | 2013-09-05 | Kenneth J. Huebner | Surface aware, object aware, and image aware handheld projector |
| JP6089461B2 (ja) * | 2012-06-22 | 2017-03-08 | セイコーエプソン株式会社 | プロジェクター、画像表示システム、プロジェクターの制御方法 |
| JP2014131257A (ja) | 2012-11-27 | 2014-07-10 | Ricoh Co Ltd | 画像補正システム、画像補正方法及びプログラム |
| JP2014179698A (ja) | 2013-03-13 | 2014-09-25 | Ricoh Co Ltd | プロジェクタ及びプロジェクタの制御方法、並びに、その制御方法のプログラム及びそのプログラムを記録した記録媒体 |
| US10080004B2 (en) | 2014-11-06 | 2018-09-18 | Disney Enterprises, Inc. | Method and system for projector calibration |
-
2014
- 2014-11-06 US US14/534,855 patent/US10080004B2/en active Active
-
2015
- 2015-10-15 EP EP15189908.5A patent/EP3018903B1/en active Active
- 2015-10-16 CN CN201510677502.2A patent/CN105592310B/zh active Active
-
2016
- 2016-10-28 HK HK16112425.2A patent/HK1224467A1/zh unknown
-
2018
- 2018-08-09 US US16/059,882 patent/US11115633B2/en active Active
Non-Patent Citations (1)
| Title |
|---|
| Projector calibration using passive stereo and triangulation;YOUSEF B MAHDY ET AL;《international journal of future computer and communication》;20131001;385-390 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160134851A1 (en) | 2016-05-12 |
| US20180376116A1 (en) | 2018-12-27 |
| CN105592310A (zh) | 2016-05-18 |
| US10080004B2 (en) | 2018-09-18 |
| EP3018903A2 (en) | 2016-05-11 |
| EP3018903A3 (en) | 2016-09-28 |
| HK1224467A1 (zh) | 2017-08-18 |
| EP3018903B1 (en) | 2021-03-24 |
| US11115633B2 (en) | 2021-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105592310B (zh) | 用于投影仪校准的方法和系统 | |
| US10055882B2 (en) | System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function | |
| CN104952063B (zh) | 用于在真实环境的视图中表示虚拟对象的方法和系统 | |
| US9953556B2 (en) | Color correction method for optical see-through displays | |
| KR102268377B1 (ko) | 멀티-뷰 컨텐츠를 전달하기 위한 디스플레이 시스템 및 방법 | |
| CN106062862A (zh) | 用于沉浸式和交互式多媒体生成的系统和方法 | |
| EP2437244A1 (en) | Information presentation device | |
| CN108633333A (zh) | 校准多视图显示器的方法 | |
| CN107018392A (zh) | 投影仪优化方法和系统 | |
| AU2018225269B2 (en) | Method, system and apparatus for visual effects | |
| CN108701363A (zh) | 使用多相机识别和追踪对象的方法、设备和系统 | |
| US9336607B1 (en) | Automatic identification of projection surfaces | |
| JP2019012090A (ja) | 画像処理方法、画像表示装置 | |
| Ikeuchi et al. | Active lighting and its application for computer vision | |
| Fukiage et al. | Animating static objects by illusion‐based projection mapping | |
| US10325406B2 (en) | Image synthesis method and image synthesis device for virtual object | |
| CN103299156B (zh) | 创建三维图像文件的系统和方法 | |
| US20230127730A1 (en) | System and method for projection mapping | |
| Oyama et al. | Illumination estimation based on human visual characteristics for AR | |
| KR101788471B1 (ko) | 조명 정보 기반의 객체 증강 현실 디스플레이 장치 및 방법 | |
| Hieda | Digital video projection for interactive entertainment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1224467 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |