CN107018392B - 投影仪优化方法和系统 - Google Patents

Abstract

本发明涉及投影仪优化方法和系统。本公开涉及用于优化用于投影内容的投影仪的方法和系统。在一个实施例中，所述方法包括通过处理元件接收与由投影仪在投影表面上投影的测试图案相对应的多个测试图像，其中所述测试图案中的每一个包括至少两个点，通过处理元件比较所述多个测试图像以评估与两点之间的距离相关的一个或多个投影仪特性，通过处理元件生成表示所述一个或多个投影仪特性的投影仪模型，以及利用所述模型来确定投影仪用于内容的投影路径。

Description

投影仪优化方法和系统

技术领域

本文所述技术一般涉及用于优化一个或多个投影仪的方法和系统。

背景技术

图像投影仪用于将图像投影到投影表面（诸如，屏幕）上。在一些应用中，视频投影仪用于增强、补充或以其它方式增加表面上的对象以创建动态且令人愉快的用户体验，诸如游乐园吸引力。例如，字符或对象可以被投影在与表面上的真实对象虚拟地（virtually）“交互”的表面上。

传统的视频投影仪具有许多限制。特别地，传统的视频投影仪具有有限的色域和亮度。由于这些限制，仅使用传统视频投影仪的呈现可能显得暗淡且不鲜明。另外，在存在环境照明的情况下，所生成的图像可能显得褪色且不真实。相反，与传统视频投影仪相比，激光投影仪（诸如，激光扫描投影仪）具有增加的亮度和色域。特别地，激光投影仪可以投影纯饱和的、即单色的红色、绿色和蓝色色调，允许比传统视频投影仪显著更广的色域。

与视频投影仪形成对照，激光投影仪使用检流计镜来引导光。这些镜子以这样的高速度移动使得，由于人类视觉感知的限制，投影的激光光斑被人类观察者感知为静态图形。然而，这种机械镜子移动的速度具有可能导致诸如模糊、闪烁和迟钝之类的问题的物理限制。因此，扫描激光器通常局限于适当显示的顶点的数目，因为如果过慢地追踪路径则视觉闪烁可能快速发生。另一方面，必须降低速度以确保内容的精确空间渲染。此外，典型的激光投影仪将选择随机路径用于渲染内容。这些问题导致闪烁和其它伪影，其影响通过激光投影仪的投影内容的显现。

发明内容

本公开的一个示例涉及用于优化用于内容投影的投影仪的方法和系统。在一个实施例中，该方法包括通过处理元件接收与由投影仪在投影表面上投影的测试图案相对应的多个测试图像，其中所述测试图案中的每一个包括至少两个点，通过处理元件比较所述多个测试图像以评估与所述两个点之间的距离相关的一个或多个投影仪特性，通过处理元件生成表示所述一个或多个投影仪特性的投影仪模型，以及利用所述模型来确定投影仪用于内容的投影路径。

本公开的另一示例包括用于生成投影仪模型的方法，所述投影仪模型用于优化用于由投影仪投影内容的投影路径。所述方法包括通过相机捕获由投影仪投影的测试图案的多个图案图像，分析所述图案图像以确定用于达到所述图案图像中的每一个中的测试图案的距离特性和成角度特性，以及基于每个测试图案的距离特性和成角度特性创建表示投影仪的模型数据库。

本公开的又另一示例包括用于优化用于内容的投影路径的系统。该系统包括用于投影内容的激光投影仪以及电子地连接到该激光投影仪的计算机。所述计算机包括存储器，其包括与投影仪的显示行为相对应的投影仪模型数据库，并且所述计算机被配置成分析投影仪模型以确定用于内容的投影路径的最小长度以及确定沿着投影路径的内容的每个点之间的最佳成角度。

附图说明

图1A是优化系统的透视图。

图1B是包括校准布置的图1A的优化系统的透视图。

图2是优化系统的简化框图。

图3是优化系统的投影仪的简化框图。

图4是图示出优化方法的流程图。

图5是图示出用于优化系统的相机和投影仪的校准方法的流程图。

图6A是其中投影仪在投影表面上投影测试图案的优化系统的透视图。

图6B是对应于图6A的测试图案捕获的图案图像的图解。

图6C是围绕中心点裁剪的图6B的图案图像的图解。

图7是使用图4的方法为投影仪导出的模型参数的示例。

图8是图示出图4的方法的选择操作的图。

图9是图4的优化操作的示意性表示。

图10A图示出了在优化之前由投影仪投影的内容的帧。

图10B图示出了优化之后的图10A中的内容的帧。

具体实施方式

本公开一般涉及优化用于扫描激光投影仪的投影路径。使用扫描激光投影仪，闪烁的出现受各种各样的因素影响，所述因素诸如投影仪的总扫描路径长度、路径遍历的顺序、要显示的顶点的数目以及时间路径一致性。所公开的系统和方法使这些因素最小化，同时也使可显示点的数目最大化。

在一个实施例中，所述方法包括在各种路径追踪下捕获激光投影仪的扫描行为的信息。使用该信息，生成描述关于相关属性的激光器行为的模型。该模型用于计算用于一个或多个图像的近似最佳扫描路径，其是在最小时间量内的输入点的空间上准确的投影，并且其还考虑到时空路径分布而使感知到的闪烁伪影最小化。

如本文所用的术语“激光投影仪”或“投影仪110”意图指代基本上任何类型的光投影组件，诸如但不限于检流计激光扫描投影仪。此外，本文所呈现的方法和系统可以用于优化的其它类型或基于相同输入（例如，具有在相同位置中但以不同顺序显示的相同点集的输入）而无保证输出的投影仪，诸如扫描投影仪或具有移动元件的其它投影仪。

图1A是优化系统10的透视图。图1B是用于图1A的校准系统的透视图。图2是优化系统10的简化框图。参考图1A-2，优化系统10包括用于投影内容153的一个或多个激光投影仪110、投影表面162、一个或多个相机120以及一个或多个计算机130。所述一个或多个激光投影仪110、相机120和计算机130全都可以彼此通信，并且包括在每个设备之间共享和传输信息的能力。原内容149被输入到计算机130，其优化用于投影仪110的投影仪路径，然后投影仪110投影优化的内容153。下面将依次讨论组件中的每一个。

投影表面162是任何类型的不透明表面或物体。例如，投影表面162可以是平的、非平面的或变化的，并且可以包括一个或多个纹理或表面变化和/或色彩。在一些实例中，投影表面162可以包括相对于彼此在不同深度或位置处的多个表面。投影表面162的类型和结构可以按照期望变化。

相机120是能够捕获静止或视频图像的任何设备。相机120捕获全色图像和/或单色图像，并且可以使用任何类型的过滤器，诸如一个或多个滤色器。在一个实施例中，相机120被配置成捕获激光投影仪110的基本上整个动态范围而无需进行严重剪裁。相机120被与其环境配准或以其它方式放置在已知位置中，以使得相机120相对于投影表面162的具体取向和位置是已知的。

应当指出的是，虽然在图1A和1B中示出了一个相机120，但是在其它实施例中，可以使用附加的相机。例如，在一些实施例中，两个相机可以用于投影仪的三维（3D）校准，而单个相机可以用于投影仪的优化。替换地或附加地，可以使用能够深度感知的一个或多个相机，诸如3D立体相机、KINECT型深度相机、3D相机、机器视觉相机或任何其它类型的有源或无源深度检测相机（诸如，基于飞行时间的3D相机或红外3D相机）。

参考图1A和2，优化系统10还包括计算机130。计算机130分析来自投影仪110和相机120二者的数据，并且还可以可选地控制任一设备的一个或多个功能。在图1A的示例中，仅示出了一个计算机130；然而，在其它实施例中，可以使用一个以上的计算机或服务器。计算机130可以包括一个或多个处理元件301、电源302、显示器303、一个或多个存储器组件304以及输入/输出（I/O）接口305。计算机130的元件中的每一个可以经由一个或多个系统总线、无线地或诸如此类进行通信。

处理元件301是能够处理、接收和/或传送指令的任何类型的电子设备。例如，处理元件301可以是微处理器或微控制器。此外，应当指出的是，计算机130的选择组件可以由第一处理器来控制，而其它组件可以由第二处理器来控制，其中所述第一和第二处理器可以或者可以不彼此通信。

存储器304存储由计算机130使用的数据，以存储用于处理元件301的指令以及存储用于优化系统10的呈现、优化、校准和/或投影仪模型数据。例如，存储器304可以存储对应于各种应用的数据或内容，诸如但不限于音频文件、视频文件等。存储器304例如可以是磁光储存器、只读存储器、随机存取存储器、可擦可编程存储器、闪速存储器或一种或多种类型的存储器组件的组合。

电源302为计算机130的组件提供电力，并且可以是电池、电源线或配置成向激光投影仪110的组件传送电力的其它元件。

显示器303向用户提供视觉反馈，并且可选地，可以用作输入元件以使用户能够控制、操纵以及校准优化系统10的各个组件。显示器303可以是任何合适的显示器，诸如液晶显示器、等离子体显示器、有机发光二极管显示器和/或阴极射线管显示器。在其中显示器303用作输入的实施例中，显示器可以包括一个或多个触摸或输入传感器，诸如电容式触摸传感器、电阻栅格等。

I/O接口305提供去往和来自激光投影仪110、相机120和计算机130以及其它设备（例如，其它计算机、辅助场景照明、扬声器等）的通信。I/O接口305可以包括一个或多个输入按钮，诸如WiFi、以太网等的通信接口，以及诸如通用串行总线（USB）电缆等的其它通信组件。

可选地，计算机130可以具有传感器306。传感器306包括能够感测特性或参数的改变并产生电信号的基本上任何设备。传感器306可以与相机120结合地使用或者代替相机120地使用，或者可以用于感测诸如围绕投影表面162的环境照明的其它参数。计算机130的传感器306和显示器303可以按照期望而变化以满足特定应用的需要。

现在将更详细地讨论优化系统10的激光投影仪110。图3是激光投影仪110的简化框图。参考图1和3，激光投影仪110用于将诸如光图案、图像等的内容153投影到场景160的投影表面162上。激光投影仪110可以是扫描激光投影仪或其它基于透镜或非透镜的投影组件。应当指出的是，虽然本文所讨论的实施例是关于激光投影仪来讨论的，但是所述优化方法和系统可以与基本上任何类型的投影仪一起使用，特别是包括用于输出内容的移动元件的投影仪。

在一些实施例中，激光投影仪110投影红色、绿色和/或蓝色相干光。在其它实施例中，激光投影仪110根据需要投影基本上任何其它色彩或频率的光，包括可见光或非可见光（例如，紫外线、红外线以及其它）。激光投影仪110可以是检流计扫描激光投影仪等，并且包括镜组装件201、激光源202、一个或多个处理元件203、一个或多个存储器组件204、I/O接口205和电源206。在一些实施例中，计算机130可以为投影仪110提供处理和存储功能中的一些或全部，并且在这些实施例中，可以省略投影仪110的一个或多个特征。

镜组装件201将由激光源202发射的光引导到投影表面162上。在一些实施例中，镜组装件201可以包括连接到检流计伺服系统或其它运动诱导元件的两个或多个镜子。在一个实施例中，镜组装件201的镜子可以相对于彼此正交地定向，以使得一个镜子围绕第一轴线旋转而另一个镜子围绕与第一轴线正交的第二轴线旋转。所述运动诱导元件基于到投影仪110的输入移动镜子，以改变从投影仪110发射的光的输出和位置。

一个或多个投影仪处理元件203从存储器组件204或I/O接口205接收输入图像数据。投影仪处理元件203可以基本上类似于处理元件301，并且可以是能够处理、接收和/或传送指令的任何电子设备。例如，投影仪处理元件203可以是微处理器或微控制器。

投影仪存储器204存储由激光投影仪110和/或计算机130使用的数据，并且可以是易失性或非易失性存储器。存储器204可以基本上类似于存储器304，但是在许多实施例中，可能比其它组件需要更少的存储。

电源206为激光投影仪的组件提供电力。电源206可以是电池、电源线或配置成向激光投影仪的组件传送电力的其它元件。

激光源202可以是一个或多个固态激光源（诸如，激光二极管），或者可以是气体激光源和/或其它类型的相干光。在其它实施例中，投影仪可以包括非相干光源。

I/O接口205提供去往和来自激光投影仪110和计算机130以及其它设备的通信。I/O接口205可以包括一个或多个输入按钮，诸如WiFi、以太网等的通信接口，以及诸如通用串行总线（USB）电缆等的其它通信组件。

优化系统10用于校准和优化激光投影仪110，以使得由投影仪110投影的内容以最高效的方式被投影，以减少闪烁和其它伪影。图4图示出用于优化激光投影仪110的方法400。方法400以操作402开始并且执行几何校准。例如，基于相机的校准过程用于评估关于投影仪110的扫描行为的信息，并且确保所显示的内容被投影在期望的空间位置中。在该示例中，相机120的像素被映射到投影表面162上的所投影内容的坐标。

图5图示出操作402的图解过程。参考图5，操作402包括过程502，并且激光投影仪110将校准图案150投影到投影表面161上。校准图案150可以是任何类型的结构光。校准图案的示例可以在题为“Method and System for Projector Calibration（用于投影仪校准的方法和系统）”的美国申请号14/534,855中找到，其整体地通过引用结合到本文中（‘855申请）。校准图案150可以包括以时间二进制编码序列单独或成组投影的多个图案元素或点。例如，在一个实施例中，通过一系列开/关事件来识别投影内容的每个元素151，在其它实施例中，图案元素151可以基本上同时投影。

在一些实施例中，可以投影含有图案元素151的子集的校准图案150的部分，而随后投影具有图案元素151的其它组的总体校准图案150的剩余部分。在仍其它实施例中，可以投影具有第一组图案元素151的校准图案150，随后是具有第二组图案元素151的另一校准图案150，其可以与所述第一校准图案150相同或不同。具有第二组图案元素151的第二校准图案150可以被挑选或选择用以帮助进一步细化投影表面161的特征。另外，所述第二校准图案150可以基于由相机120提供的图像反馈来选择。即，投影仪或投影系统的校准可以以自适应方式基于一个以上的校准图案150的投影。

图案150的投影序列和图案150内的元素151的排列的选择可以基于期望的投影表面162或要由投影仪投影的内容来确定。

参考图5，在过程504中，相机120捕获所投影的校准图案150的校准图像。相机102可以在使用之前进行调整，以使得相机快门可以捕获图案元素151而不会使图像传感器的感光器过度饱和。这种调整可以自动完成或者由用户（例如，通过调整曝光设置）手动完成。

使用相机120捕获一个或多个校准图像。所述校准图像通常是捕获如被投影到投影表面162上的图案150的照片，诸如数字图像。校准图像允许分离地识别投影元素151。

在一些实施例中，可以按预定序列投影多个校准图案，并且可以捕获用于每个校准图案的一个或多个校准图像。通过使用多个图案，处理元件可以能够更容易地确定激光投影仪的失真。

使用校准图像，操作402包括过程506，其中校准图像被分析以检测图案元素151。处理元件301使用图像分析算法（诸如，斑点检测算法）或者可以检测图案元素151的位置的其它算法来检测图案元素151的位置。

基于图案元素151的特性来选择用于检测图案元素151的图像分析算法。例如，如果图案元素151是点或斑点，那么处理元件301可以使用斑点检测算法。作为一个示例，斑点检测算法可以包括从图像中减去背景并且对图像阈值化以掩蔽可疑斑点或特征位置的步骤。执行该算法，处理元件然后分析每个掩蔽区域以计算该斑点的重心。在下面更详细地讨论的本公开的一个示例性实施例中，当处理元件301被配置成使用斑点检测算法来检测图案元素151时，处理元件301分析并比较用于每个检测斑点的重心到用于其它斑点的重心的相对位置以确定2D图像平面内的斑点坐标。

在其它实施例中，如果图案元素151被选择为线或线段，则可以使用线中心检测算法。用于检测图案元素151的其它算法还可以或替换地包括特征检测、边缘检测、顺序二进制编码斑点、二进制编码的水平和/或垂直线、用长曝光的格雷码、色彩编码图案、强度编码图案、更复杂的图案元素特征等。取决于图案元素151的形状，一些算法可能比其它算法更准确，而其它算法可能需要更少的处理功率。

返回到图5，一旦测试图案已被相机系统120捕获并由计算机130处理，操作502就包括过程506，其中检测图案元素151。例如，图像分析算法回顾校准图像以检测与周围区域相比在一个或多个属性（诸如但不限于亮度、色彩或色调）上不同的区域。在该示例中，捕获的图案元素151将更明亮并且可以具有与图案150的周围区域不同的色彩，并且因此允许处理元件检测它们的位置。

在一个示例中，处理元件分析捕获的图像以确定每个图案元素151的中心在相应相机120的二维（2D）图像平面中的位置。即，通过使用每个元素151的可检测特征来确定每个图案元素151的2D坐标。在一个示例中，斑点检测算法可以用于为图案元素151的中心的位置提供亚像素精度。然而，如上文讨论的，也可以使用其它算法。

使用检测到的元素，操作402前进至过程508，并且确定场景160内的测试图案元素151的2D位置以及在相机120和投影仪110的图像平面之间创建密集查找表。换言之，确定投影像素的位置和到投影仪中的输入之间的对应性。应当指出的是，操作402是关于相机120和投影仪110之间的2D映射来描述的。例如，一旦使用斑点检测（或其它算法）在相机120的图像平面上的亚像素位置和投影仪110的坐标之间生成所述映射，就使用基于薄板样条的插值来插入缺失点以生成密集查找表，其使得能够将相机图像扭曲到投影仪的虚拟图像平面上。查找表生成的示例可以在'855申请中找到。应当指出的是，可以以各种方式执行这些步骤，并且可以使用其它插值方法生成密集图。

在其中可能期望3D映射（例如，对于非平面投影仪表面）的实施例中，可以如在'855申请中所描述的那样使用两个或多个相机。然而，对于本申请的方法，为了简单和减少错误，可以使用2D映射。

返回到图4，在相机120和投影仪110的几何配准完成之后，可以开始投影仪的优化和模型生成。

方法400前进至操作404，并且将测试图案投影到投影表面160上。图6A图示出了投影到投影表面608上的测试图案600的示例。在许多实施例中，测试图案600包括用镜子的不同加速度和减速度设置的以相对于彼此的不同角度、距离布置的三个点602、604、606。在这些实施例中，图案600包括位于其它两个点之间的一个中心点602。虽然在一些实施例中，两个点可用于评估投影仪110的行为，但增加第三个点提供关于不同点之间的角度方向改变的附加数据。

测试图案600的参数在测试图案之间变化，并且使用多个测试图案来增强优化的灵敏度。在这些示例中，使用选择序列，其中投影的第一点是右上点604，然后投影中心点602，接着是左上点606，并且在每个随后的测试图案600中，点之间的角度以及可选地点之间的距离被改变。虽然公开了三个点，但在其它实施例中，附加的点可以与“中心点”一起使用从而形成在图案中顺序投影的第一和最后投影点之间的每个点。

选择测试图案600（包括点的数目、角度变化和距离变化）以在激光投影仪110开始和停止移动以将每个点602、604、606投影在图案600中时最佳地检测激光投影仪110的加速度和减速度，并且测试图案600可以被设置为“V”形，但是可以基于投影仪110的类型变化。通过变化点，通常位于投影点的相同或类似位置处的停止点一般由激光投影仪使用以评估在镜子接近投影点的位置时何时停止或减慢。这些停止点或速度控制点是使激光器减慢并且可以由投影仪使用以使镜子减速的空白或不可见的点（例如，以与背景相同的色彩投影或根本不投影）。这些速度控制点基于先前投影的点的位置而变化。

在数学上表示，具有不同角度

和归一化距离

的一组测试点图案

随着停止点的增加的数目

而被多次投影，其被表示为

。其中d对应于虚拟图像平面的高度的一半，并且等于对角线的

。

参考图4，当不同的测试图案600由投影仪110投影时，方法400前进至操作406，并且相机120或测量传感器捕获投影图案的测试图像610。图6B图示出由图6A中的相机120捕获的测试图像610的示例。应当指出的是，需要单个相机120来捕获测试图像，但也可以使用多个相机。在一些实施例中，相机120聚焦或成角度在仅中心点上，因为针对下面所讨论的原因在模型生成中可能不需要其它点。

通常使用短快门时间捕获测试图像610以有助于避免饱和强度的出现。此外，为了确保完全捕获激光器路径，可以以中间几毫秒的随机延迟获得相同图案的多个图像并对其取平均，这也减少了图像中的噪声量。在具体示例中，针对每个测试图案600捕获8张测试图像610。通常，相机120的快门速度被选择为足够慢以一次捕获整个图案（例如，所有三个点602、604、606）。然而，在其它实施例中，可以增加相机快门速度以捕获所述点中的仅一个或两个。

此外，在其中图案被重复绘制的实施例中，一些点可能比其它点更明亮。对采用随机延迟的相同图案的多个图像取平均有助于确保所有点在结束时大致共享相同的总体亮度，并且通常不受相机120的扫描速度和快门时间影响。

使用在操作406中捕获的测试图像610，方法400前进至操作408，并且处理元件去除噪声并以其它方式准备测试图像610以用于分析。具体地，测试图像610被扭曲到投影仪110的虚拟图像平面，以使得图像可以更准确地与期望的投影内容进行比较。操作408通过使用在操作402中生成的查找表来完成，以使得处理元件310将测试图像610与测试图案数据600的栅格化表示进行比较，并且修改测试图像以表示来自投影仪的图像平面的视图的图像。

在一个实施例中，通过

表示该系列测试图像610，并且

的成员使用在操作402中生成的密集2D扭曲查找表被扭曲到投影仪110的虚拟图像平面上以得到

。这允许处理元件将测试图像610与测试图案600数据

的栅格化表示进行比较。

在一些实施例中，测试图像610可以被裁剪以聚焦在期望的点上。例如，在一些实施例中，分析中心点202并且将测试图像610裁剪到所述中心点202周围的小区域。如下面可以认识到的是，中心点（或中心点组）可以是需要被分析以确定投影仪行为的仅那一个。例如，中心点是证明第一点和最后一点之间的成角度改变的位置。停止点或速度控制点的数目通常仅在中心点处改变。换言之，尽管需要第一点和最后一点来投影图案，但是仅需要分析中心点以确定随图案的改变而发生的成角度、距离和停止点（加速度和减速度）中的变化。应当指出的是，在其中多于三个点用于图案的实例中，所评估的中心点可以包括多个点，诸如落在图案中的第一投影点和图案中的最后投影点之间的所有那些点。

图6C中示出了裁剪图像的示例。

的裁剪图像612导致在对应于中心点602的图像中心处的单个白色像素。中心点602对于所有的

而言将是相同的，其可以被表示为

。也可以使用其它点，其中对模型输入进行对应的改变。

在将图像扭曲到投影仪并可选地对图像裁剪之后，方法400前进至操作412，并且应用降噪和二值化。例如，可以使用能够稳健地分离和检测图像中的点的任何方法。作为具体示例，强度阈值化可以用于去除离群像素和强度。在一个实施例中，将强度阈值化应用于其中定义了亮度阈值的

。通常，表面照明（以及因此所捕获图像610的强度）主要在增加的停止点的数目上变化。因此，与固定的低强度阈值方法相结合的自适应阈值化方法可以用于自动地分割所有图案。操作412产生用于测试图案600的所有n个停止点、所有角度以及针对每个测试图像610的所有距离的二值图像。应当指出的是，在许多实例中，具有三个或五个停止点的测试图像610可能一般看起来相同，因为相同的中心点被照亮，但是在具有更多停止点的图案中，所述中心点将更明亮。可以生成用于停止点，角度和距离的每个组合的新的二值图像。

参考图4，一旦图像已在操作412中被处理，则方法400前进至操作414，并且比较（R）测试图像610中的每一个中的中心点602。用数学来表达，将针对所有个增加的停止点

所产生的二值图像与相比较。

在具体实施例中，使用两个误差度量（命中误差和距离误差）将（针对噪声进行分析并可选地裁剪的）二值测试图像610中的每个与R进行比较。命中误差由等式（1）表示，并且描述了图案的期望点位置是否由投影仪110照亮。距离误差由等式（2）表示，其描述了所绘制像素在预定区域（例如，图像内的矩形区域）内有多远，并且可以通过远离矩形中心的像素数目来确定。在等式（2）中，dist是L2距离变换。

应当指出的是，在一些实施例中，可以使用边缘点而非中心点来分析图案。在这些实施例中，模型和误差计算应当基于变化的空间位置来修改。

使用在操作414中执行的计算，方法400前进至操作416。在操作416中，处理元件301使用下面的等式（3）来确定最佳模型参数。在一个实施例中，仅那些其中

的

用在计算中，因为当

时，使用针对

和的这一配置的停止点的当前数目不能够实现所期望的空间准确度。因此，对于

、

和

的每个具体组合的总体误差项由等式（3）定义：

其中

应该被最小化以尽可能准确地绘制期望点。

一旦处理元件使用针对所有和

的各个停止点

分析每个图像的图案600，就使用以下关系来定义描述激光投影仪110的显示行为的模型数据库。对于

和

的停止点的最佳数目被声明为

，并且对应的误差被声明为

。使用零停止点

来初始化

的模型数据库条目，并且相应地其初始误差值

。使停止点的数目

迭代地增加1，并且其误差值

被评估且与

进行比较。如果存在针对其

的

，则使停止点的最佳数目

增加1。在一个示例中，t被设定为

。然后分析以

继续。

在图8中示出了操作410至416，图8图示出被裁剪、比较的测试图像610以及所产生的点的最佳数目被选择。参考图8，进行针对三个点（n=3、=150和=0.4）的命中和距离误差计算的分析工作流。如图8中所示，将测试图像610从相机图像平面扭曲到投影仪的虚拟图像平面并裁剪到中心点周围的区域。然后，应用自适应阈值化，并且计算误差

和

。

应当指出的是，距离和命中误差二者都可能对输入数据中的噪声敏感。在这些实例中，可以应用两个附加的后处理步骤来减少误差。首先，对于在固定距离

处的连续角度

而言，仅当对应误差也减少时，才将模型限制为具有较少的停止点

。否则，

被设定为

。其次，可以应用离群值去除程序来去除相同距离的连续角度之间的单个离群值。在一些实施例中，可选地，可以进行用以平滑模型和减少模型误差的方法。例如，如果连续角度的整个序列具有非单调变化，那么所有对应的

被分配给该序列内的停止点的最大数目。图7图示出针对一种类型的激光投影仪110的

的测量出的数据库条目的结果的可视化。如图7中所示，导出的模型参数取决于距连续点的长度（归一化距离）以及相对于所述连续点的角度。在该示例中，随着点之间的角度增加，需要更多的停止点以使内容更准确。

一旦模型参数被确定，方法400前进至操作418，并且投影仪110针对选择的内容被优化。为此，将输入内容（即，要被投影的内容）输入到模型中。例如，计算机的存储器可以存储模型或模型数据库，并且使用下面概述的过程评估该模型以求解用于内容的最小化总路径长度和需要最小量的停止点的路径遍历的最佳成角度。

如上所述，由激光投影仪110投影内容的速度和空间精度通常取决于受检流计镜的物理移动影响的因素。这些因素的示例包括：迟钝、谐振、以及用以在期望位置处显示各个点的加速度和减速度。在不能直接地控制镜子（例如，通过现成的激光投影仪）的实例中，该优化控制了全局参数（诸如，总体扫描速度、停止点的数目、连续点之间的角度、连续点之间的距离和停止点的数目），以改善投影仪110的速度和空间精度。

所述优化生成点序列路径，其中总体扫描时间被最小化，但是内容仍将被准确地显示在期望的位置处。另外，时间序列（多帧内容）应当被投影，以使得时空点分布尽可能地均匀地分布，以均衡地分布并进一步抑制感知的闪烁。

此外，在许多实例中，用于随机输入点序列的全局优化的扫描路径是NP-完全问题，并且不能在短的时间段内容易地求解。因此，选择下面的优化来找到足够接近全局最佳的近似解以实现期望的表现。然而，在提供更多时间的实例中，可以完全地求解优化路径。

可以针对静止帧内容和两个或多个移动或顺序内容帧二者来分析投影仪110。静止帧优化使距离和角度的误差成本最小化，而顺序帧包括附加的时间成本。

静止帧优化用于最小化投影每个点的投影仪110的总路径长度，同时通过考虑最佳成角度来减少用于投影点的时间。例如，为了优化含有

个点

的单个静止帧的扫描路径，处理元件301利用下面的等式（4）来最小化误差成本。

·距离成本定义为：

其中，

。

为了使距离成本与虚拟图像平面的分辨率无关，将对角线上的最大可能距离归一化为1.0。

·角度成本定义为：

。

在等式（6）中，是由路径

形成的点

处的角度，并且

是对存储停止点的所需数目的模型数据库

中的最近条目的查找。总成本在等式（7）中由两项的加权和给出：

。

如上所述地估计对于

和

的最佳值。使用k-opt方法最小化此误差。特别地，将2-opt应用于输入随机化的路径，并且只要有路径改善就启动。为了进一步改善解，之后可以应用3-opt。因为k-opt优化取决于路径的起始配置，所以可选地可以使用不同的起始配置启动所述过程几次并选择最好的解。也可以使用其它的解算器，诸如粒子群优化、Lin-Kernighan-Helsgaun启发式、最小生成树启发式、模拟退火、禁忌搜索或Christofides启发式。

在其中投影内容包括投影的两帧或多帧内容的实例中，所述优化考虑跨帧空间分布。例如，如果内容是

帧的动画点序列，则优化附加地均衡动画的连续帧中的点的时空分布。这有助于确保在近似相等的时间偏移内绘制接近的空间定位点，以确保整帧上的均等光分布，以减少局部变化的闪烁的感知。例如，不能够被控制的任何闪烁（诸如，由于内在物理特性）将被均等地跨每个帧并跨多帧分布以便不那么明显。

特别地，扩展静止帧优化以考虑时空一致性。用最近邻（NN）方法将在位置

处的帧

的解

初始化为先前的解。在一个实施例中，所述NN方法使用应用flann方法的kd树，并且对于

中的每个点，确定

中的NN的顺序位置，并且通过中的点的数目

归一化该位置。应当指出的是，每帧中的点的数目

可以是任意的。取决于速度约束，可以使用其它类型的最近邻搜索方法。使用相对顺序位置

，点被映射到针对

的对应绝对顺序位置。在找到NN之后，对这些进行排序，以使得具有那些点的路径最接近先前解中的最佳路径的开始。使用该方法，时空误差成本由下面的等式（8）定义。

用于时间优化的总体误差项然后被定义为等式（9）的扩展：

在一个实施例中，时间加权因子被设定为10，而

和

被最佳设定为100和1。然而，可以使用其它加权因子，并且可以基于被优化的具体投影仪而变化。替换地，相机可以用于生成加权估计。注意，在等式4、6和8中，对于索引

超出边界的情况，其以循环方式映射回到索引空间。

图9是优化的示意性表示。参考图9，在该示例中，（a）图示出通过使用导出的模型参数的距离和成角度来优化第一帧序列的随机路径遍历（b）。在下一帧中，所有点被映射到优化的先前帧的最近点，并且生成初始路径。该路径用作使用附加时间误差成本来优化帧的起始点（c）。对序列的下一个和每个连续帧重复这一相同过程（d）以获得最小化扫描时间和闪烁的空间时间路径（e）。

图10A图示出在优化之前由投影仪110投影的内容的帧。如图10A中所示，当在无停止点的情况下以随机顺序显示内容时，针对所述内容的空间位置（例如，星形设计的线和顶点）未被精确命中，并且点被渲染为笔画。然而，使用优化方法400，投影仪110被优化并且通过增加多个停止点和最佳绘制顺序来按照期望渲染内容。简而言之，通过对内容的点云应用全局优化以及考虑时间效应，本公开的方法可以显著地增强渲染点的空间对齐、渲染的美学（例如，当需要时，点相对于短划），以及降低投影仪110的总体扫描速度，从而减少闪烁和其它伪影。

以上说明书、示例和数据提供了如权利要求中所限定的本发明的示例性实施例的结构和使用的完整描述。虽然已在一定程度的特殊性的情况下或参考一个或多个单独实施例在上面描述了所要求保护的发明的各种实施例，但本领域技术人员可以对所公开的实施例进行众多更改而不脱离所要求保护的发明的精神和范围。因此设想了其它实施例。意图为在上述描述中包含的并在附图中示出的所有内容应当被解释为仅仅是特定实施例的例证而不是限制。可以对细节或结构进行改变而不脱离如以下权利要求中所限定的本发明的基本元素。

Claims (19)

1.一种用于优化用于显示内容的投影仪的方法，其包含：

通过处理元件接收与由投影仪在投影表面上投影的两个或多个测试图案相对应的多个测试图像，其中所述测试图案中的每一个包含至少两个点；

通过处理元件比较所述多个测试图像以评估与两点之间的距离相关的一个或多个投影仪特性；

通过处理元件生成表示所述一个或多个投影仪特性的投影仪模型；以及

利用所述模型来确定与所述投影仪在所述投影表面上投影的内容的像素相对应的光的投影路径。

2.根据权利要求1所述的方法，其中所述测试图案中的每一个进一步包含至少三个点。

3.根据权利要求2所述的方法，其中通过处理元件比较所述多个测试图像包含比较所述测试图像中的每一个中的测试图案内的中心点。

4.根据权利要求3所述的方法，其中所述中心点包含在第一投影点和最后投影点之间顺序投影的多个点。

5.根据权利要求3所述的方法，其中通过处理元件比较所述多个测试图像包含：

确定所述中心点是否由所述投影仪照亮；以及

确定所述测试图像中的所述中心点相对于所述测试图案中的所述中心点的期望位置的距离。

6.根据权利要求1所述的方法，其中所述处理元件进一步评估与所述测试图案中的连续点之间的角度相关的投影仪特性。

7.根据权利要求1所述的方法，其中所述处理元件进一步评估与由所述投影仪在所述测试图案中的连续点之间的许多停止点相关的所述一个或多个投影仪特性。

8.根据权利要求1所述的方法，进一步包含由所述投影仪投影所述内容。

9.根据权利要求1所述的方法，其中所述投影仪是激光扫描投影仪。

10.一种用于生成投影仪的投影仪模型以优化内容的投影路径的方法，所述方法包含：

通过相机捕获由所述投影仪投影的测试图案的多个图案图像；

分析所述图案图像以确定用于在所述图案图像中的每一个中捕获的每个测试图案的距离特性和角度特性；

基于每个测试图案的所述距离特性和角度特性创建表示所述投影仪的模型数据库；以及

利用所述模型数据库来优化与所述投影仪发射到投影表面上的内容相对应的光的投影路径。

11.根据权利要求10所述的方法，进一步包含基于至少一个点是否在期望位置处被照亮而将每个图案图像对照输入到所述投影仪的所述测试图案进行比较。

12.根据权利要求11所述的方法，进一步包含对照输入到所述投影仪的所述测试图案分析每个图案图像，以确定所述图案图像中的点与所述测试图案中的点之间的距离。

13.根据权利要求10所述的方法，进一步包含选择在所述图案图像中表示的所述测试图案的中心点周围的区域。

14.根据权利要求10所述的方法，其中每个测试图案包含第一点、第二点和第三点，其中所述第一点被第一个投影，所述第二点被第二个投影，以及所述第三点被第三个投影。

15.根据权利要求10所述的方法，进一步包含几何校准所述相机和所述投影仪以确定所述相机的图像平面和所述投影仪的图像平面之间的密集对应性。

16.根据权利要求10所述的方法，其中所述投影仪是激光扫描投影仪。

17.一种用于优化用于投影内容的投影路径的系统，其包含：

用于投影所述内容的激光投影仪；以及

电子地连接到所述激光投影仪的计算机，所述计算机包含存储器，所述存储器包括与所述投影仪的显示行为相对应的投影仪模型数据库，其中所述计算机被配置成分析所述投影仪模型以：

确定用于所述内容的在投影表面上的光的投影总路径的最小长度；以及

确定需要最小量的停止点的遍历投影路径的最佳角度。

18.根据权利要求17所述的系统，其中所述内容包含第一帧和第二帧，并且所述计算机被进一步配置成分析所述投影仪模型以均衡所述第一帧和所述第二帧中的内容的多个点的时空分布。

19.根据权利要求18所述的系统，其中所述内容包含第三帧和第四帧，并且所述计算机被进一步配置成分析所述投影仪模型以均衡所述第一帧、所述第二帧、所述第三帧和所述第四帧中的内容的多个点的时空分布。

Images