CN103765869B

CN103765869B - 混合图像分解和投影

Info

Publication number: CN103765869B
Application number: CN201280039723.1A
Authority: CN
Inventors: 谭玮宁; S·C·雷德
Original assignee: Image Cinema International Ltd
Current assignee: Image Emea
Priority date: 2011-08-16
Filing date: 2012-08-14
Publication date: 2017-12-12
Anticipated expiration: 2032-08-14
Also published as: US9961316B2; EP3675481A1; WO2013024430A1; US20140192076A1; EP2745505A4; CA2842572C; US9305384B2; US20160165199A1; JP6644103B2; JP2014529756A; CA2842572A1; EP2745505A1; CN103765869A; EP2745505B1; JP2018137789A

Abstract

混合图像投影系统和方法可以叠加输入图像的图像分量。输入图像可以被划分成更小分区，并且可以确定每个分区的至少一个参数。可以基于每个分区的参数将输入图像分解成多个更少相关的正交或者或者准正交图像分量。每个投影仪可以显示相应图像分量，从而可以在屏幕上光学叠加投影的图像。正交或者准正交图像分量的叠加可以导致在现有多投影仪图像系统中的图像叠加对投影仪间图像未对准更不敏感。叠加正交或者准正交图像可以用来避免可见图像退化，并且在多投影仪系统实现中提供更健壮的图像质量。

Description

混合图像分解和投影

有关申请的交叉引用

本申请要求标题为“Hybrid Projection for Enhanced Multi-ProjectorDisplay（用于增强的多投影仪显示的混合投影）”、于2012年8月16日提交的第61/575,117号美国临时申请的优先权，其整体通过引用包含于此。

技术领域

本申请主要地涉及图像投影系统并且更具体地（但是未必唯一地）涉及可以输出相互正交或者准正交的图像分量以用于在显示时叠加的图像投影系统。

背景技术

多投影仪系统可以用来叠加图像以实现各种益处，诸如更高亮度、无闪烁图像和具有大量减少的纱门效应的图像。当前多投影仪系统需要非常准确的投影仪间（即在投影仪之间）图像配准到子像素水平以实现可以从单投影仪系统实现的类似图像锐度。使用扭曲引擎以将一个投影的图像扭曲到另一投影的图像上的当前多投影系统可以在低于一个像素的精度内这样做。然而图像配准精度可能由于系统测量误差、光学非均匀性、随时间的热漂移和投影仪机械振动而退化。问题可能在投影图像的分辨率为诸如4096x2160（4K）或者更高时而恶化，因为这种分辨率可能需要用更精细空间对准精度来叠加。

可能在叠加的图像中造成图像退化的另一问题可能在扭曲一个图像以与另一图像匹配时出现，因为扭曲可能具有由数字像素再采样引起的图像质量限制。数字图像再采样引起的图像退化可能由于在再采样期间的或多或少高频信息损失而使图像显得更柔和、更少锐利。

当多投影中从投影仪叠加甚至更多投影的图像以进一步增加叠加的图像的动态亮度范围时，在投影的图像之间的对准精度可能变得更有挑战性。在这样的系统中，特别是如果投影的图像来自具有不同图像投影分辨率的投影仪，则叠加的图像中的图像可能更容易遭受对准退化，并且限制将在多投影系统中利用增加的投影仪数目实现的潜力。

希望提供系统和方法，其可以容许叠加的投影的图像的更大程度的图像对准误差而又允许感知的叠加的图像具有与如同从一个投影仪所投影的相同的图像质量。

发明内容

某些方面和特征涉及输出输入图像的图像分量以用于叠加，其中图像分量相互正交或者准正交。

在一个方面中，提供一种用于转换用于混合图像投影系统的输入图像数据的方法。输入图像数据代表输入图像。基于输入图像的内容将输入图像数据划分成至少两个图像分区。确定用于图像分区的参数，其中针对图像分区中的每个图像分区确定至少一个参数。通过基于参数分解输入图像来产生第一图像分量和第二图像分量。第一图像分量与第二图像分量正交或者准正交。第一图像分量由第一显示设备显示。第二图像分量由第二显示设备显示。第二图像分量叠加于第一图像分量上以产生最终图像。

在另一方面中，提供一种多投影仪系统。该多投影仪系统包括输入、处理器、第一系统功能模块、第二系统功能模块、第一投影仪和第二投影仪。输入可以接收代表图像的输入图像数据。处理器可以处理输入图像数据。处理器可以通过如下基于输入图像数据来输出第一图像分量和第二图像分量：基于图像内容将图像划分成图像分区并且将图像划分成第一图像分量和与第一图像分量正交或者准正交的第二图像分量。第一系统功能模块可以修改第一图像分量。第二系统功能模块可以修改第二图像分量。第一投影仪可以显示修改的第一图像分量。第二投影仪可以显示在修改的第一图像分量上叠加的修改的第二图像分量。

提到这些示例方面和特征不是为了限制或者限定本发明而是提供用于辅助理解在本公开内容中公开的发明概念。本发明的其他方面、优点和特征将在回顾整个公开内容之后变得清楚。

附图说明

图1是根据一个方面的用于混合图像投影系统的方法的流程图。

图2是根据一个方面的图像分解过程的多级结构和层级的流程图。

图3是根据一个方面的使用改型经验模式图像分解（MEMD）的混合图像投影系统的图像处理步骤的流程图。

图4图示根据某些方面的用于基于分区的自适应图像分解的图像分区子划分。

图5是根据一个方面的MEMD方法的一维（1D）横截面示例的图表。

图6是图示来自根据一个方面的MEMD方法的图像分解的二维（2D）示例图片。

图7描绘根据一个方面的使用MEMD在一个级别的图像分解的1D示例的图表。

图8是图示在来自在未对准之下的传统投影的结果和根据一个方面的混合图像投影的结果之间的叠加的图像质量比较的图片。

图9a-图9e图示在根据某些方面的MEMD方法中使用回退操作时的条件。

图10是根据一个方面的其中处理三分量彩色图像的MEMD方法的流程图。

图11是根据一个方面的具有双投影仪的混合图像投影系统的系统图。

具体实施方式

本发明的某些方面涉及混合图像投影方法和多投影仪系统。取代如在传统叠加多投影仪系统中那样向每个投影仪发送高度相关的相同图像，根据一些方面的一种混合图像投影仪可以将输入图像划分成更小分区并且确定每个分区的至少一个参数，然后基于每个分区的参数将输入图像分解成多个更少相关的正交或者准正交图像分量。每个投影仪可以显示相应图像分量，从而可以在屏幕上光学叠加投影的图像。即使正交或者准正交图像的基本性质可以不同于原始图像的基本性质，但是在叠加正交或者准正交图像时，图像质量可以与在理想地叠加原始图像时基本上相同，或者比在多投影仪系统中略微未对准叠加的原始图像时更好。正交或者准正交图像的叠加可以导致在现有多投影仪图像系统中的图像叠加对投影仪间图像未对准更不敏感。叠加正交或者准正交图像可以用来避免可见图像退化，并且在多投影仪系统实现中提供更健壮的图像质量。

通过将扭曲处理应用于具有较低空间频率的图像分量并且让具有较高空间频率的图像分量未扭曲，有可能即使在理想投影仪间对准的条件下仍能增加图像保真。此外，总系统图像强度分辨率（有时称为用于每种颜色的数字动态范围）可以按照至少投影仪总数的因子而增加。增加图像强度分辨率可以减少色带赝像，也称为彩色轮廓赝像。色带赝像可以在颜色和/或亮度的阶跃改变由于低颜色或者亮度分辨率而可见时出现。条带赝像可能在使用非常高对比度和高亮度投影仪时显著。根据一些方面的系统和方法可以提供用于混合异构投影仪、诸如具有不同图像质量性能特性（例如不同空间分辨率或者亮度流明或者对比度）的投影仪的灵活性。在立体双投影仪系统中，混合图像投影也可以去耦合在用于2D和3维（3D）显示的不同光源功率电平运行系统的照明控制。利用混合图像投影系统，可以实现独立于用于2D演示的最优设置来调整3D光电平以更好地满足对于3D演示的亮度需求的灵活性。对于2D演示，混合图像投影方法可以在由多个投影仪显示叠加的图像并且在叠加的图像之间存在空间未对准时提高显示的图像质量的健壮性。例如，使用根据某些方面的混合图像投影方法的双投影系统可以显示更好的图像质量，或者至少显示与显示叠加的相同图像中的两个图像的双投影系统相同的图像质量。用于显示叠加的图像的混合图像投影方法和系统可以避免产生比叠加相同图像的传统投影更差的图像质量。在多投影显示系统中使用混合图像投影方法可以是一种用于提高图像质量的低风险解决方案。混合图像投影可以使得多投影系统能够组合来自多投影系统和单投影系统二者的益处而又避免二者的缺点。例如，混合图像投影系统可以创建叠加的图像，其中图像锐度类似于单个投影仪投影的图像的图像锐度，但是却可以有增加的图像亮度和减少的图像纱门赝像。

给出这些示意性示例以向读者介绍这里讨论的主要主题内容而未旨在于限制任何权利要求的范围。以下段落参照附图描述各种附加方面和示例。

图1是图示根据一个方面的用于混合图像投影系统的方法的框图。混合图像投影系统可以是包括多于一个投影仪的投影系统。每个投影仪可以是相同类型或者各自可以是不同类型。对于具有n个投影仪的多投影仪显示系统，n个投影仪可以显示图像并且为屏幕上的最终图像做贡献。可以叠加n个图像以提升图像亮度。在传统双数字投影系统中，每个投影仪是相同类型、显示相同图像并且需要校准过程以准确地对准图像。周期性地重复校准过程以维持最优图像显示性能。在已经最优地校准投影系统之后，在扭曲操作中执行的数字再采样可能在屏幕上显示的最终图像中引入图像细节损失。如果使用更多投影仪，则可能增加图像细节损失。若干因素可能使得叠加的图像之间的空间对准随时间改变。这样的因素可以包括热振动和机械振动。根据一些方面的混合图像投影方法可以通过用处理器计算每个投影仪可以为叠加的图像而显示的不同图像分量集来帮助减少改变对图像质量的影响。

如果被叠加的两个图像高度地相似并且在空间域中或者在频域中具有相关的图像信息，则由于它们的非正交性，表示可以高度地非零和重叠并且可能导致存在从一个图像空间到另一图像空间的大量信息分量重叠。从空间对准的略微移位可能在显示的最终叠加的图像中引起大量空间失真和寄生频率分量。造成空间失真的此信息重叠可以从傅里叶变换理论方面进行解释。

在线性系统中，如果两个图像在空间域中叠加，则这两个图像也在频域中叠加。傅里叶变换理论可以表明在空间域中的移位可以转换为在频域中对信号的傅里叶变换相乘的相移项。如果两个信号在它们的傅里叶变换中非平凡地重叠，则这可能向最终叠加的信号（即图像）添加失真。为了使系统对移位不敏感或者基本上不敏感，两个信号可以具有最小化的频率重叠。例如，如果两个信号（即图像分量）相互正交，则空间配准精度可以对最终叠加的信号具有最小影响。如果它们准正交，则可以减少对空间相对移位的敏感度。

如果两个图像信号被正规化并且两个图像信号的空间2D卷积（数学上也称为内积或者点积）接近常数或者0，则这两个图像信号可以称为相互正交或者准正交。当两个傅里叶变换的相乘接近除了在频率零之外各处均为零的增量（delta）函数时，也可以表示正交关系。两个正交或者准正交图像通常可以表现出在空间域中的更少相似性和在频域中的更少不相交性。

假设两个图像是f和g，每个图像的傅里叶变换分别是F和G。正交性测量可以是(f*g)(x)＝∫∫f(y)g(x-y)dy＝c或者F·G＝cδ(ω)。图像数据可以由计算机生成或者用诸如相机中的图像传感器捕获。可以生成由计算机生成的图像数据，从而在根据一些方面的混合图像投影方法应用于该计算机生成的图像数据时，可以计算理想正交图像分量以供显示。在一些情形中，图像数据未使得有可能生成理想正交图像分量并且可以有可能通过使得(f*g)(x)≈c或者F·G≈cδ(ω)而生成准正交图像分量。为了叠加一对准正交图像，可以大大降低图像质量对空间移位的敏感度。正交性的测量可以应用于当两个信号之一未被正确地正规化在0至1的范围中时的例外情况。在这一情况下，以上正交性测量仍然可以用来评估移位不敏感度。

例如，一个图像F仅包含低频信息（即它不具有在阈值频率ω_T以上的任何信息），并且存在另一理想图像G，该理想图像仅包含高频信息，使得它不具有在ω_T以下的任何信息。由于两个图像的点积F·G＝0，所以F和G是正交图像。在两个叠加的正交图像之间的空间相对移位可以对最终显示的图像质量具有最小影响。只要F·G很小（因此准正交），低频图像和高频图像可以对叠加中的少量配准误差不敏感。然而可能难以获得这样的两个图像分量，其中一个仅有在ω_T以上的频率分量而一个具有在ω_T以下的频率分量。

在另一示例中，在阈值频率ω_T以下的图像信息称为低频信息，并且在ω_T以上的图像信息称为高频信息。F是仅包含在下阈值频率与上阈值频率之间的中频分量（ω_T1至ω_T2）的带通图像，其中ω_T在ω_T1与ω_T2之间，并且另一图像G包含在图像F覆盖的频率以外的频率，这些频率包括在下频率阈值ω_T1以下的频率和在上频率阈值ω_T2以上的高频。在这一情况下，F和G二者均包含低频信息的某个部分和高频信息的某个部分。通过调整阈值频率ω_T1和ω_T2，F和G可以具有低频能力和高频能量的任何组合。F和G均不能具有显著低频信息或者高频信息。利用这一示例图像信号对，由于F·G也很小，所以对于在两个叠加的图像分量之间的对准误差的敏感度可以由于准正交性而变得很低。

在另一示例中，图像F是正规图像，并且图像G未被正规化、但是具有非常小的量值。由于F·G很小，所以可以降低对在两个叠加的图像分量之间的对准误差的敏感度。

在另一示例中，两个图像F和G二者都仅包含低频信息（也即，图像不具有在相同或者不同阈值频率以上的任何信息）。取决于阈值频率有多低，F·G可以除了针对非常接近零的频率之外都很小——与增量函数相似。由于这一准正交性，对在两个叠加的图像分量之间的对准误差的灵敏度可以很低。

在另一示例中，两个图像F和G二者均包含某个数量的低频信息（即图像具有在相同或者不同阈值频率以下的信息）。一个图像也具有高频信息。在这一情况下，F·G可以针对除了非常接近零的频率之外都很小——与增量函数很像。由于这一准正交性，对在这两个叠加的图像分量之间的对准误差的灵敏度可以很低。

在另一示例中，两个图像F和G二者都仅包含高频信息（即图像不具有在相同或者不同阈值频率以下的任何信息）。取决于阈值频率有多低，F·G可以在低频附近很小而在更高频率处很大。这些图像可以相互更少正交，并且对在两个叠加的图像分量之间的对准误差的灵敏度可能很高。

在另一示例中，一个图像F包含范围从低到高的正常频率信息，并且另一图像G是正规化的白噪声图像（即G恒定）。F·G可以与F成比例并且可能不会接近增量函数。图像相互更少正交，从而对在两个叠加的图像分量之间的对准误差的灵敏度也可能很高。

在根据一些方面的混合图像投影仪中，处理器可以将输入图像分解成用于n投影仪投影系统的n个准正交图像信号。这n个信号可以相互几乎正交，从而在叠加的准正交图像之间的空间对准的略微移位不会引起大的感知的图像质量退化。叠加的图像的合成图像可以具有与双投影系统叠加的两个原始图像相同或者更好的图像质量，并且合成图像可以比从单个投影仪显示的原始图像更亮。在混合投影仪中使用的图像分解算法可以是在数学上准确的并且提供如下约束，该约束导致图像分量值为非负并且在每个显示器或者投影仪的亮度范围能力内。

在图1中，从图像播放服务器向可以实施根据一些方面的混合图像投影方法的多投影仪显示系统发送用于2D显示的原始输入图像数据（105）。输入图像可以是伽马校正并且可以视为在伽马校正空间中。伽马校正的图像可以被伽马解码到线性颜色空间中（107）用于后续步骤和算法。在已经将图像数据转换到线性空间之后，图像分析算法可以用来确定可以如何基于图像局部内容将图像划分成多个图像分区（110）。图像分区可以具有相同大小或者不同大小。例如在一个方面中，3x3图像像素方形分区可以用来将图像划分成规则的块网格，从而导致每个图像分区具有相同大小。在另一方面中，分区分解算法可以用来将图像划分成不规则的块网格、诸如四叉树结构，其中较小分区可以在重纹理化的图像区域中展现，稀疏、较大分区可以在相对平滑的图像区域中出现。基于图像分区的处理可以帮助调整图像分解滤波器的参数以适应于局部图像内容。例如，如果在图像分解算法中使用空间低通滤波器，则此低通滤波器的截止频率选择可以与局部图像内容频率分布成比例，从而得到最优平衡的局部频率分离，这可能对于减少赝像的异常像素有用。异常像素可以是相对于其他图像像素具有显著不同值的像素。较小分区可以允许更好地跟踪局部高频特征，而较大分区可以适合于稀疏特征和相对平滑的区域。基于图像内容将图像划分成分区可以提供最优适应于用于图像分解算法的局部图像内容（115）并且将信号分解成最少相关和平衡的图像分量，或者称为准正交分量。基于分区的图像准正交分量分解可以帮助减少可能回退像素的数目并且提高总图像质量。回退像素可以是如下那些像素，这些像素包含高频图像信息并且被假设在图像分量之一中、但是具有超过正规化的最大阈值（显示设备的约束）的值。对于回退像素，超过最大阈值的值数量可以回退到相对于最大阈值未饱和的其他图像分量。回退像素可以是在未对准情况下在投影的图像分量中的赝像的来源并且如果投影仪在亮度、颜色和像素大小上不均匀的话则是彩色赝像的来源。可以修改被标识为回退像素的像素以防止像素赝像在显示的叠加的图像中出现。

块（115）可以对于图像分解有用。图像分解可以包括自适应图像分解成每个投影仪可以显示的多个准正交图像分量。如前面描述的那样，可以存在用于构造准正交图像分量集合的若干方法和方式。在一个方面中，可以使用改型经验模式分解（MEME）方法。然而也可以用相似方式应用许多其他方法以实现准正交性分解。

在n投影仪系统中，在MEMD图像分解之后，第一图像分量L₀可以包含具有低频带和高频回退像素的组合的输入图像信息。包含在不同频带中的不同级别的细节信息的其他图像分量可以被标识为L₁、L₂至H_n-1。以下关于图2更具体描述根据一个方面的此其他图像分量和图像分量的层级的标识。每个图像分量可以包括应用于图像分区内的输入图像的局部自适应滤波过程所产生的不同空间频率分量。以下关于图3更具体描述图像分解算法的一种方法。

在将输入图像分解成多个分离分解的图像分量之后，可以经由分离的附加图像处理路径向分离的投影仪（130，135，137）提供每个图像分量以供在屏幕上显示。附加图像处理路径（120，125，127和140，145，147和130，135和137）中的每个图像处理路径可以用相似方式处理分离分解的图像分量。每个分解的图像分量可以首先在每个图像分区内在块（120，125，127）处通过高动态范围（HDR）取整函数R进行处理以提高整个混合图像投影仪系统的亮度动态范围表示能力或者颜色分辨率。HRD取整函数之后的分解的图像分量可以通过用于投影仪间配准的基于像素的几何扭曲过程来修改并且利用伽马校正以供显示。每个成员投影仪可以在块130、135和137中接收和显示每个处理和校正的图像分量。块180代表当图像分量被投影并且在屏幕上光学叠加时的合成改进的图像。

在一个方面中，可以在图像处理设备或者图像增强器硬件中实施块107、110、115、120、125和127。块130、135和137代表在每个投影仪内的图像处理，该图像处理用于在屏幕上显示图像以产生合成图像（180）。

图2图示根据一个方面的图1中的块115的图像分解过程的多级结构和层级。图像分解核心算法可以是MEMD分解算法。MEMD分解算法可以在多级中分解图像。每级分解可以将输入图像（也称为本征模式函数（IMF））划分成两个图像分量——一个是当前级、最小模式图像，而另一个是下一级IMF图像。对于投影系统应用，接收的输入图像数据（205）可以在线性空间中。对于双投影仪系统，需要一级MEMD分解（210）。假设k代表分解级，k=0。第一图像分量是L₀（214），第二图像分量是H₀（215）。对于具有多于两个投影仪的投影仪系统，MEMD可以继续下一级k=1分解（220）以产生下一级第一图像分量L₁（224）和第二级第二图像分量H₁（225）。在这一级MEMD，前一级第二图像分量H₀变为当前级的IMF。在级别k=1，输出三个分解的图像分量，这些图像分量是图像分量L₀（214）、L₁（224）和图像分量H₁（225）。两级MEMD可以用于三投影仪混合图像投影系统。如果使用四个或者更多投影仪，则第三级或者更多MEMD可以用来生成新图像分量（230）。在级别k=2，图像分量H₁（225）可以变成用于下一级（级别k=3）分解的新IMF，直至为每个投影仪生成图像分量。对于n投影仪混合投影系统，n-1级MEMD图像分解可以用来生成n个分解的图像，这些图像是L₀（214）、L₁（224）、L₂、…L_n-1（234）和H_n-1（235）。多级MEMD可以形成二元树式分解层级，其中每个中间级生成输出节点图像L_k，最后一级IMF细节图像H_k除外，该IMF细节图像可以是输出的节点图像。

图3图示将改型经验模式图像分解（MEMD）用于n投影仪系统的混合图像投影的图像处理步骤。假设来自播放服务器的输入图像数据在伽马校正空间中，并且初始地，MEMD在第一级k=0（305），图像可以首先被伽马解码并且被转换成线性空间图像X（307）。

在将图像数据转换到线性空间之后，可以在当前级k将在每个分区内的图像分解成两个图像分量。假设线性空间图像是X，两个图像分量分别是L和H，并且最终叠加的图像是2X，希望的图像分解方法可以满足以下各项：

1）正交性或者准正交性：分量的傅里叶变换满足或者基本上满足F(L)·F(H)＝δ(ω)；

2）关于原始图像的图像保真和完整：对于任何图像像素位置p，L_(p)+H_(p)=2X_(p)；

3）非负约束：L_(p),H_(p)>=0；

4）亮度实际限制：L_(p),H_(p)<=1；

5）局部自适应：分解最优地适应于局部图像性质；以及

6）亮度平衡控制：mean(L)＝α·mean(H)，其中“mean()”代表图像分量的平均亮度；α是将预定义并且大于零的期望比值。

在一个方面中，混合投影系统可以将空间域MEMD分解方法用于将图像分解成两个图像分量（L和H）。在一些实现中，可以使用以下步骤：

1）对于给定的输入2D图像X，确定将其划分成空间分区的最优方式。

2）在每个预定义的空间分区内，确定输入图像X的局部最小值及其位置；

3）确定平衡因子b并且通过将每个局部最小值乘以b来修改每个局部最小值。

4）将修改的局部最小值插值到低频表面中作为第一图像分量L，使得叠加的图像2X的值不小于第一图像分量L的值（即L=min(L,2X)）。

5）从叠加的图像2X的值减去图像分量L的值以获得第二图像分量H的值（即H=2X-L），该第二图像分量可以与图像分量L准正交，因为F(L)F(H)<F(X)²，其中“F()”代表傅里叶变换运算。

6）检测在图像分量H的值大于T时的分量值（其中T是X的最大可能值），并且图像分量H中的过量值回退到图像分量L的值（即在L=L+max(H-T,0)时）。图像分量H大于T时的情形可能很罕见。

以下描述基于利用MEMD分解的以上混合投影。使用预定义函数的图像分析算法可以用来确定可以如何基于图像局部内容将图像最优地划分成多个图像分区（310）。图像分区可以具有相同大小或者不同大小。例如在一个方面中，方形3x3像素分区可以用来将图像划分成规则的块网格，从而导致每个块图像分区具有确切相同大小。在另一方面中，四叉树结构式分区分解算法可以用来将图像划分成不规则的块网格，其中若干较小块分区可以在重纹理化的图像区域中出现，并且较大块分区可以在相对平滑的图像区域中出现。

在确定图像分区之后，可以在每个分区或者块分区内标识用于每个分区的至少一个参数、例如2D局部最小值和那些最小值的位置（315）。如果图像是彩色图像，则可以针对彩色图像中包括的每个颜色分量（例如RGB、XYZ）确定最小值。可以将最小值及其位置定义为与它们的图像块分区内的最小值相等的值。这些值可以称为2D局部最小值，并且它们的位置可以称为局部最小位置。结果可以是2D不规则网状网格M_k，该网格具有针对每个块分区的已知局部最小值和该块分区中的值位置，其中在块分区中的其他位置具有未定义的值。这一网状网格可以用来生成输入2D图像X的连续平滑下边界表面并且可以是用于分解级k的第一图像分量L_k的初始估计。

在块320中，可以确定亮度平衡因子b_k。亮度平衡因子b_k可以用来自动控制在每个MEMD级k处对两个分解的图像分量L和H的平均图像亮度的平衡。每级MEMD可以具有它自己的独立亮度平衡因子。在双投影仪系统的一个方面中，两个分解的图像分量L与H之间的平均图像亮度可以相同或者相互很接近。对左投影仪和右投影仪的图像亮度的平衡可以最小化在左投影仪与右投影仪之间的热漂移，这可以最小化图像配准或者对准误差并且允许扭曲与系统最近被校准时一样有效地工作。可以实现的另一益处在于左图像与右图像之间平衡的热漂移可以最小化双投影仪设置中的配准退化。在左投影仪与右投影仪之间不平衡的热漂移可以造成不可预测的未对准退化。可以针对每种图像颜色i如下计算用于分解级k的亮度平衡因子：

M_k,i是在先前块（315）中计算的在级别k的图像通道i的2D局部最小值的不规则网状网格。X_k,i是在级别k的输入i通道图像值。例如b_ki=1意味着L和H图像分量值的平均亮度相同。τ是最终亮度平衡因子b_ki的预定义阈值或者限制。在mean(X)是很小的数时，亮度平衡因子可以很大并且可以受限于τ的值。这对于最小化可能不希望的亮度赝像可能是有用的。

在确定亮度平衡因子b_k之后，2D局部最小值网状网格M_k可以与b_k相乘以获得改型2D局部最小网状网格M_k’（即M_k’=b_k·M_k）（315）。块315的输出数据可以用来生成输入2D图像X的连续平滑下边界表面，其可以是用于分解级k的第一图像分量L_k。

在块325中，可以通过使用线性或者非线性方法来执行从M_k’到L_k的插值。以下描述线性插值器和非线性插值器的示例，但是插值不限于示例算法——可以使用任何线性和非线性分散数据插值算法。

在一个方面中，快速线性插值器可以用来将改型2D局部最小值网状网格M_k’平滑地插值到平滑的表面L_k。这一插值器是线性三角形插值器。对于每个非最小值，确定在M_k’内的值未定义的像素、最近三个已知邻居像素P₁、P₂和P₃。这三个邻居像素P₁、P₂和P₃可以形成三角形。未知像素v及其邻居像素具有值以及坐标v(x,y)、v₁(x₁,y₁)、v₂(x₂,y₂)和v₃(x₃,y₃)，从而：

可以求解以上线性系统以找出值v；a、b、c是变量。

在另一方面中，可以使用Clough-Tocher方法（即诸如在如下参考文献中说明的立方三角形插值器：Isaac Amidror,“Scattered data interpolation methods forelectronic imaging systems:a survey,”Journal of Electronic Imaging,2002年4月）。可以找出在插值像素周围的相同三角形邻居像素，并且可以将原始三角形P₁、P₂和P₃进一步拆分成最小贝塞尔补丁。v₁,v₂,v₃可以分别是P₁、P₂和P₃的三个顶点的三个值。b_3,0,0,b_0,3,0,b_0,0,3可以是P₁、P₂和P₃的重心坐标。b_1,1,1可以是插值像素的重心坐标。b_1,2,0,b_2,1,0可以是位于三角形边P₁P₂上的两个控制点的重心坐标。b_0,2,1,b_0,1,2可以是位于三角形边P₂P₃上的两个控制点的重心坐标。b_1,0,2,b_2,0,1可以是位于三角形边P₂P₃上的两个控制点的重心坐标。控制点的位置可以根据在P₁、P₂和P₃处的跨边界导数约束来确定。可以使用下式计算在位置b_1，1，1的插值的值v：

在另一方面中，也可以使用非线性插值。非线性插值器的示例是不规则双线性插值器。对于每个非最小值，可以确定在M_k’内的值未定义的像素、最近四个已知邻居像素P₁、P₂、P₃和P₄。这四个邻居像素可以P₁、P₂、P₃和P₄形成边界四边形。未知像素v以及邻居像素P₁、P₂、P₃和P₄可以具有值和坐标v(x,y)、v₁(x₁,y₁)、v₂(x₂,y₂)、v₃(x₃,y₃)和v₄(x₄,y₄)。“A”可以是在竖直坐标等于y时在边P₁P₃上的点。“B”可以是在水平坐标等于x时在边P₁P₂上的点。“t”可以是从P₁到A的距离，并且“s”可以是从P₁到B的距离。P的值可以由下式确定：

v＝v₁(1-s)(1-t)+v₂s(1-t)+v₃(1-s)t+v₄st （4）

另外，可以通过在像素对的任一边上的线性插值来计算s和t的值。在其中一对或者更多对四边形的边平行的情形中，可以使用与（4）不同并且更简单的公式。

在另一方面中，非线性和快速插值方法可以用来实现针对实时速度和良好图像质量的简化。方法可以是通过多内核高斯的递归反向注入插值（RIMG）。

一旦从先前块（315）计算M_k’、在级别k的修改的2D局部最小值网状网格，可以在块325中通过最近邻居插值器来快速计算插值表面L_k的初始估计。例如可以向M_k’中的未定义像素值填充最近邻居值（即它们属于的图像分区的最小值）。估计的表面可以是以下递归算法（RIMG）的起始点（j=0）。产生的图像可以通过具有第一较大内核大小和第一较大西格玛值的第一标准2D高斯滤波器进行滤波。经滤波的图像可以是模糊图像。在这一模糊图像内的像素值不可以小于输入图像X。产生的图像可以通过使用下式、反向注入原始最小值而进行更新，其中j是递归索引：

G(*)是高斯滤波。w是迭代总数。在最终迭代之后，是第一图像分量。

在块325中在分解级k获得平滑插值的下边界表面作为第一图像分量L_k之后，可以在块330中通过计算期望的叠加的图像(n-k)X与图像分量L_k之差为H_k＝(n-k)X-L_k来估计第二图像分量H_k。由于L_k是局部最小值，所以H_k可以为正，这可以满足非负约束。在块（335）中，可以分析第二图像分量H_k以利用亮度限制约束来检查它（即图像分量H_k不可以大于一个投影仪可以产生的亮度）。假设T是单个投影仪的X的最大可能值，并且Δ＝max(H_k-(n-k-1)T,0)，则Δ可以是回退图，该回退图可以是零。在块（345）中，可以检查回退图以确定它是否为零。如果它具有至少一个非零值，则在当前图像分解中的像素回退可以用来保证准确度和完整性质（即图像保真和完整）。回退图Δ可以与输入图像一起用来在块（340）中修改先前计算的第一图像分量L_k和第二图像分量。第一图像分量L_k可以变成L_k＝L_k+Δ。结果可以返回到块（330）用于在利用新更新的第一图像分量L_k计算第二图像分量H_k时的另一迭代。可以重复在块（335）中的计算和在块（345）中的回退图检查。循环可以继续直至在块（345）中的回退图为零。然后在块（350）检查是否已经分解图像分量。如果不是，则过程可以返回到块（310）以用k=k+1继续下一级分解算法，并且当前级第二图像分量H_k可以变成将在块（390）中进一步分解的输入图像。

在块（350）中的图像分解的最后迭代完成之后，图像分量可以被提供给块（355，365，375），分别用于HDR处理、用于空间配准的图像扭曲和用于显示的伽马校正。经处理的图像分量数据L₀、L₁、…、H_k可以被提供给块（360，370和380），分别供每个投影仪在屏幕上显示。

在块（355，365和375）中的HDR处理可以在n投影仪混合投影系统中实现增加的数字动态范围。通过将HDR取整函数应用于每个图像分量，最终组合的图像可以获得提高一位的精度，其中假设对HDR取整函数的输入图像具有足够像素值精确度并且每个投影仪使用12位无符号整数数据。在一些方面中，可以假设投影仪产生相同亮度。在其他方面中，当每个投影仪产生不同亮度时可以类似地推导不同的HDR取整函数。HDR取整函数可以是用于恰当处理和取整每个图像分量高精确度像素数据为12位投影仪整数的取整函数集，使得最终叠加的图像可以具有约12+log₂n位的像素值分辨率。例如，双投影仪系统可以递送13位数字动态范围。三投影仪系统可以递送13.585位数字动态范围。

在双投影仪系统中，用于第一投影仪的高精确度像素值可以是XL，并且用于第二投影仪的高精确度像素值可以是XR。可以设计HDR取整函数集以将两个图像分量的值取整成第一图像分量L和第二图像分量H这两个12位无符号整数，使得最终L+H可以具有十三位的精度。为了实现该精度，用于十三位的HDR取整函数可以如下：

1）对于投影仪1，L=floor(XL+XR-floor(XR)+0.25)

2）对于投影仪2，R=floor(XR+XL-floor(XL)+0.75)

对于n投影仪系统类似地，高精确度像素值可以是X_i，i=0,1,2,…,n-1，并且在每个投影仪中的12位图像数据可以是P₀、P₁、…P_n-1。用于(12+log₂n)位的HDR取整函数可以是：

对于投影仪i，

在图4中图示根据一个方面的用于基于分区的自适应图像分解的图像分区细分方法和布置的两个示例。使用固定的分区窗大小来将图像划分成更小分区、例如分区11、12、13、14、21、22、23、…和44的规则网格。在另一方面中，树式结构分区分解算法可以用来将图像划分成形成不规则网格的各种大小的分区，其中若干较小分区（例如分区1、2、4、5）可以在重纹理化的图像区域中出现，并且较大分区（例如分区0、3、6）可以在相对平滑的图像区域中出现。

基于图像分区的自适应处理可以帮助调整图像分解滤波器的参数以适应于局部图像内容。例如，如果在图像分解算法的一个示例中使用空间低通滤波器，则这一低通滤波器的等效截止频率的选择可以与局部图像内容频率分布成比例，从而造成最佳平衡的局部频率分离，该局部频率分离可以减少赝像的异常像素。较小分区可以允许跟随局部高频特征，而较大分区可以适合于稀疏特征和平滑的区域。基于图像内容将图像划分成相同或者不同大小的分区可以提供对局部图像内容的最优适应以用于图像分解算法，并且将输入图像分解成最少相关的图像分量（例如准正交分量）。基于分区的图像准正交分量分解可以帮助减少可能回退像素数目并且提高总图像质量，因为回退像素在投影仪未对准时可能是赝像的来源，并且在投影仪在亮度、颜色和像素大小上不均匀时则是彩色赝像来源。

图5图示图像分解方法MEMD的一维（1D）横截面示例。线502可以代表在大约120和220具有回退的第一图像分量。线504可以是与第一图像分量准正交的第二图像分量。第一和第二图像分量线502、504可以相加以重建原始信号，由具有采样点的线506代表。图像像素值可以是相同比例并且在从0至1的正规化范围内。

在图6中描绘来自MEMD的图像分解示例。左侧是分解的第一图像分量，并且右侧是分解的第二图像分量，该第二图像分量包含更多高频信息。

图7图示MEMD的一级图像分解的1D示例。竖轴代表像素值，并且水平轴代表像素位置。输入图像信号是曲线710。在迭代0中，本征模式函数1（710）的局部最小值720位于表面730中并且被平滑地插值到表面730中。图7的下部中所示残值曲线（750）是从输入信号710减去表面730的结果。

图8示出示例结果以供比较。在图8的左侧上是可以由显示相同叠加的图像的双投影系统显示的图像，并且在图8的右侧上是可以由根据一些方面的双投影仪系统显示的图像，诸如其中应用了MEMD方法的混合图像投影系统。利用每个双投影仪的两个显示的图像在叠加的图像之间具有3像素的未对准。右侧图像比左侧图像具有更锐利的图像。

图9a-图9e图示在根据一些方面的MEMD方法中可以使用回退操作的各种条件。回退可以辅助重建的图像的精度和保真。图9a和图9b示出曲线910、940，这些曲线代表来自相同投影仪中的两个投影仪的两个叠加的输入图像像素的值。曲线920、950分别代表图像曲线910、940的第一图像分量L。曲线的竖直水平代表针对水平方向上代表的每个空间像素位置、以代码值表示的图像像素的线性空间强度。输入像素值对于图9a和图9b中的曲线可以在0至1的范围中。图9a-图9e中所示对比度“c”可以代表两个像素值强度的差值。在图9a中，未使用回退，例如因为在第一图像分量值与叠加的输入图像像素值之间的对比度等于或者小于0.5。在图9b中，输入图像的该部分960具有大于0.5的高对比度，并且使用回退。

图9c、图9d和图9e代表三种回退情况，其中曲线的竖直水平代表针对在水平方向上代表的每个空间像素位置、以代码值表示的叠加的图像2X的图像像素的强度。图9c图示完全回退情形，其中叠加的输入图像具有等于2的强度值。对于这一情况，第一分解的图像分量L的值和第二分解的图像分量H的值是1。在图9d中图示部分回退情况。对于这一情况，叠加的输入图像980具有在1与2之间的强度值。第一分解的图像分量值可以在0与输入图像的值之间。第二分解的图像分量可以是1。在这一情况下的对比度可以在0.5与1之间。图9e图示无退回情形，其中叠加的输入图像990具有不超过1的强度值。第一分解的图像分量值可以在0与1之间，并且第二分解的图像分量值可以在0与1之间。在这一情形中的对比度可以不超过0.5。如果对比度等于1，则回退可以是完全回退。在这一情况下，在向第一分解的图像分量中添加回退像素之后，对混合图像投影仪的空间移位的免疫力回退到与在双投影系统中叠加相同图像相同的图像质量。混合图像投影仪不会引入附加赝像。其他情况是如图中所示在回退出现时的部分回退。部分回退可能造成对混合图像投影仪中的空间移位的免疫力这样的益处减少，但是显示混合图像与显示相同的两个图像的双投影系统比较通常可以提高最终重建的图像质量。

也可以处理彩色图像。图10图示将MEMD方法用于处理三分量彩色图像的一个示例。在一些方面中，该过程可以用于分解彩色图像以减少当混合图像投影仪经历较大像素移位时具有彩色赝像的风险。多数彩色赝像可以来自回退像素，在混合图像投影仪经历较大像素移位时，如果通过MEMD方法独立处理每个颜色通道，则这些回退像素表现为随机彩色赝像。图10中的图是一种可以用来保证彩色图像中的回退像素具有与在原始图像中一致的颜色的方法。在块1005接收彩色图像X，其中Xr、Xg、Xb是三个颜色分量。块1010、1020和1030使用描述的MEMD方法以将每个颜色分量图像分解成第一图像分量候选。在块1015、1025和1035，生成第二准正交图像分量，并且计算回退图。在块1040中收集三个回退图，然后通过将原始像素值与小的常数c求和来划分每个回退图的每个像素，该常数可以被选择成不超过图像强度的离散量化步长的一半。可以在块1060中选择和使用在三个颜色之间的最大像素比以与原始像素值和常数c的和相乘以获得用于三个颜色的回退像素值的新估计。新估计的回退像素一起可以形成新回退图，其中每个像素最多地保留它的原始色调值，而色饱和或者照度可能已经改变。只要这一新回退图为非零，就可以向每个在先第一图像分量添加回新回退图。由于添加保留色调的回退值，所以在第一图像分量中修改的像素可以保留原始外观，并且强度和色饱和可以改变。在该过程之后，在大的图像未对准情况下的总体彩色赝像可以减少并且更少可见。

图11图示定位于剧院1100中的混合投影的一个示例。可以在具有成排座位1125的观众席1120中的屏幕1110上显示叠加的图像。根据一个方面提供具有能够混合投影的双投影仪的投影棚1105。两个投影仪1104和1106包括可以具有用于处理图像数据的处理器的图像增强器设备1180和1185。在其他方面中，图像增强器可以驻留于一个投影仪中并且输出将由另一投影仪显示的图像数据。来自图像数据服务器1175的图像数据可以由处理器1170接收以执行图像分解并且可以产生正交或者准正交图像分量、诸如L和H。执行图像分解的处理器也可以执行其他过程、诸如分区分解和将图像数据去伽马到线性空间。图像数据服务器1175可以是回放设备或者接收和存储从远程位置用流输入的图像数据。来自图像分解的图像分量可以由每个投影仪中的系统功能模块1160和1165接收，其中可以执行附加图像数据处理、诸如HDR或者伽马校正或者扭曲。在其他方面中，系统功能模块可以驻留于一个投影仪中的一个图像增强器中。系统功能模块的过程可以由一个或者多个系统功能模块执行。来自系统功能模块的图像数据然后可以由每个投影仪通过投影透镜1140和1150投影到屏幕1110上以形成叠加的图像。在一些方面中，双投影仪是用于2D演示和/或能够分别用左和右眼图像编码单元1135和1145投影3D演示的混合投影系统。3D演示中的查看者可以佩戴对投影和编码的左和右眼图像解码的眼镜。在2D演示期间，可以去除左和右眼图像编码单元1135和1145。在3D演示中，可以不像2D演示中的混合投影那样将输入图像数据分解成图像分量。图像增强器设备1185和1180可以由用户配置或者能够自动检测图像数据处理何时用于具有或者不具有混合处理的2D演示以及何时用于3D演示。

这里讨论的一个或者多个系统不限于任何具体硬件架构或者配置。计算设备可以包括如下部件的任何适当布置，这些部件提供对一个或者多个输入调控的结果。适当计算设备包括基于多用途微处理器的计算机系统，这些计算机系统访问存储的软件，该软件将计算系统从通用计算装置编程或者配置成专门化的计算装置，该计算装置实施当前主题内容的一个或者多个方面或者特征。任何适当编程、脚本或者其他类型的语言或者语言组合可以用来在将在对计算设备编程或者配置时使用的软件中实施这里包含的教导。

可以在这样的计算设备的操作中执行这里公开的方法的诸方面。可以变化在以上示例中呈现的块的顺序——例如可以将块重新排序、组合和/或分解成子块。可以并行执行某些块或者过程。

尽管已经关于本主题内容的具体方面和特征详细描述本主题内容，但是将理解本领域普通技术人员在获得前文的理解时可以容易产生对这样的方面和特征的变更、变化和等效物。因而应当理解本公开内容已经出于示例而非限制的目的而加以呈现并且未排除包括如本领域普通技术人员将容易清楚的对本主题内容的这样的修改、变化和/或添加。

Claims

1.一种用于转换用于混合图像投影系统的输入图像数据的方法，所述输入图像数据代表输入图像，所述方法包括：

基于所述输入图像的内容将所述输入图像数据划分成至少两个图像分区；

确定用于所述至少两个图像分区的参数，至少一个参数针对所述至少两个图像分区中的每个图像分区而被确定；

通过基于所述参数分解所述输入图像来产生第一图像分量和第二图像分量，所述第一图像分量与所述第二图像分量正交或者准正交；

通过第一显示设备显示所述第一图像分量；以及

通过第二显示设备显示所述第二图像分量，所述第二图像分量叠加于所述第一图像分量上以产生最终图像。

2.根据权利要求1所述的方法，其中基于所述输入图像的内容将所述输入图像数据划分成至少两个图像分区包括：基于所述输入图像内的图像区域纹理细节将所述输入图像数据划分成所述至少两个图像分区。

3.根据权利要求1或者2所述的方法，其中所述至少两个图像分区包括第一图像分区和具有与所述第一图像分区不同大小的第二图像分区。

4.根据权利要求1所述的方法，其中通过基于所述参数分解所述输入图像来产生所述第一图像分量和所述第二图像分量包括通过以下操作来分解所述输入图像：

对所述参数插值以产生所述第一图像分量；以及

计算所述输入图像的倍数与所述第一图像分量之差，以产生所述第二图像分量。

5.根据权利要求4所述的方法，其中所述输入图像的所述倍数基于叠加至少所述第一图像分量和所述第二图像分量的、包括至少所述第一显示设备和所述第二显示设备的投影仪的数目。

6.根据权利要求1或者2所述的方法，其中所述最终图像包括与由单投影仪系统显示的所述输入图像至少两倍亮的亮度。

7.根据权利要求1或者2所述的方法，其中所述参数包括：

第一参数，所述第一参数是亮度平衡因子；以及

第二参数，所述第二参数是所述至少两个图像分区中的每个图像分区的最小值，

其中产生所述第一图像分量包括：

利用所述第一参数修改所述至少两个图像分区中的每个图像分区的所述最小值；以及

使用线性或者非线性过程，将所述至少两个图像分区中的每个图像分区的所述第二参数插值到下边界表面中。

8.根据权利要求4或者5所述的方法，还包括：

通过关于预定义限制分析所述第二图像分量来确定将修改所述第一图像分量；以及

响应于确定将修改所述第一图像分量，修改所述第一图像分量和所述第二图像分量，并且计算所述输入图像的所述倍数与修改的第一图像分量之差。

9.根据权利要求8所述的方法，其中所述预定义限制基于亮度。

10.根据权利要求8所述的方法，其中所述预定义限制基于保留原有色度。

11.根据权利要求1所述的方法，还包括：

应用于所述输入图像数据的每种颜色。

12.根据权利要求11所述的方法，其中所述颜色包括红、绿和蓝。

13.根据权利要求1或者2所述的方法，还包括：

通过将去伽马过程应用于所述输入图像数据来产生图像数据。

14.根据权利要求1或者2所述的方法，还包括：

在显示所述第一图像分量和显示所述第二图像分量之前，

将高动态范围取整函数应用于所述第一图像分量和所述第二图像分量；

将扭曲应用于所述第一图像分量或者所述第二图像分量；或者

将伽马校正应用于所述第一图像分量和所述第二图像分量。

15.根据权利要求1所述的方法，还包括：

标识所述第一图像分量或者所述第二图像分量中的至少一个图像分量的值，所述值为负或者大于所述第一显示设备或者所述第二显示设备被配置用于投影的最大亮度；以及

通过修改所述值来减少所述第一图像分量或者所述第二图像分量中的所述至少一个图像分量中的可视图像赝像。

16.根据权利要求1所述的方法，其中通过基于所述参数分解所述输入图像来产生所述第一图像分量和所述第二图像分量包括使用分解滤波器来分解所述输入图像；并且

针对所述至少两个图像分区中的每个图像分区、基于所述输入图像的内容来调整所述分解滤波器。

17.一种多投影仪系统，被配置用于执行根据权利要求1至16中的任一权利要求所述的方法，所述多投影仪系统包括处理器、所述第一显示设备、所述第二显示设备和系统功能模块。

18.一种多投影仪系统，包括：

输入，被配置用于接收代表图像的输入图像数据；

处理器，被配置用于通过如下来处理所述输入图像数据以及基于所述输入图像数据来输出第一图像分量和第二图像分量：基于图像内容将所述图像划分成图像分区，确定用于所述图像分区的参数以及将所述图像分解成所述第一图像分量和与所述第一图像分量正交或者准正交的所述第二图像分量，所述参数包括针对所述图像分区中的每个图像分区而被确定的图像分解参数；

系统功能模块，被配置用于修改所述第一图像分量并且用于修改所述第二图像分量；

第一投影仪，被配置用于显示修改的所述第一图像分量；以及

第二投影仪，被配置用于显示在修改的所述第一图像分量上叠加的修改的所述第二图像分量。

19.根据权利要求18所述的系统，其中所述处理器被配置用于将去伽马过程应用于所述输入图像数据。

20.根据权利要求18或者19所述的系统，其中所述系统功能模块被配置用于在所述第一图像分量和所述第二图像分量被显示之前，向所述第一图像分量或者所述第二图像分量中的至少一个图像分量应用：

高动态范围取整；

伽马校正；或者

扭曲。