CN109314773A - 具有颜色、亮度和清晰度平衡的高品质全景图的生成方法 - Google Patents

Abstract

在全景图中的拼接图像上进行彩色、亮度和清晰度平衡，可以补偿图像之间曝光、对齐以及其他差异。生成图像之间重叠区域中Y、U和V值出现次数的直方图。将Y‑值直方图转换为累积密度函数(CDF)，然后再转换为Y颜色转换曲线，再将其平均以生成一个更平滑的平均Y颜色转换曲线。通过这种平均，抑制了由颜色转换引起的噪声和图像细节损失。对于U和V颜色值，使用移动平均直接对直方图柱条进行平均，然后由直方图的移动平均值来生成CDF。对重叠的源图像和目标图像的CDF的U和V，生成颜色转换曲线。使用颜色转换曲线来调整源图像中的所有像素，以执行颜色和亮度平衡。

Description

具有颜色、亮度和清晰度平衡的高品质全景图的生成方法

技术领域

本发明涉及虚拟现实(VR)全景图的生成，更具体地，涉及拼接图像时颜色、亮度和清晰度的平衡。

背景技术

在一个典型的虚拟现实(VR)应用中，要拍摄360度全景图像或视频。用户佩戴特殊护目镜如头戴式显示器(HMD)等，他可以自主选择和改变其视角，以在360度全景空间中获得身临其境的体验。

随着VR照相机技术的进步和相机小型化，各种有趣且有用的应用是可能的。如GoPro相机之类的头盔可以被VR全景相机组替代，以允许在进行各种体育活动如山地自行车、滑雪、跳伞、旅行等时拍摄360度全景图。将VR相机安置在医院手术室里可以允许远程外科医生或医学生使用VR头盔或其他工具进行手术观察和交流。这些应用可能都需要非常准确地呈现虚拟空间。

如何拍摄和生成360度全景视频，那会影响VR体验品质。在使用多个相机时，两个相邻相机图像相交的区域经常有视觉噪声和失真，这会影响用户体验。

图1A-1E显示拼接图像以生成全景图像时的问题。图1A显示现有技术的VR环形相机。环形相机10有环形排列的多个相机12。相机12的这种布置使得能够拍摄360度全景。当相机12是摄像机时，就能拍摄全景视频。Google Jump就是VR环形相机的一个示例。

在图1B，图1A的环形相机是一圈生成高分辨率(HR)图像18的HR相机12，每个HR图像18是全景圆上的一段小弧。HR图像18彼此重叠，其中两个HR图像的细节以某种方式被合并在拼接区域19中。虽然HR图像18的大部分区域是良好的图像品质，但由于HR相机环中两个HR相机之间的视差和其它匹配误差，拼接区域19的图像品质会变差，导致图像噪声。

在图1C，相机12L、12R是图1环形相机10中的两个相邻相机。物体14被相机12L、12R拍摄。但是，由于物体14与相机12L、12R分别具有不同的距离和角度，因此，相机12L、12R在图像框16上的不同位置看到物体14。

在图1D，物体14出现在图像框架16上，作为由相机12L、12R分别看到的两个不同物体14L、14R。图像处理软件可以尝试估计物体14相对于每个相机12L、12R的深度以校正视差误差，但是深度估计可能不够精确且极具挑战性。物体匹配和深度估计会导致图像的非线性变形。如图1E所示，在相邻图像18L、18R拼接的交界处附近，失真会特别明显。测试图案就在图像18L、18R之间交界处失真。交界处的方格都被压扁并变窄了。这种失真是不希望的。

由拼接造成的图像问题可能有各种原因。曝光时间和白平衡可能因图像不同而不同。相机环中的每个相机可能使用不同的焦距。有些透镜可能变脏了，而其他透镜镜头保持干净。

图2显示现有技术全景图像中颜色和亮度的突变。两个图像120、122拼接起来以形成全景图像的一部分。图像120、122之间重叠区域110中的物体对齐得良好，但图像120、122之间的白平衡没有很好地匹配。特别地，图像120的天空明显比图像122的天空更暗。也许图像122中的直射阳光导致相机拍摄图像122使用了比相机拍摄图像120更短的曝光持续时间。也许由于图像122包括阳光而图像120却没有，所以要调整图像122中的白平衡以获得比图像120更亮的阳光。无论原因如何，当用户从图像120转到图像122时，这种白平衡不匹配会导致：图像120中黑暗天空，在重叠区域110中天空突然增亮的明显变化。

在前景光照中看到相反效果。图像122中的较亮天空扰乱了白平衡，使得前景中的广场在区域124明显比周围区域126更暗。在区域124和周围区域126之间的112、114上出现突变。这些突变112、114在实际场景中人眼是看不到的：它们是由相邻拍摄图像之间白平衡不匹配所产生的误差。这些光照突变是不希望的。

图3显示现有技术全景图像中的清晰度突变。两个图像130、132拼接起来以形成全景图像的一部分。在图像130、132之间过渡118附近的重叠区域中的物体对齐良好，但是图像130的细节明显更模糊和不那么清晰。在图像130、132拼接的过渡118上，图像132的清晰度细节和边缘极快地转变为图像130的模糊边缘。这种清晰度突变可能是由两个相机拍摄图像130、132的焦距差异引起的，或者其中一个相机的透镜变脏了而另一个相机的透镜是干清的。在图像之间拼接处的这种清晰度突变是不希望的。

图4显示现有技术全景图像中移动物体的错位误差。移动物体(一个人)位于两个相邻图像的重叠区域中。在理想情况下，没有错位，物体完全对齐，可以看作是一个单个物体。但是，由于错位，将两个图像拼接起来时出现双边缘136。错位会导致源图像和目标图像之间的不正确颜色转换，因为用于计算颜色转换曲线的内容(重叠区域)不匹配。一个图像中物体颜色可能会转移到缺少该物体的相邻图像上，导致颜色匹配错误。这也是不希望的。

已经有各种现有技术来调整拼接图像的颜色、亮度和清晰度。为了尝试正确地呈现中性色，像素亮度被全局调整以获得色平衡。色平衡是一个通用术语，可以包括灰平衡、白平衡和中性平衡。色平衡改变了整体的颜色混合，但通常是一种需要用户输入的手动技术。

伽马(Gamma)校正是一种非线性调整，使用伽玛曲线来进行调整。通常需要用户输入来选择或调整伽马曲线。

基于直方图的匹配来调整图像，使得图像的直方图匹配一个特定的直方图。当颜色与一个较暗的参考图像匹配时(像素从明亮值变为较暗值)，会产生噪声。当颜色与一个较亮的参考图像匹配(像素从暗变为明)时，会发生图像细节损失。图像之间重叠区域的错位会导致不正确的颜色匹配。

反锐化掩膜使用一个模糊的或“不锐化的”负图像来创建原始图像的掩膜。然后反锐化掩膜与正(原始)图像合并，产生一个比原始图像更模糊的图像。由于难以选择图像中的哪些部分进行锐化，因此反锐化掩膜会变差。

图5A-5C显示由现有技术的直方图匹配(使像素变暗)所产生的图像噪声。在图5A，图像140比周围图像142更亮，可能是由于较亮的白平衡或较长的曝光时间。图5B是使用直方图匹配使图像140中的亮像素变暗。但是，图像140的较暗区域可能会具有原始图像140里所没有的错误或噪声。图5C是图5B中蛋形建筑物的放大图。产生的噪声144沿着蛋形建筑物的上边缘，其中有阳光照射到图5A的原始图像140中该建筑物的上边缘。这些明亮-至-黑暗的噪声144是由现有技术的直方图匹配技术产生的，但该技术能够修复在前景广场中的白平衡误差。这些明亮-至-黑暗的噪声144是不希望的。

图6A-6B显示由现有技术的直方图匹配(使像素变亮)所产生的图像细节损失。图6A-6B显示具有黑暗天空区域的水平线场景的放大图。图6A是原始图像，尽管天空太暗，但背景中的山脉仍然可见。图6B是使用直方图匹配来使图像中的亮像素更明亮。但是，像素从暗到亮的整体变化导致背景山脉的像素也变得更明亮。山脉像素增亮使山脉部分消失在明亮的天空中。在两个灯柱之间，山脉轮廓不再可见。

如图6B所示，增亮天空像素来修正图像120的黑暗天空以便更好地匹配图像122的周围天空(图2)会导致细节损失。现有技术的直方图匹配会导致这种细节损失，尤其是对于图像的较亮部分。这种黑暗-至-明亮的细节损失是不希望的。

尽管直方图匹配、白平衡和其他现有技术对于消除全景图像拼接时的颜色突变是有用的，但这些技术仍然可能产生可见的噪声，或导致图像细节的损失。

期望有一种虚拟现实(VR)全景生成器，其减少或消除相邻相机所拍摄的图像被拼接时交界处上的噪声或细节损失。该全景生成器可以在图像交界处执行白平衡和清晰度调整，而不会产生新的噪声或损失细节。期望有一种使用颜色、亮度和清晰度平衡来更好地匹配拼接图像的全景生成器。

附图说明

图1A-1E显示拼接图像以生成全景图像时的问题。

图2显示现有技术全景图像中颜色和亮度的突变。

图3显示现有技术全景图像中清晰度的突变。

图4显示现有技术全景图像中移动物体的错位误差。

图5A-5C显示由现有技术直方图匹配(使像素变暗)产生的图像噪声。

图6A-6B显示由现有技术的直方图匹配(使像素变亮)所产生的图像细节损失。

图7是用于全景图生成而拼接图像的颜色和清晰度平衡方法的总体流程图。

图8是Y通道过程的详细流程图。

图9是U、V通道过程的详细流程图。

图10显示源图像与目标图像之间的重叠区域。

图11显示重叠区域所生成的直方图。

图12显示在直方图数据上运行Y通道过程曲线。

图13A-13C突出显示产生Y颜色转换曲线以及平均如何减少噪声和细节损失。

图14突出显示缩放亮度值以调整平均Y颜色转换曲线。

图15A-15C突出显示在生成CDF和颜色转换曲线之前对直方图进行平均的U、V通道过程。

图16A-16B显示具有直方图平均和没有直方图平均的U颜色转换曲线的示例图。

图17A-17B显示平均Y颜色转换曲线不会导致暗-到-明的细节损失。

图18A-18C显示平均Y颜色转换曲线不会导致明-至-暗的噪声。

图19是锐化处理的流程图。

图20突出显示在全景图所有图像上使用锐度区域。

图21A-21B突出显示使用图19的多阈值锐化处理的图像结果。

图22是全景生成器的框图，其在拼接图像上执行颜色、亮度和清晰度平衡。

具体实施方式

本发明涉及拼接图像校正的改进。以下描述使本领域普通技术人员能够制作和使用如在上下文中的特定应用及其要求的所提供的本发明。对优选实施例的各种修改对于本领域技术人员将是显而易见的，并且在此定义的一般原理可以用于其它实施例。因此，本发明不旨在限于所示和所述的特定实施例，而是符合与在此所披露的原理和新颖特征一致的最宽范围。

图7是用于全景图生成期间拼接图像的颜色和清晰度平衡方法的总体流程图。图像由全景相机拍摄，将相邻图像对齐以稍微重叠。在步骤210，加载来自全景相机的图像，并在步骤212，如果图像是RGB的格式，则将其转换为YUV格式。选择彼此相邻的两个图像，一个作为源图像，另一个作为目标图像。在步骤214，识别源图像和目标图像中都存在的重叠区域。重叠区域可以通过之前执行的一个校准过程来预定义。

在步骤216，对重叠区域中的像素，生成像素值的直方图。对重叠区域内所有可能的像素值，每个直方图显示重叠区域内一个像素值的出现次数。因此直方图显示了每个像素值出现的次数。对Y生成一个直方图，对U生成另一个直方图，对V生成第三个直方图，源图像和目标图像总共有6个直方图。只有重叠区域内的像素才被包含在这些直方图中。

亮度Y值与色度U和V值分开处理。稍后图8显示Y通道过程220，其产生源图像和目标图像重叠区域的累积密度函数(CDF)，产生Y的颜色转换曲线，然后平均Y转换曲线。图9显示U、V通道过程230，首先对U和V直方图进行平均，然后产生源图像和目标图像重叠区域的CDF，接着使用这些CDF来生成U的颜色转换曲线和V的颜色转换曲线。这些颜色转换曲线用于调整源图像中的Y、U和V值，以产生一个具有最新调整YUV值的调整后源图像。

在步骤242，对整个源图像，调整后的Y、U和V值被合并以形成新的YUV像素。这些新的YUV像素替换源图像中的旧YUV像素。在步骤244，将源图像和目标图像拼接起来，例如通过对整个源图像的新YUV值使用一种混合算法，包括重叠区域。然后执行锐化过程250(图19)。

图8是Y通道过程的详细流程图。Y通道过程220接收源图像的Y直方图和目标图像的另一Y直方图。这些直方图仅计数重叠区域中的像素。

在步骤222，由源图像和目标图像的Y直方图产生累积密度函数(CDF)。然后，在步骤224，由这两个CDF产生Y颜色转换曲线。接着，在步骤226，对该颜色转换曲线进行平均以使其平滑，产生平均Y颜色转换曲线。可以使用移动平均或滑动窗口。在步骤228，使用平均Y颜色转换曲线来调整源图像的像素以生成整个源图像的新调整Y值。然后，在步骤229，这些新调整Y亮度值按比率进行缩放。缩放比率是Y颜色转换曲线中的最亮Y值除以平均Y颜色转换曲线中的最亮Y值。这样将像素放大至最亮值，以补偿由于平均而导致的任何亮度损失。

图9是U、V通道过程的详细流程图。U、V通道过程230接收源图像的U直方图和V直方图以及目标图像的另一U直方图和V直方图。这四个直方图仅计数重叠区域中的像素。

在步骤232，对这四个直方图进行移动平均。在步骤234，由源图像和目标图像的U和V直方图的这些移动平均生成累积密度函数(CDF)。在步骤236，由这四个CDF生成U和V颜色转换曲线。在步骤238，使用U颜色转换曲线来调整源图像的像素U值，以生成整个源图像的新调整U值。同样，在步骤238，使用V颜色转换曲线来调整源图像的像素V值，以生成整个源图像的新调整V值。

图10显示源图像与目标图像之间的重叠区域。源图像300和目标图像310在源重叠区域303和目标重叠区域313中重叠。对于全景图中的所有相邻图像对，重复图7-9的过程，全景图中的每个连续图像都是一次源图像和另一次的目标图像。

图11显示为重叠区域而生成的直方图。对于图像中出现的每个子像素值，每个直方图都有一个柱条。每个柱条的高度是重叠区域内具有该子像素值的像素数量计数。源-Y直方图302显示源图像300中重叠区域303内的Y值计数。源-U直方图304显示源图像300中重叠区域303内的U值计数，源-V直方图306显示源图像300中重叠区域303内的V值计数。

类似地，对于目标图像310，目标-Y直方图312显示重叠区域313内的Y值计数，目标-U直方图314显示重叠区域313内的U值计数，目标-V直方图316示出重叠区域313内的V值计数。总共生成6个直方图。

图12显示在直方图数据上运行Y通道过程曲线。在图12A，源-Y直方图302上的数据是关于源图像重叠区域内的Y值分布。CDF曲线332是直到源-Y直方图302中那个点的Y值累计和。CDF曲线332对于源-Y直方图302中的每个非零柱条从左边最小Y值上升到右边最大Y值。较大柱条使CDF曲线332上升较多。以类似方法形成目标-Y直方图312的CDF曲线342，但使用目标图像重叠区域的数据。

图12B显示没有直方图柱条的源CDF曲线332。CDF曲线332的形状是先缓慢上升，然后快速上升。这个弯曲曲线形状是由源图像在重叠区域中高Y值(亮)像素多于低值(暗)像素而造成的。

在图12B还显示没有直方图柱条的目标CDF曲线342。目标CDF曲线342的形状是先快速上升，然后变平坦，缓慢上升。该平坦曲线形状是由目标图像在重叠区域中低Y值(暗)像素多于高值(亮)像素而造成的，如目标-Y直方图312(图12A)所示。

在图12C，源CDF曲线332和目标CDF曲线342被合并以生成Y颜色转换曲线352。产生相同累积计数的源Y值和目标Y值被匹配在一起，并被绘制为Y颜色转换曲线352。

可以使用源Y值来查找该Y颜色转换曲线352，以获得新调整源Y值。但是，发明人已经注意到，Y颜色转换曲线352的斜率可能会有突然变化，发明人认为这种斜率突变会导致如图5所示的噪声。因此，发明人使用移动平均来平滑Y颜色转换曲线352以生成平均Y颜色转换曲线354。

在调整源图像中像素Y值时，使用平均Y颜色转换曲线354而不是Y颜色转换曲线352。使用平均Y颜色转换曲线354会产生更少的噪声，因为平均导致平均Y颜色转换曲线354的变化率小于Y颜色转换曲线352的变化率。

令人惊讶的是，平均可以帮助消除噪声问题和细节问题损失。即使噪声和细节损失发生在相反的极值上，但它们都通过平均来解决，这样可以降低极值。

图13A-13C突出显示生成Y颜色转换曲线以及平均如何减少噪声和细节损失。

在图13A，源CDF曲线332和目标CDF曲线342合并。每个累积计数值仅在每个图表中出现一次。对于每个累积计数值，源CDF曲线332的源Y值和目标CDF曲线342的目标Y值被提取，并被合并成一对。

例如，一个大的累积计数值与源CDF曲线332相交于Y值210上。这个相同的大的累积计数值与目标CDF曲线342相交于Y值200上。参见与源CDF曲线332和目标CDF曲线342相交的上虚线。因此，一对(源，目标)是(210，200)。

另一个较小累积计数值与源CDF曲线332相交于Y值150上。这个相同的较小累积计数值与目标CDF曲线342相交于Y值30上。参见与源CDF曲线332和目标CDF曲线342相交的下虚线。因此，另一对(源，目标)是(150，30)。

对所有其他累积计数值，以类似方式提取这些(源，目标)对。然后将这些(源，目标)对绘制为如图13B所示的Y颜色转换曲线352，其中x轴是每对的源Y值，y轴是每对的目标Y值。

图13B显示(源，目标)对(210，200)与Y颜色转换曲线352相交，对(150，30)也一样。但是，当Y颜色转换曲线352被平均以生成平均Y颜色转换曲线354时，获得不同的对。源Y值210与平均Y颜色转换曲线354相交在170而不是在200，因此对(210，200)被平均为(210，170)。同样，源Y值150与平均Y颜色转换曲线354相交在50而不是在30，因此对(150，30)被平均为(150，50)。

使用平均Y颜色转换曲线354而不是Y颜色转换曲线352使得新调整Y值变得不那么极端。使用170，而不是200，使用50，而不是30。使用Y颜色转换曲线352，源图像中Y值的差异是200-30或170，使用平均Y颜色转换曲线354，Y值差异是170-50或120。由于120小于170，所以应该减少了任何虚假的噪声。这些不太极端的Y值可以减少噪声。

在执行颜色转换时，通过使用平均Y颜色转换曲线354，源图像中所有Y值210的像素被转换为新Y值170。同样，源图像中所有Y值150的像素被转换为新Y值50。源图像中的任何Y值，可以通过使用平均Y颜色转换曲线354来查找，以找到新Y值。

当源图像明亮时，如源-Y直方图302所示，当目标图像黑暗时，如目标-Y直方图312所示，(图12C)Y颜色转换曲线352的形状在中间将明显弯曲凹向上，如图12C和图13B所示。明显弯曲意味着亮度值突然变化，这会导致噪声产生。

或者，当源图像较暗而目标图像较亮时，(图13C)颜色转换曲线的形状将是凸出一平坦区域。平坦区域意味着亮度值变化很小且可能饱和。饱和会导致图像细节损失。

将Y颜色转换曲线352进行平均以生成平均Y颜色转换曲线354，使得形状被平滑，从而减少可能导致产生暗-到-亮噪声的任何弯曲(图13B)。平均也使得图13C中的Y颜色转换曲线352的平坦饱和区域变得没那么平坦，会更倾斜，如平均Y颜色转换曲线354所示。平坦饱和区域中的这种斜率上升减少了细节损失问题。因此，对Y颜色转换曲线352进行平均并使用平均Y颜色转换曲线354可以减少噪声(图5，18)，并减少细节损失(图6，17)。

图14突出显示缩放亮度值以调整用于平均Y颜色转换曲线。图8的步骤229在图14中以图形方式示出。

如图14的曲线图所示，平均的Y颜色转换曲线354比Y颜色转换曲线352更平滑，使用平均Y颜色转换曲线354消除了Y颜色转换曲线352上的突变。当较亮的源像素被调整为较暗的像素时，发明人认为Y颜色转换曲线352上的突变会导致噪声。

对于一些YUV像素编码，最大Y值MAX是235。该最大Y值MAX与Y颜色转换曲线352相交于点A。但是，当使用平均Y颜色转换曲线354时，该最大Y值MAX与平均Y颜色转换曲线354相交于一个较小值B。由于B小于A，使用平均Y颜色转换曲线354不会将Y值完全扩展到0到235的完整Y范围。这是不期望的，因为饱和物体如天空中云，对于所有图像都可能具有相同的饱和值，以便更好地进行匹配。

为了补偿由于平均而引起的亮度范围减小，新调整的Y亮度值按比例A/B进行缩放。缩放比率是Y颜色转换曲线中的最亮Y值除以平均Y颜色转换曲线中的最亮Y值。这样将像素放大至最亮值，以补偿由于平均而导致的任何亮度损失。

图15A-15C突出显示在生成CDF和颜色转换曲线之前对直方图进行平均的U、V通道过程。U、V通道过程230(图9)不同于Y通道过程220(图8)，因为Y过程生成CDF和Y颜色转换曲线352后再进行平均，而U、V过程先对直方图进行平均，然后才生成CDF和颜色转换曲线。Y通道过程220执行颜色-转换-曲线平均，而U、V通道过程230执行直方图平均。

使用该过程，相邻颜色值倾向于具有相似的颜色计数(直方图柱条高度)。而且，当对直方图进行平均时，颜色分布更均匀。这样就减少了由于错位而产生的额外颜色引入。

在图15A，源-U直方图304的数据是关于源图像重叠区域内的U值分布。产生这些直方图柱条的移动平均值，并将其显示在图上作为平均源-U直方图362。类似地，源-V直方图306上叠加有平均源-V直方图366。

目标-U直方图314上叠加有平均目标-U直方图364，目标-V直方图316上叠加有平均目标-V直方图368。与用于生成平均Y颜色转换曲线354(图12C)的较长移动平均值相比，较短的移动平均值可以用于使这些平均直方图更具响应性(更灵敏)。

在图15B，对图15A四个平均直方图中的每一个平均直方图都产生一个累积密度函数(CDF)。图15B仅显示四个CDF中的其中一个。采用平均源-U直方图362的累积计数而不是源-U直方图304的直方图柱条的累积计数来产生源-U CDF 370。

在图15C，合并源-U CDF 370和目标-U CDF(图中未示出)以生成U颜色转换曲线380。合并源-U CDF和目标-U CDF的过程类似于图13A中合并源Y CDF和目标Y CDF的过程，其中产生了具有相同累积计数的源-U和目标-U值对。然后，将这些对绘制为U颜色转换曲线380，其中x轴是源U值，y轴是目标U值。

类似过程用于V值，将源-V CDF(图中未示出)和目标-V CDF(图中未示出)合并来产生V颜色转换曲线(图中未示出)。

图16A-16B显示具有直方图平均和没有直方图平均的U颜色转换曲线的示例图。

没有直方图平均，图9的步骤232被跳过。从直方图柱条而不是从平均直方图如平均源-U直方图362来生成CDF。在图16A，直方图平均被跳过。U颜色转换曲线382在中间部分具有不规则性。这些不规则性可能会导致颜色混乱，例如颜色不均匀或颜色突变，这些都不存在于拼接之前的原始图像中。

有直方图平均，图16B对U颜色转换曲线380有一个更规则的形状。图16A的U颜色转换曲线382中间的不规则性不存在。在生成CDF和U颜色转换曲线380之前对直方图值进行平均，会产生了一个更好的曲线，有更少的不规则性。当不规则性与视频序列中的肤色相关时，如果不进行平均，则帧与帧之间的错位会导致肤色变化。

使用通过直方图平均而生成的颜色转换曲线，可以最小化由于重叠区域中图像内容不匹配而导致的不正确颜色匹配(错位误差)。

由于人眼对亮度(Y)比对颜色(U、V)更敏感，所以U颜色转换曲线380的突变不会产生可见的U、V噪声。

图17A-17B显示对Y颜色转换曲线进行平均不会导致暗-到-明细节损失。图17A是与图6A相同的原始图像。但是，在图7-8的流程图里使用平均Y颜色转换曲线354而不是Y颜色转换曲线352之后，图像细节如山脉背景轮廓被保留了，如图17B所示。在没有进行平均的图6B的现有技术图像中，这些细节丢失了。因此，对Y颜色转换曲线进行平均可以防止Y增强像素、或通过平衡过程增亮像素的图像细节损失。这些暗-到-亮的像素没有饱和到背景图像中。

图18A-18C显示对Y颜色转换曲线进行平均不会造成明-至-暗噪声。图18A是与图5A相同的原始图像。使用图7-8流程图来平衡黑暗和明亮的区域。由于使用了平均Y颜色转换曲线354而不是Y颜色转换曲线352，所以不产生额外的噪声，如图18B所示。特别地，当使用现有技术的直方图匹配过程时，图18C放大显示蛋形建筑物的阳光上边缘没有现有技术图5C中可见的暗块状噪声。

因此，对Y颜色转换曲线进行平均防止了Y减少像素、或通过平衡过程变暗的像素产生暗噪声。这些明-至-暗的像素不会产生噪声。对Y颜色转换曲线352进行平均以使用平均Y颜色转换曲线354，可以减少噪声(图5，18)并降低细节损失(图6，17)。

图19是锐化过程的流程图。锐化过程250是一种锐化平衡过程，是在Y通道过程220和U、V通道过程230完成色平衡以及Y值已被缩放以补偿用于平均Y颜色转换曲线之后执行。图像被拼接成一个全景图空间(图7，步骤244)。

在步骤252，从拼接图像的全景中提取Y值。整个全景图空间被分成块。每个块还细分成子块。例如，16x16块可以细分为81个8x8子块，或者8x8块可以细分为25个4x4子块，或者4x4块可以细分为9个2x2子块。只有一个子块大小可用于整个全景。

在步骤254，对每个块中的每个子块生成Y值的绝对差和(SAD)，并对每个块取得这些SAD结果的最大值(MAX SAD)。MAX SAD值表示块中任何一个子块内像素间的最大差异。当某些视觉物体的边缘通过子块时，可能出现具有大像素差异的子块的块。因此，较大的MAXSAD值表示锐化特征。

MAX SAD值用于整个块。MAX SAD值可以除以235，然后除以4以将其归一化为0至1的范围。在步骤256，将每个块的MAX SAD值与一个或多个阈值进行比较。在步骤258，根据阈值比较，将块分成两个或更多个锐度区域。使用同一组锐化参数，对锐度区域中的所有块进行锐化，不管块是从哪个原始图像中提取的。在步骤262，不同锐度区域可以使用不同参数来控制锐化过程。在步骤260，锐化Y值改写YUV像素的Y值，并输出整个全景图像。

例如，当存在两个阈值时，块可以被划分为三个锐度区域，例如清晰、模糊和更模糊。这些区域可以跨越全景图中的所有图像，因此，对整个全景空间进行锐度处理，而不是只对单个图像。这样会产生更均匀的全景图像，而不会在拼接图像之间产生清晰度突变。

图20突出显示在全景图所有图像上使用锐度区域。拼接的全景图150包含拼接起来的两个或多个图像。MAX SAD高于阈值TH的块被分组到高锐度区域152中，而MAX SAD低于阈值TH的拼接全景图像150的块被分组到低锐度区域154中。建筑物的锐化边缘在高锐度区域152上显示为白色区域，而在右下前景的车辆周围的平坦路面区域在低锐度区域154中显示为白色块。

高锐度区域152中的块可以使用锐化边缘的锐化参数来处理，而低锐度区域154中的块可以使用锐化白色区域的其他锐化参数来处理。因此，建筑物被锐化到一特定水平，而路面被锐化到另一水平。这种方法旨在平衡整个全景(具有不同水平锐度区域)的锐化。由于锐度区域跨越多个拼接图像，所以在全景图的所有拼接图像上的锐化要保持一致。

图21A-21B突出显示使用图19多阈值锐化过程的图像结果。图21A是在执行任何锐化平衡之前的图3原始拼接图像。两个拼接图像之间过渡区118重叠区域中的物体很好地对齐，但右侧图像中的细节明显更模糊且不太清晰。在将图像拼接的过渡118上，左图像的清晰细节和边缘极快地过渡到右图像的更模糊边缘。

在图21B，在使用锐化过程250进行锐化处理之后，右图像的清晰度明显提高。过渡118几乎看不见，也不太明显。

图22是全景生成器的框图，其在拼接图像上执行颜色、亮度和清晰度平衡。图形处理单元(GPU)500是一个微处理器，具有图形处理增强功能，如用于处理像素的图形管线。GPU 500执行存储在存储器中的指令520来执行图7-9和图19的过程流程图。来自源图像和目标图像的像素值被输入到存储器510以供GPU 500处理，GPU 500将这些图像拼接起来，并将像素值写入存储器中的VR图形空间522。其他VR应用可以访问存储在VR图形空间522中的全景图像，以向用户显示，如在头戴式显示器(HMD)上显示。

其他实施例

发明人考虑了一些其他实施例。例如，可以添加额外功能和步骤，一些步骤可以与其他步骤同时执行，例如以管线形式，或可以按照重新排列的顺序执行。例如，通过缩放Y值来调整总体亮度(图8，步骤229)可以在调整的Y值与调整的U、V值重新合并(图7，步骤242)之前或之后执行。

尽管已经描述了通过将图像拼接起来以生成一个全景图像空间，但图像可以是图像序列如视频的一部分，可以对不同的时间点生成一序列全景图像。因此，全景空间可以随时间而改变。

尽管已经描述了YUV像素，但也可以接受像素的其他格式，并将其转换为YUV格式。YUV格式本身对于其子层(Y，U，V)可以有不同的比特编码和比特宽度(8，16等)，将Y、U和V定义为及物理映射为亮度和颜色也可能会变化。可以使用其他格式，如RGB、CMYK、HSL/HSV等。术语YUV不限于任何特定标准，但可以包含使用一个子层(Y)来表示亮度(不管颜色)，以及使用两个其他子层(U、V)来表示颜色空间的任何格式。

在产生平均Y颜色转换曲线354时被平均的Y值数据点数量可以被调整。更多个数据点被平均，会产生一个更平滑的平均Y颜色转换曲线354，而移动平均中较少的Y数据点，会提供一个更接近Y颜色转换曲线352的响应曲线。例如，当Y处于范围0到235时，可以使用101个Y数据值的移动平均。移动平均可以包含来自当前数据值的任一侧或两侧的数据值，并且左侧和右侧数据点的比率可以变化，或者可以仅使用到当前数据值一侧的数据点，例如仅使用较早的数据点。可以添加额外数据点用于填充，例如曲线开始时Y值为0，曲线结束时Y值为235。

同样地，通过移动平均进行平均的直方图柱条数条可以变化，所述移动平均是用于产生平均U直方图362和其他U、V色度直方图的。对所有直方图，或对所有直方图和平均Y颜色转换曲线354，移动平均的参数或窗口大小可以相同，或可以不同。在一个示例中，使用了5个直方图柱条的移动平均，开始时使用2个填充值，结束时使用2个填充值。

锐化阈值数量可以只是一个，或对于多阈值可以是两个或多个。锐化量可能因地区而异，也可根据应用或其他原因进行调整。可以使用多个不同的参数值。

可以使用各种分辨率，诸如HD、4K等，像素和子层可以以各种方式用不同格式、比特宽度等来进行编码和解码。可以使用额外的掩膜，如面部识别、图像或物体追踪等。

尽管已经显示了如明-至-暗噪声和细节损失之类误差的图像，但误差出现可能随图像本身以及处理方法(包括任何预处理)而大不相同。包含在附图中的这些图像仅仅是为了更好地理解所涉及的问题以及发明人如何解决这些问题，并不意味着限制或限定本发明。

颜色像素可以被转换为灰度，以便利用查询块在搜索窗口中进行搜索。颜色系统可以在预处理或后处理期间进行转换，例如在YUV和RGB之间，或者在像素(具有不同比特每像素)之间进行转换。可以使用各种像素编码，可以添加帧头和音轨。也可以获取GPS数据或相机方向数据并附加到视频流。

尽管已经描述了绝对差之和(SAD)，但也可以使用其他方法，如均方误差(MSE)、平均绝对差(MAD)，平方和误差等。可以不使用宏块，而是使用更小的块，特别是在物体边界周围，或可以将更大的块用于背景或物体。不是块状的区域也可以进行操作。

当在各种过程中使用时，宏块大小可以是8×8、16×16、或一些其他像素数量。尽管已经描述了宏块如16×16块和8×8块，但可以替换为其他块大小，如较大的32×32块、16×8块，较小的4×4块等。可以使用非正方形的块，以及可以使用其他形状例如三角形、圆形、椭圆形、六边形等作为块区域或“块”。自适应块不需要限制为预定的几何形状。例如，子块可以对应于物体内的基于内容的子物体。对于非常小的物体，可以使用更小的块尺寸。

像素的大小、格式和类型可以变化，如RGB、YUV、8位、16位，或可以包括其他效果，如纹理或闪烁。当检测源图像和目标图像的重叠区域时，搜索窗口中的查询块的搜索范围可以是固定的或可变的，可以在每个方向上有一个像素的增量，或可以增加2个或多个像素，或可以有偏向。也可以使用自适应例程。某些区域可以使用较大的块尺寸，物体边界附近的区域或具有高度细节的区域则可以使用较小的块尺寸。

被拼接起来以形成全景的图像数量可以随着不同应用和相机系统而变化，重叠区域的相对尺寸也可以变化。全景图像和空间可以是360度，或可以是球形或半球形，或可以小于完整360度环绕，或由于各种原因可能有丢失图像片段。曲线和直方图的形状和其他特征可能随图像本身的不同而变化很大。

图表、曲线、表格和直方图是可以是各种方式和格式存储的数据集合的可视表示，但这种图形表示对于理解数据集合和所执行的操作是有用的。实际硬件可以以各种方式存储数据，这些方式起初看起来并不是图表、曲线或直方图，而是数据的替代表示。例如，可以使用链表来存储每个柱条的直方图数据，(源，目标)对也可以以各种列表格式存储，这些列表格式仍然允许重新创建图形供人类分析，同时以一种对机器阅读更有利的格式存储。可以使用表格对Y颜色转换曲线354进行平均。该表格具有由源Y值查找的条目，并读取该表格条目以生成新Y值。表格或链表是平均的Y颜色转换曲线354的等同物，同样可以使用表格或链表来表示直方图等。

可以使用硬件、可编程处理器、软件和固件的各种组合来实现功能和块。可以使用管线处理，可以并行处理。可以使用各种例程和方法，如搜索范围和块大小的因素也可以变化。

没有必要在每个时间帧上全部处理所有的块。例如，只处理每个图像的子集或有限区域。可以预先知道，移动物体仅出现在全景框架的某个特定区域内，例如移动汽车仅出现在相机所拍摄的全景的右侧，相机右边是高速公路，左边是建筑物。“帧”可以只是由相机拍摄或存储或传输的静止图像的一个子集。

本发明背景部分可以包含有关本发明问题或环境的背景信息，而不是由其他人描述的现有技术。因此，背景部分包括的材料并不是申请人对现有技术的承认。

在此所述的任何方法或过程是机器实施的或计算机实施的，并且旨在由机器、计算机或其它装置执行，不是没有这种机器辅助的情况下仅由人执行。所生成的有形结果可以包括报告或者在显示器设备(诸如计算机监视器、投影装置、音频生成装置和相关媒体装置)上的其它机器生成的显示，并且可以包括也是机器生成的硬拷贝打印输出。计算机控制其它机器是另一个有形结果。

所述任何优点和益处可能不适用于本发明的所有实施例。当在权利要求要素中陈述单词“装置”时，申请人意图使权利要求要素落入35USC第112章第6段的规定。在单词“装置”之前的一个或多个单词，是旨在便于对权利要求要素的引用，并且不旨在传达结构限制。这种装置加功能的权利要求旨在不仅覆盖这里描述的用于执行功能及其结构等同物的结构，而且覆盖等效结构。例如，虽然钉子和螺钉具有不同的构造，但是它们是等同的结构，因为它们都执行紧固的功能。不使用“装置”一词的权利要求不落入35USC第112章第6段的规定。信号通常是电信号，但可以是光信号，如可以通过光纤线路传送的信号。

为了说明和描述，以上已经呈现了本发明实施例的描述。其并不旨在穷举或将本发明限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。旨在本发明的范围不受该详细描述的限制，而是由所附的权利要求限制。

Claims (20)

1.一种图像拼接平衡方法，所述方法包括：

接收多个图像，所述多个图像中相邻图像之间有重叠区域；

确保所述多个图像是亮度-颜色格式，其像素中每个像素包括具有Y值的亮度子层、具有U值的第一颜色子层、和具有V值的第二颜色子层，当所述多个图像的像素不是YUV-空间像素时，将所述多个图像的像素转换成YUV-空间像素；

(1)选择所述多个图像中一个图像作为源图像，选择所述多个图像中另一个图像作为目标图像，其中所述源图像有一个与所述目标图像重叠的源重叠区域，所述目标图像有一个与所述源图像重叠的目标重叠区域；

对所述源图像的源重叠区域和对所述目标图像的目标重叠区域，产生直方图，其中源-Y直方图表示所述源重叠区域中每个Y值像素的出现计数，目标-Y直方图表示所述目标重叠区域中Y值的出现计数；

对所述源-Y直方图产生源-Y累积密度函数CDF，对所述目标-Y直方图产生目标-Y CDF；

将所述源-Y CDF与所述目标-Y CDF合并，以生成Y颜色转换曲线，其中对于所述源-YCDF和所述目标-Y CDF，具有相同值的源Y值和目标Y值被配对在一起，作为所述Y颜色转换曲线上的一点；

使用移动平均来生成一个平均Y颜色转换曲线，其中所述平均Y颜色移动曲线比所述Y颜色转换曲线更平滑；

使用所述平均Y颜色转换曲线，对所述源图像中的像素生成新Y值；

将所述源图像中的Y值替换为所述新Y值；

对所述多个图像中重叠的其他源图像和目标图像，重复所述步骤(1)，直到处理完所有重叠区域图像以形成一个包含所述新Y值的拼接图像；

由此，使用所述平均Y颜色转换曲线，生成所述拼接图像中的所述新Y值。

2.根据权利要求1所述的拼接图像平衡方法，还包括：

按一个缩放比率对所述新Y值进行缩放；

其中所述缩放比率是最大Y值对最大新Y值的比率；

其中将所述源图像中的Y值替换为所述新Y值包括：在按所述缩放比率进行缩放之后，将所述源图像中的Y值替换为所述新Y值。

3.根据权利要求2所述的拼接图像平衡方法，还包括：

通过将所述源重叠区域与所述目标重叠区域对齐，并通过混合所述目标重叠区域和所述源重叠区域中的所述源图像和所述目标图像的像素，将具有所述新Y值的所述源图像与所述目标图像拼接起来。

4.根据权利要求2所述的拼接图像平衡方法，还包括：

(2)对所述源图像和对所述目标图像，生成直方图，其中源-U直方图表示所述源重叠区域上U值的出现计数，源-V直方图表示所述源重叠区域上V值的出现计数，目标-U直方图和目标-V直方图分别表示所述目标重叠区域上U值和V值的出现计数；

通过对所述源-U直方图的出现计数进行平均，生成一个平均源-U直方图；

通过对所述源-V直方图的出现计数进行平均，生成一个平均源-V直方图；

通过对所述目标-U直方图的出现计数进行平均，生成一个平均目标-U直方图；

通过对所述目标-V直方图的出现计数进行平均，生成一个平均目标-V直方图；

从所述平均源-U直方图生成一个源-U CDF；

从所述平均源-V直方图生成一个源-V CDF；

从所述平均目标-U直方图生成一个目标-U CDF；

从所述平均目标-V直方图生成一个目标-V CDF；

将所述源-U CDF与所述目标-U CDF合并以生成一个U颜色转换曲线，其中对于所述源-U CDF和所述目标-U CDF，具有相同值的源U值和目标U值被配对在一起，作为所述U颜色转换曲线上的一点；

将所述源-V CDF与所述目标-V CDF合并以生成一个V颜色转换曲线，其中对于所述源-V CDF和所述目标-V CDF，具有相同值的源V值和目标V值被配对在一起，作为所述V颜色转换曲线上的一点；

使用所述U颜色转换曲线，对所述源图像中的像素生成新U值；

使用所述V颜色转换曲线，对所述源图像中的像素生成新V值；

将所述源图像中的U值替换为所述新U值；

将所述源图像中的V值替换为所述新V值；

对所述多个图像中重叠的其他源图像和目标图像，重复所述步骤(2)，直到处理完所有重叠区域图像，以形成包含所述新Y值和所述新V值的拼接图像；

其中平均直方图用于产生所述新U值和所述新V值，所述平均Y颜色转换曲线用于产生所述新Y值；

其中U、V过程是在CDF生成之前将直方图平均，而Y过程是在CDF生成之后将Y颜色转换曲线平均。

5.根据权利要求4所述的拼接图像平衡方法，还包括：

其中CDF是指从最小子层值到当前子层值的出现计数之和，其中随着出现计数被累计到所述CDF，所述CDF从所述最小子层值上升到所述最大子层值。

6.根据权利要求4所述的拼接图像平衡方法，其中当所述源重叠区域比所述目标重叠区域更亮时，所述Y颜色转换曲线是一个有突然弯曲的凹面形状；

其中当所述源重叠区域比所述目标重叠区域更亮时，所述平均Y颜色转换曲线是一个没有突然弯曲的凹面形状；

其中，当使用具有突然弯曲的Y颜色转换曲线、没有使用平均来生成所述新Y值时，产生所述源图像中的可视明-至-暗噪声，而当使用所述平均Y颜色转换曲线来生成所述新Y值时，则避免了这些可视明-至-暗噪声；

其中当使用所述平均Y颜色转换曲线时，不会产生所述源图像中的可视明-至-暗噪声。

7.根据权利要求4所述的拼接图像平衡方法，其中当所述源重叠区域比所述目标重叠区域更暗时，所述Y颜色转换曲线是一个有平坦区域的凸面形状；

其中当所述源重叠区域比所述目标重叠区域更暗时，所述平均Y颜色转换曲线是一个没有所述平坦区域的凸面形状；

其中所述Y值的饱和发生在所述平坦区域，即发生细节损失的地方；

其中使用平均以形成所述平均Y颜色转换曲线，使得所述平坦区域有一个斜率，而不再是具有饱和度的平坦区域；

其中当使用具有所述平坦区域的Y颜色转换曲线、没有使用平均来生成所述新Y值时，产生所述源图像中的可视细节损失，当使用所述平均Y颜色转换曲线来生成所述新Y值时，则避免了可视细节损失；

其中通过使用所述平均Y颜色转换曲线，避免了所述源图像中的暗-至-明的细节损失。

8.根据权利要求3所述的拼接图像平衡方法，还包括：

将所述拼接图像分成块；

计算所有块中的每个块内的多个子块的绝对差和(SAD)；

找出一个最大SAD，所述最大SAD是每个块的所述多个子块的SAD的最大值；

比较所述最大SAD和一个阈值；

当所述最大SAD高于所述阈值时，将所述块分配到第一组；

当所述最大SAD低于所述阈值时，将所述块分配到第二组；

使用第一锐化参数值，对所述第一组中的每个块执行锐化操作；

使用第二锐化参数值，对所述第二组中的每个块执行锐化操作；

其中在将图像拼接成所述拼接图像之后，图像被一起锐化；

其中在通过与所述阈值比较而确定的组里，所述拼接图像中的图像被一起锐化。

9.根据权利要求3所述的拼接图像平衡方法，还包括：

将所述拼接图像分成块；

计算所有块中的每个块内的多个子块的绝对差和(SAD)；

找出一个最大SAD，所述最大SAD是每个块的所述多个子块的SAD的最大值；

将所述最大SAD与第一阈值和第二阈值进行比较；

当所述最大SAD高于所述第一阈值时，将所述块分配到第一组；

当所述最大SAD低于所述第一阈值但高于所述第二阈值时，将所述块分配到第二组；

当所述最大SAD低于所述第二阈值时，将所述块分配到第三组；

使用第一锐化参数值，对所述第一组中的每个块执行锐化操作；

使用第二锐化参数值，对所述第二组中的每个块执行锐化操作；

使用第三锐化参数值，对所述第三组中的每个块执行锐化操作；

其中在将图像拼接成所述拼接图像之后，图像被一起锐化；

其中在通过与多个阈值比较而确定的组里，所述拼接图像中的图像被一起锐化。

10.根据权利要求3所述的拼接图像平衡方法，其中所述拼接图像是一个全景图像，包括至少6个图像在所述多个图像中，形成一个360度的连续环。

11.一种全景生成器，包括：

图像加载器，其加载图像，所述图像重叠以形成至少一部分全景图像；

其中图像中的像素包括子层，所述子层包括指示像素亮度的Y值和指示像素颜色的U和V值；

图像选择器，其选择由所述图像加载器加载的一个图像作为源图像，并选择由所述图像加载器加载的另一图像作为目标图像，其中所述源图像和所述目标图像部分重叠；

重叠检测器，其识别所述源图像中的源重叠区域中的以及所述目标图像中的目标重叠区域中的像素，其中所述源重叠区域和所述目标重叠区域包含的像素是从在所述源图像和所述目标图像中均可见的同一可视物体而拍摄的；

直方图生成器，其对所述源重叠区域的和所述目标重叠区域生成子层值的直方图；

Y通道过程，其构建一个平均Y颜色转换曲线，所述平均Y颜色转换曲线是对Y颜色转换曲线进行平均而生成的，而所述Y颜色转换曲线是从Y值的子层值的直方图而生成的；

U、V通道过程，其通过生成所述源重叠区域的平均源-U直方图和平均源-V直方图，并通过生成所述目标重叠区域的平均目标-U直方图和平均目标-V直方图，构建U颜色转换曲线和V颜色转换曲线；

亮度转换器，其使用所述平均Y颜色转换曲线，将所述源图像的Y值转换成新Y值，所述新Y值改写所述源图像Y值；

颜色转换器，其使用所述U颜色转换曲线将所述源图像的U值转换成新U值，所述新U值改写所述源图像U值，并使用所述V颜色转换曲线将所述源图像V值转换成新V值，所述新V值改写所述源图像V值；

全景存储器，其用于存储所述全景图像；

图像拼接器，其将所述源图像与所述新Y值、所述新U值以及所述新V值一起写入所述全景存储器；

由此，所述新Y值是使用所述平均Y颜色转换曲线来生成的，所述新U值和V值是使用平均直方图来生成的。

12.根据权利要求11所述的全景生成器，还包括：

亮度缩放器，其将所述新Y值乘以一个缩放比率；

其中所述缩放比率是最大Y值对最大新Y值的比率；

其中所述亮度转换器在按照所述缩放比率进行缩放之后将所述源图像中的Y值替换为所述新Y值。

13.根据权利要求12所述的全景生成器，其中所述Y-通道过程还包括：

Y累积密度函数(CDF)生成器，其从所述直方图生成器接收源-Y直方图和目标-Y直方图，所述Y CDF生成器产生一个源-Y CDF，所述源-Y CDF是将所述源重叠区域中的像素的Y值计数从最小Y值累加到当前Y值，并产生一个目标-Y CDF，所述目标-Y CDF是将所述目标重叠区域中的像素的Y值计数从最小Y值累加到当前Y值；

Y颜色转换曲线生成器，其通过将所述源-Y CDF和所述目标-Y CDF合并来生成所述Y颜色转换曲线，其中对于所述源-Y CDF和所述目标-Y CDF，具有相同值的源Y值和目标Y值被配对在一起，作为所述Y颜色转换曲线上的一点；

曲线平均器，其接收所述Y颜色转换曲线作为一个输入，并将所述Y颜色转换曲线上的相邻点进行平均，以生成所述平均Y颜色转换曲线上的平均点。

14.根据权利要求13所述的全景生成器，其中所述U、V-通道过程还包括：

累积密度函数(CDF)生成器，其接收所述平均源-U直方图作为一个输入，并生成一个源-U CDF，所述源-U CDF将U值计数从最小U值累计到当前U值，同样类似地从所述平均源-U直方图生成源-V CDF，从所述平均目标-V直方图生成目标-U CDF，从所述平均目标-V直方图生成目标-V CDF；

由此，平均直方图用于生成颜色子层的CDF。

15.根据权利要求14所述的全景生成器，其中所述U、V-通道过程还包括：

直方图平均器，其从所述直方图生成器接收源-U直方图、源-V直方图、目标-U直方图和目标V-直方图，所述直方图平均器通过对所述源-U直方图上的计数值进行平均来生成所述平均源-U直方图，通过分别对所述源-V直方图、所述目标-U直方图、所述目标-V直方图上的计数进行平均来生成所述平均源-V直方图、所述平均目标-U直方图和所述平均目标-V直方图。

16.根据权利要求15所述的全景生成器，其中所述U、V-通道过程还包括：

U颜色转换曲线生成器，其通过将所述源-U CDF和所述目标-U CDF合并来生成所述U颜色转换曲线，其中对于所述源-U CDF和所述目标-U CDF，具有相同值的源U值和目标U值被配对在一起，作为所述U颜色转换曲线上的一点；

V颜色转换曲线生成器，其通过将所述源-V CDF和所述目标-V CDF合并来生成所述V颜色转换曲线，其中对于所述源-V CDF和所述目标-V CDF，具有相同值的源V值和目标V值被配对在一起，作为所述V颜色转换曲线上的一点。

17.根据权利要求11所述的全景生成器，还包括：

格式转换器，其将所述图像加载器加载的像素转换成YUV格式，其中Y值表示像素亮度，而U和V值表示像素颜色。

18.根据权利要求11所述的全景生成器，还包括：

清晰度平衡器，其读取所述全景储存器中的所述全景图像的像素块，将每个块的锐化度量与一阈值进行比较以将块分隔成清晰度组，对每个清晰度组，使用不同的锐化参数，对每个清晰度组中的块进行锐化；

由此，所述全景图像中的所有图像的块都被组合成组，进行锐化。

19.一种图像拼接亮度平衡器，包括：

输入装置，用于接收多个图像，所述多个图像中的相邻图像之间有重叠区域；

格式装置，用于确保所述多个图像是亮度-颜色格式，其像素包括具有Y值的亮度子层、具有U值的第一颜色子层和具有V值的第二颜色子层组成，当所述多个图像的像素不是YUV像素时，将所述多个图像的像素转换成YUV像素；

选择装置，用于选择所述多个图像中的一个图像作为源图像，并选择所述多个图像中的另一个图像作为目标图像，其中所述源图像有一个与所述目标图像重叠的源重叠区域，所述目标图像有一个与所述源图像重叠的目标重叠区域；

直方图生成装置，用于生成所述源图像的和所述目标图像的直方图，其中源-Y直方图是指所述源重叠区域中的像素的每个Y值的出现计数，目标-Y直方图是指所述目标重叠区域中的Y值的出现计数；

函数装置，用于生成所述源Y直方图的源Y累积密度函数CDF，并生成所述目标-Y直方图的目标-Y CDF；

曲线生成装置，用于将所述源-Y CDF和所述目标-Y CDF合并以生成Y颜色转换曲线，其中对于所述源-Y CDF和所述目标-Y CDF，具有相同值的源Y值和目标Y值被配对在一起，作为所述Y颜色转换曲线上的一点；

平均装置，用于使用移动平均来生成平均Y颜色转换曲线，其中所述平均Y颜色转换曲线比所述Y颜色转换曲线更平滑；

转换装置，用于使用所述平均Y颜色转换曲线为所述源图像中的像素生成初始Y值；

通过缩放比例将所述初始Y值进行缩放以生成新Y值；

其中所述缩放比率是最大Y值与最大初始Y值的比率；

更新装置，用于将所述源图像中的Y值替换为所述新Y值；

循环装置，用于对所述多个图像中重叠的其他源图像和目标图像重复所述选择装置的一个循环，直到处理完所有重叠图像以形成一个包含所述新Y值的拼接图像；

由此，使用所述平均Y颜色转换曲线来生成所述拼接图像中的所述新Y值。

20.根据权利要求19所述的图像拼接亮度平衡器，还包括：

第二直方图生成装置，用于生成所述源图像的和所述目标图像的直方图，其中源-U直方图是指所述源重叠区域中U值的出现计数，源-V直方图是指所述源重叠区域中V值的出现计数，目标-U直方图和目标-V直方图分别是指所述目标重叠区域中U和V值的出现计数；

用于通过对所述源-U直方图的出现计数进行平均以生成一个平均源-U直方图的装置；

用于通过对所述源-V直方图的出现计数进行平均以生成一个平均源-V直方图的装置；

用于通过对所述目标-U直方图的出现计数进行平均以生成一个平均目标-U直方图的装置；

用于通过对所述目标-V直方图的出现计数进行平均以生成一个平均目标-V直方图的装置；

用于生成所述平均源-U直方图的源-U CDF的装置；

用于生成所述平均源-V直方图的源-V CDF的装置；

用于生成所述平均目标-U直方图的目标-U CDF的装置；

用于生成所述平均目标-V直方图的目标-V CDF的装置；

用于将所述源-U CDF和所述目标-U CDF合并以生成U颜色转换曲线的装置，其中对于所述源-U CDF和所述目标-U CDF，具有相同值的源U值和目标U值被配对在一起，作为所述U颜色转换曲线上的一点；

用于将所述源-V CDF和所述目标-V CDF合并以生成V颜色转换曲线的装置，其中对于所述源-V CDF和所述目标-V CDF，具有相同值的源V值和目标V值被配对在一起，作为所述V颜色转换曲线上的一点；

用于使用所述U颜色转换曲线为所述源图像中的像素生成新U值的装置；

用于使用所述V颜色转换曲线为所述源图像中的像素生成新V值的装置；

用于将所述源图像中的U值替换为所述新U值的装置；

用于将所述源图像中的V值替换为所述新V值的装置；

用于对所述多个图像中重叠的其他源图像和目标图像重复所述第二直方图生成装置的装置，直到处理完所有重叠图像以形成包含所述新U值和所述新V值的所述拼接图像；

其中使用平均直方图来生成所述新U值和所述新V值，并使用所述平均Y颜色转换曲线来生成所述新Y值；

其中，U、V过程是在CDF生成之前将直方图进行平均，而Y过程是在CDF生成之后将Y颜色转换曲线进行平均；

其中CDF是指从最小子层值到当前子层值的出现计数之和，其中随着出现计数被累计到所述CDF，所述CDF从所述最小子层值上升到最大子层值。