CN106713755B - 全景图像的处理方法及装置 - Google Patents

Abstract

本发明公开了一种全景图像的处理方法及装置，所述方法包括获取多路鱼眼图像，对多路鱼眼图像进行同步处理；对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图，将多路鱼眼展开图拼接为全景图像。本申请通过对多路鱼眼图像进行同步、暗电平校准、图像一致性处理等图像处理操作，使得拼接、融合后能够得到整体亮度一致的全景图像、全景视频，大大提高了全景图像、全景视频的图像质量。

Description

全景图像的处理方法及装置

技术领域

本申请涉及图像处理技术，尤指一种全景图像的处理方法及装置。

背景技术

随着虚拟现实、增强现实技术的快速发展，全景视频、全景图像因能给用户带来360度全方位的、沉浸式的观看体验而被广泛接受。

现有的全景处理、拼接技术中，在采集图像和编码压缩后，还要进行图像处理和拼接融合等工作。由于成像条件等因素的影响，目前图像拼接后得到的全景图像通常会存在图像整体亮度不一致的问题，导致图像展示效果不佳，用户体验较差。

发明内容

为了解决上述技术问题，本申请提供了一种全景图像的处理方法及装置，能够大大提高全景图像的图像质量。

为了达到本发明目的，本申请提供了一种全景图像的处理方法，包括：

获取多路鱼眼图像，对所述多路鱼眼图像进行同步处理；

对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；

对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；

对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图，将多路鱼眼展开图拼接为全景图像。

本申请还提供了一种全景图像的处理装置，包括：

一同步单元，用于获取多路鱼眼图像，对所述多路鱼眼图像进行同步处理；

一暗电平处理单元，用于对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；

一图像一致性处理单元，用于对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；

一畸变校正单元，用于对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图；

一拼接融合单元，用于将多路鱼眼展开图拼接为全景图像。

与现有技术相比，本申请包括获取多路鱼眼图像，对多路鱼眼图像进行同步处理；对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图，将多路鱼眼展开图拼接为全景图像。本申请通过对多路鱼眼图像进行同步、暗电平校准、图像一致性处理等图像处理操作，使得拼接、融合后能够得到整体亮度一致的全景图像、全景视频，大大提高了全景图像、全景视频的图像质量。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本申请一实施例的全景图像的处理方法的流程图；

图2为本发明的另一实施例的全景图像的处理装置的架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

现有技术中，在生成全景图像、全景视频的过程中，在采集到鱼眼图像后，还要对鱼眼图像进行图像处理、畸变校正并拼接融合为全景图像。由于成像条件等因素的影响，目前得到的全景图像通常会存在图像整体亮度不一致的问题，例如，由于鱼眼图像自身不同区域存在亮度差异，不同鱼眼图像之间也可能存在亮度差异，导致对鱼眼图像进行畸变校正、拼接融合得到的全景图像的整体亮度不一致，在进行全景播放展示时效果不佳，用户体验较差。

本申请中，在获得多路鱼眼图像并对多路鱼眼图像进行同步后，还要进一步对每一路鱼眼图像进行暗电平校准，以使多路鱼眼图像能够获得相同的灰度值基准。在此基础上，再对多路鱼眼图像进行图像一致性处理，消除鱼眼图像的亮度差异。最后，对鱼眼图像进行畸变校正，并拼接融合为全景图像。具体而言，本申请中的图像一致性处理，可以是消除鱼眼图像自身不同区域的亮度差异，也可以是消除多路鱼眼图像之间的亮度差异，同时，也可以是既对鱼眼图像自身不同区域消除亮度差异，又消除多路鱼眼图像之间的亮度差异。本申请的全景图像的处理方法能够得到亮度均衡的全景图像，提高了全景图像的图像质量，增强了全景图像展示的效果。

如图1所示，本申请提供的全景图像的处理方法，包括：

步骤101：获取多路鱼眼图像，对多路鱼眼图像进行同步处理；

步骤102：对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；

步骤103：对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；

步骤104：对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图，将多路鱼眼展开图拼接为全景图像。

本申请提供的全景图像的处理方法可以应用于对全景相机、运动相机等拍摄设备拍摄的全景图像、全景视频进行图像处理，也可以是对全景电影、全景动画等由专业设备拍摄制作的全景内容进行图像处理。

本申请方法可以应用于在全景相机、运动相机等拍摄设备中，在全景拍摄场景下，拍摄设备拍摄鱼眼图像后，进行图像处理，从而获得全景图像；也可以应用到智能终端(如手机)、后期处理设备(如PC)等设备上，在从拍摄设备接收到鱼眼图像后，对鱼眼图像进行图像处理，从而获得全景图像。

全景视频是由一系列的全景图像序列组成，因此，本申请提供的全景图像的处理方法不仅适用于全景图像的处理，同样适用于全景视频的处理。

在进行图像处理之前，需要进行外界图像的采集，可以通过全景采集模块采集360度视野内的图像。优选的，全景采集模块可以包括至少两个图像采集单元，每个图像采集单元包括一个鱼眼镜头和一个摄取由鱼眼镜头所形成图像的图像传感器。每个鱼眼镜头的视场角超过180度，用于采集空间的光信号，得到光信号鱼眼图像；图像传感器用于将光信号鱼眼图像转换为电信号鱼眼图像。两个图像采集单元背向设置，保证采集到水平和垂直各360°的全景图像。全景采集模块也可以包含三个或更多个图像采集单元。

在本申请提供的全景图像的处理方法中，首先需要获取到多路鱼眼图像。例如，在拍摄设备上通过本申请的方法进行图像处理时，对于全景采集模块拍摄的鱼眼图像，可以直接从全景采集模块的图像传感器获取鱼眼图像。在手机、PC等设备上通过本申请的方法进行图像处理时，手机、PC等设备可以从拍摄设备获取多路鱼眼图像。

由于多路图像采集单元相互独立，对同一场景采集到的鱼眼图像存在时间差异，即使采用同步控制电路进行控制，也无法保证拍摄得到的多路鱼眼图像精确同步。因此，在获取到多路鱼眼图像后，需要对这多路鱼眼图像进行同步处理，消除多个图像采集单元采集鱼眼图像的时间差。

具体的，对多路鱼眼图像进行同步处理可以是：将多路鱼眼图像分别写入缓存，经过一指定时间阈值的延迟后在同一时刻将多个缓存中的鱼眼图像读出，经过同步处理后的多路鱼眼图像完全同步。同步后的多路鱼眼图像在时间域上精确一致，避免视频出现抖动和时间不一致等现象。

其次，为了使多路鱼眼图像获得相同的灰度值基准，在对多路鱼眼图像进行同步处理后，还对同步处理后的每一路鱼眼图像进行暗电平校准。

暗电平区域是图像传感器输出的原始图像中的非感光区域。暗电平会降低CMOS图像传感器的性能，如动态范围、灵敏度、噪声等。

在本申请的一可选实施例中，对同步处理后的每一路鱼眼图像进行暗电平校准，包括：对每一路原始图像分别统计各自暗电平区域的平均灰度值，然后将每一路鱼眼图像的每个像素点的灰度值减去各自对应的原始图像的暗电平区域的平均灰度值。

在暗电平区域中还可能存在少量坏点，坏点是指坏像素，坏点主要包括三种：(1)暗场下的亮像素点(无光照也能感光)；(2)亮场下的暗像素点(有光照也无法感光)；(3)感光异常的像素点(光照下与正常像素点响应度相差较大)。为了增加灰度平均值的准确性，在进行灰度平均值统计前还可以先对坏点进行补偿。对坏点进行补偿的方法可以采用：中值滤波、相邻点复制等方法。

再次，由于全景图像是对至少两路鱼眼图像进行图像处理、畸变校正并拼接融合而得到的，而对于鱼眼镜头，shading(渐晕效应)问题是需要考虑的，也就是鱼眼镜头的光学响应度从中心向四周递减，shading问题会导致鱼眼图像的亮度从中心向四周逐渐降低。此外，不同鱼眼镜头之间光学特性的差异，以及特殊使用场景下不同鱼眼镜头的曝光量不同，如第一鱼眼镜头正对光源，第二鱼眼镜头背对光源，此时两个图像传感器曝光差异明显，也可能导致不同鱼眼镜头采集得到的鱼眼图像之间存在亮度差异，以致拼接时出现全景图像的画面亮度不一致。为此，本申请中，在对鱼眼图像进行暗电平校准后，还对相同灰度值基准的多路鱼眼图像进行图像一致性处理，以补偿鱼眼图像的亮度差异。

本申请中，在对鱼眼镜头进行图像一致性处理时，可以只进行每一路鱼眼图像自身的一致性处理，或者，也可以只进行多路鱼眼图像之间的一致性处理，又或者，还可以既进行每一路鱼眼图像自身的一致性处理，也进行多路鱼眼图像之间的一致性处理。如果既进行每一路鱼眼图像自身的一致性处理，也进行多路鱼眼图像之间的一致性处理，则可以先进行单路鱼眼图像自身的一致性处理，后进行多路鱼眼图像之间的一致性处理，或者，先进行多路鱼眼图像之间的一致性处理，后进行单路鱼眼图像自身的一致性处理。

在本申请的一可选实施例中，在只进行每一路鱼眼图像自身的一致性处理的情况下，对相同灰度值基准的多路鱼眼图像进行图像一致性处理，包括：

针对每一路鱼眼图像，对鱼眼图像划分图像区域，分别计算每个图像区域的平均灰度值，将亮度最高的图像区域的平均灰度值与每个图像区域的平均灰度值做比值，将比值结果作为相应图像区域的增益系数对相应图像区域进行亮度补偿。或者，

也可以是针对每一路鱼眼图像，根据鱼眼图像对应的鱼眼镜头的响应度信息确定图像上每个像素点的响应度，将亮度最高的像素的响应度与每个像素的响应度做比值，将比值结果作为相应像素的增益系数对相应像素进行亮度补偿。

上述将比值结果作为相应图像区域的增益系数对相应图像区域进行亮度补偿，是指对图像区域中的每个像素点的灰度值乘上增益系数，补偿亮度。上述将比值结果作为相应像素的增益系数对相应像素进行亮度补偿，是指将像素点的灰度值乘上增益系数。

上述响应度信息表明了像素点与其响应度的关系，其基本规律为：离图像中心越近的像素点，响应度越高，离图像中心越远的像素点，响应度越低。

上述鱼眼镜头的响应度信息可以通过以下方法获得，包括：将鱼眼镜头对准均匀光源进行拍照，根据拍摄的图像的亮度差异对图像进行区域划分，将每个区域的平均灰度值与亮度最高的区域的平均灰度值的比值作为该区域中心像素点的响应度，在得到所有区域的中心像素点的响应度后，再根据插值算法计算出鱼眼镜头所拍摄的图像上的所有像素点的响应度，最后根据每个像素点的响应度和坐标值生成鱼眼镜头的响应度信息。

由于鱼眼镜头的视场角大于180度，因此多路鱼眼图像之间存在重叠区域(鱼眼图像边缘位置)。在本申请的一可选实施例中，在只进行多路鱼眼图像之间的一致性处理的情况下，对相同灰度值基准的多路鱼眼图像进行图像一致性处理，包括：

针对多路鱼眼图像，在多路鱼眼图像的重叠区域中识别出相同画面区域，分别计算相同画面区域在每一路鱼眼图像中的平均灰度值，根据相同画面区域在多路鱼眼图像中的平均灰度值确定每一路鱼眼图像的增益系数，增益系数用于将多路鱼眼图像调整为相同亮度，根据每一路鱼眼图像的增益系数调整鱼眼图像的亮度，使多路鱼眼图像的亮度相同。

例如，假设存在两路鱼眼图像，第一鱼眼图像和第二鱼眼图像，在第一鱼眼图像和第二鱼眼图像的重叠区域中识别出相同画面区域A。通过计算得到区域A在第一鱼眼图像中的平均灰度值为1，在第二鱼眼图像中的平均灰度值为0.8。在确定第一鱼眼图像和第二鱼眼图像的增益系数时，可以是将亮度较低的鱼眼图像的亮度调整为与亮度较高的鱼眼图像的亮度相同，也可以将两路鱼眼图像的亮度调整为中间值。在本例中，可以是确定第二鱼眼图像的增益系数为1.25，第一鱼眼图像的增益系数为1；也可以是确定第二鱼眼图像的增益系数为9/8，第一鱼眼图像的增益系数为9/10。

进一步的，在进行多路鱼眼图像之间的一致性处理时，还可以在重叠区域中识别出多个相同画面区域，分别计算每个相同画面区域在每一路鱼眼图像中的平均灰度值，根据每个相同画面区域在多路鱼眼图像中的平均灰度值为每一路鱼眼图像确定一个增益系数，从而为每一路鱼眼图像确定出多个增益系数，将多个增益系数取平均值作为鱼眼图像的增益系数，或者使用相应的增益系数对鱼眼图像上的相应画面区域进行补偿，其余区域采用多个增益系数中的其中之一进行补偿或者采用多个增益系数的平均值进行补偿。

同样假设存在第一鱼眼图像和第二鱼眼图像，在第一鱼眼图像和第二鱼眼图像的重叠区域中识别出相同画面区域A和相同画面区域B。通过计算得到区域A在第一鱼眼图像中的平均灰度值为1，在第二鱼眼图像中的平均灰度值为0.8；区域B在第一鱼眼图像中的平均灰度值为0.8，在第二鱼眼图像中的平均灰度值为0.6。可以根据第一组平均灰度值，为第一鱼眼镜头确定第一增益系数为1，为第二鱼眼镜头确定第一增益系数为1.25；根据第二组平均灰度值，为第一鱼眼镜头确定第二增益系数为1，为第二鱼眼镜头确定第二增益系数为4/3。

在对第一鱼眼图像和第二鱼眼图像进行亮度补偿时，可以将第一鱼眼图像的两个增益系数取平均值作为第一鱼眼的增益系数，将第二鱼眼图像的两个增益系数取平均值作为第二鱼眼的增益系数；或者，

使用第一鱼眼图像的第一增益系数对第一鱼眼图像上的区域A进行补偿，使用第一鱼眼图像的第二增益系数对第一鱼眼图像上的区域B进行补偿，第一鱼眼图像的其余区域采用其第一增益系数和第二增益系数中的其中之一进行补偿或者采用这两个增益系数的平均值进行补偿。同样的，对于第二鱼眼图像，可以使用第二鱼眼图像的第一增益系数对第二鱼眼图像上的区域A进行补偿，使用第二鱼眼图像的第二增益系数对第二鱼眼图像上的区别B进行补偿，第二鱼眼图像的其余区域采用其第一增益系数和第二增益系数中的其中之一进行补偿或者采用这两个增益系数的平均值进行补偿。

上述在多路鱼眼图像的重叠区域中识别出相同画面区域，可以是针对重叠区域进行特征模板匹配，找出相同画面区域在两张图像中的位置。特征模板是指图像中的特定灰度值或边缘模式，特征是指实际图像中的一部分，可以由边缘特征、线性特征、中心特征、对角线特征等组成。在需要识别出多个相同画面区域时，特征模板也可能为多个。

在本申请的另一可选实施例中，如上所述，对相同灰度值基准的多路鱼眼图像进行图像一致性处理，可以是既进行每一路鱼眼图像自身的一致性处理，也进行多路鱼眼图像之间的一致性处理。这种情况下，可以是先进行每一路鱼眼图像自身的一致性处理，也可以是先进行多路鱼眼图像之间的一致性处理，本申请中不做限制。进行每一路鱼眼图像自身的一致性处理和进行多路鱼眼图像之间的一致性处理的具体步骤如上所述，此处不再赘述。

优选地，为了提高图像处理的实时性，节省图像处理所消耗的资源，本申请中可以无需对每一路鱼眼图像的每一帧鱼眼图像均按照上述步骤进行一致性处理，而是将当前帧进行上述过程所获得的增益系数应用到下一帧鱼眼图像中，对鱼眼图像进行一致性处理。

再其次，在对多路鱼眼图像进行图像一致性处理后，还需要对多路鱼眼图像进行畸变校正，以将鱼眼图像展开为鱼眼展开图，以便后续将鱼眼展开图拼接融合为全景图像。

在本申请的一可选实施例中，进行畸变校正包括：

(1)将预先标定好的用于畸变校正的数据查找表缓存于存储器中；

(2)将图像数据缓冲到存储器中，利用查找表将图像数据的每一个像素进行畸变校正，并且将鱼眼图像展开为适合人眼观看的平面图像。

最后，在得到多路鱼眼展开图后，将多路鱼眼展开图拼接为全景图像。

本申请中将多路鱼眼展开图拼接为全景图像可以是对畸变校正后的鱼眼展开图进行融缝和拼接并进行重叠区平滑处理，使图像在重叠区域亮度平滑过渡，实现无缝拼接。

如图2所示，本申请还提供了一种全景图像的处理装置，包括：

一同步单元，用于获取多路鱼眼图像，对所述多路鱼眼图像进行同步处理；

一暗电平处理单元，用于对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；

一图像一致性处理单元，用于对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；

一畸变校正单元，用于对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图；

一拼接融合单元，用于将多路鱼眼展开图拼接为全景图像。

进一步，上述图像一致性处理单元对相同灰度值基准的多路鱼眼图像进行图像一致性处理，包括：

针对每一路鱼眼图像，对鱼眼图像划分图像区域，分别计算每个图像区域的平均灰度值，将亮度最高的图像区域的平均灰度值与每个图像区域的平均灰度值做比值，将比值结果作为相应图像区域的增益系数对相应图像区域进行亮度补偿；或者，

针对每一路鱼眼图像，根据鱼眼图像对应的鱼眼镜头的响应度信息确定图像上每个像素点的响应度，将亮度最高的像素点的响应度与每个像素点的响应度做比值，将比值结果作为相应像素点的增益系数对相应像素点进行亮度补偿。

进一步，上述图像一致性处理单元对相同灰度值基准的多路鱼眼图像进行图像一致性处理，包括：

针对多路鱼眼图像，在多路鱼眼图像的重叠区域中识别出相同画面区域，计算相同画面区域在每一路鱼眼图像中的平均灰度值，根据相同画面区域在多路鱼眼图像中的平均灰度值确定每一路鱼眼图像的增益系数，所述增益系数用于将多路鱼眼图像调整为相同亮度，根据所述每一路鱼眼图像的增益系数调整相应鱼眼图像的亮度，使多路鱼眼图像的亮度相同。

进一步，上述图像一致性处理单元对相同灰度值基准的多路鱼眼图像进行图像一致性处理，包括：进行单路鱼眼图像自身的图像一致性处理以及多路鱼眼图像之间的图像一致性处理，其中：

单路鱼眼图像自身的图像一致性处理，包括：针对每一路鱼眼图像，对鱼眼图像划分图像区域，分别计算每个图像区域的平均灰度值，将亮度最高的图像区域的平均灰度值与每个图像区域的平均灰度值做比值，将比值结果作为相应图像区域的增益系数对相应图像区域进行亮度补偿；或者，针对每一路鱼眼图像，根据鱼眼图像对应的鱼眼镜头的响应度信息确定图像上每个像素点的响应度，将亮度最高的像素点的响应度与每个像素点的响应度做比值，将比值结果作为相应像素点的增益系数对相应像素点进行亮度补偿；

多路鱼眼图像之间的图像一致性处理，包括：针对多路鱼眼图像，在多路鱼眼图像的重叠区域中识别出相同画面区域，计算相同画面区域在每一路鱼眼图像中的平均灰度值，根据相同画面区域在多路鱼眼图像中的平均灰度值确定每一路鱼眼图像的增益系数，该增益系数用于将多路鱼眼图像调整为相同亮度，根据所述每一路鱼眼图像的增益系数调整相应鱼眼图像的亮度，使多路鱼眼图像的亮度相同。

进一步，上述图像一致性处理单元在多路鱼眼图像的重叠区域中识别出相同画面区域，计算相同画面区域在每一路鱼眼图像中的平均灰度值，根据相同画面区域在多路鱼眼图像中的平均灰度值确定每一路鱼眼图像的增益系数，包括：

在所述重叠区域中识别出多个相同画面区域，分别计算每个相同画面区域在每一路鱼眼图像中的平均灰度值，根据每个相同画面区域在多路鱼眼图像中的平均灰度值为每一路鱼眼图像确定一个增益系数，从而为每一路鱼眼图像确定出多个增益系数，将多个增益系数取平均值作为鱼眼图像的增益系数，或者使用相应的增益系数对鱼眼图像上的相应画面区域进行补偿，其余区域采用多个增益系数中的其中之一进行补偿或者采用多个增益系数的平均值进行补偿。

进一步，上述图像一致性处理单元采用如下方法获取响应度信息，包括：

将鱼眼镜头对均匀光源所拍摄的图像按照亮度差异进行区域划分，将每个区域的平均灰度值与亮度最高的区域的平均灰度值的比值作为该区域中心像素点的响应度，在得到所有区域的中心像素点的响应度后，采用插值算法计算出鱼眼镜头所拍摄的图像上的所有像素点的响应度，再根据每个像素点的响应度和坐标值生成鱼眼镜头的响应度信息。

进一步，上述暗电平处理单元对同步处理后的每一路鱼眼图像进行暗电平校准，包括：

对每一路鱼眼图像对应的原始图像分别统计各自暗电平区域的平均灰度值，将每一路鱼眼图像的每个像素点的灰度值减去各自对应的原始图像的暗电平区域的平均灰度值。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (11)

1.一种全景图像的处理方法，其特征在于，包括：

获取多路鱼眼图像，对所述多路鱼眼图像进行同步处理；

对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；

对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；

对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图，将多路鱼眼展开图拼接为全景图像；

所述对相同灰度值基准的多路鱼眼图像进行图像一致性处理，包括：

针对每一路鱼眼图像，对鱼眼图像划分图像区域，分别计算每个图像区域的平均灰度值，将亮度最高的图像区域的平均灰度值与每个图像区域的平均灰度值做比值，将比值结果作为相应图像区域的增益系数对相应图像区域进行亮度补偿；或者，

针对每一路鱼眼图像，根据鱼眼图像对应的鱼眼镜头的响应度信息确定图像上每个像素点的响应度，将亮度最高的像素点的响应度与每个像素点的响应度做比值，将比值结果作为相应像素点的增益系数对相应像素点进行亮度补偿。

2.根据权利要求1所述的方法，其特征在于，所述对相同灰度值基准的多路鱼眼图像进行图像一致性处理，还包括：

针对多路鱼眼图像，在多路鱼眼图像的重叠区域中识别出相同画面区域，计算相同画面区域在每一路鱼眼图像中的平均灰度值，根据相同画面区域在多路鱼眼图像中的平均灰度值确定每一路鱼眼图像的增益系数，所述增益系数用于将多路鱼眼图像调整为相同亮度，根据所述每一路鱼眼图像的增益系数调整相应鱼眼图像的亮度，使多路鱼眼图像的亮度相同。

3.根据权利要求1所述的方法，其特征在于，所述对相同灰度值基准的多路鱼眼图像进行图像一致性处理，包括：进行单路鱼眼图像自身的图像一致性处理以及多路鱼眼图像之间的图像一致性处理，其中：

所述单路鱼眼图像自身的图像一致性处理，包括：针对每一路鱼眼图像，对鱼眼图像划分图像区域，分别计算每个图像区域的平均灰度值，将亮度最高的图像区域的平均灰度值与每个图像区域的平均灰度值做比值，将比值结果作为相应图像区域的增益系数对相应图像区域进行亮度补偿；或者，针对每一路鱼眼图像，根据鱼眼图像对应的鱼眼镜头的响应度信息确定图像上每个像素点的响应度，将亮度最高的像素点的响应度与每个像素点的响应度做比值，将比值结果作为相应像素点的增益系数对相应像素点进行亮度补偿；

所述多路鱼眼图像之间的图像一致性处理，包括：针对多路鱼眼图像，在多路鱼眼图像的重叠区域中识别出相同画面区域，计算相同画面区域在每一路鱼眼图像中的平均灰度值，根据相同画面区域在多路鱼眼图像中的平均灰度值确定每一路鱼眼图像的增益系数，该增益系数用于将多路鱼眼图像调整为相同亮度，根据所述每一路鱼眼图像的增益系数调整相应鱼眼图像的亮度，使多路鱼眼图像的亮度相同。

4.根据权利要求2或3所述的方法，其特征在于，所述在多路鱼眼图像的重叠区域中识别出相同画面区域，计算相同画面区域在每一路鱼眼图像中的平均灰度值，根据相同画面区域在多路鱼眼图像中的平均灰度值确定每一路鱼眼图像的增益系数，包括：

在所述重叠区域中识别出多个相同画面区域，分别计算每个相同画面区域在每一路鱼眼图像中的平均灰度值，根据每个相同画面区域在多路鱼眼图像中的平均灰度值为每一路鱼眼图像确定一个增益系数，从而为每一路鱼眼图像确定出多个增益系数，将多个增益系数取平均值作为鱼眼图像的增益系数，或者使用相应的增益系数对鱼眼图像上的相应画面区域进行补偿，其余区域采用确定出的多个增益系数中的其中之一进行补偿或者采用多个增益系数的平均值进行补偿。

5.根据权利要求1或3所述的方法，其特征在于，所述响应度信息采用如下方法获取，包括：

将鱼眼镜头对均匀光源所拍摄的图像按照亮度差异进行区域划分，将每个区域的平均灰度值与亮度最高的区域的平均灰度值的比值作为该区域中心像素点的响应度，在得到所有区域的中心像素点的响应度后，采用插值算法计算出鱼眼镜头所拍摄的图像上的所有像素点的响应度，再根据每个像素点的响应度和坐标值生成鱼眼镜头的响应度信息。

6.根据权利要求1所述的方法，其特征在于，所述对同步处理后的每一路鱼眼图像进行暗电平校准，包括：

对每一路鱼眼图像对应的原始图像分别统计各自暗电平区域的平均灰度值，将每一路鱼眼图像的每个像素点的灰度值减去各自对应的原始图像的暗电平区域的平均灰度值。

7.一种全景图像的处理装置，其特征在于，包括：

一同步单元，用于获取多路鱼眼图像，对所述多路鱼眼图像进行同步处理；

一暗电平处理单元，用于对同步处理后的每一路鱼眼图像进行暗电平校准，使多路鱼眼图像获得相同的灰度值基准；

一图像一致性处理单元，用于对相同灰度值基准的多路鱼眼图像进行图像一致性处理，补偿鱼眼图像的亮度差异；

一畸变校正单元，用于对图像一致性处理后的多路鱼眼图像进行畸变校正，得到多路鱼眼展开图；

一拼接融合单元，用于将多路鱼眼展开图拼接为全景图像；

所述图像一致性处理单元对相同灰度值基准的多路鱼眼图像进行图像一致性处理，包括：

针对每一路鱼眼图像，对鱼眼图像划分图像区域，分别计算每个图像区域的平均灰度值，将亮度最高的图像区域的平均灰度值与每个图像区域的平均灰度值做比值，将比值结果作为相应图像区域的增益系数对相应图像区域进行亮度补偿；或者，

针对每一路鱼眼图像，根据鱼眼图像对应的鱼眼镜头的响应度信息确定图像上每个像素点的响应度，将亮度最高的像素点的响应度与每个像素点的响应度做比值，将比值结果作为相应像素点的增益系数对相应像素点进行亮度补偿。

8.根据权利要求7所述的装置，其特征在于，所述图像一致性处理单元对相同灰度值基准的多路鱼眼图像进行图像一致性处理，还包括：

针对多路鱼眼图像，在多路鱼眼图像的重叠区域中识别出相同画面区域，计算相同画面区域在每一路鱼眼图像中的平均灰度值，根据相同画面区域在多路鱼眼图像中的平均灰度值确定每一路鱼眼图像的增益系数，所述增益系数用于将多路鱼眼图像调整为相同亮度，根据所述每一路鱼眼图像的增益系数调整相应鱼眼图像的亮度，使多路鱼眼图像的亮度相同。

9.根据权利要求8所述的装置，其特征在于，所述图像一致性处理单元在多路鱼眼图像的重叠区域中识别出相同画面区域，计算相同画面区域在每一路鱼眼图像中的平均灰度值，根据相同画面区域在多路鱼眼图像中的平均灰度值确定每一路鱼眼图像的增益系数，包括：

在所述重叠区域中识别出多个相同画面区域，分别计算每个相同画面区域在每一路鱼眼图像中的平均灰度值，根据每个相同画面区域在多路鱼眼图像中的平均灰度值为每一路鱼眼图像确定一个增益系数，从而为每一路鱼眼图像确定出多个增益系数，将多个增益系数取平均值作为鱼眼图像的增益系数，或者使用相应的增益系数对鱼眼图像上的相应画面区域进行补偿，其余区域采用确定出的多个增益系数中的其中之一进行补偿或者采用多个增益系数的平均值进行补偿。

10.根据权利要求7所述的装置，其特征在于，所述图像一致性处理单元获取所述响应度信息，包括：

将鱼眼镜头对均匀光源所拍摄的图像按照亮度差异进行区域划分，将每个区域的平均灰度值与亮度最高的区域的平均灰度值的比值作为该区域中心像素点的响应度，在得到所有区域的中心像素点的响应度后，采用插值算法计算出鱼眼镜头所拍摄的图像上的所有像素点的响应度，再根据每个像素点的响应度和坐标值生成鱼眼镜头的响应度信息。

11.根据权利要求7所述的装置，其特征在于，所述暗电平处理单元对同步处理后的每一路鱼眼图像进行暗电平校准，包括：

对每一路鱼眼图像对应的原始图像分别统计各自暗电平区域的平均灰度值，将每一路鱼眼图像的每个像素点的灰度值减去各自对应的原始图像的暗电平区域的平均灰度值。

Images