CN110728619B - 一种全景图像拼接渲染方法及装置 - Google Patents

Abstract

本发明提出一种全景图像拼接渲染方法及装置。一种全景图像拼接渲染方法，包括：获取待拼接渲染的鱼眼图像；对所述鱼眼图像进行顶点网格刨分处理，其中，顶点网格刨分精度与所述鱼眼图像的畸变程度成正比；根据对所述鱼眼图像的刨分结果，建立图像拼接渲染球型模型；将刨分后的所述鱼眼图像以及所述图像拼接渲染球型模型输入图形处理器渲染管线，将所述鱼眼图像拼接渲染为全景图像。上述技术方案对鱼眼图像进行切合畸变程度的刨分处理，然后以刨分后的图像进行拼接渲染得到全景图像，可以在保证渲染精度的前提下减少渲染顶点数，提高渲染效率。

Description

一种全景图像拼接渲染方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种全景图像拼接渲染方法及装置。

背景技术

鱼眼镜头是一种焦距为16毫米或更短的，并且视角接近或等于180°的镜头，它是一种极端的广角镜头，可以拍摄超过人眼视觉范围的图像，即鱼眼图像。全景图像是通过对专业相机捕捉整个场景的图像信息或者使用建模软件渲染过后的图片，使用软件进行图片拼合而得到的能够全面展示空间场景的三维图像。基于鱼眼镜头广角拍摄的优越性，鱼眼图像常常被用作拼接渲染全景图像的素材。

由于鱼眼镜头的短焦距特性，虽然得到了更大拍摄视角，但是因光学原理产生的图像畸变也更强烈，其结果是除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了变化，具体可参见图1所示的鱼眼镜头成像示例，鱼眼图像边缘尤其是南北极点均发生了畸变。

利用球型模型进行全景图像拼接渲染时，鱼眼图像的边缘和南北极点恰好是拼接缝所在位置，而球型模型拼接缝处是图像变形量最大的区域，要想尽可能保证在拼接渲染时达到合理的变形效果，不发生图像失真，应当为球型模型设置更多的顶点，提高球型模型精度。因此，对鱼眼图像进行高精度的顶点网格刨分，建立高精度的球型渲染模型进行全景图像拼接渲染，是业内常用的全景图像拼接渲染方法。但是，图像渲染需要进行大量的三维建模、光栅化等工作，图像渲染顶点数量对GPU(Graphics Processing Unit，图形处理器)渲染管线的工作效率影响极大，大量的顶点会严重降低GPU渲染管线光栅化效率以及顶点数据动态传入效率，从而降低全景图像拼接渲染的效率，增加了功耗。

发明内容

基于上述现有技术的缺陷和不足，本发明实施例提出一种全景图像拼接渲染方法及装置，能够合理配置全景图像拼接渲染时的顶点数量分布，避免大量顶点处理使图像渲染效率降低。

一种全景图像拼接渲染方法，所述方法包括：

获取待拼接渲染的鱼眼图像；

对所述鱼眼图像进行顶点网格刨分处理，其中，顶点网格刨分精度与所述鱼眼图像的畸变程度成正比；

根据对所述鱼眼图像的刨分结果，建立图像拼接渲染球型模型；

将刨分后的所述鱼眼图像以及所述图像拼接渲染球型模型输入图形处理器渲染管线，将所述鱼眼图像拼接渲染为全景图像。

可选的，所述对所述鱼眼图像进行顶点网格刨分处理，包括：

将所述鱼眼图像转换到图像坐标系或经纬坐标系表示；

对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理。

可选的，所述对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理，包括：

按照与所述鱼眼图像中心的距离越大则刨分精度越高的规则，对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理。

可选的，所述按照与所述鱼眼图像中心的距离越大则刨分精度越高的规则，对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理，包括：

当所述鱼眼图像在所述图像坐标系下表示时，对所述图像坐标系下以所述鱼眼图像中心为圆心的第一圆形区域内的图像进行第一精度的顶点网格刨分处理，以及对所述鱼眼图像中的，在所述第一圆形区域之外的图像进行第二精度的顶点网格刨分处理；其中，所述第一精度小于所述第二精度；

当所述鱼眼图像在所述经纬坐标系下表示时，对所述经纬坐标系下以所述鱼眼图像中心为中心的第一矩形区域内的图像进行第三精度的顶点网格刨分处理，以及对所述鱼眼图像中的，在所述第一矩形区域之外的图像进行第四精度的顶点网格刨分处理；其中，所述第三精度小于所述第四精度。

可选的，所述方法还包括：

当所述鱼眼图像在所述经纬坐标系下表示时，对所述经纬坐标系下以所述鱼眼图像中心为中心的第二矩形区域内的图像进行第四精度的顶点网格刨分处理，对所述第二矩形区域上方和下方的图像区域内的图像进行第五精度的顶点网格刨分处理，以及对所述第二矩形区域左侧和右侧的图像区域内的图像进行第六精度的顶点网格刨分处理；其中，所述第四精度小于所述第五精度和所述第六精度。

一种全景图像拼接渲染装置，所述装置包括：

图像获取单元，用于获取待拼接渲染的鱼眼图像；

图像刨分单元，用于对所述鱼眼图像进行顶点网格刨分处理，其中，顶点网格刨分精度与所述鱼眼图像的畸变程度成正比；

模型建立单元，用于根据对所述鱼眼图像的刨分结果，建立图像拼接渲染球型模型；

图像渲染单元，用于将刨分后的所述鱼眼图像以及所述图像拼接渲染球型模型输入图形处理器渲染管线，将所述鱼眼图像拼接渲染为全景图像。

可选的，所述图像刨分单元包括：

图像表示单元，用于将所述鱼眼图像转换到图像坐标系或经纬坐标系表示；

刨分处理单元，用于对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理。

可选的，所述刨分处理单元对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理时，具体用于：

按照与所述鱼眼图像中心的距离越大则刨分精度越高的规则，对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理。

可选的，所述刨分处理单元按照与所述鱼眼图像中心的距离越大则刨分精度越高的规则，对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理时，具体用于：

当所述鱼眼图像在所述图像坐标系下表示时，对所述图像坐标系下以所述鱼眼图像中心为圆心的第一圆形区域内的图像进行第一精度的顶点网格刨分处理，以及对所述鱼眼图像中的，在所述第一圆形区域之外的图像进行第二精度的顶点网格刨分处理；其中，所述第一精度小于所述第二精度；

当所述鱼眼图像在所述经纬坐标系下表示时，对所述经纬坐标系下以所述鱼眼图像中心为中心的第一矩形区域内的图像进行第三精度的顶点网格刨分处理，以及对所述鱼眼图像中的，在所述第一矩形区域之外的图像进行第四精度的顶点网格刨分处理；其中，所述第三精度小于所述第四精度。

可选的，所述刨分处理单元还用于：

当所述鱼眼图像在所述经纬坐标系下表示时，对所述经纬坐标系下以所述鱼眼图像中心为中心的第二矩形区域内的图像进行第四精度的顶点网格刨分处理，对所述第二矩形区域上方和下方的图像区域内的图像进行第五精度的顶点网格刨分处理，以及对所述第二矩形区域左侧和右侧的图像区域内的图像进行第六精度的顶点网格刨分处理；其中，所述第四精度小于所述第五精度和所述第六精度。

本发明技术方案对鱼眼图像进行切合图像畸变程度的顶点网格刨分处理，对于畸变严重的图像区域进行高精度的刨分，顶点数量较多，而对于畸变较轻的图像区域则进行低精度的刨分，顶点数量较少。相对于为了真实还原鱼眼图像边缘区域的畸变而对鱼眼图像全幅进行高精度的顶点网格刨分，本发明实施例得到的整体顶点数量更少，而对于图像拼接缝区域的畸变也可以利用相对应的较多数量的顶点进行精确渲染，因此在降低渲染顶点数量的同时能够保证对图像畸变的渲染精度，达到了渲染精度与渲染效率的平衡。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明实施例提供的一种鱼眼镜头成像示意图；

图2是本发明实施例提供的双鱼眼摄像机模型示意图；

图3是本发明实施例提供的一种鱼眼图像示意图；

图4是本发明实施例提供的鱼眼图像全景图像拼接示意图；

图5是本发明实施例提供的一种全景图像拼接渲染方法的流程示意图；

图6是本发明实施例提供的另一种全景图像拼接渲染方法的流程示意图；

图7是本发明实施例提供的经纬坐标系示意图；

图8是本发明实施例提供的图像坐标系示意图；

图9是本发明实施例提供的球型坐标系示意图；

图10是本发明实施例提供的图像像素点在图像坐标系中的位置示意图；

图11是本发明实施例提供的在图像坐标系下对鱼眼图像进行顶点网格刨分的示意图；

图12是本发明实施例提供的在经纬坐标系下对鱼眼图像进行顶点网格刨分的示意图；

图13是本发明实施例提供的另一种在图像坐标系下对鱼眼图像进行顶点网格刨分的示意图；

图14是本发明实施例提供的另一种在经纬坐标系下对鱼眼图像进行顶点网格刨分的示意图；

图15是本发明实施例提供的又一种在经纬坐标系下对鱼眼图像进行顶点网格刨分的示意图；

图16是本发明实施例提供的图像拼接渲染球型模型示意图；

图17是本发明实施例提供的一种全景图像拼接渲染装置的结构示意图。

具体实施方式

本发明实施例技术方案适用于全景图像拼接渲染的应用场景，采用本发明实施例技术方案能够提高利用鱼眼图像拼接渲染得到全景图像的效率。

首先简单介绍鱼眼摄像机拍摄鱼眼图像及进行鱼眼图像拼接渲染的基础技术知识：

鱼眼摄像机的视场角可以超过180度，因此理论上两台鱼眼摄像机拍摄的图像就可以拼接成360度的全景图像。例如图2所示，第一摄像机7和第二摄像机8分别朝相反方向拍摄，其视场角分别为5和6，其视野分别如图中1和2所示，并且存在重叠区域3和4，对图中1和2区域的图像执行在3、4区域的拼接渲染，就可以得到无缝拼接的全景图像。事实上，采用更多的鱼眼摄像机拍摄鱼眼图像并进行图像拼接，也可以得到全景图像。

鱼眼摄像机拍摄得到的鱼眼图像如图3所示，其中包括两部分：圆形区域1所示为实际成像区域，阴影部分区域2为非成像区域。可以理解，鱼眼图像的实际内容为图3中圆形区域1内的内容，对鱼眼图像进行拼接时，也是对图3中圆形区域1内的图像内容进行拼接。

鱼眼图像的全景拼接渲染包括两种模式：球型模式和平展渲染模式。

球型模式的鱼眼图像拼接渲染如图4所示，双鱼眼摄像机成像可视为摄像机坐标系统下的球型模型，通过一系列的坐标变换关系，求解鱼眼图像中的一点到球型模型上的对应关系，将鱼眼图像扭曲贴图至球型模型上，再对贴图重叠区域进行拼接和整体渲染，得到全景图像。其中，图4中1表示图像坐标系中重叠区视野边界圈，2表示第一摄像机拍摄到的鱼眼图像，3表示球型模型中的拼接融合区域，4表示第二摄像机拍摄到的鱼眼图像，5表示经纬坐标系下重叠区视野边界，6表示镜头坐标系中球型模型，7表示第一摄像机的经纬坐标系统，8表示第二摄像机的经纬坐标系统。

平展渲染模式将鱼眼图像经过图像坐标系到经纬坐标系的变换渲染至经纬图像中。由于图2所示的鱼眼摄像机视野存在重合情况，在各坐标系统中重叠区域或边界如图4中的5所示。对图4中图像7和8在重叠区域中采用加权色彩融合的方法消除拼接缝，实现全景图像拼接。

例如图1所示，由于鱼眼摄像机采集的鱼眼图像本身存在畸变，尤其是图像边缘区域的畸变更明显，图像中心区域的畸变较小。而全景图像的拼接渲染又是在图像边缘部分进行拼接处理，因此为了保证对鱼眼图像原始信息的逼真再现，保留更多的图像细节，应当为鱼眼图像拼接渲染模型设置更多顶点，提高渲染模型精度。但是顶点数量的增加又会大大增加GPU渲染管线的工作量，降低渲染效率。

为了平衡拼接渲染的精度和效率，本发明实施例提出一种全景图像拼接渲染方法及装置。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种全景图像拼接渲染方法，参见图5所示，包括：

S501、获取待拼接渲染的鱼眼图像；

具体的，上述鱼眼图像，是指通过鱼眼摄像机拍摄的图像。在本发明实施例中，上述鱼眼图像具体为不少于2幅的，用于拼接全景图像的鱼眼图像。事实上，对于任意数量的鱼眼图像的全景图像拼接渲染，都可以参照本发明实施例所公开的技术方案进行处理。在本发明实施例中，不再一一介绍其具体处理过程，仅以上述的“待拼接渲染的鱼眼图像”表示多幅等待进行拼接渲染处理的鱼眼图像，介绍拼接渲染的处理过程。

需要说明的是，本发明实施例以上述的球型模式进行全景图像渲染为例介绍本发明实施例技术方案，可以理解，在模型可以相互转换的基础上，其它模式的全景图像渲染也可以参照本发明实施例技术方案执行，本发明实施例不再单独介绍。

S502、对所述鱼眼图像进行顶点网格刨分处理，其中，顶点网格刨分精度与所述鱼眼图像的畸变程度成正比；

具体的，对鱼眼图像进行顶点网格刨分，实际上是将鱼眼图像进行顶点和图元的划分，将鱼眼图像划分为由顶点和图元组成的顶点网格，以便后期以顶点为基准对图像进行拼接渲染处理。本发明实施例刨分得到的顶点网格为三角形或矩形顶点网格。

由于顶点越多，渲染模型的越精确，因此为鱼眼图像划分更多的顶点网格可以使渲染模型更精确，有利于避免失真。而鱼眼图像的边缘区域，也就是拼接缝附近区域的畸变较严重，只有设置较多的顶点才能准确渲染出其变形效果，因此应当以较高刨分精度对上述的鱼眼图像进行顶点网格刨分处理，得到更过的顶点。

但是，渲染的顶点数量直接影响渲染工作量和渲染效率，顶点数量越多，渲染工作量越大，渲染效率越低，因此，为了权衡渲染精度和渲染效率，本发明实施例设定，对鱼眼图像进行顶点网格刨分处理的刨分精度，与鱼眼图像的畸变程度成正比，即鱼眼图像的畸变程度越高，则顶点网格刨分的刨分精度越高，得到的顶点网格数量和顶点数量越多；鱼眼图像的畸变程度越低，则顶点网格刨分的刨分精度越低，得到的顶点网格数量和顶点数量越少。

可以理解，按照本发明实施例提出的上述刨分规则对鱼眼图像进行顶点网格刨分处理，可以使鱼眼图像边缘，也就是图像拼接缝附近的顶点数量较多，在渲染时的渲染精度较高，能够准确渲染出其畸变效果；而图像中心区域的顶点数量较少，在渲染时的渲染精度相对较低，而鱼眼图像中心区域本身畸变较小，因此较低的渲染精度符合较小畸变的渲染精度需求。

也就是说，本发明实施例分别为鱼眼图像不同畸变程度的图像区域设置与之相匹配的顶点网格刨分精度，可以使图像渲染的顶点数量分布切合不同图像区域的渲染精度需求。相对于简单地将鱼眼图像刨分为高精度的顶点网格，本发明实施例可以有效减少顶点数量，从而较少渲染工作量，利于提升渲染效率。

S503、根据对所述鱼眼图像的刨分结果，建立图像拼接渲染球型模型；

具体的，在完成对上述鱼眼图像的顶点网格刨分后，将刨分后的鱼眼图像转换到球型坐标系，得到对上述鱼眼图像进行拼接渲染的拼接渲染球型模型。

可以理解，该拼接渲染球型模型各点的坐标分别对应对鱼眼图像进行顶点网格刨分后的各点坐标，也就是得到上述鱼眼图像各点与拼接渲染球型模型各点之间的点对关系。

S504、将刨分后的所述鱼眼图像以及所述图像拼接渲染球型模型输入图形处理器渲染管线，将所述鱼眼图像拼接渲染为全景图像。

具体的，将上述进行顶点网格刨分后的鱼眼图像，以及由刨分后的鱼眼图像转换得到的图像拼接渲染球型模型同时输入GPU渲染管线，由GPU渲染管线将上述鱼眼图像按照与上述拼接渲染球型模型之间的点对关系渲染到上述球型模型上，得到全景图像。

通过上述介绍可见，本发明实施例在利用鱼眼图像拼接渲染全景图像时，按照鱼眼图像的畸变程度对鱼眼图像进行顶点网格刨分处理，基于鱼眼图像中心区域畸变较轻而边缘区域畸变严重的特点，畸变较严重的拼接缝区域的刨分精度较高，顶点数量较多，而畸变较轻的图像中心区域则刨分精度较低，顶点数量较少，然后依据刨分后的鱼眼图像建立拼接渲染球型模型，以及利用该模型进行全景图像拼接和渲染。由于上述技术方案进行渲染的顶点数量相对于全幅高精度的图像刨分得到的顶点数量较少，而且对于畸变严重的图像区域保留高精度的图像刨分，因此本发明实施例技术方案能够在保证渲染效果的同时，降低渲染顶点数量，从而减少渲染工作量，利于提升全景图像拼接渲染的效率。

可以理解，本发明实施例技术方案权衡全景图像拼接渲染的精度与效率的方法是对鱼眼图像进行切合图像畸变程度的顶点网格刨分处理，对于畸变严重的图像区域进行高精度的刨分，顶点数量较多，而对于畸变较轻的图像区域则进行低精度的刨分，顶点数量较少。相对于为了真实还原鱼眼图像边缘区域的畸变而对鱼眼图像全幅进行高精度的顶点网格刨分，本发明实施例得到的整体顶点数量更少，而对于图像拼接缝区域的畸变也可以利用相对应的较多数量的顶点进行精确渲染，因此在降低渲染顶点数量的同时能够保证对图像畸变的渲染精度，达到了渲染精度与渲染效率的平衡。

下面具体介绍本发明实施例对鱼眼图像进行顶点网格刨分的具体处理过程。

参见图6所示，所述对所述鱼眼图像进行顶点网格刨分处理，包括：

S602、将所述鱼眼图像转换到图像坐标系或经纬坐标系表示；

具体的，本发明实施例以鱼眼图像作为素材拼接渲染得到全景图像。所获取的鱼眼图像，可以是任意坐标系下所展现的图像。为了便于进行图像刨分，本发明实施例设定在图像坐标系或经纬坐标系下进行。因此，在获取到鱼眼图像后，视鱼眼图像所处的坐标系不同，将鱼眼图像转换到图像坐标系或经纬坐标系下表示。可以理解，如果鱼眼图像本身就是在图像坐标系或经纬坐标系下，则可以免去执行步骤S602，直接执行后续步骤S603。或者，也可以执行鱼眼图像在图像坐标系和经纬坐标系下的表示切换。

对于鱼眼图像在不同坐标系下的表示切换，根据不同坐标系之间的转换公式进行。本发明实施例主要利用经纬坐标系、图像坐标系和球型坐标系，下面简要介绍经纬坐标系与球型坐标系之间转换关系，以及球型坐标系与图像坐标系之间的转换关系，可以理解，参照如下介绍的转换关系，可以实现鱼眼图像在经纬坐标系、图像坐标系和球型坐标系之间的转换表示。

对于任意一个鱼眼摄像机，其经纬坐标系如图7所示，横轴为纬度，纵轴为经度。纬度的值域为[(π-fov)/2,(π+fov)/2]，不考虑南北极拼接缝融合的情况下，经度的值域为[0,π]。p_planar(φ,θ)表示经纬坐标下的任意一点。其中fov表示镜头视场角。

球型坐标系如图8所示，摄像机成像中心位于O点，光轴朝向y轴正方向。在XOY平面中的阴影与视场角fov对应。图7经纬坐标系中的p_planar(φ,θ)点在球型坐标系中表示为p_space(x,y,z)。其中q点为p_space点向XOY平面的投影。

其中由经纬坐标系向球型坐标系的转换关系如公式1、公式2、公式3所示：

x＝-cos(φ)sin(θ) (公式1)

y＝-cos(θ) (公式2)

z＝sin(φ)sin(θ) (公式3)

采用等距模型将球型坐标系转换为图像坐标系，如图9所示。球型坐标系中表示为p_space(x,y,z)的点在图像坐标系中表示为p_ball(u,v)。令m点为p_space点在XOZ平面的投影，OP与y轴正方向的夹角为α，OM与x轴负方向的夹角为β，如图10所示。则图像坐标系与球型坐标系转换如公式4、公式5、公式6、公式7、公式8所示。

(u,v)＝(OP cos(β),OP sin(β))(y！＝1)

＝(0,0) (y＝1) (公式4)

OP＝2α/fov (公式5)

α＝atan(OM/z) (y>0)

＝π/2 (y＝0) (公式6)

＝atan(OM/z)+π (y≤0)

β＝acos(-x/OM) (z>0)

＝2π-acos(-x/OM) (z<0) (公式7)

按照上述坐标系转换公式，可以将获取的鱼眼图像在经纬坐标系和图像坐标系下转换表示。

S603、对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理。

具体的，当上述的鱼眼图像在图像坐标系或经纬坐标系下表示时，直接在图像坐标系和经纬坐标系下对鱼眼图像进行顶点网格刨分处理。

在本发明另一实施例中公开了，按照与所述鱼眼图像中心的距离越大则刨分精度越大的规则，对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理。

参见图1所示，由于鱼眼图像边缘区域的畸变相对于图像中心区域的畸变更严重，为了在图像渲染时能够更真实地表现图像畸变，应当对图像边缘区域进行更多顶点的图像渲染，而对于畸变较轻的图像中心区域，则可以执行较少顶点数量的渲染，因此，本发明实施例设定对上述鱼眼图像中心区域进行低精度的顶点网格刨分，而对于上述鱼眼图像的边缘区域则进行高精度的顶点网格刨分。也就是，按照与所述鱼眼图像中心的距离越大则刨分精度越高的规则，对鱼眼图像进行顶点网格刨分处理。

参见图11所示，在图像坐标系下，在对鱼眼图像中心区域的图像进行顶点网格刨分时，采用低精度的刨分，沿着从图像中心向图像边缘的延伸，刨分精度逐渐增高。最后的刨分结果是，图像中心区域的顶点网格较大，单位面积内的顶点数量较少，而图像边缘区域，即图像畸变严重区域的顶点网格较小，单位面积内的顶点数量较多。上述刨分结果正好符合鱼眼图像中心区域畸变较轻，需要的渲染顶点较少，而图像边缘区域畸变较严重，需要的渲染顶点较多的事实。

又参见图12所示，在经纬坐标系下，在对鱼眼图像中心区域进行顶点网格刨分时，采用低精度的刨分，沿着从图像中心向图像边缘的延伸，刨分精度逐渐增高。最后的刨分结果是，图像中心区域的顶点网格较大，单位面积内的顶点数量较少，而图像边缘区域，即图像畸变严重区域的顶点网格较小，单位面积内的顶点数量较多。上述刨分结果正好符合鱼眼图像中心区域畸变较轻，需要的渲染顶点较少，而图像边缘区域畸变较严重，需要的渲染顶点较多的事实。

在具体执行上述的，按照与所述鱼眼图像中心的距离越大则刨分精度越高的规则，对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理时，可以按照分区域设定刨分精度的方法执行。即，对距离图像中心第一距离范围内的图像按照第一精度进行顶点网格刨分，对距离图像重点第二距离范围内的图像按照第二精度进行顶点网格刨分等，直到当对图像边缘区域内的图像按照足够高的精度进行顶点网格刨分。

在本发明的另一实施例中公开了，所述按照与所述鱼眼图像中心的距离越大则刨分精度越高的规则，对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理，包括：

当所述鱼眼图像在所述图像坐标系下表示时，对所述图像坐标系下以所述鱼眼图像中心为圆心的第一圆形区域内的图像进行第一精度的顶点网格刨分处理，以及对所述鱼眼图像中的，在所述第一圆形区域之外的图像进行第二精度的顶点网格刨分处理；其中，所述第一精度小于所述第二精度；

以及，

当所述鱼眼图像在所述经纬坐标系下表示时，对所述经纬坐标系下以所述鱼眼图像中心为中心的第一矩形区域内的图像进行第三精度的顶点网格刨分处理，以及对所述鱼眼图像中的，在所述第一矩形区域之外的图像进行第四精度的顶点网格刨分处理；其中，所述第三精度小于所述第四精度。

具体的，参见图13所示，当上述的鱼眼图像在图像坐标系下表示时，在对鱼眼图像进行顶点网格刨分时，为了达到与鱼眼图像中心的距离越大刨分精度越高的效果，对图像坐标系下的以鱼眼图像中心为圆心的第一圆形区域1内的图像进行第一精度的顶点网格刨分，对于剩余的图像区域的图像，也就是对上述鱼眼图像中，在上述第一圆形区域1之外的图像进行第二精度的顶点网格刨分，并且设定上述的第一精度小于上述的第二精度。

可以理解，上述第一圆形区域1内的图像，即为靠近图像中心的畸变较轻的图像区域，而上述第一圆形区域1之外的图像即为靠近图像边缘的畸变较严重的图像区域。通过为上述两个区域设置不同的刨分精度，可以达到对畸变较轻的区域进行低精度顶点网格刨分，以及对畸变较严重的区域进行高精度顶点网格刨分的目的。

参见图14所示，当上述的鱼眼图像在经纬坐标系下表示时，在对鱼眼图像进行顶点网格刨分时，为了达到与鱼眼图像中心的距离越大刨分精度越高的效果，对经纬坐标系下的以鱼眼图像中心为中心的第一矩形区域2内的图像进行第三精度的顶点网格刨分，对于剩余的图像区域的图像，也就是对上述鱼眼图像中，在上述第一矩形区域2之外的图像进行第四精度的顶点网格刨分，并且设定上述第三精度小于上述的第四精度。

可以理解，上述的第一矩形区域2内的图像，即为靠近图像中心的畸变较轻的图像区域，而上述第一矩形区域2之外的图像即为靠近图像边缘的畸变较严重的图像区域。通过为上述两个区域设置不同的刨分精度，可以达到对畸变较轻的区域进行低精度顶点网格刨分，以及对畸变较严重的区域进行高精度顶点网格刨分的目的。

需要说明的是，本发明实施例仅以将鱼眼图像区域划分为两个区域进行不同精度的顶点网格刨分为例说明如何对鱼眼图像不同区域进行不同精度的顶点网格刨分，在实际实施本发明实施例技术方案时，可以通过为鱼眼图像划分更多区域进行各区域不同精度的顶点网格刨分，只要遵循靠近图像中心的刨分精度较低，靠近图像边缘的刨分精度较高的原则即可。

在本发明的另一实施例中，还公开了当在经纬坐标系下对鱼眼图像进行顶点网格刨分时，可以对经、纬度边缘区域的图像按照不同的刨分精度进行顶点网格刨分。

在本发明实施例中公开了，当所述鱼眼图像在所述经纬坐标系下表示时，对所述经纬坐标系下以所述鱼眼图像中心为中心的第二矩形区域内的图像进行第四精度的顶点网格刨分处理，对所述第二矩形区域上方和下方的图像区域内的图像进行第五精度的顶点网格刨分处理，以及对所述第二矩形区域左侧和右侧的图像区域内的图像进行第六精度的顶点网格刨分处理；其中，所述第四精度小于所述第五精度和所述第六精度。

具体的，参见图15所示，当鱼眼图像在经纬坐标系下表示时，对于以鱼眼图像中心为中心的第二矩形区域3内的图像进行第四精度的顶点网格刨分处理。

而上述的第二矩形区域3上方和下方的图像区域，分别对应转换到图像渲染的球型模型后的北极点和南极点附近。上述的第二矩形区域3左侧和右侧的图像区域，分别对应转换到图像渲染的球型模型后的沿经线方向的拼接缝区域。对于上述的北极点和南极点附件的图像，以及上述沿经线方向的拼接缝区域，可以分别设置不同的顶点网格刨分精度进行顶点网格刨分。即，与上述第二矩形区域3上方和下方的图像区域内的图像进行第五精度的顶点网格刨分处理，以及对上述第二矩形区域3左侧和右侧的图像区域内的图像进行第六精度的顶点网格刨分处理，并且设定上述的第四精度小于上述的第五精度和第六精度。更进一步的，由于经纬坐标系转换到球型坐标系时，上述的第二矩形区域3上方和下方的图像区域发生大范围位移而聚集到球型模型的北极点和南极点，因此可以视情况设置更高精度的顶点网格刨分，以便能够更真实地表现图像畸变，也就是可以设置上述第五精度大于上述第六精度。

对于图15所示的四角区域的图像，可以选择按照第五精度进行顶点网格刨分，也可以选择按照第六精度进行顶点网格刨分。

在按照上述各实施例介绍的顶点网格刨分方法执行对鱼眼图像的顶点网格刨分后，执行步骤S604，将鱼眼图像按照公式1-8转换到球型坐标系下，得到图像拼接渲染球型模型。例如将顶点网格刨分后的如图12所示的经纬坐标系下的鱼眼图像转换到球型坐标系下，可得到如图16所示的图像拼接渲染球型模型。其中，图16中的1表示球型模型北极点，2表示球型模型赤道，3表示东半球对应的拼接缝区域，4表示南极点。

本实施例中的步骤S601、S604、S605分别对应图5所示的方法实施例中的步骤S501、S503、S504，其具体内容请参见图5所示的方法实施例的内容，此处不再赘述。

本发明另一实施例还公开了一种全景图像拼接渲染装置，参见图17所示，所述装置包括：

图像获取单元100，用于获取待拼接渲染的鱼眼图像；

图像刨分单元110，用于对所述鱼眼图像进行顶点网格刨分处理，其中，顶点网格刨分精度与所述鱼眼图像的畸变程度成正比；

模型建立单元120，用于根据对所述鱼眼图像的刨分结果，建立图像拼接渲染球型模型；

图像渲染单元130，用于将刨分后的所述鱼眼图像以及所述图像拼接渲染球型模型输入图形处理器渲染管线，将所述鱼眼图像拼接渲染为全景图像。

可选的，在本发明的另一个实施例中还公开了，所述图像刨分单元包括：

图像表示单元，用于将所述鱼眼图像转换到图像坐标系或经纬坐标系表示；

刨分处理单元，用于对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理。

其中，所述刨分处理单元对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理时，具体用于：

按照与所述鱼眼图像中心的距离越大则刨分精度越高的规则，对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理。

可选的，在本发明的另一个实施例中还公开了，所述刨分处理单元按照与所述鱼眼图像中心的距离越大则刨分精度越高的规则，对所述图像坐标系或所述经纬坐标系下的所述鱼眼图像进行顶点网格刨分处理时，具体用于：

当所述鱼眼图像在所述图像坐标系下表示时，对所述图像坐标系下以所述鱼眼图像中心为圆心的第一圆形区域内的图像进行第一精度的顶点网格刨分处理，以及对所述鱼眼图像中的，在所述第一圆形区域之外的图像进行第二精度的顶点网格刨分处理；其中，所述第一精度小于所述第二精度；

当所述鱼眼图像在所述经纬坐标系下表示时，对所述经纬坐标系下以所述鱼眼图像中心为中心的第一矩形区域内的图像进行第三精度的顶点网格刨分处理，以及对所述鱼眼图像中的，在所述第一矩形区域之外的图像进行第四精度的顶点网格刨分处理；其中，所述第三精度小于所述第四精度。

可选的，在本发明的另一个实施例中还公开了，所述刨分处理单元还用于：

当所述鱼眼图像在所述经纬坐标系下表示时，对所述经纬坐标系下以所述鱼眼图像中心为中心的第二矩形区域内的图像进行第四精度的顶点网格刨分处理，对所述第二矩形区域上方和下方的图像区域内的图像进行第五精度的顶点网格刨分处理，以及对所述第二矩形区域左侧和右侧的图像区域内的图像进行第六精度的顶点网格刨分处理；其中，所述第四精度小于所述第五精度和所述第六精度。

具体的，上述各实施例中的各个单元的具体工作内容，请参见上述方法实施例的内容，此处不再赘述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种全景图像拼接渲染方法，其特征在于，所述方法包括：

获取待拼接渲染的鱼眼图像；

对所述鱼眼图像进行顶点网格刨分处理，其中，顶点网格刨分精度与所述鱼眼图像的畸变程度成正比；

根据对所述鱼眼图像的刨分结果，建立图像拼接渲染球型模型；

将刨分后的所述鱼眼图像以及所述图像拼接渲染球型模型输入图形处理器渲染管线，将所述鱼眼图像拼接渲染为全景图像；

所述对所述鱼眼图像进行顶点网格刨分处理，包括：

将所述鱼眼图像转换到图像坐标系或经纬坐标系表示；

当所述鱼眼图像在所述图像坐标系下表示时，对所述图像坐标系下以所述鱼眼图像中心为圆心的第一圆形区域内的图像进行第一精度的顶点网格刨分处理，以及对所述鱼眼图像中的，在所述第一圆形区域之外的图像进行第二精度的顶点网格刨分处理；其中，所述第一精度小于所述第二精度；

当所述鱼眼图像在所述经纬坐标系下表示时，对所述经纬坐标系下以所述鱼眼图像中心为中心的第一矩形区域内的图像进行第三精度的顶点网格刨分处理，以及对所述鱼眼图像中的，在所述第一矩形区域之外的图像进行第四精度的顶点网格刨分处理；其中，所述第三精度小于所述第四精度。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述鱼眼图像在所述经纬坐标系下表示时，对所述经纬坐标系下以所述鱼眼图像中心为中心的第二矩形区域内的图像进行第四精度的顶点网格刨分处理，对所述第二矩形区域上方和下方的图像区域内的图像进行第五精度的顶点网格刨分处理，以及对所述第二矩形区域左侧和右侧的图像区域内的图像进行第六精度的顶点网格刨分处理；其中，所述第四精度小于所述第五精度和所述第六精度。

3.一种全景图像拼接渲染装置，其特征在于，所述装置包括：

图像获取单元，用于获取待拼接渲染的鱼眼图像；

图像刨分单元，用于对所述鱼眼图像进行顶点网格刨分处理，其中，顶点网格刨分精度与所述鱼眼图像的畸变程度成正比；

模型建立单元，用于根据对所述鱼眼图像的刨分结果，建立图像拼接渲染球型模型；

图像渲染单元，用于将刨分后的所述鱼眼图像以及所述图像拼接渲染球型模型输入图形处理器渲染管线，将所述鱼眼图像拼接渲染为全景图像；

所述图像刨分单元包括：

图像表示单元，用于将所述鱼眼图像转换到图像坐标系或经纬坐标系表示；

刨分处理单元，用于当所述鱼眼图像在所述图像坐标系下表示时，对所述图像坐标系下以所述鱼眼图像中心为圆心的第一圆形区域内的图像进行第一精度的顶点网格刨分处理，以及对所述鱼眼图像中的，在所述第一圆形区域之外的图像进行第二精度的顶点网格刨分处理；其中，所述第一精度小于所述第二精度；

当所述鱼眼图像在所述经纬坐标系下表示时，对所述经纬坐标系下以所述鱼眼图像中心为中心的第一矩形区域内的图像进行第三精度的顶点网格刨分处理，以及对所述鱼眼图像中的，在所述第一矩形区域之外的图像进行第四精度的顶点网格刨分处理；其中，所述第三精度小于所述第四精度。

4.根据权利要求3所述的装置，其特征在于，所述刨分处理单元还用于：

当所述鱼眼图像在所述经纬坐标系下表示时，对所述经纬坐标系下以所述鱼眼图像中心为中心的第二矩形区域内的图像进行第四精度的顶点网格刨分处理，对所述第二矩形区域上方和下方的图像区域内的图像进行第五精度的顶点网格刨分处理，以及对所述第二矩形区域左侧和右侧的图像区域内的图像进行第六精度的顶点网格刨分处理；其中，所述第四精度小于所述第五精度和所述第六精度。