CN113345074A - 一种车载3d环视影像显示方法 - Google Patents

Abstract

本发明涉及一种车载3D环视影像显示方法，该方法先获取车辆尺寸参数，对环视相机的内参矩阵、外侧矩阵进行标定，然后根据车辆尺寸计算3D投影模型的长度和宽度，根据环视相机标定参数生成最优尺寸3D投影模型；之后建立3D投影模型的网格化顶点坐标集，计算世界坐标系下3D投影模型的每个顶点坐标投影到对应环视相机后的图像坐标系坐标，建立3D投影模型顶点映射表；之后根据虚拟视点位置和虚拟成像参数，通过重叠区域在成像画面中的成像位置，动态调整环视图像的融合角度和区域，并计算融合区域内各点的融合权重；最后按照顶点映射表和融合权重融合图像，显示图像。该方法在保证环视显示效果的同时可降低系统计算复杂度。

Description

一种车载3D环视影像显示方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种车载3D环视影像显示方法。

背景技术

随着计算机视觉技术的快速发展和移动硬件处理能力的不断提升，计算机视觉在自动驾驶方面得到不断的应用，并逐渐发挥出愈加重要的作用。鱼眼相机由于其超大广角的优点，在车载相机市场中得到广泛应用，其中最广泛的应用是利用多个鱼眼相机构建环视全景图像，用于辅助驾驶。目前，环视全景图像的获取方式主要包括以下几种：

(1)中国专利CN 109741455 A公开的“一种车载立体全景显示方法、计算机可读存储介质及系统”，该专利建立三维网格模型，三维网格模型包括平面部分、曲面连接部分和立体柱面部分，其中，平面部分为三维网格模型的底面，可以选择圆形平面、椭圆形平面、圆角矩形等；曲面连接部分可以选择球面；立体柱面部分是三维网格模型的环形部分；三维网格模型中经纬线的交点是三维网格模型的顶点，将三维网格模型放大到世界坐标；获取摄像头采集的车身四周的鱼眼图像，进行畸变校正，得到校正后的图像和成像中心的坐标；根据成像中心的坐标计算得到摄像头内参矩阵；确定每个摄像头在车身坐标系下的外参矩阵；确定三维空间中每个点到平面图像像素坐标的映射关系；将校正后的图像的内容渲染到三维网格模型中，对于两个摄像头拍摄形成的重叠区域，通过加权融合消除拼接痕迹，实现立体全景环视视图。该专利虽然提出建立三维网格模型，但是未给出模型尺寸的计算方法，未考虑环视相机的实际安装位置和成像范围，实际应用中只能通过经验值或者手动调整参数适配不同的相机安装工况，不具有通用性，容易出现模型尺寸和相机成像范围不匹配的问题。此外，专利中提出的图像融合区域和融合权重均为固定不变的，未考虑虚拟观测视点的变化对融合效果的影响，这会导致不同观测视点下，重叠区域的融合效果差异较大，如出现重影、拼接错位等情况，影响环视显示效果，这不仅对用户体验有较大影响，甚至会影响乘客的安全。

(2)中国专利CN 111462172 A公开的“一种基于行驶场景估计的三维全景影像自适应生成方法”，该专利预先设计多组参数的五平面投影模型以及固定参数的碗状投影模型，得到多组映射表，固定间隔获取图像，计算鱼眼相机与环境主平面的间距，确定投影模型，根据环境参数匹配查找表，根据查找表，将四个鱼眼视频画面进行纹理映射，得到车辆行驶场景的三维全景图像。但该专利并未提及每个模型的尺寸如何确定，不同的相机安装工况和场景，都需要手动调整模型参数，无法做到自适应调节。此外，通过感知周围环境实时变换不同投影模型的方法，会增加系统的资源消耗和计算负担，影响环视画面的实时性。

(3)中国专利CN 103065318 A公开来的“多摄像机全景系统的曲面投影方法及装置”，该专利先通过畸变矫正获得无畸变图像，然后建立三维曲面模型，根据该三维曲面模型中Z轴坐标值Zc统一坐标变换，最终将无畸变图像投影到三维曲面模型上，实现曲面上的全景成像，模型的生成按照公式

但是公式中的β、a、b均未明确。该专利虽然给出了模型的生成公式，但是并没有给出公式中各个参数的计算方法，实际操作中仍然需要依靠工程经验不断调整参数，不能实现自适应地计算最优参数，因此不能适配不同的相机安装工况和场景。

(4)中国专利CN 111080519 A公开了“汽车全景环视图像融合方法”该专利基于世界坐标系将环视模型划分出融合区，所述融合区包括右前融合区、左前融区、左后融合区和右后融合区：分别确定所述右前融合区、左前融合区、左后融合区和右后融合区的参考原点；建立对照表，所述对照表的查询条件为雷达编号以及对应雷达的数据，所述对照表的查询结果为至少一个融合区的修正融合角度和修正融合范围；这种汽车全景环视图像融合方法将环视模型分割出四个融合区，根据采集到的车辆数据来修正融合区的融合角度和融合范围，从而确定融合区中的像素点的融合系数，进而计算得到像素点的颜色，最终生成全景环视影像。但该专利需要依靠雷达传感器感知周围环境来修正融合角度和融合范围，增加了系统的计算复杂度。

发明内容

本发明的目的在于提供一种车载3D环视影像显示方法，该方法不依靠额外的传感器辅助，仅利用基本的相机成像原理，根据3D投影模型在不同虚拟视点下的投影差异，动态计算融合角度和权重，在保证环视显示效果的同时降低系统计算复杂度。

为实现上述目的，本发明采用如下技术方案：

一种车载3D环视影像显示方法，具体包括以下步骤：

步骤S1、获取车辆尺寸参数，同时对环视相机的内参矩阵、外侧矩阵进行标定；设车辆尺寸为[l，w，h]，l为车辆的长，w为车辆的宽，h为车辆的高；第i(i＝0,1,2,3)号环视相机标定的内参矩阵为M_i1，外参矩阵为M_i2，

步骤S2、根据车辆尺寸计算3D投影模型的长度和宽度；根据环视相机标定参数，计算每个环视相机的极限成像高度，取其中最小值得到最优3D投影模型高度，计算得到的3D投影模型尺寸为[L，W，H]，L为3D投影模型的长，W为3D投影模型的宽，H为3D投影模型的高；

步骤S3、根据计算得到的3D投影模型尺寸[L，W，H]，建立3D投影模型的网格化顶点坐标集{(X_n，Y_n，Z_n)|n＝1，2，3...N}，根据相机的成像规则

计算世界坐标系下3D投影模型的每个顶点坐标(X_n，Y_n，Z_n)投影到对应环视相机后的图像坐标系坐标[x_n，y_n]，建立3D投影模型网格化顶点的世界坐标与图像坐标的顶点映射表；

步骤S4、设虚拟视点，虚拟视点E的空间位置坐标为(X_E，Y_E，Z_E)，在XY平面中的投影点为E’，根据虚拟视点位置和虚拟成像参数，通过重叠区域在成像画面中的成像位置，动态调整环视图像的融合角度和区域，并计算融合区域内各点的融合权重；

步骤S5、按照顶点映射表和融合权重融合图像，并通过GPU生成纹理，将纹理投影到3D投影模型中，显示图像。

作为本发明的优选，步骤S2中3D投影模型尺寸[L，W，H]的计算方法如下：

步骤S2.1、首先需要确定3D投影模型外部的显示范围[L，W],该部分的显示区域可以根据不同功能需求进行人工指定，如果未进行指定，则可以根据车辆尺寸设置默认值：如W＝k₁*w(1.5≤k₁≤4，)，默认k₁＝3,则

步骤S2.2、计算3D投影模型的最优高度H，即模型最边缘高度；设第i号环视相机在模型中的极限投影高度为H_i，设H_i的初始高度为H₀，H₀非最优，如H₀＝k₂*h(1.5≤k₂≤8),默认k₂＝3；则根据相机成像原理

可以计算出3D投影模型边缘所有点{(X_i，j，Y_i，j，H₀)|i＝0，1，2，3；j＝1，2，3...N}在此环视相机的图像坐标系下的点集为{(x_ij，y_ij)|i＝0，1，2，3；j＝1，2，3...N}；

步骤S2.3、设(x_min，y_min)＝min{(x_ij，y_ij)|i＝0，1，2，3；j＝1，2，3...N},如果y_min＜0,则H_i＝H_i-step；如果y_min＞0,则H_i＝H_i+step；如果y_min＝0,则得到此环视相机下3D投影模型的极限成像高度H_i；其中，step表示H_i每次调整的幅度，和H_i单位保持一致，取值范围0≤step≤H_i；

步骤S2.4、所有环视相机分别计算出本相机的极限成像高度H_i，则可得3D投影模型最优高度为H＝min_{i＝0，1，2，3}{H_i}。

作为本发明的优选，步骤S3中3D投影模型的网格化顶点坐标集{(X_n，Y_n，Z_n)|n＝1，2，3...N}，其中Z_n的计算公式如下：

式中，(a,b)表示模型曲面控制点，取值范围为

通过改变a,b的值可以调节模型曲面的形状和范围。

作为本发明的进一步优选，步骤S4融合区域内各点的融合权重计算方法如下：

步骤S4.1融合边界向量的确定

步骤S4.1.1、获取3D投影模型映射查找表，以3D投影模型中点为圆心，建立世界坐标系，构建3D投影模型俯视图下的外接矩形，其中Q_i(i＝1,2,3,4)表示外接矩形的顶点，坐标值可由对应象限内生成的所有顶点坐标的最值获得；P_i(i＝1,2,3,4)表示俯视图下车辆底边的顶点；确定每个融合区域的基础融合边界向量

与水平方向的锐角夹角为βi；

步骤S4.1.2、根据车辆尺寸和虚拟视点E的位置，计算3D投影模型在E视点下被车模遮挡的盲区范围，若某个重叠区域在盲区范围内，并且在虚拟成像图像上被遮挡的占比超过阈值η，则该重叠区域按默认角度和范围融合；

其中遮挡比的计算方法为：首先计算融合区域的边界点和车辆外接长方体的八个顶点，在虚拟成像面中的投影点坐标，计算融合区域的投影点集构成的多边形和车辆外接长方体的八个顶点的投影点构成的成像区域重叠部分的面积，遮挡比＝重叠部分的面积占融合区域的投影点集构成的多边形面积的比例；

步骤S4.1.3、若在虚拟成像图像上某个重叠区域被遮挡的占比不超过阈值η，则根据E’的位置动态计算融合角度和权重

步骤S4.1.4、设k为融合边界向量旋转因子(0≤k≤1)，则

当E’位于Q₂Q₃P₃P₂区域时，

绕点P₁顺时针旋转(1-k)β₁，

绕点P₄逆时针旋转(1-k)β₄，其中

当E’位于Q₁Q₄P₄P₁区域时，

绕点P₃顺时针旋转(1-k)β₃，

绕点P₂逆时针旋转(1-k)β₂，其中

当E’位于Q₁Q₂P₂P₁区域时，

绕点P₄顺时针旋转(1-k)(π/2-β₄),

绕点P₃逆时针旋转(1-k)(π/2-β₃)，其中

当E’位于Q₃Q₄P₄P₃区域时，

绕点P₂顺时针旋转(1-k)(π/2-β₂),

绕点P₁逆时针旋转(1-k)(π/2-β₁)，其中

步骤S4.2融合权重计算

步骤S4.2.1、根据计算得到的融合边界向量，计算融合角度为

时，融合区域内每个点P(X，Y，Z)的融合权重w_(x，y，z)；

步骤S4.2.2、计算

的方向向量

步骤S4.2.3、计算

和

的向量夹角

k表示极性，当P在

逆时针方向时，k＝-1；当P在

顺时针方向时，k＝1；

步骤S4.2.4、计算P(x,y)点投影到其逆时针方向的环视相机的图像坐标处像素的融合权重

则P(x,y)点投影到其顺时针方向的环视相机的图像坐标处像素的融合权重为1-w_(x，y，z)；

步骤S4.2.5、3D投影模型中的所有点重复步骤S4.2.2～步骤S4.2.4步骤，生成融合权重查找表。

作为本发明的进一步优选，步骤S5中3D环视图像的显示与生成步骤如下：

步骤S5.1、将每个环视相机实时采集到的原始图像转化为纹理，并根据3D投影模型映射查找表将纹理贴图到3D投影模型上，得到纹理坐标；

步骤S5.2、根据虚拟视点的位置和相机成像规则，计算3D投影模型映射查找表中的世界坐标顶点集合投影到虚拟成像面中的图像坐标集合，建立虚拟成像映射表；

步骤S5.3、通过纹理坐标获取纹理对象中的纹理，按照步骤S5.2中的虚拟成像映射表和融合权重查找表，将纹理进行重映射，最终显示在屏幕区域上。

本发明的优点和积极效果是：

(1)本发明提供方法可以根据相机标定参数和车辆尺寸，通过环视相机成像模型，计算不同安装位置的环视相机的极限成像高度，得到3D投影模型的最优尺寸，并在线生成网格化的3D投影模型，在保证环视显示效果的同时降低系统计算复杂度，减少系统资源消耗。

(2)本发明提供的该方法不依靠额外的传感器辅助，仅利用基本的相机成像原理，根据环视模型在不同虚拟视点下的投影差异，动态计算环视图像的融合角度(融合区域)和融合权重，避免融合区域出现重影、拼接错位等情况，大大提高了环视全景图像的显示效果。

(3)本发明提供的显示方法完全自动化，可以与相机标定流程融合，实现标准的工厂流水线作业，提高效率，具有工程实践意义。

附图说明

图1为本发明3D环视影像显示方法的流程图；

图2为环视相机在汽车中的安装位置示意图；

图3为环视相机在不同尺寸的投影模型中有不同的极限投影高度示意图；

图4为生成最优尺寸3D投影模型的流程图；

图5为3D投影模型外部显示范围示意图；

图6为生成融合权重查找表的流程；

图7为3D投影模型俯视图下的外接矩形示意图。

图8为虚拟视点E的示意图

图9为重叠区域盲区示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参阅图1，本发明提供的一种车载3D环视影像显示方法，具体包括以下步骤：

步骤S1、获取车辆尺寸参数，同时对环视相机的内参矩阵、外侧矩阵进行标定；设车辆尺寸为[l，w，h]，l为车辆的长，w为车辆的宽，h为车辆的高；第i(i＝0,1,2,3)号环视相机标定的内参矩阵为M_i1，外参矩阵为M_i2，

步骤S2、根据车辆尺寸计算3D投影模型的长度和宽度；根据环视相机标定参数，计算每个环视相机的极限成像高度，取其中最小值得到最优3D投影模型高度，计算得到的3D投影模型尺寸为[L，W，H]，L为3D投影模型的长，W为3D投影模型的宽，H为3D投影模型的高；

步骤S3、根据计算得到的3D投影模型尺寸[L，W，H]，建立3D投影模型的网格化顶点坐标集{(X_n，Y_n，Z_n)|n＝1，2，3...N}，根据相机的成像规则

计算世界坐标系下3D投影模型的每个顶点坐标(X_n，Y_n，Z_n)投影到对应环视相机后的图像坐标系坐标[x_n，y_n]，建立3D投影模型网格化顶点的世界坐标与图像坐标的顶点映射表；

步骤S4、设虚拟视点，虚拟视点E的空间位置坐标为(X_E，Y_E，Z_E)，在XY平面中的投影点为E’，根据虚拟视点位置和虚拟成像参数，通过重叠区域在成像画面中的成像位置，动态调整环视图像的融合角度和区域，并计算融合区域内各点的融合权重；

步骤S5、按照顶点映射表和融合权重融合图像，并通过GPU生成纹理，将纹理投影到3D投影模型中，显示图像。

参阅图2至图5，本发明步骤S2和步骤S3生成最优尺寸3D投影模型的具体过程如下：

一般情况下，环视相机在汽车中的安装位置如图2所示，由于汽车自身结构限制，导致车身不同位置的环视相机在安装高度和角度上差异较大，这就导致不同环视相机在不同尺寸的投影模型中有不同的极限投影高度，如图3所示。

设车辆尺寸为[l，w，h]，第i(i＝0,1,2,3)号环视相机标定的内参矩阵为M_i1，外参矩阵为M_i2，则3D投影模型尺寸[L，W，H]的计算方法如下：

1)首先需要确定3D投影模型(环视模型)外部的显示范围[L，W],通常该部分的显示区域可以根据不同功能需求进行人工指定，如果未进行指定，则可以根据车辆尺寸设置默认值：如W＝k₁*w(1.5≤k₁≤4，)，默认k₁＝3,则

2)计算3D投影模型的最优高度H(模型最边缘高度)；设第i号环视相机在模型中的极限投影高度为H_i，设H_i的初始高度为H₀(非最优)，如H₀＝k₂*h(1.5≤k₂≤8),默认k₂＝3；则根据相机成像原理

可以计算出3D模型边缘所有点{(X_i，j，Y_i，j，H₀)|i＝0，1，2，3；j＝1，2，3...N}在此相机的图像坐标系下的点集为{(x_ij，y_ij)|i＝0，1，2，3；j＝1，2，3...N}；

3)设(x_min，y_min)＝min{(x_ij，y_ij)|i＝0，1，2，3；j＝1，2，3...N},如果y_min＜0,则H_i＝H_i-step；如果y_min＞0,则H_i＝H_i+step；如果y_min＝0,则得到此相机下模型的极限成像高度H_i；其中，step表示H_i每次调整的幅度，和H_i单位保持一致，取值范围0≤step≤H_i；

4)所有环视相机分别计算出本相机的极限成像高度H_i，则可得3D模型最优高度为H＝min_{i＝0，1，2，3}{H_i}；

5)根据上述方法计算得到的3D投影模型尺寸为[L，W，H]，建立投影模型的网格化顶点坐标集{(X_n，Y_n，Z_n)|n＝1，2，3...N}，其中Z_n的计算公式如下：

式中(a,b)表示模型曲面控制点，取值范围为

通过改变a,b的值可以调节模型曲面的形状和范围，Z_n的计算公式包含但不仅限此公式。

6)最后根据相机的成像规则

计算世界坐标系下3D投影模型的每个顶点坐标(X_n，Y_n，Z_n)投影到对应环视相机后的图像坐标系坐标[x_n，y_n]，建立3D投影模型的顶点映射表。

参阅图6至图9，本发明步骤S4基于虚拟视点的自适应融合方法如下：

以3D投影模型中点为圆心，建立世界坐标系，图7为3D投影模型俯视图下的外接矩形，其中Q_i(i＝1,2,3,4)表示矩形的顶点，坐标值可由对应象限内生成的所有顶点坐标的最值获得；P_i(i＝1,2,3,4)表示俯视图下车辆底边的顶点。通常情况下，相邻环视相机的成像重合区域如图7阴影所示位置；设虚拟视点为E(即虚拟相机位置,如图8所示)，该点的空间位置坐标为(X_E，Y_E，Z_E),在XY平面中的投影点为E’，设向量

与模型X轴的锐角夹角为

步骤S4.1、融合边界向量的确定

1)首先确定每个融合区域的基础融合边界向量

与水平方向的锐角夹角为β_i；

2)根据汽车(车辆)尺寸和E视点的位置，计算3D投影模型(环视模型)在E视点下被车模遮挡的盲区范围，若某个重叠区域在盲区范围内，并且在虚拟成像图像上被遮挡的占比超过阈值η，则该重叠区域按默认角度和范围融合；

遮挡比的计算方法：

首先计算融合区域的边界点和汽车外接长方体的八个顶点，在虚拟成像面中的投影点坐标，计算融合区域的投影点集构成的多边形和汽车外接长方体的八个顶点的投影点构成的成像区域重叠部分的面积，遮挡比＝重叠部分的面积占融合区域的投影点集构成的多边形面积的比例；

3)若在成像图像上某个重叠区域被遮挡的占比不超过阈值η，则根据E’的位置动态计算融合角度和权重；

4)设k为融合边界向量旋转因子(0≤k≤1)，则

当E’位于Q₂Q₃P₃P₂区域时，

绕点P₁顺时针旋转(1-k)β₁，

绕点P₄逆时针旋转(1-k)β₄，其中

当E’位于Q₁Q₄P₄P₁区域时，

绕点P₃顺时针旋转(1-k)β₃，

绕点P₂逆时针旋转(1-k)β₂，其中

当E’位于Q₁Q₂P₂P₁区域时，

绕点P₄顺时针旋转(1-k)(π/2-β₄),

绕点P₃逆时针旋转(1-k)(π/2-β₃)，其中

当E’位于Q₃Q₄P₄P₃区域时，

绕点P₂顺时针旋转(1-k)(π/2-β₂),

绕点P₁逆时针旋转(1-k)(π/2-β₁)，其中

步骤S4.2融合权重计算

1)根据前面计算得到的融合边界向量，计算融合角度为σ

时，融合区域内每个点P(X，Y，Z)的融合权重w_(x，y，z)；

2)计算

的方向向量

3)计算

和

的向量夹角

k表示极性，当P在

逆时针方向时，k＝-1；当P在

顺时针方向时，k＝1；

4)计算P(x,y)点投影到其逆时针方向的环视相机的图像坐标处像素的融合权重

则P(x,y)点投影到其顺时针方向的环视相机的图像坐标处像素的融合权重为1-w_(x，y，z)；

5)3D投影模型中的所有点重复2)～4)步骤，生成融合权重查找表。

本发明步骤5中3D环视图像的显示与生成步骤如下：

1)将每个摄像头实时采集到的原始图像转化为纹理，并根据前面得到的3D投影模型投影映射查找表将纹理贴图到3D投影模型上，得到纹理坐标；

2)根据虚拟视点的位置和相机成像规则，计算3D投影模型映射查找表中的世界坐标顶点集合投影到虚拟成像面中的图像坐标集合，建立虚拟成像映射表；

3)通过纹理坐标获取纹理对象中的纹理，按照2)中的虚拟成像映射表和融合权重查找表，将纹理进行重映射，最终显示在屏幕区域上。

Claims (5)

1.一种车载3D环视影像显示方法，其特征在于，包括以下步骤：

步骤S1、获取车辆尺寸参数，同时对环视相机的内参矩阵、外侧矩阵进行标定；设车辆尺寸为[l，w，h]，l为车辆的长，w为车辆的宽，h为车辆的高；第i(i＝0，1，2，3)号环视相机标定的内参矩阵为M_i1，外参矩阵为M_i2；

步骤S2、根据车辆尺寸计算3D投影模型的长度和宽度；根据环视相机标定参数，计算每个环视相机的极限成像高度，取其中最小值得到最优3D投影模型高度，计算得到的3D投影模型尺寸为[L，W，H]，L为3D投影模型的长，W为3D投影模型的宽，H为3D投影模型的高；

步骤S3、根据计算得到的3D投影模型尺寸[L，W，H]，建立3D投影模型的网格化顶点坐标集{(X_n，Y_n，Z_n)|n＝1，2，3...N}，根据相机的成像规则

计算世界坐标系下3D投影模型的每个顶点坐标(X_n，Y_n，Z_n)投影到对应环视相机后的图像坐标系坐标[x_n，y_n]，建立3D投影模型网格化顶点的世界坐标与图像坐标的顶点映射表；

步骤S4、设虚拟视点，虚拟视点E的空间位置坐标为(X_E，Y_E，Z_E)，在XY平面中的投影点为E’，根据虚拟视点位置和虚拟成像参数，通过重叠区域在成像画面中的成像位置，动态调整环视图像的融合角度和区域，并计算融合区域内各点的融合权重；

步骤S5、按照顶点映射表和融合权重融合图像，并通过GPU生成纹理，将纹理投影到3D投影模型中，显示图像。

2.根据权利要求1所述的3D环视影像显示方法，其特征在于，步骤S2中3D投影模型尺寸[L，W，H]的计算方法如下：

步骤S2.1、首先需要确定3D投影模型外部的显示范围[L，W]，该部分的显示区域可以根据不同功能需求进行人工指定，如果未进行指定，则可以根据车辆尺寸设置默认值：如W＝k₁*w(1.5≤k₁≤4，)，默认k₁＝3，则

步骤S2.2、计算3D投影模型的最优高度H，即模型最边缘高度；设第i号环视相机在模型中的极限投影高度为H_i，设H_i的初始高度为H₀，H₀非最优，如H₀＝k₂*h(1.5≤k₂≤8)，默认k₂＝3；则根据相机成像原理

可以计算出3D投影模型边缘所有点{(X_i，j，Y_i，j，H₀)|i＝0，1，2，3；j＝1，2，3...N}在此环视相机的图像坐标系下的点集为{(x_ij，y_ij)|i＝0，1，2，3；j＝1，2，3...N}；

步骤S2.3、设(x_min，y_min)＝min{(x_ij，y_ij)|i＝0，1，2，3；j＝1，2，3...N}，如果y_min＜0，则H_i＝H_i-step；如果y_min＞0，则H_i＝H_i+step；如果y_min＝0，则得到此环视相机下3D投影模型的极限成像高度H_i；其中，step表示H_i每次调整的幅度，和H_i单位保持一致，取值范围0≤step≤H_i；

步骤S2.4、所有环视相机分别计算出本相机的极限成像高度H_i，则可得3D投影模型最优高度为H＝min_{i＝0，1，2，3}{H_i}。

3.根据权利要求1所述的3D环视影像显示方法，其特征在于，步骤S3中3D投影模型的网格化顶点坐标集{(X_n，Y_n，Z_n)|n＝1，2，3...N}，其中Z_n的计算公式如下：

式中，(a，b)表示模型曲面控制点，取值范围为

通过改变a，b的值可以调节模型曲面的形状和范围。

4.根据权利要求1所述的3D环视影像显示方法，其特征在于，步骤S4中各点的融合权重计算方法如下：

步骤S4.1融合边界向量的确定

步骤S4.1.1、获取3D投影模型映射查找表，以3D投影模型中点为圆心，建立世界坐标系，构建3D投影模型俯视图下的外接矩形，其中Q_i(i＝1，2，3，4)表示外接矩形的顶点，坐标值可由对应象限内生成的所有顶点坐标的最值获得；P_i(i＝1，2，3，4)表示俯视图下车辆底边的顶点；确定每个融合区域的基础融合边界向量

与水平方向的锐角夹角为β_i；

步骤S4.1.2、根据车辆尺寸和虚拟视点E的位置，计算3D投影模型在E视点下被车模遮挡的盲区范围，若某个重叠区域在盲区范围内，并且在虚拟成像图像上被遮挡的占比超过阈值η，则该重叠区域按默认角度和范围融合；

其中，遮挡比的计算方法为：首先计算融合区域的边界点和车辆外接长方体的八个顶点，在虚拟成像面中的投影点坐标，计算融合区域的投影点集构成的多边形和车辆外接长方体的八个顶点的投影点构成的成像区域重叠部分的面积，遮挡比＝重叠部分的面积占融合区域的投影点集构成的多边形面积的比例；

步骤S4.1.3、若在虚拟成像图像上某个重叠区域被遮挡的占比不超过阈值η，则根据E’的位置动态计算融合角度和权重；

步骤S4.1.4、设k为融合边界向量旋转因子(0≤k≤1)，则

当E’位于Q₂Q₃P₃P₂区域时，

绕点P₁顺时针旋转(1-k)β₁，

绕点P₄逆时针旋转(1-k)β₄，其中

当E’位于Q₁Q₄P₄P₁区域时，

绕点P₃顺时针旋转(1-k)β₃，

绕点P₂逆时针旋转(1-k)β₂，其中

当E’位于Q₁Q₂P₂P₁区域时，

绕点P₄顺时针旋转(1-k)(π/2-β₄)，

绕点P₃逆时针旋转(1-k)(π/2-β₃)，其中

当E’位于Q₃Q₄P₄P₃区域时，

绕点P₂顺时针旋转(1-k)(π/2-β₂)，

绕点P₁逆时针旋转(1-k)(π/2-β₁)，其中

步骤S4.2融合权重计算

步骤S4.2.1、根据计算得到的融合边界向量，计算融合角度为

时，融合区域内每个点P(X，Y，Z)的融合权重w_(x，y，z)；

步骤S4.2.2、计算

的方向向量

步骤S4.2.3、计算

和

的向量夹角

k表示极性，当P在

逆时针方向时，k＝-1；当P在

顺时针方向时，k＝1；

步骤S4.2.4、计算P(x，y)点投影到其逆时针方向的环视相机的图像坐标处像素的融合权重

则P(x，y)点投影到其顺时针方向的环视相机的图像坐标处像素的融合权重为1-w_(x，y，z)；

步骤S4.2.5、3D投影模型中的所有点重复步骤S4.2.2～步骤S4.2.4步骤，生成融合权重查找表。

5.根据权利要求1所述的3D环视影像显示方法，其特征在于，步骤S5中3D环视图像的显示与生成步骤如下：

步骤S5.1、将每个环视相机实时采集到的原始图像转化为纹理，并根据3D投影模型映射查找表将纹理贴图到3D投影模型上，得到纹理坐标；

步骤S5.2、根据虚拟视点的位置和相机成像规则，计算3D投影模型映射查找表中的世界坐标顶点集合投影到虚拟成像面中的图像坐标集合，建立虚拟成像映射表；

步骤S5.3、通过纹理坐标获取纹理对象中的纹理，按照步骤S5.2中的虚拟成像映射表和融合权重查找表，将纹理进行重映射，最终显示在屏幕区域上。

Images