CN117162912A - 全景环视图像生成方法和装置、存储介质及电子设备 - Google Patents

Abstract

本申请提供全景环视图像生成方法和装置、存储介质及电子设备。所述全景环视图像生成方法包括：获取由车辆上的多个车载相机捕获到的原始图像，所述原始图像与所述车辆的周围的多个区域相关联；对所述原始图像进行畸变矫正处理，以获取矫正图像；基于与腰圆区域相关联的全景投影模型获取采样点坐标，所述腰圆区域包括与所述车辆的周围相关联的八个子区域；以及基于所述矫正图像和所述采样点坐标生成所述车辆的全景环视图像。所述全景环视图像生成方法能够提高全景环视图像的清晰度和覆盖的范围，并且使得视场边界更加清晰。

Description

全景环视图像生成方法和装置、存储介质及电子设备

技术领域

本申请属于图像处理领域，涉及全景环视图像生成方法，特别是涉及全景环视图像生成方法、装置、介质及电子设备。

背景技术

近年来，随着光电科学技术、计算成像技术以及芯片设计制造技术的进步，自动驾驶尤其是辅助驾驶领域多方向技术也得到长足的发展。随着智能汽车的普及，车载全景环视显示在辅助驾驶领域是一种非常有效且有前景的计算三维成像技术。这一计算成像技术正吸引着越来越多的汽车制造、配件以及相应算法公司的注意和重视，成为在三维计算成像领域的研究前沿。目前，装备有全景环视图像的设备已初具雏形，有部分应用在中高端轿车领域中。

发明内容

本申请的目的在于提供全景环视图像生成方法和装置、存储介质及电子设备，用于解决目前的全景环视图像生成方法存在的生成的全景环视图像视觉效果不佳的问题。

第一方面，本申请实施例提供一种全景环视图像生成方法，获取由车辆上的多个车载相机捕获到的原始图像，所述原始图像与所述车辆的周围的多个区域相关联；对所述原始图像进行畸变矫正处理，以获取矫正图像；基于与腰圆区域相关联的全景投影模型获取采样点坐标，所述腰圆区域包括与所述车辆的周围相关联的八个子区域；以及基于所述矫正图像和所述采样点坐标生成所述车辆的全景环视图像。

在所述全景环视图像生成方法中，通过获取八路车身上不同分区的鱼眼相机拍摄的原始图像，并根据八个子区域组成的全景投影模型生成全景环视图像，能够提高全景环视图像的清晰度和覆盖的范围，并且视场边界更加清晰。

于本申请的一实施例中，获取由车辆上的多个车载相机捕获到的原始图像包括：获取由中大型车辆上的至少八个车载相机捕获到的与所述周围相关联的所述原始图像。

于本申请的一实施例中，对所述原始图像进行畸变矫正处理包括：对所述原始图像进行畸变矫正处理，以矫正鱼眼相机或宽视角相机带来的畸变。

于本申请的一实施例中，基于与腰圆区域相关联的全景投影模型获取采样点坐标包括：根据所述腰圆区域的各子区域的特征构建世界坐标系；以及从所述世界坐标系收集所述采样点坐标，所述采样点坐标位于所述腰圆区域的各子区域的边界内。

于本申请的一实施例中，基于所述矫正图像和所述采样点坐标生成所述车辆的全景环视图像包括：对所述采样点坐标进行筛选处理，以获取筛选后的采样点坐标，所述筛选后的采样点坐标经过投影后在所述矫正图像的边界内部；基于所述筛选后的采样点坐标和所述矫正图像，获取所述筛选后的采样点坐标与所述矫正图像的像素坐标的映射表；以及基于所述映射表生成所述全景环视图像。

于本申请的一实施例中，基于所述映射表生成所述全景环视图像包括：通过图形处理单元内的纹理单元对与所述腰圆区域的各子区域相对应的映射表进行纹理绑定；以及针对绑定好的所述腰圆区域的各子区域进行纹理合成，以生成所述全景环视图像。

于本申请的一实施例中，所述腰圆区域对应于腰圆图形，所述腰圆图形为经过圆心将一个圆平分成两个半圆弧且将所述两个半圆弧相互反向平移、并用两个等长平行线将所述两个半圆弧的端点分别连接而形成的封闭图形，所述腰圆区域包括前视区域、后视区域、第一右视区域、第二右视区域、第三右视区域、第一左视区域、第二左视区域和第三左视区域，所述前视区域和所述后视区域分别位于所述腰圆图形的与所述两个半圆弧相对应的两端，所述第二右视区域和所述第二左视区域分别位于所述腰圆图形的与所述两个等长平行线相对应的两端，所述第一右视区域位于所述前视区域与所述第二右视区域之间，所述第三右视区域位于所述第二右视区域与所述后视区域之间，所述第一左视区域位于所述前视区域与所述第二左视区域之间，所述第三左视区域位于所述第二左视区域与所述后视区域之间。

于本申请的一实施例中，所述子区域包括平坦采样区域和立面采样区域，所述平坦采样区域中采样点的竖轴值均为0，所述立面采样区域中采样点的竖轴值不为0。

于本申请的一实施例中，所述采样点坐标包括所述平坦采样区域的采样点坐标和所述立面采样区域的采样点坐标，基于与腰圆区域相关联的全景投影模型获取采样点坐标包括：基于预设的步长间隔对所述平坦采样区域进行采样，以获取所述平坦采样区域的采样点坐标；以及基于曲面拉伸系数、取样索引和所述预设的步长间隔对所述立面采样区域进行采样，以获取所述立面采样区域的采样点坐标。

于本申请的一实施例中，所述前视区域中的所述平坦采样区域的边界表示为：

其中，k_offset为所述前视区域第一边界直线上各点的纵轴值，A₁为所述前视区域第二边界直线的第一参数，B₁为所述前视区域第二边界直线的第二参数，C₁为所述前视区域第二边界直线的第三参数，A₂为所述前视区域第三边界直线的第一参数，B₂为所述前视区域第三边界直线的第二参数，C₂为所述前视区域第三边界直线的第三参数，center_offset为所述腰圆区域中腰圆圆心偏离坐标原点的距离，r为所述腰圆区域的圆半径，y₁为所述前视区域第一边界直线上各点的纵轴值，x₂为所述前视区域第二边界直线上点的横轴值，y₂为所述前视区域第二边界直线上点的纵轴值，x₃为所述前视区域第三边界直线上点的横轴值，y₃为所述前视区域第三边界直线上点的纵轴值，x₄为所述前视区域边界曲线上点的横轴值，y₄为所述前视区域边界曲线上点的纵轴值。

于本申请的一实施例中，所述第一右视区域中的所述平坦采样区域的边界表示为：

其中，m_offset为所述第一右视区域第一边界直线上各点的横轴值，n_offset所述第一右视区域第二边界直线上各点的纵轴值，A₃为所述第一右视区域第三边界直线的第一参数，B₃为所述第一右视区域第三边界直线的第二参数，C₃为所述第一右视区域第三边界直线的第三参数，r为所述腰圆区域的圆半径，x₅为所述第一右视区域第三边界直线上点的横轴值，y₅为所述第一右视区域第三边界直线上点的纵轴值，x₆为所述第一右视区域第四边界直线上各点的横轴值，x₇为所述第一右视区域第一边界直线各点的横轴值，y₆为所述第一右视区域第二边界直线各点的纵轴值，x₈为所述第一右视区域边界曲线上点的横轴值，y₈为所述第一右视区域边界曲线上点的纵轴值。

于本申请的一实施例中，所述第二右视区域中的所述平坦采样区域的边界表示为：

其中，r为所述腰圆区域的圆半径，k_offset为所述第二右视区域第一边界直线上各点的横轴值，g_offset为所述第二右视区域第二边界直线上各点的纵轴值，t_offset为所述第二右视区域第三边界直线上各点的纵轴值，x₉为所述第二右视区域第四边界直线上各点的横轴值，x₁₀为所述第二右视区域第一边界直线上各点的横轴值，y₉为所述第二右视区域第二边界直线上各点的纵轴值，y₁₀为所述第二右视区域第三边界直线上各点的纵轴值。

第二方面，本申请实施例提供一种全景环视图像生成装置，包括：原始图像获取模块，被配置为获取由车辆上的多个车载相机捕获到的原始图像，所述原始图像与所述车辆的周围的多个区域相关联；矫正图像获取模块，被配置为对所述原始图像进行畸变矫正处理，以获取矫正图像；采样点坐标获取模块，被配置为基于与腰圆区域相关联的全景投影模型获取采样点坐标，所述腰圆区域包括与所述车辆的周围相关联的八个子区域；以及全景环视图像生成模块，被配置为基于所述矫正图像和所述采样点坐标生成所述车辆的全景环视图像。

第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有一计算机程序，该计算机程序被执行时实现根据第一方面中任一项所述全景环视图像生成方法。

第四方面，本申请实施例提供一种电子设备，包括：存储器，被配置为存储可执行程序；以及处理器，被配置为调用所述程序以执行根据第一方面中任一项所述全景环视图像生成方法。

附图说明

图1显示为本申请实施例八路鱼眼相机在卡车上的分布示意图。

图2显示为本申请实施例所述全景环视图像生成方法的流程图。

图3显示为本申请实施例所述腰圆区域的分布示意图。

图4显示为本申请实施例基于与腰圆区域相关联的全景投影模型获取采样点坐标的实现方法的流程图。

图5显示为本申请实施例基于与腰圆区域相关联的全景投影模型获取采样点坐标的实现方法的流程图。

图6显示为本申请实施例所述采样点的示意图。

图7显示为本申请实施例基于所述矫正图像和所述采样点坐标生成所述车辆的全景环视图像的实现方法的流程图。

图8显示为本申请实施例基于所述映射表生成所述全景环视图像的实现方法的流程图。

图9显示为本申请实施例所述全景环视图像生成装置的结构示意图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行详细描述。

在现有的全景图像显示技术中，均为将4路图像投影，而4路图像投影应用到乘用车、货车、卡车等大型车辆中生成的全景环视图像存在如下视觉效果不佳的缺点。首先，部分场景尤其是对应车身左右两侧看上去缺乏真实感。其次，显示的有效范围无法覆盖住车身全部，显示不够理想。接着，对于4路成像有交叠的区域由于畸变校正，在图像边界处的物体，存在立体物体投影到平面后模糊不清的问题。此外，现有的环视方案左右相机均安装在车辆后视镜附近，处在车身前部，大型车辆照此方案导致车身后部图像丢失。因此，目前的全景环视图像生成方法存在着生成的全景环视图像视觉效果不佳的问题。

在本申请所述全景环视图像生成方法中，通过获取至少八路车身上不同分区的鱼眼相机拍摄的原始图像，并根据八个子区域组成的全景投影模型生成全景环视图像，能够提高全景环视图像的清晰度和覆盖的范围，并且视场边界更加清晰。

根据本申请的实施例，获取安装在车身上不同分区部位的鱼眼相机拍摄的图像，并通过对每个相机进行内参的标定从而进行畸变校正。构建适用于八摄环视模型的腰圆模型，将模型按照区域进行分区。根据分区的不同特征构建环视世界坐标并进行顶点采样。将区域世界坐标投影到无畸变图像进行筛选，从而计算每个分区世界坐标与像素坐标直接的映射表。此外，基于所述像素坐标对应关系表，在设备上过构建全景环视图并显示。本申请通过构建八摄环视模型的腰圆模型，将八个不同方向车载鱼眼相机拍摄的二维图像与构建模型的世界坐标绑定从而实现计算三维成像，有效补充了应用于中大型车辆车载环视模型的解决方案，同时解决了其它圆或椭圆模型视野覆盖不够广、边界模糊不清的问题。

图1是示出根据本申请实施例的八路鱼眼相机在卡车上的分布示意图。本申请的所述全景环视图像生成方法，可以应用于图1所示的卡车，所述卡车内置有处理器，可以用于执行所述全景环视图像生成方法。八路车身上不同分区的鱼眼相机的分布可以参考图1所示。第一鱼眼相机分布于所述卡车的车头，所述第二鱼眼相机分布于所述卡车的后视镜处，相对的在所述卡车的另一侧后视镜分布有所述卡车的第六鱼眼相机，所述第三鱼眼相机和所述第四鱼眼相机为分布于所述卡车车身的两个鱼眼相机，同样在所述卡车的另一侧车身还分布有第七鱼眼相机和第八鱼眼相机，所述第五鱼眼相机分布于所述卡车的车尾处。所述第一鱼眼相机、所述第二鱼眼相机、所述第三鱼眼相机、所述第四鱼眼相机、所述第五鱼眼相机、所述第六鱼眼相机、所述第七鱼眼相机和所述第八鱼眼相机共组成所述八路车身上不同分布的鱼眼相机。图1仅用于简单示意，对所述卡车另一侧的分布和所述后视镜进行了省略。

图2是示出根据本申请实施例的全景环视图像生成方法的流程图。如图2所示，本实施例提供一种全景环视图像生成方法，该方法包括以下步骤S11至步骤S14。

在步骤S11，获取由车辆上的多个车载相机捕获到的原始图像，所述原始图像与所述车辆的周围的多个区域相关联。

在一些实施例中，获取由车辆上的多个车载相机捕获到的原始图像包括获取由中大型车辆上的至少八个车载相机捕获到的与所述周围相关联的所述原始图像。所述中大型车辆可以为乘用车、货车或卡车等。

在步骤S12，对所述原始图像进行畸变矫正处理，以获取矫正图像。

在一些实施例中，对所述原始图像进行畸变矫正处理包括对所述原始图像进行畸变矫正处理，以矫正鱼眼相机或宽视角相机带来的畸变。所述鱼眼相机具有比较大的视场角，是近年来频繁用在车载行车记录或者车载辅助驾驶全景环视系统中捕获原始图像的关键部件。

在一些实施例中，世界坐标与所述鱼眼相机成像坐标之间的关系可以表示为：

其中，R和T均为所述鱼眼相机的外参，R为旋转矩阵，T为平移向量，(X_c，Y_c，Z_c)为所述原始图像的像点在鱼眼相机坐标系中的坐标，(X_w，Y_w，Z_w)为所述原始图像的像点在世界坐标系中的坐标。

所述鱼眼相机的成像公式可以表示为：

r_d＝fθ

其中，r_d表示图像平面上的像素距离即离图像中心的距离，f表示相机的焦距，θ可以表示相机中心到需要成像物体的角度。

所述原始图像的像点在图像坐标系下的坐标可以表示为：

其中，X_C为所述原始图像的像点在鱼眼相机坐标系下的横轴值，Y_C为所述原始图像的像点在鱼眼相机坐标系下的纵轴值，Z_C为所述原始图像的像点在鱼眼相机坐标系下的竖轴值，x_c可以表示为所述原始图像的像点在图像坐标系下的横轴值，y_c可以表示为所述原始图像的像点在图像坐标系下的纵轴值。

在一些实施例中，所述矫正图像的像点在像素坐标系下可以表示为：

其中，为扭曲因子，通常为0，f_x为所述鱼眼相机的第一内参，表示横轴方向上的焦距，f_y为所述鱼眼相机的第二内参，表示纵轴方向上的焦距，c_x为所述鱼眼相机的第三内参，表示像平面横轴方向中心点的成像坐标，c_y为所述鱼眼相机的第四内参，表示像平面纵轴方向中心点的成像坐标。u为所述矫正图像的像点在像素坐标系下的横轴值，v为所述矫正图像的像点在像素坐标系下的纵轴值。

其中，x′为所述矫正图像的像点在图像坐标系下的横轴值，y′为所述矫正图像的像点在图像坐标系下的纵轴值。x′和y′可以分别表示为：

x′＝(θ_d/r)x_c

y′＝(θ_d/r)y_c

θ_d＝k₀θ+k₁θ³+k₂θ⁵+k₃θ⁷+k₄θ⁹

θ＝arctan(r)

其中，θ为所述鱼眼相机的入射角，θ_d为所述鱼眼相机的出射角，k₀、k₁、k₂、k₃、k₄分别为第一系数、第二系数、第三系数、第四系数和第五系数，k₀、k₁、k₂、k₃、k₄的具体值本实施例在此并不明确限制。

接着，在步骤S13，基于与腰圆区域相关联的全景投影模型获取采样点坐标，所述腰圆区域包括与所述车辆的周围相关联的八个子区域。

此外，在步骤S14，基于所述矫正图像和所述采样点坐标生成所述车辆的全景环视图像。

在一些实施例中，所述腰圆区域对应于腰圆图形，所述腰圆图形为经过圆心将一个圆平分成两个半圆弧且将所述两个半圆弧相互反向平移、并用两个等长平行线将所述两个半圆弧的端点分别连接而形成的封闭图形。所述腰圆区域包括前视区域、后视区域、第一右视区域、第二右视区域、第三右视区域、第一左视区域、第二左视区域和第三左视区域，请参阅图3。图3为所述腰圆区域中各区域的分布示意图。图3中的前视区即为所述前视区域、后视区即为所述后视区域、左视一区即为所述第一左视区域、左视二区即为所述第二左视区域、左视三区即为所述第三左视区域、右视一区即为所述第一右视区域、右视二区即为所述第二右视区域、右视三区即为所述第三右视区域。

所述前视区域和所述后视区域分别位于所述腰圆图形的与所述两个半圆弧相对应的两端。所述第二右视区域和所述第二左视区域分别位于所述腰圆图形的与所述两个等长平行线相对应的两端。所述第一右视区域位于所述前视区域与所述第二右视区域之间，所述第三右视区域位于所述第二右视区域与所述后视区域之间。所述第一左视区域位于所述前视区域与所述第二左视区域之间，所述第三左视区域位于所述第二左视区域与所述后视区域之间。

在一些实施例中，所述前视区域中的所述平坦采样区域的边界表示为：

其中，k_offset为所述前视区域第一边界直线上各点的纵轴值，A₁为所述前视区域第二边界直线的第一参数，B₁为所述前视区域第二边界直线的第二参数，C₁为所述前视区域第二边界直线的第三参数，A₂为所述前视区域第三边界直线的第一参数，B₂为所述前视区域第三边界直线的第二参数，C₂为所述前视区域第三边界直线的第三参数，center_offset为所述腰圆区域中腰圆圆心偏离坐标原点的距离，r为所述腰圆区域的圆半径，y₁为所述前视区域第一边界直线上各点的纵轴值，x₂为所述前视区域第二边界直线上点的横轴值，y₂为所述前视区域第二边界直线上点的纵轴值，x₃为所述前视区域第三边界直线上点的横轴值，y₃为所述前视区域第三边界直线上点的纵轴值，x₄为所述前视区域边界曲线上点的横轴值，y₄为所述前视区域边界曲线上点的纵轴值。所述前视区域中的平行采样区域与所述后视区域中的平坦采样区域关于x轴对称，关于所述后视区域中的平坦采样区域的边界本实施例在此不再赘述。k_offset的大小可以用来在采样时控制采样点与车身的距离，避免采样到车身底部的点。

所述第一右视区域中的所述平坦采样区域的边界表示为：

其中，m_offset为所述第一右视区域第一边界直线上各点的横轴值，n_offset所述第一右视区域第二边界直线上各点的纵轴值，A₃为所述第一右视区域第三边界直线的第一参数，B₃为所述第一右视区域第三边界直线的第二参数，C₃为所述第一右视区域第三边界直线的第三参数，r为所述腰圆区域的圆半径，x₅为所述第一右视区域第三边界直线上点的横轴值，y₅为所述第一右视区域第三边界直线上点的纵轴值，x₆为所述第一右视区域第四边界直线上各点的横轴值，x₇为所述第一右视区域第一边界直线各点的横轴值，y₆为所述第一右视区域第二边界直线各点的纵轴值，x₈为所述第一右视区域边界曲线上点的横轴值，y₈为所述第一右视区域边界曲线上点的纵轴值。所述第一右视区域中的平坦采样区域与第三左视区域中的平坦采样区域关于坐标原点对称，所述第三左视区域中的平坦采样区域的边界本实施例在此不再赘述。m_offset和n_offset可以分别用来控制在x方向和y方向的采样点偏离车身的位置。

所述第二右视区域中的所述平坦采样区域的边界表示为：

其中，r为所述腰圆区域的圆半径，k_offset为所述第二右视区域第一边界直线上各点的横轴值，g_offset为所述第二右视区域第二边界直线上各点的纵轴值，t_offset为所述第二右视区域第三边界直线上各点的纵轴值，x₉为所述第二右视区域第四边界直线上各点的横轴值，x₁₀为所述第二右视区域第一边界直线上各点的横轴值，y₉为所述第二右视区域第二边界直线上各点的纵轴值，y₁₀为所述第二右视区域第三边界直线上各点的纵轴值。所述第二右视区域中的平坦采样区域与第二左视区域中的平坦采样区域关于y轴对称，所述第二左视区域中的平坦采样区域的边界本实施例在此不再赘述。k_offset可以用来控制x方向采样点偏离车身的位置，g_offset和t_offset可以用来控制y方向采样点偏离车身的位置。

在一些实施例中，所述第三右视区域中所述平坦采样区域的边界表示为：

其中，A₄为所述第三右视区域第一边界直线的第一参数，B₄为所述第三右视区域第一边界直线的第二参数，C₄为所述第三右视区域第一边界直线的第三参数，r为所述腰圆区域的圆半径，p_offset为所述第三右视区域第二边界直线上各点的横轴值，j_offset为所述第三右视区域第三边界直线上各点的纵轴值，center_offset为所述腰圆区域中腰圆圆心偏离坐标原点的距离，x₁₁为所述第三右视区域第一边界直线上点的横轴值，y₁₁为所述第三右视区域第一边界直线上点的纵轴值，x₁₂为所述第三右视区域第四边界直线上各点的横轴值，x₁₃为所述第三右视区域第二边界直线上各点的横轴值，y₁₄为所述第三右视区域第三边界直线上各点的纵轴值，x₁₅为所述第三右视区域边界曲线上点的横轴值，y₁₅为所述第三右视区域边界曲线上点的纵轴值。所述第三右视区域中的平坦采样区域和所述第一左视区域中的平坦采样区域关于坐标原点对称，关于所述第一左视区域中所述平坦采样区域的边界本实施例在此不再赘述。

图4是示出根据本申请实施例的基于与腰圆区域相关联的全景投影模型获取采样点坐标的实现方法的流程图。在一些实施例中，请参阅图4，基于与腰圆区域相关联的全景投影模型获取采样点坐标可以包括以下步骤S21和步骤S22。

在步骤S21，根据所述腰圆区域的各子区域的特征构建世界坐标系。

在步骤S22，从所述世界坐标系收集所述采样点坐标，所述采样点坐标位于所述腰圆区域的各子区域的边界内。

在一些实施例中，与腰圆区域相关联的全景投影模型可以指的是所述全景投影模型的区域分布与所述腰圆区域的区域分布一致。

在一些实施例中，所述子区域包括平坦采样区域和立面采样区域，所述平坦采样区域中采样点的竖轴值均为0，所述立面采样区域中采样点的竖轴值不为0。

图5是示出根据本申请实施例的基于与腰圆区域相关联的全景投影模型获取采样点坐标的实现方法的流程图。在一些实施例中，请参阅图5，所述采样点坐标包括所述平坦采样区域的采样点坐标和所述立面采样区域的采样点坐标，基于与腰圆区域相关联的全景投影模型获取采样点坐标可以包括以下步骤S31和步骤S32。

在步骤S31，基于预设的步长间隔对所述平坦采样区域进行采样，以获取所述平坦采样区域的采样点坐标。

在步骤S32，基于曲面拉伸系数、取样索引和所述预设的步长间隔对所述立面采样区域进行采样，以获取所述立面采样区域的采样点坐标。

在一些实施例中，以所述前视区域的平坦采样区域为例，基于预设的步长间隔对所述平坦采样区域进行采样，以获取所述平坦采样区域的采样点坐标的实现方法可以包括以下步骤S311至步骤S313。

在步骤S311，获取起始点，所述起始点为所述平坦采样区域下边界直线与右边界直线的交点。

在步骤S312，基于所述起始点、所述预设的步长间隔和所述右边界直线进行采样，以获取采样点坐标，所述起始点用于基于所述预设的步长间隔沿着所述右边界直线方程向所述平坦采样区域的上边界方向采样。

在步骤S313，获取更新的右边界直线并返回S312，S312中的所述右边界直线为所述更新的右边界直线，所述更新的右边界直线根据所述右边界直线逆时针旋转获得。当所述更新的右边界直线与所述右边界直线重合时，表示所述右边界直线旋转了一周，所述平坦采样区域的采样完成。所述右边界直线每次更新时的逆时针旋转角可以根据实际情况灵活设置，本实施例在此不再赘述。

另外，所述第二左视区域为一矩形，对所述第二左视区域进行采样时，上述S311和S312可以不变，S313可以修改为：若所述右边界直线不超过所述第二左视区域的左边界直线，则获取更新的起始点和更新的右边界直线并返回S312，S312中的所述右边界直线为所述更新的右边界直线，S312中的所述起始点为所述更新的起始点，所述更新的右边界直线为所述右边界直线向左平移一个步长，所述更新的起始点为所述更新的右边界直线与所述下边界直线的交点，并且所述更新的右边界直线不超过所述第二左视区域的左边界直线。

其它子区域可根据所述前视区域和所述第二左视区域的采样原理一一采样，由于原理类似，本实施例对此不再一一赘述。

在一些实施例中，所述立面采样区域的采样点坐标中的横轴值和纵轴值的采样原理与S31中对平坦采样区域采样的原理一致，此处不再赘述，所述立面采样区域的采样点坐标中竖轴值可以表示为：

z＝k*(count*step)²

其中，z表示所述立面采样区域的采样点坐标中的竖轴值，k为所述曲面拉伸系数，count为所述取样索引，step为所述预设的步长间隔。所述曲面拉伸系数和所述预设的步长间隔可以根据实际情况灵活设置，本实施例对此并不限制。请参阅图6，图6为所述采样点的示意图。

图7是示出根据本申请实施例的基于所述矫正图像和所述采样点坐标生成所述车辆的全景环视图像的实现方法的流程图。在一些实施例中，请参阅图7，基于所述矫正图像和所述采样点坐标生成所述车辆的全景环视图像可以包括以下步骤S41至步骤S43。

在步骤S41，对所述采样点坐标进行筛选处理，以获取筛选后的采样点坐标，所述筛选后的采样点坐标经过投影后在所述矫正图像的边界内部。

在一些实施例中，对所述采样点坐标进行筛选处理，以获取筛选后的采样点坐标的实现方法包括：获取所述采样点坐标经过投影后的坐标；对所述投影后的坐标进行筛选以获取所述筛选后的采样点坐标。对所述投影后的坐标进行筛选可以指的是将所述投影后的坐标中超过所述矫正图像边界的坐标全部筛选掉，以使得投影后的坐标的横轴值均不超过所述矫正图像的宽，纵轴值均不超过所述矫正图像的高。所述投影后的坐标可以指的是所述采样点坐标经过畸变校正后在像素坐标系下的坐标，所述投影后的坐标可以表示为：

其中γ为尺度因子，同一个相机投影模型，其尺度因子是一致的；X_w为所述采样点坐标的横轴值，Y_w为所述采样点坐标的纵轴值，Z_w为所述采样点坐标的竖轴值，u为所述投影后的坐标的横轴值，v为所述投影后的坐标的纵轴值，K^{^}为畸变系数，R为所述旋转矩阵，T为所述平移向量。

在步骤S42，基于所述筛选后的采样点坐标和所述矫正图像，获取所述筛选后的采样点坐标与所述矫正图像的像素坐标的映射表。

在步骤S43，基于所述映射表生成所述全景环视图像。

图8是示出根据本申请实施例的基于所述映射表生成所述全景环视图像的实现方法的流程图。在一些实施例中，请参阅图8，基于所述映射表生成所述全景环视图像可以包括以下步骤S51和步骤S52。

在步骤S51，通过图形处理单元内的纹理单元对与所述腰圆区域的各子区域相对应的映射表进行纹理绑定。

在步骤S52，针对绑定好的所述腰圆区域的各子区域进行纹理合成，以生成所述全景环视图像。

在一些实施例中，所述纹理单元是现代图形处理器的部件，它能够对二进制图像旋转、缩放、扭曲，然后将其作为纹理放置到给定3D模型的任意平面，这个过程称为纹理映射。

本申请实施例所述全景环视图像生成方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本申请的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本申请的保护范围内。

图9是示出根据本申请实施例的全景环视图像生成装置的结构示意图。如图9所示，全景环视图像生成装置900包括原始图像获取模块910、矫正图像获取模块920、采样点坐标获取模块930和全景环视图像生成模块940。

原始图像获取模块910被配置为获取由车辆上的多个车载相机捕获到的原始图像，所述原始图像与所述车辆的周围的多个区域相关联。

矫正图像获取模块920被配置为对所述原始图像进行畸变矫正处理，以获取矫正图像。

采样点坐标获取模块930被配置为基于与腰圆区域相关联的全景投影模型获取采样点坐标，所述腰圆区域包括与所述车辆的周围相关联的八个子区域。

全景环视图像生成模块940被配置为基于所述矫正图像和所述采样点坐标生成所述车辆的全景环视图像。

本实施例提供的原始图像获取模块910、矫正图像获取模块920、采样点坐标获取模块930和全景环视图像生成模块940与图2所述的全景环视图像生成方法的步骤S11至S14或者其实现方法中的详细步骤或动作一一对应，此处不再赘述。

本实施例还提供一种应用于中大型车辆的八路超广角鱼眼图像全景环视投影装置。该装置包括图像处理模块、计算模块和显示模块。

图像处理模块用于捕获安装在中大型车辆不同部位上的车载鱼眼相机拍摄的多幅鱼眼图像，并根据选定的鱼眼相机模型对每个相机进行内参标定，同时根据设置好的匹配模板对每个鱼眼相机进行外参标定。

计算模块用于构建全景环视模型进行分区以及世界坐标的采样构建，利用每个鱼眼相机已经标定完成的内外参，计算每个分区世界坐标模型与其对应的分区鱼眼相机图像的像素坐标对应映射表。

显示模块用于将计算模块计算得到的像素坐标对应映射表，通过设备中的GPU内的纹理单元对每个分区的映射表进行纹理绑定；将绑定好的所有分区模型进行纹理合成显示，得到构建好的中大型车辆全景环视模型全图用于显示设备上。

在一些实施例中，所述图像处理模块包括捕获单元、内参处理单元、外参确定单元和处理单元。捕获单元用于捕获安装在中大型车辆每一路车载鱼眼相机的数字图像。内参处理单元用于对每个分区车载鱼眼相机进行内参标定。外参确定单元用于计算每路鱼眼相机在自身安装的车身视路方向捕获的特定的匹配模板在图像中的具体像素位置，并测量不同匹配模板的实际位置关系。处理单元用于计算不同方向捕获的模板中的像素位置和实际位置关系，通过鱼眼相机成像模型以及外参估计方法计算得到每路鱼眼相机对应的外参矩阵。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置或方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，模块/单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或单元可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块/单元可以是或者也可以不是物理上分开的，作为模块/单元显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块/单元来实现本申请实施例的目的。例如，在本申请各个实施例中的各功能模块/单元可以集成在一个处理模块中，也可以是各个模块/单元单独物理存在，也可以两个或两个以上模块/单元集成在一个模块/单元中。

本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及方案步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例还提供一种电子设备。该电子设备包括存储器和处理器。存储器被配置为存储可执行程序。处理器被配置为调用所述程序以执行如上所述的全景环视图像生成方法。

本申请实施例还提供了一种计算机可读存储介质。本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(magnetic tape)，软盘(floppy disk)，光盘(optical disc)及其任意组合。上述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本申请实施例还可以提供一种计算机程序产品，所述计算机程序产品包括一个或多个计算机指令。在计算设备上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机或数据中心进行传输。

所述计算机程序产品被计算机执行时，所述计算机执行前述方法实施例所述的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述方法的情况下，可以下载该计算机程序产品并在计算机上执行该计算机程序产品。

上述各个附图对应的流程或结构的描述各有侧重，某个流程或结构中没有详述的部分，可以参见其他流程或结构的相关描述。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (15)

1.一种全景环视图像生成方法，其特征在于，包括：

获取由车辆上的多个车载相机捕获到的原始图像，所述原始图像与所述车辆的周围的多个区域相关联；

对所述原始图像进行畸变矫正处理，以获取矫正图像；

基于与腰圆区域相关联的全景投影模型获取采样点坐标，所述腰圆区域包括与所述车辆的周围相关联的八个子区域；以及

基于所述矫正图像和所述采样点坐标生成所述车辆的全景环视图像。

2.根据权利要求1所述的全景环视图像生成方法，其特征在于，获取由车辆上的多个车载相机捕获到的原始图像包括：

获取由中大型车辆上的至少八个车载相机捕获到的与所述周围相关联的所述原始图像。

3.根据权利要求1所述的全景环视图像生成方法，其特征在于，对所述原始图像进行畸变矫正处理包括：

对所述原始图像进行畸变矫正处理，以矫正鱼眼相机或宽视角相机带来的畸变。

4.根据权利要求1所述的全景环视图像生成方法，其特征在于，基于与腰圆区域相关联的全景投影模型获取采样点坐标包括：

根据所述腰圆区域的各子区域的特征构建世界坐标系；以及

从所述世界坐标系收集所述采样点坐标，所述采样点坐标位于所述腰圆区域的各子区域的边界内。

5.根据权利要求1所述的全景环视图像生成方法，其特征在于，基于所述矫正图像和所述采样点坐标生成所述车辆的全景环视图像包括：

对所述采样点坐标进行筛选处理，以获取筛选后的采样点坐标，所述筛选后的采样点坐标经过投影后在所述矫正图像的边界内部；

基于所述筛选后的采样点坐标和所述矫正图像，获取所述筛选后的采样点坐标与所述矫正图像的像素坐标的映射表；以及

基于所述映射表生成所述全景环视图像。

6.根据权利要求5所述的全景环视图像生成方法，其特征在于，基于所述映射表生成所述全景环视图像包括：

通过图形处理单元内的纹理单元对与所述腰圆区域的各子区域相对应的映射表进行纹理绑定；以及

针对绑定好的所述腰圆区域的各子区域进行纹理合成，以生成所述全景环视图像。

7.根据权利要求1所述的全景环视图像生成方法，其特征在于，所述腰圆区域对应于腰圆图形，所述腰圆图形为经过圆心将一个圆平分成两个半圆弧且将所述两个半圆弧相互反向平移、并用两个等长平行线将所述两个半圆弧的端点分别连接而形成的封闭图形，所述腰圆区域包括前视区域、后视区域、第一右视区域、第二右视区域、第三右视区域、第一左视区域、第二左视区域和第三左视区域，

所述前视区域和所述后视区域分别位于所述腰圆图形的与所述两个半圆弧相对应的两端，

所述第二右视区域和所述第二左视区域分别位于所述腰圆图形的与所述两个等长平行线相对应的两端，

所述第一右视区域位于所述前视区域与所述第二右视区域之间，所述第三右视区域位于所述第二右视区域与所述后视区域之间，

所述第一左视区域位于所述前视区域与所述第二左视区域之间，所述第三左视区域位于所述第二左视区域与所述后视区域之间。

8.根据权利要求7所述的全景环视图像生成方法，其特征在于，所述子区域包括平坦采样区域和立面采样区域，所述平坦采样区域中采样点的竖轴值均为0，所述立面采样区域中采样点的竖轴值不为0。

9.根据权利要求7所述的全景环视图像生成方法，其特征在于，所述采样点坐标包括所述平坦采样区域的采样点坐标和所述立面采样区域的采样点坐标，基于与腰圆区域相关联的全景投影模型获取采样点坐标包括：

基于预设的步长间隔对所述平坦采样区域进行采样，以获取所述平坦采样区域的采样点坐标；以及

基于曲面拉伸系数、取样索引和所述预设的步长间隔对所述立面采样区域进行采样，以获取所述立面采样区域的采样点坐标。

10.根据权利要求7所述的全景环视图像生成方法，其特征在于，所述前视区域中的所述平坦采样区域的边界表示为：

其中，k_offset为所述前视区域第一边界直线上各点的纵轴值，A₁为所述前视区域第二边界直线的第一参数，B₁为所述前视区域第二边界直线的第二参数，C₁为所述前视区域第二边界直线的第三参数，A₂为所述前视区域第三边界直线的第一参数，B₂为所述前视区域第三边界直线的第二参数，C₂为所述前视区域第三边界直线的第三参数，center_offset为所述腰圆区域中腰圆圆心偏离坐标原点的距离，r为所述腰圆区域的圆半径，y₁为所述前视区域第一边界直线上各点的纵轴值，x₂为所述前视区域第二边界直线上点的横轴值，y₂为所述前视区域第二边界直线上点的纵轴值，x₃为所述前视区域第三边界直线上点的横轴值，y₃为所述前视区域第三边界直线上点的纵轴值，x₄为所述前视区域边界曲线上点的横轴值，y₄为所述前视区域边界曲线上点的纵轴值。

11.根据权利要求7所述的全景环视图像生成方法，其特征在于，所述第一右视区域中的所述平坦采样区域的边界表示为：

其中，m_offset为所述第一右视区域第一边界直线上各点的横轴值，n_offset所述第一右视区域第二边界直线上各点的纵轴值，A₃为所述第一右视区域第三边界直线的第一参数，B₃为所述第一右视区域第三边界直线的第二参数，C₃为所述第一右视区域第三边界直线的第三参数，r为所述腰圆区域的圆半径，x₅为所述第一右视区域第三边界直线上点的横轴值，y₅为所述第一右视区域第三边界直线上点的纵轴值，x₆为所述第一右视区域第四边界直线上各点的横轴值，x₇为所述第一右视区域第一边界直线各点的横轴值，y₆为所述第一右视区域第二边界直线各点的纵轴值，x₈为所述第一右视区域边界曲线上点的横轴值，y₈为所述第一右视区域边界曲线上点的纵轴值。

12.根据权利要求7所述的全景环视图像生成方法，其特征在于，所述第二右视区域中的所述平坦采样区域的边界表示为：

其中，r为所述腰圆区域的圆半径，k_offset为所述第二右视区域第一边界直线上各点的横轴值，g_offset为所述第二右视区域第二边界直线上各点的纵轴值，t_offset为所述第二右视区域第三边界直线上各点的纵轴值，x₉为所述第二右视区域第四边界直线上各点的横轴值，x₁₀为所述第二右视区域第一边界直线上各点的横轴值，y₉为所述第二右视区域第二边界直线上各点的纵轴值，y₁₀为所述第二右视区域第三边界直线上各点的纵轴值。

13.一种全景环视图像生成装置，其特征在于，包括：

原始图像获取模块，被配置为获取由车辆上的多个车载相机捕获到的原始图像，所述原始图像与所述车辆的周围的多个区域相关联；

矫正图像获取模块，被配置为对所述原始图像进行畸变矫正处理，以获取矫正图像；

采样点坐标获取模块，被配置为基于与腰圆区域相关联的全景投影模型获取采样点坐标，所述腰圆区域包括与所述车辆的周围相关联的八个子区域；以及

全景环视图像生成模块，被配置为基于所述矫正图像和所述采样点坐标生成所述车辆的全景环视图像。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被执行时实现根据权利要求1至12中任一项所述全景环视图像生成方法。

15.一种电子设备，其特征在于，包括：

存储器，被配置为存储可执行程序；以及

处理器，被配置为调用所述程序以执行根据权利要求1至12中任一项所述全景环视图像生成方法。