CN117082350A - 全景监控图像的生成方法、芯片、车载系统及车辆 - Google Patents

Abstract

本申请提供一种全景监控图像的生成方法、芯片、车载系统及车辆。该方法包括：光栅化模块从存储器中读取各三角形面片的顶点坐标和顶点的纹理坐标，基于各三角形面片的顶点坐标将各三角形面片投影到全景监控图像中，以基于各三角形面片的顶点的纹理坐标得到全景监控图像的各像素的纹理坐标，将各像素的纹理坐标存储至存储器中；图像数字信号处理器从存储器中读取全景监控图像的各像素的纹理坐标，按照各像素的纹理坐标从相应的纹理图像中进行采样，得到各像素的纹理值，纹理图像由设置于车辆上的摄像头拍摄，各像素对应的纹理值用于输出显示全景监控图像，通过异构方式实现车辆的全景监控功能，降低GPU的性能压力。

Description

全景监控图像的生成方法、芯片、车载系统及车辆

技术领域

本申请涉及智能驾驶技术，尤其涉及一种全景监控图像的生成方法、芯片、车载系统及车辆。

背景技术

车辆辅助驾驶系统或者智能座舱是一个高集成度的软硬件系统，系统需要同时完成多项任务的处理，例如高精度用户界面(User Interface，UI)绘制、深度学习算法推导、各类传感器监测等，这些任务大多数都依赖图形处理器(Graphics Processing Unit，GPU)的资源和性能。

除了上述任务之外，目前，车辆的3D全景监控(Around View Monitor，AVM)功能显示也依赖GPU实现，这就导致GPU的使用存在严重的性能瓶颈。

发明内容

本申请提供一种全景监控图像的生成方法、芯片、车载系统及车辆，以通过异构方式实现车辆的全景监控功能，降低GPU的性能压力。

第一方面，本申请提供一种全景监控图像的生成方法，应用于车载系统中，所述车载系统中包括光栅化模块、图像数字信号处理器和存储器，所述存储器中存储有碗型网格模型的各三角形面片的顶点坐标和顶点的纹理坐标，所述方法包括：

光栅化模块从存储器中读取各三角形面片的顶点坐标和顶点的纹理坐标，基于各三角形面片的顶点坐标将各三角形面片投影到全景监控图像中，以基于各三角形面片的顶点的纹理坐标得到所述全景监控图像的各像素的纹理坐标，将各像素的纹理坐标存储至所述存储器中；

图像数字信号处理器从所述存储器中读取所述全景监控图像的各像素的纹理坐标，按照各像素的纹理坐标从相应的纹理图像中进行采样，得到各像素的纹理值，所述纹理图像由设置于车辆上的摄像头拍摄，所述各像素对应的纹理值用于输出显示所述全景监控图像。

在一种实现方式中，所述基于各三角形面片的顶点坐标将各三角形面片投影到全景监控图像中，以基于各三角形面片的顶点的纹理坐标得到所述全景监控图像的各像素的纹理坐标，将各像素的纹理坐标存储至所述存储器中，包括：

基于三角形面片的三个顶点的顶点坐标和模型观察投影矩阵分别确定各顶点在全景监控图像中的像素坐标和对应的深度，对于三个顶点的像素坐标范围内的第一像素，基于各顶点对应的深度确定所述第一像素的第一深度；

若所述第一深度小于所述第一像素的历史深度，则确定所述第一像素在所述碗型网格模型中的第一模型坐标，基于所述第一模型坐标到三个顶点的距离以及顶点的纹理坐标，确定所述第一像素的纹理坐标，并将所述第一像素的纹理坐标存储至所述存储器中。

在一种实现方式中，还包括：

若所述第一深度大于等于所述第一像素的历史深度，则保持所述存储器中的所述第一像素的历史纹理坐标不变。

在一种实现方式中，所述基于各顶点对应的深度确定所述第一像素的深度，包括：

对各顶点对应的深度进行插值运算，得到所述第一像素的深度；

所述基于所述第一模型坐标到三个顶点的距离以及顶点的纹理坐标，确定所述第一像素的纹理坐标，包括：

基于所述第一模型坐标到三个顶点的距离确定三个顶点的权重系数，基于三个顶点的权重系数对三个顶点的纹理坐标进行插值运算，得到所述第一像素的纹理坐标。

在一种实现方式中，还包括：

响应于用户操作，对所述模型观察投影矩阵进行更新。

在一种实现方式中，所述存储器中还包括各顶点对应的图像融合透明度；

所述顶点的图像融合透明度为预设值时，所述顶点的纹理坐标包括第一纹理标识对应的纹理坐标，相应的，所述顶点所属的三角形面片在所述全景监控图像的投影范围内的各像素的图像融合透明度为预设值，且各像素的纹理坐标包括所述第一纹理标识对应的纹理坐标；

所述顶点的图像融合透明度为除所述预设值之外的其他值时，所述顶点的纹理坐标包括第一纹理标识对应的纹理坐标以及第二纹理标识对应的纹理坐标，第一纹理标识和第二纹理标识分别对应不同摄像头拍摄的纹理图像，相应的，所述顶点所属的三角形面片在所述全景监控图像的投影范围内的各像素的图像融合透明度为除所述预设值之外的其他值，且各像素的纹理坐标包括所述第一纹理标识对应的纹理坐标以及所述第二纹理标识对应的纹理坐标。

在一种实现方式中，所述按照各像素的纹理坐标从相应的纹理图像中进行采样，得到各像素的纹理值，包括：

根据各像素的第一纹理标识对应的纹理坐标从相应的纹理图像进行采样，得到第一纹理值；

若所述像素的图像融合透明度为预设值，则将所述第一纹理值确定为所述像素的纹理值；

若所述像素的图像融合透明度为除所述预设值之外的其他值，则根据所述像素的第二纹理标识对应的纹理坐标从相应的纹理图像进行采样，得到第二纹理值，基于所述像素的图像融合透明度、所述第一纹理值和所述第二纹理值确定所述像素的纹理值。

第二方面，本申请提供一种芯片，包括：光栅化模块、图像数字信号处理器和存储器；

所述存储器中存储有碗型网格模型的各三角形面片的顶点坐标和顶点的纹理坐标；

所述光栅化模块，用于从所述存储器中读取碗型网格模型的各三角形面片的顶点坐标和顶点的纹理坐标，基于各三角形面片的顶点坐标将各三角形面片投影到全景监控图像中，以基于各三角形面片的顶点的纹理坐标得到所述全景监控图像的各像素的纹理坐标，将各像素的纹理坐标存储至所述存储器中；

所述图像数字信号处理器，用于从所述存储器中读取所述全景监控图像的各像素的纹理坐标，按照各像素的纹理坐标从相应的纹理图像中进行采样，得到各像素的纹理值，所述纹理图像由设置于车辆上的摄像头拍摄，所述各像素对应的纹理值用于输出显示所述全景监控图像。

在一种实现方式中，所述光栅化模块用于：

基于三角形面片的三个顶点的顶点坐标和模型观察投影矩阵分别确定各顶点在全景监控图像中的像素坐标和对应的深度，对于三个顶点的像素坐标范围内的第一像素，基于各顶点对应的深度确定所述第一像素的第一深度；

若所述第一深度小于所述第一像素的历史深度，则确定所述第一像素在所述碗型网格模型中的第一模型坐标，基于所述第一模型坐标到三个顶点的距离以及顶点的纹理坐标，确定所述第一像素的纹理坐标，并将所述第一像素的纹理坐标存储至所述存储器中。

在一种实现方式中，所述光栅化模块用于：

若所述第一深度大于等于所述第一像素的历史深度，则保持所述存储器中的所述第一像素的历史纹理坐标不变。

在一种实现方式中，所述光栅化模块用于：

对各顶点对应的深度进行插值运算，得到所述第一像素的深度；

所述基于所述第一模型坐标到三个顶点的距离以及顶点的纹理坐标，确定所述第一像素的纹理坐标，包括：

基于所述第一模型坐标到三个顶点的距离确定三个顶点的权重系数，基于三个顶点的权重系数对三个顶点的纹理坐标进行插值运算，得到所述第一像素的纹理坐标。

在一种实现方式中，所述光栅化模块用于：

响应于用户操作，对所述模型观察投影矩阵进行更新。

在一种实现方式中，所述存储器中还包括各顶点对应的图像融合透明度；

所述顶点的图像融合透明度为预设值时，所述顶点的纹理坐标包括第一纹理标识对应的纹理坐标，相应的，所述顶点所属的三角形面片在所述全景监控图像的投影范围内的各像素的图像融合透明度为预设值，且各像素的纹理坐标包括所述第一纹理标识对应的纹理坐标；

所述顶点的图像融合透明度为除所述预设值之外的其他值时，所述顶点的纹理坐标包括第一纹理标识对应的纹理坐标以及第二纹理标识对应的纹理坐标，第一纹理标识和第二纹理标识分别对应不同摄像头拍摄的纹理图像，相应的，所述顶点所属的三角形面片在所述全景监控图像的投影范围内的各像素的图像融合透明度为除所述预设值之外的其他值，且各像素的纹理坐标包括所述第一纹理标识对应的纹理坐标以及所述第二纹理标识对应的纹理坐标。

在一种实现方式中，所述图像数字信号处理器用于：

根据各像素的第一纹理标识对应的纹理坐标从相应的纹理图像进行采样，得到第一纹理值；

若所述像素的图像融合透明度为预设值，则将所述第一纹理值确定为所述像素的纹理值；

若所述像素的图像融合透明度为除所述预设值之外的其他值，则根据所述像素的第二纹理标识对应的纹理坐标从相应的纹理图像进行采样，得到第二纹理值，基于所述像素的图像融合透明度、所述第一纹理值和所述第二纹理值确定所述像素的纹理值。

第三方面，本申请提供一种芯片模组，包括如上述第二方面所述的芯片。

第四方面，本申请提供一种车载系统，包括如上述第二方面所述的芯片或上述第三方面所述的芯片模组。

第五方面，本申请提供一种车辆，包括如上述第四方面所述的车载系统。

第六方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述第一方面所述的方法。

第七方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。

本申请提供一种全景监控图像的生成方法、芯片、车载系统及车辆，该方法中利用光栅化模块实现模型的光栅化处理，利用VDSP功能实现了像素纹理采样和摄像头图像融合处理，实现了不依赖GPU的AVM功能，实现了异构加速和性能优化，降低了GPU的性能压力。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种全景监控图像的生成方法的流程示意图；

图2为本申请实施例提供的一种碗型网格模型；

图3为本申请实施例提供的一种全景监控图像示意图；

图4为本申请实施例提供的一种全景监控图像的生成装置的架构示意图；

图5为本申请实施例提供的一种模型的顶点位置示意图；

图6为本申请实施例提供的一种三角形面片的光栅化示意图；

图7为本申请实施例提供的一种片段信息缓冲区的结构示意图；

图8为本申请实施例提供的一种VDSP的片段处理流程示意图；

图9为本申请实施例提供的一种芯片的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先对本申请实施例中涉及的专业术语进行介绍。

GPU：图形处理器，通俗表述中可以指代计算机图形显示卡。

着色器：在GPU中运行的专有程序，实现特定效果的3D图形绘制。

光栅化：将三维坐标中的三角形对象映射到图像显示窗口的方法和过程。

光栅化模块：实现光栅化的专用硬件部件。

模型观察矩阵V：指以相机坐标朝向观察模型世界，将三维模型坐标变换到相机坐标系的变换矩阵。

投影矩阵P：是指将相机坐标系中的模型对象，变化到图像显示窗口的变换矩阵。

模型观察投影矩阵MVP：投影矩阵*模型观察矩阵，模型观察投影矩阵*三维模型坐标，即可得到图像显示窗口中的坐标。

顶点：在3D图形绘制中，指构成模型网格的三角形的顶点。

片段：在3D图形绘制中，片段是指光栅化后的图形绘制单位，等效于计算机显示术语像素，本申请实施例中指像素。

VDSP：图像数字信号处理器，主要指专用于图像处理的DSP硬件。

深度缓冲区：3D绘图时，用来存储图形元素深度信息的缓冲区，3D绘图通过深度缓冲区实现远近物体的正确遮挡关系。

SOC：System on Chip，系统级芯片，或称为片上系统。

NOC：Network on Chip，片上网络，SOC内部的总线互联模块。

AVM：Around View Monitor，全景呈现车辆周边环境，帮助驾驶人员进行车辆操控的辅助驾驶功能。

为了降低车载系统中GPU的性能压力，本申请实施例中提出一种异构方式来实现AVM功能，将AVM功能实现拆分为两个部分，一个部分是顶点和光栅化处理，这部分由专用的光栅化模块实现，另一部分是片段(像素)的处理，这部分由VDSP实现，VDSP功能实现了像素纹理采样和摄像头图像融合处理的流程，并以此替代GPU的片段着色器，实现图像采样和纹理贴图，从而不依赖GPU实现AVM功能。这两部分处理流程通过存储器中的片段处理缓冲区来连接。通过这种方式，实现了异构加速和性能优化。

下面将通过具体的实施例进行详细地说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本申请实施例提供的一种全景监控图像的生成方法的流程示意图。该方法应用于车载系统中，车载系统中包括光栅化模块、VDSP和存储器，存储器中存储有碗型网格模型的各三角形面片的顶点坐标和顶点的纹理坐标。

该方法包括：

S101、光栅化模块从存储器中读取各三角形面片的顶点坐标和顶点的纹理坐标，基于各三角形面片的顶点坐标将各三角形面片投影到全景监控图像中，以基于各三角形面片的顶点的纹理坐标得到全景监控图像的各像素的纹理坐标，将各像素的纹理坐标存储至存储器中。

AVM功能的实现依赖于如图2所示的碗型网格模型和相应的纹理坐标，纹理坐标通过AVM标定算法计算并存储，AVM标定算法同时包含鱼眼相机的矫正算法和相机生产误差的标定算法，AVM标定算法会综合相机的内参(生产误差，鱼眼矫正数据)和外参(安装位置，角度朝向)，产生一组能够正确显示周身周边环境的参数，这组参数最终存储为碗型网格模型各个顶点的纹理坐标，将车辆上的摄像头拍摄的图像作为纹理贴图，基于碗型网格模型的顶点坐标和顶点的纹理坐标，将摄像头图像贴图绘制到碗型网格模型正确的位置上，即可得到3D效果的全景监控图像，如图3所示。本申请实施例中，存储器中存储的碗型网格模型的各三角形面片的顶点坐标和顶点的纹理坐标可通过现有技术中的算法获得，本申请实施例对此不作限定，本申请实施例的步骤中直接读取顶点坐标和顶点的纹理坐标即可。

本步骤是通过光栅化模块对碗型网格模型中的各三角形面片进行光栅化处理，基于各三角形面片的顶点坐标将三角形面片投影到图像显示窗口中，也就是投影到全景监控图像中，同时，对于各三角形面片投影后的像素范围内的像素，基于各三角形面片的顶点的纹理坐标，可以确定各像素的纹理坐标，在对各三角形面片均进行光栅化处理后，即可得到全景监控图像的各像素的纹理坐标，将全景监控图像的各像素的纹理坐标存储至存储器中，以便于VDSP从中读取数据并进行后续处理。

S102、VDSP从存储器中读取全景监控图像的各像素的纹理坐标，按照各像素的纹理坐标从相应的纹理图像中进行采样，得到各像素的纹理值，纹理图像由设置于车辆上的摄像头拍摄，各像素对应的纹理值用于输出显示全景监控图像。

对于全景监控图像的各像素，VDSP读取其对应的纹理坐标，基于纹理坐标从纹理图像中进行纹理采样，得到该像素的纹理值，或称为图像采样值，可以理解的是，设置于车辆上的摄像头有多个，不同像素对应的纹理图像可能是不同摄像头拍摄的图像，在得到各像素的纹理值之后，后续即可将其输出到显示单元，以显示出车辆的全景监控图像。

本申请实施例的方法中，利用光栅化模块和VDSP共同实现了AVM功，这种方法不再不依赖GPU实现，降低了GPU的性能压力，实现了异构加速和性能优化。

图4为本申请实施例提供的一种全景监控图像的生成装置的架构示意图。该装置可以为系统级芯片。如图4所示，光栅化模块用于实现碗型网格模型的光栅化操作，光栅化模块包含顶点读入单元、变换单元、扫描单元、深度比较单元和插值单元，各个单元用于实现光栅化处理过程中的不同步骤，在后续实施例中进行说明。

VDSP中运行专有的片段处理程序，片段处理程序执行图像绘制的纹理采样和边缘融合算法，从而取代GPU的片段着色器，实现无GPU依赖的AVM算法。

本申请实施例的存储器既可以是DDR，也可以是SRAM或者SDRAM，由芯片设计决定，本深浅实施例对此并不限定。本申请实施例的存储器中可以包含多个缓冲区，例如包含缓冲区1：顶点序列缓冲区，缓冲区2：深度缓冲区，缓冲区3：片段信息缓冲区；缓冲区4：图像缓冲区，缓冲区5：图像帧缓冲区[0-3]。

其中，图像帧缓冲区包含4个子缓冲区，分别存储车辆前后左右4个摄像头的各一帧图像。需要说明的是，图像帧缓冲区并不限于4个子缓冲区，本申请实施例中是以采用4个摄像头进行全景生成来示例说明，图像帧[0-3]可以按照前摄像头图像、后摄像头图像、左摄像头图像、右摄像头图像的顺序排列。在实际应用中也可以用5～8个摄像头进行全景生成，对于多于4个摄像头的情况，图像帧缓冲区数量会相应增加。图像帧缓冲区中的图像，通常由系统中相机驱动程序或者相机采集程序提供，并实时刷新。

顶点序列缓冲区用于存放顶点坐标和顶点的纹理坐标。在一种示例中，为了减少因为内存寻址产生的延时，顶点序列缓冲区中的数据以如下方式进行排列：[V，ID0，UV0，ID1，UV1，Alpha，V，ID0，UV0，ID1，UV1，Alpha，V，ID0，UV0，ID1，UV1，Alpha…]，其中，V表示顶点坐标，ID0为第一纹理标识，用于指示第一个摄像头图像，UV0表示ID0对应的纹理坐标，即第一个摄像头图像的纹理坐标，ID1为第二纹理标识，用于指示第二个摄像头图像，UV1表示ID1对应的纹理坐标，即第二个摄像头图像的纹理坐标，Alpha表示第一个摄像头的图像融合透明度。图像融合透明度是通过现有技术的算法得到的，本申请实施例的步骤中可以直接获取顶点坐标、顶点的纹理坐标以及图像融合透明度。在只有一个摄像头覆盖的区域，Alpha为预设值，例如为1，绘图时纹理采样只需要使用ID0和UV0即可。在有两个摄像头覆盖的交叉区域会用到UV0和UV1两个UV坐标和Alpha值，Alpha值为预设值以外的其他值，例如不为1。

图5示意了模型顶点的坐标在xy平面的位置，图中区域0、1、2和3的标号与前摄像头、后摄像头、左摄像头、右摄像头的纹理标识对应。

如果顶点的Alpha值为预设值，那么顶点所在的区域不需要做摄像头融合，因此只用到ID0和UV0，此时的ID0即为顶点所在区域的纹理标识(0、1、2或3)。例如顶点位于区域0的中间部分，ID0＝0(前摄像头)。

如果顶点Alpha值不为预设值，那么当前顶点位于融合区域，需要两个摄像头的图像进行融合。如果顶点位于区域0的左侧或者区域2的上半部分，需要前摄像头和左摄像头融合，ID0＝0(前摄像头)，ID1＝2(左摄像头)；如果顶点位于区域0的右侧或者区域3的上半部分，需要前摄像头和右侧摄像头融合，那么ID0＝0(前摄像头)，ID1＝3(右摄像头)；如果顶点位于区域1的左侧或者区域2的下半部分，需要后摄像头和左侧摄像头融合，ID0＝1(后摄像头)，ID1＝2(左摄像头)；如果顶点位于区域1的右侧或者区域3的下半部分，需要后摄像头和右侧摄像头融合，那么ID0＝1(后摄像头)，ID1＝3(右摄像头)。

图像缓冲区是最终全景监控图像的输出缓冲区，在本申请实施例的方法处理完成后，将图像缓冲区刷新到图像显示窗口中即可实现全景监控图像的显示输出。

片段信息缓冲区大小为图像缓冲区的宽W*图像缓冲区高H*光栅化数据长度L。其中光栅化数据由若干信息构成，包含ID0、UV0、ID1、UV1和Alpha。

上述个模块和各个缓冲区的作用在以下实施例中结合方法步骤进行说明。

光栅化模块对三角形面片的光栅化如图6所示。光栅化处理的步骤包括：基于三角形面片的三个顶点的顶点坐标和模型观察投影矩阵分别确定各顶点在全景监控图像中的像素坐标和对应的深度，对于三个顶点的像素坐标范围内的第一像素，基于各顶点对应的深度确定第一像素的深度；

若第一深度小于第一像素的历史深度，则确定第一像素在碗型网格模型中的第一模型坐标，基于第一模型坐标到三个顶点的距离以及顶点的纹理坐标，确定第一像素的纹理坐标，并将第一像素的纹理坐标存储至存储器中；若第一深度大于等于第一像素的历史深度，则保持存储器中的第一像素的历史纹理坐标不变。

光栅化处理的各个步骤由光栅化模块中的各个单元执行，以下进行说明。

光栅化模块的读入单元从顶点序列缓冲区中一次读入三个顶点，也就是一个三角形面片，每个顶点的信息包含了前述的V，ID0，UV0，ID1，UV1，Alpha。

光栅化模块的变换单元更新当前时刻的模型观察矩阵V和投影矩阵P，并计算模型观察投影矩阵MVP，其中，MVP＝P*V。需要说明的是，在用户操作进行视角变换和转动等场景中，变换单元响应于用户操作，对模型观察投影矩阵进行更新。变换单元从顶点读入单元读取三角形面片的三个顶点：V0、V1和V2，并通过模型观察投影矩阵MVP计算得到顶点在图像显示窗口的坐标。其中，

V’0(xt0,yt0,zt0)＝MVP*V0(x0,y0,z0)

V’1(xt1,yt1,zt1)＝MVP*V1(x1,y1,z1)

V’2(xt2,yt2,zt2)＝MVP*V2(x2,y2,z2)

计算得到的V’0、V’1、V’2是一个三维坐标(xt，yt，zt)，其中zt表示像素的深度。(xt/zt,yt/zt)即是顶点在图像显示窗口中的坐标，这个坐标是归一化的坐标，乘上图像显示窗口的高度height和宽度width，即可得到在图像显示窗口的像素坐标(px，py)，也就是在全景监控图像中的像素坐标。

V”0(px0,py0)＝(xt0*width/zt0,yt0*height/zt0)

V”1(px1,py1)＝(xt1*width/zt1,yt1*height/zt1)

V”2(px2,py2)＝(xt2*width/zt2,yt2*height/zt2)

光栅化模块的扫描单元计算三个顶点的像素坐标px的最大值pxmax和最小值pxmin，以及像素坐标py的最大值pymax和最小值pymin，然后遍历这个范围内的第一像素(pxm，pyn)(pxmin<pxm<pxmax；pymin<pyn<pymax)是否在三角形(V”0，V”1，V”2)内部，如果不在三角形内部，则跳过，第一像素位置不做任何操作，如果在三角形的内部，则对各顶点对应的深度进行插值运算，得到第一像素(pxm，pyn)的第一深度(ztmn)，其计算方法是由V”0，V”1，V”2对应的V’0,V’1,V’2三个点的深度值zt0，zt1，zt2插值计算得到。

光栅化模块的深度比较单元从深度缓冲区读入第一像素(pxm，pyn)的历史深度zmn，与第一深度ztmn比较，如果ztmn大于等于zmn，则跳过第一像素，扫描单元继续计算下一个像素位置的深度。如果ztmn小于zmn，说明第一像素在碗型网格模型世界的3D坐标中的位置，位于片段信息缓冲区已有的第一像素的位置的前方，因此第一像素的纹理坐标需要写入并刷新，且深度比较单元在深度缓冲区的第一像素(pxm，pyn)位置写入ztmn。

光栅化模块的插值单元按照第一像素的坐标(pxm，pxn)进行MVP矩阵的逆运算，得到第一像素(pxm，pxn)对应在模型世界中的第一模型坐标Vmn(xmn，ymn，zmn)。基于第一模型坐标Vmn到三个顶点V0、V1、V2的距离d0、d1、d2，确定三个顶点的权重系数，例如权重系数分别为1/d0、1/d1、1/d2，基于三个顶点的权重系数对三个顶点的纹理坐标进行插值运算，得到第一像素的纹理坐标。本申请实施例中，对三个顶点V0、V1、V2的两个纹理坐标UV0、UV1以及Alpha值分别进行插值，得到Vmn的两个纹理坐标UV0、UV1以及Alpha值。原理上，V0、V1、V2在同一个三角形面片上，其ID0、ID1是相同的，不进行插值。将计算得到的Vmn的ID0，UV0，ID1，UV1，Alpha写入片段信息缓冲区中第一像素(pxm，pxn)的位置，如图7所示。

由于三角形面片内的像素的信息是通过顶点信息差值得到的，显然，顶点的图像融合透明度为预设值时，顶点的纹理坐标包括第一纹理标识对应的纹理坐标，相应的，顶点所属的三角形面片在全景监控图像的投影范围内的各像素的图像融合透明度为预设值，且各像素的纹理坐标包括第一纹理标识对应的纹理坐标；顶点的图像融合透明度为除预设值之外的其他值时，顶点的纹理坐标包括第一纹理标识对应的纹理坐标以及第二纹理标识对应的纹理坐标，第一纹理标识和第二纹理标识分别对应不同摄像头拍摄的纹理图像，相应的，顶点所属的三角形面片在全景监控图像的投影范围内的各像素的图像融合透明度为除预设值之外的其他值，且各像素的纹理坐标包括第一纹理标识对应的纹理坐标以及第二纹理标识对应的纹理坐标。

光栅化模块的各个单元按照上述方法对各三角形面片进行处理，完成当前3D绘图场景的一帧图像的光栅化操作之后。片段信息缓冲区就包含了绘制当前场景所需要的所有像素的绘图信息。但是片段信息缓冲区只有绘图信息，得到最终的全景监控图像，还需要进行图形绘制，这一步就由VDSP来执行。

片段信息缓冲区的绘图数据是同构的数据，并且按照图像像素排列，因此非常适合用VDSP进行运算和处理。VDSP包含一个专有的片段处理程序。VDSP从片段信息缓冲区中逐点读入每个像素的信息，以生成像素的纹理值，然后写入到图像显示缓冲区。VDSP完成一幅图像的绘制后，显示缓冲区的图像即可刷新到图像显示窗口中以实现全景监控图像的显示。

VDSP根据各像素的第一纹理标识对应的纹理坐标从相应的纹理图像进行采样，得到第一纹理值；若像素的图像融合透明度为预设值，则将第一纹理值确定为像素的纹理值；若像素的图像融合透明度为除预设值之外的其他值，则根据像素的第二纹理标识对应的纹理坐标从相应的纹理图像进行采样，得到第二纹理值，基于像素的图像融合透明度、第一纹理值和第二纹理值确定像素的纹理值。

如图8所示，VDSP的片段处理程序按照片段信息缓冲区的排列，逐像素进行。首先读取每个像素的ID0，UV0，ID1，UV1，Alpha。然后根据ID0和UV0，从图像帧缓冲区中对应的图像，也就是图像帧缓冲区[ID0]中采样，得到相应的第一纹理值RGB0。

之后，片段处理程序判断像素的Alpha值，如果Alpha值是预设值，说明当前像素所处的位置并非摄像头交叉融合区域，最终输出的纹理值RGB等于RGB0。如果Alpha值不等于预设值，说明当前像素所处的位置处于两个摄像头的交叉融合区域，需要对第二个摄像头图像进行采样。片段处理程序根据ID1和UV1，在图像帧缓冲区中对应的图像，也就是图像帧缓冲区[ID1]中采样，得到相应的第二纹理值RGB1，并根据Alpha值计算输出的纹理值RGB＝RGB0*Alpha+RGB1*(1-Alpha)。

然后，片段处理程序将像素的纹理值写入到图像输出缓冲区对应的像素位置。片段处理程序遍历片段信息缓冲区，完成对整个画面的采样和输出，最终得到的图像显示缓冲区的信息输出至图像显示窗口即为车辆全景监控图像。

本申请实施例的图像生成方法中，由光栅化模块实时更新当前时刻的模型观察矩阵和投影矩阵，从而实现3D全景监控图像的实时绘图，通过连续的修改模型观察矩阵和投影矩阵，就可以实现场景的视角变换和转动效果。且本申请实施例的方法是一种异构实现方式，不依赖GPU硬件，因此在车载辅助驾驶系统和智能座舱等应用场景下，可以缓解GPU的工作负载，释放GPU资源，通过异构加速的方式，优化了系统整体性能。

图9为本申请实施例提供的一种芯片的结构示意图，如图9所示，芯片900包括：光栅化模块901、图像数字信号处理器902和存储器903；

存储器903中存储有碗型网格模型的各三角形面片的顶点坐标和顶点的纹理坐标；

光栅化模块901，用于从存储器903中读取碗型网格模型的各三角形面片的顶点坐标和顶点的纹理坐标，基于各三角形面片的顶点坐标将各三角形面片投影到全景监控图像中，以基于各三角形面片的顶点的纹理坐标得到全景监控图像的各像素的纹理坐标，将各像素的纹理坐标存储至存储器903中；

图像数字信号处理器，用于从存储器903中读取全景监控图像的各像素的纹理坐标，按照各像素的纹理坐标从相应的纹理图像中进行采样，得到各像素的纹理值，纹理图像由设置于车辆上的摄像头拍摄，各像素对应的纹理值用于输出显示全景监控图像。

在一种实现方式中，光栅化模块901用于：

基于三角形面片的三个顶点的顶点坐标和模型观察投影矩阵分别确定各顶点在全景监控图像中的像素坐标和对应的深度，对于三个顶点的像素坐标范围内的第一像素，基于各顶点对应的深度确定第一像素的第一深度；

若第一深度小于第一像素的历史深度，则确定第一像素在碗型网格模型中的第一模型坐标，基于第一模型坐标到三个顶点的距离以及顶点的纹理坐标，确定第一像素的纹理坐标，并将第一像素的纹理坐标存储至存储器903中。

在一种实现方式中，光栅化模块901用于：

若第一深度大于等于第一像素的历史深度，则保持存储器903中的第一像素的历史纹理坐标不变。

在一种实现方式中，光栅化模块901用于：

对各顶点对应的深度进行插值运算，得到第一像素的深度；

基于第一模型坐标到三个顶点的距离以及顶点的纹理坐标，确定第一像素的纹理坐标，包括：

基于第一模型坐标到三个顶点的距离确定三个顶点的权重系数，基于三个顶点的权重系数对三个顶点的纹理坐标进行插值运算，得到第一像素的纹理坐标。

在一种实现方式中，光栅化模块901用于：

响应于用户操作，对模型观察投影矩阵进行更新。

在一种实现方式中，存储器中还包括各顶点对应的图像融合透明度；

顶点的图像融合透明度为预设值时，顶点的纹理坐标包括第一纹理标识对应的纹理坐标，相应的，顶点所属的三角形面片在全景监控图像的投影范围内的各像素的图像融合透明度为预设值，且各像素的纹理坐标包括第一纹理标识对应的纹理坐标；

顶点的图像融合透明度为除预设值之外的其他值时，顶点的纹理坐标包括第一纹理标识对应的纹理坐标以及第二纹理标识对应的纹理坐标，第一纹理标识和第二纹理标识分别对应不同摄像头拍摄的纹理图像，相应的，顶点所属的三角形面片在全景监控图像的投影范围内的各像素的图像融合透明度为除预设值之外的其他值，且各像素的纹理坐标包括第一纹理标识对应的纹理坐标以及第二纹理标识对应的纹理坐标。

在一种实现方式中，图像数字信号处理器902用于：

根据各像素的第一纹理标识对应的纹理坐标从相应的纹理图像进行采样，得到第一纹理值；

若像素的图像融合透明度为预设值，则将第一纹理值确定为像素的纹理值；

若像素的图像融合透明度为除预设值之外的其他值，则根据像素的第二纹理标识对应的纹理坐标从相应的纹理图像进行采样，得到第二纹理值，基于像素的图像融合透明度、第一纹理值和第二纹理值确定像素的纹理值。

本申请实施例提供的芯片可用于执行前述方法实施例中的全景监控图像的生成方法，其实现原理和技术效果类似，此处不再赘述。结合本申请所公开的方法实施例中的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本申请实施例还提供一种芯片模组，包括上述芯片。

本申请实施例还提供一种车载系统，包括上述芯片或芯片模组。

本申请实施例还提供一种车辆，包括上述车载系统。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任意方法实施例中的方法。

本申请实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任意方法实施例中的方法。

实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储器中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储器(存储介质)包括：只读存储器(read-only memory，ROM)、RAM、快闪存储器、硬盘、固态硬盘、磁带(magnetic tape)、软盘(floppy disk)、光盘(optical disc)及其任意组合。

本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

在本申请中，术语“包括”及其变形可以指非限制性的包括；术语“或”及其变形可以指“和/或”。本申请中术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。本申请中，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

Claims (13)

1.一种全景监控图像的生成方法，其特征在于，应用于车载系统中，所述车载系统中包括光栅化模块、图像数字信号处理器和存储器，所述存储器中存储有碗型网格模型的各三角形面片的顶点坐标和顶点的纹理坐标，所述方法包括：

光栅化模块从存储器中读取各三角形面片的顶点坐标和顶点的纹理坐标，基于各三角形面片的顶点坐标将各三角形面片投影到全景监控图像中，以基于各三角形面片的顶点的纹理坐标得到所述全景监控图像的各像素的纹理坐标，将各像素的纹理坐标存储至所述存储器中；

图像数字信号处理器从所述存储器中读取所述全景监控图像的各像素的纹理坐标，按照各像素的纹理坐标从相应的纹理图像中进行采样，得到各像素的纹理值，所述纹理图像由设置于车辆上的摄像头拍摄，所述各像素对应的纹理值用于输出显示所述全景监控图像。

2.根据权利要求1所述的方法，其特征在于，所述基于各三角形面片的顶点坐标将各三角形面片投影到全景监控图像中，以基于各三角形面片的顶点的纹理坐标得到所述全景监控图像的各像素的纹理坐标，将各像素的纹理坐标存储至所述存储器中，包括：

基于三角形面片的三个顶点的顶点坐标和模型观察投影矩阵分别确定各顶点在全景监控图像中的像素坐标和对应的深度，对于三个顶点的像素坐标范围内的第一像素，基于各顶点对应的深度确定所述第一像素的第一深度；

若所述第一深度小于所述第一像素的历史深度，则确定所述第一像素在所述碗型网格模型中的第一模型坐标，基于所述第一模型坐标到三个顶点的距离以及顶点的纹理坐标，确定所述第一像素的纹理坐标，并将所述第一像素的纹理坐标存储至所述存储器中。

3.根据权利要求2所述的方法，其特征在于，还包括：

若所述第一深度大于等于所述第一像素的历史深度，则保持所述存储器中的所述第一像素的历史纹理坐标不变。

4.根据权利要求2所述的方法，其特征在于，所述基于各顶点对应的深度确定所述第一像素的深度，包括：

对各顶点对应的深度进行插值运算，得到所述第一像素的深度；

所述基于所述第一模型坐标到三个顶点的距离以及顶点的纹理坐标，确定所述第一像素的纹理坐标，包括：

基于所述第一模型坐标到三个顶点的距离确定三个顶点的权重系数，基于三个顶点的权重系数对三个顶点的纹理坐标进行插值运算，得到所述第一像素的纹理坐标。

5.根据权利要求2所述的方法，其特征在于，还包括：

响应于用户操作，对所述模型观察投影矩阵进行更新。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述存储器中还包括各顶点对应的图像融合透明度；

所述顶点的图像融合透明度为预设值时，所述顶点的纹理坐标包括第一纹理标识对应的纹理坐标，相应的，所述顶点所属的三角形面片在所述全景监控图像的投影范围内的各像素的图像融合透明度为预设值，且各像素的纹理坐标包括所述第一纹理标识对应的纹理坐标；

所述顶点的图像融合透明度为除所述预设值之外的其他值时，所述顶点的纹理坐标包括第一纹理标识对应的纹理坐标以及第二纹理标识对应的纹理坐标，第一纹理标识和第二纹理标识分别对应不同摄像头拍摄的纹理图像，相应的，所述顶点所属的三角形面片在所述全景监控图像的投影范围内的各像素的图像融合透明度为除所述预设值之外的其他值，且各像素的纹理坐标包括所述第一纹理标识对应的纹理坐标以及所述第二纹理标识对应的纹理坐标。

7.根据权利要求6所述的方法，其特征在于，所述按照各像素的纹理坐标从相应的纹理图像中进行采样，得到各像素的纹理值，包括：

根据各像素的第一纹理标识对应的纹理坐标从相应的纹理图像进行采样，得到第一纹理值；

若所述像素的图像融合透明度为预设值，则将所述第一纹理值确定为所述像素的纹理值；

若所述像素的图像融合透明度为除所述预设值之外的其他值，则根据所述像素的第二纹理标识对应的纹理坐标从相应的纹理图像进行采样，得到第二纹理值，基于所述像素的图像融合透明度、所述第一纹理值和所述第二纹理值确定所述像素的纹理值。

8.一种芯片，其特征在于，包括：包括光栅化模块、图像数字信号处理器和存储器；

所述存储器中存储有碗型网格模型的各三角形面片的顶点坐标和顶点的纹理坐标；

所述光栅化模块，用于从所述存储器中读取碗型网格模型的各三角形面片的顶点坐标和顶点的纹理坐标，基于各三角形面片的顶点坐标将各三角形面片投影到全景监控图像中，以基于各三角形面片的顶点的纹理坐标得到所述全景监控图像的各像素的纹理坐标，将各像素的纹理坐标存储至所述存储器中；

所述图像数字信号处理器，用于从所述存储器中读取所述全景监控图像的各像素的纹理坐标，按照各像素的纹理坐标从相应的纹理图像中进行采样，得到各像素的纹理值，所述纹理图像由设置于车辆上的摄像头拍摄，所述各像素对应的纹理值用于输出显示所述全景监控图像。

9.一种芯片模组，其特征在于，包括如权利要求8所述的芯片。

10.一种车载系统，其特征在于，包括如权利要求8所述的芯片或权利要求9所述的芯片模组。

11.一种车辆，其特征在于，包括如权利要求10所述的车载系统。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如上述权利要求1-7中任一项所述的方法。

13.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。