CN113706370A - 一种图像生成方法、装置及系统 - Google Patents

Abstract

本申请提供一种图像生成方法、装置及系统，该方法包括：获取第一特殊视图；确定所述第一特殊视图对应的变换矩阵；基于所述变换矩阵，对所述第一特殊视图进行透视变换，以生成所述第一特殊视图对应的第二特殊视图；确定轨迹线物理模型，并基于所述轨迹线物理模型，确定轨迹线在所述第二特殊视图中的位置；其中，所述轨迹线在所述第二特殊视图中的位置关于车身主轴方向对称。该方法可以优化特殊视图显示效果。

Description

一种图像生成方法、装置及系统

技术领域

本申请涉及图像处理领域，尤其涉及一种图像生成方法、装置及系统。

背景技术

在车载环视系统中，全景图用于显示车身周围环境，特殊视图用于显示特定位置高清局部图像。

在车辆行驶中，通过预测车轮轨迹线(简称为轨迹线)辅助驾驶。对于特殊视图(如前特殊视图或后特殊视图)，若相机安装角度与车身方向一致，则视场范围关于车身主轴对称，图像中的轨迹线也会关于车身主轴对称。若相机安装存在角度上的旋转，则视场范围可能会不再关于车身主轴对称，图像中的轨迹线相应地也不再关于车身主轴对称。

以图1所示，假设便利店标志在车身正前方，图1的(c)为相机的安装角度与车身方向一致时的图像示意图，图像中的便利店标志和轨迹线均关于车身主轴对称；图1的(a)中相机绕着主轴旋转，图像中的便利店标志和轨迹线绕着图像主点旋转；图1的(b)中相机绕着底座向左转动，图像中的便利店标志和轨迹线在图像中向右偏转，图1的(a)和(b)不利于用户观察感兴趣区域，容易产生视觉疲劳，影响用户体验。

发明内容

有鉴于此，本申请提供一种图像生成方法、装置及系统。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种图像生成方法，包括：

获取第一特殊视图；

确定所述第一特殊视图对应的变换矩阵；

基于所述变换矩阵，对所述第一特殊视图进行透视变换，以生成所述第一特殊视图对应的第二特殊视图，所述第二特殊视图的显示范围关于车身主轴方向对称；

确定轨迹线物理模型，并基于所述轨迹线物理模型，确定轨迹线在所述第二特殊视图中的位置；其中，所述轨迹线在所述第二特殊视图中的位置关于车身主轴方向对称；

基于所述轨迹线在所述第二特殊视图中的位置，在所述第二特殊视图中叠加所述轨迹线，生成并显示所述轨迹线沿车身主轴方向对称的第二特殊视图。

根据本申请实施例的第二方面，提供一种图像生成装置，包括：

获取单元，用于获取第一特殊视图；

确定单元，用于确定所述第一特殊视图对应的变换矩阵；

图像生成单元，用于基于所述变换矩阵，对所述第一特殊视图进行透视变换，以生成所述第一特殊视图对应的第二特殊视图，所述第二特殊视图的显示范围关于车身主轴方向对称；

所述确定单元，还用于确定轨迹线物理模型，并基于所述轨迹线物理模型，确定轨迹线在所述第二特殊视图中的位置；其中，所述轨迹线在所述第二特殊视图中的位置关于车身主轴方向对称；

所述图像生成单元，还用于基于所述轨迹线在所述第二特殊视图中的位置，在所述第二特殊视图中叠加所述轨迹线，生成所述轨迹线沿车身主轴方向对称的第二特殊视图；

图像显示单元，用于显示所述轨迹线沿图像中心对称的第二特殊视图。

根据本申请实施例的第三方面，提供一种图像生成系统，包括：

获取单元，用于获取第一特殊视图；

确定单元，用于确定所述第一特殊视图对应的变换矩阵；

图像生成单元，用于基于所述变换矩阵，对所述第一特殊视图进行透视变换，以生成所述第一特殊视图对应的第二特殊视图，所述第二特殊视图的显示范围关于车身主轴方向对称；

所述确定单元，还用于确定轨迹线物理模型，并基于所述轨迹线物理模型，确定轨迹线在所述第二特殊视图中的位置；其中，所述轨迹线在所述第二特殊视图中的位置关于车身主轴方向对称；

所述图像生成单元，还用于基于所述轨迹线在所述第二特殊视图中的位置，在所述第二特殊视图中叠加所述轨迹线，生成所述轨迹线沿车身主轴方向对称的第二特殊视图；

图像显示单元，用于显示所述轨迹线沿车身主轴方向对称的第二特殊视图。

根据本申请实施例的第四方面，提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述图像生成方法。

根据本申请实施例的第五方面，提供一种机器可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述图像生成方法。

本申请实施例的图像生成方法，通过获取第一特殊视图，并确定第一特殊视图对应的变换矩阵，进而，基于该变换矩阵，对第一特殊视图进行透视变换，以生成轨迹线关于车身主轴对称的第二特殊视图，优化了特殊视图显示效果，提升了用户体验。

附图说明

图1是一种典型的图像显示的场景示意图；

图2是本申请一示例性实施例示出的一种图像生成方法的流程示意图；

图3是本申请一示例性实施例示出的一种图像生成系统的结构示意图；

图4是本申请一示例性实施例示出的一种相机坐标系的示意图；

图5是本申请一示例性实施例示出的一种第二特殊视图对应的虚拟相机的坐标系以及第一特殊视图的坐标系的示意图；

图6是本申请一示例性实施例示出的一种车辆轨迹线的示意图；

图7是本申请一示例性实施例示出的一种车身周围前、后、左、右区域的示意图；

图8是本申请一示例性实施例示出的一种手动模式下的图像显示示意图；

图9是本申请又一示例性实施例示出的另一种手动模式下的图像显示示意图；

图10是本申请一示例性实施例示出的一种自动模式下图像显示示意图；

图11是本申请一示例性实施例示出的一种基于车辆行驶状态确定显示模式的流程示意图；

图12是本申请一示例性实施例示出的一种图像生成装置的结构示意图；

图13是本申请一示例性实施例示出的一种电子设备的结构示意图；

图14是本申请一示例性实施例示出的一种图像生成系统的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面先对本申请实施例中涉及的部分技术术语进行简单说明。

内参：包括相机主点、焦距以及畸变系数等参数。

主点：指主光轴与感光平面的交点。

外参：包括相机在世界坐标系下的安装位置和角度等参数。

虚拟相机：指利用视点变换得到的图像对应的虚拟的相机。

透视变换：也可以称为投影映射，指将图像映射到一个新的视平面。

欧拉角：指用来确定定点转动刚体位置的3个一组独立角参量，包括滚转角(roll)、偏航角(yaw)和俯仰角(pitch)。

俯仰角(pitch)：指目标坐标系相对参考坐标系绕x轴逆时针旋转的角度，如相机坐标系相对世界坐标系绕x轴逆时针旋转的角度。

偏航角(yaw)：指目标坐标系相对参考坐标系绕y轴逆时针旋转的角度，如相机坐标系相对世界坐标系绕y轴逆时针旋转的角度。

滚转角(roll)：指目标坐标系相对参考坐标系绕z轴顺时针旋转的角度，如相机坐标系相对世界坐标系绕z轴顺时针旋转的角度。

相机坐标系：指以相机主轴为z轴(镜头朝向为正方向)，相机安装方向竖直向下为y轴正方向，水平向左为x轴正方向的坐标系，相机坐标系相对世界坐标系的欧拉角示意图可以如图4所示。

欧拉矩阵：指利用欧拉角获得的旋转矩阵，将欧拉矩阵与一个向量相乘时，改变向量的方向，但不改变向量的大小。

为了使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图2，为本申请实施例提供的一种图像生成方法的流程示意图，如图2所示，该图像生成方法可以包括以下步骤：

步骤S200、获取第一特殊视图。

本申请实施例中，第一特殊视图并不特指某一固定的特殊视图，而是可以指代任一特殊视图，如车身前特殊视图或车身后特殊视图。

示例性的，以车身前特殊视图为例，该特殊视图可以包括但不限于车载前视相机采集的原图、对车载前视相机采集的原图进行视角转换得到的视角转换图，或车载前视相机采集的原图的展开图(如鱼眼展开图)等。

步骤S210、确定第一特殊视图对应的变换矩阵。

步骤S220、基于变换矩阵，对第一特殊视图进行透视变换，以生成第一特殊视图对应的第二特殊视图，第二特殊视图的显示范围关于车身主轴方向对称。

本申请实施例中，为了优化特殊视图的显示效果，提升用户体验，需要使特殊视图中的轨迹线关于车身主轴方向对称。

示例性的，由于当特殊视图的显示范围(也可以称为视场范围)关于车身主轴方向对称时，特殊视图中的轨迹线通常也是关于车身主轴方向对称的，因此，可以通过使特殊视图的视场范围关于车身主轴方向对称的方式，来使特殊视图中的轨迹线关于车身主轴方向对称。

当第一特殊视图的视场范围未关于车身主轴对称时，可以通过透视变换生成对应的视场范围关于车身对称的特殊视图(本文中称为第二特殊视图)。

示例性的，为了得到视场范围关于车身主轴对称的特殊视图(即上述第二特殊视图)，可以假设一个虚拟相机，通过“小孔成像”原理，获得该特殊视图，该虚拟相机对应的图像的视场范围关于车身主轴对称。

示例性的，由于第二特殊视图对应的虚拟相机的安装角度与车身方向一致，因此，可以基于第一特殊视图对应的虚拟相机的安装角度，以及第二特殊视图对应的虚拟相机的安装角度，确定用于对第一特殊视图进行透视变换，得到第二特殊视图的变换矩阵。

需要说明的是，若第一特殊视图为车载相机采集的原图，则第一特殊视图对应的虚拟相机即为原相机；若第一特殊视图为车载相机采集的原图处理后的图像(如校正图或展开图)，则第一特殊视图对应的虚拟相机的安装角度可以基于原图与第一特殊视图之间的映射关系确定，其具体实现在此不做赘述。

本申请实施例中，当确定了第一特殊视图对应的变换矩阵时，可以基于该变换矩阵，对第一特殊视图进行透视变换，以生成第一特殊视图对应第二特殊视图。

步骤S230、确定轨迹线物理模型，并该基于轨迹线物理模型，确定轨迹线在第二特殊视图中的位置；其中，轨迹线在第二特殊视图中的位置关于车身主轴方向对称。

本申请实施例中，可以根据方向盘转角获得车身旋转角度，利用车轮(前轮或后轮)轴长、车轴距确定车轮轨迹圆，即轨迹线物理模型，其具体实现可以在下文中结合具体实例进行说明，本申请实施例在此不做赘述。

当确定了轨迹线物理模型时，可以基于所确定的轨迹线物理模型，确定轨迹线在第二特殊视图中的位置。

在一个示例中，基于轨迹线物理模型，确定轨迹线在第二特殊视图中的位置，可以包括：

根据第一特殊视图与原图的映射关系，以及轨迹线物理模型，确定轨迹线在第一特殊视图中的位置；

基于第一特殊视图中的位置，以及变换矩阵，确定轨迹线在第二特殊视图中的位置。

示例性的，在确定了轨迹线物理模型时，可以基于第一特殊视图对应的原相机的内参、外参，以及该轨迹线物理模型，确定轨迹线在原图中的位置，并根据第一特殊视图与原图的变换关系，确定轨迹线在第一特殊视图中的位置，进而，基于第一特殊视图中的位置，以及上述第一特殊视图对应的变换矩阵，确定轨迹线在第二特殊视图中的位置

确定轨迹线在第二特殊视图中的位置的具体实现可以在下文中结合实例进行说明，本申请实施例在此不做赘述。

步骤S240、基于轨迹线在第二特殊视图中的位置，在第二特殊视图中叠加轨迹线，生成并显示轨迹线沿车身主轴方向对称的第二特殊视图。

本申请实施例中，当需要显示包括轨迹线的第二视图时，可以基于轨迹线在第二特殊视图中的位置，在第二特殊视图中叠加轨迹线，生成轨迹线沿车身主轴方向对称的第二特殊视图，并对该轨迹线沿车身主轴方向对称的第二特殊视图进行显示。

可见，在图2所示方法流程中，通过对第一特殊视图进行透视变换，得到轨迹线关于车身主轴对称的第二特殊视图，优化了特殊视图的显示效果，提升了用户体验。

作为一种可能的实施例，上述确定所述第一特殊视图对应的变换矩阵，包括：

确定第二特殊视图对应的第二虚拟相机在第一特殊视图对应的第一虚拟相机的坐标系下的姿态；其中，第一虚拟相机与第二虚拟相机安装位置相同，安装角度不同；

基于第二虚拟相机在第一虚拟相机的坐标系下的姿态，确定第一特殊视图对应的变换矩阵。

示例性的，由于第一特殊视图对应的虚拟相机(本文中称为第一虚拟相机)与第二特殊视图对应的虚拟相机(本文中称为第二虚拟相机)安装位置相同，但安装角度不同，因此，可以基于第一特殊视图对应的虚拟相机在世界坐标系下的姿态，以及第二特殊视图对应的虚拟相机在世界坐标系下的姿态，确定第二虚拟相机在第一虚拟相机的坐标系下的姿态，并基于第二虚拟相机在第一虚拟相机的坐标系下的姿态，确定第一特殊视图对应的变换矩阵。

在一个示例中，上述透视变换为欧拉变换，上述变换矩阵为欧拉矩阵；

上述确定第二特殊视图对应的第二虚拟相机在第一特殊视图对应的第一虚拟相机的坐标系下的姿态，可以包括：

分别确定第二虚拟相机的坐标系相对第一虚拟相机的坐标系的z轴旋转的第一角度、y轴旋转的第二角度以及x轴旋转的第三角度。

示例性的，以基于欧拉矩阵，对第一特殊视图进行欧拉变换得到第二特殊视图为例，即可以通过第一虚拟相机和第二虚拟相机的姿态，计算欧拉角，基于欧拉角确定欧拉矩阵，并基于欧拉矩阵实现第一特殊视图到第二特殊视图的欧拉变换。

虚拟相机在特定坐标系下的姿态可以通过该虚拟相机的坐标系相对该特定坐标系的欧拉角(滚转角、偏航角以及俯仰角)表征。

为了确定第二虚拟相机在第一虚拟相机的坐标系下的姿态，可以分别确定第二虚拟相机的坐标系相对第一虚拟相机的坐标系的z轴旋转的角度(本文中称为第一角度，该第一角度即为第二虚拟相机在第一虚拟相机的坐标系下的滚转角)、y轴旋转的角度(本文中称为第二角度，该第二角度即为第二虚拟相机在第一虚拟相机的坐标系下的偏航角)，以及x轴旋转的角度(本文中称为第三角度，该第三角度即为第二虚拟相机在第一虚拟相机的坐标系下的俯仰角)。

在一个示例中，上述第一角度可以通过以下公式确定：

其中，θ为第一角度，(x′₀，y′₀)、(x′₁，y′₁)为车身坐标系下与x轴平行的线段上两点在第一虚拟相机的坐标系下的坐标。

示例性的，由于虚拟相机的坐标下绕特定坐标系的z轴的旋转角度，会影响该视图绕主点旋转程度，因此，对于视场范围关于车身主轴对称的第二虚拟相机，其坐标系相对车身坐标系不能存在绕z轴的旋转角度，即第二虚拟相机的坐标系相对车身坐标系的滚转角为0。在第二特殊视图中与x轴平行的直线，在车身坐标系中仍与x轴平行。

基于此，可以根据车身坐标系下与x轴平行的直线上的任意两点在第一虚拟相机的坐标系下对应的直线，与第一虚拟相机的坐标系的x轴的夹角，确定上述第一角度。

需要说明的是，车身坐标系下的任一点在第一特殊视图的坐标系下的坐标，可以通过以下方式确定：

基于对应车载相机的内参、外参，获得原图对应像素点坐标；根据第一特殊视图与车载相机采集的原图之间的映射关系确定第一特殊视图的像素坐标，其具体实现在此不做限定。

在一个示例中，上述第二角度可以通过以下策略确定：

当第一角度和第三角度已确定时，按照预设策略从第二角度的取值范围中确定第二角度，以使所确定的第一角度、第二角度和第三角度满足以下条件：

x′₀+x′₁=w (3)

其中，R为根据所确定的第一角度、第二角度和第三角度确定的欧拉矩阵(即第二特殊视图到第一特殊视图的变换矩阵)，(x′，y′)为第一特殊视图上坐标为(x，y)的像素点对应的第二特殊视图上的像素点的坐标，(x′₀，y′₀)、(x′₁，y′₁)为车身坐标系下关于车身主轴对称的两点在第二特殊视图的坐标系下的坐标，w为第二特殊视图的宽度分辨率。

示例性的，第一角度的确定方法可以参见上述实施例中的描述。而由于第三角度代表相机竖直视场范围，对视场范围是否关于主轴对称无影响，因此，可以将第三角度设置为取值范围内的任一角度。

在一个示例中，可以将第三角度设置为0。

示例性的，当确定上述第一角度和第三角度时，欧拉矩阵的确定仅存在第二角度这一变量，即欧拉矩阵为第二角度的函数。

此外，考虑到车身坐标系下关于车身主轴对称的两点，在第二特殊视图的坐标系下也关于图像中心对称，因此，车身坐标系下关于车身主轴对称的两点映射到第一特殊视图之后，再映射到第二特殊视图后得到的坐标中的横坐标之和应该与第二特殊视图的宽度分辨率一致。

需要说明的是，考虑到映射过程中坐标可能会存在一定的误差，因此，上述横坐标之和与第二特殊视图的宽度分辨率一致，并不要求严格相等，也可以允许一定的误差，即对于公式x′₀+x′₁＝w，等式左边的值为w，或与w的偏差在预设误差范围内均认为其成立。

示例性的，可以通过在第二角度的取值范围(如[-π/2，π/2])内选取第二角度的值，并根据所选取的第二角度的值，确定欧拉矩阵，并代入公式(2)，以确定车身坐标系下关于车身主轴对称的两点映射到第二特殊视图之后的坐标是否满足公式(3)，若不满足，则重新选取第二角度的值，并按照上述方式进行计算，直至所选取的第二角度的值，使公式(3)成立，此时，将所选取的第二角度的值确定为第二角度。

在一个示例中，可以按照二分法从第二角度的取值范围内选取第二角度的值。

例如，初始时，选取第二角度的值为0，并根据公式(2)计算x′₀和x′₁的值，若不满足公式(3)，则基于二者的和与w的大小关系，确定从[-π/2，0]或[0，π/2]中继续根据二分法选取第二角度的值，直至所选取的第二角度的值使公式(3)成立。

作为一种可能的实施例，上述图像生成方法还可以包括：

确定当前的视图显示模式；

若为手动模式，则根据检测到的操作指令显示对应的特殊视图；

若为自动模式，则根据车辆行驶状态，显示对应的特殊视图。

示例性的，为了提高视图显示控制的灵活性，可以支持多种不同的视图显示模式，其至少包括手动模式和自动模式。

在手动模式下，可以根据检测到的操作指令显示对应的特殊视图；

在自动模式下，可以根据车辆行驶状态，显示对应的特殊视图。

示例性的，车辆行驶状态可以包括但不限于行驶方向(如前向行驶或后向行驶)、方向盘转角以及车速等。

在一个示例中，上述根据检测到的操作指令显示对应的特殊视图，可以包括：

当检测到不显示轨迹线的操作指令时，输出第一视图选择界面，该第一视图选择界面包括多个类型的特殊视图选项；

检测针对第一视图选择界面中第一目标类型的特殊视图选项的第一选择指令；

响应第一选择指令，显示第一目标类型的特殊视图。

示例性的，手动模式下，视图显示界面可以包括显示轨迹线和不显示轨迹线的选项。

当检测到针对不显示轨迹线的选项的选择指令时，可以输出第一视图选择界面，该第一视图选择界面包括多个类型的特殊视图选项，并基于检测到的针对该第一视图选择界面中的任一类型(本文中称为第一目标类型)的特殊视图选项的选择指令(本文中称为第一选择指令)，显示第一目标类型的特殊视图。

在一个示例中，该多个类型包括前向、后向、左侧和右侧，即在不显示轨迹线的情况下，可以根据需求选择显示前向特殊视图、后向特殊视图、左侧特殊视图以及右侧特殊视图。

上述显示第一目标类型的特殊视图，可以包括：

若第一目标类型为前向，则显示前向的第二特殊视图；

若第一目标类型为后向，则显示后向的第二特殊视图；

若第一目标类型为左侧，则显示左侧的第一特殊视图；

若第一目标类型为右侧，则显示右侧的第一特殊视图。

示例性的，为了优化前向、后向的特殊视图的显示效果，当接收到前向或后向特殊视图的显示指令时，可以显示前向或后向的第二特殊视图，以使所显示的前向或后向特殊视图的视场范围关于车身主轴对称，提升用户体验。

对于左侧或右侧特殊视图，则可以仍显示第一特殊视图，其具体实现在此不做限定。

在另一个示例中，上述根据检测到的操作指令显示对应的特殊视图，可以包括：

当检测到显示轨迹线的操作指令时，输出第二视图选择界面，该第二视图选择界面包括多个类型的特殊视图选项；

检测针对第二视图选择界面中第二目标类型的特殊视图选项的第二选择指令；

响应第二选择指令，显示包括轨迹线的第二目标类型的第二特殊视图。

示例性的，当检测到显示轨迹线的操作指令时，可以输出第二视图选择界面，该第二视图选择界面包括多个类型的特殊视图选项，该多个类型的特殊视图选项对应的特殊视图均可叠加显示轨迹线。

在一个示例中，该多个类型包括前向或后向。

当检测到针对第二视图选择界面中的任一类型(本文中称为第二目标类型)的特殊视图选项的选择指令(本文中称为第二选择指令)时，可以响应该第二选择指令，显示包括轨迹线的第二目标类型的第二特殊视图，以使所显示的特殊视图以及轨迹线均关于车身主轴对称，以优化特殊视图显示效果，提升用户体验。

在一个示例中，上述根据车辆行驶状态显示对应的特殊视图，可以包括：

若车速大于等于第一速度阈值，则根据行驶方向与方向转盘转角，显示对应的特殊视图；

若车速小于第一速度阈值，则根据行驶方向，显示对应的特殊视图。

示例性的，考虑到不同车速下，对特殊视图的显示需求可能会不同。

例如，当车速较快时，车辆可能处于正常行驶状态，此时需要显示不带轨迹线的特殊视图；当车速较慢时，车辆可能处于待停车状态，此时需要显示包括轨迹线的特殊视图。

示例性的，当车速大于等于预设速度阈值(本文中称为第一速度阈值，其值可以根据实际需求设定，如5km/h)时，可以根据行驶方向与方向盘转角，显示对应的特殊视图。

在一个示例中，上述根据行驶方向与方向盘转角，显示对应的特殊视图，可以包括：

若行驶方向为前向行驶，且方向盘转角小于等于预设角度阈值，则显示前向的第二特殊视图；

若行驶方向为后向行驶，且方向盘转角小于等于所述预设角度阈值，则显示后向的第二特殊视图；

若方向盘向左转角超过预设角度阈值，则显示左侧的第一特殊视图；

若方向盘向右转角超过预设角度阈值，则显示右侧的第一特殊视图。

示例性的，考虑到当车速较快，且方向盘转角较小，如小于等于预设角度阈值(可以根据实际需求设定，如15°)时，可以认为车辆在直线行驶，此时，可以根据车辆的行驶方向(前向行驶或后向行驶)，显示前向的第二特殊视图或后向的第二特殊视图。

当车速较快，且方向盘转角较大，如大于预设角度阈值时，可以认为车辆处于拐弯状态，此时，可以根据方向盘转角方向(如左转或右转)，显示左侧的第一特殊视图或右侧的第一特殊视图。

示例性的，当车速小于第一预设速度阈值时，可以根据行驶方向，显示对应的特殊视图。

在一个示例中，上述根据行驶方向，显示对应的特殊视图，可以包括：

若行驶方向为前向行驶，则显示包括轨迹线的前向的第二特殊视图；

若行驶方向为后向行驶，则显示包括轨迹线的后向的第二特殊视图。

需要说明的是，在本申请实施例中，考虑到当车速过快时，特殊视图的显示可能会影响车辆驾驶员的安全驾驶，因此，当车速过快时，可以关闭特殊视图的显示。

例如，当车速大于第二速度阈值(可以根据实际场景设定，如15km/h，该第二速度阈值大于上述第一速度阈值)时，关闭特殊视图显示。

当车速小于等于第二速度阈值，且大于等于第一速度阈值时，根据行驶方向与方向盘转角，显示对应的特殊视图；

当车速小于第一速度阈值，则根据行驶方向，显示对应的特殊视图。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合应用场景对本申请实施例提供的技术方案进行说明。

请参见图3，为本申请实施例提供的一种图像生成系统的结构示意图，如图3所示，该图像生成系统可以包括图像采集单元、数据传输单元、数据处理单元以及图像显示单元。

示例性的，视频采集单元可以通过车载相机采集车身周围的图像，并通过数据传输单元将采集到的图像传输给数据处理单元，由数据处理单元将其转换为视场范围关于车身主轴对称的图像，最后通过图像显示单元显示。

下面结合附图对数据处理单元和图像显示单元的具体功能进行详细说明。

一、数据处理单元

按照功能划分，数据处理单元可以包括特殊视图生成模块、轨迹线关键点计算模块以及轨迹线显示模块；其中：

1、特殊视图生成模块

特殊视图用于显示特定位置高清局部图像，包括但不限于广角图、鱼眼图、鱼眼展开图或畸变矫正图等。

特殊视图生成模块在原特殊视图(即上文中的第一特殊视图)的基础上，生成一个关于车身主轴对称的特殊视图(即上文中的第二特殊视图)，其实现流程包括以下步骤：

1)、透视变换

假设第一特殊视图对应的虚拟相机在世界坐标系下的姿态为(pitch0，yaw0，roll0)，第二特殊视图对应的虚拟相机在世界坐标系下的姿态为(pitch1，yaw1，roll1)。

第二特殊视图在第一特殊视图的坐标系下的姿态为(△pitch，△yaw，△roll)，△pitch，△yaw，△roll满足以下条件：

特殊视图生成模块可以基于第二特殊视图在第一特殊视图的坐标系下的姿态，确定对应的欧拉矩阵R，并利用公式(5)实现第一特殊视图到第二特殊视图的变换：

其中，(x，y)为第二特殊视图上像素点的坐标，(X，Y)为第一特殊视图上像素点的坐标，R为利用△pitch，△yaw，△roll计算得到的欧拉矩阵。

可见，为了确定用于将第一特殊视图变换为第二特殊视图的欧拉矩阵，需要先确定△pitch，△yaw，△roll。

2)欧拉角计算

如图4所示，假设相机坐标系以相机主轴方向为z轴(镜头朝向为正方向)，相机安装方向竖直向下为y轴正方向，水平向左为x轴正方向。

roll为绕z轴顺时针旋转的角度，影响空间物体影像在图像中绕主点旋转程度；yaw为绕y轴逆时针旋转的角度，影响相机主轴左右朝向，进而影响图像左右视场范围；pitch为绕x轴逆时针旋转的角度，影响相机上下朝向，进而影响图像上下视场范围。

为了保证第二特殊视图的视场范围以及轨迹线均关于车身主轴对称，第二特殊视图对应的虚拟相机的不能绕车身坐标系的z轴(世界坐标系与车身坐标系的z轴同向)旋转，即roll1＝0；pitch影响相机竖直视场范围，对视场范围和轨迹线是否关于车身主轴对称无影响，因此，可以直接设置pitch1的值。

示例性的，pitch1＝pitch0，△pitch＝0。

2.1)滚转角(△roll，即上述第一角度)计算

考虑到第二特殊视图对应的虚拟相机绕车身坐标系的z轴的旋转角度为0，因此，在第二特殊视图中水平直线，在车身坐标系中仍为水平。

因此，可以利用车身坐标系下与x轴平行的直线上的两点(x0，y0)和(x1，y1)，通过变换得到第一特殊视图上的(x′₀，y′₀)和(x′₁，y′₁)。

举例来说，如图5所示，假设xyz为第二特殊视图对应的虚拟相机(即第二虚拟相机)的坐标系，x1y1为第一特殊视图的坐标系，AB1在第二虚拟相机的坐标系下与x轴平行的线段，在第一特殊视图的坐标系下与x轴夹角为θ，则第二虚拟相机的坐标系相对第一虚拟相机的坐标系绕z轴顺时针旋转θ，故欧拉角Δroll为：

2.2)偏航角计算

确定滚转角(△roll)和俯仰角(△pitch，即上述第三角度)之后，欧拉矩阵仅存在偏航角(△yaw，即上述第二角度)一个变量，即为△yaw的函数：

第二特殊视图上的像素点点(x′，y′)与第一特殊视图上的像素点(x，y)的变换关系为可以如公式(2)所示。

考虑到车身坐标系下关于车身主轴对称的两点，在第二特殊视图的坐标系下也关于车身主轴对称，因此，车身坐标系下关于车身主轴对称的两点映射到第一特殊视图之后，再映射到第二特殊视图后得到的坐标中的横坐标之和应该与第二特殊视图的宽度分辨率一致，即满足公式(3)。

因此，可以通过在第二角度的取值范围(如[-π/2，π/2])内选取第二角度的值，并根据所选取的第二角度的值，确定欧拉矩阵，并代入公式(2)，以确定车身坐标系下关于车身主轴对称的两点映射到第二特殊视图之后的坐标是否满足公式(3)，若不满足，则重新选取第二角度的值，并按照上述方式进行计算，直至所选取的第二角度的值，使公式(3)成立，此时，将所选取的第二角度的值确定为第二角度。

通过以上方式，确定△pitch，△yaw，△roll，进而可以确定欧拉矩阵，并基于该欧拉矩阵以及第一特殊视图，得到对应的第二特殊视图。

2、轨迹线关键点计算模块

轨迹线关键点计算主要包括确定轨迹线物理模型、确定轨迹线在图像中的位置、轨迹线显示。

2.1、确定轨迹线物理模型

可以根据方向盘转角获得车身旋转角度，利用车轮(前轮或后轮)轴长、车轴距确定车轮轨迹圆，即轨迹线物理模型。

举例来说，如图6所示，以车载后视相机为坐标原点，以车身主轴为y轴(后向为正方向)，水平向右为x轴正方向，假设车轴距为L，后轮轴所在位置与车载后视相机所在位置的距离为D，后轮轴长为W，利用方向盘转角计算前轮同水平方向夹角

内外侧车轮轨迹线方程为同心圆，圆心为

内圆半径为

外圆半径为

内侧车轮轨迹线方程(即内侧车轮轨迹线模型)：

外侧车轮轨迹线方程(即外侧车轮轨迹线模型)：

2.2、确定轨迹线在图像中的位置

根据车载后视相机内参、外参、轨迹线物理模型，确定车载后视相机采集的原图上的关键点的位置，并确定映射到第一特殊视图上的坐标，进而，利用第一特殊视图与第二特殊视图之间的变换关系，确定第二特殊视图上的关键点的位置。

2.3、轨迹线显示

根据确定的第二特殊视图上的轨迹线关键点的位置，将轨迹线绘制到屏幕图像坐标系，与图像叠加显示。

示例性的，轨迹线绘制方法包括但不限于OpenGL、D3D、修改图像轨迹线位置像素值等。

二、视频显示单元

视频显示单元包括手动交互模块和自动交互模块，用于显示关键位置的特殊视图，其关键位置包括但不限于车身周围前、后、左、右区域，其示意图可以如图7所示。

1、手动交互模块

1)、如图8中的(a)所示，当检测到针对“手动”选项的选择指令时，输出如图8中(b)所示的视图显示界面，当检测到针对视图显示界面中的“不显示轨迹线模式”选项的选择指令时，输出如图8中(c)所示的特殊视图选择界面(即上文中的第一视图选择界面)，该特殊视图选择界面包括“前”、“左”、“右”和“后”共4个选项，分别用于选择显示前特殊视图、左特殊视图、右特殊视图以及后特殊视图。

检测针对该特殊视图选择界面中选项的选择指令，并响应该选择指令，在车辆行驶过程中，实时显示对应的特殊视图，直至用户关闭显示。

示例性的，当检测到针对“左”或“右”选项的选择指令时，显示左侧的第一特殊视图或右侧的第一特殊视图。

当检测到针对“前”或“后”选项的选择指令时，显示前向或后向的第二特殊视图。

2)、如图9中的(a)所示，当检测到针对“手动”选项的选择指令时，输出如图9中(b)所示的视图显示界面，当检测到针对视图显示界面中的“显示轨迹线模式”选项的选择指令时，输出如图9中(c)所示的特殊视图选择界面(即上文中的第二视图选择界面)，该特殊视图选择界面包括“前”和“后”共2个选项，分别用于选择显示包括轨迹线的前特殊视图和后特殊视图。

检测针对该特殊视图选择界面中选项的选择指令，并响应该选择指令，在车辆行驶过程中，实时显示对应的特殊视图，直至用户关闭显示。

示例性的，当检测到针对“前”或“后”选项的选择指令时，显示包括轨迹线的前向的第二特殊视图或后向的的第二特殊视图。

2、如图10所示，当检测到针对“自动”选项的选择指令时，可以通过车身CAN(Controller Area Network,控制器局域网)网络报文信息，实时获取车辆行驶状态，该车辆行驶状态可以包括但不限于车速、方向盘转角和行驶方向，并基于该车辆行驶状态确定当前显示模式，其实现流程示意图可以如图11所示(以车速小于0为后向行驶为例)。

1)、当车速超过15km/h时，关闭显示；

2)、当车速在5km/h～15km/h时，根据行驶方向和方向盘转角确定显示模式：

2.1)、若行驶方向为前向行驶，且方向盘转角在15°以内，则显示前向的第二特殊视图；

2.2)、若行驶方向为后向行驶，且方向盘转角在15°以内，则显示后向的第二特殊视图；

2.3)、若方向盘转角向左超过15°，则显示左侧的第一特殊视图；

2.4)、若方向盘转角向右超过15°，则显示右侧的第一特殊视图。

3)、当车速低于5km/h时，根据行驶方向确定显示模式：

3.1)、若行驶方向为前向行驶，则显示包含轨迹线的前向的第二特殊视图；

3.2)、若行驶方向为后向行驶，则显示包括轨迹线的后向的第二特殊视图。

本申请实施例中，通过获取第一特殊视图，并确定第一特殊视图对应的变换矩阵，进而，基于该变换矩阵，对第一特殊视图进行透视变换，以生成对应的显示范围关于车身主轴对称的第二特殊视图，确定轨迹线物理模型，并基于轨迹线物理模型，确定轨迹线在第二特殊视图中的位置，进而，基于轨迹线在第二特殊视图中的位置，在第二特殊视图中叠加轨迹线，生成并显示轨迹线沿车身主轴方向对称的第二特殊视图，优化了特殊视图显示效果，提升了用户体验。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图12，为本申请实施例提供的一种图像生成装置的结构示意图，如图12所示，该图像生成装置可以包括：

获取单元1210，用于获取第一特殊视图；

确定单元1220，用于确定所述第一特殊视图对应的变换矩阵；

图像生成单元1230，用于基于所述变换矩阵，对所述第一特殊视图进行透视变换，以生成所述第一特殊视图对应的第二特殊视图，所述第二特殊视图的显示范围关于车身主轴方向对称；

确定单元1220，还用于确定轨迹线物理模型，并基于所述轨迹线物理模型，确定轨迹线在所述第二特殊视图中的位置；其中，所述轨迹线在所述第二特殊视图中的位置关于车身主轴方向对称；

所述图像生成单元1230，还用于基于所述轨迹线在所述第二特殊视图中的位置，在所述第二特殊视图中叠加所述轨迹线，生成所述轨迹线沿车身主轴方向对称的第二特殊视图；

图像显示单元1240，用于显示所述轨迹线沿图像中心对称的第二特殊视图。

在可选实施例中，所述确定单元1220基于所述轨迹线物理模型，确定轨迹线在所述第二特殊视图中的位置，包括：

根据所述第一特殊视图与原图的映射关系，以及所述轨迹线物理模型，确定轨迹线在所述第一特殊视图中的位置；

基于所述第一特殊视图中的位置，以及所述变换矩阵，确定轨迹线在所述第二特殊视图中的位置。

在可选实施例中，所述确定单元1220确定所述第一特殊视图对应的变换矩阵，包括：

确定所述第二特殊视图对应的第二虚拟相机在所述第一特殊视图对应的第一虚拟相机的坐标系下的姿态；其中，所述第一虚拟相机与所述第二虚拟相机安装位置相同，安装角度不同；

基于所述第二虚拟相机在所述第一虚拟相机的坐标系下的姿态，确定所述第一特殊视图对应的变换矩阵。

在可选实施例中，所述透视变换为欧拉变换，所述变换矩阵为欧拉矩阵；

所述确定单元1220确定所述第二特殊视图对应的第二虚拟相机在所述第一特殊视图对应的第一虚拟相机的坐标系下的姿态，包括：

分别确定所述第二特虚拟相机的坐标系相对所述第一虚拟相机的坐标系的z轴旋转的第一角度、y轴旋转的第二角度以及x轴旋转的第三角度。

在可选实施例中，所述第一角度通过以下公式确定：

其中，θ为所述第一角度，(x′₀，y′₀)、(x′₁，y′₁)为车身坐标系下与x轴平行的直线上两点在所述第一特殊视图的坐标系下的坐标。

在可选实施例中，所述第二角度通过以下策略确定：

当所述第一角度和第三角度已确定时，按照预设策略从第二角度的取值范围中确定所述第二角度，以使所确定的第一角度、第二角度和第三角度满足以下条件：

x′₀+x′₁＝w，

其中，R为根据所确定的第一角度、第二角度和第三角度确定的欧拉矩阵，该欧拉矩阵为所述第二特殊视图到所述第一特殊视图的变换矩阵，(x′，y′)为所述第一特殊视图上坐标为(x，y)的像素点对应的所述第二特殊视图上的像素点的坐标，(x′₀，y′₀)、(x′₁，y′₁)为车身坐标系下关于车身主轴对称的两点在所述第二特殊视图的坐标系下的坐标，w为所述第二特殊视图的宽度分辨率。

所述确定单元1220，还用于确定当前的视图显示模式；

所述图像显示单元1240，还用于若为手动模式，则根据检测到的操作指令显示对应的特殊视图；若为自动模式，则根据车辆行驶状态，显示对应的特殊视图。

在可选实施例中，所述图像显示单元1240根据检测到的操作指令显示对应的特殊视图，包括：

当检测到不显示轨迹线的操作指令时，输出第一视图选择界面，所述第一视图选择界面包括多个类型的特殊视图选项；

检测针对所述第一视图选择界面中第一目标类型的特殊视图选项的第一选择指令；

响应所述第一选择指令，显示所述第一目标类型的特殊视图。

在可选实施例中，所述多个类型包括前向、后向、左侧和右侧；

所述图像显示单元1240显示所述第一目标类型的特殊视图，包括：

若所述第一目标类型为前向，则显示前向的第二特殊视图；

若所述第一目标类型为后向，则显示后向的第二特殊视图；

若所述第一目标类型为左侧，则显示左侧的第一特殊视图；

若所述第一目标类型为右侧，则显示右侧的第一特殊视图。

在可选实施例中，所述图像显示单元1240根据检测到的操作指令显示对应的特殊视图，包括：

当检测到显示轨迹线的操作指令时，输出第二视图选择界面，所述第二视图选择界面包括多个类型的特殊视图选项；

检测针对所述第二视图选择界面中第二目标类型的特殊视图选项的第二选择指令；

响应所述第二选择指令，显示包括轨迹线的所述第二目标类型的第二特殊视图。

在可选实施例中，所述图像显示单元1240根据车辆行驶状态，显示对应的特殊视图，包括：

若车速大于等于第一速度阈值，则根据行驶方向与方向盘转角，显示对应的特殊视图；

若车速小于所述第一速度阈值，则根据行驶方向，显示对应的特殊视图。

在可选实施例中，所述图像显示单元1240根据行驶方向与方向盘转角，显示对应的特殊视图，包括：

若行驶方向为前向行驶，且方向盘转角小于等于预设角度阈值，则显示前向的第二特殊视图；

若行驶方向为后向行驶，且方向盘转角小于等于所述预设角度阈值，则显示后向的第二特殊视图；

若方向盘向左转角超过所述预设角度阈值，则显示左侧的第一特殊视图；

若方向盘向右转角超过所述预设角度阈值，则显示右侧的第一特殊视图。

在可选实施例中，所述图像显示单元1240根据行驶方向，显示对应的特殊视图，包括：

若行驶方向为前向行驶，则显示包括轨迹线的前向的第二特殊视图；

若行驶方向为后向行驶，则显示包括轨迹线的后向的第二特殊视图。

请参见图13，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器1301、通信接口1302、存储器1303和通信总线1304。处理器1301、通信接口1302以及存储器1303通过通信总线404完成相互间的通信。其中，存储器1303上存放有计算机程序；处理器1301可以通过执行存储器1303上所存放的程序，执行上文描述的图像生成方法。

本文中提到的存储器1303可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器1302可以是：RAM(Radom AccessMemory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

本申请实施例还提供了一种存储有计算机程序的机器可读存储介质，例如图13中的存储器1303，所述计算机程序可由图13所示电子设备中的处理器1301执行以实现上文中描述的图像生成方法。

请参见图14，为本申请实施例提供的一种图像生成系统的结构示意图，如图14所示，该图像生成系统可以包括：

获取单元1410，用于获取第一特殊视图；

确定单元1420，用于确定所述第一特殊视图对应的变换矩阵；

图像生成单元1430，用于基于所述变换矩阵，对所述第一特殊视图进行透视变换，以生成所述第一特殊视图对应的第二特殊视图，所述第二特殊视图的显示范围关于车身主轴方向对称；

所述确定单元1420，还用于确定轨迹线物理模型，并基于所述轨迹线物理模型，确定轨迹线在所述第二特殊视图中的位置；其中，所述轨迹线在所述第二特殊视图中的位置关于车身主轴方向对称；

所述图像生成单元1430，还用于基于所述轨迹线在所述第二特殊视图中的位置，在所述第二特殊视图中叠加所述轨迹线，生成所述轨迹线沿车身主轴方向对称的第二特殊视图；

图像显示单元1440，用于显示所述轨迹线沿车身主轴方向对称的第二特殊视图。

在可选实施例中，所述确定单元1420基于所述轨迹线物理模型，确定轨迹线在所述第二特殊视图中的位置，包括：

根据所述第一特殊视图与原图的映射关系，以及所述轨迹线物理模型，确定轨迹线在所述第一特殊视图中的位置；

基于所述第一特殊视图中的位置，以及所述变换矩阵，确定轨迹线在所述第二特殊视图中的位置。

在可选实施例中，所述确定单元1420确定所述第一特殊视图对应的变换矩阵，包括：

确定所述第二特殊视图对应的第二虚拟相机在所述第一特殊视图对应的第一虚拟相机的坐标系下的姿态；其中，所述第一虚拟相机与所述第二虚拟相机安装位置相同，安装角度不同；

基于所述第二虚拟相机在所述第一虚拟相机的坐标系下的姿态，确定所述第一特殊视图对应的变换矩阵。

在可选实施例中，所述透视变换为欧拉变换，所述变换矩阵为欧拉矩阵；

所述确定单元1420确定所述第二特殊视图对应的第二虚拟相机在所述第一特殊视图对应的第一虚拟相机的坐标系下的姿态，包括：

分别确定所述第二特虚拟相机的坐标系相对所述第一虚拟相机的坐标系的z轴旋转的第一角度、y轴旋转的第二角度以及x轴旋转的第三角度。

在可选实施例中，所述第一角度通过以下公式确定：

其中，θ为所述第一角度，(x′₀，y′₀)、(x′₁，y′₁)为车身坐标系下与x轴平行的直线上两点在所述第一特殊视图的坐标系下的坐标。

在可选实施例中，所述第二角度通过以下策略确定：

当所述第一角度和第三角度已确定时，按照预设策略从第二角度的取值范围中确定所述第二角度，以使所确定的第一角度、第二角度和第三角度满足以下条件：

x′₀+x′₁＝w

其中，R为根据所确定的第一角度、第二角度和第三角度确定的欧拉矩阵，该欧拉矩阵为所述第二特殊视图到所述第一特殊视图的变换矩阵，(x′，y′)为所述第一特殊视图上坐标为(x，y)的像素点对应的所述第二特殊视图上的像素点的坐标，(x′₀，y′₀)、(x′₁，y′₁)为车身坐标系下关于车身主轴对称的两点在所述第二特殊视图的坐标系下的坐标，w为所述第二特殊视图的宽度分辨率。

在可选实施例中，所述确定单元1420，还用于确定当前的视图显示模式；

所述图像显示单元1440，具体用于若为手动模式，则根据检测到的操作指令显示对应的特殊视图；若为自动模式，则根据车辆行驶状态，显示对应的特殊视图。

在可选实施例中，所述图像显示单元1440根据检测到的操作指令显示对应的特殊视图，包括：

当检测到不显示轨迹线的操作指令时，输出第一视图选择界面，所述第一视图选择界面包括多个类型的特殊视图选项；

检测针对所述第一视图选择界面中第一目标类型的特殊视图选项的第一选择指令；

响应所述第一选择指令，显示所述第一目标类型的特殊视图。

在可选实施例中，所述多个类型包括前向、后向、左侧和右侧；

所述图像显示单元1440显示所述第一目标类型的特殊视图，包括：

若所述第一目标类型为前向，则显示前向的第二特殊视图；

若所述第一目标类型为后向，则显示后向的第二特殊视图；

若所述第一目标类型为左侧，则显示左侧的第一特殊视图；

若所述第一目标类型为右侧，则显示右侧的第一特殊视图。

在可选实施例中，所述图像显示单元1440根据检测到的操作指令显示对应的特殊视图，包括：

当检测到显示轨迹线的操作指令时，输出第二视图选择界面，所述第二视图选择界面包括多个类型的特殊视图选项；

检测针对所述第二视图选择界面中第二目标类型的特殊视图选项的第二选择指令；

响应所述第二选择指令，显示包括轨迹线的所述第二目标类型的第二特殊视图。

在可选实施例中，所述图像显示单元1440根据车辆行驶状态，显示对应的特殊视图，包括：

若车速大于等于第一速度阈值，则根据行驶方向与方向盘转角，显示对应的特殊视图；

若车速小于所述第一速度阈值，则根据行驶方向，显示对应的特殊视图。

在可选实施例中，所述图像显示单元1440根据行驶方向与方向盘转角，显示对应的特殊视图，包括：

若行驶方向为前向行驶，且方向盘转角小于等于预设角度阈值，则显示前向的第二特殊视图；

若行驶方向为后向行驶，且方向盘转角小于等于所述预设角度阈值，则显示后向的第二特殊视图；

若方向盘向左转角超过所述预设角度阈值，则显示左侧的第一特殊视图；

若方向盘向右转角超过所述预设角度阈值，则显示右侧的第一特殊视图。

在可选实施例中，所述图像显示单元1440根据行驶方向，显示对应的特殊视图，包括：

若行驶方向为前向行驶，则显示包括轨迹线的前向的第二特殊视图；

若行驶方向为后向行驶，则显示包括轨迹线的后向的第二特殊视图。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (15)

1.一种图像生成方法，其特征在于，包括：

获取第一特殊视图；

确定所述第一特殊视图对应的变换矩阵；

基于所述变换矩阵，对所述第一特殊视图进行透视变换，以生成所述第一特殊视图对应的第二特殊视图，所述第二特殊视图的显示范围关于车身主轴方向对称；

确定轨迹线物理模型，并基于所述轨迹线物理模型，确定轨迹线在所述第二特殊视图中的位置；其中，所述轨迹线在所述第二特殊视图中的位置关于车身主轴方向对称；

基于所述轨迹线在所述第二特殊视图中的位置，在所述第二特殊视图中叠加所述轨迹线，生成并显示所述轨迹线沿车身主轴方向对称的第二特殊视图。

2.根据权利要求1所述的方法，其特征在于，所述基于所述轨迹线物理模型，确定轨迹线在所述第二特殊视图中的位置，包括：

根据所述第一特殊视图与原图的映射关系，以及所述轨迹线物理模型，确定轨迹线在所述第一特殊视图中的位置；

基于所述第一特殊视图中的位置，以及所述变换矩阵，确定轨迹线在所述第二特殊视图中的位置。

3.根据权利要求1所述的方法，其特征在于，所述确定所述第一特殊视图对应的变换矩阵，包括：

确定所述第二特殊视图对应的第二虚拟相机在所述第一特殊视图对应的第一虚拟相机的坐标系下的姿态；其中，所述第一虚拟相机与所述第二虚拟相机安装位置相同，安装角度不同；

基于所述第二虚拟相机在所述第一虚拟相机的坐标系下的姿态，确定所述第一特殊视图对应的变换矩阵。

4.根据权利要求3所述的方法，其特征在于，所述透视变换为欧拉变换，所述变换矩阵为欧拉矩阵；

所述确定所述第二特殊视图对应的第二虚拟相机在所述第一特殊视图对应的第一虚拟相机的坐标系下的姿态，包括：

分别确定所述第二特虚拟相机的坐标系相对所述第一虚拟相机的坐标系的z轴旋转的第一角度、y轴旋转的第二角度以及x轴旋转的第三角度。

5.根据权利要求4所述的方法，其特征在于，所述第一角度通过以下公式确定：

其中，θ为所述第一角度，(x′₀，y′₀)、(x′₁，y′₁)为车身坐标系下与x轴平行的直线上两点在所述第一特殊视图的坐标系下的坐标。

6.根据权利要求4所述的方法，其特征在于，所述第二角度通过以下策略确定：

当所述第一角度和第三角度已确定时，按照预设策略从第二角度的取值范围中确定所述第二角度，以使所确定的第一角度、第二角度和第三角度满足以下条件：

x′₀，x′₁＝W

其中，R为根据所确定的第一角度、第二角度和第三角度确定的欧拉矩阵，该欧拉矩阵为所述第二特殊视图到所述第一特殊视图的变换矩阵，(x′，y′)为所述第一特殊视图上坐标为(x，y)的像素点对应的所述第二特殊视图上的像素点的坐标，(x′₀，y′₀)、(x′₁，y′₁)为车身坐标系下关于车身主轴对称的两点在所述第二特殊视图的坐标系下的坐标，w为所述第二特殊视图的宽度分辨率。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：

确定当前的视图显示模式；

若为手动模式，则根据检测到的操作指令显示对应的特殊视图；

若为自动模式，则根据车辆行驶状态，显示对应的特殊视图。

8.根据权利要求7所述的方法，其特征在于，所述根据检测到的操作指令显示对应的特殊视图，包括：

当检测到不显示轨迹线的操作指令时，输出第一视图选择界面，所述第一视图选择界面包括多个类型的特殊视图选项；

检测针对所述第一视图选择界面中第一目标类型的特殊视图选项的第一选择指令；

响应所述第一选择指令，显示所述第一目标类型的特殊视图。

9.根据权利要求8所述的方法，其特征在于，所述多个类型包括前向、后向、左侧和右侧；

所述显示所述第一目标类型的特殊视图，包括：

若所述第一目标类型为前向，则显示前向的第二特殊视图；

若所述第一目标类型为后向，则显示后向的第二特殊视图；

若所述第一目标类型为左侧，则显示左侧的第一特殊视图；

若所述第一目标类型为右侧，则显示右侧的第一特殊视图。

10.根据权利要求7所述的方法，其特征在于，所述根据检测到的操作指令显示对应的特殊视图，包括：

当检测到显示轨迹线的操作指令时，输出第二视图选择界面，所述第二视图选择界面包括多个类型的特殊视图选项；

检测针对所述第二视图选择界面中第二目标类型的特殊视图选项的第二选择指令；

响应所述第二选择指令，显示包括轨迹线的所述第二目标类型的第二特殊视图。

11.根据权利要求7所述的方法，其特征在于，所述根据车辆行驶状态，显示对应的特殊视图，包括：

若车速大于等于第一速度阈值，则根据行驶方向与方向盘转角，显示对应的特殊视图；

若车速小于所述第一速度阈值，则根据行驶方向，显示对应的特殊视图。

12.根据权利要求11所述的方法，其特征在于，所述根据行驶方向与方向盘转角，显示对应的特殊视图，包括：

若行驶方向为前向行驶，且方向盘转角小于等于预设角度阈值，则显示前向的第二特殊视图；

若行驶方向为后向行驶，且方向盘转角小于等于所述预设角度阈值，则显示后向的第二特殊视图；

若方向盘向左转角超过所述预设角度阈值，则显示左侧的第一特殊视图；

若方向盘向右转角超过所述预设角度阈值，则显示右侧的第一特殊视图。

13.根据权利要求11所述的方法，其特征在于，所述根据行驶方向，显示对应的特殊视图，包括：

若行驶方向为前向行驶，则显示包括轨迹线的前向的第二特殊视图；

若行驶方向为后向行驶，则显示包括轨迹线的后向的第二特殊视图。

14.一种图像生成装置，其特征在于，包括：

获取单元，用于获取第一特殊视图；

确定单元，用于确定所述第一特殊视图对应的变换矩阵；

图像生成单元，用于基于所述变换矩阵，对所述第一特殊视图进行透视变换，以生成所述第一特殊视图对应的第二特殊视图，所述第二特殊视图的显示范围关于车身主轴方向对称；

所述确定单元，还用于确定轨迹线物理模型，并基于所述轨迹线物理模型，确定轨迹线在所述第二特殊视图中的位置；其中，所述轨迹线在所述第二特殊视图中的位置关于车身主轴方向对称；

所述图像生成单元，还用于基于所述轨迹线在所述第二特殊视图中的位置，在所述第二特殊视图中叠加所述轨迹线，生成所述轨迹线沿车身主轴方向对称的第二特殊视图；

图像显示单元，用于显示所述轨迹线沿图像中心对称的第二特殊视图。

15.一种图像生成系统，其特征在于，包括：

获取单元，用于获取第一特殊视图；

确定单元，用于确定所述第一特殊视图对应的变换矩阵；

图像生成单元，用于基于所述变换矩阵，对所述第一特殊视图进行透视变换，以生成所述第一特殊视图对应的第二特殊视图，所述第二特殊视图的显示范围关于车身主轴方向对称；

所述确定单元，用于确定轨迹线物理模型，并基于所述轨迹线物理模型，确定轨迹线在所述第二特殊视图中的位置；其中，所述轨迹线在所述第二特殊视图中的位置关于车身主轴方向对称；

所述图像生成单元，还用于基于所述轨迹线在所述第二特殊视图中的位置，在所述第二特殊视图中叠加所述轨迹线，生成所述轨迹线沿车身主轴方向对称的第二特殊视图；

图像显示单元，用于显示所述轨迹线沿车身主轴方向对称的第二特殊视图。

Images