CN112801874B

CN112801874B - 一种车辆图像拼接方法、装置和车辆

Info

Publication number: CN112801874B
Application number: CN202110150346.XA
Authority: CN
Inventors: 汪义平
Original assignee: Guangzhou Liuhuan Information Technology Co ltd
Current assignee: Guangzhou Liuhuan Information Technology Co ltd
Priority date: 2021-02-03
Filing date: 2021-02-03
Publication date: 2024-04-05
Anticipated expiration: 2041-02-03
Also published as: CN112801874A

Abstract

本发明涉及一种车辆图像拼接方法、装置和车辆，通过获取第一摄像画面对应的第一位置信息和车辆移动后的第二时刻的第二位置信息和第二摄像画面，根据第一位置信息第一摄像画面在图像拼接面上的位置，再根据第一位置信息和第二位置信息，确定第二摄像画面与第一摄像画面之间的偏移角度和偏移距离，从而确定第二摄像画面在图像拼接面上的位置，最后将第二摄像画面拼接到图像拼接面上生成拼接图像，提高车辆图像拼接效率，简单快速地得到车辆的全景图像。

Description

一种车辆图像拼接方法、装置和车辆

技术领域

本发明涉及车辆全景图获取领域，尤其是涉及一种车辆图像拼接方法、装置和车辆。

背景技术

现有的车辆全景图获取方式是在通过安装在车辆周围的多个超广角摄像头采集车身周围360°范围内的图像，对同一时刻采集到的多路视频图像进行拼接处理，得到一幅车辆周边360°的车身全景图，其图像拼接处理方式复杂、拼接效率较低。

发明内容

本申请实施例提供了一种车辆图像拼接方法、装置和车辆，能够提供车辆全景图像的拼接效率。所述技术方案如下：

第一方面，本申请实施例提供了一种车辆图像拼接方法，所述车辆上安装有摄像装置，包括以下步骤：

步骤S1：获取第一时刻车辆的第一位置信息和第一摄像画面；

步骤S2：基于所述第一位置信息，确定所述第一摄像画面在图像拼接面上的位置；

步骤S3：获取车辆移动后的第二时刻的第二位置信息和第二摄像画面；

步骤S4：根据所述第一位置信息和所述第二位置信息，获取所述第二摄像画面与所述第一摄像画面之间的偏移角度和偏移距离；

步骤S5：根据所述偏移角度和偏移距离，将所述第二摄像画面拼接到所述图像拼接面上，生成拼接图像。

可选的，所述第一位置信息包括第一俯仰角；

在获取第一时刻车辆的第一摄像画面的步骤之后，还包括：

获取上一时刻车辆的俯仰角；

若所述第一俯仰角与所述上一时刻车辆的俯仰角不同，根据所述第一俯仰角和所述上一时刻车辆的俯仰角，基于三角函数计算第一摄像画面的第一拉伸距离；

根据所述第一拉伸距离对所述第一摄像画面进行拉伸。

可选的，所述第二位置信息包括第二俯仰角；

在获取第二时刻车辆的第二摄像画面的步骤之后，还包括：

获取上一时刻车辆的俯仰角；

若所述第二俯仰角与所述上一时刻车辆的俯仰角不同，根据所述第二俯仰角和所述上一时刻车辆的俯仰角，基于三角函数计算第二摄像画面的第二拉伸距离；

根据所述第二拉伸距离对所述第二摄像画面进行拉伸。

可选的，在将所述第二摄像画面拼接到所述图像拼接面上的步骤之后，还包括：

利用滤波融合算法，对所述拼接图像进行融合，得到拼接图像。

可选的，所述位置信息包括行进角度、行进速度、加速度和车身姿态角度；所述车辆上设有陀螺仪；

所述获取第一时刻车辆的第一位置信息的步骤包括：

读取陀螺仪和方向盘的检测数据，得到车辆的行进角度、行进速度、加速度和车身姿态角度。

可选的，在生成拼接图像的步骤之后，还包括：

步骤S6：在设定的时间间隔之后，获取车辆移动后的第三时刻的第三位置信息和第三摄像画面

步骤S7：据所述第一位置信息和所述第三位置信息，获取所述第三摄像画面与所述第一摄像画面之间的偏移角度和偏移距离；

步骤S8：据所述偏移角度和偏移距离，将所述第三摄像画面拼接到所述图像拼接面上，重新生成拼接图像。

可选的，还包括以下步骤：

重复步骤S6-S8，对所述拼接图像进行实时更新。

可选的，所述车辆上设有显示装置；

所述车辆图像拼接方法还包括以下步骤：

基于所述拼接图像的中心点，按照预设的取景区域，从所述拼接图像中截取显示图像并输出至所述显示装置进行显示。

第二方面，本申请实施例提供了一种车辆图像拼接装置，所述车辆上安装有摄像装置，包括：

第一画面获取模块，用于获取第一时刻车辆的第一位置信息和第一摄像画面；

位置确定模块，用于基于所述第一位置信息，确定所述第一摄像画面在图像拼接面上的位置；

第二画面获取模块，用于获取车辆移动后的第二时刻的第二位置信息和第二摄像画面；

移动信息获取模块，用于根据所述第一位置信息和所述第二位置信息，获取所述第二摄像画面与所述第一摄像画面之间的偏移角度和偏移距离；

拼接模块，用于根据所述偏移角度和偏移距离，将所述第二摄像画面拼接到所述图像拼接面上，生成拼接图像。

第三方面，本申请实施例提供了一种车辆，包括摄像装置、存储器、处理器以及存储在所述存储器中并可被所述处理器执行的计算机程序，所述摄像装置安装在所述车辆尾部，所述处理器执行所述计算机程序时实现如上述任意一项所述的车辆图像拼接方法的步骤。

在本申请实施例中，通过获取第一摄像画面对应的第一位置信息和车辆移动后的第二时刻的第二位置信息和第二摄像画面，根据第一位置信息第一摄像画面在图像拼接面上的位置，再根据第一位置信息和第二位置信息，确定第二摄像画面与第一摄像画面之间的偏移角度和偏移距离，从而确定第二摄像画面在图像拼接面上的位置，最后将第二摄像画面拼接到图像拼接面上生成拼接图像，提高车辆图像拼接效率，简单快速地得到车辆的全景图像。

为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为本发明一个示例性的实施例中一种车辆图像拼接方法的流程图；

图2为本发明一个示例性的实施例中对车辆下坡时采集到的摄像画面进行拉伸的过程示意图；

图3为本发明一个示例性的实施例中一种车辆图像拼接装置的结构示意图；

图4为本发明一个示例性的实施例中一种车辆的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。

应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。

在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

此外，在本申请的描述中，除非另有说明，“若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

传统的图像拼接方式通常采用单应性矩阵来表示输入图像之间的透视变换关系。以两幅图像拼接为例，首先，确定两幅图像的匹配特征点，所谓匹配特征点即两特征点在空间上表示同一点；然后，根据获取的匹配特征点，求解单应性矩阵；最后，根据该单应性矩阵将其中一幅图像上的所有像素点进行变换，确定在另一幅图像所在平面的对应位置，即得到两幅图的拼接结果，拼接过程复杂且效率较低。

针对上述问题，本申请实施例提供了一种车辆图像拼接方法，所述车辆图像拼接方法可应用于汽车全景视觉泊车辅助系统中，汽车全景视觉泊车辅助系统安装在车辆上，车辆上安装有显示屏、陀螺仪和摄像装置，陀螺仪可用于获取车辆前后、左右和上下三个维度方向的角速度。通过利用车辆上安装的摄像装置和本申请实施例所述车辆图像拼接方法生成全景图像，并在显示屏上进行显示，使驾驶员无需通过后视镜，通过中控台的显示屏即能清楚查看车辆周边是否存在障碍物并了解障碍物的相对方位与距离，帮助驾驶员轻松停泊车辆。

在一个实施例中，所述摄像装置为安装于车辆尾部的后摄像头。

如图1所示，所述车辆图像拼接方法包括以下步骤：

第一时刻可以是车辆启动的时刻，当检测到车辆的启动信号时，获取车辆的第一位置信息和第一摄像画面。其中，第一位置信息可以是车辆启动时的车辆位置，或者行进角度、行进速度、加速度和车身姿态角度等用于确定车辆行驶状态的信息。

图像拼接面可以是摄像画面拼接后形成的表面，图像拼接面可以是平面、曲面或球面。在本申请实施例中，所述图像拼接面为平面。

对于移动后的车辆，重新获取移动后的位置信息和摄像画面。

所述第一位置信息包括第一摄像画面的拍摄位置，所述第二位置信息包括第二摄像画面的拍摄位置，通过位置信息确地两个拍摄位置的位置分布情况，从而确定第一摄像画面和第二摄像画面之间的偏移角度和偏移距离。

步骤S5：根据所述偏移角度和偏移距离，将所述第二摄像画面拼接到所述图像拼接面上，生成拼接图像；

第一摄像画面在图像拼接面上的位置已经确定，根据第二摄像画面和第一摄像画面之间的偏移角度和偏移距离，进一步确定第二摄像画面的在图像拼接面上的位置，并将第二摄像画面拼接到图像拼接面上，得到拼接图像。

优选地，在将所述第二摄像画面拼接到所述图像拼接面上的步骤之后，还包括：

滤波融合算法可以是双线性差值法、中值滤波法、collage算法等常见地用于融合各拼接图像中的重叠部分的图像处理方法。

在一个实施例中，在生成拼接图像的步骤之后，还包括：

重复步骤S6-S8，对所述拼接图像进行实时更新。

设定的时间间隔可根据用户的实际需求进行设定，例如，可以设定为30秒。

在一个实施例中，所述车辆上设有显示装置；所述车辆图像拼接方法还包括以下步骤：

所述拼接图像的中心点可以是车辆的中心点。

预设的取景区域可以根据用户的实际需求或显示装置的显示界面的大小进行确定。

优选的，可以将预设的取景区域的长宽比设置为与显示装置的显示界面的长宽比相同，此时，截取后的显示图像经过一定比例的缩放或直接显示在显示装置上。

本申请实施例中通过按照设定的时间间隔，实时采集摄像画面和对应的位置信息，从而实时更新拼接图像，从更新后的拼接图像中截取显示图像并输出至所述显示装置进行显示，实现车辆全景图像的动态更新和显示，便于实时观察车辆周边情况，帮助驾驶员轻松停泊车辆。

在一个优选的实施例中，所述位置信息包括车辆的行进角度、行进速度、加速度和车身姿态角度；

具体地，所述获取第一时刻车辆的第一位置信息的步骤包括：

车身姿态角度为车架上表面与地面形成的高度。具体地，车身姿态角度包括俯仰角、航向角和横滚角。

车辆行驶过程中，当处于上坡或下坡状态时，摄像头采集到的画面随着车身姿态的变化发生变形，上坡时摄像头采集到的摄像画面被拉长，当下坡像头采集到的摄像画面被缩短，若直接运用该摄像画面进行图像拼接则会影响成像质量。因此，本申请实施例在获取车辆的摄像画面的步骤之后，还包括：

获取上一时刻车辆的俯仰角；

若当前车辆的俯仰角与上一时刻车辆的俯仰角不同，根据当前车辆的俯仰角和上一时刻车辆的俯仰角，基于三角函数计算摄像画面的拉伸距离；

根据所述拉伸距离对所述摄像画面进行拉伸。

上一时刻可以是指车辆处于正常行驶过程中的时刻，若当前车辆的俯仰角与上一时刻车辆的俯仰角不同，则判断车辆处于上坡或下坡状态，为了保证摄像画面的精确度，需要对摄像画面进行拉伸。

对所述摄像画面进行拉伸可以是指对摄像画面的高度进行拉伸，拉伸距离可以是图像高度拉长或缩小的倍数或长度。

如图2所示，其为一个示例性的实施例中对车辆下坡时采集到的摄像画面进行拉伸的过程示意图。其中，L1为车辆正常行驶过程中采集到的摄像画面的高度，L2为车辆下坡采集到的摄像画面的高度，拉伸距离为L1和L2的比值，可以根据下坡时车辆的俯仰角与正常行驶时车辆的俯仰角，利用三角函数计算得到，并根据该比值对摄像画面进行拉伸，得到L1高度的摄像画面。

需要说明的是，上述对摄像画面进行拉伸的步骤可以应用在车辆任意时刻采集的摄像画面上，包括但不限于第一摄像画面、第二摄像画面或第三摄像画面，以避免车辆在上下坡过程由于车身倾斜导致的摄像画面比例变形，影响图像的拼接质量。

如图3所示，本申请实施例还提供了一种车辆图像拼接装置，包括：

第一画面获取模块1，用于获取第一时刻车辆的第一位置信息和第一摄像画面；

位置确定模块2，用于基于所述第一位置信息，确定所述第一摄像画面在图像拼接面上的位置；

第二画面获取模块3，用于获取车辆移动后的第二时刻的第二位置信息和第二摄像画面；

移动信息获取模块4，用于根据所述第一位置信息和所述第二位置信息，获取所述第二摄像画面与所述第一摄像画面之间的偏移角度和偏移距离；

拼接模块5，用于根据所述偏移角度和偏移距离，将所述第二摄像画面拼接到所述图像拼接面上，生成拼接图像。

需要说明的是，上述实施例提供的车辆图像拼接装置在执行车辆图像拼接方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分为不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的车辆图像拼接装置与车辆图像拼接方法属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

如图4所示，本申请实施例还提供了一种车辆，包括显示装置100、陀螺仪200、摄像装置300、存储器400、处理器500以及存储在所述存储器中并可被所述处理器执行的计算机程序，所述摄像装置安装在所述车辆尾部，所述处理器执行所述计算机程序时实现如上述任意一项所述的车辆图像拼接方法的步骤。

在一个实施例中，所述摄像装置300为安装于车辆尾部的后摄像头，所述显示装置100为显示屏。

本申请实施例所述车辆拼接方法、装置和车辆，仅需使用安装于车辆尾部的一个后摄像头采集摄像画面，相比较传统的车辆全景图获取方式中需借助多个摄像头采集摄像画面，本申请实施例有效地降低了成本，并且，本申请实施例所述车辆拼接方法可以实现车辆全景图像的实时显示，更加便于驾驶员实时观察车辆周边情况和停泊车辆。

本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。

Claims

1.一种车辆图像拼接方法，其特征在于，所述车辆上安装有摄像装置，包括以下步骤：

所述第一位置信息包括第一俯仰角；

在获取第一时刻车辆的第一摄像画面的步骤之后，还包括：

获取上一时刻车辆的俯仰角；

若所述第一俯仰角与所述上一时刻车辆的俯仰角不同，判断车辆处于上坡或下坡状态，根据所述第一俯仰角和所述上一时刻车辆的俯仰角，基于三角函数计算第一摄像画面的第一拉伸距离；其中，第一拉伸距离为L1和L2的比值，L1为车辆正常行驶过程中采集到的摄像画面的高度，L2为车辆上坡或下坡状态采集到的摄像画面的高度；

根据所述第一拉伸距离对所述第一摄像画面进行拉伸；

所述第二位置信息包括第二俯仰角；

在获取第二时刻车辆的第二摄像画面的步骤之后，还包括：

获取上一时刻车辆的俯仰角；

若所述第二俯仰角与所述上一时刻车辆的俯仰角不同，判断车辆处于上坡或下坡状态，根据所述第二俯仰角和所述上一时刻车辆的俯仰角，基于三角函数计算第二摄像画面的第二拉伸距离；其中，第二拉伸距离为L1和L2的比值，L1为车辆正常行驶过程中采集到的摄像画面的高度，L2为车辆上坡或下坡状态采集到的摄像画面的高度；

根据所述第二拉伸距离对所述第二摄像画面进行拉伸。

2.根据权利要求1所述的车辆图像拼接方法，其特征在于，在将所述第二摄像画面拼接到所述图像拼接面上的步骤之后，还包括：

3.根据权利要求1所述的车辆图像拼接方法，其特征在于，所述位置信息包括行进角度、行进速度、加速度和车身姿态角度；所述车辆上设有陀螺仪；

所述获取第一时刻车辆的第一位置信息的步骤包括：

4.根据权利要求1所述的车辆图像拼接方法，其特征在于，在生成拼接图像的步骤之后，还包括：

5.根据权利要求4所述的车辆图像拼接方法，其特征在于，还包括以下步骤：

重复步骤S6-S8，对所述拼接图像进行实时更新。

6.根据权利要求5所述的车辆图像拼接方法，其特征在于，所述车辆上设有显示装置；

所述车辆图像拼接方法还包括以下步骤：

7.一种车辆图像拼接装置，其特征在于，所述车辆上安装有摄像装置，包括：

第一画面获取模块，用于获取第一时刻车辆的第一位置信息和第一摄像画面；所述第一位置信息包括第一俯仰角；获取上一时刻车辆的俯仰角；若所述第一俯仰角与所述上一时刻车辆的俯仰角不同，判断车辆处于上坡或下坡状态，根据所述第一俯仰角和所述上一时刻车辆的俯仰角，基于三角函数计算第一摄像画面的第一拉伸距离；根据所述第一拉伸距离对所述第一摄像画面进行拉伸；其中，第一拉伸距离为L1和L2的比值，L1为车辆正常行驶过程中采集到的摄像画面的高度，L2为车辆上坡或下坡状态采集到的摄像画面的高度；

第二画面获取模块，用于获取车辆移动后的第二时刻的第二位置信息和第二摄像画面；所述第二位置信息包括第二俯仰角；获取上一时刻车辆的俯仰角；若所述第二俯仰角与所述上一时刻车辆的俯仰角不同，判断车辆处于上坡或下坡状态，根据所述第二俯仰角和所述上一时刻车辆的俯仰角，基于三角函数计算第二摄像画面的第二拉伸距离；根据所述第二拉伸距离对所述第二摄像画面进行拉伸；其中，第二拉伸距离为L1和L2的比值，L1为车辆正常行驶过程中采集到的摄像画面的高度，L2为车辆上坡或下坡状态采集到的摄像画面的高度；

8.一种车辆，其特征在于，包括摄像装置、存储器、处理器以及存储在所述存储器中并可被所述处理器执行的计算机程序，所述摄像装置安装在所述车辆尾部，所述处理器执行所述计算机程序时实现如权利要求1-6中任意一项所述的车辆图像拼接方法的步骤。