CN114312577B

CN114312577B - 一种车辆底盘透视方法、装置及电子设备

Info

Publication number: CN114312577B
Application number: CN202210145531.4A
Authority: CN
Inventors: 刘震
Original assignee: Mgjia Beijing Technology Co ltd
Current assignee: Mgjia Beijing Technology Co ltd
Priority date: 2022-02-17
Filing date: 2022-02-17
Publication date: 2022-11-29
Anticipated expiration: 2042-02-17
Also published as: CN114312577A

Abstract

本发明公开了一种车辆底盘透视方法，该方法包括：获取车辆在当前时刻的当前全景图像、当前运动状态及当前位置，全景图像包括：车辆的环视图像及车辆底盘覆盖的第一图像；基于当前运动状态及当前位置确定车辆在下一时刻的下一位置；基于当前位置与下一位置的关系，从全景图像中提取在下一时刻车辆底盘覆盖的第二图像。本发明通过根据车辆的运动状态，计算车辆在下一时刻的位置，然后利用相邻时刻车辆的位置关系，在当前全景图像中提取车辆在下一时刻车辆底盘下方的图像信息，实现了车辆底盘的透视功能，有效避免了因视觉盲区对驾驶人员带来的不利影响，为行车带来便利。

Description

一种车辆底盘透视方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，具体涉及一种车辆底盘透视方法、装置及电子设备。

背景技术

全景式监控影像系统(Around View Monitor，简称AVM)，又称360环视，是通过多个(一般四个)超大广角鱼眼镜头拍摄图像，经过特殊算法对所拍摄图像进行畸变矫正以及拼接，形成物体周围的全景影像的系统。目前，AVM系统是汽车上的标配，并在功能上不断升级，已由原来的固定俯视图发展到3D视图。但AVM显示过程中位于车辆底盘下方的区域是摄像头无法观察到的区域，形成视觉盲区。驾驶人员无法获取车辆底盘下方的图像信息，在路况较差的情况下，容易影响驾驶人员的行驶进程。

发明内容

有鉴于此，本发明实施例提供了一种车辆底盘透视方法、装置及电子设备，以解决车辆底盘下方存在视觉盲区的问题。

为达到上述目的，本发明提供如下技术方案：

本发明实施例提供了一种车辆底盘透视方法，包括：

获取车辆在当前时刻的当前全景图像、当前运动状态及当前位置，所述全景图像包括：车辆的环视图像及车辆底盘覆盖的第一图像；

基于所述当前运动状态及当前位置确定所述车辆在下一时刻的下一位置；

基于所述当前位置与所述下一位置的关系，从所述全景图像中提取在下一时刻车辆底盘覆盖的第二图像。

可选的，所述基于所述当前运动状态及当前位置确定所述车辆在下一时刻的下一位置，包括：

从所述当前运动状态中提取车辆当前时刻的速度和转向角；

根据所述速度和所述转向角计算车辆在下一时刻的下一位置。

可选的，所述基于所述当前位置与所述下一位置的关系，从所述全景图像中提取在下一时刻车辆底盘覆盖的第二图像，包括：

基于所述当前位置建立空间坐标系，并将所述全景图像与所述空间坐标系进行映射；

基于所述当前位置与所述下一位置的关系和所述全景图像与所述空间坐标系之间的第一映射关系，确定所述下一时刻车辆底盘覆盖的空间区域坐标；

根据所述空间区域坐标从所述全景图像中提取在下一时刻车辆底盘覆盖的第二图像。

可选的，所述基于所述当前位置与所述下一位置的关系和所述全景图像与所述空间坐标系之间的第一映射关系，确定所述下一时刻车辆底盘覆盖的空间区域坐标，包括：

基于所述当前位置与所述下一位置的关系，得到所述下一位置在所述空间坐标系中的第一坐标；

根据所述第一坐标确定所述下一时刻车辆底盘覆盖的空间区域坐标。

可选的，所述根据所述空间区域坐标从所述全景图像中提取在下一时刻车辆底盘覆盖的第二图像，包括：

根据所述全景图像与所述空间坐标系之间的映射关系确定所述空间区域坐标对应的图像区域；

根据所述图像区域从所述全景图像中进行图像提取，得到下一时刻车辆底盘覆盖的第二图像。

可选的，所述第二图像和所述车辆在下一时刻的下一环视图像，确定所述车辆在下一时刻的下一全景图像。

可选的，所述基于所述第二图像和所述车辆在下一时刻的下一环视图像，确定所述车辆在下一时刻的下一全景图像，包括：

建立所述下一环视图像与所述空间坐标系的第二映射关系；

基于所述第二映射关系将所述第二图像与所述下一环视图像进行拼接，得到所述车辆在下一时刻的下一全景图像。

本发明实施例还提供了一种车辆底盘透视装置，包括：

获取模块，用于获取车辆在当前时刻的当前全景图像、当前运动状态及当前位置，所述全景图像包括：车辆的环视图像及车辆底盘覆盖的第一图像；

确定模块，用于基于所述当前运动状态及当前位置确定所述车辆在下一时刻的下一位置；

提取模块，用于基于所述当前位置与所述下一位置的关系，从所述全景图像中提取在下一时刻车辆底盘覆盖的第二图像。

本发明实施例还提供了一种电子设备，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例提供的车辆底盘透视方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行本发明实施例提供的车辆底盘透视方法。

本发明技术方案，具有如下优点：

本发明提供了一种车辆底盘透视方法，通过获取车辆在当前时刻的当前全景图像、当前运动状态及当前位置，全景图像包括：车辆的环视图像及车辆底盘覆盖的第一图像；基于当前运动状态及当前位置确定车辆在下一时刻的下一位置；基于当前位置与下一位置的关系，从全景图像中提取在下一时刻车辆底盘覆盖的第二图像。本发明通过根据车辆的运动状态，计算车辆在下一时刻的位置，然后利用相邻时刻车辆的位置关系，在当前全景图像中提取车辆在下一时刻车辆底盘下方的图像信息，实现了车辆底盘的透视功能，有效避免了因视觉盲区对驾驶人员带来的不利影响，为行车带来便利。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的车辆底盘透视方法的流程图；

图2为根据本发明实施例中对车辆位置进行计算的流程图；

图3为根据本发明实施例中从全景图像中提取在下一时刻车辆底盘覆盖的第二图像的流程图；

图4为根据本发明实施例中根据第一坐标确定下一时刻车辆底盘覆盖的空间区域坐标的流程图；

图5为根据本发明实施例中根据空间区域坐标提取第二图像的流程图；

图6为根据本发明实施例中车辆的空间坐标系的示例图；

图7为根据本发明实施例中基于第二图像和车辆在下一时刻的下一环视图像，确定车辆在下一时刻的下一全景图像的流程图；

图8为本发明实施例中的车辆底盘透视装置的结构示意图；

图9为本发明实施例中的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明实施例，提供了一种车辆底盘透视方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种车辆底盘透视方法，可用于车辆的全景式监控影像系统等场合，如图1所示，该车辆底盘透视方法包括如下步骤：

步骤S1：获取车辆在当前时刻的当前全景图像、当前运动状态及当前位置，全景图像包括：车辆的环视图像及车辆底盘覆盖的第一图像。具体的，车辆在移动过程中，会通过摄像头采集车周围的环视图像，第一图像是通过车辆移动在移动过程中从之前时刻的环视图像和之前时刻车辆底盘覆盖的图像中得到的。车辆在刚开始运动时的第一图像是从历史记录中提取的车辆在当前位置停靠时记录的车辆底盘覆盖的图像。

步骤S2：基于当前运动状态及当前位置确定车辆在下一时刻的下一位置。具体的，运动状态包括车辆的速度和转向角，通过速度和转向角可以预判车辆在下一时刻待位置，准确度高，易操作。

步骤S3：基于当前位置与下一位置的关系，从全景图像中提取在下一时刻车辆底盘覆盖的第二图像。具体的，根据当前位置和下一位置的关系，可以得到车辆在下一位置的时候与当前时刻环视图像之间的重叠部分，还可以得到车辆移动后不再覆盖第一图像的部分，将不再覆盖第一图像的部分从第一图像中移除然后和重叠部分拼接，可以得到下一时刻车辆底盘覆盖的第二图像。

具体的，由于车辆的摄像头安装位置及车身的遮挡，无法查看车辆底盘下方的实际路况，在驾驶人员需要了解底盘下方路况时，很不方便，例如在经过路面状况较差的道路，驾驶人员需要根据车底的实时路况来避开一些坑洼或者石块。

通过上述步骤S1至步骤S3，本发明实施例提供的车辆底盘透视方法，通过根据车辆的运动状态，计算车辆在下一时刻的位置，然后利用相邻时刻车辆的位置关系，在当前全景图像中提取车辆在下一时刻车辆底盘下方的图像信息，实现了车辆底盘的透视功能，有效避免了因视觉盲区对驾驶人员带来的不利影响，为行车带来便利。

具体地，在一实施例中，上述的步骤S2，如图2所示，具体包括如下步骤：

步骤S21：从当前运动状态中提取车辆当前时刻的速度和转向角。

步骤S22：根据速度和转向角计算车辆在下一时刻的下一位置。具体的，由t0和t1时刻之间的速度和转向角，可以计算出两个时刻对应的位姿差，进而计算车辆在t1时刻的下一位置，此方式无论车辆是前进还是后退，都可以及时有效的计算出车辆在下一时刻的位置。

具体的，可以通过空间坐标系的方式计算车辆在下一时刻的下一位置；例如：建立空间坐标系O-XYZ，其中原点O位于t₀时刻时所处的当前位置，以车头朝向为Y轴正方向，X轴垂直于Y轴指向车身右方向，Z轴垂直地面指向天空。t₀时刻汽车质心坐标为P0(x₀,y₀,z₀)，汽车车头与Y轴之间的夹角为Φ₁，速度为v₀；t₁时刻汽车车速为v₁，汽车相对于t₀时刻的转向角为α，那么t₁时刻汽车的质心坐标P₁为：

汽车车头与Y轴之间的夹角为：φ₁＝φ₀+α

t₀时刻与t₁时刻之间的旋转

平移

分别为：

全景图像对应的虚拟摄像头与汽车之间的位置关系(平移t_ci和旋转R_ci)为确定已知的，则可以获取虚拟摄像头从t₀时刻到t₁时刻位姿变换关系为：

具体地，在一实施例中，上述的步骤S3，如图3所示，具体包括如下步骤：

步骤S31：基于当前位置建立空间坐标系，并将全景图像与空间坐标系进行映射。具体的，通过将全景图像中的像素点转换到空间坐标系中，通过转换矩阵建立二者映射关系，在后续的图像提取过程中，可以节省时间，提高图像获取效率。

步骤S32：基于当前位置与下一位置的关系和全景图像与空间坐标系之间的第一映射关系，确定下一时刻车辆底盘覆盖的空间区域坐标。具体的，由于在建立空间坐标系的时候，是根据当前位置建立的，根据车辆的移动情况可以确定车辆的下一位置在该空间坐标系中的位置，并且由于车辆的大小是确定的，可以根据车辆在下一时刻的位置得知车辆底盘覆盖的空间区域坐标。

步骤S33：根据空间区域坐标从全景图像中提取在下一时刻车辆底盘覆盖的第二图像。具体的，由于之前建立了全景图像和空间坐标系之间的映射关系，通过空间区域坐标可以迅速得到与空间区域坐标对应的像素点，从而得到下一时刻车辆底盘覆盖的第二图像。此过程迅速得到车辆底盘覆盖的第二图像，使驾驶人员能够及时有效的得到车辆底盘的图像，为驾驶人员带来便捷，提高用户的使用体验。

具体地，在一实施例中，上述的步骤S32，如图4所示，具体包括如下步骤：

步骤S321：基于当前位置与下一位置的关系，得到下一位置在空间坐标系中的第一坐标。具体的，由于建立空间坐标系是基于当前位置建立的，因此根据当前位置与下一位置的关系，可以准确得出下一位置在空间坐标系中的第一坐标。

步骤S322：根据第一坐标确定下一时刻车辆底盘覆盖的空间区域坐标。具体的，由于车辆的规格尺寸是确定的，因此在确定第一坐标后，可以根据第一坐标和车辆的尺寸在空间坐标系中确定车辆底盘覆盖的空间区域坐标。

具体地，在一实施例中，上述的步骤S33，如图5所示，具体包括如下步骤：

步骤S331：根据全景图像与空间坐标系之间的映射关系确定空间区域坐标对应的图像区域。具体的，车辆的全景图像中的环视图像可以看做是由一个虚拟相机从车顶拍摄得到的，虚拟相机同样遵循针孔相机模型，如图6所示，其中O₁-xy为图像平面，O-XcYcZc为相机坐标系，O为相机光心，Zc为相机主轴。P为相机坐标系下的一点，在图像上的成像为点p，假设该相机的内参矩阵为K，那么P和p之间满足：

其中Z为点P在相机坐标系下的Z轴坐标。根可以设定图像上的像素点均处于地面上，这样Z值可以实现标定获取。

例如：环视图像的尺寸为W*H，其中车辆左上角起点为(u₀,v₀)，车辆的长宽为w，h，那么车辆的四个顶点的坐标分别为p₁(u₀,v₀),p₂(u₀+w,v₀),p₃(u₀,v₀+h),p₄(u₀+w,v₀+h)，那么在t₁时刻，这p₁在相机坐标系中的对应空间点P₁的坐标为为：

已知t₀时刻和t₁时刻的位姿关系为

那么可以求t₀时刻下空间点P₁在坐标系下的坐标为：

该点在t₀时刻对应的图像点的图像坐标为：

建立t₀时刻和t₁时刻像素点之间的对应：

通过上述对应关系，可以根据空间区域坐标确定图像区域。

步骤S332：根据图像区域从全景图像中进行图像提取，得到下一时刻车辆底盘覆盖的第二图像。

具体的，根据图像区域从全景图像中进行图像提取，得到下一时刻车辆底盘覆盖的第二图像。此过程准确度高，通过映射提取速度快，提高了图像提取的效率。

具体地，在一实施例中，上述的步骤S3，还包括：

步骤S34：基于第二图像和车辆在下一时刻的下一环视图像，确定车辆在下一时刻的下一全景图像。具体的，第二图像是车辆底盘的图像，在得到下一全景图像时，需要将第二图像和下一环视图像进行拼接。

具体地，在一实施例中，上述的步骤S34，如图7所示，具体包括如下步骤：

步骤S341：建立下一环视图像与空间坐标系的第二映射关系。具体的，将下一环视图像中的像素点转换到空间坐标系中，通过转换矩阵建立二者映射关系。

步骤S342：基于第二映射关系将第二图像与下一环视图像进行拼接，得到车辆在下一时刻的下一全景图像。

具体的，通过建立第二映射关系，同步下一环视图像各像素点在空间坐标系中的坐标，从而通过将第二图像与下一环视图像在空间坐标系中根据相同的坐标点进行拼接，得到车辆在下一时刻的下一全景图像，通过根据空间坐标系建立映射进行拼接，过程简单速度快，且拼接较为准确，得到的拼接效果更加精确，有效避免了直接截图拼接的可能导致的误差，能够更好的反应车辆底盘下方的信息。

在本实施例中还提供了一种车辆底盘透视装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种车辆底盘透视装置，如图8所示，包括：

获取模块101，用于获取车辆在当前时刻的当前全景图像、当前运动状态及当前位置，全景图像包括：车辆的环视图像及车辆底盘覆盖的第一图像，详细内容参见上述方法实施例中步骤S1的相关描述，在此不再进行赘述。

确定模块102，用于基于当前运动状态及当前位置确定车辆在下一时刻的下一位置，详细内容参见上述方法实施例中步骤S2的相关描述，在此不再进行赘述。

提取模块103，用于基于当前位置与下一位置的关系，从全景图像中提取在下一时刻车辆底盘覆盖的第二图像，详细内容参见上述方法实施例中步骤S3的相关描述，在此不再进行赘述。

本实施例中的车辆底盘透视装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

根据本发明实施例还提供了一种电子设备，如图9所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图9中以通过总线连接为例。

处理器901可以为中央处理器(Central Processing Unit，CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。

上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims

1.一种车辆底盘透视方法，其特征在于，包括：

获取车辆在当前时刻的当前全景图像、当前运动状态及当前位置，所述全景图像包括：车辆的环视图像及车辆底盘覆盖的第一图像；所述第一图像是通过车辆移动在移动过程中从之前时刻的环视图像和之前时刻车辆底盘覆盖的图像中得到的；车辆在刚开始运动时的第一图像是从历史记录中提取的车辆在当前位置停靠时记录的车辆底盘覆盖的图像；

基于所述当前位置与所述下一位置的关系，从所述全景图像中提取在下一时刻车辆底盘覆盖的第二图像；根据当前位置和下一位置的关系，可以得到车辆在下一位置的时候与当前时刻环视图像之间的重叠部分和车辆移动后不再覆盖第一图像的部分，将不再覆盖第一图像的部分从第一图像中移除然后和重叠部分拼接，得到下一时刻车辆底盘覆盖的第二图像。

2.根据权利要求1所述的车辆底盘透视方法，其特征在于，所述基于所述当前运动状态及当前位置确定所述车辆在下一时刻的下一位置，包括：

从所述当前运动状态中提取车辆当前时刻的速度和转向角；

3.根据权利要求1所述的车辆底盘透视方法，其特征在于，所述基于所述当前位置与所述下一位置的关系，从所述全景图像中提取在下一时刻车辆底盘覆盖的第二图像，包括：

4.根据权利要求3所述的车辆底盘透视方法，其特征在于，所述基于所述当前位置与所述下一位置的关系和所述全景图像与所述空间坐标系之间的第一映射关系，确定所述下一时刻车辆底盘覆盖的空间区域坐标，包括：

5.根据权利要求3所述的车辆底盘透视方法，其特征在于，所述根据所述空间区域坐标从所述全景图像中提取在下一时刻车辆底盘覆盖的第二图像，包括：

6.根据权利要求3所述的车辆底盘透视方法，其特征在于，还包括：基于所述第二图像和所述车辆在下一时刻的下一环视图像，确定所述车辆在下一时刻的下一全景图像。

7.根据权利要求6所述的车辆底盘透视方法，其特征在于，所述基于所述第二图像和所述车辆在下一时刻的下一环视图像，确定所述车辆在下一时刻的下一全景图像，包括：

建立所述下一环视图像与所述空间坐标系的第二映射关系；

8.一种车辆底盘透视装置，其特征在于，包括：

获取模块，用于获取车辆在当前时刻的当前全景图像、当前运动状态及当前位置，所述全景图像包括：车辆的环视图像及车辆底盘覆盖的第一图像；所述第一图像是通过车辆移动在移动过程中从之前时刻的环视图像和之前时刻车辆底盘覆盖的图像中得到的；车辆在刚开始运动时的第一图像是从历史记录中提取的车辆在当前位置停靠时记录的车辆底盘覆盖的图像；

提取模块，用于基于所述当前位置与所述下一位置的关系，从所述全景图像中提取在下一时刻车辆底盘覆盖的第二图像；根据当前位置和下一位置的关系，可以得到车辆在下一位置的时候与当前时刻环视图像之间的重叠部分和车辆移动后不再覆盖第一图像的部分，将不再覆盖第一图像的部分从第一图像中移除然后和重叠部分拼接，得到下一时刻车辆底盘覆盖的第二图像。

9.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的车辆底盘透视方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的车辆底盘透视方法。