CN115564937A - 一种车辆侧面图像实时拼接方法、计算设备及存储介质 - Google Patents

Abstract

本发明公开了一种车辆侧面图像实时拼接方法，包括：获取车辆侧面图像序列帧；对车辆侧面图像中是否存在车头进行检测，当识别到车头时将对应的图像作为待拼接的基准图像；对车辆侧面图像进行特征点检测和特征点匹配，计算得到各个相邻帧之间的拼接位移；基于基准图像和拼接位移对车辆侧面图像序列帧进行图像拼接，并实时记录图像拼接位置；获取车辆位置变化信息，当检测到车辆出现倒车行为时中止图像拼接，记录当前倒车位置直到车辆再次行驶到当前倒车位置时继续图像拼接；以及对拼接图像中是否存在车尾进行检测，当识别到车尾时结束图像拼接，得到车辆侧面全景图像。该方法能够提高车辆图像拼接效果，避免因为车辆倒车导致图像拼接失败的情况。

Description

一种车辆侧面图像实时拼接方法、计算设备及存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种车辆侧面图像实时拼接方法、计算设备及存储介质。

背景技术

目前高速公路收费不再按照车身载重标准收费，而是根据车辆轴数、轴型、车型等进行计费，为了高效快速的识别车辆的轴数、轴型等信息，需要提供车辆侧面全景图像。现有技术中车辆全景图像的获取通常采用多个摄像头拍摄车辆不同角度的超广角图像，然后通过全景拼接算法对每个摄像头拍摄的图像进行畸变矫正和拼接，但是由于车辆移动时的特征为动态变量，车辆沿车道行驶可能会出现倒车或非直线行驶的情况，从而造成图像拼接的误差。

专利号为“CN114078091A”的中国发明专利公开了“一种车辆侧面全景图拼接的方法和装置”，包括获取图像采集区的多帧连续图像；根据当前帧和上一帧图像，确定是否对当前帧图像和上一帧图像进行拼接，若是则将当前帧图像从计算得到的拼接位置处开始与上一帧图像进行拼接，该方法能够减少拼接图像的畸变，但是该方法未考虑车辆倒车导致图像拼接失败的情况。专利号为“CN111800618A”的中国发明专利文件公开了“倒车图像处理方法和倒车图像处理系统”，其中倒车图像处理系统包括能够运动的第一摄像头和第三摄像头，倒车图像处理方法包括：获取倒车信号；根据倒车信号控制第一摄像头运动；获取第一摄像头在运动过程中采集的多个倒车图像；合成多个倒车图像以得到合成图像，使得合成图像范围更广，减少甚至消除倒车盲区，有利于提高倒车的安全性。但是该方法将多个相机安装在不同位置，对车辆底盘、车头、车位进行拍摄，但是在底盘安装摄像头会存在环境适应性问题，例如雨雪灰尘等因素会影响图像拼接效果。

因此，针对近距离车辆侧面图像存在位移变化复杂、特征点不明显、帧数多不易拼接以及拼接准确性低等问题，需要一种车辆侧面图像实时拼接方法，能够提高车辆侧面图像拼接的完整性、准确性和效率，以解决以上现有技术中存在的问题。

发明内容

鉴于上述问题，提出了一种车辆侧面图像实时拼接方法，能够对车辆侧面的特征点进行实时快速捕捉，同时结合激光测距仪辅助判断车辆是否存在倒车行为对车辆侧面图像拼接进行相应的决策，解决现有技术中图像拼接准确性低或图像拼接效果差的问题。

根据本发明的一个方面，提供一种车辆侧面图像实时拼接方法，包括：获取车辆侧面图像序列帧；对车辆侧面图像中是否存在车头进行检测，当识别到车头时将对应的图像作为待拼接的基准图像；对车辆侧面图像进行特征点检测和特征点匹配，计算得到各个相邻帧之间的拼接位移；基于基准图像和拼接位移对车辆侧面图像进行图像拼接，并实时记录图像拼接位置；获取车辆位置变化信息，当车辆出现倒车行为时中止图像拼接，记录当前倒车位置直到车辆再次行驶到当前倒车位置时继续图像拼接；以及对拼接图像中是否存在车尾进行检测，当识别到车尾时结束图像拼接，得到车辆侧面全景图像。

通过在图像拼接过程中实时判断车辆是否存在倒车行为辅助图像拼接处理，能够提高图像拼接的准确性，通过对车辆侧面图像进行实时特征点检测、特征点匹配和车头车尾特征识别，能够提高图像拼接的效率。

可选地，在上述方法中，可以基于设置于车辆行驶车道入口处的图像采集设备获取多张连续的车辆侧面图像，得到车辆侧面图像序列帧。其中，图像采集设备采用鱼眼短焦镜头以预设图像采集频率对行驶中的车辆拍摄包含轮毂信息的车辆侧面图像，所述图像采集设备的拍摄视野中心线与车道中心线垂直。

可选地，在上述方法中，当车辆进入图像采集设备拍摄范围内时，利用基于YOLO算法的卷积神经网络对获取的车辆侧面图像中是否存在车头进行实时检测；当检测到车辆侧面图像中存在车头时，将对应的图像作为待拼接的基准图像。

通过对车头进行识别可以确保获取的第一帧车辆侧面图像的有效性，以及后续拼接图像的有效性。

可选地，在上述方法中，可以首先对获取的车辆侧面图像进行裁剪，获取预定区域范围内的图像作为待拼接图像；然后对待拼接图像分别进行SIFT特征点检测，并基于快速近似最近邻算法进行特征点匹配，得到相邻待拼接图像之间的特征点对应关系；基于相邻待拼接图像之间的特征点对应关系，计算得到各个相邻待拼接图像之间的拼接位移。

可选地，在上述方法中，以基准图像为拼接起点，基于当前帧与下一帧待拼接图像之间的拼接位移和当前帧图像宽度进行图像拼接，得到初步拼接图像；对初步拼接图像进行像素值平均，得到拼接图像，并实时记录图像拼接位置。这样可以使车辆侧面图像达到无缝拼接的效果。

可选地，在上述方法中，在车道内无车状态下，利用激光测距仪以预设频率每隔预设角度发射一条射线，记录多条射线到地面的距离；当车道内存在车辆时，获取每条射线的距离变化，计算车头距离激光测距仪的水平距离；当车头距离激光测距仪的水平距离增加时，则判断车辆出现倒车行为，中止图像拼接并记录当前倒车位置；判断车头与激光测距仪的水平距离是否超出图像采集起始位置，如果超出图像采集起始位置则停止当前图像拼接重新进行图像拼接，如果未超出图像采集起始位置则继续判断车辆是否再次到达当前倒车位置，如果再次到达当前倒车位置则继续进行图像拼接。

通过在图像拼接过程中对车辆倒车行为进行实时判断从而辅助图像拼接策略，能够保证图像拼接后车辆侧面图像的完整性和准确性，避免出现重叠或重复拼接的情况。

可选地，在上述方法中，在图像拼接过程中，利用基于YOLO算法的卷积神经网络对拼接后的图像进行识别，当识别到车尾时结束图像拼接，得到拼接后的车辆全景图像。

根据本发明的另一个方面，提供一种计算设备，包括：至少一个处理器；和存储有程序指令的存储器，其中，程序指令被配置为适于由至少一个处理器执行，程序指令包括用于执行上述车辆侧面图像实时拼接方法的指令。

根据本发明的又一个方面，提供一种存储有程序指令的可读存储介质，当程序指令被计算设备读取并执行时，使得计算设备执行上述的车辆侧面图像实时拼接方法。

根据本发明的方案，在对图像采集设备获取的车辆侧面图像进行拼接处理的同时，实时获取车辆位置变化判断车辆是否存在倒车行为，并对车头和车尾进行检测，能够提高车辆图像拼接的准确性和完整性，避免由于车辆倒车导致的图像重叠或重复等拼接失败的情况。并且，通过激光测距仪和图像采集设备同时对车辆位置变化信息和车辆侧面图像特征进行实时检测，能够提高图像拼接的效率，能够提供实时有效的车辆侧面全景图像，有助于后续对车辆轴数和轴型的确认。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的激光测距仪和图像采集设备安装位置示意图；

图2示出了根据本发明一个实施例的计算设备100的结构示意图；

图3示出了根据本发明一个实施例的车辆侧面图像实时拼接方法300的流程示意图；

图4示出了根据本发明一个实施例的车辆侧面图像拼接效果示意图；

图5示出了根据本发明一个实施例的车辆图像拼接方法的处理逻辑示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图像拼接通常通过多个摄像头进行校准，并将多个摄像头拍摄的图像进行拼接得到一个车辆全景图像。由于车辆沿车道行驶时可能会出现倒车或非直线行驶的情况，仅仅对多个不同位置和角度摄像头拍摄的图像进行拼接会造成角度误差和拼接误差，影响图像实时拼接效果。因此，本方案提供一种高精度的图像拼接方法，通过激光测距仪辅助判断车辆倒车行为，并将图像采集设备拍摄的图像进行实时特征提取，最终拼接为完整的车辆侧面图像，能够根据车辆行驶情况对以任意速度和方向形式的车辆进行侧面图像拼接，提高图像拼接的准确性和完整性。

为了实施本方案所提供的的车辆图像拼接方法，需要对激光测距仪和一体化图像采集设备进行安装。图1示出了根据本发明一个实施例的激光测距仪和图像采集设备安装位置示意图。如图1所示，一体化图像采集设备垂直安装于车辆行驶车道的入口处，距离车道近端1m，距离车道地面高度1m，距离车道起始位置1m，图像采集设备下方还设置有补光灯，用于对车辆轮胎及底盘光线不足的地方进行补光，以便获得清晰的车辆侧面图像。可以使用毫米鱼眼短焦摄像头以预设的图像采集频率（每秒50帧-100帧）采集车辆侧面图像，图像采集设备的左右视场角至少为25度，上下视场角至少为50度，使得在成像画面中车道上边缘在成像画面高度10%-20%之间，车道底部边缘在成像画面高度90%-100%之间。激光测距仪安装在与图像采集装置的水平距离为20m处，激光测距仪距离车道地面高度为8m。在无车状态下，可以预先对激光测距仪进行标定，并计算得到从激光测距仪向与图像采集设备平齐的车道中心线发射的第一条射线与地面的夹角θ1，并且以预设频率每隔预设角度发射多条测距射线，得到多条射线到地面的距离。在本发明的一个实施例中，激光测距仪发出的第一条射线与地面的夹角θ1=21.8°，第一条射线与垂直于地面的角度θ2=90°-21.8°=68.2°以每秒50帧（即20毫秒，可以达到实时获取状态），以每秒50帧的频率每隔0.5°发射一条射线，每帧发射136条射线，在无车时记录下这136条射线到地面的距离（Z1、Z2、Z3……Zn）。需要说明的是，图1中所示的激光测距仪以及图像采集设备的安装位置并不是完全固定的，可以以图1中所示的距离为参考在适当的范围内安装。

激光测距仪获取的数据以及图像采集设备获取的图像可以实时传输到计算设备中进行处理。图2示出了根据本发明一个实施例的计算设备100的结构示意图。如图2所示，在基本配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。

取决于期望的配置，处理器104可以是任何类型的处理器，包括但不限于：微处理器（µP）、微控制器（µC）、数字信息处理器（DSP）或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元（ALU）、浮点数单元（FPU）、数字信号处理核心（DSP核心）或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。

取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器（诸如RAM）、非易失性存储器（诸如ROM、闪存等）或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器RAM，磁盘中的数据需要加载至物理内存中才能够被处理器104读取。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作系统上由一个或多个处理器104利用程序数据124执行指令。操作系统120例如可以是Linux、Windows等，其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。应用122包括用于实现各种用户期望的功能的程序指令，应用122例如可以是浏览器、即时通讯软件、软件开发工具（例如集成开发环境IDE、编译器等）等，但不限于此。当应用122被安装到计算设备100中时，可以向操作系统120添加驱动模块。

在计算设备100启动运行时，处理器104会从存储器106中读取操作系统120的程序指令并执行。应用122运行在操作系统120之上，利用操作系统120以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用122时，应用122会加载至存储器106中，处理器104从存储器106中读取并执行应用122的程序指令。

计算设备100还包括储存设备132，储存设备132包括可移除储存器136和不可移除储存器138，可移除储存器136和不可移除储存器138均与储存接口总线134连接。

计算设备100还可以包括有助于从各种接口设备（例如，输出设备142、外设接口144和通信设备146）到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备（例如，键盘、鼠标、笔、语音输入设备、触摸输入设备）或者其他外设（例如打印机、扫描仪等）之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频（RF）、微波、红外（IR）或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。在根据本发明的计算设备100中，应用122包括用于执行本发明的车辆侧面图像实时拼接方法300的指令。

图3示出了根据本发明一个实施例的车辆侧面图像实时拼接方法300的流程示意图。如图3所示，该方法适于步骤S310,获取车辆侧面图像序列帧。

可以使用如图1所示的图像采集设备以预设的图像采集频率对在车道上行驶的车辆采集多张连续的侧面图像，使车辆侧面图像中至少包含车轮信息和/或底盘信息，以便于对车头、车尾、车辆轴型等进行进行识别。在本发明的一个实施例中，图像采集设备可以以每秒50-100帧的速度采集车辆侧面图像，并实时传输至计算设备100中。为了提高图像拼接效果，需要调整图像采集设备的拍摄视野中心线与车道中心线垂直，保证车辆在经过图像采集设备时行驶方向是水平的，尽可能减少图像的畸变。

随后执行步骤S320，对车辆侧面图像中是否存在车头进行检测，当识别到车头时将对应的图像作为待拼接的基准图像。

具体地，当车辆进入图像采集设备的拍摄范围内时，将实时采集的车辆侧面图像输入训练好的YOLO神经网络模型中进行车头识别检测，当检测到图像中存在车头时，将对应的图像作为待拼接的基准图像。同时，可以通过激光测距仪获取当前车辆的位置，判断车头是否到达与图像采集设备平齐的位置，即车头距离激光测距仪的水平距离是否为S1（如图1所示），提高车头识别的准确性，以确保图像采集设备获取的第一帧车辆侧面图像的有效性。

接着执行步骤S330，对车辆侧面图像进行特征点检测和特征点匹配，计算得到各个相邻帧之间的拼接位移。

由于鱼眼摄像头获取的车辆侧面图像存在一定程度的畸变缺陷，可能会导致图像拼接效果不理想，可以先对图像采集设备获取的原始车辆侧面图像进行校正，再采用SIFT算法对校正后的图像进行特征提取和匹配。具体地，为了减少图像畸变对图像拼接效果的影响，可以对获取的原始车辆侧面图像进行裁剪，保留图像中间预定区域（宽高比为1:2或者1:3的区域）作为待拼接图像。随后对每个待拼接图像分别进行特征点检测和特征点匹配，在本发明的一个实施例中，可以基于SIFT（尺度不变特征变换）算法进行特征点提取、特征点主方向确定、特征点描述和特征点匹配，在进行特征点匹配时可以采用快速近似最近邻算法得到相邻的待拼接图像之间特征点对应关系，以便根据相邻待拼接图像之间的特征点对应关系计算匹配点的平均位移{dmx，dmy}作为相邻待拼接图像之间的拼接位移。

随后执行步骤S340，基于拼接位移对车辆侧面图像序列帧进行图像拼接，并实时记录图像拼接位置。

可以基于相邻待拼接图像之间的拼接位移和当前待拼接图像宽度进行图像拼接，例如，设当前待拼接图片的宽度为w，取待拼接图中的拼接起始点为ssx=w-dmx，将当前帧叠加到待拼接图中{ssx，dmy}处实现图像初步拼接；为了达到无缝拼接效果，可以与将完成初步拼接的图像的像素值进行平均以实现叠加融合效果，即可完成图像拼接，并实时记录当前图像拼接位置。

随后执行步骤S350，获取车辆位置变化信息，当车辆出现倒车行为时中止图像拼接，记录当前倒车位置直到车辆再次行驶到当前倒车位置时继续图像拼接。

激光测距仪是利用调制激光的某个参数实现对目标距离测量的仪器，在本发明的一个实施例中，可以基于如图1所示的激光测距仪对车道内的车辆进行实时测距，在无车状态下，激光测距仪已经以预设频率每隔预设角度发射了多条测距射线，得到了多条射线到地面的距离。例如，以每秒50帧的速度每隔0.5度发射一条射线，每帧发射136条射线，记录了这136条射线到地面的距离。当车道内存在车辆时，获取每条射线的距离变化，计算车头距离激光测距仪的水平距离，可以根据勾股定理计算车头与激光测距仪之间的水平距离,当车辆位置发生变化时，发送车辆位置到计算设备，无变化时不发送车辆位置信息。当车头与激光测距仪之间的水平距离增加时，则判断车辆存在倒车行为，此时中止图像拼接并记录倒车的位置S；判断车头是否达到图像采集起始位置，即S大于S1（图1所示图像采集起始位置），则停止图像拼接。即如果车辆持续倒出至S1或者大于S1的位置，则说明车辆已经倒出该车道，该拼接图像无效，需要将该拼接图像删除并重新开始检测车头与激光测距仪之间的水平距离。如果车辆倒车未到达图像采集起始位置S1而是继续往前行驶，则判断车辆是否再次行驶到倒车位置S，当车辆再次行驶到倒车位置S时则继续进行图像拼接。

最后执行步骤S360，对拼接后的图像中是否存在车尾进行实时检测，当识别到车尾时停止图像拼接，得到车辆侧面全景图像。

同样地，可以将每次拼接后的图像输入训练好的基于YOLO算法的卷积神经网络中进行车尾识别，当识别到车尾时结束图像拼接，得到车辆侧面全景图像，同时可以获取车辆的长度。图4示出了根据本发明一个实施例的车辆侧面图像拼接效果示意图。如图4所示，完成拼接后的车辆侧面全景图像包含整车的轮毂信息，可以便于对车辆侧面全景图像中车辆的轴数和轴型进行识别。

图5示出了根据本发明一个实施例的车辆图像拼接方法的处理逻辑示意图。如图5所示，首先通过激光测距仪获取车辆位置数据以及通过图像采集设备获取车辆侧面图像序列帧，然后对图像采集设备获取的原始车辆侧面图像进行图像剪裁等预处理得到待拼接图像；在图像拼接过程中，首先对车头进行识别，以便将包含车头的待拼接图像为基准图像，然后通过对待拼接图像进行特征点提取和特征点匹配，计算各个相邻帧之间的拼接位移，同时通过对车辆位置变化信息进行分析判断车辆是否存在倒车行为（车头距离激光测距仪的水平距离增加），如果存在倒车行为则中止图像拼接，并判断车辆倒出距离是否超出图像采集的起始位置，如果车辆倒出距离超出图像采集起始距离，说明车辆已经离开车道图像拼接无效，需重新进行图像拼接，如果车辆倒出距离未超出图像采集起始距离，也就是说车辆未驶出车道，则继续判断车辆是否再次到达倒车位置，如果车辆再次到达倒车位置，则继续进行图像拼接，直到在图像拼接过程中识别出车尾则结束图像拼接，得到拼接后的车辆侧面全景图像。

通过本发明技术方案，在对图像采集设备获取的车辆侧面图像进行拼接处理的同时，实时获取车辆位置变化判断车辆是否存在倒车行为，并对车头和车尾进行检测，能够提高车辆图像拼接的准确性和完整性，避免由于车辆倒车导致的图像重叠或重复等拼接失败的情况。并且，通过激光测距仪和图像采集设备同时对车辆位置变化信息和车辆侧面图像特征进行实时检测，能够提高图像拼接的效率，能够提供实时有效的车辆侧面全景图像，有助于后续对车辆轴数和轴型的确认。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种车辆侧面图像实时拼接方法，适于在计算设备中执行，其特征在于，包括：

获取车辆侧面图像序列帧；

对车辆侧面图像中是否存在车头进行检测，当识别到车头时将对应的图像作为待拼接的基准图像；

对车辆侧面图像进行特征点检测和特征点匹配，计算得到各个相邻帧之间的拼接位移；

基于所述基准图像和拼接位移对车辆侧面图像进行图像拼接，并实时记录图像拼接位置；

获取车辆位置变化信息，当车辆出现倒车行为时中止图像拼接，记录当前倒车位置，直到车辆再次行驶到当前倒车位置时继续图像拼接；以及

对拼接图像中是否存在车尾进行检测，当识别到车尾时结束图像拼接，得到车辆侧面全景图像。

2.根据权利要求1所述的方法，其特征在于，所述获取车辆侧面图像序列帧的步骤包括：

基于设置于车辆行驶车道入口处的图像采集设备获取多张连续的车辆侧面图像，得到车辆侧面图像序列帧。

3.根据权利要求2所述的方法，其特征在于，所述图像采集设备采用鱼眼短焦镜头以预设图像采集频率对行驶中的车辆拍摄包含轮毂信息的车辆侧面图像，所述图像采集设备的拍摄视野中心线与车道中心线垂直。

4.根据权利要求1所述的方法，其特征在于，所述对车辆侧面图像中是否存在车头进行检测，当识别到车头时将对应的图像作为待拼接的基准图像的步骤包括：

当车辆进入图像采集设备拍摄范围内时，利用基于YOLO算法的卷积神经网络对获取的车辆侧面图像中是否存在车头进行实时检测；

当检测到车辆侧面图像中存在车头时，将对应的图像作为待拼接的基准图像。

5.根据权利要求1所述的方法，其特征在于，所述对车辆侧面图像进行特征点检测和特征点匹配，计算得到各个相邻帧之间的拼接位移的步骤包括：

对获取的车辆侧面图像进行裁剪，获取预定区域范围内的图像作为待拼接图像；

对所述待拼接图像分别进行SIFT特征点检测，并基于快速近似最近邻算法进行特征点匹配，得到相邻待拼接图像之间的特征点对应关系；

基于相邻待拼接图像之间的特征点对应关系，计算得到各个相邻待拼接图像之间的拼接位移。

6.根据权利要求1所述的方法，其特征在于，所述基于所述基准图像和拼接位移对车辆侧面图像进行图像拼接，并实时记录图像拼接位置的步骤包括：

以所述基准图像为拼接起点，基于当前帧与下一帧待拼接图像之间的拼接位移和当前帧图像宽度进行图像拼接，得到初步拼接图像；

对初步拼接图像进行像素值平均，得到拼接图像，并实时记录图像拼接位置。

7.根据权利要求1所述的方法，其特征在于，所述获取车辆位置变化信息，当车辆出现倒车行为时中止图像拼接，记录当前倒车位置，直到车辆再次行驶到当前倒车位置时继续图像拼接的步骤包括：

在车道内无车状态下，利用激光测距仪以预设频率每隔预设角度发射一条射线，记录多条射线到地面的距离；

当车道内存在车辆时，获取每条射线的距离变化，计算车头距离激光测距仪的水平距离；

当车头距离激光测距仪的水平距离增加时，则判断车辆出现倒车行为，中止图像拼接并记录当前倒车位置；

判断车头与激光测距仪的水平距离是否超出图像采集起始位置，如果超出图像采集起始位置则停止当前图像拼接重新进行图像拼接，如果未超出图像采集起始位置则继续判断车辆是否再次到达当前倒车位置，如果再次到达当前倒车位置则继续进行图像拼接。

8.根据权利要求1所述的方法，其特征在于，所述对拼接图像中是否存在车尾进行检测，当识别到车尾时结束图像拼接，得到车辆全景图像的步骤包括：

在图像拼接过程中，利用基于YOLO算法的卷积神经网络对拼接后的图像进行识别，当识别到车尾时结束图像拼接，得到拼接后的车辆全景图像。

9.一种计算设备，包括：

至少一个处理器；和

存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-8中任一项所述方法的指令。

10.一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如权利要求1-8中任一项所述的方法。

Images