CN114240759A - 一种车底成像处理方法及装置 - Google Patents

Abstract

本申请公开了一种车底成像处理方法及装置。该方法包括：使用鱼眼镜头采集货车底盘视频图像；提取鱼眼镜头采集的视频图像的关键帧；利用关键帧进行图像拼接。本申请提出了利用鱼眼相机获取货车底盘图像视频的方法，并利用等距投影模型对采集的底盘鱼眼图像进行畸变校正。本申请利用图像间的重叠度关系避免了采集图像分布不均匀对拼接结果带来的影响，实现了速度自适应的车辆底盘拼接。

Description

一种车底成像处理方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种车底成像处理方法及装置。

背景技术

货车超载治理是目前公路交通领域的突出难题之一，超载货运车辆不仅会对加速路面损坏，也增加了车辆失控事故的风险。据统计，70%的道路交通安全事故与车辆超限超载有关。我国国家标准（GB 1589-2016）对不同轴型的货车提出了明确的载重限值要求，是开展超载治理的重要依据。车辆轴型快速识别技术对于准确判定货车载重限值及治理超载具有重要意义。常见的轮轴识别仪主要分为传统的压电传感式和激光雷达式两大类。其中，传统的轮轴识别仪只能识别货车的轴数，而不能分辨驱动轴和从动轴，无法满足依法治超的精细化要求。同时，还存在施工难度大、使用寿命短等缺点，已经逐渐被行业淘汰。激光雷达式轴型识别仪利用先进的激光雷达技术对车辆进行两个方向的扫描，从而得到车辆的轴型信息，具有较好的稳定性和可靠性。但设备成本较高，且无法有效保存具有溯源性和佐证作用的完整底盘图像数据。某些轴型识别方案采用了车辆侧面图像识别的方法，虽具有实用性，但实际应用中，货车的轴型（驱动轴或从动轴）难以直接从车辆的侧面进行准确判断。另外，从公正执法角度讲，清晰完整的底盘影像资料是行业管理的必备数据资源。

然而，对于车辆轴型识别的动态、非匀速行车条件和车底复杂成像环境，要获取高质量、低畸变的完整车辆底盘图像，面临以下主要困难：一是超近距、大幅面成像需求带来的超广角成像畸变问题；二是非可控、非匀速行车条件引入的图像序列不均匀性问题。

针对上述问题，车辆底盘成像系统不断发展。根据成像方式的不同，可以将现今主流的车辆底盘成像系统分为基于CCD线阵相机的底盘成像系统和基于面阵相机的底盘成像系统。线阵相机具有扫描频率高、成像视野广的特点。面阵相机不同于线阵相机，其实现的是像素矩阵的拍摄。受限于面阵相机镜头的视场角，基于面阵相机完成的底盘成像系统往往通过多个面阵相机来组成相机阵列来实现的。然而，作为货车轴型识别的成像设备，基于线阵相机和面阵相机的车底成像技术仍存在一些问题。由于货车的速度不可控，线阵相机的最终成像结果会出现拉伸或者压扁的现象。而面阵相机虽然相对于线阵相机价格便宜，但受限于镜头的视场角较小，不可避免的需要组成相机阵列，从而使得整个系统的设计变得复杂，同时也增加了成本。

发明内容

有鉴于此，本申请提出了一种车底成像处理方法及装置，实现速度自适应的车辆底盘拼接。

本申请提出了一种车底成像处理方法，该方法包括：

使用鱼眼镜头采集货车底盘视频图像；

提取鱼眼镜头采集的视频图像的关键帧；

利用关键帧进行图像拼接。

优选地，提取鱼眼镜头采集的视频图像的关键帧包括：

利用线扫描法扫描视频图像，获取扫描线与鱼眼图像有效区域的交点，其中交点数量的总和大于或等于预设值；

利用所述交点确定鱼眼图像有效区域的圆心坐标和半径。

优选地，提取鱼眼镜头采集的视频图像的关键帧包括：

将视频图像的首帧图像作为关键帧，并对首帧图像进行校正；

根据预先设置的视频图像采样间隔数量确定候选关键帧，并对该候选关键帧进行校正；

计算关键帧与候选关键帧之间的重叠度，该重叠度符合预设的条件的情况下，则将该候选关键帧判定为关键帧，否则放弃该候选关键帧，并将该候选关键帧的前一帧或者后一帧作为候选关键帧，直至遍历视频图像。

优选地，鱼眼镜头利用等距模型成像。

优选地，提取鱼眼镜头采集的视频图像的关键帧还包括：

将关键帧的坐标点映射到单位球面上极坐标点；

将单位球面上极坐标点对应的极径延长与一平面相交，得到关键帧对应的目标图像。

优选地，预先设置的视频图像采样间隔数量为2帧。

优选地，计算关键帧与候选关键帧之间的重叠度包括：

确定候选关键帧对应的目标图像与关键帧对应的目标图像之间的单应性矩阵；

利用单应性矩阵计算候选关键帧对应的目标图像顶点在关键帧对应的目标图像坐标系下的坐标；

计算关键帧对应的目标图像构成的多边形和候选关键帧对应的目标图像构成的多边形的交集；

计算所述交集的面积与关键帧对应的目标图像面积的比值，得到关键帧与候选关键帧之间的重叠度。

优选地，利用关键帧进行图像拼接包括：

对所述交集中像素点的像素值进行加权处理，得到所述交集中像素点的像素值。

优选地，确定候选关键帧对应的目标图像与关键帧对应的目标图像之间的单应性矩阵包括：

获取关键帧对应的目标图像和候选关键帧对应的目标图像的特征点；

利用最近邻搜索法得到匹配点对；

基于距离比值法剔除误匹配点对；

利用模板匹配法确定关键帧对应的目标图像和候选关键帧对应的目标图像之间的相对位置变换关系，并根据该位置变换关系对剩下的匹配点对再次筛选；

利用随机样本共识算法对再次筛选后的匹配点对进行处理，得到单应性矩阵。

本申请提供了一种车底成像处理装置，该装置包括处理器和存储器，所述存储器存储可被处理器执行的计算机指令，当处理器执行上述计算机指令时，实现项所述的方法。。

本申请提出了利用鱼眼相机获取货车底盘图像视频的方法，并利用等距投影模型对采集的底盘鱼眼图像进行校正。本申请利用图像间的重叠度关系避免了采集图像分布不均匀对拼接结果带来的影响，实现了速度自适应的车辆底盘拼接方法。本申请提出的底盘成像系统在实验场和现场场景下均取得了令人满意的效果。

本申请的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施方式及其说明用于解释本申请。在附图中：

图1为本申请提供的底盘成像整体流程；

图2为本申请提供的货车底盘的视角示意图；

图3a为本申请提供的拍摄整体长度示意图；

图3b为本申请提供的拍摄有效长度示意图；

图4为本申请提供的图像间重叠区域长度示意图；

图5为本申请提供的多点拟合法划分鱼眼图像交点示意图；

图6a为本申请提供的图像坐标系和二维直角坐标系；

图6b为本申请提供的球面坐标和目标图像；

图7a和图7b为本申请提供的主图像和配准图像示意图；

图8为本申请提供的多边形交点示意图；

图9a-图9d为本申请提供的从动轴、驱动轴和传动轴的原始图像、本申请方案处理后的图像、柱面投影图像以及经纬映射图像；

图10a-图10d为本申请提供的原始图像、本申请方案处理后的图像、柱面投影图像以及经纬映射图像的棋盘格校正结果对比图；

图11a为本申请提供的间隔采样后拼接结果示意图；

图11b为本申请提供的关键帧帧提取后拼接结果；

图12a-图12c为本申请提供的变速行驶、匀速行驶以及途中停止模式下的拼接结果示意图；

图13为本申请提供的校正后车底盘图像示意图；

图14为本申请提供的重叠度统计折线图；

图15为本申请提供的六轴货车的底盘拼接结果。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施方式及各个实施方式中的特征可以相互组合。

下面将参考附图并结合实施方式来详细说明本申请。

底盘成像整体流程主要包括四个基本步骤，如流程图 1所示，分别为底盘视频采集、底盘鱼眼图像校正、关键帧提取和图像拼接。

底盘视频：通过安装在地面的视频采集装置采集有效的货车底盘视频数据，该部分的重点为采集设备的选取和图像采集方案的设计。

底盘鱼眼图像校正：该步骤主要是对采集的鱼眼图像进行畸变校正，其中涉及到的关键技术为鱼眼图像的畸变校正。

关键帧提取：对获取的图像序列进行筛选，除去信息重复的图像，该过程涉及到的关键技术包括图像重叠度计算。

图像拼接：这一步骤主要是为了完成对关键帧提取后的图像进行拼接，生成车底盘完整图像，该过程涉及的关键技术有图像的配准和图像的融合。

一般货车的车底盘距离地面大约在300mm，车的宽度在2000mm到2500mm之间。这样若要保证采集装置可以完整的采集到货车底盘的完整信息，在如此短的成像距离下，图像采集装置需要满足体积小巧和具有足够大的视野来完成近距离的大范围拍摄。采用一般的相机难以做到。货车底盘的视角示意图如图2所示。

其中W表示货车底盘的宽度，H表示货车底盘距离地面的距离，则可以很容易得到视场角

的计算公式为：

(1)

式中W取2500mm，H取300mm，则可以计算得到

约为154°。即为了获取完整宽度的货车底盘图像，需要一款视场角大于154°的相机。

鱼眼镜头作为一种具有180°视场角的超广角镜头，借助其视场角的优势，鱼眼镜头能在近距离拍摄较大的视角范围的图片，因此采用鱼眼镜头作为采集装置是合理的。

在实际采集过程中，货车在进入高速公路收费站前需进行适当的减速，其速度一般不会超过30km/h。当对采集的视频数据进行处理时，需保证采集的视频在经过抽帧、矫正后能有足够的重叠度完成后续的拼接工作。采集装置采集视频的帧率越大，图像间的重叠度便也会越大，会造成图像间信息过度冗余的情况，而帧率过小又会导致图像间缺少足够的重叠度，两种方式对于后续的图像处理都会带来不好的影响，因此一个合适的视频帧率尤为重要。

视频帧率的确定与车底盘的高度、镜头的视场角和车速都有关系。假设镜头表面到货车底盘的高度为H，镜头沿车运动方向视场角，即垂直方向的视场角为

。则镜头拍摄的全部长度L为：

(2)

考虑到鱼眼镜头成像会在图像边界带来较为严重畸变，通过校正后的图像在边界处的畸变也是较为突出的，为了避免边界畸变对后续图像配准产生的影响，因此选择长度

作为有效区域，如图3b所示。经实验，

取长度

的0.3到0.7处，获得的图像受畸变影响较小。

令货车的行驶速度为v，视频采集的帧率为m，根据图2-图3所示，则容易得到重叠区域长度l的计算公式为：

(3)

其中n表示图像之间的帧的间隔，即采样间隔，这样便可以得到图像间重叠度计算公式：

(4)

可以看出重叠度与货车的底盘高度成正比，与货车的速度成反比。一般货车的底盘高度不会低于20cm，通过收费站前速度不会高于30km/h，因此在视频的帧率一定的条件下，以上述参数计算可以得到极限条件下的重叠度，即最小重叠度。若最小重叠度满足拼接条件，那么一般条件下图像之间的重叠度也可确保满足。一般来说，图像间的重叠度在40%到70%之间时比较适合拼接。考虑到车辆可能存在偏移导致图像间不只有水平方向的位移，因此令最小重叠度为70%，可以计算出视频的帧率为52.78帧/s。因此本申请中将采集装置的视频采样帧率设为60帧/s，保证采集的视频帧与帧之间的重叠度满足后续拼接要求。

车辆底盘鱼眼图像的畸变校正主要包括两个步骤：底盘鱼眼图像的有效区域提取和底盘鱼眼图像的校正，其中有效区域的提取是完成图像校正的前提。

线扫描法利用上下左右4条扫描线对鱼眼图像进行扫描，对最后4条扫描线位置的判断即可得出鱼眼图像的圆心坐标和半径。其思路为：将像素利用像素亮度公式转换为亮度I，即I=0.59r+0.11g+0.3b。设置阈值T（T=40~50），计算每一条扫描线上的最大亮度值和最小亮度值之间的差值，若差值大于T，及可认为该扫描线外切鱼眼图像的圆形区域，这样就可以获得4条扫描线最终的位置，从而得到有效区域坐标和半径。

因此，本申请在线扫描法的基础上对线扫描法进行改进，弥补其样本点较少的缺点，提出一种多点拟合的方式来获取鱼眼图像的有效区域。其具体思路是对鱼眼图像进行水平和垂直方向上的均等划分，本申请默认的划分方式为4等分划分，这样当划分的直线穿过鱼眼图像有效区域时，会在圆上产生两个交点，通过对比亮度值，便可以获得这两个交点的坐标，这两个坐标便是鱼眼图像有效区域的边界上的点，这样便可以获取一系列的边界点。为了保证获取的样本点的数量足够，若获得的边界交点总数小于10个，则对划分的份数增加1份，直到获得的交点数大于10个才停止。如图5所示，将会得到12个边界交点。

在获得了一系列边界点后，通过对这一系列点进行圆拟合，便可以获得圆心坐标和半径。圆拟合法核心思想是在正交距离平方和最小的意义下构建函数：

(5)

式中a，b为拟合圆的圆心坐标，r为拟合圆半径。本申请将采用Kasa圆拟合法进行有效区域的半径和圆心的求解。其具体计算过程为：

已知通过前期划分得到的采样点集为

，设圆心坐标为

，半径为r。则圆的方程为：

(6)

点集上的点若在圆上，则点集上的点到圆的距离的平方和最近，公式

(7)

有最小值，令

(8)

因此可以得到

(9)

根据Kasa算法的思想，令

(10)

对公式求最小值，令

，则

(11)

然后分别对参数B，C，D求偏导，这样便可以得到：

(12)

这样便可以得到鱼眼图像有效区域的圆心坐标和半径。

鱼眼镜头投影成像模型为等距投影：

(13)

其中，

为镜头的焦距，

为入射角。

鱼眼图像到单位球面变换的主要目的是建立鱼眼图像上的点与单位球面上点之间的关系，而这种关于一般为单位球面上的极坐标与鱼眼图像坐标的关系。下面本申请建立单位球面上极坐标点与鱼眼图像上实际图像坐标点之间的对应关系。

如图6a所示，点

为鱼眼图像上一点，其在图像坐标系下的坐标为

，其与

点的距离为

，设

点坐标为

，鱼眼图像半径为

，则

(14)

其与平面直角坐标系的关系为：

(15)

由此将点

的坐标从图像坐标系转换到二维平面坐标系中。由等距投影公式可以得到

(16)

式中

为光线的入射角，

为鱼眼图像中点

与实际图像坐标系

中

轴正方向的夹角，如图6b所示，其中点

为点

的对应点，这样便可以得到

(17)

在得到

和

后，便可以得到单位球面上

的坐标，即：

(18)

据此可以得到鱼眼图像坐标与球面坐标之间的相互转换关系。下一步则是得到球面坐标与目标图像间的相互转换，设目标图像上的一点

，其与球面中心的连线交球面于

点，设

，则根据相似三角形便可以得到点

与

之间的关系，即为：

(19)

可以得到

(20)

设目标图像上点

坐标为

，则点

与鱼眼图像上对应点之间的关系为：

(21)

这样就得到了鱼眼图像与目标图像之间对应点之间的映射关系，利用该关系便可以对鱼眼图像进行校正了。

由于货车的速度是不可控的，货车速度的快慢变化会对最后的拼接结果造成一定的影响。图像拼接的前提是图像序列间有合适的重叠度，过多的重叠度将影响图像拼接的效率，而过少的重叠度可能会导致无法找到合适的匹配点对，造成拼接的失败。因此保证图像间有合适的重叠度很有必要。一般来说，为满足图像拼接的要求，待拼接图像的重叠度一般要在40%到70%之间，为保证图像拼接的可靠性，本申请提出了一种关键帧提取策略对视频帧图像进行筛选，该策略根据视频帧之间的图像内容重叠度自动选取适合用于拼接的关键帧，以保证实现货车速度自适应的图像拼接算法。

本申请提出的关键帧提取策略分为两个步骤：初步筛选和精筛选。初步筛选的目的是为了获取图像筛选的采样间隔，从而快速减少图像的数量，而精筛选是对初步筛选的进一步降冗筛选。

初步筛选将得到一个采样间隔n对视频进行粗筛选，在该采样间隔下，能保证相邻图像间的保有足够的重叠度。假设货车通过采集装置时一直保持着30km/h的速度直线行驶，车底盘高度为20cm，可以推算出第一帧与第三帧之间的重叠度约为46%，重叠度是满足要求，而与第四帧的重叠度不到20%，因此，本申请的初步筛选的采样间隔n设为2。利用此采样间隔，就可以保证通过初步筛选的图像基本是满足拼接所需的重叠度要求的，不会存在图像间的重叠度过小的情况。

然而在现实采样过程中，货车在均会在视频采集期间进行一定程度的减速以顺利通过收费站，而且很难保证是匀速行驶的，当速度v减小时，图像之间的重叠度将增大，导致采用上述初步筛选的方式采集的图像存在数量偏多和序列图像间重叠度过大的问题，因此还需初步筛选得到的图像进行降冗处理，即精筛选。其具体流程为：

1、将首帧图像作为关键帧，并进行图像校正；

2、获取候选关键帧，并进行图像校正，此处初始候选关键帧与关键帧的相隔为n；

3、计算关键帧和候选关键帧之间的重叠度大小；

4、检查候选帧与关键帧的重叠度是否满足要求，若满足要求（例如重叠度在40%-70%）则将其作为新的关键帧，否则放弃该帧，并取下一帧为候选关键帧，直到选取的候选关键帧的重叠度满足要求，将其作为新的关键帧；

5、重复步骤2到步骤4，直到视频结束。

精筛选的关键点在于关键帧与候选帧之间的重叠度的计算。在初步筛选中的重叠度计算方法只是利用对货车速度的先验知识对图像间重叠度的预估，并非图像间真实的重叠度。为了获取更加精确的重叠度，本申请将采用基于图像内容的重叠度计算方法，即通过图像配准的方法来获取两幅图像间的变换模型，通过变换模型来获得两幅图像之间的位置关系，从而获得图像间较为精准的重叠度。

现有的图像配准算法一般包括图像的特征点提取和特征匹配两个步骤。本申请将采用ORB算法（Oriented FAST and Rotated BRIEF）进行图像配准操作。该算法由E.Rublee在2011年提出，利用改进的FAST（Features from Accelerated Segment Test）角点检测算法进行特征点检测，使FAST角点检测时带有方向信息，并利用改进的BRIEF（Binary RobustIndependent Elementary Features）对特征点进行描述，使BRIEF描述子具有旋转不变特性。其相对于SIFT（Scale Invariant Feature Transform）算法和SURF（Speeded UpRobust Features）算法，在同样具有鲁棒性和尺度不变特性的前提下，速度相比于SURF快了10倍，相比于SIFT快了100倍。

在利用ORB算法获取图像的特征点后，便需要对这些特征点进行匹配。ORB算法利用向量来表示特征，若两个特征之间的距离最小，则这两个特征为一对匹配点。由于特征点的数量偏多，为了避免采用暴力匹配的方式进行特征点间的距离比较，这里先采用K-D树最近邻搜索法来快速的进行特征点的匹配，得到大量的匹配点对。然后利用基于距离比值的方法对误匹配点对进行剔除。在经过K-D树的最近邻搜索和基于距离比值的误匹配点对剔除后，虽然已经对初始匹配点对进行了筛选，但在车底盘图像匹配中，仍出现了明显的误匹配点对。导致这些误匹配点对出现的原因主要有如下两点：

1、车底盘中存在结构相似的区域，这些结构相似的区域便导致了特征点的匹配失败，导致出现了一对多的现象。

2、特征点的匹配和筛选都是在整个图像的范围内进行的，虽然在局部看来这些误匹配点对的匹配是正确的，但对于整个图像来说却是错误的。

因此，为了避免这种情况，需要对筛选后的匹配点对再次进行筛选。

理想情况下，车辆相对于相机的运动可以看成是一种水平运动，因此图像间的位置变化关系也可以看成是一种平移的位置变化关系。因此本申请利用模板匹配的方法来对待配准的两幅图像进行处理，这样便可以获得待配准图像间的相对位置变换关系，利用该相对位置变换关系对匹配点对进行再次筛选。

模板匹配的思路为在配准图像中寻找一块合适的区域，并将该区域命名为模板区域，如图6b中灰色部分所示，将该模板区域在主图中从主图的左上角开始滑动，从左往右，从上而下，在每一个位置都对该区域进行计算，从而得到一个值来度量该区域与模板区域的相似性。在对主图像搜索完成后，便可以得到一系列参数。通过对这些参数的比较，可以得到最佳的匹配区域，这样就能得到了配准图像模板区域在主图像中的位置，由该位置便可以得到主图像与配准图像间的位置变化关系。

本申请采用归一化相关匹配算法来分析图像间的相似性，其公式为：

(22)

其中

为模板区域坐标点像素值，

为主图像坐标点像素值。

设配准图像中模板区域左上角坐标在配准图像坐标系中坐标为

，模板区域在主图像坐标系中的左上角坐标为

，则可以得到配准图像的顶点在主图像中的位置为

，利用该位置信息就将主图像中的点转换到配准图像中去。这样一来，便可以利用该关系对剩余的匹配点对进行验证，判断其是否为正确的匹配点对。其流程为：取一对匹配点对

和

，通过坐标变换将主图中的特征点

转换到配准图像中，获得新的坐标

，若转换后坐标出现负值，则删除该匹配点对；若转换后的坐标点

在

点的15*15大小的窗口内，则保留该匹配点对，否则将该匹配点对删除。这样就完成了匹配点对的再次筛选。

最后通过随机采样共识（RANSAC）算法进一步对特征点进行筛选，这样便可以得到图像间精确的配准结果了，即单应性矩阵H。

加权平均法通过对图像间的重叠区域的对应的像素点的像素值进行加权处理后作为重叠区域的像素值。其方法计算公式为：

(23)

其中w1和w2为权值函数，而且w1+w2=1。根据权值函数的选择方式的不同，加权平均法也可以分为不同的种类，其中较为常用的为渐入渐出的加权平均法。其中权值函数计算公式为：

(24)

其中

，

表示重叠区域的长度，

表示重叠区域横坐标的起始位置。

针对基于球面透视的等距投影模型的方法展开实验，采用的数据分别为车底盘中从动轴图像、驱动轴图像和传动轴图像三组图像，如图9a所示。图9b为本申请采用的鱼眼图像畸变校正方法。为了比较本申请方法与其他常见鱼眼图像畸变校正方法的校正效果，本章中采用柱面投影法和经纬映射法进行实验对比，其结果如图9c和9d所示。这三种校正方法所花费的时间如表格1所示。实验环境为PC机，配置为IntelCorei5-6300HQ2.3GHz，8GB内存，Windows10专业版，编程环境为VisualStudio2013，视频图像大小为1080*1080。

从校正结果可以看出，在相同图像下，经纬映射法虽可以对图像中心的区域进行校正，但对于图像四周的校正却存在较为严重失真，这也是2D校正方法的通病。柱面投影法虽然对于图像的中间有着较好的校正效果，但图像周围却出现了较严重的拉伸情况，这对于后续图像的处理也是不利的。而本章采用的等距投影校正算法无论是在图像中心还是在图像的周围都有着较好的校正效果，并在花费的时间上也有一定的优势。

为了进一步对畸变校正的结果进行更加细致的分析，本小节借助棋盘格来对校正结果进行定量的分析，这也是图像校正实验中常见的定量分析方法之一。其具体思想为利用线性拟合的方式来求得不同校正方法下校正结果的误差情况，并通过误差大小对校正结果进行定量分析。图10a为利用鱼眼相机拍摄的一幅棋盘格图像。棋盘格中的角点在水平方向和竖直方向的连线在实际空间中是直线，因此可以利用这个信息，对校正后的棋盘格的角点水平方向和竖直方向连线进行线性拟合，并对拟合后的直线进行误差分析，分析其和方差（the Sum of Squares due to Error，SSE）、均方根误差（Root Mean Squared Error，RMSE）和R-square确定系数这三个参数值。

SSE计算公式为

(25)

RMSE计算公式为

(26)

R-square计算公式为

(27)

式中，

表示预测值，y表示原始值，

表示平均值，n表示取样点的个数。其中SSE和RMSE值越小表示误差越小，而R-square值的取值范围在定义域[0,1]内，其大小越接近1表示拟合效果越好。最终得到结果如表格2所示。

从表格2可以看到本章方法在水平方向和竖直方向线性拟合后的SSE值和RMSE值均小于柱面投影法和经纬映射法，同样其R-square值也是最高。可以看出，本申请采用的校正算法相对于另外两种算法，能够有效改善鱼眼图像的畸变情况。

为了验证本申请算法能够针对不同的车辆行驶速度行为均达到较好效果，本申请针对不同行驶行为的车辆进行了实验，实验采用的车辆行驶行为分别为匀速行驶，变速行驶和在途中停止后再行驶的三种速度模式。三种情况下采集的数据的具体信息如表格3所示。可以看到，经过本申请算法对有效帧进行提取后，图像间的平均重叠度均在40%到70%之间，是满足拼接重叠度要求的。而仅仅通过采样间隔为2的间隔采样，由于车速变化的原因，导致途中停止后再行驶图像间的平均重叠度达到了88.81%，变速行驶的图像间平均重叠度也有78.58%。显然仅仅通过间隔采样是无法消除车速变化对拼接结果带来的影响的。

针对最困难的途中停止后再行驶的数据，本申请利用两种筛选方法对车底图像进行拼接，其拼接结果如图11a-图11b所示，可以看到采用间隔采样后的拼接结果出现了明显局部的拉伸和压缩情况，分别如图11a中红色方框和蓝色方框所框选部分所示，而采用本章方法的拼接结果并没有出现这种情况。

本申请在三种速度模式下最终得到的底盘图像结果如图12a-图12c所示。可以看到，三种速度模式下得到的车辆底盘图像信息基本一致，其局部没有出现明显的拉伸或者不均匀的情况。因此本申请算法可以有效避免车辆的速度变化对于底盘图像拼接结果产生的影响。

为了对本申请算法进行实际应用方面的验证，本申请通过在实际的高速公路口采集货车车底盘视频数据，并利用本申请方法对采集的数据进行了处理和分析，并获得了完整的货车底盘图像。其中某六轴双驱货车的实例分析如下：

图13展示了经本申请算法进行鱼眼校正后的该货车底盘图像。

经过鱼眼矫正后，本申请进行了关键帧筛选分析。在经过初步筛选和精筛选后，关键帧数量从660张减小到了61张，大大减少了拼接过程的冗余程度。本申请进一步对筛选后图像进行重叠度分析，其结果如图14所示。可以看到，经过本申请的关键帧提取后，各关键帧图像的重叠度基本维持在了0.4到0.7之间，说明本申请的图像筛选方法是有效的。

最后，本申请对筛选后61张图像进行底盘图像的拼接，其结果如图15所示，可以看到拼接后的车底盘图像十分完整，并且可以清晰看到货车底盘的轴型信息，如图中红色方框所示，同时，通过鼓包状态，可以快速区分是驱动轴还是从动轴（如第二个和第三个红框）。

为了进一步定量评估本申请的算法，本申请将该货车底盘拼接图像中车轴距离与标准轴距进行了比较。经查询，本案例的货车为六轴半挂车型，其标准轴距与本申请拼接算法得到的轴距比较如表格4所示，其中标准轴距可以通过查询获取，本申请算法的结果本申请采用人工标注的方式获取车轴的中心点（图15中红色矩形的中心）从而得到两个相邻中心点的位置差。这里本申请将两组轴距数据作为向量，并使用余弦相似度来评价两个轴距的相关性：

两个向量的余弦值越接近1，表示两者方向越相似，即两组轴距数据的比例越相近。

从表格4可以看到，本申请的拼接算法计算得到的轴距与标准轴距相似度可以达到0.97，证明了本申请算法的有效性。

本申请面向交通领域中货车的轴型检测需求，针对现有的轴型识别仪结果不可溯源的问题，通过计算机视觉手段，利用视频图像拼接方法实现了一套可溯源的货车底盘成像系统。针对货车底盘大，成像距离短的问题，本申请提出了利用鱼眼相机获取货车底盘图像视频的方法，并利用等距投影模型对采集的底盘鱼眼图像进行畸变校正。针对货车速度不可控的问题，提出了多步分层的有效帧提取方法，利用图像间的重叠度关系避免了采集图像分布不均匀对拼接结果带来的影响，实现了速度自适应的车辆底盘拼接方法。本申请提出的底盘成像系统在实验场和现场场景下均取得了令人满意的效果。

以上所述仅为本申请的较佳实施方式而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种车底成像处理方法，其特征在于，该方法包括：

使用鱼眼镜头采集货车底盘视频图像；

提取鱼眼镜头采集的视频图像的关键帧；

利用关键帧进行图像拼接。

2.根据权利要求1所述的方法，其特征在于，提取鱼眼镜头采集的视频图像的关键帧包括：

利用线扫描法扫描视频图像，获取扫描线与鱼眼图像有效区域的交点，其中交点数量的总和大于或等于预设值；

利用所述交点确定鱼眼图像有效区域的圆心坐标和半径。

3.根据权利要求1所述的方法，其特征在于，提取鱼眼镜头采集的视频图像的关键帧包括：

将视频图像的首帧图像作为关键帧，并对首帧图像进行校正；

根据预先设置的视频图像采样间隔数量确定候选关键帧，并对该候选关键帧进行校正；

计算关键帧与候选关键帧之间的重叠度，该重叠度符合预设的条件的情况下，则将该候选关键帧判定为关键帧，否则放弃该候选关键帧，并将该候选关键帧的前一帧或者后一帧作为候选关键帧，直至遍历视频图像。

4.根据权利要求3所述的方法，其特征在于，鱼眼镜头利用等距模型成像。

5.根据权利要求4所述的方法，其特征在于，提取鱼眼镜头采集的视频图像的关键帧还包括：

将关键帧的坐标点映射到单位球面上极坐标点；

将单位球面上极坐标点对应的极径延长与一平面相交，得到关键帧对应的目标图像。

6.根据权利要求3所述的方法，其特征在于，预先设置的视频图像采样间隔数量为2帧。

7.根据权利要求5所述的方法，其特征在于，计算关键帧与候选关键帧之间的重叠度包括：

确定候选关键帧对应的目标图像与关键帧对应的目标图像之间的单应性矩阵；

利用单应性矩阵计算候选关键帧对应的目标图像顶点在关键帧对应的目标图像坐标系下的坐标；

计算关键帧对应的目标图像构成的多边形和候选关键帧对应的目标图像构成的多边形的交集；

计算所述交集的面积与关键帧对应的目标图像面积的比值，得到关键帧与候选关键帧之间的重叠度。

8.根据权利要求7所述的方法，其特征在于，利用关键帧进行图像拼接包括：

对所述交集中像素点的像素值进行加权处理，得到所述交集中像素点的像素值。

9.根据权利要求7所述的方法，其特征在于，确定候选关键帧对应的目标图像与关键帧对应的目标图像之间的单应性矩阵包括：

获取关键帧对应的目标图像和候选关键帧对应的目标图像的特征点；

利用最近邻搜索法得到匹配点对；

基于距离比值法剔除误匹配点对；

利用模板匹配法确定关键帧对应的目标图像和候选关键帧对应的目标图像之间的相对位置变换关系，并根据该位置变换关系对剩下的匹配点对再次筛选；

利用随机样本共识算法对再次筛选后的匹配点对进行处理，得到单应性矩阵。

10.一种车底成像处理装置，其特征在于，该装置包括处理器和存储器，所述存储器存储可被处理器执行的计算机指令，当处理器执行上述计算机指令时，实现根据权利要求1-9任一项所述的方法。

Images