CN211498390U - 一种车载冰面识别追踪系统 - Google Patents

Abstract

本实用新型公开了一种车载冰面识别追踪系统，属于除冰机械领域。冰面识别控制机构，包括：中央处理器、云台和双目摄像机，中央处理器安装在底板的上表面前端，云台安装在顶盖的上表面上，双目摄像机安装在云台的上端。本实用新型的车载冰面识别追踪系统，在冰面识别效果上，该装置及方法能够在路面中识别出符合要求的冰面，准确率达93.67％；在位置标定上，该装置及方法能够进行标定并解算出相对距离及方位角，误差约为1％，主要由于相机特性所致，但相对路面尺度，误差较小；在追踪过程中，速度约为10fps，速度略慢但能够基本完成实时作业需求。

Description

一种车载冰面识别追踪系统

技术领域

本实用新型属于除冰技术领域，特别是涉及一种车载冰面识别追踪系统。

背景技术

北方地区冬季降雪，若不及时清除，会形成坚冰，极难清理，造成交通不便、形成安全隐患，对人们生活产生极大影响。对于大范围路面除冰，我国多采用铺洒融雪剂方式进行除冰；而人行道等狭窄道路，目前采用的除冰技术多是锹铲镐刨，人力除冰。如何快速清除公路冰雪已经成为保证道路安全和畅通的重要任务，也是北方城市和道路的老大难问题。全自动除冰装置尚未开发，主要是困难在于冰面缺乏显著特征，难以有效识别。针对此问题，本项目旨在开发出智能化的冰面识别及追踪定位装置，将大大解放人力，改善交通出行，具有广阔的应用价值。

发明内容

本实用新型所要解决的技术问题在于提供一种车载冰面识别追踪系统，具有识别冰面并计算冰面大小，确定冰面相对位置并实时追踪冰面功能，能够安装于除冰车辆等，代替人力进行冰面识别及追踪工作。

本实用新型通过以下技术方案实现：一种车载冰面识别追踪系统，包括：车体和驱动机构，所述车体包括底板、车厢外壳、支撑柱和顶盖，所述驱动机构包括直流电机、麦克纳姆轮和耐低温锂电池，所述底板四个方向的边缘处分别竖向安装车厢外壳，所述支撑柱分别设立于所述底板的四个角处，且将所述车厢外壳连接为一体，所述顶盖盖装在所述车厢外壳的顶部，所述直流电机和耐低温锂电池安装在所述底板上，所述麦克纳姆轮安装在所述直流电机的输出轴上，所述直流电机和所述麦克纳姆轮由耐低温锂电池供电，

所述底板上还安装有冰面识别控制机构，所述冰面识别控制机构包括：中央处理器、云台和双目摄像机，所述中央处理器安装在所述底板的上表面前端，所述云台安装在所述顶盖的上表面上，所述双目摄像机安装在所述云台的上端，其中:

所述中央处理器，用于控制所述云台和双目摄像机工作，接收并分析所述双目摄像机传入的图像数据得到冰面的方位信息和面积信息；

所述云台，用于受所述中央处理器控制转动，以改变所述双目摄像机的视角；

所述双目摄像机，用于受所述中央处理器控制拍摄当前路面画面，并将所述路面图像数据传送至所述中央处理器进行处理。

进一步的，所述中央处理器包括冰面识别与位置标定模块、相机标定与冰面位置检测模块和冰面追踪模块，其中，

所述冰面识别与位置标定模块，用于将冰面与地面分类，并筛选出面积足够大的冰面；

所述相机标定与冰面位置检测模块，用于根据所述冰面识别与位置标定模块筛选出的冰面确定冰面位置，并确定输出小车的转角和行驶距离；

所述冰面追踪模块，用于在小车向所述冰面行进的过程中实时控制所述云台和双目摄像机始终正对所述冰面。

进一步的，所述冰面识别与位置标定模块包括：平滑去躁单元、灰度处理及阈值分割单元、较大冰面筛选单元和冰面位置标定单元，其中，

所述平滑去躁单元，用于对所述双目摄像机拍得的图像进行平滑去躁处理；

所述灰度处理及阈值分割单元，用于将经过平滑去躁处理后的图像转化为灰度图像，并进行阈值分割处理；

所述较大冰面筛选单元，用于运动形态学运算对经过阈值分割处理的图像进行处理，保留较大冰面；

所述冰面位置标定单元，用于对图像中所有较大冰面进行标定。

进一步的，所述相机标定与冰面位置检测模块包括：相机标定单元、冰面相对小车位置计算单元和冰面在相机坐标系下的深度确定单元，其中，

所述相机标定单元，用于对相机进行标定，以求取相机内参数；

所述冰面相对小车位置计算单元，用于利用齐次坐标转换关系计算冰面相对小车的位置；

所述冰面在相机坐标系下的深度确定单元，用于利用所述双目摄像机确定冰面在相机坐标系下的深度。

进一步的，所述冰面追踪模块包括：冰面视觉追踪单元和小车方位PD控制单元，其中，

所述冰面视觉追踪单元，用于根据所述冰面的识别与标定信息为小车方位的调节提供反馈；

所述小车方位PD控制单元，用于使目标冰面始终位于所述双目摄像机视野的中心。

进一步的，所述耐低温锂电池还为所述冰面识别控制机构供电。

本实用新型的有益效果在于：

（1）本实用新型的车载冰面识别系统，在冰面识别效果上，该装置及方法能够在路面中识别出符合要求的冰面，准确率达93.67%。

（2）在位置标定上，该装置及方法能够进行标定并解算出相对距离及方位角，误差约为1%，主要由于相机特性所致，但相对路面尺度，误差较小。

（3）在追踪过程中，速度约为10fps，速度略慢但能够基本完成实时作业需求。

附图说明

图1为本实用新型的一种应用了车载冰面识别追踪系统的除冰车的结构示意图；

图2为本实用新型的一种应用了车载冰面识别追踪系统的除冰车的内部结构示意图；

图3为本实用新型的一种应用了车载冰面识别追踪系统的除冰车的另一角度的结构示意图；

图4为冰面识别及位置检测与追踪过程图；

图5为冰面识别及位置检测与追踪方法流程图；

图6为冰面识别控制机构的内部结构框图。

其中，1为车体，101为底板，102为车厢外壳，103为支撑柱，104为顶盖，2为驱动机构，201为直流电机，202为麦克纳姆轮，203为耐低温锂电池，3为冰面识别控制机构，301为中央处理器，302为云台，303为双目摄像机，3011为冰面识别与位置标定模块，30111为平滑去躁单元，30112为灰度处理及阈值分割单元，30113为较大冰面筛选单元，30114为冰面位置标定单元，3012为相机标定与冰面位置检测模块，30121为相机标定单元，31222为冰面相对小车位置计算单元，30123为冰面在相机坐标系下的深度确定单元，3013为冰面追踪模块，30131为冰面视觉追踪单元，30132为小车方位PD控制单元。

具体实施方式

下面将结合本实用新型实施例中的附图对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

参照图1-图3所示，本发明给出了一种车载冰面识别追踪系统的一实施例，包括：车体1和驱动机构2，车体1包括底板101、车厢外壳102、支撑柱103和顶盖104，驱动机构2包括直流电机201、麦克纳姆轮202和耐低温锂电池203，底板101四个方向的边缘处分别竖向安装车厢外壳102，支撑柱103分别设立于底板101的四个角处，且将车厢外壳102连接为一体，顶盖104盖装在车厢外壳102的顶部，直流电机201和耐低温锂电池203安装在底板101上，麦克纳姆轮202安装在直流电机201的输出轴上，直流电机201和麦克纳姆轮202由耐低温锂电池203供电，

底板101上还安装有冰面识别控制机构3，冰面识别控制机构3包括：中央处理器301、云台302和双目摄像机303，中央处理器301安装在底板101的上表面前端，云台302安装在顶盖104的上表面上，双目摄像机303安装在云台302的上端，其中:

中央处理器301，用于控制云台302和双目摄像机303工作，接收并分析双目摄像机303传入的图像数据得到冰面的方位信息和面积信息，并将冰面的方位信息和面积信息发送给自动控制机构6；

云台302，用于受中央处理器301控制转动，以改变双目摄像机303的视角；

双目摄像机303，用于受中央处理器301控制拍摄当前路面画面，并将路面图像数据传送至中央处理器301进行处理。

具体的，本实用新型提出的车载冰面识别追踪系统，能够区分冰面与地面，并选择追踪大冰面，以辅助除冰车进行除冰。在实施例中，除冰车为无人自动控制的除冰车，车载冰面识别追踪系统可以辅助除冰车走向冰面进行除冰，在其他实施例中，也可以通过双目摄像机303的实时追踪为载人除冰车的司机提供冰面位置显示指引功能，其应用方法不限。

参照图6所示，在本部分优选实施例中，中央处理器301包括冰面识别与位置标定模块3011、相机标定与冰面位置检测模块3012和冰面追踪模块3013，其中，

冰面识别与位置标定模块3011，用于将冰面与地面分类，并筛选出面积足够大的冰面；

相机标定与冰面位置检测模块3012，用于根据冰面识别与位置标定模块3011筛选出的冰面确定冰面位置，并确定输出小车的转角和行驶距离；

冰面追踪模块3013，用于在小车向冰面行进的过程中实时控制云台302和双目摄像机303始终正对冰面。

具体的，本实用新型的冰面识别系统采用图像识别与视觉定位的方法对冰面进行识别。该系统采用双目摄像机303检测环境信息并利用Raspberry 3b进行图像处理与坐标解算，得到冰面相对小车的位置坐标。同时在双目摄像机303下方加装可控制旋转的云台302，利用PID控制方法，实现双目摄像机303度旋转检测冰面，并进行后续冰面的跟踪。

参照图6所示，在本部分优选实施例中，冰面识别与位置标定模块3011包括：平滑去躁单元30111、灰度处理及阈值分割单元30112、较大冰面筛选单元30113和冰面位置标定单元30114，其中，

平滑去躁单元30111，用于对双目摄像机303拍得的图像进行平滑去躁处理；

灰度处理及阈值分割单元30112，用于将经过平滑去躁处理后的图像转化为灰度图像，并进行阈值分割处理；

较大冰面筛选单元30113，用于运动形态学运算对经过阈值分割处理的图像进行处理，保留较大冰面；

冰面位置标定单元30114，用于对图像中所有较大冰面进行标定。

具体的，参照图4-图5所示，冰面识别原理为：由于冰面与地面颜色具有较大差距，因此可以采用颜色差异来分辨冰面。因此，利用双目摄像机303采集每一帧图像并进行实时处理，首先将图像彩色图像灰度化并进行去噪，平滑等处理，再利用阈值分割方法，选取适当阈值，将获取到的灰度图像进行二值化处理，将冰面与地面分类。

将图像进行形态学处理，去除较小冰面。再设定一定大小的核，遍历图像并进行与操作，筛选出面积足够大的冰面，并标定符合条件的位置中心。

若视野中有多块冰面，选择距离最近的冰面进行清除。

平滑去躁单元30111的运行流程是：首先对图像进行去噪、平滑等处理，去掉图像中的噪声及细节纹理。

利用快速傅里叶变换FFT将图像转化到频率域。由于噪声与纹理多为高频信号，利用高斯低通滤波器GLPF进行滤波。其表达式为：

（1）

其中，方差是关于中心的拓展度度量，设D0为截止频率，则有：

（2）

调节D0参数值，设置D0为10-20。

灰度处理及阈值分割单元30112的运行流程为：将该彩色图像转化为灰度图像，进行阈值分割处理。

由于在此装置中加入光照以提高冰面反射率，增强冰面亮度，因此使用全局阈值进行处理。对不同情况下的冰面进行图像采集，并选取部分作为样本图像，采用迭代算法选取合适阈值：

（1）首先为全局阈值M选择初始估计值127；

（2）对图像中的每一点，若f(x,y)>M，则为对象点，置1；若f(x,y)<M,则为背景点，置0。因此产生两种像素：G1由灰度值大于M的像素组成，G2由小于M的像素组成；

（3）对G1、G2的像素分别计算平均灰度值m1,m2；

（4）计算新的阈值：M = 0.5（m1+m2）；

（5）重复上述步骤，直到连续迭代的M值小于预定区间；

（6）将样本中每幅图像进行上述处理，并将最终各图像平均值作为最终阈值；

（7）利用其他图像进行验证，观察在该阈值处理下的效果。

最终得阈值为160，能够准确分辨冰面和地面。

较大冰面筛选单元30113的运行流程为：由于所得二值化图像中仍有较多面积较小的散布冰面，利用形态学运算对图像进行处理，保留较大冰面。

首先对所得二值图像进行先腐蚀后膨胀的操作。

在腐蚀操作中，通过结构元z的作用，求两区域的局部最小值，将高亮区域缩小，从而达到将较小白色区域清除的目的。

再对腐蚀后的图像进行膨胀操作。与腐蚀相反，膨胀操作为求局部最大值，将高粱区域放大，以恢复腐蚀操作前的冰面面积大小，保证在后续计量面积时减小误差，并进一步平滑图像。

冰面位置标定单元30114的运行流程为：若视野中存在多个冰面，则在后续除冰过程中，要首先选择一个位置进行清除，因此需要对检测出的冰面进行标定，为后续计算距离做准备。

在此环节，设置大小为nxn，值全部为1的核。注意此处核的大小选择应当与冰面面积经坐标转换后在像素坐标系中的大小相当或略小。对上述冰面图像进行以下操作：

（1）将该核遍历像素图像并进行与操作，并计算所得结果为1的像素个数占该核总像素个数的比例；

（2）若百分比超过90%，则标定该核所覆盖区域的中心并存储该中心位置坐标u,v于序列A中，并存储该核覆盖的图像于序列B中；

（3）后将该图像区域全部置0；

（4）将核遍历所有像素，执行上述操作，最终得到所有的标定点。

通过上述方法，将所有冰面位置点的进行了标定。

参照图6所示，在本部分优选实施例中，相机标定与冰面位置检测模块3012包括：相机标定单元30121、冰面相对小车位置计算单元30122和冰面在相机坐标系下的深度确定单元30123，其中，

相机标定单元30121，用于对相机进行标定，以求取相机内参数；

冰面相对小车位置计算单元30122，用于利用齐次坐标转换关系计算冰面相对小车的位置；

冰面在相机坐标系下的深度确定单元30123，用于利用双目摄像机303确定冰面在相机坐标系下的深度。

具体的，参照图4-图5所示，将双目摄像机303的左眼相机A和右眼相机B水平放置。对于同一时刻左右眼相机获取的图像，根据双目摄像机303视差深度测量原理，可测得上述标定点的位置相对左眼相机A的坐标位置。利用像素坐标系、相机坐标系、车坐标系的转换关系，计算出冰面位置相对车的距离与方位角。

确定距离最近的点作为除冰对象，并将将该区域冰面存为模板，为后续冰面追踪匹配做准备。将距离和方位角输出传输给车辆，为实现车辆向冰面的行进做准备。

参照图6所示，在本部分优选实施例中，冰面追踪模块3013包括：冰面视觉追踪单元30131和小车方位PD控制单元30132，其中，

冰面视觉追踪单元30131，用于根据冰面的识别与标定信息为小车方位的调节提供反馈；

小车方位PD控制单元30132，用于使目标冰面始终位于双目摄像机303视野的中心。

具体的，参照图4-图5所示，通过上述冰面识别与位置标定方法，得到对应的中心坐标位置序列A与中心坐标序列B。依次检测计算各中心坐标位置A[i]的实际距离，选择距离最近的i点，找出序列B[i]图像作为模板进行匹配。采用改进平方差误差匹配算法进行匹配：

设定阈值E₀，当E（i,j）小于E₀即检测到匹配目标冰面。在此改进算法中，由于使冰面位于相机中心，因此每次搜索从中心开始沿对角线方向移动模板进行遍历，可使匹配效率显著提高。

对于匹配到的区域，将该区域中心位置（u’,v’）记录并返回给控制器，为小车方位调节提供反馈；用该区域替换原B[i]中图像，以视野中物体的大小与方向变化；并循环进行上述过程。

而在小车方位PD控制方面，根据上述返回的区域位置（u’,v’）到物理坐标系原点（0,0）的向量（u’,v’）进行如相机标定与位置检测方法中的方位解算，即为输入偏差信号，输入PD控制中，进行方位调节，使目标冰面位于摄像头物理坐标系中心。同时，加入扰动观测器，去除小车带来的扰动误差信号干扰。扰动观测器应当根据实际情况进行参数调节。

在本部分优选实施例中，耐低温锂电池203还为冰面识别控制机构3供电。

Claims (6)

1.一种车载冰面识别追踪系统，包括：车体（1）和驱动机构（2），所述车体（1）包括底板（101）、车厢外壳（102）、支撑柱（103）和顶盖（104），所述驱动机构（2）包括直流电机（201）、麦克纳姆轮（202）和耐低温锂电池（203），所述底板（101）四个方向的边缘处分别竖向安装车厢外壳（102），所述支撑柱（103）分别设立于所述底板（101）的四个角处，且将所述车厢外壳（102）连接为一体，所述顶盖（104）盖装在所述车厢外壳（102）的顶部，所述直流电机（201）和耐低温锂电池（203）安装在所述底板（101）上，所述麦克纳姆轮（202）安装在所述直流电机（201）的输出轴上，所述直流电机（201）和所述麦克纳姆轮（202）由耐低温锂电池（203）供电，

其特征在于，所述底板（101）上还安装有冰面识别控制机构（3），所述冰面识别控制机构（3）包括：中央处理器（301）、云台（302）和双目摄像机（303），所述中央处理器（301）安装在所述底板（101）的上表面前端，所述云台（302）安装在所述顶盖（104）的上表面上，所述双目摄像机（303）安装在所述云台（302）的上端，其中:

所述中央处理器（301），用于控制所述云台（302）和双目摄像机（303）工作，接收并分析所述双目摄像机（303）传入的图像数据得到冰面的方位信息和面积信息；

所述云台（302），用于受所述中央处理器（301）控制转动，以改变所述双目摄像机（303）的视角；

所述双目摄像机（303），用于受所述中央处理器（301）控制拍摄当前路面画面，并将路面图像数据传送至所述中央处理器（301）进行处理。

2.根据权利要求1所述的一种车载冰面识别追踪系统，其特征在于，所述中央处理器（301）包括冰面识别与位置标定模块（3011）、相机标定与冰面位置检测模块（3012）和冰面追踪模块（3013），其中，

所述冰面识别与位置标定模块（3011），用于将冰面与地面分类，并筛选出面积足够大的冰面；

所述相机标定与冰面位置检测模块（3012），用于根据所述冰面识别与位置标定模块（3011）筛选出的冰面确定冰面位置，并确定输出小车的转角和行驶距离；

所述冰面追踪模块（3013），用于在小车向所述冰面行进的过程中实时控制所述云台（302）和双目摄像机（303）始终正对所述冰面。

3.根据权利要求2所述的一种车载冰面识别追踪系统，其特征在于，所述冰面识别与位置标定模块（3011）包括：平滑去躁单元（30111）、灰度处理及阈值分割单元（30112）、较大冰面筛选单元（30113）和冰面位置标定单元（30114），其中，

所述平滑去躁单元（30111），用于对所述双目摄像机（303）拍得的图像进行平滑去躁处理；

所述灰度处理及阈值分割单元（30112），用于将经过平滑去躁处理后的图像转化为灰度图像，并进行阈值分割处理；

所述较大冰面筛选单元（30113），用于运动形态学运算对经过阈值分割处理的图像进行处理，保留较大冰面；

所述冰面位置标定单元（30114），用于对图像中所有较大冰面进行标定。

4.根据权利要求2所述的一种车载冰面识别追踪系统，其特征在于，所述相机标定与冰面位置检测模块（3012）包括：相机标定单元（30121）、冰面相对小车位置计算单元（30122）和冰面在相机坐标系下的深度确定单元（30123），其中，

所述相机标定单元（30121），用于对相机进行标定，以求取相机内参数；

所述冰面相对小车位置计算单元（30122），用于利用齐次坐标转换关系计算冰面相对小车的位置；

所述冰面在相机坐标系下的深度确定单元（30123），用于利用所述双目摄像机（303）确定冰面在相机坐标系下的深度。

5.根据权利要求2所述的一种车载冰面识别追踪系统，其特征在于，所述冰面追踪模块（3013）包括：冰面视觉追踪单元（30131）和小车方位PD控制单元（30132），其中，

所述冰面视觉追踪单元（30131），用于根据所述冰面的识别与标定信息为小车方位的调节提供反馈；

所述小车方位PD控制单元（30132），用于使目标冰面始终位于所述双目摄像机（303）视野的中心。

6.根据权利要求1所述的一种车载冰面识别追踪系统，其特征在于，所述耐低温锂电池（203）还为所述冰面识别控制机构（3）供电。

Images