CN116086467A - 基于无人集卡的港口接驳场景下目标检测与定位系统 - Google Patents

Abstract

本发明公开了一种基于无人集卡的港口接驳场景下目标检测与定位系统，涉及车辆运输领域，包括车身信息采集模块、位置模块、多源信息同步模块、目标检测模块、监控模块和保护者模块；所述车身信息采集模块用于采集车辆的行驶信息并发送给位置模块和目标检测模块，以提供航向过滤与筛选；所述位置模块用于根据高精度地图下绝对位置或局部地图中的绝对位置，以及结构化路面场景，提供横向位置信息；所述目标检测模块用于根据多种类型传感器对车辆附近目标进行检测，以及根据车身信息、历史轨迹点信息和高精度地图中的道路边界信息，生成主参考线路径信息和障碍物预测轨迹。本发明能够有效的满足港口业务常态化运营。

Description

基于无人集卡的港口接驳场景下目标检测与定位系统

技术领域

本发明涉及车辆运输领域，具体涉及一种基于无人集卡的港口接驳场景下目标检测与定位系统。

背景技术

在港口规划的指定驾驶路线中要求无人驾驶集装箱卡车(简称无人集卡)能实现对货运重箱的智能运输与精准装卸。

从当前主流应用技术来看，对于无人驾驶下的港口货物运输和装卸场景，主要采用单一传感器或少量传感器来针对港口的某一特定子场景或子需求进行了方案可行性设计，在港口实际应用及场景特点上应对不足，缺乏一个整体、完备且具备运营可能的实际解决方案。例如，无人驾驶集装箱卡车一般搭载一到两个激光雷达，利用车身信息检测前方目标及障碍物，虽然其能针对简单场景达到目标检测的效果，但因激光雷达的垂直视野普遍较小，针对港口运营时常见的货物重箱多层堆叠场景、龙门吊、桥吊、岸桥等超高目标精准贝位情况，在部分移动路线道路静态与动态环境特征较少场景中缺乏有效的应对，无法实现货物的智能运输和精准装卸。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于无人集卡的港口接驳场景下目标检测与定位系统，能够有效的满足港口业务常态化运营。

为达到以上目的，本发明采取的技术方案是：包括车身信息采集模块、位置模块、多源信息同步模块、目标检测模块、监控模块和保护者模块；

所述车身信息采集模块用于采集车辆的行驶信息并发送给位置模块和目标检测模块，以提供航向过滤与筛选；

所述位置模块用于根据高精度地图下绝对位置或局部地图中的绝对位置，以及结构化路面场景，提供横向位置信息；

所述目标检测模块用于根据多种类型传感器对车辆附近目标进行检测，以及根据车身信息、历史轨迹点信息和高精度地图中的道路边界信息，生成主参考线路径信息和障碍物预测轨迹；

所述多源信息同步模块用于提供多源信息时间同步策略、多传感器数据融合策略和帧间结果预测方法；

所述监控模块用于监听各传感器的工作状态，并当传感器状态异常时触发保护者模块工作；

所述保护者模块用于提供防碰撞检测与防跌落检测，以及直接获取超声波雷达数据并设置为高优先级输出，以实现车辆的防碰撞与防跌落；

其中，所述传感器包括激光雷达、毫米波雷达、摄像头、超声波雷达和组合惯导。

在上述技术方案的基础上，

所述车身信息采集模块通过采集车辆的轮速计和偏航角速率信息，根据轮速计在时间上的积分获取得到车辆的当前速度，根据偏航角速率和时间的乘积获取得到车辆的当前航向；

通过基于车辆的当前速度和当前航向，采用匀速运动模型来过滤常见目标和特殊目标检测时筛选出的离群预测值。

在上述技术方案的基础上，

对于集装箱堆场处场景，所述位置模块根据摄像头获取地面上的车道线来进行横向修正，具体的，通过车辆当前相对于左右车道线的距离，得到车辆的横向定位结果，同时，通过组合惯导中的IMU和车辆的轮速计信息计算得到车辆的纵向定位结果，将车辆的横向定位结果和纵向定位结果进行结合，得到车辆的当前位置；

对于无车道线场景，所述位置模块通过激光点云信息提取集装箱平面点云，通过车辆左右两边的集装箱平面计算得到车辆的横向定位结果，同时，通过组合惯导中的IMU和车辆的轮速计信息计算得到车辆的纵向定位结果，将车辆的横向定位结果和纵向定位结果进行结合，得到车辆的当前位置。

在上述技术方案的基础上，所述位置模块还用于实现车辆与港机间的自动定位，具体为：

当车辆距离港机的距离大于或等于预设距离时，基于RTK设备并采用全局融合定位方式将车辆导航至港机附近；

当车辆距离港机的距离小于预设距离时，车辆通过车身传感器搜索扫描港机，并待搜索到港机后，根据港机位置信息和外形轮廓信息进行相对位置匹配，获得车辆的精准停车位置；

根据获得的精准停车位置，车辆进行精确停车。

在上述技术方案的基础上，

所述目标检测模块具体用于常见目标检测和特殊目标检测；

所述常见目标检测包括车道线检测、行人检测、车辆检测和障碍物检测；

所述特殊目标检测包括红绿灯检测、港机检测和特殊标识检测。

在上述技术方案的基础上，

所述传感器按照类型分为组合惯导子系统、地图子系统、激光雷达子系统、毫米波雷达子系统、视觉子系统和超声波雷达子系统；

所述组合惯导子系统使用CAN网络进行通信，并输出定位数据、车辆运动状态信息和定位RTK修正数据，所述组合惯导子系统还用于提供以当前车辆坐标系的基础原点、预设范围内车辆运动的历史轨迹点，以及提供原子时钟供其它模块进行高精度的时间对齐；

所述地图子系统用于提供一条路径信息和交通标志标线信息，所述一条路径信息为路点信息，且每个路点均包含经纬度信息，路径上每间隔预设长度记录一个路点，一条路径信息记录在一个地图信息文件中，可同时生成多条路径信息以用于合成多路径地图；

所述激光雷达子系统由多个激光雷达构成，其中，在车辆上水平设置的激光雷达用于进行障碍物检测和车辆定位，在车辆上竖直向上设置的激光雷达用于检测港机以实现精准对位；

所述毫米波雷达子系统用于进行目标过滤，所述目标过滤包括空目标过滤、车道外目标物过滤、相对车速滤波和无效目标过滤。

在上述技术方案的基础上，

所述多源信息同步模块包括多源传感器时间对齐模块和多传感器数据融合模块；

所述多源传感器时间对齐模块用于使用内插外推法，将高采样频率传感器的测量数据转换到最低采样频率传感器的采样时刻上，其中，所述组合惯导子系统的数据频率最高，激光雷达子系统的数据频率最低。

在上述技术方案的基础上，

所述多传感器数据融合模块用于进行基于匈牙利算法的数据关联和基于卡尔曼滤波的目标跟踪；

所述基于匈牙利算法的数据关联，具体为：通过建立关联距离矩阵，并根据关联特征计算给定检测和一条轨迹之间的距离，然后通过关联距离矩阵构造匈牙利算法二分图，使用匈牙利算法并通过最小化距离成本找到最佳的检测跟踪匹配，其中，关联距离矩阵中的关联特征包括障碍物绝对位置、障碍物方向、障碍物的包围盒和障碍物的速度；

所述基于卡尔曼滤波的目标跟踪，具体为：采用卡尔曼滤波器对目标的状态进行最优估计。

在上述技术方案的基础上，

所述监控模块当监听到激光雷达、毫米波雷达、摄像头和组合惯导数据均为长时间超时状态时，启动保护者模块。

在上述技术方案的基础上，

所述防碰撞检测为通过获取超声波雷达的障碍物检测结果，根据车辆周围的障碍物情况并根据优先级定义以制定防碰撞策略；

所述防跌落检测为根据车辆上竖直向下设置的激光雷达探测得到的距离，当距离超过设定距离时制定防跌落策略。

与现有技术相比，本发明的优点在于：针对堆场装箱、堆场卸箱、岸桥上装卸箱等港口常见场景进行总结分析，对驾驶路线进行简单改造，利用激光雷达、毫米波雷达、摄像头、超声波雷达、组合惯导提供实时、稳定、精准环境感知与定位方案，从而有效的满足港口业务常态化运营。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种基于无人集卡的港口接驳场景下目标检测与定位系统的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。在本申请中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明提供一种基于无人集卡的港口接驳场景下目标检测与定位系统，通过重点分析常态化运营可能性需求，提出了场景低成本改造要点，并选择无人集卡作为载体，提出了硬件传感器配置方案，能实现简单场景目标感知和定位功能；为解决港机(龙门吊、桥吊)因车流、集装箱装载遮挡造成传感器无法精准贝位风险以及全天候运营可能，前后竖直向上激光雷达、新增射频标签及AprilTag(一种视觉定位标志符)标识，可引入地图模块以及车管平台实现粗精度定位到高精度定位，相对位置推算到绝对位置修正，为实现常态化运营场景目标感知和精准定位选择性引入。

参见图1所示，本发明实施例提供的一种基于无人集卡的港口接驳场景下目标检测与定位系统，包括车身信息采集模块、位置模块、多源信息同步模块、目标检测模块、监控模块和保护者模块。

具体的，车身信息采集模块用于采集车辆的行驶信息并发送给位置模块和目标检测模块，以提供航向过滤与筛选，本发明中的所述车辆即为无人集卡；位置模块用于根据高精度地图下绝对位置或局部地图中的绝对位置，以及结构化路面场景，提供横向位置信息；目标检测模块用于根据多种类型传感器对车辆附近目标进行检测，以及根据车身信息、历史轨迹点信息和高精度地图中的道路边界信息，生成主参考线路径信息和障碍物预测轨迹；多源信息同步模块用于提供多源信息时间同步策略、多传感器数据融合策略和帧间结果预测方法；监控模块用于监听各传感器的工作状态，并当传感器状态异常时触发保护者模块工作；保护者模块用于提供防碰撞检测与防跌落检测，以及直接获取超声波雷达数据并设置为高优先级输出，以实现车辆的防碰撞与防跌落。

其中，传感器包括激光雷达、毫米波雷达、摄像头、超声波雷达和组合惯导。多源信息时间同步策略接收时间流，用内插外推法将高采样频率传感器的测量数据转换到最低采样频率传感器的采样时刻进行对齐。多传感器数据融合策略上使用匈牙利匹配算法，构建KD-Tree(一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构)来减少搜索路径带来的时间代价；结合车身运动姿态、历史轨迹、运动模型和扩展卡尔曼滤波把实际检测和跟踪的障碍物运动信息进行二次筛选，从而减少误检、估计的位姿信息丢失和跳变，更稳定地输出目标检测当前最优化结果。

在实际应用时，按调度指令使无人集卡从停靠区出发驶至堆场轮胎吊装箱，驶至岸桥标记处自动对位，桥吊取走货运重箱到停岸货轮并抓取集装箱卸到无人集卡进行转运，集卡驶向堆场轮胎吊卸箱并返回至集卡停靠区，这是整个货运重箱运输与卸载流程。

港口环境作为一个封闭区域，驾驶路线、道路使用者及环境、天气状态与较城市道路、高速道路存在着一定差异；如铺装路面存在着破损、凹陷、坡度等；道路车道线一般为非标准宽度自划线，部分车道线还分轮胎吊行进车道与运载车道，单个车道线宽度从2.8米到6米不等，不适合以国标(如道路标线与标志20019)作为参数阈值的车道线检测算法；直角弯和U型弯场景较难，主要包含着低矮目标(如水泥隔离墩、防撞墩、水马或围挡等)、超高目标(如多层集装箱等)、甚至大转角时无任何目标，加上GPS信号易受到电磁干扰和遮挡影响，严重影响定位效果；道路使用者主要有桥吊、轮胎吊、车辆(如有叉车、内外集卡拖车等)、行人(如带安全帽行人、驾驶员、设备操作人员)等，在高度、类型限制上，目标检测也需做特殊考虑；港口天气和环境一般为强光直射、风雨天气，海面波浪反光，夜间低照度，部分区域有灯塔灯光，纯摄像头视觉方案很难做到全天候运营；集卡满载最高时速36km/h，通过主干道时速≤25km/h，桥下通行时速≤10km/h，堆场内车道通行时速≤15km/h，转弯时速设为10km/h，整体可视为低速运营场景；标准集装箱普遍为20尺、40尺，体型较大，在集卡满载与车流场景时极易产生遮挡问题，在传感器安装设计上也需注意。

针对港口上述特点，本发明将从路线简单改造、硬件方案、软件方案三个层面详细介绍实现目标检测与定位的方案设计，从而达到全天候运营可能性。

在路线改造上，主要以地面重新画线，加强重箱堆场标识标号，特殊设备(如轮胎吊、桥吊)增加RFID(射频识别技术)和AprilTag标记。诸如地面车道线、地面标识的绘制应参考国标“道路标识与标线”要求进行绘制。射频标签和AprilTag标记主要在港机(龙门吊、桥吊)轨道轮上方横梁和港机顶部横梁底部选择性安装，参考标准主要结合关联传感器的视场角、反应距离等参数及需求进行计算评估后再进行实际测试确认。射频标签选择主要是AprilTag标记易受环境(低照度或无光照环境下无法识别缺点)影响进行补充，其大小可根据下表1数据进行参考。

表1AprilTag尺寸建议

无人集卡采用双电机、多片簧钢板悬架，且具有电液转向、四轮驱动，并取消驾驶室设计，与其它货运卡车相比能进行更精准操作、更小转弯半径。

对于本发明中传感器的具体配置，激光雷达的数量不少于6个，摄像头的数量不少于8个，超声波雷达的数量不少于24个，毫米波雷达的数量不少于6个，组合惯导的数量为1个。需要说明的是，对于竖直向上安装的摄像头和激光雷达，主要用来识别桥吊、龙门吊等超高目标。

在软件方案上，如图1所示，分为6个必要模块和2个可选模块，必要模块包括车身信息采集模块、位置模块、多源信息同步模块、目标检测模块、监控模块和保护者模块，可选模块包括车管平台和地图模块。

具体的，对于本发明中的车身信息采集模块，车身信息采集模块通过采集车辆的轮速计和偏航角速率信息，根据轮速计在时间上的积分获取得到车辆的当前速度，根据偏航角速率和时间的乘积获取得到车辆的当前航向，然后通过基于车辆的当前速度和当前航向，采用匀速运动模型(Constant Velocity，简称CV)来过滤常见目标和特殊目标检测时筛选出的离群预测值。

具体的，对于本发明中的位置模块，主要提供车辆当前基于局部或全局坐标系下的绝对位置信息，也为目标检测模块提供历史位置信息及预测信息，用于障碍物误检过滤。地图为组合惯导与激光雷达点云融合结果，离线建图对场景变化容忍度不高，但对实时定位时的硬件性能要求稍低；在线建图对场景变化的容忍度较高，对硬件性能要求较高，如果建图仍然耗时，使用硬件性能不高，可采用离线构建自有数据停车点模块进行位置匹配，但此时装卸箱点将会限制在根据停车点附近进行操作。因此根据处理平台性能和场景特点自行选择离线建图与在线建图模式。

对于集装箱堆场处场景，卫星信号会受到干扰，组合惯导定位不准，因此位置模块可根据摄像头获取地面上的车道线来进行横向修正，具体的，通过车辆当前相对于左右车道线的距离，得到车辆的横向定位结果，同时，通过组合惯导中的IMU(InertialMeasurement Unit，惯性测量单元)和车辆的轮速计信息计算得到车辆的纵向定位结果，将车辆的横向定位结果和纵向定位结果进行结合，得到车辆的当前位置。

对于无车道线场景，所述位置模块通过激光点云信息提取集装箱平面点云，通过车辆左右两边的集装箱平面计算得到车辆的横向定位结果，同时，通过组合惯导中的IMU和车辆的轮速计信息计算得到车辆的纵向定位结果，将车辆的横向定位结果和纵向定位结果进行结合，得到车辆的当前位置。

进一步的，位置模块基于GNSS(Global Navigation Satellite System，全球导航卫星系统)信号及激光SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)信号开机自动定位；可实现根据不同导航模块信号值置信度自动调整算法参数；驶出GNSS信号遮挡较严重区域自动重定位GNSS信号并调整算法参数；不需要大面积铺设磁轨、磁钉、激光反射板等辅助定位设施，即可实现车辆的自主定位与导航。

自动驾驶模式下，为了提高自动对位成功率，车头进入桥吊联系梁或龙门吊主梁下对位成功时间短，特将无人集卡运输设备与港机(桥吊、龙门吊)对位分为一次对位和二次对位，即位置模块还用于实现车辆与港机间的自动定位，具体为：

A：当车辆距离港机的距离大于或等于预设距离时，基于RTK(实时动态载波相位差分技术)设备并采用全局融合定位方式将车辆导航至港机附近；

B：当车辆距离港机的距离小于预设距离时，车辆通过车身传感器搜索扫描港机，并待搜索到港机后，根据港机位置信息和外形轮廓信息进行相对位置匹配，获得车辆的精准停车位置；

C：根据获得的精准停车位置，车辆进行精确停车。

实际上，桥吊底下容易存在多辆等待装箱或卸箱场景，集卡附近均为其他装载集装箱集卡，对LiDAR的遮挡严重，导致无法获取到桥吊大车部分点云。针对该种场景，可新增车管平台和高精度地图实现动态港机精准对位。车管平台中有地面工作人员发布对位仓位及车辆信息，无人集卡通过车辆管理系统(Vehicle Management System，简称VMS)接收码头操作系统(Terminal Operating System,，简称TOS)调度平台下达的指令，同时将识别到的信息及状态信息上传，如车辆位置、是否到达、装/卸货状态、箱型/数量以及集卡运行状态等信号数据，实现TOS(码头操作系统)、VMS、无人集卡间实时精准高效的交互作业。

将具体车辆停车位置进行地面改造标记位置。如路面改造时，在港机底下增加标记，在高精度地图采集时，将该标记集成至地图中。

从VMS中接收停至货区具体车位位置调度指令，自车粗定位完成进入港机底下时，开始精准对位模式。基于港机顶部朝下相机，目标检测模块提供多车道线检测、车辆检测和目标车辆编号检测与追踪，根据港机吊具抓手下是否安装了相机，确认是否执行抓手的精准微调修正，从而实现港机与目标车辆相对位姿的精准估计。使用基于标记在高精度地图的绝对位置、基于相机标记检测和GPS位置、港机与地面标号位姿的相对位置估计，从而能推测出当前车辆的精准绝对位置估计值。在自车信息(当前车辆编号、车道信息、自车惯导位置、自车估计位置)通过车管平台将当前状态的估计值与基于多源位置融合出观测值进行融合反馈，从而更新当前车辆的精准定位结果的最优估计。

本发明中，目标检测模块具体用于常见目标检测和特殊目标检测；常见目标检测包括车道线检测、行人检测、车辆检测和障碍物检测；特殊目标检测包括红绿灯检测、港机检测和特殊标识(如AprilTag)检测。

传感器按照类型分为组合惯导子系统、地图子系统、激光雷达子系统、毫米波雷达子系统、视觉子系统和超声波雷达子系统。

组合惯导子系统使用CAN(Controller Area Network，控制器域网)网络进行通信，并输出定位数据、车辆运动状态信息和定位RTK修正数据，所述组合惯导子系统还用于提供以当前车辆坐标系的基础原点、预设范围内车辆运动的历史轨迹点，以及提供原子时钟供其它模块进行高精度的时间对齐。

通过事先标定好组合惯导，使用组合惯导提供的工具或命令将标定参数设置到组合惯导内部，然后每次重启组合惯导都不需要重新标定，除非组合惯导或惯导天线位置发生变化。组合惯导标定好后通过CAN口发送二进制数据到协议解析模块，协议解析模块根据组合惯导协议将二进制数据解析成定位数据并输出给其他系统和模块，包括自车的位置、角度、速度、角速度和加速度，以及定位状态。状态监控模块实时监控协议解析模块输出的定位状态信号，如果定位状态信号中断超过一定时间(比如200毫秒)传感器状态输出为异常，否则输出为正常。

地图子系统用于提供一条路径信息和交通标志标线信息，所述一条路径信息为路点信息，且每个路点均包含经纬度信息，路径上每间隔预设长度记录一个路点，一条路径信息记录在一个地图信息文件中，可同时生成多条路径信息以用于合成多路径地图；配置过程通过配置文件完成，配置文件中包含交通标志牌、交通标线、地面标线等。

激光雷达子系统由多个激光雷达构成，其中，在车辆上水平设置的激光雷达用于进行障碍物检测和车辆定位，在车辆上竖直向上设置的激光雷达用于检测港机以实现精准对位。

进一步的，在多激光雷达标定方法上采用手动配准和算法配准两部分来进行标定。

对于手动配准，通过程序使用键盘按键控制激光雷达坐标系的平移和旋转；两个激光雷达之间的坐标变换关系通过ROS(Robot Operation System，机器人操作系统)下tf变换时时传到rviz(三维可视化平台)中以便于观察配准的效果，最终得到粗略配准的旋转和平移量，为下一步算法配准提供较好的初值。

对于算法配准，采用NDT(Normal Distributions Transform，正态分布变换算法)算法对手动标定后的多激光雷达再次标定以获得较为精确的结果。NDT算法的基本思想是先根据参考数据(其中一个雷达的点云数据)划分为多个子区域，构建多维变量的正态分布；若变换参数最优，两激光雷达的点云数据匹配则最好，那么变换点(另一个雷达的点云数据)在该区域的概率密度最大。因此，使用优化的方法求出使得概率密度之和最大的变换参数。NDT算法对初值有一定的要求，因此需要手动标定的数据对其进行初始化，基本步骤为：将参考点云所占的空间划分成一定大小的网格，并计算每个网格的多维正态分布参数；然后初始化参数；后将要配准的点云通过坐标变换将其转换到参考点云的网格中，随后计算每个转换点的概率密度；NDT配准将每个点的概率密度相加，并生成得分；最后通过优化算法对目标函数，即得分进行优化，也就是寻找使得得分最大的变换参数；当达到一定收敛条件后，得出最终结果。将获得最终的标定结果后，在rviz中观察两激光点云的配准情况；分别在x-y平面，y-z平面，x-z平面观察平移和旋转是否重合来判断标定结果的好坏；若误差较大，需重新标定。

在障碍物检测过程中采用基于连通域的最小包络面积矩形的方法进行目标识别。首先对两帧融合的障碍物栅格地图进行形态学闭运算，消除密集障碍物点之间的间隙，再由上一帧对这一帧可能的目标位置预测区域进行更加强力的闭运算，得到一个个的障碍物块，紧接着进行连通域分析，获得障碍物块的轮廓，之后计算包络这个轮廓的最小面积矩形，再根据轮廓内的最大障碍物高度构建一个长方体，从而构建出目标地图。

对于毫米波雷达子系统，工作时会受到来自环境背景杂波、内部工作不稳定、电磁干扰的影响，从而导致毫米波雷达返回前方目标的信息中，包含了大量的无用、虚假目标的噪声。毫米波雷达工作时主要的干扰来源有，金属障碍物、绿化带内树木、高速护栏、电磁干扰等。

毫米波雷达子系统用于进行目标过滤，所述目标过滤包括空目标过滤、车道外目标物过滤、相对车速滤波和无效目标过滤。

对于空目标过滤，在通常情况下，道路中运行的车辆和物体的数量有限，毫米波雷达返回的数据经过解析成为64个目标，64个目标中会包含未检测到有效障碍物的空值目标数据，其值是系统默认值，因此为获得有效运动目标必须首先滤除空值目标数据，当雷达数据中角度或车距为0时，认定此目标为空目标，并以此条件将空目标剔除。

对于车道外目标物过滤，由于毫米波雷达近程扫描角度较大，会将栅栏、树木和路边静止的物体扫描到，因此为了获得有效车道内的目标信息需要对毫米波雷达扫描范围进行约束。车辆不仅应关注来自于本车道的车辆威胁，同时也关注和监控旁车道车辆的威胁。

对于相对车速滤波，根据相对车道扫描范围滤波后的雷达数据仍然存在较多噪声，特别是当车辆处于高速公路超车道时，雷达将扫描到对向车道的车辆运动信息。假设前车与本车相对速为V1。若V1>0，表示前车加速离开，当V1<0，表示前车向本车靠近。根据高速公路最高限速120km/h的要求，假设本车以最高限速行驶，同向前方车辆故障静止车速为0，相对车速最高为34m/s。若本车静止，同向车道前方车辆以最高限速车速行驶，同向车道最高相对车速为34m/s。若本车处于超车道，雷达扫描到对向车道超车道上的车辆相对车速应该大于34m/s。

有效车速应满足以下条件：

|V1|≤V0

假设V0为相对车速阈值，若V0取值较小，则会将同向车道有效目标漏掉，若V0取值太大，则无法滤除旁车道车辆运动信息。但ESR最高扫描正车速为25m/s，因此按照以下规则设定车速范围：

0<V1<25m/s

0>V1>-34m/s

当雷达返回数据解析的目标车速在此范围之内，为有效目标，若不满足则当作无效目标滤除。

对于无效目标过滤，毫米波雷达在探测目标过程中偶尔会受到非空信号的干扰，受到非空信号干扰的目标数据具有出现时间短、无持续性、连续数据跳跃等特点。这种无效数据目标在道路上是不存在的，需要进一步进行过滤，以排除无效目标的影响。任何一个雷达目标从雷达发现到跟踪的过程，都是从雷达的扫描边界出现并进入视野中，突然出现在雷达的扫描视野中的目标为无效目标。

对于本发明中的多源信息同步模块，多源信息同步模块包括多源传感器时间对齐模块和多传感器数据融合模块；多源传感器时间对齐模块用于使用内插外推法，将高采样频率传感器的测量数据转换到最低采样频率传感器的采样时刻上，其中，所述组合惯导子系统的数据频率最高，激光雷达子系统的数据频率最低。也就是将各传感器采集的目标观测数据推算到低频率的激光雷达子系统数据时间点上，以实现各传感器时间上的匹配。

多传感器数据融合模块用于进行基于匈牙利算法的数据关联和基于卡尔曼滤波的目标跟踪；障碍物融合是对经过时间和空间同步之后的多个传感器的多个目标进行数据融合实现对象的运动状态估计，能提高感知系统障碍物信息的精度和抗干扰能力，防止漏识别和误识别。

对于基于匈牙利算法的数据关联，由于多个传感器所处的位置不同、时间度量存在偏差即使做了时间和空间同步也无法保证没有误差，并且各传感器的测量精度也存在一定的差异，所以需要对所有的测量数据进行多目标的数据关联。具体的，通过建立关联距离矩阵，并根据关联特征计算给定检测和一条轨迹之间的距离，然后通过关联距离矩阵构造匈牙利算法二分图，使用匈牙利算法并通过最小化距离成本找到最佳的检测跟踪匹配，其中，关联距离矩阵中的关联特征包括障碍物绝对位置、障碍物方向、障碍物的包围盒和障碍物的速度。

对于基于卡尔曼滤波的目标跟踪，具体为：采用卡尔曼滤波器对目标的状态进行最优估计。

即将平面内目标运动分解为两个方向上的运动，即将状态量选择为x、y、vx、vy，运动目标的运动被分解为x和y两个方向上的匀速直线运动，这种模型下两个方向上的运动事实上是互不相关的，甚至可以使用两个卡尔曼滤波器对两个方向上的位置和速度进行独立的估计。然而事实上，对于一个在道路上行驶的车辆，速度的大小是由发动机、档位和制动器来决定的，方向盘决定速度在x、y两个方向上的分量，也就是说vx和vy并不是互相独立的两个状态量，本质上都是由速度以及速度的方向决定，为了能够更好的描述运动目标的物理意义，采用了互相独立的四个物理量：x、y、v、θ，代表目标的位置坐标、速度和速度的方向，在同一时刻它们四个是互相独立的物理量，即四个物理量之间的误差协方差为0。比如目标的速度方向一般不会发生大的变化，而速度可能有比较大的变化，如果采用速度分解为两个方向上分量模型，那么就很难描述这速度和速度方向两个物理量不同的噪声特性，而卡尔曼滤波器就是根据带有误差的测量值和模型进行最优估计的方法，所以采用这四个物理量能够更加精确合理的描述目标的运动。

本发明中，监控模块当监听到激光雷达、毫米波雷达、摄像头和组合惯导数据均为长时间超时状态时，启动保护者模块。

本发明中，防碰撞检测为通过获取超声波雷达的障碍物检测结果，根据车辆周围的障碍物情况并根据优先级定义以制定防碰撞策略；防跌落检测为根据车辆上竖直向下设置的激光雷达(如车身四个角落竖直向下设置的激光雷达)探测得到的距离，当距离超过设定距离时制定防跌落策略。

本发明实施例的基于无人集卡的港口接驳场景下目标检测与定位系统，针对堆场装箱、堆场卸箱、岸桥上装卸箱等港口常见场景进行总结分析，对驾驶路线进行简单改造，利用激光雷达、毫米波雷达、相机、超声波雷达、组合惯导提供实时、稳定、精准环境感知与定位方案，从而有效的满足港口业务常态化运营。

在本申请的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在本申请中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于无人集卡的港口接驳场景下目标检测与定位系统，其特征在于，包括车身信息采集模块、位置模块、多源信息同步模块、目标检测模块、监控模块和保护者模块；

所述车身信息采集模块用于采集车辆的行驶信息并发送给位置模块和目标检测模块，以提供航向过滤与筛选；

所述位置模块用于根据高精度地图下绝对位置或局部地图中的绝对位置，以及结构化路面场景，提供横向位置信息；

所述目标检测模块用于根据多种类型传感器对车辆附近目标进行检测，以及根据车身信息、历史轨迹点信息和高精度地图中的道路边界信息，生成主参考线路径信息和障碍物预测轨迹；

所述多源信息同步模块用于提供多源信息时间同步策略、多传感器数据融合策略和帧间结果预测方法；

所述监控模块用于监听各传感器的工作状态，并当传感器状态异常时触发保护者模块工作；

所述保护者模块用于提供防碰撞检测与防跌落检测，以及直接获取超声波雷达数据并设置为高优先级输出，以实现车辆的防碰撞与防跌落；

其中，所述传感器包括激光雷达、毫米波雷达、摄像头、超声波雷达和组合惯导。

2.如权利要求1所述的一种基于无人集卡的港口接驳场景下目标检测与定位系统，其特征在于：

所述车身信息采集模块通过采集车辆的轮速计和偏航角速率信息，根据轮速计在时间上的积分获取得到车辆的当前速度，根据偏航角速率和时间的乘积获取得到车辆的当前航向；

通过基于车辆的当前速度和当前航向，采用匀速运动模型来过滤常见目标和特殊目标检测时筛选出的离群预测值。

3.如权利要求1所述的一种基于无人集卡的港口接驳场景下目标检测与定位系统，其特征在于：

对于集装箱堆场处场景，所述位置模块根据摄像头获取地面上的车道线来进行横向修正，具体的，通过车辆当前相对于左右车道线的距离，得到车辆的横向定位结果，同时，通过组合惯导中的IMU和车辆的轮速计信息计算得到车辆的纵向定位结果，将车辆的横向定位结果和纵向定位结果进行结合，得到车辆的当前位置；

对于无车道线场景，所述位置模块通过激光点云信息提取集装箱平面点云，通过车辆左右两边的集装箱平面计算得到车辆的横向定位结果，同时，通过组合惯导中的IMU和车辆的轮速计信息计算得到车辆的纵向定位结果，将车辆的横向定位结果和纵向定位结果进行结合，得到车辆的当前位置。

4.如权利要求3所述的一种基于无人集卡的港口接驳场景下目标检测与定位系统，其特征在于，所述位置模块还用于实现车辆与港机间的自动定位，具体为：

当车辆距离港机的距离大于或等于预设距离时，基于RTK设备并采用全局融合定位方式将车辆导航至港机附近；

当车辆距离港机的距离小于预设距离时，车辆通过车身传感器搜索扫描港机，并待搜索到港机后，根据港机位置信息和外形轮廓信息进行相对位置匹配，获得车辆的精准停车位置；

根据获得的精准停车位置，车辆进行精确停车。

5.如权利要求1所述的一种基于无人集卡的港口接驳场景下目标检测与定位系统，其特征在于：

所述目标检测模块具体用于常见目标检测和特殊目标检测；

所述常见目标检测包括车道线检测、行人检测、车辆检测和障碍物检测；

所述特殊目标检测包括红绿灯检测、港机检测和特殊标识检测。

6.如权利要求5所述的一种基于无人集卡的港口接驳场景下目标检测与定位系统，其特征在于：

所述传感器按照类型分为组合惯导子系统、地图子系统、激光雷达子系统、毫米波雷达子系统、视觉子系统和超声波雷达子系统；

所述组合惯导子系统使用CAN网络进行通信，并输出定位数据、车辆运动状态信息和定位RTK修正数据，所述组合惯导子系统还用于提供以当前车辆坐标系的基础原点、预设范围内车辆运动的历史轨迹点，以及提供原子时钟供其它模块进行高精度的时间对齐；

所述地图子系统用于提供一条路径信息和交通标志标线信息，所述一条路径信息为路点信息，且每个路点均包含经纬度信息，路径上每间隔预设长度记录一个路点，一条路径信息记录在一个地图信息文件中，可同时生成多条路径信息以用于合成多路径地图；

所述激光雷达子系统由多个激光雷达构成，其中，在车辆上水平设置的激光雷达用于进行障碍物检测和车辆定位，在车辆上竖直向上设置的激光雷达用于检测港机以实现精准对位；

所述毫米波雷达子系统用于进行目标过滤，所述目标过滤包括空目标过滤、车道外目标物过滤、相对车速滤波和无效目标过滤。

7.如权利要求6所述的一种基于无人集卡的港口接驳场景下目标检测与定位系统，其特征在于：

所述多源信息同步模块包括多源传感器时间对齐模块和多传感器数据融合模块；

所述多源传感器时间对齐模块用于使用内插外推法，将高采样频率传感器的测量数据转换到最低采样频率传感器的采样时刻上，其中，所述组合惯导子系统的数据频率最高，激光雷达子系统的数据频率最低。

8.如权利要求7所述的一种基于无人集卡的港口接驳场景下目标检测与定位系统，其特征在于：

所述多传感器数据融合模块用于进行基于匈牙利算法的数据关联和基于卡尔曼滤波的目标跟踪；

所述基于匈牙利算法的数据关联，具体为：通过建立关联距离矩阵，并根据关联特征计算给定检测和一条轨迹之间的距离，然后通过关联距离矩阵构造匈牙利算法二分图，使用匈牙利算法并通过最小化距离成本找到最佳的检测跟踪匹配，其中，关联距离矩阵中的关联特征包括障碍物绝对位置、障碍物方向、障碍物的包围盒和障碍物的速度；

所述基于卡尔曼滤波的目标跟踪，具体为：采用卡尔曼滤波器对目标的状态进行最优估计。

9.如权利要求1所述的一种基于无人集卡的港口接驳场景下目标检测与定位系统，其特征在于：

所述监控模块当监听到激光雷达、毫米波雷达、摄像头和组合惯导数据均为长时间超时状态时，启动保护者模块。

10.如权利要求1所述的一种基于无人集卡的港口接驳场景下目标检测与定位系统，其特征在于：

所述防碰撞检测为通过获取超声波雷达的障碍物检测结果，根据车辆周围的障碍物情况并根据优先级定义以制定防碰撞策略；

所述防跌落检测为根据车辆上竖直向下设置的激光雷达探测得到的距离，当距离超过设定距离时制定防跌落策略。

Images