CN117125620A - 铁路正面吊装车作业辅助系统及其工作方法 - Google Patents

Abstract

本发明提出了一种铁路正面吊装车作业辅助系统及其工作方法，该系统包括将视觉传感器、毫米波测距传感器和激光雷达集成为一体的多维复合探测器、中控器和数据处理器；根据视觉传感器获取的视觉信息判断吊具是否挂载集装箱；测量吊车与敞车的距离；判断是否进入装载区；当进入装载区时，进行三维扫描；提取敞车和集装箱三维点云以及集装箱型号；计算集装箱中心，判断集装箱中心是否位于敞车中心区域，并以虚拟图像形式反馈，辅助操作人员进行吊装作业。本申请获取的数据反馈速度快，不受天气或卫星质量的数据传输限制，计算量少，反应快，实现了数据实时反馈，利用多维数据融合显示，也实现了作业流程与多源探测设备的接力融合，定位结果更精准。

Description

铁路正面吊装车作业辅助系统及其工作方法

技术领域

本发明涉及铁路正面吊装技术领域，特别涉及一种铁路正面吊装车作业辅助系统及其工作方法。

背景技术

正面吊装或龙门吊装时货运集装箱装卸的主要装卸手段，龙门吊装通常采用龙门吊起重机横跨火车轨道、集装箱箱区和集装箱卡车车道。吊运时，火车上集装箱或集装箱卡车与起重机吊具的对位依赖司机人工目测，当吊具下降接近集装箱时，司机根据目测吊具与集装箱的位置反复移动吊具，此类方法严重降低装卸速度影响工作效率，在现有技术中例如公开号为CN112850498A，名称为铁路龙门吊吊具定位控制系统和方法的专利中则是采用布设多个激光扫描仪的形式，测量小车与集装箱的距离，辅助实现吊具的定位；但是该过程需要在吊具进行多个激光扫描仪和传感器的布设，一旦铁路停车时车厢没有停在龙门吊的预设范围内就需要反复调整，因此该过程并不容易实现。

正面吊装是将集装箱吊起并且将集装箱移动到敞车上，或者正面吊将集装箱吊起并且将集装箱从敞车上移出。由于具有较好的移动性和工作范围可灵活调整，因此，能很好的弥补龙门吊的上述缺点，但是现有的正面吊装技术中，由于集装箱的尺寸大，在正面吊装载集装箱的作业中，正面吊要将集装箱放置在敞车中线上，不能出现较大的偏载，因此对吊装司机的操作要求很高，现有技术中例如：申请号为201811152102.X名称为“一种集装箱装载对中系统”的专利申请文献中提供的对中方法是利用北斗等全球导航卫星获取定位数据，通过解算吊具的导航信号实现对定位，但是此种方法需要实时对定位数据进行解算，且受到定位基站和卫星信号的影响，定位精度较低，无法得到高精度的对中结果，因此需要提供一种解算速度较快，不易受到干扰和限制，且能够得到精准对中结果的铁路正面吊装车作业辅助系统及其工作方法。

发明内容

本发明的目的旨在至少解决所述的技术缺陷之一。

为此，本发明的一个目的在于提出一种铁路正面吊装车作业辅助系统及其工作方法，采用视觉传感器、毫米波测距传感器和激光雷达集成为一体的多维复合探测器，在吊装过程中，同步获取视觉、距离和三维扫描信息，实现正面吊装的准确对中。

为了实现上述目的，本发明一方面的实施例提供一种铁路正面吊装车作业辅助系统，包括多维复合探测器、中控器和数据处理器；

所述多维复合探测器将视觉传感器、毫米波测距传感器和激光雷达集成为一体，设置在吊车前方，并设置为吊具处于视野范围中心；

所述中控器用于控制开启视觉传感器，根据视觉传感器获取的视觉信息判断吊具是否挂载集装箱；当挂载集装箱时，启动毫米波测距传感器测量吊车与敞车的距离；判断是否进入装载区；当进入装载区时，控制开启激光雷达，利用激光雷达对敞车和集装箱进行三维扫描；

所述数据处理器用于根据对敞车和集装箱的三维扫描数据，提取敞车三维点云和集装箱三维点云；根据视觉信息提取集装箱型号；根据集装箱三维点云数据和集装箱型号计算集装箱中心，判断集装箱中心是否位于敞车中心区域，并以虚拟图像形式反馈，辅助操作人员进行吊装作业。

进一步优选的，所述判断集装箱中心是否位于敞车中心区域，包括如下过程：

利用敞车三维点云提取敞车两个对角的坐标，根据两个对角的坐标计算敞车中心坐标；

根据敞车中心坐标，按照预设的容错范围生成中心框；

利用集装箱三维点云提取集装箱横向边线和纵向边线；根据集装箱型号，利用横向边线偏移生成中心横线，当中心横线落入中心框时，提示操作员驻车；

根据纵向边线偏移生成中心竖线，当中心竖线落入中心框时，提示操作员将集装箱下放吊具完成吊装。

进一步优选的，还包括当中心线落入中心框时，根据视觉信息进行全景展示，提取敞车的边框和集装箱的边框，判断集装箱的边框是否落入敞车边框范围内，生成动态二维差量指示箭头图，通过车内显示屏提供给正面吊驾驶员。

进一步优选的，所述根据视觉传感器获取的视觉信息判断吊具是否挂载集装箱，包括以下过程：

通过机器学习建立挂载识别网络和敞车识别网络；

根据实时获取的视觉信息进行目标识别，所述挂载识别网络用于实时获取的图像中识别集装箱；

所述敞车识别网络用于从实时获取的图像中识别敞车。

进一步优选的，所述数据处理器还包括根据视觉信息和敞车识别网络识别出来的敞车位置中，选定待作业敞车区域，对选定的敞车区域范围进行边缘检测，将相邻的非作业敞车进行重新赋色。

进一步优选的，所述启动毫米波测距传感器测量吊车与敞车的距离，判断是否进入装载区，包括如下步骤：

所述毫米波测距传感器获取与前方障碍物的距离；

当得到的距离值连续下降到预设范围时，检测敞车识别网络的识别结果，当识别到敞车目标时，确认进入装载区。

本发明还提供一种铁路正面吊装车作业辅助系统工作方法，包括以下步骤：

S1、获取的视觉信息判断吊具是否挂载集装箱；

S2、当挂载集装箱时，测量吊车与敞车的距离；判断是否进入装载区；

S3、当进入装载区时，利用激光雷达对敞车和集装箱进行三维扫描；

S4、根据对敞车和集装箱的三维扫描数据，提取敞车三维点云和集装箱三维点云；

S5、根据视觉信息提取集装箱型号，根据集装箱三维点云数据和集装箱型号计算集装箱中心，判断集装箱中心是否位于敞车中心区域，并以虚拟图像形式反馈，辅助操作人员进行吊装作业。

进一步优选的，在S5中，所述判断集装箱中心是否位于敞车中心区域时，包括：

S501、利用敞车三维点云提取敞车两个对角的坐标，根据两个对角的坐标计算敞车中心坐标；

S502、根据敞车中心坐标，按照预设的容错范围生成中心框；

S503、利用集装箱三维点云提取集装箱横向边线和纵向边线；根据集装箱型号，利用横向边线偏移生成中心横线，当中心横线落入中心框时，提示操作员驻车；

S504、根据纵向边线偏移生成中心竖线，当中心竖线落入中心框时，提示操作员将集装箱下放吊具完成吊装。

进一步优选的，在S1中，所述根据视觉传感器获取的视觉信息判断吊具是否挂载集装箱，包括以下过程：

S101、通过机器学习建立挂载识别网络和敞车识别网络；

S102、根据实时获取的视觉信息进行目标识别，所述挂载识别网络用于实时获取的图像中识别集装箱；所述敞车识别网络用于从实时获取的图像中识别敞车。

根据本发明实施例提供的铁路正面吊装车作业辅助系统及其工作方法，相比于现有技术，至少具有以下优点：

本申请采用视觉传感器、毫米波测距传感器和激光雷达集成为一体的多维复合探测器，在吊装过程中，通过对获取的图像进行目标识别后，利用三维扫描信息，对集装箱和敞车的位置进行计算，以敞车中心位置为基准划分中心区域，通过对比集装箱中心是否落入中心区域中，对集装箱的位置进行初步对中识别，初步对中识别后，保证集装箱能够落入敞车范围；再利用全景图像，根据图像边缘检测结果进行精细调整，最终实现正面吊装的准确对中，相比于现有技术，本申请获取的数据反馈速度快，不受天气或卫星质量的数据传输限制，并且计算过程中，计算量少，反应快，实现了数据实时反馈，利用多维数据融合显示，也实现了作业流程与多源探测设备的接力融合，发挥每一种探测器的特点，从一个探测设备到另一个探测设备的覆盖范围的切换与交接，定位结果更精准。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明提供的一种铁路正面吊装车作业辅助系统的结构图；

图2为本发明提供的一种铁路正面吊装车作业辅助系统工作方法的流程图；

图3为本发明中集装箱中心是否位于敞车中心区域的判断示意图；

图4为本发明另一项实施例中集装箱偏转识别示意图；

图5为本发明中全景展示的示意图；

图6为本发明中集装箱挂载的目标识别流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1所示，本发明实施例的一种铁路正面吊装车作业辅助系统，包括多维复合探测器、中控器和数据处理器；

所述多维复合探测器将视觉传感器、毫米波测距传感器和激光雷达集成为一体，设置在吊车前方，并设置为吊具处于视野范围中心；

所述中控器用于控制开启视觉传感器，根据视觉传感器获取的视觉信息判断吊具是否挂载集装箱；当挂载集装箱时，启动毫米波测距传感器测量吊车与敞车的距离；判断是否进入装载区；当进入装载区时，控制开启激光雷达，利用激光雷达对敞车和集装箱进行三维扫描；

所述数据处理器用于根据对敞车和集装箱的三维扫描数据，提取敞车三维点云和集装箱三维点云；根据视觉信息提取集装箱型号；根据集装箱三维点云数据和集装箱型号计算集装箱中心，判断集装箱中心是否位于敞车中心区域，并以虚拟图像形式反馈，辅助操作人员进行吊装作业。

如图3所示，所述判断集装箱中心是否位于敞车中心区域，包括如下过程：

利用敞车三维点云提取敞车两个对角的坐标，根据两个对角的坐标计算敞车中心坐标；需要说明的是，此时对三维点云进行投影的方式，生成目标正射投影图，将关注点的识别问题由三维空间降到二维空间，在此基础上利用去均值归一化相关算法将目标与模型表面投影图进行灰度匹配，计算目标与模型的灰度相似性，并综合利用模型和场景的尺寸信息构建组合识别准则。数据降维后减少数据冗余带来的计算压力。进行取中心、取边缘计算更加便捷与快速。

根据敞车中心坐标，按照预设的容错范围生成中心框；

利用集装箱三维点云提取集装箱横向边线和纵向边线；根据集装箱型号，利用横向边线偏移生成中心横线，当中心横线落入中心框时，提示操作员驻车；

根据纵向边线偏移生成中心竖线，当中心竖线落入中心框时，提示操作员将集装箱下放吊具完成吊装。

如图5所示，还包括当中心竖线落入中心框时，根据视觉信息进行全景展示，提取敞车的边框和集装箱的边框，判断集装箱的边框是否落入敞车边框范围内，生成动态二维差量指示箭头图，通过车内显示屏提供给正面吊驾驶员。需要说明的是，本申请中中心横线的纵坐标与中心竖线的横坐标等维持恒定不变时，利用中心框进行检测。

本申请还提供另一实施例，判断集装箱与敞车是否对中，包括：

判断三维模型是否有效；

生成三维点云；

将三维点云进行平面投影，将三维点云的坐标降维成二维坐标；

分别将X坐标和Y坐标提取出来生成“取中”数组；

具体包括：按照数组值大小重新排列数组；

取出x坐标最大的10组数；

取出x坐标最大的10组数序列号；

取出x坐标最小的10组数；

取出x坐标最小的10组数序列号；

将最大10组数据和最小10组数据取平均值，计算出中心点的横坐标；

同理，按照上述步骤将Y坐标提取后计算平均值，作为中心点的纵坐标；

将根据各个集装箱型号预设的限界图中心坐标与中心点坐标对齐，实现集装箱的可视化展示。

如图4所示，在本实施例中还包括当集装箱偏转一定角度时，此时，利用集装箱三维点云提取集装箱横向边线和纵向边线后，中心横线和中心竖线为斜线，则根据中心横线与敞车中心坐标的横坐标所在直线计算偏转角度，根据得出的偏转角度控制吊具偏转。

如图6所示，所述根据视觉传感器获取的视觉信息判断吊具是否挂载集装箱，包括以下过程：

通过机器学习建立挂载识别网络和敞车识别网络；

根据实时获取的视觉信息进行目标识别，所述挂载识别网络用于实时获取的图像中识别集装箱；

所述敞车识别网络用于从实时获取的图像中识别敞车。

首先，通过获取场景图像，并转化为待处理的信号。预处理后通过对感兴趣区域的检测、目标的分割。在目标分割之后，对每个目标要计算出一组特征作为目标分类的基础，这些特征的可靠性对于目标分类是至关重要，可以减轻后续的决策过程的计算量，并且决定了识别的精度。随后是识别的过程。其他的数据源通过软件机器学习算法，基本上能拒绝95％以上的不相关数据源。最后，在最终的图像上标注目标的位置及其描述特征。

目标检测是找出图像中可能存在目标的感兴趣区域，通过区域寻找，可以从地形场景中去除大量的背景数据，从而使大数据集的目标识别成为可能。对于地面目标的检测，使用了局部平坦度估计、变化检测、距离和反射率图像的融合等技术。在自然场景中，利用激光雷达数据中的结构化物体。结构化的目标在尺寸上具有平坦的局部邻域，通过局部平坦度估计可以对其进行提取与识别。

进一步优选的，所述数据处理器还包括根据视觉信息和敞车识别网络识别出来的敞车位置中，选定待作业敞车区域，对选定的敞车区域范围进行边缘检测，将相邻的非作业敞车进行重新赋色。

进一步优选的，所述启动毫米波测距传感器测量吊车与敞车的距离，判断是否进入装载区，包括如下步骤：

所述毫米波测距传感器获取与前方障碍物的距离；

当得到的距离值连续下降到预设范围时，检测敞车识别网络的识别结果，当识别到敞车目标时，确认进入装载区。

当视觉传感器判断出正面吊在挂箱移动时，启动复合探测器中的毫米波测试模块，向车辆正前方发射毫米波，用来测量前方障碍物(量程约20米)。当测距结果连续呈现下降趋势，表明前方遇到了大型实体障碍物，且在接近过程中，(滤除掉在货场中转弯过程中扫描到的其他干扰项，只是偶发数据，不会连续下降)。当最终测距结果稳定在3～6米间的某一个数值后，表明正面吊车辆已经停稳并处于敞车前方。

如图2所示，本发明还提供一种铁路正面吊装车作业辅助系统工作方法，包括以下步骤：

S1、获取的视觉信息判断吊具是否挂载集装箱；

S2、当挂载集装箱时，测量吊车与敞车的距离；判断是否进入装载区；

S3、当进入装载区时，利用激光雷达对敞车和集装箱进行三维扫描；

S4、根据对敞车和集装箱的三维扫描数据，提取敞车三维点云和集装箱三维点云；

S5、根据视觉信息提取集装箱型号，根据集装箱三维点云数据和集装箱型号计算集装箱中心，判断集装箱中心是否位于敞车中心区域，并以虚拟图像形式反馈，辅助操作人员进行吊装作业。

进一步优选的，在S5中，所述判断集装箱中心是否位于敞车中心区域时，包括：

S501、利用敞车三维点云提取敞车两个对角的坐标，根据两个对角的坐标计算敞车中心坐标；

S502、根据敞车中心坐标，按照预设的容错范围生成中心框；

S503、利用集装箱三维点云提取集装箱横向边线和纵向边线；根据集装箱型号，利用横向边线偏移生成中心横线，当中心横线落入中心框时，提示操作员驻车；

S504、根据纵向边线偏移生成中心竖线，当中心竖线落入中心框时，提示操作员将集装箱下放吊具完成吊装。

进一步优选的，在S1中，所述根据视觉传感器获取的视觉信息判断吊具是否挂载集装箱，包括以下过程：

S101、通过机器学习建立挂载识别网络和敞车识别网络；

S102、根据实时获取的视觉信息进行目标识别，所述挂载识别网络用于实时获取的图像中识别集装箱；所述敞车识别网络用于从实时获取的图像中识别敞车。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (9)

1.一种铁路正面吊装车作业辅助系统，其特征在于，包括多维复合探测器、中控器和数据处理器；

所述多维复合探测器将视觉传感器、毫米波测距传感器和激光雷达集成为一体，设置在吊车前方，并设置为吊具处于视野范围中心；

所述中控器用于控制开启视觉传感器，根据视觉传感器获取的视觉信息判断吊具是否挂载集装箱；当挂载集装箱时，启动毫米波测距传感器测量吊车与敞车的距离；判断是否进入装载区；当进入装载区时，控制开启激光雷达，利用激光雷达对敞车和集装箱进行三维扫描；

所述数据处理器用于根据对敞车和集装箱的三维扫描数据，提取敞车三维点云和集装箱三维点云；根据视觉信息提取集装箱型号；根据集装箱三维点云数据和集装箱型号计算集装箱中心，判断集装箱中心是否位于敞车中心区域，并以虚拟图像形式反馈，辅助操作人员进行吊装作业。

2.根据权利要求1所述的铁路正面吊装车作业辅助系统，其特征在于，所述判断集装箱中心是否位于敞车中心区域，包括如下过程：

利用敞车三维点云提取敞车两个对角的坐标，根据两个对角的坐标计算敞车中心坐标；

根据敞车中心坐标，按照预设的容错范围生成中心框；

利用集装箱三维点云提取集装箱横向边线和纵向边线；根据集装箱型号，利用横向边线偏移生成中心横线，当中心横线落入中心框时，提示操作员驻车；

根据纵向边线偏移生成中心竖线，当中心竖线落入中心框时，提示操作员将集装箱下放吊具完成吊装。

3.根据权利要求2所述的铁路正面吊装车作业辅助系统，其特征在于，还包括当中心线落入中心框时，根据视觉信息进行全景展示，提取敞车的边框和集装箱的边框，判断集装箱的边框是否落入敞车边框范围内，生成动态二维差量指示箭头图，通过车内显示屏提供给正面吊驾驶员。

4.根据权利要求1所述的铁路正面吊装车作业辅助系统，其特征在于，所述根据视觉传感器获取的视觉信息判断吊具是否挂载集装箱，包括以下过程：

通过机器学习建立挂载识别网络和敞车识别网络；

根据实时获取的视觉信息进行目标识别，所述挂载识别网络用于实时获取的图像中识别集装箱；

所述敞车识别网络用于从实时获取的图像中识别敞车。

5.根据权利要求4所述的铁路正面吊装车作业辅助系统，其特征在于，所述数据处理器还包括根据视觉信息和敞车识别网络识别出来的敞车位置中，选定待作业敞车区域，对选定的敞车区域范围进行边缘检测，将相邻的非作业敞车进行重新赋色。

6.根据权利要求4所述的铁路正面吊装车作业辅助系统，其特征在于，所述启动毫米波测距传感器测量吊车与敞车的距离，判断是否进入装载区，包括如下步骤：

所述毫米波测距传感器获取与前方障碍物的距离；

当得到的距离值连续下降到预设范围时，检测敞车识别网络的识别结果，当识别到敞车目标时，确认进入装载区。

7.一种铁路正面吊装车作业辅助系统工作方法，其特征在于，包括以下步骤：

S1、获取的视觉信息判断吊具是否挂载集装箱；

S2、当挂载集装箱时，测量吊车与敞车的距离；判断是否进入装载区；

S3、当进入装载区时，利用激光雷达对敞车和集装箱进行三维扫描；

S4、根据对敞车和集装箱的三维扫描数据，提取敞车三维点云和集装箱三维点云；

S5、根据视觉信息提取集装箱型号，根据集装箱三维点云数据和集装箱型号计算集装箱中心，判断集装箱中心是否位于敞车中心区域，并以虚拟图像形式反馈，辅助操作人员进行吊装作业。

8.根据权利要求7所述的铁路正面吊装车作业辅助系统工作方法，其特征在于，在S5中，所述判断集装箱中心是否位于敞车中心区域时，包括：

S501、利用敞车三维点云提取敞车两个对角的坐标，根据两个对角的坐标计算敞车中心坐标；

S502、根据敞车中心坐标，按照预设的容错范围生成中心框；

S503、利用集装箱三维点云提取集装箱横向边线和纵向边线；根据集装箱型号，利用横向边线偏移生成中心横线，当中心横线落入中心框时，提示操作员驻车；

S504、根据纵向边线偏移生成中心竖线，当中心竖线落入中心框时，提示操作员将集装箱下放吊具完成吊装。

9.根据权利要求7所述的铁路正面吊装车作业辅助系统工作方法，其特征在于，在S1中，所述根据视觉传感器获取的视觉信息判断吊具是否挂载集装箱，包括以下过程：

S101、通过机器学习建立挂载识别网络和敞车识别网络；

S102、根据实时获取的视觉信息进行目标识别，所述挂载识别网络用于实时获取的图像中识别集装箱；所述敞车识别网络用于从实时获取的图像中识别敞车。