CN112648007B - 一种液压柱搬运方法 - Google Patents

Abstract

本发明公开了一种液压柱搬运方法，包括以下步骤：1)构建液压柱视觉图像模型；2)搬运车承载液压柱并行驶；3)搬运车的视觉相机实时拍摄巷道，生成图像数据；4)根据液压柱视觉图像模型在图像数据中识别液压柱并计数；5)搬运车行驶至液压柱预定计数数值时停止。本发明中，搬运车能够在行驶过程中自主识别沿途的液压柱，并将自身运载的液压柱运至预定位置，提高了液压柱搬运的自动化程度，有效节省人力成本，提高了液压柱搬运的效率，人员的安全和健康得到有力保障，具有很高的经济性，极为适合在业界推广使用。

Description

一种液压柱搬运方法

技术领域

本发明总体而言涉及矿区生产技术领域，具体而言，涉及一种液压柱搬运方法。

背景技术

煤矿搬运车是一种煤矿专用的支架搬运车，主要用于在煤矿综采面侧廊搬运液压柱，液压柱用于支撑煤矿顶棚以便于采矿设备进行开采作业，搬运车在侧廊行走，当综采面的切割机将煤矿切割下来后，切割完成的地方则不再需要支撑，支架搬运车则将此处的液压柱搬运到侧廊最后一处，循环往复，直至煤矿被切割机开采完成，在此过程中，传统的支架搬运车的工作需要两人协作，危险系数高，而且综采面附近粉尘浓度高，工作环境恶劣。

因此，业界亟需一种安全性更高的液压柱搬运方法。

发明内容

本发明的一个主要目的在于克服上述现有技术的至少一种缺陷，提供一种安全性更高的液压柱搬运方法。

为实现上述发明目的，本发明采用如下技术方案：

根据本发明的一个方面，提供了一种液压柱搬运方法，包括以下步骤：

1)构建液压柱视觉图像模型；

2)搬运车承载液压柱并行驶；

3)搬运车的视觉相机实时拍摄巷道，生成图像数据；

4)根据液压柱视觉图像模型在图像数据中识别液压柱并计数；

5)搬运车行驶至液压柱预定计数数值时停止。

根据本发明的一实施方式，步骤1)包括：

搬运车的视觉相机拍摄液压柱，生成所述液压柱视觉图像模型。

根据本发明的一实施方式，步骤4)包括：

对图像数据进行实例分割处理；

对实例分割处理后的图像数据进行特征编码，得到图像数据中物体实例的特征描述向量

根据本发明的一实施方式，所述对图像数据进行实例分割处理，包括：

通过Mask R-CNN或者全卷积分割法对图像数据进行实例分割处理。

根据本发明的一实施方式，所述对实例分割处理后的图像数据进行特征编码，得到图像数据中物体实例的特征描述向量包括：

通过稀疏编码、局部坐标编码、局部约束线性编码、非负稀疏局部线性编码中的任一，对实例分割处理后的图像数据进行特征编码。

根据本发明的一实施方式，步骤4)还包括：

利用空间金字塔匹配算法获取图像数据中两个实例的特征描述向量之间的相似度。

根据本发明的一实施方式，所述利用空间金字塔匹配算法获取图像数据中两个实例的特征描述向量之间的相似度，包括：

按照以下模型获取：

其中，为任意两个实例特征描述向量/>和/>之间的相似度，I_S(ψ₁，ψ′₁)为两个空间金字塔直方图向量ψ和ψ′之间的相似度。

根据本发明的一实施方式，步骤4)还包括：

获取连续帧图像数据的整体相似度。

根据本发明的一实施方式，所述获取连续帧图像数据的整体相似度，包括：

按照以下模型获取：

其中，λ为加权系数；为两个实例O和O′之间的外观相似度；I_S(B，B′)为两个实例B和B′之间的空间位置相似度；I(O，O′)为加权后的整体相似度。

根据本发明的一实施方式，步骤4)还包括：

判断整体相似度I(O，O′)是否大于或等于判定阈值，若是，则判定所述图像数据中存在液压柱预选特征；

获取液压柱预选特征相对液压柱视觉图像模型的相似度，若相似度大于或等于预设值，则判定所述液压柱预选特征为液压柱。

由上述技术方案可知，本发明的液压柱搬运方法的优点和积极效果在于：

本发明中，通过1)构建液压柱视觉图像模型，2)搬运车承载液压柱并行驶，3)搬运车的视觉相机实时拍摄巷道，生成图像数据，4)根据液压柱视觉图像模型在图像数据中识别液压柱并计数，5)搬运车行驶至液压柱预定计数数值时停止，搬运车能够在行驶过程中自主识别沿途的液压柱，并将自身运载的液压柱运至预定位置，提高了液压柱搬运的自动化程度，有效节省人力成本，提高了液压柱搬运的效率，人员的安全和健康得到有力保障，具有很高的经济性，极为适合在业界推广使用。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以如这些附图获得其他的附图。

图1为本发明一实施例液压柱搬运方法的流程示意图。

图2为本发明一实施例液压柱搬运方法的应用场景俯视示意图。

其中，附图标记说明如下：

1、搬运车；11、视觉相机；2、液压柱；3、巷道；4、综采面前端；5、综采面末端。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。

在对本发明的不同示例的下面描述中，参照附图进行，所述附图形成本发明的一部分，并且其中以示例方式显示了可实现本发明的多个方面的不同示例性结构、系统和步骤。应理解，可以使用部件、结构、示例性装置、系统和步骤的其他特定方案，并且可在不偏离本发明范围的情况下进行结构和功能性修改。而且，虽然本说明书中可使用术语“顶部”、“底部”、“前部”、“后部”、“侧部”等来描述本发明的不同示例性特征和元件，但是这些术语用于本文中仅出于方便，例如如附图中所述的示例的方向。本说明书中的任何内容都不应理解为需要结构的特定三维方向才落入本发明的范围内。

图1为本发明一实施例液压柱搬运方法的流程示意图。

图2为本发明一实施例液压柱搬运方法的应用场景俯视示意图。

如图1和图2所示，该实施例的液压柱搬运方法，包括以下步骤：

1)构建液压柱视觉图像模型；

2)搬运车承载液压柱并行驶；

3)搬运车的视觉相机实时拍摄巷道，生成图像数据；

4)根据液压柱视觉图像模型在图像数据中识别液压柱并计数；

5)搬运车行驶至液压柱预定计数数值时停止。

该实施例中，步骤1)包括：

搬运车1的视觉相机11拍摄液压柱2，生成模型图像数据；根据模型图像数据生成液压柱视觉图像模型。具体地，搬运车1具有前机架、拖车、转向机构、提升机构和夹紧机构，前机架承载着发动机总成、液压系统、气动系统等动力源，用于牵引拖车行驶，拖车的框架可为U型框架以容纳液压柱2，液压柱2为竖立设置的用于支撑矿顶的柱状支撑装置，拖车上设置有提升机构和夹紧机构，提升机构可具有提升油缸，用于将液压柱2整体抬起脱离地面，夹紧机构可具有夹紧油缸，用于夹紧液压柱2以使之保持稳定，前机架与拖车之间通过转向机构连接，转向机构可具有铰接架和转向油缸，用于前机架与拖车之间的连接和整车转向；

进一步，前机架上设置有控制平台，控制平台具有处理器，前机架上还设置有视觉相机11，视觉相机11用于实时拍摄巷道3环境；启动搬运车1，在搬运车1的各硬件设备、视觉相机11、处理器等完成初始化后，即开始构建液压柱视觉图像模型，或者，液压柱视觉图像模型可于本次搬运工作开始前构建好存储于搬运车1的控制平台中，在后续的搬运行驶过程中直接调用即可，本实施例中以前者为例；

进一步，构建液压柱视觉图像模型，具体包括：视觉相机11对液压柱2进行拍摄，生成模型图像数据，对模型图像数据进行平滑处理，得到噪点较低的模型图像数据，进而对平滑处理后的模型图像数据进行特征提取，得到液压柱视觉图像模型，液压柱视觉图像模型包含有液压柱2的形状尺寸信息。

进一步，步骤2)包括：

搬运车1承载液压柱2并行驶。具体地，搬运车1的拖车的U型框架朝向综采面前端4，搬运车1的前机架朝向综采面末端5，煤矿的开采方向为综采面前端4到综采面末端5，搬运车1的行驶方向与开采方向一致，搬运车1的拖车将需要搬运的液压柱2容纳提起并夹紧，进而搬运车1承载液压柱2行驶。

进一步，步骤3)包括：

搬运车1的视觉相机11实时拍摄巷道3，生成图像数据。具体地，从搬运车1开始行驶起，搬运车1的视觉相机11实时对巷道3环境进行拍摄，得到图像数据。

进一步，步骤4)包括：

对图像数据进行实例分割处理；对实例分割处理后的图像数据进行特征编码，得到图像数据中物体实例的特征描述向量具体地，将图像数据进行进行平滑处理以除去图像数据中的噪声，进而，所述对图像数据进行实例分割处理，包括：通过Mask R-CNN或者全卷积分割法对图像数据进行实例分割处理，进而，所述对实例分割处理后的图像数据进行特征编码，得到图像数据中物体实例的特征描述向量/>包括：通过稀疏编码、局部坐标编码、局部约束线性编码、非负稀疏局部线性编码中的任一，对实例分割处理后的图像数据进行特征编码，得到图像数据中物体实例的特征描述向量/>

进一步，步骤4)还包括：

利用空间金字塔匹配算法获取图像数据中两个实例的特征描述向量之间的相似度。具体地，按照以下模型获取：

其中，为任意两个实例特征描述向量/>和/>之间的相似度，I_S(ψ₁，ψ′₁)为两个空间金字塔直方图向量ψ和ψ′之间的相似度。

进一步，获取连续帧图像数据的整体相似度。具体地，按照以下模型获取：

其中，λ为加权系数；为两个实例O和O′之间的外观相似度；I_S(B，B′)为两个实例B和B′之间的空间位置相似度；I(O，O′)为加权后的整体相似度。以上模型将图像数据中前一帧中的每个实例的检测框传播到当前帧中，并计算前一帧检测框的投影与当前帧实例检测框之间的重叠度，将重叠度作为实例空间位置的相似度度量；通过结合实例的特征描述向量和相邻图像的帧间一致性约束可以有效地对相邻帧图像中的实例进行跟踪与匹配，从而实现对实例的识别和目标关联；因此对于连续帧中的任意两个实例，其总体相似度定义为空间位置相似度和特征描述向量相似度的加权平均。

进一步，判断整体相似度I(O，O′)是否大于或等于判定阈值，若是，则判定所述图像数据中存在液压柱预选特征；

获取液压柱预选特征相对液压柱视觉图像模型的相似度，若相似度大于或等于预设值，则判定所述液压柱预选特征为液压柱，进而，液压柱的计数数值增加一。

进一步，步骤5)搬运车行驶至液压柱预定计数数值时停止，具体地，判断液压柱的计数数值是否达到预定计数数值，若否，则搬运车1承载着液压柱2继续行驶，若是，则向搬运车1的控制平台传输已达到预定计数数值的信号，搬运车1的控制平台接收到已达到预定计数数值的信号后，控制搬运车1的行驶机构停车，其中，预定计数数值可设定为该综采面对应的巷道3内一侧所设置的液压柱2的总数。

本发明中，通过本发明中，通过1)构建液压柱视觉图像模型，2)搬运车承载液压柱并行驶，3)搬运车的视觉相机实时拍摄巷道，生成图像数据，4)根据液压柱视觉图像模型在图像数据中识别液压柱并计数，5)搬运车行驶至液压柱预定计数数值时停止，搬运车能够在行驶过程中自主识别沿途的液压柱，并将自身运载的液压柱运至预定位置，提高了液压柱搬运的自动化程度，有效节省人力成本，提高了液压柱搬运的效率，人员的安全和健康得到有力保障，具有很高的经济性，极为适合在业界推广使用。

本发明所属技术领域的普通技术人员应当理解，上述具体实施方式部分中所示出的具体结构和工艺过程仅仅为示例性的，而非限制性的。而且，本发明所属技术领域的普通技术人员可对以上所述所示的各种技术特征按照各种可能的方式进行组合以构成新的技术方案，或者进行其它改动，而都属于本发明的范围之内。

Claims (1)

1.一种液压柱搬运方法，其特征在于，包括以下步骤：

1）搬运车的视觉相机拍摄液压柱，构建液压柱视觉图像模型；

2）搬运车承载液压柱并行驶；

3）搬运车的视觉相机实时拍摄巷道，生成图像数据；

4）根据液压柱视觉图像模型在图像数据中识别液压柱并计数；

5）搬运车行驶至液压柱预定计数数值时停止；

步骤4）包括：

对图像数据进行实例分割处理；

对实例分割处理后的图像数据进行特征编码，得到图像数据中物体实例的特征描述向 量；

所述对图像数据进行实例分割处理，包括：

通过Mask R-CNN或者全卷积分割法对图像数据进行实例分割处理；

所述对实例分割处理后的图像数据进行特征编码，得到图像数据中物体实例的特征描 述向量，包括：

通过稀疏编码、局部坐标编码、局部约束线性编码、非负稀疏局部线性编码中的任一，对实例分割处理后的图像数据进行特征编码；

所述步骤4）还包括：

利用空间金字塔匹配算法获取图像数据中两个实例的特征描述向量之间的相似度，具体地，按照以下模型获取：

其中，为任意两个实例特征描述向量和之间的相似度， 为两个空间金字塔直方图向量和之间的相似度；

获取连续帧图像数据的整体相似度，具体地，按照以下模型获取：

其中，为加权系数；为两个实例和之间的外观相似度； 为两个实例和之间的空间位置相似度；为加权后的整体相似度；以上模 型将图像数据中前一帧中的每个实例的检测框传播到当前帧中，并计算前一帧检测框的投 影与当前帧实例检测框之间的重叠度，将重叠度作为实例空间位置的相似度度量；通过结 合实例的特征描述向量和相邻图像的帧间一致性约束可以有效地对相邻帧图像中的实例 进行跟踪与匹配，从而实现对实例的识别和目标关联；因此对于连续帧中的任意两个实例， 其总体相似度定义为空间位置相似度和特征描述向量相似度的加权平均；

判断整体相似度是否大于或等于判定阈值，若是，则判定所述图像数据中 存在液压柱预选特征；

获取液压柱预选特征相对液压柱视觉图像模型的相似度，若相似度大于或等于预设值，则判定所述液压柱预选特征为液压柱，进而，液压柱的计数数值增加一。