CN114873465B - 基于机器视觉高精度井下单轨吊车定位方法、系统 - Google Patents

Abstract

本发明提供了一种基于机器视觉高精度井下单轨吊车定位方法、系统。通过执行靶标标准坐标定位，确定靶标的标准坐标信息；确定当前单轨吊车的工作模式，根据所述工作模式确定目标靶标；所述目标靶标包括集装箱上的靶标或板车上的靶标；比较目标靶标的当前坐标信息和标准坐标信息，计算出单轨吊车需要移动的距离；控制单轨吊车移动距离Dist，进行对位。通过摄像机对固定在集装箱和板车上的靶标分别进行识别和定位，并将靶标的坐标信息传输给整车控制系统，进而控制车辆的移动进行对位。通过这种对位方式，可以提高车辆对位的准确性，减少人力成本，在提高安全性的同时也提高了运输效率。

Description

基于机器视觉高精度井下单轨吊车定位方法、系统

技术领域

本发明涉及机器视觉技术领域，具体而言，涉及一种基于机器视觉高精度井下单轨吊车定位方法、系统。

背景技术

煤炭的安全高效生产对于保障我国能源安全具有举足轻重的作用，煤矿生产包括开采、运输、加工等诸多环节，其中运输作为中间环节，作用尤为重要，当前在煤矿井下广泛使用的运输设备是矿用单轨吊车，矿用单轨吊车具有安全性高、爬坡能力强、转弯灵活、运行速度快、不受巷道底板影响等特点。

现有技术中，对于井下单轨吊车的定位存在着不准确且不能准确执行吊车的对位，存在着安全隐患。

发明内容

有鉴于此，本发明实施例的目的在于提供对固定在集装箱和板车上的靶标分别进行识别和定位，并将靶标的坐标信息传输给整车控制系统，进而控制车辆的移动进行对位。通过这种对位方式，可以提高车辆对位的准确性，减少人力成本，提高安全性的同时提高了运输效率。

本发明的第一方面提供了一种基于机器视觉高精度井下单轨吊车定位方法，所述方法包括：

S1，执行靶标标准坐标定位，确定靶标的标准坐标信息；

S2，确定当前单轨吊车的工作模式，根据所述工作模式确定目标靶标；所述目标靶标包括集装箱上的靶标或板车上的靶标；

S3，比较目标靶标的当前坐标信息和标准坐标信息，计算出单轨吊车需要移动的距离：

其中，比率Ratio表示靶标实际长度/靶标像素长度；X表示目标靶标的当前位置对应的横坐标，StdX表示目标靶标的标准坐标信息对应的横坐标；Y表示目标靶标的当前位置对应的纵坐标，StdY表示目标靶标的标准坐标信息对应的纵坐标；Delta为偏差值;

S4，控制单轨吊车移动距离Dist，进行对位。

进一步，所述当前单轨吊车的工作模式包括起吊作业模式、下放作业模式；

所述根据所述工作模式确定目标靶标，包括：

若当前单轨吊车的工作模式为起吊作业模式，则确定目标靶标为集装箱上的靶标；若当前单轨吊车的工作模式为下放作业模式，则确定目标靶标为板车上的靶标；

获取摄像机采集的靶标的视频图像，根据神经网络识别模型对所述视频图像进行分析处理，从而识别目标靶标，确定为靶标的初定位坐标。

进一步，所述根据所述工作模式确定目标靶标，还包括：

对所述初定位坐标及图像信息进行后处理，所述后处理包括但不限于二值化、blob分析，从而得到靶标的精确图像尺寸和坐标信息。

本发明的第二方面提供了一种基于机器视觉高精度井下单轨吊车定位系统，所述系统包括摄像机，视频控制器，显示屏；所述系统用于执行：

基于摄像机采集实时图像，基于实时图像执行靶标标准坐标定位，确定靶标的标准坐标信息；

视频控制器，用于确定当前单轨吊车的工作模式，根据所述工作模式确定目标靶标；所述目标靶标包括集装箱上的靶标或板车上的靶标；

比较目标靶标的当前坐标信息和标准坐标信息，计算出单轨吊车需要移动的距离：

其中，比率Ratio表示靶标实际长度/靶标像素长度；X表示目标靶标的当前位置对应的横坐标，StdX表示目标靶标的标准坐标信息对应的横坐标；Y表示目标靶标的当前位置对应的纵坐标，StdY表示目标靶标的标准坐标信息对应的纵坐标；Delta为偏差值;控制单轨吊车移动距离Dist，进行对位；

显示屏，实时显示摄像机采集的单轨吊车的运行状态画面、单轨吊车的位移数据进度、测距激光器采集的对靶高度数据。

本发明的方案中，通过执行靶标标准坐标定位，确定靶标的标准坐标信息；确定当前单轨吊车的工作模式，根据所述工作模式确定目标靶标；所述目标靶标包括集装箱上的靶标或板车上的靶标；比较目标靶标的当前坐标信息和标准坐标信息，计算出单轨吊车需要移动的距离；控制单轨吊车移动距离Dist，进行对位。通过悬梁下方的两个相机，对固定在集装箱和板车上的靶标分别进行识别和定位，并将靶标的坐标信息传输给整车控制系统，进而控制车辆的移动进行对位。通过这种对位方式，可以提高车辆对位的准确性，减少人力成本，提高安全性的同时提高了运输效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例公开的摄像机结构示意图；

图2是本发明实施例公开的基于机器视觉高精度井下单轨吊车定位方法的流程示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

本发明利用两个摄像头，对集装箱和板车上的靶标进行识别，所识别到的位置信息通过CAN总线与单轨吊整车控制系统通讯，并将视频图像发送给视频控制器。控制器通过比较靶标的当前坐标信息和标准靶标坐标信息，计算出吊车所需移动距离，从而达到吊车精确对靶的目的。摄像机的结构如图1，其中相机用于获取当前视频流，测距激光器用于获取当前高度，并将当前高度实时反馈至显示屏。

请参阅图2，图2是本发明实施例公开的一种基于机器视觉高精度井下单轨吊车定位方法的流程示意图。如图2所示，本发明实施例的一种基于机器视觉高精度井下单轨吊车定位方法，包括：

S1，执行靶标标准坐标定位，确定靶标的标准坐标信息。

具体地，本实施例，为了计算当前靶标坐标与标准靶标位置的距离差，首先需要确定标准靶标位置，方法如下：手动控制吊车，使吊车位于集装箱正上方，此时记录下软件当前靶标的位置StdX,StdY（单位：像素）作为标准位置。为了将软件中的靶标位置与靶标实际位置建立联系，需引入比率将软件中的像素位置转换为实际位置，比率的计算方式为：Ratio=靶标实际长度/靶标像素长度（单位：mm/Pixel）。

S2，确定当前单轨吊车的工作模式，根据所述工作模式确定目标靶标。所述目标靶标包括集装箱上的靶标或板车上的靶标。

进一步，所述当前单轨吊车的工作模式包括起吊作业模式、下放作业模式。

所述根据所述工作模式确定目标靶标，包括：若当前单轨吊车的工作模式为起吊作业模式，则确定目标靶标为集装箱上的靶标；若当前单轨吊车的工作模式为下放作业模式，则确定目标靶标为板车上的靶标；获取摄像机采集的靶标的视频图像，根据神经网络识别模型对所述视频图像进行分析处理，从而识别目标靶标，确定为靶标的初定位坐标。

具体地，本实施例，系统工作时，NX视频控制器对视频画面进行推理，可检测出集装箱上的靶标和板车上的靶标，起吊作业时，系统只需要识别集装箱上的靶标；下放作业时，系统只需要识别板车上的靶标，由于集装箱上的靶标高于板车上的靶标，因此画面中集装箱上的靶标大于板车上的靶标，此时引入判断条件，根据作业方式的不同，筛选出面积较大或较小的轮廓，可以限定只识别集装箱上的靶标或板车上的靶标，即可完成对靶标的初定位。

靶标的检测由NX视频控制器推理实现：首先基于YOLOv5，对多张靶标图片进行训练学习，得到模型文件，再将得到的模型文件移植至NX视频控制器，利用NX的强大算力对输入视频图像进行推理，达到实时检测和识别的效果。

进一步，所述根据所述工作模式确定目标靶标，还包括：

对所述初定位坐标及图像信息进行后处理，所述包括但不限于二值化、blob分析，从而得到靶标的精确图像尺寸和坐标信息。

具体地，本实施例，之后将初定位的坐标及图像信息进行后处理，包括但不限于二值化，blob分析等，从而得到靶标的精确图像尺寸和坐标信息。

S3，比较目标靶标的当前坐标信息和标准坐标信息，计算出单轨吊车需要移动的距离：

其中，比率Ratio表示靶标实际长度/靶标像素长度；X表示目标靶标的当前位置对应的横坐标，StdX表示目标靶标的标准坐标信息对应的横坐标；Y表示目标靶标的当前位置对应的纵坐标，StdY表示目标靶标的标准坐标信息对应的纵坐标；Delta为偏差值。

S4，控制单轨吊车移动距离Dist，进行对位。

此外，本实施例，对到原始图片进行基于深度学习的识别算法初定位靶标位置和类型，再进一步进行靶标特征提取和几何计算，得到高精度靶标位置。将计算的位置同存储的标定位置进行比对计算，得到位置偏差值。通过偏差值再经过运算，并将解析运算指令通过CAN总线发给整车控制系统，进而控制车辆移动进行对位。

本发明的第二方面提供了一种基于机器视觉高精度井下单轨吊车定位系统，所述系统包括摄像机，视频控制器，显示屏；所述系统用于执行：

基于摄像机采集实时图像，基于实时图像执行靶标标准坐标定位，确定靶标的标准坐标信息；

视频控制器，用于确定当前单轨吊车的工作模式，根据所述工作模式确定目标靶标；所述目标靶标包括集装箱上的靶标或板车上的靶标；

比较目标靶标的当前坐标信息和标准坐标信息，计算出单轨吊车需要移动的距离：

其中，比率Ratio表示靶标实际长度/靶标像素长度；X表示目标靶标的当前位置对应的横坐标，StdX表示目标靶标的标准坐标信息对应的横坐标；Y表示目标靶标的当前位置对应的纵坐标，StdY表示目标靶标的标准坐标信息对应的纵坐标；Delta为偏差值。

显示屏，实时显示摄像机采集的单轨吊车的运行状态画面、单轨吊车的位移数据进度、测距激光器采集的对靶高度数据。

此外，本申请实施例还公开了一种电子装置，所述电子装置包括：一个或多个处理器，存储器，所述存储器用于存储一个或多个计算机程序；其特征在于，所述计算机程序被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的基于机器视觉高精度井下单轨吊车定位方法步骤。

此外，本申请实施例还提供了一种存储介质，所述存储介质存储有计算机程序；所述程序由处理器加载并执行以实现如上所述的基于机器视觉高精度井下单轨吊车定位方法步骤。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于机器视觉高精度井下单轨吊车定位方法，其特征在于，所述方法包括：

S1，执行靶标标准坐标定位，确定靶标的标准坐标信息；

S2，确定当前单轨吊车的工作模式，根据所述工作模式确定目标靶标；所述目标靶标包括集装箱上的靶标或板车上的靶标；其中，所述当前单轨吊车的工作模式包括起吊作业模式、下放作业模式；

S3，比较目标靶标的当前坐标信息和标准坐标信息，计算出单轨吊车需要移动的距离：

其中，比率Ratio表示靶标实际长度/靶标像素长度；X表示目标靶标的当前位置对应的横坐标，StdX表示目标靶标的标准坐标信息对应的横坐标；Y表示目标靶标的当前位置对应的纵坐标，StdY表示目标靶标的标准坐标信息对应的纵坐标；Delta为偏差值；

S4，控制单轨吊车移动距离Dist，进行对位；

所述S2中，确定当前单轨吊车的工作模式，根据所述工作模式确定目标靶标，包括：

若当前单轨吊车的工作模式为起吊作业模式，则确定目标靶标为集装箱上的靶标；若当前单轨吊车的工作模式为下放作业模式，则确定目标靶标为板车上的靶标；

获取摄像机采集的靶标的视频图像，对所述视频图像进行分析处理，从而识别目标靶标，确定为靶标的初定位坐标。

2.根据权利要求1所述的基于机器视觉高精度井下单轨吊车定位方法，其特征在于，根据所述工作模式确定目标靶标，还包括：

对所述初定位坐标及图像信息进行后处理，所述后处理包括二值化、blob分析，从而得到靶标的精确图像尺寸和坐标信息。

3.一种基于机器视觉高精度井下单轨吊车定位系统，其特征在于，所述系统包括摄像机，视频控制器，显示屏；

基于摄像机采集实时图像，基于实时图像执行靶标标准坐标定位，确定靶标的标准坐标信息；

视频控制器，用于确定当前单轨吊车的工作模式，根据所述工作模式确定目标靶标；所述目标靶标包括集装箱上的靶标或板车上的靶标；其中，所述当前单轨吊车的工作模式包括起吊作业模式、下放作业模式；

比较目标靶标的当前坐标信息和标准坐标信息，计算出单轨吊车需要移动的距离：

其中，比率Ratio表示靶标实际长度/靶标像素长度；X表示目标靶标的当前位置对应的横坐标，StdX表示目标靶标的标准坐标信息对应的横坐标；Y表示目标靶标的当前位置对应的纵坐标，StdY表示目标靶标的标准坐标信息对应的纵坐标；Delta为偏差值；

控制单轨吊车移动距离Dist，进行对位；

显示屏，用于实时显示摄像机采集的单轨吊车的运行状态画面、单轨吊车的位移数据进度、测距激光器采集的对靶高度数据；

所述确定当前单轨吊车的工作模式，根据所述工作模式确定目标靶标，包括：

若当前单轨吊车的工作模式为起吊作业模式，则确定目标靶标为集装箱上的靶标；若当前单轨吊车的工作模式为下放作业模式，则确定目标靶标为板车上的靶标；

获取摄像机采集的靶标的视频图像，对所述视频图像进行分析处理，从而识别目标靶标，确定为靶标的初定位坐标。

Images