CN115565054A - 一种基于手眼视觉伺服技术的铁钻工目标检测方法及系统 - Google Patents

一种基于手眼视觉伺服技术的铁钻工目标检测方法及系统 Download PDF

Info

Publication number
CN115565054A
CN115565054A CN202210697028.XA CN202210697028A CN115565054A CN 115565054 A CN115565054 A CN 115565054A CN 202210697028 A CN202210697028 A CN 202210697028A CN 115565054 A CN115565054 A CN 115565054A
Authority
CN
China
Prior art keywords
iron roughneck
information
drill string
image
drill
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210697028.XA
Other languages
English (en)
Other versions
CN115565054B (zh
Inventor
唐东岳
孙刚
边勇
张鑫
李国仓
崔鸿全
严雪春
王爱山
朱恩明
鄢继兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Cheng Chuang Intelligent Equipment Co ltd
Original Assignee
Jiangsu Cheng Chuang Intelligent Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Cheng Chuang Intelligent Equipment Co ltd filed Critical Jiangsu Cheng Chuang Intelligent Equipment Co ltd
Priority to CN202210697028.XA priority Critical patent/CN115565054B/zh
Publication of CN115565054A publication Critical patent/CN115565054A/zh
Application granted granted Critical
Publication of CN115565054B publication Critical patent/CN115565054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于手眼视觉伺服技术的铁钻工目标检测方法及系统，涉及数据处理相关技术领域，通过图像采集设备获得钻柱图像信息和铁钻工图像信息；将钻柱图像信息和铁钻工图像信息分别输入深度学习算法模型进行图像特征识别，得到钻柱定位信息和铁钻工位姿；通过距离传感器，获得距离检测信息；根据钻柱定位信息、铁钻工位姿通过手眼协调算法对铁钻工进行对中处理及钻柱规格识别；构建专家知识库，根据钻柱规格识别结果、铁钻工位姿在专家知识库进行匹配，获得匹配握紧力；根据匹配握紧力、距离检测信息通过模糊控制器进行铁钻工开度、扭矩的自适应模糊控制。实现铁钻工自动对中和对钻柱进行规格识别的功能，并自动调节握紧力的技术效果。

Description

一种基于手眼视觉伺服技术的铁钻工目标检测方法及系统
技术领域
本发明涉及数据处理相关技术领域，具体涉及一种基于手眼视觉伺服技术的铁钻工目标检测方法及系统。
背景技术
铁钻工是井口自动化作业过程中必不可少的辅助设备，铁钻工主要由主钳、背钳及旋扣钳组成，铁钻工主要完成上卸扣动作，活动井下工具的工作。
铁钻工将上、卸扣动作和紧、冲扣动作分开完成，改变了传统上卸扣过程，夹紧机构分成上下两部分，在铁钻工的上部是旋扣装置，下部是冲扣装置，将上卸扣过程变得更加简单。
铁钻工作为一种井口自动化装备，具有安全、高效、多功能的特点，可用于取代液压大钳、液压猫头、B型大钳等传统的井口旋扣设备。然而，目前的铁钻工自动化水平低，没有识别钻柱规格的能力且铁钻工的定位精度也较低，不能根据不同类型的钻柱及不同工况对握紧力大小进行调整的问题，仍需要人工辅助操作，不能实现真实意义上的自动化。
发明内容
本申请提供了一种基于手眼视觉伺服技术的铁钻工目标检测方法及系统，用于解决现有技术中铁钻工定位精度较低，无法对钻柱规格进行识别，不能根据不同类型的钻柱及不同工况对冲扣钳开度和握紧力进行自动调整的技术问题，实现铁钻工自动对中和对钻柱进行规格识别的功能，并达到根据不同规格钻柱、不同工况条件，铁钻工冲扣钳开度和握紧力自动调节的技术效果。
鉴于上述问题，本申请提供了一种基于手眼视觉伺服技术的铁钻工目标检测方法及系统。
第一方面，本申请实施例提供了一种基于手眼视觉伺服技术的铁钻工目标检测方法，所述方法应用于手眼视觉伺服系统，所述系统包括图像采集设备、距离传感器，所述方法包括：通过图像采集设备对钻柱进行图像采集，获得钻柱图像信息；将所述钻柱图像信息输入深度学习算法模型进行图像特征识别，得到钻柱定位信息；通过距离传感器对所述钻柱进行距离检测，获得距离检测信息；通过图像采集设备对铁钻工进行图像采集，获得铁钻工图像信息；将所述铁钻工图像信息输入所述深度学习算法模型进行图像特征识别，得到铁钻工位姿；根据所述钻柱定位信息、所述铁钻工位姿通过手眼协调算法对铁钻工进行对中处理及钻柱规格识别；构建专家知识库，所述专家知识库包括钻柱规格、铁钻工位姿与握紧力的对应关系；根据钻柱规格识别结果、所述铁钻工位姿在所述专家知识库进行匹配，获得匹配握紧力；根据所述匹配握紧力、所述距离检测信息通过模糊控制器进行铁钻工开度、扭矩的自适应模糊控制。
第二方面，本申请实施例提供了一种基于手眼视觉伺服技术的铁钻工目标检测系统，所述系统包括：第一图像采集设备，通过所述第一图像采集设备对钻柱进行图像采集，获得钻柱图像信息；第一图像特征识别模块，所述第一图像特征识别模块用于将所述钻柱图像信息输入深度学习算法模型进行图像特征识别，得到钻柱定位信息；距离传感器，通过距离传感器对所述钻柱进行距离检测，获得距离检测信息；第二图像采集设备，通过所述第二图像采集设备对铁钻工进行图像采集，获得铁钻工图像信息；第二图像特征识别模块，所述第二图像特征识别模块用于将所述铁钻工图像信息输入所述深度学习算法模型进行图像特征识别，得到铁钻工位姿；信息处理模块，所述信息处理模块用于根据所述钻柱定位信息、所述铁钻工位姿通过手眼协调算法对铁钻工进行对中处理及钻柱规格识别；专家知识库构建模块，所述专家知识库构建模块用于构建专家知识库，所述专家知识库包括钻柱规格、铁钻工位姿与握紧力的对应关系；握紧力匹配模块，所述握紧力匹配模块用于根据钻柱规格识别结果、所述铁钻工位姿在所述专家知识库进行匹配，获得匹配握紧力；自适应模糊控制模块，所述自适应模糊控制模块用于根据所述匹配握紧力、所述距离检测信息通过模糊控制器进行铁钻工开度、扭矩的自适应模糊控制。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本申请实施例提供的一种基于手眼视觉伺服技术的铁钻工目标检测方法及系统，通过图像采集设备对钻柱进行图像采集，获得钻柱图像信息；将所述钻柱图像信息输入深度学习算法模型进行图像特征识别，得到钻柱定位信息；通过距离传感器对所述钻柱进行距离检测，获得距离检测信息；通过图像采集设备对铁钻工进行图像采集，获得铁钻工图像信息；将所述铁钻工图像信息输入所述深度学习算法模型进行图像特征识别，得到铁钻工位姿；根据所述钻柱定位信息、所述铁钻工位姿通过手眼协调算法对铁钻工进行对中处理及钻柱规格识别；构建专家知识库，所述专家知识库包括钻柱规格、铁钻工位姿与握紧力的对应关系；根据钻柱规格识别结果、所述铁钻工位姿在所述专家知识库进行匹配，获得匹配握紧力；根据所述匹配握紧力、所述距离检测信息通过模糊控制器进行铁钻工开度、扭矩的自适应模糊控制。解决了现有技术中铁钻工定位精度较低，无法对钻柱规格进行识别，不能根据不同类型的钻柱及不同工况对冲扣钳开度和握紧力进行自动调整的技术问题，实现铁钻工自动对中和对钻柱进行规格识别的功能，并达到根据不同规格钻柱、不同工况条件，铁钻工冲扣钳开度和握紧力自动调节的技术效果。
附图说明
图1为本申请实施例提供的一种基于手眼视觉伺服技术的铁钻工目标检测方法的流程示意图；
图2为本申请实施例提供的一种基于手眼视觉伺服技术的铁钻工目标检测方法中获得深度学习算法模型的流程示意图；
图3为本申请实施例提供的一种基于手眼视觉伺服技术的铁钻工目标检测方法中对铁钻工进行对中处理及钻柱规格识别的流程示意图；
图4为本申请提供的一种基于手眼视觉伺服技术的铁钻工目标检测方法中确定所述手眼协调算法的流程示意图；
图5为本申请提供的一种基于手眼视觉伺服技术的铁钻工目标检测方法中进行扭矩自适应模糊控制的流程示意图；
图6为本申请提供的一种基于手眼视觉伺服技术的铁钻工目标检测系统结构示意图；
附图标记说明：第一图像采集设备100，第一图像特征识别模块200，距离传感器300，第二图像采集设备400，第二图像特征识别模块500，信息处理模块600，专家知识库构建模块700，握紧力匹配模块800，自适应模糊控制模块900。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请通过提供一种基于手眼视觉伺服技术的铁钻工目标检测方法及系统，用于解决现有技术中铁钻工定位精度较低，无法对钻柱规格进行识别，不能根据不同类型的钻柱及不同工况对冲扣钳开度和握紧力进行自动调整的技术问题，实现铁钻工自动对中和对钻柱进行规格识别的功能，并达到根据不同规格钻柱、不同工况条件，铁钻工冲扣钳开度和握紧力自动调节的技术效果。
实施例一
如图1所示，本申请提供了一种基于手眼视觉伺服技术的铁钻工目标检测方法，所述方法应用于手眼视觉伺服系统，所述系统包括图像采集设备、距离传感器，所述方法包括：
S100：通过图像采集设备对钻柱进行图像采集，获得钻柱图像信息；
具体而言，铁钻工因其省力、高效等优点，代替了传统液压大钳，在石油钻采行业应用广泛，为了提高铁钻工的自动化程度，在铁钻工工作时可以实现对钻柱的定位以及规格的自动识别，通过图像采集设备对钻柱进行图像采集，获得钻柱的图像信息，为后续步骤提供数据支持。
S200：将所述钻柱图像信息输入深度学习算法模型进行图像特征识别，得到钻柱定位信息；
具体而言，所述深度学习算法模型为一个大型的卷积神经网络，由大量图像数据训练而成，将采集到的所述钻柱图像信息输入到深度学习算法模型中进行图像特征识别，得到钻柱定位信息，实现对钻柱的自动定位功能。
S300：通过距离传感器对所述钻柱进行距离检测，获得距离检测信息；
具体而言，检测系统中和被检测物体关系最密切的装置就是传感器，在检测系统中信号的采集工作要通过传感器来完成，传感器首先采集信号，把被测量参数作为信号提取出来，然后把采集到的信号输出到信号调理部分。通过距离传感器对所述钻柱进行距离检测，获得距离检测信息。
S400：通过图像采集设备对铁钻工进行图像采集，获得铁钻工图像信息；
S500：将所述铁钻工图像信息输入所述深度学习算法模型进行图像特征识别，得到铁钻工位姿；
具体而言，为了实现铁钻工的自动对中，自动调整铁钻工冲扣钳的位姿，利用图像采集设备对铁钻工进行图像采集，获得铁钻工图像信息，将铁钻工图像信息输入到训练好的深度学习算法模型中进行图像特征识别，得到铁钻工位姿信息。
进一步的，如图2所示，本申请实施例提供的方法中获得所述深度学习算法模型，包括：
S510：获得历史钻柱图像信息集、铁钻工历史图像信息集；
S520：构建深度学习卷积神经网络；
S530：分别将所述历史钻柱图像信息集、所述铁钻工历史图像信息集作为训练数据对所述深度学习卷积神经网络进行训练，获得所述深度学习算法模型。
具体而言，为了实现铁钻工位姿的自动调节以及实现对钻柱规格识别的功能，引入机器视觉技术，获得历史钻柱图像信息集，所述历史钻柱信息集为历史使用过的各种规格型号的钻柱图像信息；获得铁钻工历史图像信息集，所述铁钻工历史图像信息集为铁钻工历史工作过程中采集的铁钻工图像；利用大量的所述历史钻柱图像和所述铁钻工图像构建深度学习卷积神经网络，分别将所述历史钻柱图像信息集、所述铁钻工历史图像信息集作为训练数据对所述深度学习卷积神经网络进行训练，获得所述深度学习算法模型，该方法使得网络了解场景中冲扣钳和钻柱的空间关系，从而学习手眼协调，利用深度学习算法实现对钻柱接箍的自动识别、跟踪与定位，解决钳头定位精度问题。
S600：根据所述钻柱定位信息、所述铁钻工位姿通过手眼协调算法对铁钻工进行对中处理及钻柱规格识别；
具体而言，根据所述钻柱定位信息以及铁钻工位姿信息通过手眼协调算法对铁钻工进行对中处理和钻柱规格识别，基于手眼协调算法，通过自动调整铁钻工冲扣钳的位姿，实现铁钻工自动对中和钻柱规格识别功能。
进一步的，如图3所示，本申请实施例提供的方法中S600还包括：
S610：根据所述钻柱定位信息，获得钻柱各元件的边缘定位标识；
S620：根据所述钻柱各元件的边缘定位标识进行连接，获得钻柱元件定位结构；
S630：基于所述钻柱元件定位结构从钻柱规格定位结构库中进行匹配，获得钻柱规格识别结果；
S640：利用所述钻柱定位信息、所述钻柱规格识别结果，确定目标工作坐标；
S650：基于所述铁钻工位姿、所述目标工作坐标进行手眼协调算法进行对中，确定对中信息。
具体而言，根据获得的所述钻柱定位信息，对钻柱的边缘进行定位标识，将钻柱边缘的定位标识进行连接，获得钻柱的定位结构，所述钻柱的定位结构包括钻柱各部位的位置信息以及钻柱的结构尺寸信息，例如，钻柱接箍的位置信息以及结构尺寸信息；基于获得的所述钻柱元件定位结构遍历钻柱规格定位结构库，与钻柱规格定位结构库中的结构数据进行匹配，获得钻柱规格识别结果；利用所述钻柱定位信息中钻柱的位置信息以及所述钻柱的规格信息，确定目标工作坐标，最后利用所述铁钻工位姿、所述目标工作坐标进行手眼协调算法，根据目标工作坐标实现铁钻工位姿的自动调整，确定对中信息，完成铁钻工的自动对中。
进一步的，如图4所示，本申请实施例提供的方法中确定所述手眼协调算法，包括：
S651：获得铁钻工冲扣钳多角度图像信息，钻柱多规格图像信息；
S652：通过距离传感器获得钻柱距离信息；
S653：利用所述铁钻工冲扣钳多角度图像信息、所述钻柱多规格图像信息进行开度预测，获得预测开度信息；
S654：根据所述钻柱距离信息，通过设置在铁钻工上的图像采集器进行图像监测，获得操作结果、控制轨迹信息；
S655：根据所述操作结果进行标记，利用所述预测开度信息、所述控制轨迹信息对手眼协调算法进行优化，当操作结果的成功概率达到预设要求时，确定所述手眼协调算法。
具体而言，为了实现铁钻工自动对中和钻柱规格识别功能，本申请实施例基于手眼协调算法来完成，为了确定手眼协调算法，通过对铁钻工冲扣钳进行多角度图像采集，获得钻柱多规格图像信息，所述钻柱多规格图像信息包括多种规格的钻柱图像信息，通过距离传感器获得钻柱距离信息，利用所述铁钻工冲扣钳多角度图像信息、所述钻柱多规格图像信息进行冲扣钳开度预测，获得预测开度信息，根据所述钻柱距离信息，通过设置在铁钻工上的图像采集器进行图像监测，获得钳头的运动轨迹，根据钳头的运动轨迹对钳头进行操作，控制钳头按照运动轨迹进行运动，获得操作结果以及控制轨迹信息，判断铁钻工能否对钻柱的接箍进行自动识别并实现自动对中，根据钻柱规格自动调节开度大小，以及误差大小，对所述操作结果进行标记，根据误差大小，利用所述预测开度信息、所述控制轨迹信息对手眼协调算法进行优化，直至操作结果的成功概率达到预设要求时，完成所述手眼协调算法的优化，确定所述手眼协调算法，用于铁钻工对目标的检测，实现铁钻工的自动对中和钻柱规格识别功能，其中，所述预设要求有企业或者工程人员根据经验来确定。
S700：构建专家知识库，所述专家知识库包括钻柱规格、铁钻工位姿与握紧力的对应关系；
S800：根据钻柱规格识别结果、所述铁钻工位姿在所述专家知识库进行匹配，获得匹配握紧力；
具体而言，不同种类的钻柱以及不同的工况环境对铁钻工的握紧力有不同的需求，握紧力过大将会对钻柱造成损伤，握紧力过小将不能完成上卸扣操作，本实施例中构建专家知识库，所述专家知识库可能利用大数据进行构建，所述专家知识库中包括钻柱规格、铁钻工位姿与握紧力三者之间的对应关系，通过专家知识库的构建，根据钻柱规格识别结果、铁钻工位姿在所述专家知识库进行匹配，获得匹配握紧力，通过握紧力的获得，为后续模糊控制提供数据支持，避免扭矩过大而损害钻柱或者扭矩过小不能满足正常工作要求。
S900：根据所述匹配握紧力、所述距离检测信息通过模糊控制器进行铁钻工开度、扭矩的自适应模糊控制。
具体而言，通过建立专家知识库获得所述匹配握紧力之后，根据所述匹配握紧力、所述距离检测信息，利用模糊控制器进行铁钻工开度、扭矩的自适应模糊控制，达到根据不同规格类型的钻柱进行铁钻工冲扣钳开度的自动调节和对扭矩的自适应模糊控制，避免扭矩过大而损害管柱。
进一步的，如图5所示，本申请实施例提供的方法中S900还包括：
S910：基于所述对中信息、所述匹配握紧力、钻柱规格识别结果进行铁钻工冲扣钳开度分析，确定铁钻工开度；
S920：根据所述距离检测信息、所述对中信息，获得铁钻工控制轨迹信息；
S930：根据所述钻柱规格识别结果进行所述铁钻工开度调节范围分析，获得开度调节变化信息；
S940：根据所述开度调节变化信息、所述铁钻工控制轨迹信息，确定对中概率；
S950：当对中概率不满足设定要求时，基于所述对中信息、所述开度调节变化信息、所述铁钻工控制轨迹信息进行调节，直到所述对中概率达到设定要求为止；
S960：根据所述开度调节变化信息确定夹紧开度信息，根据所述夹紧开度信息、所述匹配握紧力进行扭矩自适应模糊控制。
具体而言，本申请实施例给出了如何根据所述匹配握紧力、所述距离检测信息通过模糊控制器进行铁钻工开度、扭矩的自适应模糊控制的方法，具体的，基于获得的所述铁钻工的对中信息、所述匹配握紧力、钻柱规格识别结果进行铁钻工冲扣钳开度分析，确定铁钻工开度；根据所述距离检测信息、所述对中信息，获得铁钻工的控制轨迹信息；根据所述钻柱规格识别结果进行所述铁钻工开度调节范围分析，获得开度调节变化信息，根据获得的开度调节变化信息、铁钻工控制轨迹信息，确定对中概率，当对中概率不满足设定要求时，基于所述对中信息、所述开度调节变化信息、所述铁钻工控制轨迹信息进行调节，直到所述对中概率达到设定要求为止，最后，根据开度调节变化信息确定夹紧开度信息，根据所述夹紧开度信息、所述匹配握紧力进行扭矩自适应模糊控制，达到对铁钻工工作时实时参数的精确控制，提高铁钻工自动对中的精度以及避免扭矩过大或者过小带来的不利影响。
进一步的，所述方法还包括：
S961：获得扭矩控制模糊集；
S962：根据所述扭矩控制模糊集与所述匹配握紧力进行隶属度计算，获得隶属度关系；
S963：判断所述隶属度关系是否满足隶属度要求；
S964：当满足时，基于所述隶属度关系，确定扭矩自适应模糊控制信息。
具体而言，对于一研究范围U中的任一元素x，都有一个数A(x)∈[0，1]与之对应，则称A为U上的模糊集，A(x)称为x对A的隶属度。当x在U中变动时，A(x)就是一个函数，称为A的隶属函数。隶属度A(x)越接近于1，表示x属于A的程度越高，A(x)越接近于0表示x属于A的程度越低。
为了实现模糊控制，提高扭矩控制的精确度，本实施例中获得扭矩控制模糊集，所述扭矩控制模糊集为历史经验中的任意扭矩构成的集合，根据所述扭矩控制模糊集与所述匹配握紧力利用隶属度函数进行隶属度计算，获得隶属度关系，可以设定一个隶属度要求，例如，0.8，判断所述隶属度关系是否满足隶属度要求，如果隶属度关系满足隶属度要求，基于所述隶属度关系，确定扭矩自适应模糊控制信息，完成对扭矩大小的设置，避免扭矩对钻柱造成损伤。
综上所述，本申请实施例所提供的一种基于手眼视觉伺服技术的铁钻工目标检测方法具有如下技术效果：
1.本申请实施例提供的一种基于手眼视觉伺服技术的铁钻工目标检测方法，通过图像采集设备对钻柱进行图像采集，获得钻柱图像信息；将所述钻柱图像信息输入深度学习算法模型进行图像特征识别，得到钻柱定位信息；通过距离传感器对所述钻柱进行距离检测，获得距离检测信息；通过图像采集设备对铁钻工进行图像采集，获得铁钻工图像信息；将所述铁钻工图像信息输入所述深度学习算法模型进行图像特征识别，得到铁钻工位姿；根据所述钻柱定位信息、所述铁钻工位姿通过手眼协调算法对铁钻工进行对中处理及钻柱规格识别；构建专家知识库，所述专家知识库包括钻柱规格、铁钻工位姿与握紧力的对应关系；根据钻柱规格识别结果、所述铁钻工位姿在所述专家知识库进行匹配，获得匹配握紧力；根据所述匹配握紧力、所述距离检测信息通过模糊控制器进行铁钻工开度、扭矩的自适应模糊控制。解决了现有技术中铁钻工定位精度较低，无法对钻柱规格进行识别，不能根据不同类型的钻柱及不同工况对冲扣钳开度和握紧力进行自动调整的技术问题，实现铁钻工自动对中和对钻柱进行规格识别的功能，并达到根据不同规格钻柱、不同工况条件，铁钻工冲扣钳开度和握紧力自动调节的技术效果。
2.本申请实施例中引入深度学习算法，构建深度学习算法模型，实现对钻柱定位信息和铁钻工位姿的精确获得，该方法使得网络了解场景中冲扣钳和钻柱的空间关系，利用深度学习算法实现对钻柱接箍的自动识别、跟踪与定位，解决钳头定位精度问题。
3.本申请实施例基于手眼协调算法来完成，利用预测开度信息、控制轨迹信息对手眼协调算法进行优化，直至操作结果的成功概率达到预设要求时，完成所述手眼协调算法的优化，确定所述手眼协调算法，用于铁钻工对目标的检测，实现铁钻工的自动对中和钻柱规格识别功能。
实施例二
基于与前述实施例中一种基于手眼视觉伺服技术的铁钻工目标检测方法相同的发明构思，如图6所示，本申请提供了一种基于手眼视觉伺服技术的铁钻工目标检测系统，所述系统包括：
第一图像采集设备100，通过所述第一图像采集设备100对钻柱进行图像采集，获得钻柱图像信息；
第一图像特征识别模块200，所述第一图像特征识别模块200用于将所述钻柱图像信息输入深度学习算法模型进行图像特征识别，得到钻柱定位信息；
距离传感器300，通过距离传感器300对所述钻柱进行距离检测，获得距离检测信息；
第二图像采集设备400，通过所述第二图像采集设备400对铁钻工进行图像采集，获得铁钻工图像信息；
第二图像特征识别模块500，所述第二图像特征识别模块500用于将所述铁钻工图像信息输入所述深度学习算法模型进行图像特征识别，得到铁钻工位姿；
信息处理模块600，所述信息处理模块600用于根据所述钻柱定位信息、所述铁钻工位姿通过手眼协调算法对铁钻工进行对中处理及钻柱规格识别；
专家知识库构建模块700，所述专家知识库构建模块700用于构建专家知识库，所述专家知识库包括钻柱规格、铁钻工位姿与握紧力的对应关系；
握紧力匹配模块800，所述握紧力匹配模块800用于根据钻柱规格识别结果、所述铁钻工位姿在所述专家知识库进行匹配，获得匹配握紧力；
自适应模糊控制模块900，所述自适应模糊控制模块900用于根据所述匹配握紧力、所述距离检测信息通过模糊控制器进行铁钻工开度、扭矩的自适应模糊控制。
进一步的，所述系统还包括：
历史信息获得模块，所述历史信息获得模块用于获得历史钻柱图像信息集、铁钻工历史图像信息集；
深度学习卷积神经网络构建模块，所述深度学习卷积神经网络构建模块用于构建深度学习卷积神经网络；
训练模块，所述训练模块用于分别将所述历史钻柱图像信息集、所述铁钻工历史图像信息集作为训练数据对所述深度学习卷积神经网络进行训练，获得所述深度学习算法模型。
进一步的，所述系统中的信息处理模块600还用于：
根据所述钻柱定位信息，获得钻柱各元件的边缘定位标识；
根据所述钻柱各元件的边缘定位标识进行连接，获得钻柱元件定位结构；
基于所述钻柱元件定位结构从钻柱规格定位结构库中进行匹配，获得钻柱规格识别结果；
利用所述钻柱定位信息、所述钻柱规格识别结果，确定目标工作坐标；
基于所述铁钻工位姿、所述目标工作坐标进行手眼协调算法进行对中，确定对中信息。
进一步的，所述系统还包括：
多角度信息获取模块，所述多角度信息获取模块用于获得铁钻工冲扣钳多角度图像信息，钻柱多规格图像信息；
距离信息获取模块，所述距离信息获取模块用于通过距离传感器获得钻柱距离信息；
开度信息预测模块，所述开度信息预测模块用于利用所述铁钻工冲扣钳多角度图像信息、所述钻柱多规格图像信息进行开度预测，获得预测开度信息；
图像采集器，所述图像采集器用于根据所述钻柱距离信息，通过设置在铁钻工上的图像采集器进行图像监测，获得操作结果、控制轨迹信息；
手眼协调算法确定模块，所述手眼协调算法确定模块用于根据所述操作结果进行标记，利用所述预测开度信息、所述控制轨迹信息对手眼协调算法进行优化，当操作结果的成功概率达到预设要求时，确定所述手眼协调算法。
进一步的，所述系统中的自适应模糊控制模块900还用于：
基于所述对中信息、所述匹配握紧力、钻柱规格识别结果进行铁钻工冲扣钳开度分析，确定铁钻工开度；
根据所述距离检测信息、所述对中信息，获得铁钻工控制轨迹信息；
根据所述钻柱规格识别结果进行所述铁钻工开度调节范围分析，获得开度调节变化信息；
根据所述开度调节变化信息、所述铁钻工控制轨迹信息，确定对中概率；
当对中概率不满足设定要求时，基于所述对中信息、所述开度调节变化信息、所述铁钻工控制轨迹信息进行调节，直到所述对中概率达到设定要求为止；
根据所述开度调节变化信息确定夹紧开度信息，根据所述夹紧开度信息、所述匹配握紧力进行扭矩自适应模糊控制。
进一步的，所述系统中的自适应模糊控制模块900还用于：
获得扭矩控制模糊集；
根据所述扭矩控制模糊集与所述匹配握紧力进行隶属度计算，获得隶属度关系；
判断所述隶属度关系是否满足隶属度要求；
当满足时，基于所述隶属度关系，确定扭矩自适应模糊控制信息。
本申请上述实施例公开的模块的具体工作过程，可参见对应的方法实施例内容，此处不再赘述。
专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于手眼视觉伺服技术的铁钻工目标检测方法，其特征在于，所述方法应用于手眼视觉伺服系统，所述系统包括图像采集设备、距离传感器，所述方法包括：
通过图像采集设备对钻柱进行图像采集，获得钻柱图像信息；
将所述钻柱图像信息输入深度学习算法模型进行图像特征识别，得到钻柱定位信息；
通过距离传感器对所述钻柱进行距离检测，获得距离检测信息；
通过图像采集设备对铁钻工进行图像采集，获得铁钻工图像信息；
将所述铁钻工图像信息输入所述深度学习算法模型进行图像特征识别，得到铁钻工位姿；
根据所述钻柱定位信息、所述铁钻工位姿通过手眼协调算法对铁钻工进行对中处理及钻柱规格识别；
构建专家知识库，所述专家知识库包括钻柱规格、铁钻工位姿与握紧力的对应关系；
根据钻柱规格识别结果、所述铁钻工位姿在所述专家知识库进行匹配，获得匹配握紧力；
根据所述匹配握紧力、所述距离检测信息通过模糊控制器进行铁钻工开度、扭矩的自适应模糊控制。
2.如权利要求1所述的方法，其特征在于，所述方法包括：
获得历史钻柱图像信息集、铁钻工历史图像信息集；
构建深度学习卷积神经网络；
分别将所述历史钻柱图像信息集、所述铁钻工历史图像信息集作为训练数据对所述深度学习卷积神经网络进行训练，获得所述深度学习算法模型。
3.如权利要求1所述的方法，其特征在于，根据所述钻柱定位信息、所述铁钻工位姿通过手眼协调算法对铁钻工进行对中处理及钻柱规格识别，包括：
根据所述钻柱定位信息，获得钻柱各元件的边缘定位标识；
根据所述钻柱各元件的边缘定位标识进行连接，获得钻柱元件定位结构；
基于所述钻柱元件定位结构从钻柱规格定位结构库中进行匹配，获得钻柱规格识别结果；
利用所述钻柱定位信息、所述钻柱规格识别结果，确定目标工作坐标；
基于所述铁钻工位姿、所述目标工作坐标进行手眼协调算法进行对中，确定对中信息。
4.如权利要求3所述的方法，其特征在于，所述方法包括：
获得铁钻工冲扣钳多角度图像信息，钻柱多规格图像信息；
通过距离传感器获得钻柱距离信息；
利用所述铁钻工冲扣钳多角度图像信息、所述钻柱多规格图像信息进行开度预测，获得预测开度信息；
根据所述钻柱距离信息，通过设置在铁钻工上的图像采集器进行图像监测，获得操作结果、控制轨迹信息；
根据所述操作结果进行标记，利用所述预测开度信息、所述控制轨迹信息对手眼协调算法进行优化，当操作结果的成功概率达到预设要求时，确定所述手眼协调算法。
5.如权利要求3所述的方法，其特征在于，根据所述匹配握紧力、所述距离检测信息通过模糊控制器进行铁钻工开度、扭矩的自适应模糊控制，包括：
基于所述对中信息、所述匹配握紧力、钻柱规格识别结果进行铁钻工冲扣钳开度分析，确定铁钻工开度；
根据所述距离检测信息、所述对中信息，获得铁钻工控制轨迹信息；
根据所述钻柱规格识别结果进行所述铁钻工开度调节范围分析，获得开度调节变化信息；
根据所述开度调节变化信息、所述铁钻工控制轨迹信息，确定对中概率；
当对中概率不满足设定要求时，基于所述对中信息、所述开度调节变化信息、所述铁钻工控制轨迹信息进行调节，直到所述对中概率达到设定要求为止；
根据所述开度调节变化信息确定夹紧开度信息，根据所述夹紧开度信息、所述匹配握紧力进行扭矩自适应模糊控制。
6.如权利要求5所述的方法，其特征在于，所述方法包括：
获得扭矩控制模糊集；
根据所述扭矩控制模糊集与所述匹配握紧力进行隶属度计算，获得隶属度关系；
判断所述隶属度关系是否满足隶属度要求；
当满足时，基于所述隶属度关系，确定扭矩自适应模糊控制信息。
7.一种基于手眼视觉伺服技术的铁钻工目标检测系统，其特征在于，所述系统包括：
第一图像采集设备，通过所述第一图像采集设备对钻柱进行图像采集，获得钻柱图像信息；
第一图像特征识别模块，所述第一图像特征识别模块用于将所述钻柱图像信息输入深度学习算法模型进行图像特征识别，得到钻柱定位信息；
距离传感器，通过距离传感器对所述钻柱进行距离检测，获得距离检测信息；
第二图像采集设备，通过所述第二图像采集设备对铁钻工进行图像采集，获得铁钻工图像信息；
第二图像特征识别模块，所述第二图像特征识别模块用于将所述铁钻工图像信息输入所述深度学习算法模型进行图像特征识别，得到铁钻工位姿；
信息处理模块，所述信息处理模块用于根据所述钻柱定位信息、所述铁钻工位姿通过手眼协调算法对铁钻工进行对中处理及钻柱规格识别；
专家知识库构建模块，所述专家知识库构建模块用于构建专家知识库，所述专家知识库包括钻柱规格、铁钻工位姿与握紧力的对应关系；
握紧力匹配模块，所述握紧力匹配模块用于根据钻柱规格识别结果、所述铁钻工位姿在所述专家知识库进行匹配，获得匹配握紧力；
自适应模糊控制模块，所述自适应模糊控制模块用于根据所述匹配握紧力、所述距离检测信息通过模糊控制器进行铁钻工开度、扭矩的自适应模糊控制。
CN202210697028.XA 2022-06-20 2022-06-20 一种基于手眼视觉伺服技术的铁钻工目标检测方法及系统 Active CN115565054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210697028.XA CN115565054B (zh) 2022-06-20 2022-06-20 一种基于手眼视觉伺服技术的铁钻工目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210697028.XA CN115565054B (zh) 2022-06-20 2022-06-20 一种基于手眼视觉伺服技术的铁钻工目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN115565054A true CN115565054A (zh) 2023-01-03
CN115565054B CN115565054B (zh) 2023-04-18

Family

ID=84737895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210697028.XA Active CN115565054B (zh) 2022-06-20 2022-06-20 一种基于手眼视觉伺服技术的铁钻工目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN115565054B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103015973A (zh) * 2012-12-24 2013-04-03 中国石油化工股份有限公司 用于获取控压钻井中钻井参数的模拟装置
NO20120073A1 (no) * 2012-01-24 2013-07-25 Nat Oilwell Varco Norway As Fremgangsmate og system for a redusere borestrengoscillasjon
US20140169128A1 (en) * 2012-12-18 2014-06-19 Schlumberger Technology Corporation Devices, Systems and Methods for Low Frequency Seismic Borehole Investigations
CN110000795A (zh) * 2019-05-15 2019-07-12 苏州市职业大学 一种视觉伺服控制的方法、系统及设备
CN110125455A (zh) * 2019-05-27 2019-08-16 清华大学 一种用于机器人钻孔中优化钻头位姿的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO20120073A1 (no) * 2012-01-24 2013-07-25 Nat Oilwell Varco Norway As Fremgangsmate og system for a redusere borestrengoscillasjon
US20140169128A1 (en) * 2012-12-18 2014-06-19 Schlumberger Technology Corporation Devices, Systems and Methods for Low Frequency Seismic Borehole Investigations
CN103015973A (zh) * 2012-12-24 2013-04-03 中国石油化工股份有限公司 用于获取控压钻井中钻井参数的模拟装置
CN110000795A (zh) * 2019-05-15 2019-07-12 苏州市职业大学 一种视觉伺服控制的方法、系统及设备
CN110125455A (zh) * 2019-05-27 2019-08-16 清华大学 一种用于机器人钻孔中优化钻头位姿的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAIM ZOGHLAMI等: "Bottomhole pressure stabilizing observer-based controller in tunnel drilling system" *
QISHUAI YIN等: "Drilling performance improvement in offshore batch wells based on rig state classification using machine learning" *

Also Published As

Publication number Publication date
CN115565054B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US11167417B2 (en) Robot control device and robot system
CN109159113B (zh) 一种基于视觉推理的机器人作业方法
US10975681B2 (en) Apparatus and method for locating tool joint
CN112497219B (zh) 一种基于目标检测和机器视觉的柱状工件分类定位方法
EP3517255A2 (en) Robot control device, robot system and method of creating a control program
AU2018250380A1 (en) Tool joint finding apparatus and method
CN114536340A (zh) 一种铁钻工基于机器视觉辅助的自动抓取方法及系统
CN115565054B (zh) 一种基于手眼视觉伺服技术的铁钻工目标检测方法及系统
CN116275411A (zh) 基于图纸导入和视觉引导机器人的自动螺柱焊方法及系统
CN111062364A (zh) 一种基于深度学习的监测装配操作的方法和装置
CN116442219B (zh) 一种智能机器人控制系统及方法
JPH07121713A (ja) パターン認識方法
CN114046752B (zh) 一种钻杆检测方法、电子设备及存储介质
LU502381B1 (en) Method for optimizing polishing process of industrial robot
CN118135358A (zh) 一种基于深度学习的电缆工程工井采集校验方法
CN117291874B (zh) 用于铜公测量的自动分中方法及其系统
CN116160174B (zh) 一种基于双目视觉的焊缝识别与跟踪控制方法
CN118037741B (zh) 基于机器视觉的人字门焊接质量检测方法及系统
CN117532624B (zh) 一种护栏板安装自动定位调准方法及系统
CN115392505B (zh) 一种汽车配件自动安装机器人的异常处理系统及方法
CN111222716B (zh) 一种工程安全预测预警装置
CN117840817A (zh) 一种用于数控机床夹具检测的机器人检测系统
CN113954541A (zh) 可移动式油墨印刷方法、系统、装置和存储介质
CN117901121A (zh) 一种基于边缘计算的机器人无线通信系统
KR20240059088A (ko) 디스플레이 제조 설비의 위치 결정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant