CN117067204A - 控制方法、装置、设备以及存储介质 - Google Patents

控制方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN117067204A
CN117067204A CN202311052008.8A CN202311052008A CN117067204A CN 117067204 A CN117067204 A CN 117067204A CN 202311052008 A CN202311052008 A CN 202311052008A CN 117067204 A CN117067204 A CN 117067204A
Authority
CN
China
Prior art keywords
target
clamping jaw
mechanical clamping
network layer
center position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311052008.8A
Other languages
English (en)
Inventor
彭先涛
王鹏
李大可
徐峰
滕铮
盛建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Double Rabbit New Material Co ltd
Zhejiang Hengyi Petrochemical Co ltd
Original Assignee
Zhejiang Double Rabbit New Material Co ltd
Zhejiang Hengyi Petrochemical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Double Rabbit New Material Co ltd, Zhejiang Hengyi Petrochemical Co ltd filed Critical Zhejiang Double Rabbit New Material Co ltd
Priority to CN202311052008.8A priority Critical patent/CN117067204A/zh
Priority to US18/488,483 priority patent/US11969903B1/en
Publication of CN117067204A publication Critical patent/CN117067204A/zh
Priority to JP2023199587A priority patent/JP7454739B1/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0095—Means or methods for testing manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Winding Filamentary Materials (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了控制方法、装置、设备以及存储介质。该方法包括：在确定机械夹爪的特征信息满足第一预设要求的情况下，获取第一采集装置所采集的第一目标图像，以及第二采集装置所采集的第二目标图像；其中，第一采集装置用于对机械夹爪进行图像采集；第二采集装置用于对机械夹爪所需抓取的丝车上的目标丝锭进行图像采集；检测第一目标图像中机械夹爪的第一中心位置，以及检测第二目标图像中目标丝锭的第二中心位置；在确定第一中心位置与第二中心位置之间的目标位置关系不满足第二预设要求的情况下，生成校准指令，校准指令用于校准机械夹爪的中心位置，或者用于校准机械夹爪所需抓取的目标丝锭的中心位置。

Description

控制方法、装置、设备以及存储介质
技术领域
本公开涉及数据处理技术领域，尤其涉及一种控制方法、装置、设备以及存储介质。
背景技术
在丝锭的生产车间中，机器人在从丝车上抓取丝锭时，会因机械磨损等因素，出现定位不准的问题，进而导致机器人的机械夹爪在抓取时损伤丝锭，甚至无法成功抓取丝锭，因此，迫切需要一种对机器人的抓取位置进行校准的方法。
发明内容
本公开提供了一种控制方法、装置、设备以及存储介质，以解决或缓解现有技术中的一项或更多项技术问题。
第一方面，本公开提供了一种控制方法，包括：
在确定机械夹爪的特征信息满足第一预设要求的情况下，获取第一采集装置所采集的第一目标图像，以及第二采集装置所采集的第二目标图像；其中，所述第一采集装置用于对机械夹爪进行图像采集；所述第二采集装置用于对所述机械夹爪所需抓取的丝车上的目标丝锭进行图像采集；
检测所述第一目标图像中所述机械夹爪的第一中心位置，以及检测所述第二目标图像中所述目标丝锭的第二中心位置；
在确定所述第一中心位置与所述第二中心位置之间的目标位置关系不满足第二预设要求的情况下，生成校准指令，所述校准指令用于校准所述机械夹爪的中心位置，或者用于校准所述机械夹爪所需抓取的目标丝锭的中心位置。
第二方面，本公开提供了一种控制装置，包括：
获取单元，用于在确定机械夹爪的特征信息满足第一预设要求的情况下，获取第一采集装置所采集的第一目标图像，以及第二采集装置所采集的第二目标图像；其中，所述第一采集装置用于对机械夹爪进行图像采集；所述第二采集装置用于对所述机械夹爪所需抓取的丝车上的目标丝锭进行图像采集；
检测单元，用于检测所述第一目标图像中所述机械夹爪的第一中心位置，以及检测所述第二目标图像中所述目标丝锭的第二中心位置；
处理单元，用于在确定所述第一中心位置与所述第二中心位置之间的目标位置关系不满足第二预设要求的情况下，生成校准指令，所述校准指令用于校准所述机械夹爪的中心位置，或者用于校准所述机械夹爪所需抓取的目标丝锭的中心位置。
第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
这样，本公开方案能够基于获取的第一目标图像和第二目标图像，检测所述机械夹爪的中心位置和目标丝锭的中心位置，以确定出二者的目标位置关系，进而可以根据目标位置关系进行校准，如此，能够快速应对因机械磨损造成的定位抓取不准的问题，有效提升了机械夹爪抓取的精确性，为顺利地对机械夹爪的抓取位置进行自动化校准提供了技术支持。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本公开提供的一些实施方式，而不应将其视为是对本公开范围的限制。
图1是根据本申请一实施例控制方法的示意性流程图一；
图2(a)和图2(b)是根据本申请一实施例机械夹爪抓取丝锭的场景示意图；
图3是根据本申请一实施例目标检测模型的结构示意图；
图4是根据本申请一实施例控制方法的示意性流程图二；
图5是根据本申请一实施例控制方法的示意性流程图三；
图6是根据本申请一实施例控制方法的示意性流程图四；
图7是根据本申请一实施例控制装置的结构示意图；
图8是用来实现本公开实施例的控制方法的电子设备的框图。
具体实施方式
下面将参考附图对本公开作进一步地详细描述。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路等未作详细描述，以便于凸显本公开的主旨。
在丝锭的生产车间中，机器人在从丝车上抓取丝锭时，会因机械磨损等因素，出现定位不准的问题，进而导致机器人的机械夹爪在抓取时损伤丝锭，甚至无法成功抓取丝锭。
基于此，本公开方案提出了一种控制方法，以对机器人的抓取位置进行校准。
具体地，图1是根据本申请一实施例控制方法的示意性流程图一。该方法可选地应用于电子设备中，比如，个人电脑、服务器、服务器集群等电子设备中。
进一步地，该方法至少包括以下内容的至少部分内容。如图1所示，包括：
步骤S101：在确定机械夹爪的特征信息满足第一预设要求的情况下，获取第一采集装置所采集的第一目标图像，以及第二采集装置所采集的第二目标图像。
这里，所述第一采集装置用于对机械夹爪进行图像采集；所述第二采集装置用于对所述机械夹爪所需抓取的丝车上的目标丝锭进行图像采集。
在一示例中，所述第一采集装置可设置在能够采集完整的机械夹爪的任一位置，比如所述第一采集装置设置于所述丝车上；所述第二采集装置可设置在能够采集所述丝车上完整的目标丝锭的任一位置，比如所述第二采集装置设置于所述机械夹爪所在的机械手臂上，本公开方案对此不作限定。
进一步地，所述第一采集装置(或者第二采集装置)可具体包括摄像头，比如，所述第一目标图像是利用摄像头对所述机械夹爪进行图像采集后所得；如利用摄像头对所述机械夹爪进行拍摄，得到第一目标图像，或者，对所述机械夹爪进行预设时长的视频采集，得到多张连续视频帧，从连续视频帧中选取出一张图像作为第一目标图像。这里，所述第二采集装置与所述第一采集装置类似，此处不再赘述。
需要指出的是，所述目标丝锭为所述机械夹爪当前所需从丝车上抓取的丝锭，在一示例中，如图2(a)所示，机械手臂的末端固定有机械夹爪，所述机械夹爪沿第一方向伸向丝车，此时，在所述机械夹爪移动至一具体位置、机械夹爪预要抓取目标丝锭的情况下，设置于机械手臂上的第一采集装置即可采集所述机械夹爪所要抓取的目标丝锭，如图2(b)所示，得到包含有完整的目标丝锭的第一目标图像。可以理解的是，可以通过调整设置于机械手臂上的第一采集装置的位置，来控制所采集到的第一目标图像所包含的目标体的细节信息，比如，调整设置于机械手臂上的第一采集装置的位置，使得采集到的第一目标图像中包含有一个完整的丝锭，且该完整的丝锭为目标丝锭，如此，有效避免了目标丝锭周边的其他丝锭对目标丝锭的中心位置的识别造成干扰，进而为有效提升校准精确度奠定了基础。
进一步地，所述机械夹爪的特征信息可具体包括但不限于以下至少之一：所述机械夹爪的运行时长、所述机械夹爪抓取丝车上的丝锭的抓取次数等。
在一示例中，确定所述机械夹爪的运行时长，并在所述机械夹爪的运行时长达到预设运行时长的情况下，获取第一采集装置所采集的第一目标图像，以及第二采集装置所采集的第二目标图像。
或者，在另一示例中，统计所述机械夹爪抓取丝车上的丝锭的抓取次数，在所述抓取次数达到预设次数的情况下，获取第一采集装置所采集的第一目标图像，以及第二采集装置所采集的第二目标图像。
步骤S102：检测所述第一目标图像中所述机械夹爪的第一中心位置，以及检测所述第二目标图像中所述目标丝锭的第二中心位置。
在一具体示例中，可采用如下方式得到第一中心位置和第二中心位置；具体地，以上所述检测所述第一目标图像中所述机械夹爪的第一中心位置，以及检测所述第二目标图像中所述目标丝锭的第二中心位置(也即以上所述步骤S102)，具体包括：
步骤S102-1：将所述第一目标图像输入至目标检测模型中，得到所述第一目标图像中所述机械夹爪的第一中心位置。
步骤S102-2：将所述第二目标图像输入至所述目标检测模型中，得到所述第二目标图像中所述目标丝锭的第二中心位置。
进一步地，在一具体示例中，以上所述步骤S102-1(或者步骤S102-2)中的目标检测模型至少包括第一网络层、第二网络层以及第三网络层；
这里，所述第一网络层至少包括第一子网络层、第二子网络层以及第三子网络层；所述第一子网络层用于对输入的图像进行第一卷积处理，得到第一卷积特征图；所述第二子网络层用于对所述第一卷积特征图进行线性处理，得到线性特征图，并将所述线性特征图与所述第一卷积特征图进行连接处理，得到连接特征图；所述第三子网络层用于对所述连接特征图进行第二卷积处理，得到第二卷积特征图，如此，有效提升了所提取特征的丰富度，进而提升了后续对机械夹爪或者目标丝锭识别的精确性。
举例来说，在一示例中，以上所述第一网络层为幻影网络(GhostNet)层，进一步地，所述GhostNet层所包含的第一子网络层为普通卷积(Conv)网络层、第二子网络层为幻影卷积(GhostConv)网络层、以及第三子网络层为混合空洞卷积((Hybride DilatedConvlution，HDC)网络层；如图3所示，首先，将图像(比如第一目标图像、第二目标图像)输入至普通卷积网络层，得到图像的普通卷积特征图；其次，将普通卷积特征图输入至幻影卷积网络层，比如，通过幻影卷积网络层进行线性处理后，得到线性特征图，并将线性特征图与普通卷积特征图作连接处理，得到连接特征图；最后将连接特征图输入至混合空洞卷积网络层，得到混合空洞卷积特征图。
进一步地，所述第二网络层用于对所述连接特征图、以及第二卷积特征图分别进行第一卷积处理，并将处理后的结果进行特征融合处理，得到融合特征图，比如，所述第二网络层为特征金字塔网络(Feature Pyramid Network，FPN)层，如图3所示，将所述幻影网络层得到的连接特征图和混合空洞卷积特征图输入至FPN层，以进行特征融合处理，得到融合特征图。
进一步地，所述第三网络层包括第四子网络层和第五子网络层，所述第四子网络层用于基于所述融合特征图，识别得到图像中的机械夹爪或者目标丝锭；所述第五子网络层用于基于融合特征图，得到图像中机械夹爪的中心位置或者图像中目标丝锭的中心位置；比如，所述第五子网络层用于基于融合特征图和第四子网络层的输出结果，得到图像中机械夹爪的中心位置或者图像中目标丝锭的中心位置。
举例来说，所述第四子网络层为分类子网络层，所述第五子网络层为回归子网络层，如图3所示，将FPN层的输出结果，比如融合特征图输入至分类子网络层，识别得到图像中的机械夹爪，比如，框选出图像中的机械夹爪；以及，将所述融合特征图和框选出的图像中的机械夹爪(比如，包含有机械夹爪的部分图像)输入至回归子网络层，得到图像中机械夹爪的中心位置；或者，将融合特征图输入至分类子网络层，识别得到图像中的目标丝锭，比如，框选出图像中的目标丝锭；以及，将所述融合特征图和框选出的图像中的目标丝锭(比如，包含有目标丝锭的部分图像)输入至回归子网络层，得到图像中目标丝锭的中心位置。
这样，本公开方案能够利用目标检测模型，得到的机械夹爪的中心位置、以及目标丝锭的中心位置，进而便于确定二者的目标位置关系，如此，为后续对机械夹爪的抓取位置进行校准奠定了基础。
步骤S103：在确定所述第一中心位置与所述第二中心位置之间的目标位置关系不满足第二预设要求的情况下，生成校准指令，所述校准指令用于校准所述机械夹爪的中心位置，或者用于校准所述机械夹爪所需抓取的目标丝锭的中心位置。
这样，本公开方案能够基于获取的第一目标图像和第二目标图像，检测所述机械夹爪的中心位置和目标丝锭的中心位置，以确定出二者的目标位置关系，进而可以根据目标位置关系进行校准，如此，能够快速应对因机械磨损造成的定位抓取不准的问题，有效提升了机械夹爪抓取的精确性，为顺利地对机械夹爪的抓取位置进行自动化校准提供了技术支持。
进一步地，在丝锭的生产车间中，尤其在丝锭的自动包装流程中，本公开方案能够使机械夹爪准确地定位抓取到丝锭，为后续避免抓取丝锭时造成损伤奠定了基础，同时也为后续保证丝锭包装业务的正常运作、大幅提升包装效率奠定了基础。
在一具体示例中，在校准指令执行完成之后，还可以对校准结果进行验证，如此，能够确保机械夹爪的抓取位置校准成功，为后续能够使机械夹爪精准地抓取到丝锭奠定了基础。具体地，图4是根据本申请一实施例控制方法的示意性流程图二。该方法可选地可以应用于电子设备，比如，个人电脑、服务器、服务器集群等电子设备中。可以理解的是，以上图1所示方法的相关内容，也可以应用于该示例中，该示例对相关联内容不再赘述。
进一步地，该方法包括以下内容的至少部分内容。具体地，如图4所示，包括：
步骤S401：确定机械夹爪的特征信息是否满足第一预设要求，若是，则进入步骤S402，否则，进入步骤S406。
步骤S402：获取第一采集装置所采集的第一目标图像，以及第二采集装置所采集的第二目标图像。并进入步骤S403。
步骤S403：检测所述第一目标图像中所述机械夹爪的第一中心位置，以及检测所述第二目标图像中所述目标丝锭的第二中心位置。并进入步骤S404。
步骤S404：确定第一中心位置与第二中心位置之间的目标位置关系是否满足第二预设要求，若是，则进入步骤S406，否则，进入步骤S405。
步骤S405：在确定所述第一中心位置与所述第二中心位置之间的目标位置关系不满足第二预设要求的情况下，生成校准指令，所述校准指令用于校准所述机械夹爪的中心位置，或者用于校准所述机械夹爪所需抓取的目标丝锭的中心位置。并进入步骤S407。
步骤S406：继续执行抓取任务。
步骤S407：在校准指令执行完成之后，生成第一控制指令，并返回至步骤S402，以重新获取新的第一目标图像和新的第二目标图像。
这里，所述第一控制指令用于指示所述第一采集装置采集新的第一目标图像，以及指示所述第二采集装置采集新的第二目标图像。
也就是说，当前校准流程中，生成的校准指令在执行完成后，可以重新获取新的第一目标图像和新的第二目标图像，并基于新的第一目标图像和新的第二目标图像，检测新的第一目标图像中机械夹爪的第一中心位置，以及新的第二目标图像中目标丝锭的第二中心位置，进而得到新的目标位置关系；此时，判断得到的新的目标位置关系是否满足第二预设要求，若是，也即满足第二预设要求，则校准成功，结束当前校准流程；否则，也即不满足第二预设要求，则生成新的校准指令，直至新的目标位置关系满足第二预设要求为止。
在一具体示例中，图5是根据本申请一实施例控制方法的示意性流程图三。该方法可选地可以应用于电子设备，比如，个人电脑、服务器、服务器集群等电子设备中。可以理解的是，以上图1所示方法的相关内容，也可以应用于该示例中，该示例对相关联内容不再赘述。
进一步地，该方法包括以下内容的至少部分内容。具体地，如图5所示，包括：
步骤S501：在确定机械夹爪的特征信息满足第一预设要求的情况下，获取第一采集装置所采集的第一目标图像，以及第二采集装置所采集的第二目标图像。
这里，所述第一采集装置用于对机械夹爪进行图像采集；所述第二采集装置用于对所述机械夹爪所需抓取的丝车上的目标丝锭进行图像采集。
步骤S502：检测所述第一目标图像中所述机械夹爪的第一中心位置，以及检测所述第二目标图像中所述目标丝锭的第二中心位置。
这里，所述第一中心位置和所述第二中心位置的检测可参照上述示例，此处不再赘述。
步骤S503：基于所述第一中心位置和所述第二中心位置，估计得到目标距离；所述目标距离表征所述机械夹爪和所述目标丝锭在同一目标坐标系下的中心位置间的相对距离。
这里，所述第一中心位置为所述第一目标图像所对应的第一坐标系下的位置信息；所述第二中心位置为所述第二目标图像所对应的第二坐标系下的位置信息；所述目标坐标系为第一坐标系、第二坐标系、世界坐标系中之一。
也就是说，在步骤S502之后，还可以基于得到的第一中心位置和第二中心位置，估计得到用于描述目标位置关系的目标距离，如此，便于基于目标距离来确定是否需要进行校准。
步骤S504：在确定所述目标距离大于预设阈值的情况下，生成校准指令。
进一步地，在一具体示例中，可采用如下方式得到目标距离；具体地，以上所述基于所述第一中心位置和所述第二中心位置，估计得到目标距离(也即以上所述的步骤S503)，具体包括：
步骤S503-1：基于所述第一中心位置，估计得到所述机械夹爪在所述目标坐标系下的第一中心坐标。
举例来说，在一示例中，在所述目标坐标系为第一坐标系的情况下，可基于所述第一中心位置直接得到第一中心坐标，比如，在所述第一中心位置为一坐标点的情况下，可将表示第一中心位置的坐标点直接作为第一坐标系下的第一中心坐标；或者，在所述第一中心位置为中心区域(比如为包含有多个坐标点的中心区域)的情况下，可基于中心区域内的多个坐标点，得到一中心坐标，并将得到的中心坐标直接作为第一坐标系下的第一中心坐标。
或者，在另一示例中，在所述目标坐标系为第二坐标系的情况下，还可基于第一中心位置，以及第一坐标系与第二坐标系之间的坐标转换关系，估计得到目标丝锭在第二坐标系下的第一中心坐标，比如，在所述第一中心位置为一坐标点的情况下，可基于第一坐标系与第二坐标系之间的坐标转换关系，将表示第一中心位置的坐标点转换至第二坐标系下，得到第一中心坐标；或者，在所述第一中心位置为中心区域(比如包含有多个坐标点的中心区域)的情况下，可基于中心区域内的多个坐标点，得到所述第一中心位置对应的中心坐标，并将得到的第一中心位置对应的中心坐标转换至第二坐标系下，得到第一中心坐标；或者，在所述第一中心位置为中心区域(比如包含有多个坐标点的中心区域)的情况下，基于第一坐标系与第二坐标系之间的坐标转换关系，将中心区域内的多个坐标点分别转换至第二坐标系下，得到第二坐标系下的多个坐标点，进而基于第二坐标系下的多个坐标点，得到第一中心坐标。
或者，在再一示例中，在所述目标坐标系为世界坐标系的情况下，还可基于第一中心位置，以及第一坐标系与世界坐标系之间的坐标转换关系，估计得到目标丝锭在世界坐标系下的第一中心坐标，比如，在所述第一中心位置为一坐标点的情况下，可基于第一坐标系与世界坐标系之间的坐标转换关系，将表示第一中心位置的坐标点转换至世界坐标系下，得到第一中心坐标；或者，在所述第一中心位置为中心区域(比如包含有多个坐标点的中心区域)的情况下，可基于中心区域内的多个坐标点，得到所述第一中心位置对应的中心坐标，并将得到的第一中心位置对应的中心坐标转换至世界坐标系下，得到第一中心坐标；或者，在所述第一中心位置为中心区域(比如包含有多个坐标点的中心区域)的情况下，基于第一坐标系与世界坐标系之间的坐标转换关系，将中心区域内的多个坐标点分别转换至世界坐标系下，得到世界坐标系下的多个坐标点，进而基于世界坐标系下的多个坐标点，得到第一中心坐标。
步骤S503-2：基于所述第二中心位置，估计得到所述目标丝锭在所述目标坐标系下的第二中心坐标。
举例来说，在一示例中，在所述目标坐标系为第一坐标系的情况下，还可基于第二中心位置，以及第一坐标系与第二坐标系之间的坐标转换关系，估计得到目标丝锭在第一坐标系下的第二中心坐标，比如，在所述第二中心位置为一坐标点的情况下，可基于第一坐标系与第二坐标系之间的坐标转换关系，将表示第二中心位置的坐标点转换至第一坐标系下，得到第二中心坐标；或者，在所述第二中心位置为中心区域(比如包含有多个坐标点的中心区域)的情况下，可基于中心区域内的多个坐标点，得到所述第二中心位置对应的中心坐标，并将得到的第二中心位置对应的中心坐标转换至第一坐标系下，得到第二中心坐标。或者，在所述第二中心位置为中心区域(比如包含有多个坐标点的中心区域)的情况下，基于第一坐标系与第二坐标系之间的坐标转换关系，将中心区域内的多个坐标点分别转换至第一坐标系下，得到第一坐标系下的多个坐标点，进而基于第一坐标下的多个坐标点，得到第二中心坐标。
或者，在另一示例中，在所述目标坐标系为第二坐标系的情况下，可基于所述第二中心位置直接得到第二中心坐标，比如，在所述第二中心位置为一坐标点的情况下，可将表示第二中心位置的坐标点直接作为第二坐标系下的第二中心坐标；或者，在所述第二中心位置为中心区域(比如为包含有多个坐标点的中心区域)的情况下，可基于中心区域内的多个坐标点，得到一中心坐标，并将得到的中心坐标直接作为第二坐标系下的第二中心坐标。
或者，在再一示例中，在所述目标坐标系为世界坐标系的情况下，还可基于第二中心位置，以及第二坐标系与世界坐标系之间的坐标转换关系，估计得到目标丝锭在世界坐标系下的第二中心坐标，比如，在所述第二中心位置为一坐标点的情况下，可基于第二坐标系与世界坐标系之间的坐标转换关系，将表示第二中心位置的坐标点转换至世界坐标系下，得到第二中心坐标；或者，在所述第二中心位置为中心区域(比如包含有多个坐标点的中心区域)的情况下，可基于中心区域内的多个坐标点，得到所述第二中心位置对应的中心坐标，并将得到的第二中心位置对应的中心坐标转换至世界坐标系下，得到第二中心坐标；或者，在所述第二中心位置为中心区域(比如包含有多个坐标点的中心区域)的情况下，基于第二坐标系与世界坐标系之间的坐标转换关系，将中心区域内的多个坐标点分别转换至世界坐标系下，得到世界坐标系下的多个坐标点，进而基于世界坐标系下的多个坐标点，得到第二中心坐标。
步骤S503-3：基于所述机械夹爪在所述目标坐标系下的第一中心坐标，以及所述目标丝锭在所述目标坐标系下的第二中心坐标，得到目标距离。
这样，本公开方案能够基于检测得到的所述机械夹爪的中心位置和目标丝锭的中心位置，估计得到用于描述二者的目标位置关系的目标距离，进而可以根据目标距离对机械夹爪的抓取位置进行校准，如此，能够快速应对因机械磨损造成的定位抓取不准的问题，有效提升了机械夹爪抓取的精确性，为后续机械夹爪抓取丝锭的抓取效率的提升奠定了基础，也为后续避免抓取丝锭时造成损伤、以及避免无法成功抓取丝锭奠定了基础。
进一步地，在一具体示例中，还可采用如下方式生成校准指令；具体地，以上所述在确定所述目标距离大于预设阈值的情况下，生成校准指令(也即以上所述的步骤S504)，具体包括：
方式一：在确定所述目标距离大于第一级临界值、且所述目标距离小于等于第二级临界值的情况下，生成校准指令，此时，所述校准指令用于指示基于所述目标距离调整所述机械夹爪的控制参数。
或者，
方式二：在确定所述目标距离大于所述第一级临界值、且所述目标距离大于所述第二级临界值的情况下，生成校准指令，此时，所述校准指令用于指示基于所述目标距离调整所述目标丝锭所在的丝车的位置。
这里，所述第一级临界值小于所述第二级临界值，且所述第一级临界值和第二级临界值均为经验值，可根据实际需要进行设置，本公开方案对此不作限定。
具体地，图6是根据本申请一实施例控制方法的示意性流程图四。该方法可选地可以应用于电子设备，比如，个人电脑、服务器、服务器集群等电子设备中。可以理解的是，以上图1和图5所示方法的相关内容，也可以应用于该示例中，该示例对相关联内容不再赘述。
进一步地，该方法包括以下内容的至少部分内容。具体地，如图6所示，包括：
步骤S601：在确定机械夹爪的特征信息满足第一预设要求的情况下，获取第一采集装置所采集的第一目标图像，以及第二采集装置所采集的第二目标图像。
这里，所述第一采集装置用于对机械夹爪进行图像采集；所述第二采集装置用于对所述机械夹爪所需抓取的丝车上的目标丝锭进行图像采集。
步骤S602：检测所述第一目标图像中所述机械夹爪的第一中心位置，以及检测所述第二目标图像中所述目标丝锭的第二中心位置。
步骤S603：基于所述第一中心位置和所述第二中心位置，估计得到目标距离；所述目标距离表征所述机械夹爪和所述目标丝锭在同一目标坐标系下的中心位置间的相对距离。
这里，所述第一中心位置为所述第一目标图像所对应的第一坐标系下的位置信息；所述第二中心位置为所述第二目标图像所对应的第二坐标系下的位置信息；所述目标坐标系为第一坐标系、第二坐标系、世界坐标系中之一。
步骤S604：确定所述目标距离是否大于第一级临界值，若是，则进入步骤S606，否则，进入步骤S605。
步骤S605：重新确定机械夹爪的特征信息，并返回步骤S601。
比如，在确定所述机械夹爪的运行时长达到预设时长(比如1小时)，且在所述目标距离小于第一级临界值的情况下，初始化所述机械夹爪的运行时长，重新统计所述机械夹爪的运行时长，并判断重新统计得到的运行时长是否达到1小时；或者，比如，在确定所述机械夹爪的抓取次数达到预设次数(比如80次)，且在所述目标距离小于第一级临界值的情况下，初始化所述机械夹爪的抓取次数，重新统计所述机械夹爪的抓取次数，并判断重新统计得到的抓取次数是否达到80次。
步骤S606：确定所述目标距离是否小于等于第二级临界值，若是，则进入步骤S607，否则，进入步骤S608。
步骤S607：在确定所述目标距离大于第一级临界值、且所述目标距离小于等于第二级临界值的情况下，生成校准指令，所述校准指令用于指示基于所述目标距离调整所述机械夹爪的控制参数。
步骤S608：在确定所述目标距离大于所述第一级临界值、且所述目标距离大于所述第二级临界值的情况下，生成校准指令，所述校准指令用于指示基于所述目标距离调整所述目标丝锭所在的丝车的位置。
可以理解的是，在得到第一中心位置和第二中心位置的情况下，估计得到在同一目标坐标系下的目标距离；判断所得的目标距离是否大于第一级临界值，若是，也即大于第一级临界值，则判断所得的目标距离是否小于等于第二级临界值，若是，也即小于或者等于第二级临界值，则生成校准指令，以指示基于所述目标距离调整机械夹爪的控制参数，进而实现对机械夹爪的中心位置的调整；可以理解的是，该示例中，在所得的目标距离大于第一级临界值且小于或等于第二级临界值的情况下，可认为机械夹爪与目标丝锭的中心位置偏离量较小，此时，可通过微调的方式，来调整机械夹爪的控制参数，以调整机械夹爪的中心位置，进而以缩小机械夹爪与目标丝锭的中心位置间的距离。
进一步地，在所得的目标距离大于第一级临界值的情况下，若所得的目标距离也大于第二级临界值，则生成校准指令，以指示基于所述目标距离调整所述目标丝锭所在的丝车的位置，进而实现对所述目标丝锭的中心位置的调整；可以理解的是，该示例中，在所得的目标距离大于第二级临界值的情况下，可认为机械夹爪与目标丝锭的中心位置偏离量较大，此时，可通过调整丝车的位置，来校准机械夹爪的抓取位置，进而以缩小机械夹爪与目标丝锭的中心位置间的距离。如此，可快速进行校准，提升了校准的处理效率，同时提升了机械夹爪抓取的精确性。
需要指出的是，实际场景中，可参考目标距离来调整机械夹爪的控制参数，或者，调整丝车的位置，比如，得到目标距离在世界坐标系下的真实相对距离，此时，可基于真实相对距离，来调整机械夹爪的控制参数，或者，调整丝车的位置。
综上所述，本公开方案提供的控制方法，相对于现有技术而言，具有以下几项优势，具体包括：
第一、更加自动化。相比于现有技术，本公开方案能够快速应对因机械磨损造成的定位抓取不准的问题，而且为实现丝锭的自动包装流程中对机械夹爪的抓取位置的自动化校准提供了技术支持，该过程无需人为介入，如此，进一步提升了自动包装流程自动化程度，同时节省了大量的人力成本和时间成本。
第二、抓取更加精确。本公开方案能够基于得到的目标距离，给出不同的校准方式，比如在认为机械夹爪与目标丝锭的中心位置偏离量较小时，调整机械夹爪的控制参数；或者，认为机械夹爪与目标丝锭的中心位置偏离量较大时，调整丝车的位置；如此，有效提升了机械夹爪抓取的精确性。
第三、自动包装效率更高。本公开方案有效解决了机械夹爪的定位抓取不准的问题，为后续避免机械夹爪因抓取不准损伤丝锭或者无法抓取丝锭奠定了基础，也为后续保证丝锭的包装业务的正常运作、以及大幅提升包装效率奠定了基础。
本公开方案还提供了一种控制装置，如图7所示，包括：
获取单元701，用于在确定机械夹爪的特征信息满足第一预设要求的情况下，获取第一采集装置所采集的第一目标图像，以及第二采集装置所采集的第二目标图像；其中，所述第一采集装置用于对机械夹爪进行图像采集；所述第二采集装置用于对所述机械夹爪所需抓取的丝车上的目标丝锭进行图像采集；
检测单元702，用于检测所述第一目标图像中所述机械夹爪的第一中心位置，以及检测所述第二目标图像中所述目标丝锭的第二中心位置；
处理单元703，用于在确定所述第一中心位置与所述第二中心位置之间的目标位置关系不满足第二预设要求的情况下，生成校准指令，所述校准指令用于校准所述机械夹爪的中心位置，或者用于校准所述机械夹爪所需抓取的目标丝锭的中心位置。
在本公开方案的一具体示例中，所述检测单元，具体用于：
将所述第一目标图像输入至目标检测模型中，得到所述第一目标图像中所述机械夹爪的第一中心位置；
将所述第二目标图像输入至所述目标检测模型中，得到所述第二目标图像中所述目标丝锭的第二中心位置。
在本公开方案的一具体示例中，所述目标检测模型至少包括第一网络层、第二网络层以及第三网络层；
其中，所述第一网络层至少包括第一子网络层、第二子网络层以及第三子网络层；所述第一子网络层用于对输入的图像进行第一卷积处理，得到第一卷积特征图；所述第二子网络层用于对所述第一卷积特征图进行线性处理，得到线性特征图，并将所述线性特征图与所述第一卷积特征图进行连接处理，得到连接特征图；所述第三子网络层用于对所述连接特征图进行第二卷积处理，得到第二卷积特征图；
所述第二网络层用于对所述连接特征图、以及第二卷积特征图分别进行第一卷积处理，并将处理后的结果进行特征融合处理，得到融合特征图；
所述第三网络层包括第四子网络层和第五子网络层，所述第四子网络层用于基于所述融合特征图，识别得到图像中的机械夹爪或者目标丝锭；所述第五子网络用于基于融合特征图，得到图像中机械夹爪的中心位置或者得到图像中目标丝锭的中心位置。
在本公开方案的一具体示例中，所述处理单元，还用于：
基于所述第一中心位置和第二中心位置，估计得到目标距离，所述目标距离表征所述机械夹爪和所述目标丝锭在同一目标坐标系下的中心位置间的相对距离；所述第一中心位置为所述第一目标图像所对应的第一坐标系下的位置信息；所述第二中心位置为所述第二目标图像所对应的第二坐标系下的位置信息；所述目标坐标系为第一坐标系、第二坐标系、世界坐标系中之一；
在确定所述目标距离大于预设阈值的情况下，生成校准指令。
在本公开方案的一具体示例中，所述处理单元，具体用于：
基于所述第一中心位置，估计得到所述机械夹爪在所述目标坐标系下的第一中心坐标；
基于所述第二中心位置，估计得到所述目标丝锭在所述目标坐标系下的第二中心坐标；
基于所述机械夹爪在所述目标坐标系下的第一中心坐标，以及所述目标丝锭在所述目标坐标系下的第二中心坐标，得到目标距离。
在本公开方案的一具体示例中，所述处理单元，具体用于：
在确定所述目标距离大于第一级临界值、且所述目标距离小于等于第二级临界值的情况下，生成校准指令，所述校准指令用于指示基于所述目标距离调整所述机械夹爪的控制参数；
或者，
在确定所述目标距离大于所述第一级临界值、且所述目标距离大于所述第二级临界值的情况下，生成校准指令，所述校准指令用于指示基于所述目标距离调整所述目标丝锭所在的丝车的位置。
在本公开方案的一具体示例中，
所述处理单元，还用于在校准指令执行完成之后，生成第一控制指令；所述第一控制指令用于指示所述第一采集装置采集新的第一目标图像，以及指示所述第二采集装置采集新的第二目标图像；
所述获取单元，还用于获取所述第一采集装置所采集的新的第一目标图像，以及获取第二采集装置所采集的新的第二目标图像；
所述检测单元，还用于检测新的第一目标图像中机械夹爪的第一中心位置，以及新的第二目标图像中目标丝锭的第二中心位置；
所述处理单元，还用于确定新的第一目标图像中的第一中心位置与新的第二目标图像中的第二中心位置之间的目标位置关系是否满足第二预设要求。
本公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
图8为根据本公开一实施例的电子设备的结构框图。如图8所示，该电子设备包括：存储器810和处理器820，存储器810内存储有可在处理器820上运行的计算机程序。存储器810和处理器820的数量可以为一个或多个。存储器810可以存储一个或多个计算机程序，当该一个或多个计算机程序被该电子设备执行时，使得该电子设备执行上述方法实施例提供的方法。该电子设备还可以包括：通信接口830，用于与外界设备进行通信，进行数据交互传输。
如果存储器810、处理器820和通信接口830独立实现，则存储器810、处理器820和通信接口830可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器810、处理器820及通信接口830集成在一块芯片上，则存储器810、处理器820及通信接口830可以通过内部接口完成相互间的通信。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机械(Advanced RISC Machines，ARM)架构的处理器。
进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic Random Access Memory，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct RAMBUS RAM，DR RAM)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(Digital Subscriber Line，DSL))或无线(例如：红外、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(Digital Versatile Disc，DVD))或半导体介质(例如：固态硬盘(Solid State Disk，SSD))等。值得注意的是，本公开提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本公开实施例的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本公开实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本公开实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本公开的示例性实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (16)

1.一种控制方法，包括：
在确定机械夹爪的特征信息满足第一预设要求的情况下，获取第一采集装置所采集的第一目标图像，以及第二采集装置所采集的第二目标图像；其中，所述第一采集装置用于对机械夹爪进行图像采集；所述第二采集装置用于对所述机械夹爪所需抓取的丝车上的目标丝锭进行图像采集；
检测所述第一目标图像中所述机械夹爪的第一中心位置，以及检测所述第二目标图像中所述目标丝锭的第二中心位置；
在确定所述第一中心位置与所述第二中心位置之间的目标位置关系不满足第二预设要求的情况下，生成校准指令，所述校准指令用于校准所述机械夹爪的中心位置，或者用于校准所述机械夹爪所需抓取的目标丝锭的中心位置。
2.根据权利要求1所述的方法，其中，所述检测所述第一目标图像中所述机械夹爪的第一中心位置，以及检测所述第二目标图像中所述目标丝锭的第二中心位置，包括：
将所述第一目标图像输入至目标检测模型中，得到所述第一目标图像中所述机械夹爪的第一中心位置；
将所述第二目标图像输入至所述目标检测模型中，得到所述第二目标图像中所述目标丝锭的第二中心位置。
3.根据权利要求2所述的方法，其中，所述目标检测模型至少包括第一网络层、第二网络层以及第三网络层；
其中，所述第一网络层至少包括第一子网络层、第二子网络层以及第三子网络层；所述第一子网络层用于对输入的图像进行第一卷积处理，得到第一卷积特征图；所述第二子网络层用于对所述第一卷积特征图进行线性处理，得到线性特征图，并将所述线性特征图与所述第一卷积特征图进行连接处理，得到连接特征图；所述第三子网络层用于对所述连接特征图进行第二卷积处理，得到第二卷积特征图；
所述第二网络层用于对所述连接特征图、以及第二卷积特征图分别进行第一卷积处理，并将处理后的结果进行特征融合处理，得到融合特征图；
所述第三网络层包括第四子网络层和第五子网络层，所述第四子网络层用于基于所述融合特征图，识别得到图像中的机械夹爪或者目标丝锭；所述第五子网络用于基于融合特征图，得到图像中机械夹爪的中心位置或者图像中目标丝锭的中心位置。
4.根据权利要求1-3任一项所述的方法，其中，在确定所述第一中心位置与第二中心位置之间的目标位置关系不满足第二预设要求之前，还包括：
基于所述第一中心位置和第二中心位置，估计得到目标距离，所述目标距离表征所述机械夹爪和所述目标丝锭在同一目标坐标系下的中心位置间的相对距离；所述第一中心位置为所述第一目标图像所对应的第一坐标系下的位置信息；所述第二中心位置为所述第二目标图像所对应的第二坐标系下的位置信息；所述目标坐标系为第一坐标系、第二坐标系、世界坐标系中之一；
其中，所述在确定所述第一中心位置与第二中心位置之间的目标位置关系不满足第二预设要求的情况下，生成校准指令，包括：
在确定所述目标距离大于预设阈值的情况下，生成校准指令。
5.根据权利要求4所述的方法，其中，所述基于所述第一中心位置和第二中心位置，估计得到目标距离，包括：
基于所述第一中心位置，估计得到所述机械夹爪在所述目标坐标系下的第一中心坐标；
基于所述第二中心位置，估计得到所述目标丝锭在所述目标坐标系下的第二中心坐标；
基于所述机械夹爪在所述目标坐标系下的第一中心坐标，以及所述目标丝锭在所述目标坐标系下的第二中心坐标，得到目标距离。
6.根据权利要求4所述的方法，其中，所述在确定所述目标距离大于预设阈值的情况下，生成校准指令，包括：
在确定所述目标距离大于第一级临界值、且所述目标距离小于等于第二级临界值的情况下，生成校准指令，所述校准指令用于指示基于所述目标距离调整所述机械夹爪的控制参数；
或者，
在确定所述目标距离大于所述第一级临界值、且所述目标距离大于所述第二级临界值的情况下，生成校准指令，所述校准指令用于指示基于所述目标距离调整所述目标丝锭所在的丝车的位置。
7.根据权利要求1-6任一项所述的方法，其中，在生成校准指令之后，还包括：
在校准指令执行完成之后，生成第一控制指令；所述第一控制指令用于指示所述第一采集装置采集新的第一目标图像，以及指示所述第二采集装置采集新的第二目标图像；
获取所述第一采集装置所采集的新的第一目标图像，以及获取第二采集装置所采集的新的第二目标图像；
检测所获取到的新的第一目标图像中机械夹爪的第一中心位置，以及所获取到的新的第二目标图像中目标丝锭的第二中心位置；
确定新的第一目标图像中的第一中心位置与新的第二目标图像中的第二中心位置之间的目标位置关系是否满足第二预设要求。
8.一种控制装置，包括：
获取单元，用于在确定机械夹爪的特征信息满足第一预设要求的情况下，获取第一采集装置所采集的第一目标图像，以及第二采集装置所采集的第二目标图像；其中，所述第一采集装置用于对机械夹爪进行图像采集；所述第二采集装置用于对所述机械夹爪所需抓取的丝车上的目标丝锭进行图像采集；
检测单元，用于检测所述第一目标图像中所述机械夹爪的第一中心位置，以及检测所述第二目标图像中所述目标丝锭的第二中心位置；
处理单元，用于在确定所述第一中心位置与所述第二中心位置之间的目标位置关系不满足第二预设要求的情况下，生成校准指令，所述校准指令用于校准所述机械夹爪的中心位置，或者用于校准所述机械夹爪所需抓取的目标丝锭的中心位置。
9.根据权利要求8所述的装置，其中，所述检测单元，具体用于：
将所述第一目标图像输入至目标检测模型中，得到所述第一目标图像中所述机械夹爪的第一中心位置；
将所述第二目标图像输入至所述目标检测模型中，得到所述第二目标图像中所述目标丝锭的第二中心位置。
10.根据权利要求9所述的装置，其中，所述目标检测模型至少包括第一网络层、第二网络层以及第三网络层；
其中，所述第一网络层至少包括第一子网络层、第二子网络层以及第三子网络层；所述第一子网络层用于对输入的图像进行第一卷积处理，得到第一卷积特征图；所述第二子网络层用于对所述第一卷积特征图进行线性处理，得到线性特征图，并将所述线性特征图与所述第一卷积特征图进行连接处理，得到连接特征图；所述第三子网络层用于对所述连接特征图进行第二卷积处理，得到第二卷积特征图；
所述第二网络层用于对所述连接特征图、以及第二卷积特征图分别进行第一卷积处理，并将处理后的结果进行特征融合处理，得到融合特征图；
所述第三网络层包括第四子网络层和第五子网络层，所述第四子网络层用于基于所述融合特征图，识别得到图像中的机械夹爪或者目标丝锭；所述第五子网络用于基于融合特征图，得到图像中机械夹爪的中心位置或者得到图像中目标丝锭的中心位置。
11.根据权利要求8-10任一项所述的装置，其中，所述处理单元，还用于：
基于所述第一中心位置和第二中心位置，估计得到目标距离，所述目标距离表征所述机械夹爪和所述目标丝锭在同一目标坐标系下的中心位置间的相对距离；所述第一中心位置为所述第一目标图像所对应的第一坐标系下的位置信息；所述第二中心位置为所述第二目标图像所对应的第二坐标系下的位置信息；所述目标坐标系为第一坐标系、第二坐标系、世界坐标系中之一；
在确定所述目标距离大于预设阈值的情况下，生成校准指令。
12.根据权利要求11所述的装置，其中，所述处理单元，具体用于：
基于所述第一中心位置，估计得到所述机械夹爪在所述目标坐标系下的第一中心坐标；
基于所述第二中心位置，估计得到所述目标丝锭在所述目标坐标系下的第二中心坐标；
基于所述机械夹爪在所述目标坐标系下的第一中心坐标，以及所述目标丝锭在所述目标坐标系下的第二中心坐标，得到目标距离。
13.根据权利要求11所述的装置，其中，所述处理单元，具体用于：
在确定所述目标距离大于第一级临界值、且所述目标距离小于等于第二级临界值的情况下，生成校准指令，所述校准指令用于指示基于所述目标距离调整所述机械夹爪的控制参数；
或者，
在确定所述目标距离大于所述第一级临界值、且所述目标距离大于所述第二级临界值的情况下，生成校准指令，所述校准指令用于指示基于所述目标距离调整所述目标丝锭所在的丝车的位置。
14.根据权利要求8-13任一项所述的装置，其中，
所述处理单元，还用于在校准指令执行完成之后，生成第一控制指令；所述第一控制指令用于指示所述第一采集装置采集新的第一目标图像，以及指示所述第二采集装置采集新的第二目标图像；
所述获取单元，还用于获取所述第一采集装置所采集的新的第一目标图像，以及获取第二采集装置所采集的新的第二目标图像；
所述检测单元，还用于检测新的第一目标图像中机械夹爪的第一中心位置，以及新的第二目标图像中目标丝锭的第二中心位置；
所述处理单元，还用于确定新的第一目标图像中的第一中心位置与新的第二目标图像中的第二中心位置之间的目标位置关系是否满足第二预设要求。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
CN202311052008.8A 2023-08-18 2023-08-18 控制方法、装置、设备以及存储介质 Pending CN117067204A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202311052008.8A CN117067204A (zh) 2023-08-18 2023-08-18 控制方法、装置、设备以及存储介质
US18/488,483 US11969903B1 (en) 2023-08-18 2023-10-17 Control method, electronic device and storage medium
JP2023199587A JP7454739B1 (ja) 2023-08-18 2023-11-27 制御方法、装置、デバイス、記憶媒体及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311052008.8A CN117067204A (zh) 2023-08-18 2023-08-18 控制方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN117067204A true CN117067204A (zh) 2023-11-17

Family

ID=88413193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311052008.8A Pending CN117067204A (zh) 2023-08-18 2023-08-18 控制方法、装置、设备以及存储介质

Country Status (3)

Country Link
US (1) US11969903B1 (zh)
JP (1) JP7454739B1 (zh)
CN (1) CN117067204A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117388269A (zh) * 2023-12-11 2024-01-12 菲特（天津）检测技术有限公司 丝锭外观缺陷检测设备和检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2140046B (en) 1983-05-20 1988-03-23 Rieter Ag Maschf Bobbin inserting device
JP4212783B2 (ja) 2001-04-18 2009-01-21 三菱電機株式会社 ロボット座標校正システム
CH698344A2 (de) 2008-01-15 2009-07-15 Rieter Ag Maschf Spulenwechseleinrichtung an einer Spinnmaschine.
CN106182004B (zh) 2016-08-01 2019-08-23 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
EP3676058B1 (en) * 2017-09-01 2021-11-24 NV Bekaert SA Gripper for spools
JP6676030B2 (ja) 2017-11-20 2020-04-08 株式会社安川電機 把持システム、学習装置、把持方法、及び、モデルの製造方法
US11020854B2 (en) 2019-11-05 2021-06-01 Mujin, Inc. Robotic system with wall-based packing mechanism and methods of operating same
CN111996627B (zh) * 2020-09-04 2024-02-20 宜昌经纬纺机有限公司 用于捻线机的自动化上纱系统
US20230331511A1 (en) * 2020-09-08 2023-10-19 Modra Technology Pty Ltd Yarn handling system
LU502347B1 (de) * 2022-06-23 2024-01-09 Saurer Tech Gmbh & Co Kg Vorlagefädenverbindungssystem

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117388269A (zh) * 2023-12-11 2024-01-12 菲特（天津）检测技术有限公司 丝锭外观缺陷检测设备和检测方法
CN117388269B (zh) * 2023-12-11 2024-05-03 菲特（天津）检测技术有限公司 丝锭外观缺陷检测设备和检测方法

Also Published As

Publication number Publication date
US11969903B1 (en) 2024-04-30
JP7454739B1 (ja) 2024-03-22

Similar Documents

Publication Publication Date Title
EP3683572B1 (en) Battery detection method and device
CN108942929B (zh) 基于双目立体视觉的机械臂定位抓取的方法及装置
CN117067204A (zh) 控制方法、装置、设备以及存储介质
CN110458772B (zh) 一种基于图像处理的点云滤波方法、装置和存储介质
JP2013132742A (ja) 物体把持装置、物体把持装置の制御方法、およびプログラム
CN110561435A (zh) 一种引导机械手的方法、装置、系统及上位机
CN110666359A (zh) 激光打标方法、打标装置及计算机可读存储介质
CN110378529B (zh) 一种数据生成的方法、装置、可读存储介质和电子设备
CN114119570A (zh) 自动换型方法、装置、控制器以及存储介质
CN104113681A (zh) 进度栏的控制方法、显示图像采集进度的方法及装置
CN113822877B (zh) Aoi设备显微镜缺陷检测图片质量评价方法及系统
CN113172636B (zh) 一种自动手眼标定方法、装置及存储介质
CN112097772B (zh) 机器人及其地图构建方法和装置
CN114519725A (zh) 物体跟踪计数方法、装置、计算机设备和存储介质
JP6008399B2 (ja) 管理システム、管理装置、管理方法、及びプログラム
CN113643265A (zh) 基于人工智能的质量等级确定方法、装置、设备及介质
CN113592800A (zh) 基于动态扫描参数的图像扫描方法及装置
CN116952841A (zh) 控制方法、装置、设备以及存储介质
JP2013246149A (ja) ワーク位置検出装置、及びワーク位置検出方法
CN112184819A (zh) 机器人的引导方法、装置、计算机设备和存储介质
TW200937554A (en) Smart defect review for semiconductor integrated
JP6983451B1 (ja) 計数方法、計数システム、及び計数のためのコンピュータプログラム
CN112699566B (zh) 一种基于焊机静外特性曲线的分析方法及装置
CN110948486A (zh) 带电机器人的作业方法、装置及控制器
US20240054610A1 (en) Image generation device, robot control device and computer program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination