CN113763462A - 一种自动化控制上料的方法及系统 - Google Patents

一种自动化控制上料的方法及系统 Download PDF

Info

Publication number
CN113763462A
CN113763462A CN202110967508.9A CN202110967508A CN113763462A CN 113763462 A CN113763462 A CN 113763462A CN 202110967508 A CN202110967508 A CN 202110967508A CN 113763462 A CN113763462 A CN 113763462A
Authority
CN
China
Prior art keywords
grabbing
image data
target object
target
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110967508.9A
Other languages
English (en)
Inventor
毕登科
朱亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Fulian Micro Network Technology Co ltd
Original Assignee
Nanjing Fulian Micro Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Fulian Micro Network Technology Co ltd filed Critical Nanjing Fulian Micro Network Technology Co ltd
Priority to CN202110967508.9A priority Critical patent/CN113763462A/zh
Publication of CN113763462A publication Critical patent/CN113763462A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0266—Control or detection relating to the load carrier(s)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Manipulator (AREA)

Abstract

本发明提出了一种自动化控制上料的方法及系统，其中所述方法具体包括以下步骤：步骤一、通过信息采集设备获取目标图像数据；步骤二、分析获取到的目标图像数据；步骤三、根据目标图像数据的分析结果生成机械手控制指令；步骤四、根据规划好的运动路径生成机械手控制指令；步骤五、机械手接收生成的控制指令，并根据指令完成抓取。本申请通过分析目标图像数据，获取目标物所在空间位置，从而生成抓取指令，机械手根据接收的抓取指令完成抓取作业。相比于设定固定频次的抓取工作流程，本发明引入图像数据的分析辅助方式，实现机械抓手运动路径的更新，从而提高了抓取的精准的度，使得实际工况中的作业效率最大化。

Description

一种自动化控制上料的方法及系统
技术领域
本发明涉及一种自动化控制上料的方法及系统，特别是涉及自动化控制技术领域。
背景技术
在工业生产过程中，需要根据具体的生产要求和生产特点添加各种原料进行生产运作，在原料运输过程中，由于不同的原料配比会导致产品的质量出现与预期不同的现象，从而造成经济损失，严重的时甚至会带来安全事故。
现有技术中，在工业生产中机械手能在危险的工作环境中帮助人们解决到许多困难的问题，因此，在物料抓取和分拣过程中，机械自动化的运作方式成为了工业作业主流选择。但是，通过设定固定住抓取频率的作业方式，往往会因为目标物所在位置的偏差导致机械抓取过程中的抓取不精准，从而出现目标物掉落，或者目标物表面受损等问题。，进而无法满足实际的工业需求。
发明内容
发明目的：提出一种自动化控制上料的方法及系统，以解决现有技术存在的上述问题。通过分析目标图像数据，获取目标物所在空间位置，从而生成抓取指令，机械手根据接收的抓取指令完成抓取作业，引入图像数据的分析辅助方式，提高抓取的精准的度，从而使得作业效率最大化。
技术方案：第一方面，提出了一种自动化控制上料的方法，该方法通过分析目标图像数据，获取目标物所在空间位置，从而生成抓取指令，并根据接收的抓取指令完成抓取作业。通过引入图像数据的分析可以更好的辅助机械手完成精准定位的抓取，相比于设定固定频次的抓取工作流程，本技术方案提出的方法可以更好的定位目标物的位置，从而及时调整机械抓手的运动路径，提高抓取效率。
进一步的，该方法具体包括以下步骤：
步骤一、通过信息采集设备获取目标图像数据；
步骤二、分析获取到的目标图像数据；
步骤三、根据目标图像数据的分析结果规划机械抓手的运动路径；
步骤四、根据规划好的运动路径生成机械手控制指令；
步骤五、机械手接收生成的控制指令，并根据指令完成抓取。
在第一方面的一些可实现方式中，所述步骤四实现抓取过程时，进一步的，首先通过编程预设机械抓手的运动路径，当图像数据分析到目标物出现位置偏差以及放置状态与预期偏差较大时，触发机械手路径更新功能模块，从而根据图像数据分析结果调整抓取路径。
在第一方面的一些可实现方式中，由于目标物是置于传送带上的，因此为了提高精准度，在设置抓取路径时划分视觉识别区与抓取作业区，通过分析目标物在视觉识别区的位置，调整抓取区机械抓手的运动路径。
执行抓取的过程进一步包括以下步骤：
步骤4.1、根据预设长度，在传送带上划分视觉识别区和抓取作业区；其中，视觉识别区的长度为
Figure 100002_DEST_PATH_IMAGE002
，抓取作业区的长度为
Figure 100002_DEST_PATH_IMAGE004
；
步骤4.2、对比目标物传送时间段，设定机械抓手的执行状态；
步骤4.3、根据设定的执行状态进行抓取作业。
其中，所述步骤4.2对比目标物传送时间段，设定机械抓手的执行状态时，进一步包括目标物在视觉识别区、目标物在抓取作业区、目标物已离开抓取区；设当前时间为
Figure 100002_DEST_PATH_IMAGE006
、目标物从视觉识别区到抓取作业区初始边缘的时间
Figure 100002_DEST_PATH_IMAGE008
、目标物从视觉识别区到抓取作业区末端边缘的时间
Figure 100002_DEST_PATH_IMAGE010
。
当对比目标物传送时间段结果为
Figure 100002_DEST_PATH_IMAGE012
时，则表示目标物还未传送至抓取作业区，机械手还需等待其到达抓取区域后，才能进行相应的抓取工作。
当对比目标物传送时间段结果为
Figure 100002_DEST_PATH_IMAGE014
时，则表示目标物已经传送至抓取作业区，机械手可进行抓取工作。
当对比目标物传送时间段结果为
Figure 100002_DEST_PATH_IMAGE016
时，则表示目标物已经离开传送至抓取作业区，机械手错过抓取最佳时间，此时，上报漏抓记录，从而方便后续对目标物的追踪，以及漏抓原因的分析。
在第一方面的一些可实现方式中，所述步骤二分析获取到的目标图像数据时，根据运输目标物传送带上的定位标记重构目标物的三维数据信息，其次通过空间坐标系与信息采集设备坐标之间的位置转换，进而实现空间位置的具体判定。
在第一方面的一些可实现方式中，所述步骤四实现抓取过程时，进一步的，首先通过编程预设机械抓手的运动路径，当图像数据分析到目标物出现位置偏差以及放置状态与预期偏差较大时，触发机械手路径更新功能模块，从而根据图像数据分析结果调整抓取路径。
在第一方面的一些可实现方式中，实现步骤二分析获取到的目标图像数据时，进一步构建一种目标识别模型进行目标物种类的识别；
为了更好的提高模型的识别效率，在构建完成后，采用随机构建数据集的方式对其进行训练，根据输出结果与验证集的误差比对，利用反向传播的方式进行权重参数的调整。
所述目标识别模型包括：输入层、卷积层、池化层、全连接层、激活函数、以及输出层；所述输入层用于接收获取到的目标图像数据；所述卷积层用于接收输入层输入的图像数据并提取目标图像数据中的图像特征；所述池化层用于进行下采样，从而实现降维和去除冗余信息，对特征进行压缩，进而简化网络复杂度，降低计算难度减少内存消耗；所述全连接层用于将多个局部特征通过权值进行汇总分类；所述激活函数用于解决图像特征提取过程中的非线性问题；所述输出层用于输出最终的分析结果。
第二方面，提出一种自动化控制上料的系统，该系统具体包括：
用于获取目标图像数据的第一模块；
用于分析目标图像数据的第二模块；
用于生成机械手控制指令的第三模块；
用于完成抓取作业的第四模块。
在第二方面的一些可实现该方式中，所述第一模块通过信息采集设备获取待抓取目标物的图像数据，并传输至第二模块；所述第二模块接收第一模块获取到的目标物的图像数据，并进行图像数据的预处理，以及图像特征的分析；所述第三模块根据第二模块分析出的结果生成机械手控制指令并将指令发送至第四模块中；所述第四模块根据接收到的控制指令驱动机械手进行抓取作业，从而完成抓取过程。
第三方面，提出一种自动化控制上料的装置，该装置至少包括：信息采集设备、核心处理器、控制器、驱动器、机械抓手、前臂、支梁和底座。
在第三方面的一些可实现方式中，进行实际作业过程时，目标物被置于传送带上进行运输，所述信息采集设备实时获取传送带上的目标物图像数据，并将获取到的图像数据传输至核心处理器中进行图像数据的分析；根据图像数据分析的结果，控制器生成对应的控制指令并发送至驱动器中，用于驱动机械抓手进行抓取操作。
在第三方面的一些可实现方式中，自动化控制上料装置中还包括光源设备，用于在环境光线不足的情况下进行补光；所述光源设备的控制开关电路中包括添光敏电阻，通过光敏电阻对实际工业环境的光线感知，控制光源设备的开关状态。
有益效果：本发明提出了一种自动化控制上料的方法及系统，通过分析目标图像数据，获取目标物所在空间位置，从而生成抓取指令，机械手根据接收的抓取指令完成抓取作业。相比于设定固定频次的抓取工作流程，本发明提出的技术方案通过引入图像数据的分析辅助方式，实现机械抓手运动路径的更新，从而提高了抓取的精准的度，使得实际工况中的作业效率最大化。另外，通过图像数据分析目标物体的优劣程度，可以更好的辅助抓取过程中对目标物的判断，实现有选择的抓取作业过程，从而减少无效抓取的作业过程，提高作业效率。
附图说明
图1为本发明的数据处理流程图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
实施例一
工业作业环境中，由于高危环境往往会加重作业难度，甚至危害到大众的健康，因此，通过编程完成预期作业任务的自动化机械抓手应运而生，通过替代人工作业的方式，不仅减少了人工投入成本，保证了工人安全，同时自动化的机械操作，也极大的提高了作业效率，进而提高经济效益。然而，通过设定固定住抓取频率的作业方式，往往会因为目标物所在位置的偏差导致机械抓取过程中的抓取不精准，从而出现目标物掉落，或者目标物表面受损等问题，进而无法满足实际的工业需求。因此，本实施例提出一种自动化控制上料的方法，用于解决上述问题，提高作业效率，如图1所示，该方法具备包括以下步骤：
步骤一、通过信息采集设备获取目标图像数据；
步骤二、分析获取到的目标图像数据；
步骤三、根据目标图像数据的分析结果生成机械手控制指令；
步骤四、机械手接收生成的控制指令，并根据指令完成抓取。
分析目标图像数据，获取目标物所在空间位置，从而生成抓取指令，机械手根据接收的抓取指令完成抓取作业。通过引入图像数据的分析可以更好的辅助机械手完成精准定位的抓取，相比于设定固定频次的抓取工作流程，本实施例提出的方法可以更好的定位目标物的位置，从而及时调整机械抓手的运动路径，提高抓取效率。
实施例二
在实施例一基础上的进一步实施例中，现有技术在实现抓取过程中往往会采用预设机械抓手运动路径的方式进行目标物的抓取，但是随着目标物在传送带上的位置偏移，以及摆放状态与预期的不同，往往会导致机械抓手无法精准抓取到目标物，或者由于抓取不精准从而出现抓取运输过程中出现掉落的现象。因此本实施例采用实时分析目标物的环境数据，从而获得目标物的实际位置，进而调整机械抓手的抓取的运动路径，增加抓取精准性，提高作业效率。
具体的，由于目标物在传送带上的位置大概率是同一状态，因此为了降低大量重复性冗余的分析运算，首先通过编程预设机械抓手的运动路径，当图像数据分析到目标物出现位置偏差以及放置状态与预期偏差较大时，触发机械手路径更新功能模块，从而根据分析结果调整抓取路径。
分析获取到的目标图像数据时，根据运输目标物传送带上的定位标记重构目标物的三维数据信息，其次通过空间坐标系与信息采集设备坐标之间的位置转换，进而实现空间位置的具体判定。
在进一步的实施例中，由于目标物是置于传送带上的，因此为了提高精准度，在设置抓取路径时，应该考虑目标物拍摄时间与实际执行时之间的误差。具体的，划分视觉识别区与抓取作业区，通过分析目标物在视觉识别区的位置，调整抓取区机械抓手的运动路径。执行抓取的过程进一步包括以下步骤：
步骤4.1、根据预设长度，在传送带上划分视觉识别区和抓取作业区；其中，视觉识别区的长度为
Figure 268643DEST_PATH_IMAGE002
，抓取作业区的长度为
Figure 654625DEST_PATH_IMAGE004
；
步骤4.2、对比目标物传送时间段，设定机械抓手的执行状态；
步骤4.3、根据设定的执行状态进行抓取作业。
其中，步骤4.2对比目标物传送时间段，设定机械抓手的执行状态时，进一步包括目标物在视觉识别区、目标物在抓取作业区、目标物已离开抓取区。设当前时间为
Figure 27837DEST_PATH_IMAGE006
、目标物从视觉识别区到抓取作业区初始边缘的时间
Figure 891888DEST_PATH_IMAGE008
、目标物从视觉识别区到抓取作业区末端边缘的时间
Figure 299735DEST_PATH_IMAGE010
。
当对比目标物传送时间段结果为
Figure 918936DEST_PATH_IMAGE012
时，则表示目标物还未传送至抓取作业区，机械手还需等待其到达抓取区域后，才能进行相应的抓取工作。
当对比目标物传送时间段结果为
Figure 654810DEST_PATH_IMAGE014
时，则表示目标物已经传送至抓取作业区，机械手可进行抓取工作。
当对比目标物传送时间段结果为
Figure 948651DEST_PATH_IMAGE016
时，则表示目标物已经离开传送至抓取作业区，机械手错过抓取最佳时间，此时，上报漏抓记录，从而方便后续对目标物的追踪，以及漏抓原因的分析。通过对漏抓原因的分析，可以更好的辅助工作人员对机械手进行完善，降低漏抓概率，高效完成作业抓取。
本实施例通过结合传送带上目标物体的传输时间以及机械抓手的执行时间，设定机械抓手的运动路径，有效提高机器人在抓取应用中的工作效率。
实施例三
在实施例一基础上的进一步实施例中，实际抓取作业过程中，由于运输目标物中往往会混入残次品或者非目标物的其他货物，因此为了提高抓取的作业效率，本实施例在进行图像数据分析获取目标物实际位置时，进一步对目标物的类型进行识别分析，当监测出的物品不是预期的目标物时，则不执行抓取作业，从而提高抓取效率，降低后期质检的工作量。
具体的，构建一种目标识别模型进行目标物种类的识别，为了更好的提高模型的识别效率，在构建完成后，采用随机构建数据集的方式对其进行训练，根据输出结果与验证集的误差比对，利用反向传播的方式进行权重参数的调整。该模型由输入层、卷积层、池化层、全连接层、激活函数、以及输出层构成，输入层用于接收获取到的目标图像数据；卷积层用于接收输入层输入的图像数据并提取目标图像数据中的图像特征；池化层用于进行下采样，从而实现降维和去除冗余信息，对特征进行压缩，进而简化网络复杂度，降低计算难度减少内存消耗；全连接层用于将多个局部特征通过权值进行汇总分类；激活函数用于解决图像特征提取过程中的非线性问题；输出层用于输出最终的分析结果。
实施例四
针对提出的一种自动化控制上料的方法，本实施例提出一种自动化控制上料的系统用于实现该方法，具体的，该系统包括：
用于获取目标图像数据的第一模块；
用于分析目标图像数据的第二模块；
用于生成机械手控制指令的第三模块；
用于完成抓取作业的第四模块。
在进一步的实施例中，第一模块通过信息采集设备获取待抓取目标物的图像数据，并传输至第二模块；第二模块接收第一模块获取到的目标物的图像数据，并进行图像数据的预处理，以及图像特征的分析；第三模块根据第二模块分析出的结果生成机械手控制指令并将指令发送至第四模块中；第四模块根据接收到的控制指令驱动机械手进行抓取作业，从而完成抓取过程。与现有技术相比，相比于设定固定频次的抓取工作流程，本实施例引入对目标图像数据的分析处理，可以针对性的修正机械抓手的运动路径，从而提高定位抓取的准确性。
实施例五
完成机械抓取过程的还包括至少由信息采集设备、核心处理器、控制器、驱动器、机械抓手、前臂、支梁和底座构成的一种自动化控制上料装置。实际作业过程中，目标物被置于传送带上进行运输，信息采集设备实时获取传送带上的目标物图像数据，并将获取到的图像数据传输至核心处理器中进行图像数据的分析。根据图像数据分析的结果，控制器生成对应的控制指令并发送至驱动器中，用于驱动机械抓手进行抓取操作。
在进一步的实施例中，由于实际作业过程中往往会由于作业环境光线的问题，导致信息采集设备获取到的图像数据存在图像数据特征缺失的问题，为了提高信息采集设备获取到的图像数据特征完整，本实施例自动化控制上料装置中还包括光源设备，用于在环境光线不足的情况下进行补光。
在进一步的实施例中，光源设备进行补光时，由于长时间的补光会进一步降低光源设备的使用寿命，同时，在环境光线充足的情况下，过度补光也会导致信息采集设备获取到的图像数据出现过度曝光的现象，从而使得图像特征缺失。为了解决上述问题，本实施例在光源设备的控制开关的电路中添加光敏电阻，通过光敏电阻对实际工业环境的光线感知，控制光源设备的开关状态，从而增加光源设备的使用寿命，同时减少过度曝光的现象，另外通过光线感知实现的自动开关控制，也极大程度上减少人工控制的繁杂程度，提高作业效率。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (10)

1.一种自动化控制上料的方法，其特征在于，具体包括以下步骤：
步骤一、通过信息采集设备获取目标图像数据；
步骤二、分析获取到的目标图像数据；
步骤三、根据目标图像数据的分析结果规划机械抓手的运动路径；
步骤四、根据规划好的运动路径生成机械手控制指令；
步骤五、机械手接收生成的控制指令，并根据指令完成抓取。
2.根据权利要求1所述的一种自动化控制上料的方法，其特征在于，
由于目标物是置于传送带上的，因此为了提高精准度，在设置抓取路径时划分视觉识别区与抓取作业区，通过分析目标物在视觉识别区的位置，调整抓取区机械抓手的运动路径；
执行抓取的过程进一步包括以下步骤：
步骤4.1、根据预设长度，在传送带上划分视觉识别区和抓取作业区；其中，视觉识别区的长度为
Figure DEST_PATH_IMAGE002
，抓取作业区的长度为
Figure DEST_PATH_IMAGE004
；
步骤4.2、对比目标物传送时间段，设定机械抓手的执行状态；
步骤4.3、根据设定的执行状态进行抓取作业。
3.根据权利要求2所述的一种自动化控制上料的方法，其特征在于，
其中，所述步骤4.2对比目标物传送时间段，设定机械抓手的执行状态时，进一步包括目标物在视觉识别区、目标物在抓取作业区、目标物已离开抓取区；设当前时间为
Figure DEST_PATH_IMAGE006
、目标物从视觉识别区到抓取作业区初始边缘的时间
Figure DEST_PATH_IMAGE008
、目标物从视觉识别区到抓取作业区末端边缘的时间
Figure DEST_PATH_IMAGE010
；
当对比目标物传送时间段结果为
Figure DEST_PATH_IMAGE012
时，则表示目标物还未传送至抓取作业区，机械手还需等待其到达抓取区域后，才能进行相应的抓取工作；
当对比目标物传送时间段结果为
Figure DEST_PATH_IMAGE014
时，则表示目标物已经传送至抓取作业区，机械手可进行抓取工作；
当对比目标物传送时间段结果为
Figure DEST_PATH_IMAGE016
时，则表示目标物已经离开传送至抓取作业区，机械手错过抓取最佳时间，此时，上报漏抓记录，从而方便后续对目标物的追踪，以及漏抓原因的分析。
4.根据权利要求1所述的一种自动化控制上料的方法，其特征在于，所述步骤二分析获取到的目标图像数据时，根据运输目标物传送带上的定位标记重构目标物的三维数据信息，其次通过空间坐标系与信息采集设备坐标之间的位置转换，进而实现空间位置的具体判定。
5.根据权利要求1所述的一种自动化控制上料的方法，其特征在于，所述步骤四实现抓取过程时，进一步的，首先通过编程预设机械抓手的运动路径，当图像数据分析到目标物出现位置偏差以及放置状态与预期偏差较大时，触发机械手路径更新功能模块，从而根据图像数据分析结果调整抓取路径。
6.根据权利要求1所述的一种自动化控制上料的方法，其特征在于，实现步骤二分析获取到的目标图像数据时，进一步构建一种目标识别模型进行目标物种类的识别；
为了更好的提高模型的识别效率，在构建完成后，采用随机构建数据集的方式对其进行训练，根据输出结果与验证集的误差比对，利用反向传播的方式进行权重参数的调整；
所述目标识别模型包括：输入层、卷积层、池化层、全连接层、激活函数、以及输出层；所述输入层用于接收获取到的目标图像数据；所述卷积层用于接收输入层输入的图像数据并提取目标图像数据中的图像特征；所述池化层用于进行下采样，从而实现降维和去除冗余信息，对特征进行压缩，进而简化网络复杂度，降低计算难度减少内存消耗；所述全连接层用于将多个局部特征通过权值进行汇总分类；所述激活函数用于解决图像特征提取过程中的非线性问题；所述输出层用于输出最终的分析结果。
7.一种自动化控制上料的系统，用于实现权利要求1-6任意一项方法，其特征在于，具体包括：
用于获取目标图像数据的第一模块；
用于分析目标图像数据的第二模块；
用于生成机械手控制指令的第三模块；
用于完成抓取作业的第四模块。
8.根据权利要求7所述的一种自动化控制上料的系统，其特征在于，
所述第一模块通过信息采集设备获取待抓取目标物的图像数据，并传输至第二模块；
所述第二模块接收第一模块获取到的目标物的图像数据，并进行图像数据的预处理，以及图像特征的分析；
所述第三模块根据第二模块分析出的结果生成机械手控制指令并将指令发送至第四模块中；
所述第四模块根据接收到的控制指令驱动机械手进行抓取作业，从而完成抓取过程。
9.一种自动化控制上料的装置，用于实现权利要求1-6任意一项方法，其特征在于，至少包括：信息采集设备、核心处理器、控制器、驱动器、机械抓手、前臂、支梁和底座；
实际作业过程中，目标物被置于传送带上进行运输，所述信息采集设备实时获取传送带上的目标物图像数据，并将获取到的图像数据传输至核心处理器中进行图像数据的分析；根据图像数据分析的结果，控制器生成对应的控制指令并发送至驱动器中，用于驱动机械抓手进行抓取操作。
10.根据权利要求9所述的一种自动化控制上料的装置，其特征在于，
自动化控制上料装置中还包括光源设备，用于在环境光线不足的情况下进行补光；
所述光源设备的控制开关电路中包括添光敏电阻，通过光敏电阻对实际工业环境的光线感知，控制光源设备的开关状态。
CN202110967508.9A 2021-08-23 2021-08-23 一种自动化控制上料的方法及系统 Withdrawn CN113763462A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110967508.9A CN113763462A (zh) 2021-08-23 2021-08-23 一种自动化控制上料的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110967508.9A CN113763462A (zh) 2021-08-23 2021-08-23 一种自动化控制上料的方法及系统

Publications (1)

Publication Number Publication Date
CN113763462A true CN113763462A (zh) 2021-12-07

Family

ID=78790797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110967508.9A Withdrawn CN113763462A (zh) 2021-08-23 2021-08-23 一种自动化控制上料的方法及系统

Country Status (1)

Country Link
CN (1) CN113763462A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115323751A (zh) * 2022-07-19 2022-11-11 上海申羽纺织集团有限公司 一种由碎废布片制成成品布料的加工方法
CN117656048A (zh) * 2022-09-08 2024-03-08 无锡芯享信息科技有限公司 一种agv抓取点位校准设备及其校准方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115323751A (zh) * 2022-07-19 2022-11-11 上海申羽纺织集团有限公司 一种由碎废布片制成成品布料的加工方法
CN117656048A (zh) * 2022-09-08 2024-03-08 无锡芯享信息科技有限公司 一种agv抓取点位校准设备及其校准方法
CN117656048B (zh) * 2022-09-08 2024-05-24 无锡芯享信息科技有限公司 一种agv抓取点位校准设备及其校准方法

Similar Documents

Publication Publication Date Title
DE102019125126B4 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und System
CN113763462A (zh) 一种自动化控制上料的方法及系统
CN109926817B (zh) 基于机器视觉的变压器自动装配方法
CN106672345B (zh) 一种工业机器人自动分拣的方法及系统
CN113146172A (zh) 一种基于多视觉的检测与装配系统及方法
CN113954072B (zh) 一种视觉引导的木门工件智能识别定位系统及方法
CN114405866A (zh) 视觉引导钢板分拣方法、视觉引导钢板分拣装置和系统
CN117080139B (zh) 基于真空吸附技术的晶圆传送控制方法及传送控制系统
Sanz et al. Grasping the not-so-obvious: vision-based object handling for industrial applications
WO2020231319A1 (en) Robot cell setup system and process
CN114193440B (zh) 基于3d视觉的机器人自动抓取系统及方法
CN112935772B (zh) 视觉引导机器人拧螺丝的方法、装置、存储介质和设备
KR100234320B1 (ko) 로봇의 작업선 추적제어방법
US11378520B2 (en) Auto focus function for vision inspection system
CN117408970A (zh) 一种基于语义分割的机器人打磨中厚板表面缺陷的方法
Gao et al. Development of an automated system for the soldering of USB cables
EP0830921B1 (en) A method for handling metal sheets in a working area comprising a machine tool and a robot
CN114535144A (zh) 零件分拣方法、装置、设备及桁架设备
RU2494180C1 (ru) Агрегат для автоматизированного выполнения подготовительно-раскройных операций
CN114663400A (zh) 一种基于视觉定位座椅坐垫的打钉控制方法及系统
CN116214531B (zh) 一种工业机器人的路径规划方法及装置
CN116494066A (zh) 工件的缺陷处理方法、装置及系统
US20240033934A1 (en) Tool checking device, storage device storing tool checking program, and tool checking method for robot arm
CN116991134B (zh) 生产线上产品换型方法及系统
CN116331763B (zh) 建筑幕墙型材处理装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211207

WW01 Invention patent application withdrawn after publication