CN115816469B - 一种基于机器视觉的云化plc控制物料分拣方法及系统 - Google Patents

一种基于机器视觉的云化plc控制物料分拣方法及系统 Download PDF

Info

Publication number
CN115816469B
CN115816469B CN202310140122.XA CN202310140122A CN115816469B CN 115816469 B CN115816469 B CN 115816469B CN 202310140122 A CN202310140122 A CN 202310140122A CN 115816469 B CN115816469 B CN 115816469B
Authority
CN
China
Prior art keywords
sorting
conveying
control
optimal
control instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310140122.XA
Other languages
English (en)
Other versions
CN115816469A (zh
Inventor
付美霞
王健全
吴健生
马彰超
孙雷
王曲
李卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202310140122.XA priority Critical patent/CN115816469B/zh
Publication of CN115816469A publication Critical patent/CN115816469A/zh
Application granted granted Critical
Publication of CN115816469B publication Critical patent/CN115816469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Control Of Conveyors (AREA)
  • Sorting Of Articles (AREA)

Abstract

本发明公开了一种基于机器视觉的云化PLC控制物料分拣方法及系统，涉及智能物料分选技术领域。包括：物料输送系统根据设定的输送模式，将待分拣的物料输送至分拣区；机器视觉识别系统获取含有物料的图像，生成物料信息发送至云化PLC控制系统；云化PLC控制系统接收物料信息，生成分拣控制指令发送至分拣执行系统；分拣执行系统根据分拣控制指令完成物料分拣任务。本发明采用云化PLC软件方式实现控制功能，部署简单，冗余成本低。

Description

一种基于机器视觉的云化PLC控制物料分拣方法及系统
技术领域
本发明涉及智能物料分选技术领域，特别是指一种基于机器视觉的云化PLC控制物料分拣方法及系统。
背景技术
物料分拣作为工业生产过程中的重要环节，影响着生产线的工作效率与产品质量。随着工业互联网、人工智能的发展，工业机器人、机器视觉等新兴技术逐渐应用于物料分拣系统，不仅大大提升了物料分拣的质量、准确度以及速度，还减轻了工人的劳动强度，实现了企业的降本增效目标。现有公开的物料分拣装置大多基于传统PLC控制执行装置完成物料分拣。
申请号为CN202111304822.5的专利，提出了一种基于视觉检测系统的智能识别分拣系统，包括：上料模块，用于将目标物品传送至视觉检测模块；视觉检测模块，用于对目标物品进行视觉检测并归类；分拣模块，用于根据目标物品的归类结果对其进行抓取分拣；传送模块，用于接收分拣模块抓取的目标物品并进行分类传送。该专利采用模板匹配法来识别目标物体，识别速度虽快但只能识别形状规则的目标，灵活性较差。
申请号为202121944269.7的专利，提出了一种基于双目视觉的无序抓取系统，包括机械手模块、机器视觉模块、传输模块、激光三角三维检测模块、网络交换机，所述网络交换机与所述机械手模块电性连接，还与所述机器视觉模块电性连接，所述传输模块为传送带，位于所述激光三角三维检测模块下方。该专利采用传统图像处理方法实现了目标的识别，通过网络交换机实现机械手模块、视觉模块的通信。
上述分拣系统主要存在几个问题，一是视觉识别模块均采用传统图像处理方式实现，该方式需要手动设计特征提取器，设计过程既复杂效率又低。且识别对象发生改变就需要重新设计特征提取器，鲁棒性差。二是控制模块中的控制器均采用传统硬件PLC控制，采用这种方式有两个缺点：（1）一旦要增加一个控制对象，就要多部署一个硬件PLC，在实际工业场景中，控制对象成千上万，若全采用传统硬件PLC，冗余成本巨大。（2）硬件PLC厂商众多，通信协议“七国八制”，不同厂商的硬件设备难以互联互通，导致维护困难。
发明内容
本发明针对现有设计过程既复杂效率又低、鲁棒性差，以及冗余成本巨大、维护困难的问题，提出了本发明。
为解决上述技术问题，本发明提供如下技术方案：
一方面，本发明提供了一种基于机器视觉的云化PLC控制物料分拣方法，该方法由基于机器视觉的云化PLC控制物料分拣系统实现，该系统包括物料输送系统、机器视觉识别系统、云化PLC控制系统以及分拣执行系统；
该方法包括：
S1、物料输送系统根据设定的输送模式，将待分拣的物料输送至分拣区。
S2、机器视觉识别系统获取含有物料的图像，生成物料信息发送至云化PLC控制系统；其中，物料信息包括物料的时间戳t0、物料的类别以及物料的位置。
S3、云化PLC控制系统接收物料信息，生成分拣控制指令发送至分拣执行系统；其中，分拣控制指令包括最优分拣物料以及最优分拣物料的拾取位置。
S4、分拣执行系统根据分拣控制指令完成物料分拣任务。
可选地，料输送系统设有通信接口。
S1中的物料输送系统根据设定的输送模式，将待分拣的物料输送至分拣区，包括：
S11、云化PLC控制系统根据设定的输送模式生成输送控制指令，通过通信接口将输送控制指令发送至物料输送系统。
S12、物料输送系统根据输送控制指令，将待分拣的物料输送至分拣区。
可选地，机器视觉识别系统包括图像采集模块、图像预处理模块、模型推理模块以及坐标转换模块。
S2中的机器视觉识别系统获取含有物料的图像，生成物料信息发送至云化PLC控制系统，包括：
S21、图像采集模块获取含有物料的图像，并记录时间戳t0。
S22、图像预处理模块对图像进行预处理。
S23、模型推理模块将预处理后的图像输入到训练好的目标检测模型，得到物料的类别以及物料的像素坐标位置。
S24、坐标转换模块将物料的像素坐标位置转换成物理坐标，得到物料的位置。
S25、机器视觉识别系统将物料的时间戳t0、物料的类别以及物料的位置发送至云化PLC控制系统。
可选地，分拣执行系统包括分拣装置驱动器以及分拣装置。
S4中的分拣执行系统根据分拣控制指令完成物料分拣任务，包括：
分拣装置驱动器根据分拣控制指令，控制分拣装置将物料按类别分拣至相应位置完成物料分拣任务。
可选地，云化PLC控制系统包括决策调度模块、分拣执行控制模块以及物料输送控制模块。
S3中的云化PLC控制系统接收物料信息，生成分拣控制指令发送至分拣执行系统，包括：
S31、决策调度模块生成输送控制策略，以及生成分拣执行控制策略。
S32、分拣执行控制模块根据分拣执行控制策略，生成分拣控制指令并下发至分拣执行系统。
S33、物料输送控制模块根据输送控制策略生成输送控制指令，并下发至物料输送系统的通信接口。
可选地，S31中的生成分拣执行控制策略，包括：
S311、获取云化PLC控制系统接收物料信息的时间戳t1。
S312、根据时间戳t1以及时间戳t0，计算得到传输延迟。
S313、根据物料的位置以及传输延迟，计算物料偏移后的位置。
S314、根据物料偏移后的位置以及分拣装置的位置，确定最优分拣物料。
S315、确定最优分拣物料的拾取位置以及确定分拣装置执行分拣动作的类型，生成分拣执行控制策略。
可选地，S315中的确定最优分拣物料的拾取位置，包括：
根据最优分拣物料的位置以及分拣装置的位置，判断最优分拣物料是否已经超过了分拣装置。
如果最优分拣物料未超过分拣装置，则最优分拣物料与分拣装置作相向运动，采用迎面模型确定最优分拣物料的拾取位置。
如果最优分拣物料已超过分拣装置，则最优分拣物料与分拣装置作相对运动，采用追击模型确定最优分拣物料的拾取位置。
可选地，S315中的分拣装置执行分拣动作的类型包括加速-匀速-减速以及加速-减速。
另一方面，本发明提供了一种基于机器视觉的云化PLC控制物料分拣系统，该系统应用于实现基于机器视觉的云化PLC控制物料分拣方法，该系统包括物料输送系统、机器视觉识别系统、云化PLC控制系统以及分拣执行系统；
其中：
物料输送系统，用于根据设定的输送模式，将待分拣的物料输送至分拣区。
机器视觉识别系统，用于获取含有物料的图像，生成物料信息发送至云化PLC控制系统；其中，物料信息包括物料的时间戳t0、物料的类别以及物料的位置。
云化PLC控制系统，用于接收物料信息，生成分拣控制指令发送至分拣执行系统；其中，分拣控制指令包括最优分拣物料以及最优分拣物料的拾取位置。
分拣执行系统，用于根据分拣控制指令完成物料分拣任务。
可选地，料输送系统设有通信接口。
物料输送系统，进一步用于：
S11、云化PLC控制系统根据设定的输送模式生成输送控制指令，通过通信接口将输送控制指令发送至物料输送系统。
S12、物料输送系统根据输送控制指令，将待分拣的物料输送至分拣区。
可选地，机器视觉识别系统包括图像采集模块、图像预处理模块、模型推理模块以及坐标转换模块。
机器视觉识别系统，进一步用于：
S21、图像采集模块获取含有物料的图像，并记录时间戳t0。
S22、图像预处理模块对图像进行预处理。
S23、模型推理模块将预处理后的图像输入到训练好的目标检测模型，得到物料的类别以及物料的像素坐标位置。
S24、坐标转换模块将物料的像素坐标位置转换成物理坐标，得到物料的位置。
S25、机器视觉识别系统将物料的时间戳t0、物料的类别以及物料的位置发送至云化PLC控制系统。
可选地，分拣执行系统包括分拣装置驱动器以及分拣装置。
分拣执行系统，进一步用于：
分拣装置驱动器根据分拣控制指令，控制分拣装置将物料按类别分拣至相应位置完成物料分拣任务。
可选地，云化PLC控制系统包括决策调度模块、分拣执行控制模块以及物料输送控制模块。
云化PLC控制系统，进一步用于：
S31、决策调度模块生成输送控制策略，以及生成分拣执行控制策略。
S32、分拣执行控制模块根据分拣执行控制策略，生成分拣控制指令并下发至分拣执行系统。
S33、物料输送控制模块根据输送控制策略生成输送控制指令，并下发至物料输送系统的通信接口。
云化PLC控制系统，进一步用于：
S311、获取云化PLC控制系统接收物料信息的时间戳t1。
S312、根据时间戳t1以及时间戳t0，计算得到传输延迟。
S313、根据物料的位置以及传输延迟，计算物料偏移后的位置。
S314、根据物料偏移后的位置以及分拣装置的位置，确定最优分拣物料。
S315、确定最优分拣物料的拾取位置以及确定分拣装置执行分拣动作的类型，生成分拣执行控制策略。
云化PLC控制系统，进一步用于：
根据最优分拣物料的位置以及分拣装置的位置，判断最优分拣物料是否已经超过了分拣装置。
如果最优分拣物料未超过分拣装置，则最优分拣物料与分拣装置作相向运动，采用迎面模型确定最优分拣物料的拾取位置。
如果最优分拣物料已超过分拣装置，则最优分拣物料与分拣装置作相对运动，采用追击模型确定最优分拣物料的拾取位置。
可选地，分拣装置执行分拣动作的类型包括加速-匀速-减速以及加速-减速。
本发明实施例提供的技术方案带来的有益效果至少包括：
上述方案中，设计并实现了一种基于机器视觉的云化PLC控制物料分拣系统。一方面，在该系统中，物料定位识别采用基于深度学习的目标检测算法实现，这种方式准确率高、鲁棒性强。另一方面，使用云化PLC控制器对分拣进行控制。相较于传统硬件PLC，云化PLC不仅在功能上可以替代硬件PLC，而且更容易部署和改进，能够作为系统开发与调试期间的一种控制手段。另外，由于增加控制对象时无需重新部署硬件PLC，故云化PLC的部署成本远低于硬件PLC，可以大大节约建设成本。最后就是云化PLC没有硬件依赖性，用户可以灵活地选择不同的供应商，维护更简单。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于机器视觉的云化PLC控制物料分拣方法流程示意图；
图2是本发明实施例提供的基于机器视觉的云化PLC控制物料分拣系统框图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
如图1所示，本发明实施例提供了一种基于机器视觉的云化PLC控制物料分拣方法，该方法可以由基于机器视觉的云化PLC控制物料分拣系统实现。如图1所示的基于机器视觉的云化PLC控制物料分拣方法流程图，该方法的处理流程可以包括如下的步骤：
S1、物料输送系统根据设定的输送模式，将待分拣的物料输送至分拣区。
一种可行的实施方式中，物料输送系统负责进料和按照控制模式输送物料。
可选地，上述步骤S1可以包括如下步骤S11-S12：
S11、云化PLC控制系统根据设定的输送模式生成输送控制指令，通过通信接口将输送控制指令发送至物料输送系统。
S12、物料输送系统根据输送控制指令，将待分拣的物料输送至分拣区。
一种可行的实施方式中，物料输送系统将物料从初始位置输送到分拣区域。为了能够更加灵活地控制物料输送速度和方向，本发明在输送系统上加了通信接口，云化PLC控制系统可向其发送相应指令实现正、反向输送、变速输送等。
S2、机器视觉识别系统获取含有物料的图像，生成物料信息发送至云化PLC（Programmable Logic Controller，可编程逻辑控制器）控制系统。
其中，物料信息包括物料的时间戳t0、物料的类别以及物料的位置。
一种可行的实施方式中，机器视觉识别系统主要负责对采集的图像信号进行模型推理以获取物料位置及类别，并将物料的像素坐标转化为实际物理坐标。
可选地，机器视觉识别系统包括图像采集模块、图像预处理模块、模型推理模块以及坐标转换模块。
可选地，上述步骤S2可以包括如下步骤S21-S25：
S21、图像采集模块获取含有物料的图像，并记录时间戳t0。
S22、图像预处理模块对图像进行预处理。
一种可行的实施方式中，图像预处理模块主要对采集到的图像进行去噪、滤波等处理。
S23、模型推理模块将预处理后的图像输入到训练好的目标检测模型，得到物料的类别以及物料的像素坐标位置。
一种可行的实施方式中，模型推理模块主要基于深度学习目标检测算法实现，在使用之前需要对物料进行标注制作数据集，并利用数据集训练该模型。
S24、坐标转换模块将物料的像素坐标位置转换成物理坐标，得到物料的位置。
S25、机器视觉识别系统将物料的时间戳t0、物料的类别以及物料的位置发送至云化PLC控制系统。
一种可行的实施方式中，机器视觉识别系统的处理流程为：首先通过摄像头采集视频数据获取实时图像信息，为了能够估计运动物体的位置，需要同时记录此刻的时间t0，然后对图像进行预处理，之后将其输入到训练好的目标检测模型中，预测出物体的像素位置和类别，坐标转换模块将物料像素坐标转换为物理坐标，最后将目标位置、类别、时间戳发送至云化PLC控制系统。
S3、云化PLC控制系统接收物料信息，生成分拣控制指令发送至分拣执行系统。
其中，分拣控制指令包括最优分拣物料以及最优分拣物料的拾取位置。
可选地，云化PLC控制系统包括决策调度模块、分拣执行控制模块以及物料输送控制模块。
上述步骤S3可以包括如下步骤S31-S33：
S31、决策调度模块生成输送控制策略，以及生成分拣执行控制策略。
一种可行的实施方式中，决策调度模块是为了确定被控设备的执行策略。对于物料输送状态的控制策略，只需要根据设定的输送模式即可生成比较简单。而对于分拣执行控制策略，下面将具体介绍。
可选地，上述步骤S31可以包括如下步骤S311-S315：
S311、获取云化PLC控制系统接收物料信息的时间戳t1。
S312、根据时间戳t1以及时间戳t0，计算得到传输延迟。
S313、根据物料的位置以及传输延迟，计算物料偏移后的位置。
S314、根据物料偏移后的位置以及分拣装置的位置，确定最优分拣物料。
一种可行的实施方式中，从视觉系统中获得所有物料的坐标(x0, y0, z0)，由于链路传输延时以及物料在一直运动，故物料位置及类别等信息到达控制系统时，物料的实际位置已经发生偏移，因此在求取分拣装置和待拣物体二者间距离的前提是需要计算出待拣物料偏移后的(x 1, y 1, z1)。该位置是指在视觉模块检测到的物料位置(x0, y0, z0)基础上，加上物料信息因传输延迟导致的位置偏移量。由于此偏移只存在于x轴方向，故不需考虑y、z轴，其计算方式如下式（1）：
Figure SMS_1
（1）
其中,
Figure SMS_2
为传输延迟后的所有物料x坐标位置，
Figure SMS_3
为视觉模块检测到所有物料x轴坐标位置，
Figure SMS_4
为输送速度，
Figure SMS_5
为传输延迟。
进一步地，计算分拣装置位置
Figure SMS_6
与每一个物料位置
Figure SMS_7
之间的距离：
Figure SMS_8
（2）
进一步地，遍历所有物料的
Figure SMS_9
值，获取
Figure SMS_10
最小的物料，将其作为最优分拣对象。
S315、确定最优分拣物料的拾取位置以及确定分拣装置执行分拣动作的类型，生成分拣执行控制策略。
可选地，S315中的确定最优分拣物料的拾取位置，包括：
根据最优分拣物料的位置以及分拣装置的位置，判断最优分拣物料是否已超过了分拣装置。
如果最优分拣物料未超分拣装置，则最优分拣物料与分拣装置作相向运动，采用迎面模型确定最优分拣物料的拾取位置。
如果最优分拣物料已超过分拣装置，则最优分拣物料与分拣装置作相对运动，采用追击模型确定最优分拣物料的拾取位置。
可选地，S315中的分拣装置执行分拣动作的类型包括加速-匀速-减速以及加速-减速。
一种可行的实施方式中，在确定最优分拣物料的基础上，再确定分拣装置拾取物料时的位置。先通过物料x坐标与分拣装置x坐标判断分拣装置的运动方向，即要确定待拣物料在x轴方向上是否已经移动过了分拣装置。如果物料还未移动至分拣装置，则可将其抽象为迎面模型计算拾取位置，分拣装置和物料将作相向运动，分拣装置在x轴方向上速度和输送方向相反；如果物料已经移动过分拣装置，则可将其抽象为追击模型确定拾取位置，分拣装置在x轴方向上和物料将作相对运动，分拣装置的速度、加速度和输送方向相同。确定后再根据分拣装置执行分拣动作时的运动特性，可以将分拣运动过程分为加速-匀速-减速和加速-减速两种类型，运动过程中有没有匀速阶段取决于分拣装置与待拣物体之间的距离，当距离过短时分拣装置便不能加速至最高速度就需要减速。
进一步地，若分拣装置与物料在x轴方向上作相向运动，对于分拣装置完成加速-匀速-减速这种情况，即分拣装置在x轴方向从静止以加速度ap加速至最大速度vpmax，再匀速，再减速至速度为零，到达x2，执行拾取动作，已知物料速度（输送速度
Figure SMS_11
）、x1物料坐标，分拣装置在x轴方向上坐标
Figure SMS_12
、加速度ap、最大速度vpmax，物料拾取x轴坐标位置计算公式如下（3）：
Figure SMS_13
（3）
其中，tm为分拣装置与物料开始进行相向运动至相遇的时间，tm可由如下公式求得：
Figure SMS_14
（4）
Figure SMS_15
（5）
故：
Figure SMS_16
（6）
进一步地，若是相对运动，同理可求得：
Figure SMS_17
（7）
进一步地，对于分拣装置完成加速-减速这种情况，即分拣装置在x轴方向上从静止开始以加速度ap加速至速度
Figure SMS_18
，然后减速至0到达x2，物料与分拣装置相遇时物料x坐标x2 计算公式如下：
Figure SMS_19
（8）
其中tm为开始进行相向运动至相遇的时间，tm可由下式得出：
Figure SMS_20
（9）
Figure SMS_21
（10）
故：
Figure SMS_22
（11）
进一步地，若是相对运动，同理可求得：
Figure SMS_23
（12）
基于上述结果可得最优分拣物料对象的拾取位置（x2, y,z），进而可以生成分拣执行的控制策略。
S32、分拣执行控制模块根据分拣执行控制策略，生成分拣控制指令并下发至分拣执行系统。
一种可行的实施方式中，分拣执行控制模块可向分拣执行系统发送相应控制指令，能控制分拣装置运动到指定位置以及执行拾取动作。在分拣过程中，分拣执行控制模块根据控制策略生成对应控制指令并下发至分拣执行系统中以控制分拣装置执行分拣动作。
S33、物料输送控制模块根据输送控制策略生成输送控制指令，并下发至物料输送系统的通信接口。
一种可行的实施方式中，物料输送控制模块可根据输送模式生成相应控制指令，能对输送系统的启停、输送运动方向以及速度等参数进行控制。当设定好输送模式后，即可向输送系统通信接口发送控制指令，完成对物料输送状态的控制。
云化PLC是基于虚拟化技术，将传统专用的PLC功能解耦，利用软件定义网络的实现思路，通过应用程序来实现PLC逻辑控制的功能。该系统主要包括决策调度模块、分拣执行控制模块、物料输送控制模块。决策调度模块一方面可根据设定的输送模式向物料输送控制模块发送控制策略。另一方面，可根据物料类别位置、输送速度以及分拣装置的状态等信息确定最优分拣物料对象、拾取位置，基于此向分拣执行模块发送控制策略。分拣执行控制模块，根据控制策略向分拣执行系统下发相应控制指令以执行分拣动作。输送系统控制模块主要是根据控制策略向输送系统发送相应控制指令以实现对物料输送状态的控制。
S4、分拣执行系统根据分拣控制指令完成物料分拣任务。
一种可行的实施方式中，分拣执行系统主要包括分拣装置驱动器及分拣装置，主要负责根据云化PLC控制系统发来的控制指令驱动分拣装置执行相应动作以完成物料分拣任务。
可选地，分拣执行系统包括分拣装置驱动器以及分拣装置。
上述步骤S4可以包括：分拣装置驱动器根据分拣控制指令，控制分拣装置将物料按类别分拣至相应位置完成物料分拣任务。
一种可行的实施方式中，分拣执行系统主要包括分拣装置驱动器及分拣装置，可驱使分拣装置向X、Y、Z轴方向以某加速度进行运动。在分拣过程中，分拣装置驱动器接收到分拣执行控制模块的控制指令后改变分拣装置运动状态使其到达拾取位置拾取物料，并将其移至对应类别放置区。
本发明整个系统流程为：设定输送模式，云化PLC控制系统按照输送模式控制物料输送系统将物料运至分拣区，摄像头采集含有物料的图像，图像信息传输至机器视觉识别系统。机器视觉识别系统接收到图像信息的同时记录时间戳t0，对图像进行预处理后送入训练好的目标检测模型中进行推理，可得到物料类别及相应像素坐标位置，之后坐标转换模块将所有物料在图像中的像素坐标位置转换成对应的实际物理坐标(x0, y0, z0),然后将时间戳t0、物料类别及相应物理坐标发送至云化PLC控制系统。云化PLC控制系统接收到物料信息的同时，记录时间戳t1并读取分拣装置的状态信息，然后基于物料输送速度以及时间戳t0、t1预估所有物料被云化PLC控制系统接收到时的实际位置(x 1, y 1, z1)；进而决策调度模块根据所有物料的位置(x 1, y 1, z1)、物料输送速度、分拣装置的运动状态信息进行决策调度，获得最优分拣物料以及对应的拾取位置，并通过分拣执行控制模块向分拣执行系统发送控制指令。最后分拣执行系统根据控制指令通过分拣装置驱动器使得分拣装置移动至拾取位置拾取物料，并将物料按类别分拣至相应位置完成分拣。
本发明实施例中，设计并实现了一种基于机器视觉的云化PLC控制物料分拣系统。一方面，在该系统中，物料定位识别采用基于深度学习的目标检测算法实现，这种方式准确率高、鲁棒性强。另一方面，使用云化PLC控制器对分拣进行控制。相较于传统硬件PLC，云化PLC不仅在功能上可以替代硬件PLC，而且更容易部署和改进，能够作为系统开发与调试期间的一种控制手段。另外，由于增加控制对象时无需重新部署硬件PLC，故云化PLC的部署成本远低于硬件PLC，可以大大节约建设成本。最后就是云化PLC没有硬件依赖性，用户可以灵活地选择不同的供应商，维护更简单。
如图2所示，本发明实施例提供了一种基于机器视觉的云化PLC控制物料分拣系统，该系统应用于实现基于机器视觉的云化PLC控制物料分拣方法，该系统包括物料输送系统、机器视觉识别系统、云化PLC控制系统以及分拣执行系统；
其中：
物料输送系统，用于根据设定的输送模式，将待分拣的物料输送至分拣区。
机器视觉识别系统，用于获取含有物料的图像，生成物料信息发送至云化PLC控制系统；其中，物料信息包括物料的时间戳t0、物料的类别以及物料的位置。
云化PLC控制系统，用于接收物料信息，生成分拣控制指令发送至分拣执行系统；其中，分拣控制指令包括最优分拣物料以及最优分拣物料的拾取位置。
分拣执行系统，用于根据分拣控制指令完成物料分拣任务。
可选地，料输送系统设有通信接口。
物料输送系统，进一步用于：
S11、云化PLC控制系统根据设定的输送模式生成输送控制指令，通过通信接口将输送控制指令发送至物料输送系统。
S12、物料输送系统根据输送控制指令，将待分拣的物料输送至分拣区。
可选地，机器视觉识别系统包括图像采集模块、图像预处理模块、模型推理模块以及坐标转换模块。
机器视觉识别系统，进一步用于：
S21、图像采集模块获取含有物料的图像，并记录时间戳t0。
S22、图像预处理模块对图像进行预处理。
S23、模型推理模块将预处理后的图像输入到训练好的目标检测模型，得到物料的类别以及物料的像素坐标位置。
S24、坐标转换模块将物料的像素坐标位置转换成物理坐标，得到物料的位置。
S25、机器视觉识别系统将物料的时间戳t0、物料的类别以及物料的位置发送至云化PLC控制系统。
可选地，分拣执行系统包括分拣装置驱动器以及分拣装置。
分拣执行系统，进一步用于：
分拣装置驱动器根据分拣控制指令，控制分拣装置将物料按类别分拣至相应位置完成物料分拣任务。
可选地，云化PLC控制系统包括决策调度模块、分拣执行控制模块以及物料输送控制模块。
云化PLC控制系统，进一步用于：
S31、决策调度模块生成输送控制策略，以及生成分拣执行控制策略。
S32、分拣执行控制模块根据分拣执行控制策略，生成分拣控制指令并下发至分拣执行系统。
S33、物料输送控制模块根据输送控制策略生成输送控制指令，并下发至物料输送系统的通信接口。
云化PLC控制系统，进一步用于：
S311、获取云化PLC控制系统接收物料信息的时间戳t1。
S312、根据时间戳t1以及时间戳t0，计算得到传输延迟。
S313、根据物料的位置以及传输延迟，计算物料偏移后的位置。
S314、根据物料偏移后的位置以及分拣装置的位置，确定最优分拣物料。
S315、确定最优分拣物料的拾取位置以及确定分拣装置执行分拣动作的类型，生成分拣执行控制策略。
云化PLC控制系统，进一步用于：
根据最优分拣物料的位置以及分拣装置的位置，判断最优分拣物料是否已经超过了分拣装置。
如果最优分拣物料未超过分拣装置，则最优分拣物料与分拣装置作相向运动，采用迎面模型确定最优分拣物料的拾取位置。
如果最优分拣物料已超过分拣装置，则最优分拣物料与分拣装置作相对运动，采用追击模型确定最优分拣物料的拾取位置。
可选地，分拣装置执行分拣动作的类型包括加速-匀速-减速以及加速-减速。
本发明实施例中，设计并实现了一种基于机器视觉的云化PLC控制物料分拣系统。一方面，在该系统中，物料定位识别采用基于深度学习的目标检测算法实现，这种方式准确率高、鲁棒性强。另一方面，使用云化PLC控制器对分拣进行控制。相较于传统硬件PLC，云化PLC不仅在功能上可以替代硬件PLC，而且更容易部署和改进，能够作为系统开发与调试期间的一种控制手段。另外，由于增加控制对象时无需重新部署硬件PLC，故云化PLC的部署成本远低于硬件PLC，可以大大节约建设成本。最后就是云化PLC没有硬件依赖性，用户可以灵活地选择不同的供应商，维护更简单。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于机器视觉的云化PLC控制物料分拣方法，其特征在于，所述方法由基于机器视觉的云化PLC控制物料分拣系统实现，所述系统包括物料输送系统、机器视觉识别系统、云化PLC控制系统以及分拣执行系统；
所述方法包括：
S1、所述物料输送系统根据设定的输送模式，将待分拣的物料输送至分拣区；
S2、所述机器视觉识别系统获取含有所述物料的图像，生成物料信息发送至所述云化PLC控制系统；其中，所述物料信息包括物料的时间戳t 0 、物料的类别以及物料的位置；
S3、所述云化PLC控制系统接收所述物料信息，生成分拣控制指令发送至所述分拣执行系统；其中，所述分拣控制指令包括最优分拣物料以及所述最优分拣物料的拾取位置；
S4、所述分拣执行系统根据所述分拣控制指令完成物料分拣任务；
所述云化PLC控制系统包括决策调度模块、分拣执行控制模块以及物料输送控制模块；
所述S3中的所述云化PLC控制系统接收所述物料信息，生成分拣控制指令发送至所述分拣执行系统，包括：
S31、所述决策调度模块生成输送控制策略，以及生成分拣执行控制策略；
S32、所述分拣执行控制模块根据所述分拣执行控制策略，生成分拣控制指令并下发至所述分拣执行系统；
S33、所述物料输送控制模块根据所述输送控制策略生成输送控制指令，并下发至所述物料输送系统的通信接口；
所述S31中的生成分拣执行控制策略，包括：
S311、获取所述云化PLC控制系统接收所述物料信息的时间戳t 1 ；
S312、根据所述时间戳t 1 以及时间戳t 0 ，计算得到传输延迟；
S313、根据所述物料的位置以及传输延迟，计算所述物料偏移后的位置；
S314、根据所述物料偏移后的位置以及分拣装置的位置，确定最优分拣物料；
S315、确定所述最优分拣物料的拾取位置以及确定分拣装置执行分拣动作的类型，生成分拣执行控制策略；
所述S315中的确定所述最优分拣物料的拾取位置，包括：
根据所述最优分拣物料的位置以及分拣装置的位置，判断所述最优分拣物料是否已经超过了分拣装置；
如果所述最优分拣物料未超过分拣装置，则所述最优分拣物料与分拣装置作相向运动，采用迎面模型确定所述最优分拣物料的拾取位置；
如果所述最优分拣物料已超过分拣装置，则所述最优分拣物料与分拣装置作相对运动，采用追击模型确定所述最优分拣物料的拾取位置。
2.根据权利要求1所述的方法，其特征在于，所述物料输送系统设有通信接口；
所述S1中的所述物料输送系统根据设定的输送模式，将待分拣的物料输送至分拣区，包括：
S11、所述云化PLC控制系统根据设定的输送模式生成输送控制指令，通过所述通信接口将所述输送控制指令发送至所述物料输送系统；
S12、所述物料输送系统根据所述输送控制指令，将待分拣的物料输送至分拣区。
3.根据权利要求1所述的方法，其特征在于，所述机器视觉识别系统包括图像采集模块、图像预处理模块、模型推理模块以及坐标转化模块；
所述S2中的所述机器视觉识别系统获取含有所述物料的图像，生成物料信息发送至所述云化PLC控制系统，包括：
S21、所述图像采集模块获取含有所述物料的图像，并记录时间戳t 0 ；
S22、所述图像预处理模块对所述图像进行预处理；
S23、所述模型推理模块将预处理后的图像输入到训练好的目标检测模型，得到所述物料的类别以及物料的像素坐标位置；
S24、所述坐标转化模块将所述物料的像素坐标位置转换成物理坐标，得到所述物料的位置；
S25、所述机器视觉识别系统将所述物料的时间戳t 0 、物料的类别以及物料的位置发送至所述云化PLC控制系统。
4.根据权利要求1所述的方法，其特征在于，所述分拣执行系统包括分拣装置驱动器以及分拣装置；
所述S4中的所述分拣执行系统根据所述分拣控制指令完成物料分拣任务，包括：
所述分拣装置驱动器根据所述分拣控制指令，控制所述分拣装置将所述物料按类别分拣至相应位置完成物料分拣任务。
5.根据权利要求1所述的方法，其特征在于，所述S315中的分拣装置执行分拣动作的类型包括加速-匀速-减速以及加速-减速。
6.一种基于机器视觉的云化PLC控制物料分拣系统，其特征在于，所述系统包括物料输送系统、机器视觉识别系统、云化PLC控制系统以及分拣执行系统；其中：
所述物料输送系统，用于根据设定的输送模式，将待分拣的物料输送至分拣区；
所述机器视觉识别系统，用于获取含有所述物料的图像，生成物料信息发送至所述云化PLC控制系统；其中，所述物料信息包括物料的时间戳t 0 、物料的类别以及物料的位置；
所述云化PLC控制系统，用于接收所述物料信息，生成分拣控制指令发送至所述分拣执行系统；其中，所述分拣控制指令包括最优分拣物料以及所述最优分拣物料的拾取位置；
所述分拣执行系统，用于根据所述分拣控制指令完成物料分拣任务；
所述云化PLC控制系统包括决策调度模块、分拣执行控制模块以及物料输送控制模块；
所述接收所述物料信息，生成分拣控制指令发送至所述分拣执行系统，包括：
S31、所述决策调度模块生成输送控制策略，以及生成分拣执行控制策略；
S32、所述分拣执行控制模块根据所述分拣执行控制策略，生成分拣控制指令并下发至所述分拣执行系统；
S33、所述物料输送控制模块根据所述输送控制策略生成输送控制指令，并下发至所述物料输送系统的通信接口；
所述S31中的生成分拣执行控制策略，包括：
S311、获取所述云化PLC控制系统接收所述物料信息的时间戳t 1 ；
S312、根据所述时间戳t 1 以及时间戳t 0 ，计算得到传输延迟；
S313、根据所述物料的位置以及传输延迟，计算所述物料偏移后的位置；
S314、根据所述物料偏移后的位置以及分拣装置的位置，确定最优分拣物料；
S315、确定所述最优分拣物料的拾取位置以及确定分拣装置执行分拣动作的类型，生成分拣执行控制策略；
所述S315中的确定所述最优分拣物料的拾取位置，包括：
根据所述最优分拣物料的位置以及分拣装置的位置，判断所述最优分拣物料是否已经超过了分拣装置；
如果所述最优分拣物料未超过分拣装置，则所述最优分拣物料与分拣装置作相向运动，采用迎面模型确定所述最优分拣物料的拾取位置；
如果所述最优分拣物料已超过分拣装置，则所述最优分拣物料与分拣装置作相对运动，采用追击模型确定所述最优分拣物料的拾取位置。
CN202310140122.XA 2023-02-21 2023-02-21 一种基于机器视觉的云化plc控制物料分拣方法及系统 Active CN115816469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310140122.XA CN115816469B (zh) 2023-02-21 2023-02-21 一种基于机器视觉的云化plc控制物料分拣方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310140122.XA CN115816469B (zh) 2023-02-21 2023-02-21 一种基于机器视觉的云化plc控制物料分拣方法及系统

Publications (2)

Publication Number Publication Date
CN115816469A CN115816469A (zh) 2023-03-21
CN115816469B true CN115816469B (zh) 2023-05-05

Family

ID=85521969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310140122.XA Active CN115816469B (zh) 2023-02-21 2023-02-21 一种基于机器视觉的云化plc控制物料分拣方法及系统

Country Status (1)

Country Link
CN (1) CN115816469B (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003026309A (ja) * 2001-07-13 2003-01-29 Kurume Intelligence System Co Ltd 物品のピッキング方法、ピッキングシステム及びピッキング指示システム
JP5387346B2 (ja) * 2009-11-11 2014-01-15 株式会社ダイフク 仕分け設備
EP3621904A4 (en) * 2015-12-31 2021-05-05 Fives Intralogistics Corp. VISION-BASED ITEM TYPING AND SORTING SYSTEM
CN107671859B (zh) * 2017-10-20 2018-11-02 山东大学 基于s曲线加减速的运动目标动态跟踪方法、系统及装置
CN109146163B (zh) * 2018-08-07 2021-12-07 上海大学 自动分拣系统分拣距离的优化方法、设备及存储介质
CN110369293A (zh) * 2018-11-30 2019-10-25 天津京东深拓机器人科技有限公司 分拣系统、分拣小车的落包控制方法、设备和存储介质
CN109927033B (zh) * 2019-04-01 2021-02-26 杭州电子科技大学 一种应用于传送带分拣的目标物体动态适配方法
US11829908B2 (en) * 2019-10-11 2023-11-28 Exel Inc. Warehouse order picking optimization system and method
CN110841927A (zh) * 2019-11-15 2020-02-28 上海威士顿信息技术股份有限公司 一种分拣装置、系统及方法、电子设备
CN111325137B (zh) * 2020-02-18 2023-06-13 上海东普信息科技有限公司 暴力分拣检测方法、装置、设备及存储介质
CN112170233B (zh) * 2020-09-01 2021-08-06 燕山大学 基于深度学习的小型零件分拣方法及其分拣系统
CN113289925A (zh) * 2021-05-21 2021-08-24 中国矿业大学(北京) 一种基于深度学习的煤中杂物智能分拣系统及其分拣方法
CN113500017B (zh) * 2021-07-16 2023-08-25 上海交通大学烟台信息技术研究院 一种面向非结构化场景下物料分拣的智能系统和方法
CN114943751B (zh) * 2022-07-26 2022-11-08 北京科技大学 云化plc环境下基于方向矢量的物料跟踪定位方法及系统

Also Published As

Publication number Publication date
CN115816469A (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN110948492B (zh) 一种基于深度学习的三维抓取平台和抓取方法
CN111421539A (zh) 一种基于计算机视觉的工业零件智能识别与分拣系统
CN111462154B (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN109483573A (zh) 机器学习装置、机器人系统以及机器学习方法
JP2018126799A (ja) 制御装置、ロボットおよびロボットシステム
CN111702760B (zh) 一种物联网机械手臂协同作业系统及方法
CN108247637A (zh) 一种工业机器人手臂视觉防撞操控方法
JP2018126797A (ja) 制御装置、ロボットおよびロボットシステム
CN109454638A (zh) 一种基于视觉引导的机器人抓取系统
CN110302981B (zh) 一种固废分拣在线抓取方法和系统
CN113814986B (zh) 一种基于机器视觉控制scara机器人的方法及系统
CN109986560A (zh) 一种面向多目标种类的机械臂自适应抓取方法
US11833690B2 (en) Robotic system with dynamic motion adjustment mechanism and methods of operating same
CN112845143A (zh) 一种生活垃圾分类智能分拣系统及方法
CN114029243B (zh) 一种用于分拣机器手的软物抓取识别方法
JPWO2019202900A1 (ja) 行動推定装置、行動推定方法、および行動推定プログラム
CN110539299B (zh) 机器手作业方法、控制器以及机器手系统
CN114405866B (zh) 视觉引导钢板分拣方法、视觉引导钢板分拣装置和系统
CN114193440B (zh) 基于3d视觉的机器人自动抓取系统及方法
CN113681565A (zh) 一种实现机器人与人之间物品传递的人机协作方法及装置
CN115816469B (zh) 一种基于机器视觉的云化plc控制物料分拣方法及系统
CN114627359B (zh) 一种乱序堆叠工件抓取优先级评估方法
EP2898996A1 (en) Method of controlling a robotic system and a robotic system controller for implementing this method
CN114405865B (zh) 视觉引导钢板分拣方法、视觉引导钢板分拣装置和系统
CN208704994U (zh) 基于ccd视觉设备的手机自动跌落测试系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant