CN111993418B - 煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略 - Google Patents

煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略 Download PDF

Info

Publication number
CN111993418B
CN111993418B CN202010780584.4A CN202010780584A CN111993418B CN 111993418 B CN111993418 B CN 111993418B CN 202010780584 A CN202010780584 A CN 202010780584A CN 111993418 B CN111993418 B CN 111993418B
Authority
CN
China
Prior art keywords
gangue
sorting
mechanical arm
information
mechanical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010780584.4A
Other languages
English (en)
Other versions
CN111993418A (zh
Inventor
曹现刚
马宏伟
吴旭东
王鹏
乔欢乐
郝朋英
袁娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN202010780584.4A priority Critical patent/CN111993418B/zh
Publication of CN111993418A publication Critical patent/CN111993418A/zh
Application granted granted Critical
Publication of CN111993418B publication Critical patent/CN111993418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/04—Sorting according to size
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略，包括以下步骤：识别定位子系统获取煤矸流中矸石的信息标签，通过识别定位子系统接口将矸石信息系标签发送至主控子系统接口；分配策略单元完成矸石标签的信息预处理，实现多个目标矸石的任务分配；根据机械臂‑目标矸石任务分组信息进行机械臂动态轨迹规划，通过主控子系统接口发送至多机械臂控制子系统，各机械臂根据接收到的轨迹信息完成目标矸石的分拣。应用本发明替代人工分拣，结合对应地多机械臂协同策略方法能够极大地提高煤矿洗煤厂智能化水平。

Description

煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略
技术领域
本发明涉及分拣技术领域，具体涉及一种煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略。
背景技术
在煤矸分选领域中多机器人系统是特种煤矸分拣设备，多机器人系统根据机器人结构不同分为关节型、直角坐标型、并联型等，主要负责煤矸分选过程中多动态目标的分拣工作，主要为矸石洗选。目前，煤矸分选过程中缺乏快速、准确、可靠的多目标多机械臂协同分拣策略。现有的在线识别、定位和分拣过程中，煤矸分拣机器人需要对每一块矸石进行任务分配，当采掘到顶板时，原煤流的含矸率变大，煤矸分拣机器人系统的拣矸率相对降低，同时也会因为带式输送机速度的增加而降低。为此，提出了一种煤矸分拣机器人多目标多机械臂协同分拣策略，能够有效提高大粒度矸石的分拣效果。
发明内容
本发明的目的在于提供一种煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略，以解决上述背景技术中提出的问题。对于时变带速和时变原煤流的煤矸分选过程，在保证系统拣矸率的基础上，具有快速、准确、可靠的系统性能。
为实现上述目的，本发明提供了如下的技术方案:
一种煤矸分拣机器人多目标多机械臂协同分拣系统，其特征在于，包括识别定位子系统、主控子系统、多机械臂分拣子系统、带式输送机、带速检测装置和矸石回收胶带机；
所述识别定位子系统包括煤矸视觉检测单元、矸石体积检测单元、识别定位子系统接口和硬件装置；
所述硬件装置包括机架、固定座、光源、双目立体相机和线阵列线性激光传感器；
所述煤矸视觉检测单元：通过双目立体相机获取煤矸的图像信息，采用FCNN网络获取煤矸的识别结果,同时得到矸石位置信息；采用视差算法计算点云数据，得到矸石的几何信息；
所述矸石体积检测单元：通过线阵列线性激光传感器结合系统时间、带速检测装置获取的带速参数，得到矸石的几何参数；采用传感融合方法对矸石的几何信息和几何参数进行带权计算，得到校正后的矸石体积信息；
所述识别定位子系统接口：将所述煤矸视觉检测单元和矸石体积检测单元获取的矸石位置信息、煤矸的识别结果和矸石体积信息作为矸石信息标签，发送至主控子系统接口；
所述主控子系统包括主控子系统接口、分配策略单元、动态分拣轨迹规划单元；
主控子系统接口接收识别定位子系统接口发送的矸石信息标签，向分配策略单元发送矸石信息标签和机械臂单元的机械臂位置信息和状态信息；并将机械臂分拣轨迹信息发送至多机械臂分拣子系统接口；
所述分配策略单元：接收矸石信息标签、机械臂单元的机械臂位置信息和状态信息，实现机械臂对矸石目标任务分配；
所述动态分拣轨迹规划单元：根据机械臂对矸石目标任务分配结果，规划机械臂对矸石目标任务的分拣轨迹，发送至主控子系统接口；
所述多机械臂分拣子系统包括多机械臂分拣子系统接口和机械臂单元；
所述机械臂单元包括多个直角坐标机械臂，其序号为A1,…,AN，每个直角坐标机械臂包括X、Y、Z三个关节，直角坐标机械臂设置在所述矸石回收胶带机和带式输送机上方，所述直角坐标机械臂末端设置多个有力敏气动机械手，其序号为B1,…,BN；
所述多机械臂分拣子系统接口：将机械臂单元的机械臂位置信息和状态信息以及力敏气动机械手(获得的矸石检测质量发送至主控子系统接口，并接收主控子系统接口发送的机械臂分拣轨迹信息；
所述直角坐标机械臂接收多机械臂分拣子系统接口发送的机械臂分拣轨迹信息驱动力敏气动机械手开始目标矸石的分拣动作；并将分拣的矸石放置于所述矸石回收胶带机上。
一种煤矸分拣机器人多目标多机械臂协同分拣策略，其特征在于基于多机械臂协同煤矸分拣系统实现，且包含如下步骤：
步骤一：煤矸视觉检测单元通过双目立体相机获取图像信息，采用FCNN网络获取煤矸的识别结果,同时得到矸石位置信息；采用视差算法计算点云数据，得到矸石的几何信息；
步骤二：矸石体积检测单元通过线阵列线性激光传感器结合系统时间、带速检测装置获取的带速参数，得到矸石的几何参数；采用传感融合方法对矸石的几何信息和几何参数进行带权计算，得到校正后的矸石体积信息；
步骤三：识别定位子系统接口将所述煤矸视觉检测单元和矸石体积检测单元获取的矸石信息标签，发送至主控子系统进行矸石信息标签预处理：包括矸石信息标签中矸石位置坐标计算，以及矸石信息标签中状态参量的归一化处理；
步骤四：多机械臂分拣子系统接口接收主控子系统接口发送的机械臂分拣轨迹信息；向主控子系统的分配策略单元发送机械臂单元的机械臂信息标签，通过分配策略单元进行分拣判定和效益匹配，得到判定矩阵和效益矩阵，计算得到机械臂-矸石任务分配矩阵；所述机械臂信息标签包括机械臂位置信息和状态信息；
步骤五：先改进机械臂-矸石任务分配矩阵为带权二分图，采用KM算法求解获得机械臂-矸石任务分组信息，于动态分拣轨迹规划单元中进行动态轨迹规划，获得机械臂-矸石任务的轨迹信息；
步骤六：动态分拣轨迹规划单元根据机械臂-目标矸石任务分配结果，规划机械臂分拣轨迹，并通过主控子系统接口发送至多机械臂控制子系统接口；
步骤七：各机械臂控制器执行动态分拣轨迹规划单元规划的机械臂分拣轨迹，完成矸石的分拣任务，驱动力敏气动机械手实现抓取。
其中步骤一中所述矸石信息标签的几何顶点(x1，x2，y1，y2)，深度信息h和矸石系统时间
Figure BDA0002620058000000051
之间的关系如下式：
Figure BDA0002620058000000052
其中步骤三中的所述矸石位置坐标计算和状态参量归一化处理的具体步骤如下：
第一步：按照下式，根据矸石信息标签的几何顶点计算机器人全局坐标系下的矸石位置坐标：
Figure BDA0002620058000000061
其中，XGol和YGol分别表示矸石在机器人全局坐标系下的X、Y坐标，LxGol和LyGol分别表示矸石位置坐标计算过程中X、Y正交方向上的偏置量；
第二步：按照下式，根据深度信息计算矸石的体积参数，进一步获得质量系数：
Figure BDA0002620058000000062
其中，V为目标体积信息，VCom和MCom分别为矸石识别过程中体积参数和质量参数的偏置量；M为当前矸石的质量参数，ρn为目标标准密度，得到矸石的质量系数；
Figure BDA0002620058000000063
其中，Vmax为各机械臂末端执行器分拣矸石的最大体积值；Mmax为最大体积值对应的最大质量值；δM为矸石的质量系数，是当前矸石的质量参数与最大质量值的比值，为0到1内的百分位小数值；
第三步：根据矸石位置坐标、体积参数和质量参数的计算结果，进行归一化处理，得到矸石信息标签的结果如下：
Figure BDA00026200580000000711
其中，XGol和YGol的单位为mm；
Figure BDA00026200580000000712
为32位正整数值，单位ms。
其中步骤四中通过机械臂寄存器值和各关节的电机编码器，获取机械臂位置坐标和状态信息，具体内容如下：
Figure BDA0002620058000000071
其中，Mj是所匹配到多机械臂中的任意一台机械臂，包含机器人全局坐标系下的
Figure BDA0002620058000000072
坐标值，以及该机械臂工作区余量值
Figure BDA0002620058000000073
机械臂状态
Figure BDA0002620058000000074
和机械臂系统时间
Figure BDA0002620058000000075
其中步骤四中所述分拣判定是基于轨迹模拟的竞速算法实现的，具体步骤如下：
第一步：当且仅当机械臂时空闲状态时，执行分拣判定。当
Figure BDA0002620058000000076
时，继续分拣判定过程；反之，遍历下一台机械臂的状态
Figure BDA0002620058000000077
第二步：根据带式输送机速度Vd、矸石位置坐标(XGol，YGol)、矸石系统时间
Figure BDA0002620058000000078
机械臂系统时间
Figure BDA0002620058000000079
更新
Figure BDA00026200580000000710
时刻的矸石位置坐标，具体过程如下：
Figure BDA0002620058000000081
其中，F(Mj，Gi)是目标状态的迭代函数，求得的时间差值ΔT，单位为s；Vd单位为mm/s；
第三步：根据矸石位置坐标(XGol，YGol)、机械臂位置坐标
Figure BDA0002620058000000082
机械臂工作区余量值
Figure BDA0002620058000000083
机械臂最大运行速度Vmax和带式输送机速度Vd，计算机械臂分拣就位后，目标在X方向上的行程S，具体如下式：
Figure BDA0002620058000000084
其中，tx为机械臂在X方向上的就位时间，ty为机械臂在Y方向上的就位时间，t为机械臂分拣矸石的就位时间，则机械臂分拣所需行程计算过程如下：
S=Vd*t
第四步：根据机械臂分拣所需行程S、机械臂工作区余量值
Figure BDA0002620058000000085
计算机械臂分拣矸石的分拣判定结果Eji，具体如下式：
Figure BDA0002620058000000086
第五步：根据机械臂数量n，以及工作区内的矸石数量m，构建分拣判定矩阵Tnm。
Figure BDA0002620058000000091
其中步骤四中的所述效益匹配是基于矸石的质量系数，以及机械臂分拣矸石的就位时间确定的，具体步骤如下：
第一步:根据矸石Gi的质量系数δM，以及机械臂Mj分拣矸石Gi的就位时间t，计算效益参量cji。具体如下式：
cji＝δM+t
第二步：根据机械臂数量n，以及工作区内的矸石数量m，构建效益匹配矩阵Cnm。具体如下式：
Figure BDA0002620058000000092
其中步骤四中的所述任务分配矩阵是基于分拣判定矩阵和效益匹配矩阵得到的，具体如下式：
Figure BDA0002620058000000093
其中，若机械臂可以分拣矸石，则rji代表能够分拣的效益参量；反之，rji的值为零。
其中步骤五中通过KM算法求解得到机械臂-矸石任务分组信息,具体步骤如下：
第一步：根据任务分配矩阵，建立多目标多机械臂协同规则，具体如下：
规则1：每台机械臂在同一时间同一空间，当且仅当存在一种状态，且只能执行一个矸石的分拣任务；
规则2：当且仅当机械臂同时满足两个或两个以上矸石的分拣要求时，需要在分拣判定矩阵基础上，进行效益匹配；
格则3：多机械臂的多任务分配策略，在满足机械臂-矸石任务分组信息的最优分配基础上，需保证各机械臂均有任务执行；
第二步：依据多目标多机械臂协同规则，基于任务分配矩阵构建带权二分图，并通过KM算法求解得到机械臂-矸石任务分组信息。
设eMj为机械臂Mj的二分图顶点值，eGi为矸石Gi的二分图顶点值，eji为机械臂Mj分拣矸石Gi的任务分配参量。KM求解需满足下列关系：
Figure BDA0002620058000000101
其中，其中，vMj和vGi分别表示二分图顶点集中的机械臂顶点和矸石顶点。
其中步骤五中的所述动态轨迹规划是基于余弦定理-PID的动态目标稳准抓取算法(2020-03-10煤炭学报网络首发，作者:王鹏；曹现刚；马宏伟；吴旭东；夏晶)在动态分拣轨迹规划单元完成。
与现有技术相比，本发明有益效果是：本发明基于多机械臂协同煤矸分拣系统，通过煤矸视觉检测和矸石体积检测，获得矸石位置坐标和矸石深度信息，识别带式输送机上煤矸流中的矸石，并生成对应的矸石信息标签，通过KM算法获得分拣工作区内机械臂-矸石任务分组信息，有效提高了时变带速和时变原煤流中矸石分拣准确率和系统分拣效率，解放人工分选的劳动力，提高煤炭生产的智能化水平。
附图说明
图1是本发明实施例的煤矸分拣机器人多目标多机械臂协同分拣策略的流程框图。
图2是本发明实施例的多机械臂协同煤矸分拣系统框图。
具体实施方式
为了使本发明的目的、技术方案及优点完整清楚描述，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图2所示，一种煤矸分拣机器人多目标多机械臂协同分拣系统，其特征在于，包括识别定位子系统、主控子系统、多机械臂分拣子系统、带式输送机5、带速检测装置3和矸石回收胶带机2；
所述识别定位子系统包括煤矸视觉检测单元、矸石体积检测单元、识别定位子系统接口和硬件装置；
所述硬件装置包括机架4-1、固定座4-2、光源4-5、双目立体相机4-3和线阵列线性激光传感器4-4；
所述煤矸视觉检测单元：通过双目立体相机4-3获取煤矸的图像信息，采用FCNN网络获取煤矸的识别结果,同时得到矸石位置信息；采用视差算法计算点云数据，得到矸石的几何信息；
所述矸石体积检测单元：通过线阵列线性激光传感器4-4结合系统时间、带速检测装置3获取的带速参数，得到矸石的几何参数；采用传感融合方法对矸石的几何信息和几何参数进行带权计算，得到校正后的矸石体积信息；
所述识别定位子系统接口：将所述煤矸视觉检测单元和矸石体积检测单元获取的矸石位置信息、煤矸的识别结果和矸石体积信息作为矸石信息标签，发送至主控子系统接口；
所述主控子系统包括主控子系统接口、分配策略单元、动态分拣轨迹规划单元；
主控子系统接口接收识别定位子系统接口发送的矸石信息标签，向分配策略单元发送矸石信息标签和机械臂单元的机械臂位置信息和状态信息；并将机械臂分拣轨迹信息发送至多机械臂分拣子系统接口；
所述分配策略单元：接收矸石信息标签、机械臂单元的机械臂位置信息和状态信息，实现机械臂对矸石目标任务分配；
所述动态分拣轨迹规划单元：根据机械臂对矸石目标任务分配结果，规划机械臂对矸石目标任务的分拣轨迹，发送至主控子系统接口；
所述多机械臂分拣子系统包括多机械臂分拣子系统接口和机械臂单元；
所述机械臂单元1包括多个直角坐标机械臂1-A，其序号为A1,…,AN，每个直角坐标机械臂包括X、Y、Z三个关节，直角坐标机械臂设置在所述矸石回收胶带机2和带式输送机5上方，所述直角坐标机械臂末端设置多个有力敏气动机械手1-B，其序号为B1,…,BN；
所述多机械臂分拣子系统接口：将机械臂单元的机械臂位置信息和状态信息以及力敏气动机械手1-B获得的矸石检测质量发送至主控子系统接口，并接收主控子系统接口发送的机械臂分拣轨迹信息；
所述直角坐标机械臂接收多机械臂分拣子系统接口发送的机械臂分拣轨迹信息驱动力敏气动机械手10-B开始目标矸石的分拣动作；并将分拣的矸石放置于所述矸石回收胶带机2上。
如图2所示，机架4-1架设在带式输送机5的上方，固定座4-2安装在机架4-1内侧的顶部，双目立体相机4-3和线阵列线性激光传感器4-4分别安装在固定座4-2的两端，光源4-5布置在机架4-1内侧顶部的两个侧棱上。
图1显示了本发明实施例的多机械臂协同煤矸分拣系统框图。具体步骤如下：
步骤1，原煤流中矸石通过带式输送机5运载，依次经过煤矸视觉检测和矸石体积检测区域，获得各个矸石的矸石信息标签。
Figure BDA0002620058000000142
步骤2，根据矸石信息标签计算矸石位置坐标和矸石的质量系数，更新矸石信息标签。
Figure BDA0002620058000000143
步骤3，进行机械臂信息检测，获得机械臂信息标签。
Figure BDA0002620058000000141
步骤4，设该实施例中机械臂数量为2台，当前工作区内矸石数量为3块，进行分拣判定，获得分拣判定矩阵。
Figure BDA0002620058000000151
步骤5，根据2台机械臂位置坐标和3块矸石位置坐标，以及矸石的质量系数，依次进行效益匹配，获得效益匹配矩阵。
Figure BDA0002620058000000152
步骤6，根据分拣判定矩阵和效益匹配矩阵，计算任务分配矩阵。
Figure BDA0002620058000000153
步骤7，根据任务分配矩阵构建带权二分图，采用KM算法求得机械臂-矸石任务分组信息，进行动态轨迹规划。
步骤8，各机械臂根据机械臂控制器获取的轨迹信息，完成矸石的分拣。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围。

Claims (9)

1.一种煤矸分拣机器人多目标多机械臂协同分拣系统，其特征在于，包括识别定位子系统、主控子系统、多机械臂分拣子系统、带式输送机(5)、带速检测装置(3)和矸石回收胶带机(2)；
所述识别定位子系统包括煤矸视觉检测单元、矸石体积检测单元、识别定位子系统接口和硬件装置；
所述硬件装置包括机架(4-1)、固定座(4-2)、光源(4-5)、双目立体相机(4-3)和线阵列线性激光传感器(4-4)；
所述煤矸视觉检测单元：通过双目立体相机(4-3)获取煤矸的图像信息，采用FCNN网络获取煤矸的识别结果,同时得到矸石位置信息；采用视差算法计算点云数据，得到矸石的几何信息；
所述矸石体积检测单元：通过线阵列线性激光传感器(4-4)结合系统时间、带速检测装置(3)获取的带速参数，得到矸石的几何参数；采用传感融合方法对矸石的几何信息和几何参数进行带权计算，得到校正后的矸石体积信息；
所述识别定位子系统接口：将所述煤矸视觉检测单元和矸石体积检测单元获取的矸石位置信息、煤矸的识别结果和矸石体积信息作为矸石信息标签，发送至主控子系统接口；
所述主控子系统包括主控子系统接口、分配策略单元、动态分拣轨迹规划单元；
主控子系统接口接收识别定位子系统接口发送的矸石信息标签，向分配策略单元发送矸石信息标签和机械臂单元的机械臂位置信息和状态信息；并将机械臂分拣轨迹信息发送至多机械臂分拣子系统接口；
所述分配策略单元：接收矸石信息标签、机械臂单元的机械臂位置信息和状态信息，实现机械臂对矸石目标任务分配；
所述动态分拣轨迹规划单元：根据机械臂对矸石目标任务分配结果，规划机械臂对矸石目标任务的分拣轨迹，发送至主控子系统接口；
所述多机械臂分拣子系统包括多机械臂分拣子系统接口和机械臂单元；
所述机械臂单元(1)包括多个直角坐标机械臂(1-A)，其序号为A1,…,AN，每个直角坐标机械臂包括X、Y、Z三个关节，直角坐标机械臂设置在所述矸石回收胶带机(2)和带式输送机(5)上方，所述直角坐标机械臂末端设置有多个力敏气动机械手(1-B)，其序号为B1,…,BN；
所述多机械臂分拣子系统接口：将机械臂单元的机械臂位置信息和状态信息以及力敏气动机械手(1-B)获得的矸石检测质量信息发送至主控子系统接口，并接收主控子系统接口发送的机械臂分拣轨迹信息；
所述直角坐标机械臂接收多机械臂分拣子系统接口发送的机械臂分拣轨迹信息驱动力敏气动机械手(1-B)开始目标矸石的分拣动作；并将分拣的矸石放置于所述矸石回收胶带机(2)上。
2.一种煤矸分拣机器人多目标多机械臂协同分拣策略，其特征在于基于权利要求1煤矸分拣机器人多目标多机械臂协同分拣系统实现，且包含如下步骤：
步骤一：煤矸视觉检测单元通过双目立体相机(4-3)获取图像信息，采用FCNN网络获取煤矸的识别结果,同时得到矸石位置信息；采用视差算法计算点云数据，得到矸石的几何信息；
步骤二：矸石体积检测单元通过线阵列线性激光传感器(4-4)结合系统时间、带速检测装置(3)获取的带速参数，得到矸石的几何参数；采用传感融合方法对矸石的几何信息和几何参数进行带权计算，得到校正后的矸石体积信息；
步骤三：识别定位子系统接口将所述煤矸视觉检测单元和矸石体积检测单元获取的矸石信息标签，发送至主控子系统进行矸石信息标签预处理：包括矸石信息标签中矸石位置坐标计算，以及矸石信息标签中状态参量的归一化处理；
步骤四：多机械臂分拣子系统接口接收主控子系统接口发送的机械臂分拣轨迹信息；向主控子系统的分配策略单元发送机械臂单元的机械臂信息标签，通过分配策略单元进行分拣判定和效益匹配，得到判定矩阵和效益矩阵，计算得到机械臂-矸石任务分配矩阵；所述机械臂信息标签包括机械臂位置信息和状态信息；
步骤五：先改进机械臂-矸石任务分配矩阵为带权二分图，采用KM算法求解获得机械臂-矸石任务分组信息，于动态分拣轨迹规划单元中进行动态轨迹规划，获得机械臂-矸石任务的轨迹信息；
步骤六：动态分拣轨迹规划单元根据机械臂-目标矸石任务分配结果，规划机械臂分拣轨迹，并通过主控子系统接口发送至多机械臂控制子系统接口；
步骤七：各机械臂控制器执行动态分拣轨迹规划单元规划的机械臂分拣轨迹，完成矸石的分拣任务，驱动力敏气动机械手(1-B)实现抓取。
3.根据权利要求2所述的煤矸分拣机器人多目标多机械臂协同分拣策略，其特征在于，步骤三中的所述矸石位置坐标计算和状态参量归一化处理的具体步骤如下：
第一步：按照下式，根据矸石信息标签的几何顶点计算机器人全局坐标系下的矸石位置坐标：
Figure FDA0003175402310000041
其中，XGol和YGol分别表示矸石在机器人全局坐标系下的X、Y坐标，LxGol和LyGol分别表示矸石位置坐标计算过程中X、Y正交方向上的偏置量；
第二步：按照下式，根据深度信息计算矸石的体积参数，进一步获得质量系数：
Figure FDA0003175402310000042
其中，V为目标体积信息，VCom和MCom分别为矸石识别过程中体积参数和质量参数的偏置量；M为当前矸石的质量参数，ρn为目标标准密度，得到矸石的质量系数；
Figure FDA0003175402310000051
其中，Vmax为各机械臂末端执行器分拣矸石的最大体积值；Mmax为最大体积值对应的最大质量值；δM为矸石的质量系数，是当前矸石的质量参数与最大质量值的比值，为0到1内的百分位小数值；
第三步：根据矸石位置坐标、体积参数和质量参数的计算结果，进行归一化处理，得到矸石信息标签的结果如下：
Figure FDA0003175402310000052
其中，XGol和YGol的单位为mm；
Figure FDA0003175402310000053
为32位正整数值，单位ms。
4.根据权利要求2所述的煤矸分拣机器人多目标多机械臂协同分拣策略，其特征在于，步骤四中通过机械臂寄存器值和各关节的电机编码器，获取机械臂位置坐标和状态信息，具体内容如下：
Figure FDA0003175402310000054
其中，Mj是所匹配到多机械臂中的任意一台机械臂，包含机器人全局坐标系下的
Figure FDA0003175402310000055
坐标值，以及该机械臂工作区余量值
Figure FDA0003175402310000056
机械臂状态
Figure FDA0003175402310000057
和机械臂系统时间
Figure FDA0003175402310000058
5.根据权利要求2所述的煤矸分拣机器人多目标多机械臂协同分拣策略，其特征在于，步骤四中所述分拣判定是基于轨迹模拟的竞速算法实现的，具体步骤如下：
第一步：当且仅当机械臂时空闲状态时执行分拣判定，当
Figure FDA0003175402310000061
时，继续分拣判定过程；反之，遍历下一台机械臂的状态
Figure FDA0003175402310000062
第二步：根据带式输送机速度Vd、矸石位置坐标(XGol，YGol)、矸石系统时间
Figure FDA0003175402310000063
机械臂系统时间
Figure FDA0003175402310000064
更新
Figure FDA0003175402310000065
时刻的矸石位置坐标，具体过程如下：
Figure FDA0003175402310000066
其中，F(Mj，Gi)是目标状态的迭代函数，求得的时间差值ΔT，单位为s；Vd单位为mm/s；
第三步：根据矸石位置坐标(XGol，YGol)、机械臂位置坐标
Figure FDA0003175402310000067
机械臂工作区余量值
Figure FDA0003175402310000068
机械臂最大运行速度Vmax和带式输送机速度Vd，计算机械臂分拣就位后，目标在X方向上的行程S，具体如下式：
Figure FDA0003175402310000069
其中，tx为机械臂在X方向上的就位时间，ty为机械臂在Y方向上的就位时间，t为机械臂分拣矸石的就位时间，则机械臂分拣所需行程计算过程如下：
S＝Vd*t
第四步：根据机械臂分拣所需行程S、机械臂工作区余量值
Figure FDA0003175402310000074
计算机械臂分拣矸石的分拣判定结果Eji，具体如下式：
Figure FDA0003175402310000071
第五步：根据机械臂数量n，以及工作区内的矸石数量m，构建分拣判定矩阵Tnm，
Figure FDA0003175402310000072
6.根据权利要求2所述的煤矸分拣机器人多目标多机械臂协同分拣策略，其特征在于，步骤四中的所述效益匹配是基于矸石的质量系数，以及机械臂分拣矸石的就位时间确定的，具体步骤如下：
第一步：根据矸石Gi的质量系数δM，以及机械臂Mj分拣矸石Gi的就位时间t，计算效益参量cji，具体如下式：
cji＝δM+t
第二步：根据机械臂数量n，以及工作区内的矸石数量m，构建效益匹配矩阵Cnm，具体如下式：
Figure FDA0003175402310000073
7.根据权利要求2所述的煤矸分拣机器人多目标多机械臂协同分拣策略，其特征在于，步骤四中的所述任务分配矩阵是基于分拣判定矩阵和效益匹配矩阵得到的，具体如下式：
Figure FDA0003175402310000081
其中，若机械臂可以分拣矸石，则rji代表能够分拣的效益参量；反之，rji的值为零。
8.根据权利要求2所述的煤矸分拣机器人多目标多机械臂协同分拣策略，其特征在于，步骤五中通过KM算法求解得到机械臂-矸石任务分组信息，具体步骤如下：
第一步：根据任务分配矩阵，建立多目标多机械臂协同规则，具体如下：
规则1：每台机械臂在同一时间同一空间，当且仅当存在一种状态，且只能执行一个矸石的分拣任务；
规则2：当且仅当机械臂同时满足两个或两个以上矸石的分拣要求时，需要在分拣判定矩阵基础上，进行效益匹配；
规则3：多机械臂的多任务分配策略，在满足机械臂-矸石任务分组信息的最优分配基础上，需保证各机械臂均有任务执行；
第二步：依据多目标多机械臂协同规则，基于任务分配矩阵构建带权二分图，并通过KM算法求解得到机械臂-矸石任务分组信息；
设eMj为机械臂Mj的二分图顶点值，eGi为矸石Gi的二分图顶点值，eji为机械臂Mj分拣矸石Gi的任务分配参量，KM求解需满足下列关系：
Figure FDA0003175402310000082
其中，其中，vMj和vGi分别表示二分图顶点集中的机械臂顶点和矸石顶点。
9.根据权利要求2所述的煤矸分拣机器人多目标多机械臂协同分拣策略，其特征在于，步骤五中的所述动态轨迹规划是基于余弦定理-PID的动态目标稳准抓取算法在动态分拣轨迹规划单元完成。
CN202010780584.4A 2020-08-06 2020-08-06 煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略 Active CN111993418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010780584.4A CN111993418B (zh) 2020-08-06 2020-08-06 煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010780584.4A CN111993418B (zh) 2020-08-06 2020-08-06 煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略

Publications (2)

Publication Number Publication Date
CN111993418A CN111993418A (zh) 2020-11-27
CN111993418B true CN111993418B (zh) 2021-09-14

Family

ID=73463394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010780584.4A Active CN111993418B (zh) 2020-08-06 2020-08-06 煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略

Country Status (1)

Country Link
CN (1) CN111993418B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488082A (zh) * 2020-12-24 2021-03-12 刘强 基于深度学习的煤矸石智能分拣系统
CN113351496B (zh) * 2021-08-10 2021-11-02 常州唯实智能物联创新中心有限公司 多机械臂策略、多机械臂协同的分拣系统建模方法及系统
CN113751339B (zh) * 2021-09-23 2023-05-23 浙江工业大学 基于智能分拣流水线的多机器人任务分配方法
CN113843821A (zh) * 2021-10-18 2021-12-28 浙江工业大学 用于物料分拣的多吸盘可移动机械手及其控制系统
CN114515705B (zh) * 2021-12-14 2023-10-17 中煤科工集团信息技术有限公司 基于多模态成像分析的煤矸石分选系统
CN117381802B (zh) * 2023-12-12 2024-03-05 吉林省吉邦自动化科技有限公司 一种分布式多机器人协同控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0572830B1 (de) * 1992-06-04 1996-10-02 Ferdinand Christ Verfahren zum Identifizieren, Etikettieren und Zielsteuern von Waren
CN108607819A (zh) * 2018-04-25 2018-10-02 重庆邮电大学 物料分拣系统及方法
DE102018200895A1 (de) * 2018-01-19 2019-07-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Bestimmung zumindest einer mechanischen Eigenschaft zumindest eines Objektes
CN111266304A (zh) * 2019-12-02 2020-06-12 唐山因泰智能科技发展有限公司 一种煤块识别检测分选系统
CN111421539A (zh) * 2020-04-01 2020-07-17 电子科技大学 一种基于计算机视觉的工业零件智能识别与分拣系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0572830B1 (de) * 1992-06-04 1996-10-02 Ferdinand Christ Verfahren zum Identifizieren, Etikettieren und Zielsteuern von Waren
DE102018200895A1 (de) * 2018-01-19 2019-07-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Bestimmung zumindest einer mechanischen Eigenschaft zumindest eines Objektes
CN108607819A (zh) * 2018-04-25 2018-10-02 重庆邮电大学 物料分拣系统及方法
CN111266304A (zh) * 2019-12-02 2020-06-12 唐山因泰智能科技发展有限公司 一种煤块识别检测分选系统
CN111421539A (zh) * 2020-04-01 2020-07-17 电子科技大学 一种基于计算机视觉的工业零件智能识别与分拣系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的多机械臂煤矸石分拣机器人系统研究;王鹏，曹现刚，夏晶，吴旭东，马宏伟;《工矿自动化》;20190930;全文 *
面向煤矸分拣机器人的多机械臂协同策略;曹现刚，吴旭东，王鹏，李莹，刘思颖;《煤炭学报》;20191230;全文 *

Also Published As

Publication number Publication date
CN111993418A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN111993418B (zh) 煤矸分拣机器人多目标多机械臂协同分拣系统及分拣策略
Dai et al. Modeling vehicle interactions via modified LSTM models for trajectory prediction
CN106557844B (zh) 一种焊接机器人路径规划方法
EP3615282B1 (en) Component feature detector for robotic systems
CN111582123B (zh) 一种基于信标识别与视觉slam的agv定位方法
CN109531584A (zh) 一种基于深度学习的机械臂控制方法和装置
CN107633105B (zh) 一种基于改进混合蛙跳算法的四旋翼无人机参数辨识方法
CN112102368B (zh) 一种基于深度学习的机器人垃圾分类分拣方法
CN112101160B (zh) 一种面向自动驾驶场景的双目语义slam方法
CN112916416A (zh) 一种建筑垃圾分拣系统
CN111921904B (zh) 基于视觉及力信息融合感知的多机械臂协同煤矸分拣系统
Liu et al. MGBM-YOLO: a faster light-weight object detection model for robotic grasping of bolster spring based on image-based visual servoing
CN111273562A (zh) 一种基于膜计算实现井下机器人路径优化方法
Bayramoglu et al. Mobile robot navigation in a corridor using visual odometry
CN109903343B (zh) 一种基于惯性姿态约束的特征匹配方法
CN112747752A (zh) 基于激光里程计的车辆定位方法、装置、设备和存储介质
TWI788253B (zh) 適應性移動操作設備及方法
Rahok et al. Enhancement of scan matching using an environmental magnetic field
Tian et al. Robotic Grasping of Pillow Spring Based on MG-YOLOv5s Object Detection Algorithm and Image-Based Visual Serving
Aguilera et al. A hand-drawn language for human-robot collaboration in wood stereotomy
Lu Intelligent Vehicle Trajectory Tracking and Identification Technology Based on Multi-Fitness Genetic Algorithm
CN112340435B (zh) 一种物流搬运机器人的抓取感知及控制方法
Guérin et al. Automatic construction of real-world datasets for 3D object localization using two cameras
Pan et al. Trajectory tracking method of crawler robot based on improved loam
CN110426959B (zh) 一种履带机器人控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant