CN110125036A - 一种基于模板匹配的自识别分拣系统和方法 - Google Patents

一种基于模板匹配的自识别分拣系统和方法 Download PDF

Info

Publication number
CN110125036A
CN110125036A CN201910340685.7A CN201910340685A CN110125036A CN 110125036 A CN110125036 A CN 110125036A CN 201910340685 A CN201910340685 A CN 201910340685A CN 110125036 A CN110125036 A CN 110125036A
Authority
CN
China
Prior art keywords
joint
represent
mechanical arm
angle
reference axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910340685.7A
Other languages
English (en)
Other versions
CN110125036B (zh
Inventor
蒋少平
李水峰
赵家俊
杜艺期
罗文星
罗俊飞
黄家兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910340685.7A priority Critical patent/CN110125036B/zh
Publication of CN110125036A publication Critical patent/CN110125036A/zh
Application granted granted Critical
Publication of CN110125036B publication Critical patent/CN110125036B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于模板匹配的自识别分拣系统和方法，所述系统包括：图像采集模块、上位机、下位机、机械臂；图像采集模块与上位机连接，上位机与下位机连接，下位机与机械臂连接；所述方法包括：S1：制作模板；S2：采集目标图像；S3：提取模板信息；S4：对视频流进行像素搜索；S5：检测是否存在与像素模板相似的目标物体；若存在，则进行S6，若不存在，则返回S4；S6：计算目标物体的中心坐标；S7：计算机械臂各关节的角度；S8：控制各关节处的舵机转动相应的角度，实现分拣抓取；S9：判断是否继续下一目标物体的分拣，若不需要，停止分拣，若需要，则返回步骤S2；本发明可提高分拣系统应用的广泛性。

Description

一种基于模板匹配的自识别分拣系统和方法
技术领域
本发明涉及自识别分拣领域，更具体地，涉及一种基于模板匹配的自识别分拣系统和方法。
背景技术
随着人们生活水平的提高，城市垃圾也越来越多。由于生活垃圾的复杂性和多样性，民众垃圾分类意识不高，垃圾分类市场不成熟等原因，使得我国垃圾分类已经实施了十余年，但仍然没有成效。传统的垃圾分拣大量依赖于人工分拣，分拣人员站在垃圾传送带的两侧，将有害或者有用的垃圾分拣出来。人工分拣的优点是分拣精度高，投入设备成本低；但缺点也显而易见，分拣效率极其低下，而且可能会存在对垃圾分拣人员生命安全的威胁。世界上第一台垃圾分拣机器人是ZenRobotics公司制作的ZenRobotics Recycler；通过机器人对固体垃圾流(金属、木材、矿石、塑料、硬纸板等)进行精确的分离拣选。而SadakoTechnologies公司制作的WALL-B设备，主要是从垃圾流中识别和分拣固体垃圾，包括树脂材料，高密度聚乙烯，砖块，食品罐头等。这两种垃圾分拣系统都局限于内嵌的算法，仅仅只能识别固定的材料，使系统不具备多功能性以及广泛的适应性。
发明内容
本发明为克服上述现有技术所述的分拣系统不具广泛性的缺陷，提供一种基于模板匹配的自识别分拣系统和方法。
所述系统包括：图像采集模块、上位机、下位机、机械臂；图像采集模块与上位机电连接，上位机与下位机电连接，下位机与机械臂电连接；
图像采集模块负责采模板图像信息和目标图像信息的采集，并将采集的模板图像信息和目标图像信息传送给上位机；
上位机负责模板图像信息的保存与提取，以及根据目标图像信息对机械臂各关节角度信息的计算，并将计算后的角度信息发送给下位机；
下位机根据上位机发送来的信息实现对机械臂的控制；
机械臂为执行机构，负责垃圾分拣动作的执行。
优选地，机械臂采用多自由度的机械臂，机械臂包括若干个关节、若干个力臂和夹持器，关节与力臂相互间隔且依次连接，连接后末端为关节，末端的关节与夹持器连接；夹持器用来夹持物体。
优选地，机械臂包括依次连接的第一关节、第一力臂、第二关节、第二力臂、第三关节、第三力臂、第四关节、第四力臂、第五关节、夹持器；
第五关节控制夹持器处于闭合还是张开的状态；
夹持器用于夹持目标物体；
第一关节设在底座上；
第一关节、第二关节、第三关节、第四关节用来调整机械臂位置，第五关节用来控制夹持器夹持物体。
优选地，夹持器的夹持侧设有压力传感器，压力传感器与下位机连接，用来感应夹持器夹持物体的力度的大小。
优选地，所述的下位机包括WIFI接收模块和主控芯片，WIFI接收模块与上位机无线通信连接，WIFI接收模块与主控芯片电连接。
优选地，WIFI接收模块的型号为：ESP8266，主控芯片的型号为：Stm32f103zet6。
优选地，所述的图像采集模块采用的是罗技公司生产的C920摄像头；C920集成CMOS传感器，最高分辨率为1280*960，最大帧数为30FPS。
所述系统可人机交互界面上制作出可回收垃圾以及危险物品的模板，然后根据视觉采集图像，进行图像预处理以及实时性的模板匹配，匹配出目标物体的中心坐标，并通过正逆运动学分析计算出机械臂各个关节的角度，将角度信息通过ESP8266模块传递给下位机Stm32f103zet6，由下位机控制机械臂准确地抓取目标物体并放置在规定区域，达到分拣垃圾的目的。
所述方法应用于上述基于模板匹配的自识别分拣系统上，所述方法包括以下步骤：
S1：通过图像采集模块对想抓取的物品进行图像信息采集，并制作N个模板，然后将模板图像信息传送至上位机进行存储，N为大于等于1的正整数；
S2：图像采集模块采集目标图像；
S3：上位机调用模板信息，若当前模板信息搜索不到，则自动循环调取下一张模板信息；
S4：上位机以模板的像素特征作为检测依据；对视频流进行像素搜索；
S5：检测是否存在与像素模板相似的目标物体；若存在，则进行S6，若不存在，则返回S4；
S6：计算出目标物体的中心坐标；
S7：根据中心坐标，计算出机械臂的角度；并将角度信息发送给下位机；
S8：下位机根据上位机发送过来的角度信息，通过脉宽调制控制机械臂中的各关节处的舵机转动相应的角度；实现物体的分拣；
S9：判断是否继续下一目标物体的分拣，若不需要，停止分拣，若需要，则返回步骤S2。
优选地，S7中，机械臂角度的计算过程为：
S7.1：通过逆运动学分析，求解出各关节逆运动学所对应的角度；
S7.2：根据逆运动学所对应的角度信息，通过正运动学分析，求出机械臂末端的位置信息；
依次将机械臂末端位置信息与待抓取的物品的位置进行标准差运算，求出标准差中值最小的末端位置信息对应的角度。
优选地，S7.1包括以下步骤：
S7.1.1：根据机械臂模型建立D-H参数表；
S7.1.2：根据D-H参数表分别得出参考坐标系到第一关节之间的齐次变换矩阵0T1，第一关节到第二关节之间的齐次变换矩阵1T2，第二关节到第三关节之间的齐次变换矩阵2T3，第三关节到第四关节之间的齐次变换矩阵3T4，第四关节到第五关节之间的齐次变换矩阵4T5；
S7.1.3：根据S7.2推导得出的齐次变换矩阵，可以计算出参考坐标系到第五关节的总齐次变换矩阵：
0T5＝0T1*1T2*2T3*3T4*4T5
S7.1.4：假设机械臂末端的齐次变换矩阵为：
其中n,o,a轴代表机械臂末端坐标系,原点位于末端关节处，
其中nx代表n坐标轴在x方向上的方向余弦；
其中ny代表n坐标轴在y方向上的方向余弦；
其中nz代表n坐标轴在z方向上的方向余弦；
其中ox代表o坐标轴在x方向上的方向余弦；
其中oy代表o坐标轴在y方向上的方向余弦；
其中oz代表o坐标轴在z方向上的方向余弦；
其中ax代表a坐标轴在x方向上的方向余弦；
其中ay代表a坐标轴在y方向上的方向余弦；
其中az代表a坐标轴在z方向上的方向余弦；
代表了机械末端的姿态信息；(px,py,pz)代表机械臂末端在参考坐标系中的位置，即待抓取的物品的位置；
S7.1.5：求解第一关节的角度θ1：
根据等式
可得
可以求解得到：
S7.1.6：求解第四关节的角度θ4与第二关节的角度θ2、第一关节的角度θ1的关系式：
根据等式
可得
可得：
其中ai为第i个关节的连杆长度，di为第i个关节的连杆偏移，θi为第i个关节的关节转角，i＝1,2,3,4,5；
S7.1.7：求解第三关节的角度θ3：
根据等式
可得
可得：
因此可以求得
其中ai为第i个关节的连杆长度，di为第i个关节的连杆偏移，θi为第i个关节的关节转角，i＝1,2,3,4,5；
S7.1.8：设定第二关节的角度θ2的数值；
S7.1.9：逆解的选取：
由S7.1.5-S7.1.8可知，当θ2确定为某一值，θ1有1个解，θ4与θ1对应有2个解，θ3与θ4、θ1对应有4个解，也就说明逆向运动学对应的解有8组；
由于因此θ4有两个解，
由于且sinθ3的等式中含有θ4，
因此θ3有四个解，
由于θ4有两个解，θ3有四个解，那么总共就有2*4＝8个解；
优选地，S7.2包括以下步骤：
S7.2.1：根据D-H参数表得出参考坐标系到第一关节之间的齐次变换矩阵为：
其中θ1代表第一关节的关节转角。
S7.2.2：根据D-H参数表得出第一关节到第二关节之间的齐次变换矩阵为：
其中θ2代表第二关节的关节转角。
S7.2.3：根据D-H参数表得出第二关节到第三关节之间的齐次变换矩阵为：
其中θ3代表第三关节的关节转角。
S7.2.4：根据D-H参数表得出第三关节到第四关节之间的齐次变换矩阵为：
其中θ4代表第四关节的关节转角。
S7.2.5：根据D-H参数表得出第四关节到第五关节之间的齐次变换矩阵为：
根据上式推导得出的齐次变换矩阵，可以计算出参考坐标系到第五关节的总齐次变换矩阵：
0T5＝0T1*1T2*2T3*3T4*4T5；
0T5矩阵中是关于θ1、θ2、θ3、θ4的矩阵；
S7.2.6：将S7.1.9步骤中得到的运动学模型的8组解代入0T5，假设0T5齐次变换矩阵如下(由于是未知数角度值已经代入运算，所以0T5中各个元素已知，且会得到8个0T5)：
其中n,o,a轴代表机械臂末端坐标系,原点位于末端关节处，类似于参考坐标系的x,y,z轴；
其中nx代表n坐标轴在x方向上的方向余弦
其中ny代表n坐标轴在y方向上的方向余弦
其中nz代表n坐标轴在z方向上的方向余弦
其中ox代表o坐标轴在x方向上的方向余弦
其中oy代表o坐标轴在y方向上的方向余弦
其中oz代表o坐标轴在z方向上的方向余弦
其中ax代表a坐标轴在x方向上的方向余弦
其中ay代表a坐标轴在y方向上的方向余弦
其中az代表a坐标轴在z方向上的方向余弦
以下3*3的矩阵代表了机械末端的姿态信息：
其中(px,py,pz)代表机械臂末端在参考坐标系中的位置，即待抓取的物品的位置；
上述齐次变换矩阵为给定的已知条件，期望机械臂以何种姿态到达何处抓取物品。
S7.2.7：取8组0T5的(px,py,pz)，则第一组为(px1,py1,pz1)，第二组为(px2,py2,pz2)……第八为(px8,py8,pz8)；
取上述8个标准差的最小值所对应的角度，即为所求的角度。
与现有技术相比，本发明技术方案的有益效果是：本发明可提高分拣系统应用的广泛性；可提高识别效率、减少错误率和降低成本。
本发明不再局限于内嵌的算法只能识别固定的材料，采用模板匹配方法，可以准确抓取任何目标物品，不限制特定的材料。首先本系统在上位机上自行添加待分拣的模板，然后对图像进行特征点的检测、描述与匹配，当匹配值达到阈值后，系统便可自动识别，从而进行分拣动作，大大提高了系统的多功能性以及适应性。
本发明在识别的过程中先对图像进行一系列的预处理以及添加一个模板匹配的适应分值，预处理选项以及适应分值的调整显示在人机交互界面上；通过调整预处理选项和适应分值，系统可以适应光照充足、光照不足等多种情况，拓展了系统应用的广泛性。
本发明采用了多自由度的机械臂，首先根据机械臂的构造建立连杆坐标系，确定各连杆D-H参数，构造移动机械臂的数学模型；对该模型进行正向运动学分析，然后用数学模型逆求解方法，通过多组正逆运动学参数对求解结果进行验证，大大提高了抓取物体的准确性。
附图说明
图1为实施例1所述基于模板匹配的自识别分拣系统示意图。
图2为实施例2所述基于模板匹配的自识别分拣方法流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种基于模板匹配的自识别分拣系统，如图1所示，所述系统包括：图像采集模块、上位机、下位机、机械臂；图像采集模块与上位机电连接，上位机与下位机电连接，下位机与机械臂电连接；
图像采集模块负责采模板图像信息和目标图像信息的采集，并将采集的模板图像信息和目标图像信息传送给上位机；
上位机负责模板图像信息的保存与提取，以及根据目标图像信息对机械臂各关节角度信息的计算，并将计算后的角度信息发送给下位机；
下位机根据上位机发送来的信息实现对机械臂的控制；
机械臂为执行机构，负责垃圾分拣动作的执行。
机械臂采用多自由度的机械臂，机械臂包括若干个关节、若干个力臂和夹持器，关节与力臂相互间隔且依次连接，连接后末端为关节，末端的关节与夹持器连接；夹持器用来夹持物体。
机械臂包括依次连接的第一关节、第一力臂、第二关节、第二力臂、第三关节、第三力臂、第四关节、第四力臂、第五关节、夹持器；
第五关节控制夹持器处于闭合还是张开的状态；
夹持器用于夹持目标物体；
第一关节设在底座上；
第一关节、第二关节、第三关节、第四关节用来调整机械臂位置，第五关节用来控制夹持器夹持物体。
夹持器的夹持侧设有压力传感器，压力传感器与下位机连接，用来感应夹持器夹持物体的力度的大小。
所述的下位机包括WIFI接收模块和主控芯片，WIFI接收模块与上位机无线通信连接，WIFI接收模块与主控芯片电连接。
WIFI接收模块的型号为：ESP8266。
主控芯片的型号为：Stm32f103zet6。
所述的图像采集模块采用的是罗技公司生产的C920摄像头；C920集成CMOS传感器，最高分辨率为1280*960，最大帧数为30FPS。
实施例2
本实施例提供一种基于模板匹配的自识别分拣方法，如图2所示，所述方法包括以下步骤：
S1：通过图像采集模块对想抓取的物品进行图像信息采集，并制作N个模板，然后将模板图像信息传送至上位机进行存储，N为大于等于1的正整数；
S2：图像采集模块采集目标图像；
S3：上位机调用模板信息，若当前模板信息搜索不到，则自动循环调取下一张模板信息；
S4：上位机以模板的像素特征作为检测依据；对视频流进行像素搜索；
S5：检测是否存在与像素模板相似的目标物体；若存在，则进行S6，若不存在，则返回S4；
S6：计算出目标物体的中心坐标；
S7：根据中心坐标，计算出机械臂的角度；并将角度信息发送给下位机；
S8：下位机根据上位机发送过来的角度信息，通过脉宽调制控制机械臂中的各关节处的舵机转动相应的角度；实现物体的分拣；
S9：判断是否继续下一目标物体的分拣，若不需要，停止分拣，若需要，则返回步骤S2。
S7中，机械臂角度的计算过程为：
S7.1：通过逆运动学分析，求解出各关节逆运动学所对应的角度；
S7.2：根据逆运动学所对应的角度信息，通过正运动学分析，求出机械臂末端的位置信息；
依次将机械臂末端位置信息与待抓取的物品的位置进行标准差运算，求出标准差中值最小的末端位置信息对应的角度。
S7.1包括以下步骤：
S7.1.1：根据机械臂模型建立D-H参数表；
S7.1.2：根据D-H参数表分别得出参考坐标系到第一关节之间的齐次变换矩阵0T1，第一关节到第二关节之间的齐次变换矩阵1T2，第二关节到第三关节之间的齐次变换矩阵2T3，第三关节到第四关节之间的齐次变换矩阵3T4，第四关节到第五关节之间的齐次变换矩阵4T5；
S7.1.3：根据S7.2推导得出的齐次变换矩阵，可以计算出参考坐标系到第五关节的总齐次变换矩阵：
0T5＝0T1*1T2*2T3*3T4*4T5
S7.1.4：假设机械臂末端的齐次变换矩阵为：
其中n,o,a轴代表机械臂末端坐标系,原点位于末端关节处，
其中nx代表n坐标轴在x方向上的方向余弦；
其中ny代表n坐标轴在y方向上的方向余弦；
其中nz代表n坐标轴在z方向上的方向余弦；
其中ox代表o坐标轴在x方向上的方向余弦；
其中oy代表o坐标轴在y方向上的方向余弦；
其中oz代表o坐标轴在z方向上的方向余弦；
其中ax代表a坐标轴在x方向上的方向余弦；
其中ay代表a坐标轴在y方向上的方向余弦；
其中az代表a坐标轴在z方向上的方向余弦；
代表了机械末端的姿态信息；(px,py,pz)代表机械臂末端在参考坐标系中的位置，即待抓取的物品的位置；
S7.1.5：求解第一关节的角度θ1：
根据等式
可得
可以求解得到：
S7.1.6：求解第四关节的角度θ4与第二关节的角度θ2、第一关节的角度θ1的关系式：
根据等式
可得
可得：
其中ai为第i个关节的连杆长度，di为第i个关节的连杆偏移，θi为第i个关节的关节转角，i＝1,2,3,4,5；
S7.1.7：求解第三关节的角度θ3：
根据等式
可得
可得
因此可以求得
其中ai为第i个关节的连杆长度，di为第i个关节的连杆偏移，θi为第i个关节的关节转角，i＝1,2,3,4,5；
S7.1.8：设定第二关节的角度θ2的数值；
S7.1.9：逆解的选取：
由S7.1.5-S7.1.8可知，当θ2确定为某一值，θ1有1个解，θ4与θ1对应有2
个解，θ3与θ4、θ1对应有4个解，也就说明逆向运动学对应的解有8组；
由于因此θ4有两个解，
由于且sinθ3的等式中含有θ4，
因此θ3有四个解，
由于θ4有两个解，θ3有四个解，那么总共就有2*4＝8个解。
S7.2包括以下步骤：
S7.2.1：根据机械臂模型建立D-H参数表；D-H参数表为采用D-H法建立的参数表，D-H法为Denavit和Hartenberg在1955年提出一种通用的方法；D-H参数表具体如下：
关节序号 a<sub>i</sub>(mm) α<sub>i</sub>(rad) d<sub>i</sub>(mm) θ<sub>i</sub>(rad) offset
1 0 Pi/2 0 0 0
2 104 0 0 0 0
3 66 0 0 0 0
4 8 0 0 Pi/2 Pi/2
5 170 0 0 -Pi/2 -Pi/2
其中，a代表连杆长度，α代表连杆扭转，d代表连杆偏移，θ代表关节转角，offset代表关节偏移。
根据D-H参数表得出参考坐标系到第一关节之间的齐次变换矩阵为：
其中θ1代表第一关节的关节转角。
S7.2.2：根据D-H参数表得出第一关节到第二关节之间的齐次变换矩阵为：
其中θ2代表第二关节的关节转角。
S7.2.3：根据D-H参数表得出第二关节到第三关节之间的齐次变换矩阵为：
其中θ3代表第三关节的关节转角。
S7.2.4：根据D-H参数表得出第三关节到第四关节之间的齐次变换矩阵为：
其中θ4代表第四关节的关节转角。
S7.2.5：根据D-H参数表得出第四关节到第五关节之间的齐次变换矩阵为：
根据上式推导得出的齐次变换矩阵，可以计算出参考坐标系到第五关节的总齐次变换矩阵：
0T5＝0T1*1T2*2T3*3T4*4T5；
0T5矩阵中是关于θ1、θ2、θ3、θ4的矩阵；
S7.2.6：将S7.1.9步骤中得到的运动学模型的8组解代入0T5，假设0T5齐次变换矩阵如下(由于是未知数角度值已经代入运算，所以0T5中各个元素已知，且会得到8个0T5)：
其中n,o,a轴代表机械臂末端坐标系,原点位于末端关节处，类似于参考坐标系的x,y,z轴；
其中nx代表n坐标轴在x方向上的方向余弦
其中ny代表n坐标轴在y方向上的方向余弦
其中nz代表n坐标轴在z方向上的方向余弦
其中ox代表o坐标轴在x方向上的方向余弦
其中oy代表o坐标轴在y方向上的方向余弦
其中oz代表o坐标轴在z方向上的方向余弦
其中ax代表a坐标轴在x方向上的方向余弦
其中ay代表a坐标轴在y方向上的方向余弦
其中az代表a坐标轴在z方向上的方向余弦
以下3*3的矩阵代表了机械末端的姿态信息：
其中(px,py,pz)代表机械臂末端在参考坐标系中的位置，即待抓取的物品的位置；
上述齐次变换矩阵为给定的已知条件，期望机械臂以何种姿态到达何处抓取物品。
S7.2.7：取8组0T5的(px,py,pz)，则第一组为(px1,py1,pz1)，第二组为(px2,py2,pz2)……第八为(px8,py8,pz8)；
取上述8个标准差的最小值所对应的角度，即为所求的角度。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于模板匹配的自识别分拣系统，其特征在于，所述系统包括：图像采集模块、上位机、下位机、机械臂；图像采集模块与上位机电连接，上位机与下位机电连接，下位机与机械臂电连接；
图像采集模块负责采模板图像信息和目标图像信息的采集，并将采集的模板图像信息和目标图像信息传送给上位机；
上位机负责模板图像信息的保存与提取，以及根据目标图像信息对机械臂各关节角度信息的计算，并将计算后的角度信息发送给下位机；
下位机根据上位机发送来的信息实现对机械臂的控制；
机械臂为执行机构，负责垃圾分拣动作的执行。
2.根据权利要求1所述的基于模板匹配的自识别分拣系统，其特征在于，机械臂采用多自由度的机械臂，机械臂包括若干个关节、若干个力臂和夹持器，关节与力臂相互间隔且依次连接，连接后末端为关节，末端的关节与夹持器连接；夹持器用来夹持物体。
3.根据权利要求2所述的基于模板匹配的自识别分拣系统，其特征在于，机械臂包括依次连接的第一关节、第一力臂、第二关节、第二力臂、第三关节、第三力臂、第四关节、第四力臂、第五关节、夹持器；
第五关节控制夹持器处于闭合还是张开的状态；
夹持器用于夹持目标物体；
第一关节设在底座上；
第一关节、第二关节、第三关节、第四关节用来调整机械臂位置，第五关节用来控制夹持器夹持物体。
4.根据权利要求3所述的基于模板匹配的自识别分拣系统，其特征在于，夹持器的夹持侧设有压力传感器，压力传感器与下位机连接，用来感应夹持器夹持物体的力度的大小。
5.根据权利要求3所述的基于模板匹配的自识别分拣系统，其特征在于，所述的下位机包括WIFI接收模块和主控芯片，WIFI接收模块与上位机无线通信连接，WIFI接收模块与主控芯片电连接。
6.根据权利要求5所述的基于模板匹配的自识别分拣系统，其特征在于，所述的图像采集模块采用的是罗技公司生产的C920摄像头；C920集成CMOS传感器，最高分辨率为1280*960，最大帧数为30FPS。
7.一种基于模板匹配的自识别分拣方法，其特征在于，所述方法应用于权利要求3-6任意一项所述的基于模板匹配的自识别分拣系统上，所述方法包括以下步骤：
S1：通过图像采集模块对想抓取的物品进行图像信息采集，并制作N个模板，然后将模板图像信息传送至上位机进行存储，N为大于等于1的正整数；
S2：图像采集模块采集目标图像；
S3：上位机调用模板信息，若当前模板信息搜索不到，则自动循环调取下一张模板信息；
S4：上位机以模板的像素特征作为检测依据；对视频流进行像素搜索；
S5：检测是否存在与像素模板相似的目标物体；若存在，则进行S6，若不存在，则返回S4；
S6：计算出目标物体的中心坐标；
S7：根据中心坐标，计算出机械臂的角度；并将角度信息发送给下位机；
S8：下位机根据上位机发送过来的角度信息，通过脉宽调制控制机械臂中的各关节处的舵机转动相应的角度；实现物体的分拣；
S9：判断是否继续下一目标物体的分拣，若不需要，停止分拣，若需要，则返回步骤S2。
8.根据权利要求7所述的基于模板匹配的自识别分拣方法，其特征在于，S7中，机械臂角度的计算过程为：
S7.1：通过逆运动学分析，求解出各关节逆运动学所对应的角度；
S7.2：根据逆运动学所对应的角度信息，通过正运动学分析，求出机械臂末端的位置信息；
依次将机械臂末端位置信息与待抓取的物品的位置进行标准差运算，求出标准差中值最小的末端位置信息对应的角度。
9.根据权利要求8所述的基于模板匹配的自识别分拣方法，其特征在于，S7.1包括以下步骤：
S7.1.1：根据机械臂模型建立D-H参数表；
S7.1.2：根据D-H参数表分别得出参考坐标系到第一关节之间的齐次变换矩阵0T1，第一关节到第二关节之间的齐次变换矩阵1T2，第二关节到第三关节之间的齐次变换矩阵2T3，第三关节到第四关节之间的齐次变换矩阵3T4，第四关节到第五关节之间的齐次变换矩阵4T5；
S7.1.3：根据S7.2推导得出的齐次变换矩阵，可以计算出参考坐标系到第五关节的总齐次变换矩阵：
0T5＝0T1*1T2*2T3*3T4*4T5
S7.1.4：假设机械臂末端的齐次变换矩阵为：
其中n,o,a轴代表机械臂末端坐标系,原点位于末端关节处，
其中nx代表n坐标轴在x方向上的方向余弦；
其中ny代表n坐标轴在y方向上的方向余弦；
其中nz代表n坐标轴在z方向上的方向余弦；
其中ox代表o坐标轴在x方向上的方向余弦；
其中oy代表o坐标轴在y方向上的方向余弦；
其中oz代表o坐标轴在z方向上的方向余弦；
其中ax代表a坐标轴在x方向上的方向余弦；
其中ay代表a坐标轴在y方向上的方向余弦；
其中az代表a坐标轴在z方向上的方向余弦；
代表了机械末端的姿态信息；(px,py,pz)代表机械臂末端在参考坐标系中的位置，即待抓取的物品的位置；
S7.1.5：求解第一关节的角度θ1：
根据等式
可得
可以求解得到：
S7.1.6：求解第四关节的角度θ4与第二关节的角度θ2、第一关节的角度θ1的关系式：
根据等式
可得
可得：
其中ai为第i个关节的连杆长度，di为第i个关节的连杆偏移，θi为第i个关节的关节转角，i＝1,2,3,4,5；
S7.1.7：求解第三关节的角度θ3：
根据等式
可得
可得：
因此可以求得
其中ai为第i个关节的连杆长度，di为第i个关节的连杆偏移，θi为第i个关节的关节转角，i＝1,2,3,4,5；
S7.1.8：设定第二关节的角度θ2的数值；
S7.1.9：逆解的选取：
由S7.1.5-S7.1.8可知，当θ2确定为某一值，θ1有1个解，θ4与θ1对应有2个解，θ3与θ4、θ1对应有4个解，也就说明逆向运动学对应的解有8组；
由于因此θ4有两个解，
由于且sinθ3的等式中含有θ4，
因此θ3有四个解，
由于θ4有两个解，θ3有四个解，那么总共就有2*4＝8个解。
10.根据权利要求9所述的基于模板匹配的自识别分拣方法，其特征在于，S7.2包括以下步骤：
S7.2.1：根据D-H参数表得出参考坐标系到第一关节之间的齐次变换矩阵为：
其中θ1代表第一关节的关节转角；
S7.2.2：根据D-H参数表得出第一关节到第二关节之间的齐次变换矩阵为：
其中θ2代表第二关节的关节转角；
S7.2.3：根据D-H参数表得出第二关节到第三关节之间的齐次变换矩阵为：
其中θ3代表第三关节的关节转角；
S7.2.4：根据D-H参数表得出第三关节到第四关节之间的齐次变换矩阵为：
其中θ4代表第四关节的关节转角；
S7.2.5：根据D-H参数表得出第四关节到第五关节之间的齐次变换矩阵为：
根据上式推导得出的齐次变换矩阵，可以计算出参考坐标系到第五关节的总齐次变换矩阵：
0T5＝0T1*1T2*2T3*3T4*4T5；
0T5矩阵中是关于θ1、θ2、θ3、θ4的矩阵；
S7.2.6：将S7.1.9步骤中得到的运动学模型的8组解代入0T5，假设0T5齐次变换矩阵如下：
其中n,o,a轴代表机械臂末端坐标系,原点位于末端关节处，类似于参考坐标系的x,y,z轴；
其中nx代表n坐标轴在x方向上的方向余弦
其中ny代表n坐标轴在y方向上的方向余弦
其中nz代表n坐标轴在z方向上的方向余弦
其中ox代表o坐标轴在x方向上的方向余弦
其中oy代表o坐标轴在y方向上的方向余弦
其中oz代表o坐标轴在z方向上的方向余弦
其中ax代表a坐标轴在x方向上的方向余弦
其中ay代表a坐标轴在y方向上的方向余弦
其中az代表a坐标轴在z方向上的方向余弦
以下3*3的矩阵代表了机械末端的姿态信息：
其中(px,py,pz)代表机械臂末端在参考坐标系中的位置，即待抓取的物品的位置；
上述齐次变换矩阵为给定的已知条件，期望机械臂以何种姿态到达何处抓取物品；
S7.2.7：取8组0T5的(px,py,pz)，则第一组为(px1,py1,pz1)，第二组为(px2,py2,pz2)……第八为(px8,py8,pz8)；
取上述8个标准差的最小值所对应的角度，即为所求的角度。
CN201910340685.7A 2019-04-25 2019-04-25 一种基于模板匹配的自识别分拣方法 Expired - Fee Related CN110125036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910340685.7A CN110125036B (zh) 2019-04-25 2019-04-25 一种基于模板匹配的自识别分拣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910340685.7A CN110125036B (zh) 2019-04-25 2019-04-25 一种基于模板匹配的自识别分拣方法

Publications (2)

Publication Number Publication Date
CN110125036A true CN110125036A (zh) 2019-08-16
CN110125036B CN110125036B (zh) 2020-12-22

Family

ID=67571176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910340685.7A Expired - Fee Related CN110125036B (zh) 2019-04-25 2019-04-25 一种基于模板匹配的自识别分拣方法

Country Status (1)

Country Link
CN (1) CN110125036B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110772651A (zh) * 2019-11-19 2020-02-11 武汉纺织大学 基于机器视觉的鞋内紫外定向杀菌的方法和装置
CN111167731A (zh) * 2019-10-23 2020-05-19 武汉库柏特科技有限公司 一种产品分拣方法、产品分拣系统和智能分拣机器人
CN113680695A (zh) * 2021-08-24 2021-11-23 武昌工学院 基于机器人的机器视觉垃圾分拣系统
CN113927601A (zh) * 2021-11-11 2022-01-14 盐城工学院 一种基于视觉识别实现机械臂精准挑拣的方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503637A (zh) * 2013-10-14 2014-01-15 青岛农业大学 智能辨识采摘机器人及采摘方法
CN106799737A (zh) * 2017-02-10 2017-06-06 中国东方电气集团有限公司 一种基于移动机器人的危化液体安全存储、运输及定点放置的方法
CN106843213A (zh) * 2017-02-10 2017-06-13 中国东方电气集团有限公司 一种基于移动机器人的移动和操作路径自动规划的方法
CN108098761A (zh) * 2016-11-24 2018-06-01 广州映博智能科技有限公司 一种新型机器人抓取目标的臂手装置及方法
CN108446425A (zh) * 2018-02-02 2018-08-24 哈尔滨工程大学 基于混联机构的海浪主动补偿系统的运动学求解方法
CN108453743A (zh) * 2018-05-14 2018-08-28 清华大学深圳研究生院 机械臂抓取方法
WO2019011289A1 (zh) * 2017-07-14 2019-01-17 苏州工业园区凯艺精密科技有限公司 机械手的底照视觉系统及其工作方法
CN109588114A (zh) * 2018-12-20 2019-04-09 武汉科技大学 一种应用于水果采摘机器人的并行识别采摘系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503637A (zh) * 2013-10-14 2014-01-15 青岛农业大学 智能辨识采摘机器人及采摘方法
CN108098761A (zh) * 2016-11-24 2018-06-01 广州映博智能科技有限公司 一种新型机器人抓取目标的臂手装置及方法
CN106799737A (zh) * 2017-02-10 2017-06-06 中国东方电气集团有限公司 一种基于移动机器人的危化液体安全存储、运输及定点放置的方法
CN106843213A (zh) * 2017-02-10 2017-06-13 中国东方电气集团有限公司 一种基于移动机器人的移动和操作路径自动规划的方法
WO2019011289A1 (zh) * 2017-07-14 2019-01-17 苏州工业园区凯艺精密科技有限公司 机械手的底照视觉系统及其工作方法
CN108446425A (zh) * 2018-02-02 2018-08-24 哈尔滨工程大学 基于混联机构的海浪主动补偿系统的运动学求解方法
CN108453743A (zh) * 2018-05-14 2018-08-28 清华大学深圳研究生院 机械臂抓取方法
CN109588114A (zh) * 2018-12-20 2019-04-09 武汉科技大学 一种应用于水果采摘机器人的并行识别采摘系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111167731A (zh) * 2019-10-23 2020-05-19 武汉库柏特科技有限公司 一种产品分拣方法、产品分拣系统和智能分拣机器人
CN110772651A (zh) * 2019-11-19 2020-02-11 武汉纺织大学 基于机器视觉的鞋内紫外定向杀菌的方法和装置
CN113680695A (zh) * 2021-08-24 2021-11-23 武昌工学院 基于机器人的机器视觉垃圾分拣系统
CN113927601A (zh) * 2021-11-11 2022-01-14 盐城工学院 一种基于视觉识别实现机械臂精准挑拣的方法及系统

Also Published As

Publication number Publication date
CN110125036B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN110125036A (zh) 一种基于模板匹配的自识别分拣系统和方法
CN106000904B (zh) 一种生活垃圾自动分拣系统
CN111046948B (zh) 点云仿真和深度学习的工件位姿识别及机器人上料方法
CN103706568A (zh) 基于机器视觉的机器人分拣系统及方法
CN111923053A (zh) 基于深度视觉的工业机器人物件抓取示教系统及方法
CN114758236B (zh) 一种非特定形状物体识别、定位与机械手抓取系统及方法
CN112845143A (zh) 一种生活垃圾分类智能分拣系统及方法
CN113877836B (zh) 一种基于视觉检测系统的智能识别分拣系统
CN104772286A (zh) 一种基于kinect的新型分拣系统及其操作方法
WO2022241597A1 (zh) 一种ai智能垃圾识别分类系统和方法
CN114913346B (zh) 一种基于产品颜色及形状识别的智能分拣系统及方法
JP6958663B2 (ja) 解体物の選別装置
CN114132745A (zh) 一种基于agv及机器视觉进行工件自动上下料系统及方法
CN107344171A (zh) 一种基于机器人视觉伺服的低压空气开关零件分拣系统及方法
Sanz et al. Grasping the not-so-obvious: vision-based object handling for industrial applications
Fadhil et al. Computer Vision-Based System for Classification and Sorting Color Objects
CN115049860B (zh) 一种基于特征点识别的系统及抓取方法
CN214235125U (zh) 一种基于视觉的螺母分拣设备
CN112989881A (zh) 一种无监督可迁移的3d视觉物体抓取方法
Tian et al. Real-time pose tracking of 3D targets by photo-model-based stereo-vision
Lin et al. Inference of 6-DOF robot grasps using point cloud data
Cong Design and development of a delta robot system to classify objects using image processing.
Wang et al. Design of a voice control 6DoF grasping robotic arm based on ultrasonic sensor, computer vision and Alexa voice assistance
Farhan et al. Autonomous non-destructive assembly/disassembly of electronic components using a robotic arm
Hu et al. Design a Fast Loading and Unloading Robot Controlling System by WebAPI Technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201222

CF01 Termination of patent right due to non-payment of annual fee