CN106228563A - 基于三维视觉的自动装配系统 - Google Patents
基于三维视觉的自动装配系统 Download PDFInfo
- Publication number
- CN106228563A CN106228563A CN201610620366.8A CN201610620366A CN106228563A CN 106228563 A CN106228563 A CN 106228563A CN 201610620366 A CN201610620366 A CN 201610620366A CN 106228563 A CN106228563 A CN 106228563A
- Authority
- CN
- China
- Prior art keywords
- pose
- mechanical arm
- workpiece
- assembling
- industry mechanical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mechanical Engineering (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
基于三维视觉的自动装配系统，包括机架，固定安装在机架上的工业机械手，机械手控制器和三维摄像头；三维摄像头获取工业机械手当前工作时刻的二维图片和深度信息，工业机械手经示教训练后依照示教过程完成自动装配任务，示教过程中由人手握着工件完成工件从原始位姿、装配初始位姿和装配终止位姿的迁移。本发明具有能够根据一次人工装配示教训练对机械手的运动完成规划，使机械手能独立重复完成人工演示的优点。
Description
技术领域
本发明涉及一种利用三维视觉控制机械手自动完成零件装配的系统。
背景技术
一台机器从众多零件变成一个完整的个体，需要经过装配的过程。在过去很长一段时间，零件的装配工作都由装配工人手动完成，随着工业自动化的飞速发展，越来越多的装配工作转为由机器完成，灭火器器头自动组装机、扁平垫圈全自动装配机等一系列专用自动装配机应运而生。这些装配机器虽然能够较好的完成既定的装配工作，但通常结构复杂且只能用于一种装配场合，当装配线调整时就需要更换设备，成本较高。为进一步提升装配设备的通用性，六自由度工业机械手由于其优异的灵活性被广泛应用在自动化装配工作中，但如何简易、高效和准确的控制机械手完成装配工作一直是亟待解决的难题。
为解决上述问题，申请日为2015年9月9日，申请号201510570360.x的专利涉及的“一种基于视觉识别的工业机器人示教装置及方法”，该方法通过大视场相机进行运动路径的粗略定位和总体规划，小视场相机对每个粗略定位点进行精确定位，从而实现生产线零件的精确抓取、加工和装配。但该方法需要两个摄像头同时工作，系统复杂，对工作环境要求较高。
申请日为2015年7月7日，申请号201510394465.4的专利涉及的“基于Camshift视觉跟踪和D-H建模算法的视觉机械臂控制装置及方法”，该方法利用Camshift视觉跟踪算法和机械臂上的USB相机获取到待抓取和组装工件的精确定位信息，并建立机器人D-H坐标系从而得到多目标的准确位置，最后通过逆动力学计算得到机械臂各舵机关节运动的位移控制参数，实现机械臂对工件的抓取和装配工作。但该方法需要在每次的装配过程中对各目标位置进行重复实时获取和计算，对系统硬件要求较高；需要在上安装相机，提升了改装成本且增加了的负载。
发明内容
本发明的目的在于提供一种能够根据一次人工装配示教训练对机械手的运动完成规划，使机械手能独立重复完成人工演示的装配工作的基于三维视觉的自动装配系统。
基于三维视觉的自动装配系统，包括机架，固定安装在机架上的工业机械手，机械手控制器和三维摄像头；三维摄像头获取工业机械手当前工作时刻的二维图像和深度信息，工业机械手经示教训练后依照示教过程完成自动装配任务，示教过程中,由人手握着工件完成工件从原始位姿、装配初始位姿和装配终止位姿的迁移；
示教训练包括：
S1、对机械手坐标系和三维摄像头坐标系进行标定，计算三维摄像头坐标系到工业机械手坐标系的转换矩阵；
S2、三维摄像头对工作场景拍照，此时使工件处于原始位姿，计算出场景图像的sift特征，然后根据工件的颜色识别出工件所在位置，并根据该位置获取工件的sift的特征，从中选取距离最远的两个特征点A和特征点B，向量作为工件的原始姿态，以A点坐标作为工件的原始位置；特征点A、特征点B和向量处于三维摄像头坐标系下；
S3、将工件从原始位姿调整到装配初始位姿，在装配初始位姿下再次计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到装配初始位姿下的sift特征A1和sift特征B1，即为装配初始姿态，以A1点坐标作为工件的装配初始位置，特征点A1、特征点B1和向量处于三维摄像头坐标系下；(由于sift特征具有特征尺度不变性，所以从原始位姿到装配初始位姿即使工件发生了旋转或者光照改变，仍然能够从装配初始位姿中找到匹配的sift特征点A1和sift特征B1)。
S4、将工件从装配初始位姿调整到装配终止位姿，在装配终止位姿下再次计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到装配初始位姿下的sift特征A2和sift特征B2，即为装配终止姿态，以A2点坐标作为工件的装配终止位置，特征点A2、特征点B2和向量处于三维摄像头坐标系下。
S5、将原始姿态和原始位置A转化为工业机械手夹持处于初始位姿的工件的控制信息，将装配初始姿态和装配初始位置A1转化为工业机械手移动工件到装配初始位姿的控制信息，将装配终止姿态和装配终止位置A2转化为工业机械手移动工件到装配终止位姿的控制信息。每个位姿包含工件的位置坐标和姿态向量。
进一步，步骤S5包括：
S51.三维摄像头坐标系下各个特征点坐标和向量坐标转化到工业机械手坐标系：
将A点和B点、A1点和B1点以及A2点和B2点在三维摄像头坐标系下的坐标分别乘以步骤S1中得到的转换矩阵计算出A点和B点、A1点和B1点、以及A2点和B2点在工业机械手坐标系下的坐标；以A'表示A点在工业机械手坐标系下的坐标，A'为在工业机械手坐标系下工件的原始位置；以B'表示B点在工业机械手坐标系下的坐标，以A1'表示A1点在工业机械手坐标系下的坐标，A1'为在工业机械手坐标系下工件的装配初始位置；以B1'表示B1点在工业机械手坐标系下的坐标，以A2'表示A2点在工业机械手坐标系下的坐标，A2'为在工业机械手坐标系下工件的装配终止位置；以B2'表示B2点在工业机械手坐标系下的坐标；以向量表示在工业机械手坐标系下工件的原始姿态，向量表示在工业机械手坐标系下工件的装配初始姿态，向量表示在工业机械手坐标系下工件的装配终止姿态；
S52.机械手控制器根据步骤S51中的位置和姿态信息以及工业机械手的运动学逆解得到工业机械手的各个关节角度协同变化的关系：
机械手控制器根据A'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手的末端运动到原始位姿时的工业机械手的各个关节角度，从而控制工业机械手夹持处于初始位姿的工件；机械手控制器根据A1'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手的末端运动到装配初始位姿时的工业机械手的各个关节角度，从而控制工业机械手移动工件到装配初始位姿；机械手控制器根据A2'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手的末端运动到装配终止位姿时的工业机械手的各个关节角度，从而控制工业机械手移动工件到装配终止位姿。
进一步，当工业机械手夹持工件从原始位姿到达装配初始位姿的过程中、或从装配初始位姿到达装配终止位姿的过程中有障碍物时，在从原始位姿到达装配初始位姿或从装配初始位姿到达装配终止位姿中插入中转位姿，中转位姿的数量为N个，N为自然数，在中转位姿下计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到中转位姿下的sift特征点Pi和sift特征点Qi(1≤i≤N)，并构成姿态向量以特征点Pi作为当前中转位置，向量作为工件的当前中转姿态；按工作时刻的先后顺序排列工件的各个中转位姿，依次将三维摄像头坐标系下的各个位姿的特征点Pi(1≤j≤N)和特征点Qi转换到工业机械手坐标系下，并根据工业机械手的运动学逆解得到工件到达每一个位姿时工业机械手的各个关节角度的变化关系。
本发明通过人工手拿工件，使工件从原始位姿、到装配初始位姿、再到装配终止位姿、以及必要的一个或多个中转位姿的转换，三维摄像头拍摄工件的每个姿态和该姿态所处的位置，按照工作时刻排列各个位姿，通过将工件的每个姿态和该姿态所处的位置从三维摄像头坐标系下转为在机械手坐标系下的位姿和位置，将各位姿通过逆解算法得到成工业机械手的各关节运动控制信息。示教完成后，工业机械手按照其各关节运动控制信息运动即可，三维摄像头无需再工作。
本发明具有以下有益效果：
1.操作者通过一次手动装配演示，即完成对机械手的运动规划，人工手动完成示教装配，示教过程中机械手不动作，免去对机械手控制的繁琐的编程，降低使用门槛，减少调试时间。
2.本发明在示教过程中由人工完成工件在各个位姿的迁移，由三维摄像头获取各个位姿下的位置和姿态信息，再将位置和姿态信息转换到工业机械手坐标系下，根据工业机械手的运动学逆解得到机械手在工件处于每一个位姿时，各关节运动控制信息；示教过程无需机械手参与，自动装配过程中、由各类型的机械手匹配的逆解算法获得控制信息完成对工业机械手的自动控制，对机械手的结构无要求，适用范围广。
附图说明
图1为本发明整体结构和工作流程的示意图。
图2为工件的轮廓上提取的特征点的示意图。
图3为增加中转位姿的工作流程的示意图。
图中，1.工业机械手、2.三维摄像头、3.机械手控制器、4.机架、5.工作场景、6.工件、K1.初始位姿、K2.装配初始位姿、K3.装配终止位姿、K4.中转位姿
具体实施方法
如图1所示，基于三维视觉的自动装配系统，包括机架4，固定安装在机架4上的工业机械手1，机械手控制器3和三维摄像头2；三维摄像头2获取工业机械手1当前工作时刻的二维图像和深度信息，工业机械手1经示教训练后依照示教过程完成自动装配任务，示教过程中，由人手握着工件完成工件从原始位姿、装配初始位姿和装配终止位姿的迁移；
示教训练包括：
S1、对机械手坐标系OXYZ和三维摄像头坐标系oxyz进行标定，计算三维摄像头坐标系oxyz到工业机械手坐标系OXYZ的转换矩阵；
S2、三维摄像头2对工件拍照，此时使工件处于原始位姿K1，计算出场景图像的sift特征，然后根据工件的颜色识别出工件所在位置，并根据该位置获取工件的sift的特征，从中选取距离最远的两个特征点A和特征点B，向量作为工件的原始姿态，以A点坐标作为工件的原始位置，如图2所示；特征点A、特征点B和向量处于三维摄像头坐标系oxyz下；
S3、将工件从原始位姿K1调整到装配初始位姿K2，在装配初始位姿K2下再次计算sift特征，并与原始位姿K1的sift特征A和sift特征B进行匹配，找到装配初始位姿K2下的sift特征A1和sift特征B1，即为装配初始姿态，以A1点坐标作为工件的初始装配位置，特征点A1、特征点B1和向量处于三维摄像头坐标系oxyz下；(由于sift特征具有特征尺度不变性，所以从原始位姿K1到装配初始位姿K2即使工件发生了旋转或者光照改变，仍然能够从装配初始位姿K2中找到匹配的sift特征点A1和sift特征B1)。
S4、将工件从装配初始位姿K2调整到装配终止位姿K3，在装配终止位姿K3下再次计算sift特征，并与原始位姿K1的sift特征A和sift特征B进行匹配，找到装配初始位姿K1下的sift特征A2和sift特征B2，即为装配终止姿态，以A2点坐标作为工件的初始装配位置，特征点A2、特征点B2和向量处于三维摄像头坐标系oxyz下。
S5、将原始姿态和原始位置A转化为工业机械手夹持处于初始位姿K1的工件的控制信息，将装配初始姿态和装配初始位置A1转化为工业机械手移动工件到装配初始位姿K2的控制信息，将装配终止姿态和装配终止位置A2转化为工业机械手移动工件到装配终止位姿K3的控制信息。
步骤S5包括：
S51.三维摄像头坐标系oxyz下各个特征点坐标和向量坐标转化到工业机械手坐标系OXYZ：
将A点和B点、A1点和B1点以及A2点和B2点在三维摄像头坐标系oxyz下的坐标分别乘以步骤S1中得到的转换矩阵计算出A点和B点、A1点和B1点、以及A2点和B2点在工业机械手坐标系OXYZ下的坐标；以A'表示A点在工业机械手坐标系OXYZ下的坐标，A'为在工业机械手坐标系OXYZ下工件的原始位置；以B'表示B点在工业机械手坐标系OXYZ下的坐标，以A1'表示A1点在工业机械手坐标系OXYZ下的坐标，A1'为在工业机械手坐标系OXYZ下工件的装配初始位置；以B1'表示B1点在工业机械手坐标系OXYZ下的坐标，以A2'表示A2点在工业机械手坐标系OXYZ下的坐标，A2'为在工业机械手坐标系OXYZ下工件的装配终止位置；以B2'表示B2点在工业机械手坐标系OXYZ下的坐标；以向量表示在工业机械手坐标系OXYZ下工件的原始姿态，向量表示在工业机械手坐标系OXYZ下工件的装配初始姿态，向量表示在工业机械手坐标系OXYZ下工件的装配终止姿态；
S52.机械手控制器3根据步骤S51中的位置和姿态信息以及工业机械手1的运动学逆解得到工业机械手1的各个关节角度协同变化的关系：
机械手控制器3根据A'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手1的末端运动到原始位姿K1时的工业机械手1的各个关节角度，从而控制工业机械手1夹持处于初始位姿K1的工件6；机械手控制器3根据A1'点的坐标和向量以及工业机械手1的运动学逆解计算出使工业机械手1的末端运动到装配初始位姿K2时的工业机械手1的各个关节角度，从而控制工业机械手1移动工件6到装配初始位姿K2；机械手控制器3根据A2'点的坐标和向量以及工业机械手1的运动学逆解计算出使工业机械手1的末端运动到装配终止位姿K3时的工业机械手1的各个关节角度，从而控制工业机械手1移动工件6到装配终止位姿K3。
逆解算法根据工业机械手1的型号采用相匹配的算法，如赵献丹、赵虎发表于《设计与研究》杂志的《六自由度串联机械手运动学逆解研究》中披露的采用分离变量法求解机械手逆运动学封闭解即可逆解得到工业机械手1的末端在不同位置和姿态下时，各关节角度的变化关系。逆解求得的是关节电机的绝对角度，关节电机控制器对于关节电机发出的控制信号也是绝对角度。逆解的过程是已知机械臂末端的位置和姿态，求得各关节的角度。
如图3所示，当工业机械手1夹持工件6从原始位姿K1到达装配初始位姿K2的过程中、或从装配初始位姿K2到达装配终止位姿K3的过程中有障碍物时，在从原始位姿K1到达装配初始位姿K2或从装配初始位姿K2到达装配终止位姿K3中插入中转位姿K*，中转位姿K*的数量为N个，N为自然数，在中转位姿K*下计算sift特征，并与原始位姿K1的sift特征A和sift特征B进行匹配，找到中转位姿K*下的sift特征点Pi和sift特征点Qi(1≤i≤N)，并构成姿态向量以特征点Pi作为当前中转位置，姿态向量作为工件的当前中转姿态；按工作时刻的先后顺序排列工件的各个位姿，依次将三维摄像头坐标系下的各个位姿的特征点Pi和特征点Qi转换到工业机械手坐标系下，以Pi'表示特征点Pi在工业机械手坐标系下的坐标，以Qi'表示特征点Qi在工业机械手坐标系下的坐标，向量表示工业机械手坐标系下的当前中转姿态；根据工业机械手的运动学逆解得到工件6到达每一个中转位姿时工业机械手1的各个关节角度的变化关系。
当需要通过中转位姿来避开障碍物时，例如：在原始位姿K1和装配初始位姿K2之间需要插入一个中转位姿K*，即工业机械手运动过程中各个位姿按照工作时刻的排列顺序为：原始位姿K1、中转位姿K*、装配初始位姿K2、装配终止位姿K3。
工业机械手的运动过程是：1、根据A'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手1的末端运动到原始位姿K1时的工业机械手1的各个关节角度，从而控制工业机械手1夹持处于初始位姿K1的工件6；
2、特征点P1'的坐标表示中转位姿K*在工业机械手坐标系下的中转位置，向量表示工业机械手坐标系下的K*中转姿态；机械手控制器根据P1'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手1的末端运动到中转位姿K*时的工业机械手1的各个关节角度，从而控制工业机械手1移动工件6到中转位姿K*；
3、机械手控制器3根据A1'点的坐标和向量以及工业机械手1的运动学逆解计算出使工业机械手1的末端运动到装配初始位姿K2时的工业机械手1的各个关节角度，从而控制工业机械手1移动工件6到装配初始位姿K2；
4、机械手控制器3根据A2'点的坐标和向量以及工业机械手1的运动学逆解计算出使工业机械手1的末端运动到装配终止位姿K3时的工业机械手1的各个关节角度，从而控制工业机械手1移动工件6到装配终止位姿K3。
本发明通过人工手拿工件6，使工件6从原始位姿K1、到装配初始位姿K2、再到装配终止位姿K3、以及必要的一个或多个中转位姿K*的转换，三维摄像头2拍摄工件6的每个姿态和该姿态所处的位置，通过将工件6的每个姿态和该姿态所处的位置从三维摄像头坐标系oxyz下转为在机械手坐标系OXYZ下的位姿和位置，将各位姿的迁移转换成工业机械手1的各关节运动控制信息。示教完成后，工业机械手1按照其各关节运动控制信息运动即可，三维摄像头2无需再工作。
本发明具有以下有益效果：
1.操作者通过一次手动装配演示，即完成对机械手的运动规划，人工手动完成示教装配，示教过程中机械手不动作，免去对机械手控制的繁琐的编程，降低使用门槛，减少调试时间。
2.本发明在示教过程中由人工完成工件在各个位姿的迁移，由三维摄像头获取各个位姿下的位置和姿态信息，再将位置和姿态信息转换到工业机械手坐标系下，根据工业机械手的运动学逆解得到机械手在工件处于每个位姿时，各关节运动控制信息；示教过程无需机械手参与，自动装配过程中、由各类型的机械手匹配的逆解算法获得控制信息完成对工业机械手的自动控制，对机械手的结构无要求，适用范围广。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (3)
1.基于三维视觉的自动装配系统，包括机架，固定安装在机架上的工业机械手，机械手控制器和三维摄像头；三维摄像头获取工业机械手当前工作时刻的二维图像和深度信息，工业机械手经示教训练后依照示教过程完成自动装配任务，示教过程中,由人手握着工件完成工件从原始位姿、装配初始位姿和装配终止位姿的迁移；示教训练包括：
S1、对机械手坐标系和三维摄像头坐标系进行标定，计算三维摄像头坐标系到工业机械手坐标系的转换矩阵；
S2、三维摄像头对工作场景拍照，此时使工件处于原始位姿，计算出场景图像的sift特征，然后根据工件的颜色识别出工件所在位置，并根据该位置获取工件的sift的特征，从中选取距离最远的两个特征点A和特征点B，向量作为工件的原始姿态，以A点坐标作为工件的原始位置；特征点A、特征点B和向量处于三维摄像头坐标系下；
S3、将工件从原始位姿调整到装配初始位姿，在装配初始位姿下再次计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到装配初始位姿下的sift特征A1和sift特征B1，即为装配初始姿态，以A1点坐标作为工件的装配初始位置，特征点A1、特征点B1和向量处于三维摄像头坐标系下；
S4、将工件从装配初始位姿调整到装配终止位姿，在装配终止位姿下再次计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到装配初始位姿下的sift特征A2和sift特征B2，即为装配终止姿态，以A2点坐标作为工件的装配终止位置，特征点A2、特征点B2和向量处于三维摄像头坐标系下；
S5、将原始姿态和原始位置A转化为工业机械手夹持处于初始位姿的工件的控制信息，将装配初始姿态和装配初始位置A1转化为工业机械手移动工件到装配初始位姿的控制信息，将装配终止姿态和装配终止位置A2转化为工业机械手移动工件到装配终止位姿的控制信息。
2.如权利要求1所述的基于三维视觉的自动装配系统，其特征在于：步骤S5包括：
S51.三维摄像头坐标系下各个特征点坐标和向量坐标转化到工业机械手坐标系：
将A点和B点、A1点和B1点以及A2点和B2点在三维摄像头坐标系下的坐标分别乘以步骤S1中得到的转换矩阵计算出A点和B点、A1点和B1点、以及A2点和B2点在工业机械手坐标系下的坐标；以A'表示A点在工业机械手坐标系下的坐标，A'为在工业机械手坐标系下工件的原始位置；以B'表示B点在工业机械手坐标系下的坐标，以A1'表示A1点在工业机械手坐标系下的坐标，A1'为在工业机械手坐标系下工件的装配初始位置；以B1'表示B1点在工业机械手坐标系下的坐标，以A2'表示A2点在工业机械手坐标系下的坐标，A2'为在工业机械手坐标系下工件的装配终止位置；以B2'表示B2点在工业机械手坐标系下的坐标；以向量表示在工业机械手坐标系下工件的原始姿态，向量表示在工业机械手坐标系下工件的装配初始姿态，向量表示在工业机械手坐标系下工件的装配终止姿态；
S52.机械手控制器根据步骤S51中的位置和姿态信息以及工业机械手的运动学逆解得到工业机械手的各个关节角度协同变化的关系：
机械手控制器根据A'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手的末端运动到原始位姿时的工业机械手的各个关节角度，从而控制工业机械手夹持处于初始位姿的工件；机械手控制器根据A1'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手的末端运动到装配初始位姿时的工业机械手的各个关节角度，从而控制工业机械手移动工件到装配初始位姿；机械手控制器根据A2'点的坐标和向量以及工业机械手的运动学逆解计算出使工业机械手的末端运动到装配终止位姿时的工业机械手的各个关节角度，从而控制工业机械手移动工件到装配终止位姿。
3.如权利要求2所述的基于三维视觉的自动装配系统，其特征在于：当工业机械手夹持工件从原始位姿到达装配初始位姿的过程中、或从装配初始位姿到达装配终止位姿的过程中有障碍物时，在从原始位姿到达装配初始位姿或从装配初始位姿到达装配终止位姿中插入中转位姿，中转位姿的数量为N个，N为自然数，在中转位姿下计算sift特征，并与原始位姿的sift特征A和sift特征B进行匹配，找到中转位姿下的sift特征点Pi和sift特征点Qi(1≤i≤N)，并构成姿态向量以特征点Pi作为当前中转位置，向量作为工件的当前中转姿态；按工作时刻的先后顺序排列工件的各个中转位姿，依次将三维摄像头坐标系下的各个位姿的特征点Pi(1≤j≤N)和特征点Qi转换到工业机械手坐标系下，并根据工业机械手的运动学逆解得到工件到达每一个位姿时工业机械手的各个关节角度的变化关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610620366.8A CN106228563B (zh) | 2016-07-29 | 2016-07-29 | 基于三维视觉的自动装配系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610620366.8A CN106228563B (zh) | 2016-07-29 | 2016-07-29 | 基于三维视觉的自动装配系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106228563A true CN106228563A (zh) | 2016-12-14 |
| CN106228563B CN106228563B (zh) | 2019-02-26 |
Family
ID=57534994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610620366.8A Expired - Fee Related CN106228563B (zh) | 2016-07-29 | 2016-07-29 | 基于三维视觉的自动装配系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106228563B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106584463A (zh) * | 2016-12-29 | 2017-04-26 | 南京天祥智能设备科技有限公司 | 基于惯性测量的装配系统及装配方法 |
| CN106926241A (zh) * | 2017-03-20 | 2017-07-07 | 深圳市智能机器人研究院 | 一种基于视觉引导的双臂机器人装配方法及系统 |
| CN108297134A (zh) * | 2018-03-16 | 2018-07-20 | 杭州西奥电梯有限公司 | 一种基于视觉传感器的孔位检测自动送料装置 |
| CN109048903A (zh) * | 2018-08-17 | 2018-12-21 | 上海非夕机器人科技有限公司 | 机械臂插轴入孔的方法及设备 |
| CN109514537A (zh) * | 2019-01-17 | 2019-03-26 | 中国工程物理研究院激光聚变研究中心 | 复杂多构型微零件自动微操作机械手系统 |
| CN109623824A (zh) * | 2018-12-29 | 2019-04-16 | 深圳市越疆科技有限公司 | 人工智能轨迹复现方法 |
| CN109926817A (zh) * | 2018-12-20 | 2019-06-25 | 南京理工大学 | 基于机器视觉的变压器自动装配方法 |
| CN110065068A (zh) * | 2019-04-08 | 2019-07-30 | 浙江大学 | 一种基于逆向工程的机器人装配作业演示编程方法及装置 |
| TWI675000B (zh) * | 2019-03-22 | 2019-10-21 | 所羅門股份有限公司 | 物件運送方法及系統 |
| CN110463376A (zh) * | 2018-04-02 | 2019-11-15 | 鲁班嫡系机器人（深圳）有限公司 | 一种插机方法及插机设备 |
| CN110893534A (zh) * | 2018-09-13 | 2020-03-20 | 宝山钢铁股份有限公司 | 基于视觉测量的冶金技术探针接插标定方法及其接插系统 |
| WO2020057440A1 (zh) * | 2018-09-17 | 2020-03-26 | 鲁班嫡系机器人（深圳）有限公司 | 一种装配方法、装配装置及装配设备 |
| CN111251277A (zh) * | 2020-01-31 | 2020-06-09 | 武汉大学 | 一种基于示教学习的人机协作工具递交系统及方法 |
| CN111923053A (zh) * | 2020-04-21 | 2020-11-13 | 广州里工实业有限公司 | 基于深度视觉的工业机器人物件抓取示教系统及方法 |
| CN113551661A (zh) * | 2020-04-23 | 2021-10-26 | 曰轮法寺 | 位姿识别、轨迹规划方法、装置、系统、存储介质及设备 |
| CN114248086A (zh) * | 2021-12-30 | 2022-03-29 | 广东工业大学 | 一种柔性化三维视觉引导的机器人对位系统及方法 |
| CN117245672A (zh) * | 2023-11-20 | 2023-12-19 | 南昌工控机器人有限公司 | 摄像头支架模块化装配的智能运动控制系统及其方法 |
| WO2024007514A1 (zh) * | 2022-07-08 | 2024-01-11 | 深圳市越疆科技有限公司 | 姿态调整方法及装置、机器人机构、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090271035A1 (en) * | 2008-04-29 | 2009-10-29 | Winfried Lurz | Method for computer-aided movement planning of a robot |
| CN102135776A (zh) * | 2011-01-25 | 2011-07-27 | 解则晓 | 基于视觉定位的工业机器人控制系统及其控制方法 |
| CN104457761A (zh) * | 2014-11-18 | 2015-03-25 | 上海新跃仪表厂 | 基于多目视觉的相对位置和姿态的特征接力方法 |
| CN104626206A (zh) * | 2014-12-17 | 2015-05-20 | 西南科技大学 | 一种非结构环境下机器人作业的位姿信息测量方法 |
| CN104786226A (zh) * | 2015-03-26 | 2015-07-22 | 华南理工大学 | 抓取在线工件的机器人位姿及运动轨迹定位系统与方法 |
-
2016
- 2016-07-29 CN CN201610620366.8A patent/CN106228563B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090271035A1 (en) * | 2008-04-29 | 2009-10-29 | Winfried Lurz | Method for computer-aided movement planning of a robot |
| CN102135776A (zh) * | 2011-01-25 | 2011-07-27 | 解则晓 | 基于视觉定位的工业机器人控制系统及其控制方法 |
| CN104457761A (zh) * | 2014-11-18 | 2015-03-25 | 上海新跃仪表厂 | 基于多目视觉的相对位置和姿态的特征接力方法 |
| CN104626206A (zh) * | 2014-12-17 | 2015-05-20 | 西南科技大学 | 一种非结构环境下机器人作业的位姿信息测量方法 |
| CN104786226A (zh) * | 2015-03-26 | 2015-07-22 | 华南理工大学 | 抓取在线工件的机器人位姿及运动轨迹定位系统与方法 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106584463A (zh) * | 2016-12-29 | 2017-04-26 | 南京天祥智能设备科技有限公司 | 基于惯性测量的装配系统及装配方法 |
| CN106584463B (zh) * | 2016-12-29 | 2019-09-24 | 南京天祥智能设备科技有限公司 | 基于惯性测量的装配系统及装配方法 |
| CN106926241A (zh) * | 2017-03-20 | 2017-07-07 | 深圳市智能机器人研究院 | 一种基于视觉引导的双臂机器人装配方法及系统 |
| CN108297134A (zh) * | 2018-03-16 | 2018-07-20 | 杭州西奥电梯有限公司 | 一种基于视觉传感器的孔位检测自动送料装置 |
| CN108297134B (zh) * | 2018-03-16 | 2024-02-02 | 杭州西奥电梯有限公司 | 一种基于视觉传感器的孔位检测自动送料装置 |
| CN110463376A (zh) * | 2018-04-02 | 2019-11-15 | 鲁班嫡系机器人（深圳）有限公司 | 一种插机方法及插机设备 |
| CN110463376B (zh) * | 2018-04-02 | 2021-10-29 | 鲁班嫡系机器人（深圳）有限公司 | 一种插机方法及插机设备 |
| CN109048903A (zh) * | 2018-08-17 | 2018-12-21 | 上海非夕机器人科技有限公司 | 机械臂插轴入孔的方法及设备 |
| CN109048903B (zh) * | 2018-08-17 | 2021-08-27 | 上海非夕机器人科技有限公司 | 机械臂插轴入孔的方法及设备 |
| CN110893534A (zh) * | 2018-09-13 | 2020-03-20 | 宝山钢铁股份有限公司 | 基于视觉测量的冶金技术探针接插标定方法及其接插系统 |
| WO2020057440A1 (zh) * | 2018-09-17 | 2020-03-26 | 鲁班嫡系机器人（深圳）有限公司 | 一种装配方法、装配装置及装配设备 |
| CN109926817A (zh) * | 2018-12-20 | 2019-06-25 | 南京理工大学 | 基于机器视觉的变压器自动装配方法 |
| CN109623824A (zh) * | 2018-12-29 | 2019-04-16 | 深圳市越疆科技有限公司 | 人工智能轨迹复现方法 |
| CN109514537A (zh) * | 2019-01-17 | 2019-03-26 | 中国工程物理研究院激光聚变研究中心 | 复杂多构型微零件自动微操作机械手系统 |
| CN109514537B (zh) * | 2019-01-17 | 2024-04-05 | 中国工程物理研究院激光聚变研究中心 | 复杂多构型微零件自动微操作机械手系统 |
| TWI675000B (zh) * | 2019-03-22 | 2019-10-21 | 所羅門股份有限公司 | 物件運送方法及系統 |
| CN110065068A (zh) * | 2019-04-08 | 2019-07-30 | 浙江大学 | 一种基于逆向工程的机器人装配作业演示编程方法及装置 |
| CN111251277A (zh) * | 2020-01-31 | 2020-06-09 | 武汉大学 | 一种基于示教学习的人机协作工具递交系统及方法 |
| CN111251277B (zh) * | 2020-01-31 | 2021-09-03 | 武汉大学 | 一种基于示教学习的人机协作工具递交系统及方法 |
| CN111923053A (zh) * | 2020-04-21 | 2020-11-13 | 广州里工实业有限公司 | 基于深度视觉的工业机器人物件抓取示教系统及方法 |
| CN113551661A (zh) * | 2020-04-23 | 2021-10-26 | 曰轮法寺 | 位姿识别、轨迹规划方法、装置、系统、存储介质及设备 |
| CN114248086A (zh) * | 2021-12-30 | 2022-03-29 | 广东工业大学 | 一种柔性化三维视觉引导的机器人对位系统及方法 |
| WO2024007514A1 (zh) * | 2022-07-08 | 2024-01-11 | 深圳市越疆科技有限公司 | 姿态调整方法及装置、机器人机构、电子设备及存储介质 |
| CN117245672B (zh) * | 2023-11-20 | 2024-02-02 | 南昌工控机器人有限公司 | 摄像头支架模块化装配的智能运动控制系统及其方法 |
| CN117245672A (zh) * | 2023-11-20 | 2023-12-19 | 南昌工控机器人有限公司 | 摄像头支架模块化装配的智能运动控制系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106228563B (zh) | 2019-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106228563A (zh) | 基于三维视觉的自动装配系统 | |
| CN107901041B (zh) | 一种基于图像混合矩的机器人视觉伺服控制方法 | |
| US11440179B2 (en) | System and method for robot teaching based on RGB-D images and teach pendant | |
| US10857673B2 (en) | Device, method, program and recording medium, for simulation of article arraying operation performed by robot | |
| JP6770605B2 (ja) | 対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム | |
| CN106863295B (zh) | 机器人系统 | |
| CN103271784B (zh) | 基于双目视觉的人机交互式机械手控制系统和控制方法 | |
| US11813749B2 (en) | Robot teaching by human demonstration | |
| CN110170995B (zh) | 一种基于立体视觉的机器人快速示教方法 | |
| CN108416428B (zh) | 一种基于卷积神经网络的机器人视觉定位方法 | |
| CN109079794B (zh) | 一种基于人体姿态跟随的机器人控制与示教方法 | |
| CN107662195A (zh) | 一种具有临场感的机器手主从异构遥操作控制系统及控制方法 | |
| CN104942808A (zh) | 机器人运动路径离线编程方法及系统 | |
| CN106485746A (zh) | 基于图像无标定的视觉伺服机械手及其控制方法 | |
| CN112238304B (zh) | 一种基于图像视觉识别焊缝的机械臂自动焊接小批量定制异型桥梁钢模板方法 | |
| CN104325268A (zh) | 一种基于智能学习的工业机器人三维空间自主装配方法 | |
| CN106426228B (zh) | 模块化机器人教学系统 | |
| US20220080581A1 (en) | Dual arm robot teaching from dual hand human demonstration | |
| CN108098134A (zh) | 一种新型激光视觉焊缝跟踪系统及方法 | |
| JP2015071206A (ja) | 制御装置、ロボット、教示データ生成方法及びプログラム | |
| CN113751981B (zh) | 基于双目视觉伺服的空间高精度装配方法和系统 | |
| Li et al. | Development of kinect based teleoperation of nao robot | |
| CN109940626A (zh) | 一种基于机器人视觉的画眉机器人系统及其控制方法 | |
| CN105108727A (zh) | 一种机器人仿形控制器及其控制方法 | |
| CN113618367B (zh) | 基于七自由度并联双模块机器人的多视觉空间装配系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190226 Termination date: 20190729 |