CN108010130B - 一种面向图形的机器人操作方法 - Google Patents
一种面向图形的机器人操作方法 Download PDFInfo
- Publication number
- CN108010130B CN108010130B CN201711331216.6A CN201711331216A CN108010130B CN 108010130 B CN108010130 B CN 108010130B CN 201711331216 A CN201711331216 A CN 201711331216A CN 108010130 B CN108010130 B CN 108010130B
- Authority
- CN
- China
- Prior art keywords
- graph
- robot
- target
- frame image
- dimensional graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向图形的机器人操作方法,其特征是应用于由机器人、计算机和两个双目摄像头所构成的操作环境中,并按如下步骤进行:步骤一,建立操作图形;步骤二,采用B样条曲线算法进行拟合;步骤三,优化分割,转换为脉冲序列后提供给机器人执行;步骤四,获取比对图形;步骤五,进行误差比对;步骤六、对脉冲序列进行修改后提供给机器人执行;步骤七、重复执行步骤四‑步骤六,得到相匹配的脉冲序列。本发明能直接通过图形化的方式获取机器人执行轨迹图形,并通过比对图形对轨迹进行矫正,从而实现机器人操作过程的简化及操作精度的提高,使得不懂运动控制的人,也能轻松使用机器人。
Description
技术领域
本发明涉及机器视觉与工业机器人的交叉领域,具体地说是一种面向图形的机器人操作方法。
背景技术
随着社会的快速发展、科技的进步,机器人朝着智能化、高效化迅猛发展。面对当下时代的需求,传统手工业生产线已被更高效的柔性自动化生产线替代,广泛应用于其中的工业机器人也越来越普及。
传统的机器人操作方式通常的过程是先了解产品工艺、编程语言、示教器的使用方法,然后需要具备这些技能的操作人员来进行编程,同时当工艺发生改变或者编程语言发生改变时,编程人员不仅要在现场进行调试,而且短时间内无法立即适应变化,会给企业产品的更新换代带来不利的影响。
现有机器人的操作方式由于过程繁琐、精度低、学习成本高等原因,无法满足未来机器人高精度、多应用场合的发展要求。
发明内容
本发明为克服上述技术中存在的不足之处,提供一种面向图形的机器人操作方法,以期能直接通过图形化的方式获取机器人执行轨迹图形,并通过比对图形对轨迹进行矫正,从而实现机器人操作过程的简化及操作精度的提高,使得不懂运动控制的人,也能轻松使用机器人。
为解决上述技术问题,本发明采用如下技术方案:
本发明一种面向图形的机器人操作方法的特点是应用于由机器人、计算机和两个双目摄像头所构成的操作环境中,并按如下步骤进行:
步骤一、在计算机的MATLAB环境下,建立面向机器人操作的图形,所述图形为基于MATLAB GUI平台的二维图形或为基于双目摄像头的三维图形;
所述基于MATLAB GUI平台的二维图形是在MATLAB环境下,利用get函数获取鼠标从移动开始到移动结束过程中的轨迹图形,并将所述轨迹图形进行坐标转换后保存为.mat文件,以所述.mat文件来表征所述二维图形;
所述基于双目摄像头的三维图形是按如下过程建立:
步骤A、利用双目摄像头获取左右摄像头中跟踪目标的M帧图像,记任意第a帧图像为Pa1和Pa2;
步骤B、在MATLAB环境下,利用基于特征匹配预估的Mean-Shift算法分别对所述第a帧图像Pa1和Pa2进行快速分割,分别得到所述左右摄像头中跟踪目标的空间运动图形Ga1和Ga2;
步骤C、利用双目空间定位原理,对所述左右摄像头中跟踪目标的空间运动图形Ga1和Ga2进行计算,得到跟踪目标在空间中的三维坐标信息;
步骤D、将所述三维坐标信息从双目摄像头坐标系转换到机器人基坐标系后,保存为.mat文件,以所述.mat文件来表征所述三维图形;
步骤二,采用最小二乘法中的B样条曲线算法对所述.mat文件进行拟合,得到拟合后的B样条曲线;
步骤三,采用Pearson相关系数法对拟合后的B样条曲线进行优化分割,得到直线和圆弧,并将所述直线和圆弧转换为脉冲序列后提供给机器人执行;
步骤四,利用另一个双目摄像头获取机器人执行末端的运动图形,并对所述运动图形重新建立基于双目摄像头的三维图形作为比对图形;
步骤五,将所述比对图形与所述二维图形或三维图形进行轨迹误差比对,得到误差处的位置;
步骤六、对所述误差处位置的处脉冲序列进行修改后提供给机器人执行;
步骤七、重复执行步骤四-步骤六,从而得到与所述二维图形或三维图形相匹配的脉冲序列。
本发明所述的面向图形的机器人操作方法的特点也在于,所述基于特征匹配预估的Mean-Shift算法是按如下步骤进行:
步骤B1.从第0帧图像P01或P02中手动选定跟踪目标所在区域,即目标区域,提取跟踪目标特征点个数,并记为N0,以跟踪目标的中心y0为当前最优位置,获取跟踪目标的颜色分布直方图,从而建立如式(1)所示的目标模型
式(1)中,表示第0帧图像P01或P02中跟踪目标的特征值估计的概率密度,Cq表示目标模型的常量系数,xi表示所述目标区域中的第i个像素点,i=1,2,…,n,n表示所述目标区域中像素点的个数;h表示决定权重分布的核函数窗口大小,k(·)表示核函数的轮廓函数,δ(·)表示Delta函数,δ[b(xi-u)]表示为判断像素点xi的颜色值是否属于第u个特征值,若属于,则δ[b(xi-u)]等于值为1,否则δ[b(xi-u)]为0;u=1,2,…,m,m表示特征值总个数;
式(2)中,Cp表示候选模型的常量系数;
步骤B7.利用式(4)获得第a帧图像Pa1或Pa2的比例系数ηa:
式(4)中,Na表示第a帧图像Pa1或Pa2的特征点个数;
步骤B9.判断ηa-1<g是否成立,若成立,则表示跟踪目标遇到了遮挡,利用Harris特征点匹配法代替Kalman滤波器获得跟踪目标的起始位置后,返回步骤B2执行,否则,直接返回步骤B2执行;g表示特征点匹配所设定的阈值。
与现有技术相比,本发明有益效果体现在:
1、本发明采用机器人、计算机和两个双目摄像头所构成的操作环境,实现了面向二维、三维图形直接对机器人进行操作,整个过程无需编程,使用者也不需要了解产品工艺、编程语言、示教器的使用方法,节省了大量的学习成本,是一种更为高效的机器人操作方法;
2、本发明可应用于工作环境复杂、对轨迹图形有一定柔性要求场合,避免了传统操作方式在应用中的过程繁琐、低效率、低精度等情况,大幅提高企业生产效率、精度,降低了产品更新换代的周期;
3、本发明采用基于特征匹配预估的Mean-Shift算法,不仅通过Kalman滤波对目标在下一帧中出现的最优位置进行预估,缩小搜索范围,提高了跟踪效率,而且通过Harris特征点匹配法有效的解决部分遮挡干扰问题,具有较好的鲁棒性。
附图说明
图1是本发明面向图形的机器人操作方法流程图;
图2是本发明机器人执行流程图。
具体实施方式
本实施例中,如图1所示,一种面向图形的机器人操作方法,是应用于由机器人、计算机和两个双目摄像头所构成的操作环境中,并按如下步骤进行:
步骤一、在计算机的MATLAB环境下,建立面向机器人操作的图形,图形为基于MATLAB GUI平台的二维图形或为基于双目摄像头的三维图形;
基于MATLAB GUI平台的二维图形是在MATLAB环境下,利用get函数获取鼠标从移动开始到移动结束过程中的轨迹图形,并将轨迹图形进行坐标转换后保存为.mat文件,以.mat文件来表征二维图形;
基于双目摄像头的三维图形是按如下过程建立:
步骤A、利用双目摄像头获取左右摄像头中跟踪目标的M帧图像,记任意第a帧图像为Pa1和Pa2;
步骤B、在MATLAB环境下,利用基于特征匹配预估的Mean-Shift算法分别对第a帧图像Pa1和Pa2进行快速分割,分别得到左右摄像头中跟踪目标的空间运动图形Ga1和Ga2;
其中,基于特征匹配预估的Mean-Shift算法是按如下步骤进行:
步骤B1.从第0帧图像P01或P02中手动选定跟踪目标所在区域,即目标区域,提取跟踪目标特征点个数,并记为N0,以跟踪目标的中心y0为当前最优位置,获取跟踪目标的颜色分布直方图,从而建立如式(1)所示的目标模型
式(1)中,表示第0帧图像P01或P02中跟踪目标的特征值估计的概率密度,Cq表示目标模型的常量系数,xi表示目标区域中的第i个像素点,i=1,2,…,n,n表示目标区域中像素点的个数;h表示决定权重分布的核函数窗口大小,k(·)表示核函数的轮廓函数,δ(·)表示Delta函数,δ[b(xi-u)]表示为判断像素点xi的颜色值是否属于第u个特征值,若属于,则δ[b(xi-u)]等于值为1,否则δ[b(xi-u)]为0;u=1,2,…,m,m表示特征值总个数;
式(2)中,Cp表示候选模型的常量系数;
步骤B6将最优位置带入Kalman滤波器的更新公式中,得到的修正结果作为第a+1帧图像P(a+1)1或P(a+1)2中迭代的起始位置ya+1,Kalman滤波的最优匹配位置预测功能可对跟踪目标搜索之前采用Kalman滤波根据既得的数据对目标在a+1中出现的位置进行预估,并由此位置开始对跟踪目标迭代搜索。这样能够缩小搜索范围,从而提高跟踪效率;
步骤B7.利用式(4)获得第a帧图像Pa1或Pa2的比例系数ηa:
式(4)中,Na表示第a帧图像Pa1或Pa2的特征点个数;
步骤B9.判断ηa-1<g是否成立,若成立,则表示跟踪目标遇到了遮挡,利用Harris特征点匹配法代替Kalman滤波器获得跟踪目标的起始位置后,返回步骤B2执行,否则,直接返回步骤B2执行,Harris特征点匹配检测定位功能可以降低背景颜色对跟踪目标的影响以及减少不必要的迭代计算,有效的解决部分遮挡干扰问题,提高了跟踪算法对目标定位的准确性;g表示特征点匹配所设定的阈值,在具体实例中,特征点匹配所设阈值g为0.47。
步骤C、利用双目空间定位原理,对左右摄像头中跟踪目标的空间运动图形Ga1和Ga2进行计算,得到跟踪目标在空间中的三维坐标信息;
步骤D、将三维坐标信息从双目摄像头坐标系转换到机器人基坐标系后,保存为.mat文件,以.mat文件来表征三维图形;
步骤二,采用最小二乘法中的B样条曲线算法对.mat文件进行拟合,得到拟合后的B样条曲线;
步骤三,采用Pearson相关系数法对拟合后的B样条曲线进行优化分割,得到直线和圆弧,并将直线Line([xi,yi,zi],[xe,ye,ze])和圆弧Circle([xi,yi,zi],[xe,ye,ze],[xc,yc,zc])转换为脉冲序列后提供给机器人执行,其中[xi,yi,zi]是起点坐标,[xe,ye,ze]是终点坐标,[xc,yc,zc]是圆心坐标,机器人执行流程如图2所示,包含以下三部分:1、对机器人进行一系列初始化操作:通讯初始化、伺服ON、三轴回归原点后处于待机模式;2、执行优化分割后的二维图形模式或者三维图形模式;3、运行期间,机器人有任何非正常运行,均可通过紧急停止来中断运行;
步骤四,利用另一个双目摄像头获取机器人执行末端的运动图形,并对运动图形重新建立基于双目摄像头的三维图形作为比对图形;
步骤五,将比对图形与二维图形或三维图形进行轨迹误差比对,得到误差处的位置;
步骤六、对误差处位置的处脉冲序列进行修改后提供给机器人执行;
步骤七、重复执行步骤四-步骤六,从而得到与二维图形或三维图形相匹配的脉冲序列。
Claims (1)
1.一种面向图形的机器人操作方法,其特征是应用于由机器人、计算机和两个双目摄像头所构成的操作环境中,并按如下步骤进行:
步骤一、在计算机的MATLAB环境下,建立面向机器人操作的图形,所述图形为基于MATLAB GUI平台的二维图形或为基于双目摄像头的三维图形;
所述基于MATLAB GUI平台的二维图形是在MATLAB环境下,利用get函数获取鼠标从移动开始到移动结束过程中的轨迹图形,并将所述轨迹图形进行坐标转换后保存为.mat文件,以所述.mat文件来表征所述二维图形;
所述基于双目摄像头的三维图形是按如下过程建立:
步骤A、利用双目摄像头获取左右摄像头中跟踪目标的M帧图像,记任意第a帧图像为Pa1和Pa2;
步骤B、在MATLAB环境下,利用基于特征匹配预估的Mean-Shift算法分别对所述第a帧图像Pa1和Pa2进行快速分割,分别得到所述左右摄像头中跟踪目标的空间运动图形Ga1和Ga2;
所述基于特征匹配预估的Mean-Shift算法是按如下步骤进行:
步骤B1.从第0帧图像P01或P02中手动选定跟踪目标所在区域,即目标区域,提取跟踪目标特征点个数,并记为N0,以跟踪目标的中心y0为当前最优位置,获取跟踪目标的颜色分布直方图,从而建立如式(1)所示的目标模型
式(1)中,表示第0帧图像P01或P02中跟踪目标的特征值估计的概率密度,Cq表示目标模型的常量系数,xi表示所述目标区域中的第i个像素点,i=1,2,…,n,n表示所述目标区域中像素点的个数;h表示决定权重分布的核函数窗口大小,k(·)表示核函数的轮廓函数,δ(·)表示Delta函数,δ[b(xi-u)]表示为判断像素点xi的颜色值是否属于第u个特征值,若属于,则δ[b(xi-u)]等于值为1,否则δ[b(xi-u)]为0;u=1,2,…,m,m表示特征值总个数;
式(2)中,Cp表示候选模型的常量系数;
步骤B7.利用式(4)获得第a帧图像Pa1或Pa2的比例系数ηa:
式(4)中,Na表示第a帧图像Pa1或Pa2的特征点个数;
步骤B9.判断ηa-1<g是否成立,若成立,则表示跟踪目标遇到了遮挡,利用Harris特征点匹配法代替Kalman滤波器获得跟踪目标的起始位置后,返回步骤B2执行,否则,直接返回步骤B2执行;g表示特征点匹配所设定的阈值;
步骤C、利用双目空间定位原理,对所述左右摄像头中跟踪目标的空间运动图形Ga1和Ga2进行计算,得到跟踪目标在空间中的三维坐标信息;
步骤D、将所述三维坐标信息从双目摄像头坐标系转换到机器人基坐标系后,保存为.mat文件,以所述.mat文件来表征所述三维图形;
步骤二,采用最小二乘法中的B样条曲线算法对所述.mat文件进行拟合,得到拟合后的B样条曲线;
步骤三,采用Pearson相关系数法对拟合后的B样条曲线进行优化分割,得到直线和圆弧,并将所述直线和圆弧转换为脉冲序列后提供给机器人执行;
步骤四,利用另一个双目摄像头获取机器人执行末端的运动图形,并对所述运动图形重新建立基于双目摄像头的三维图形作为比对图形;
步骤五,将所述比对图形与所述二维图形或三维图形进行轨迹误差比对,得到误差处的位置;
步骤六、对所述误差处位置的处脉冲序列进行修改后提供给机器人执行;
步骤七、重复执行步骤四-步骤六,从而得到与所述二维图形或三维图形相匹配的脉冲序列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711331216.6A CN108010130B (zh) | 2017-12-13 | 2017-12-13 | 一种面向图形的机器人操作方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711331216.6A CN108010130B (zh) | 2017-12-13 | 2017-12-13 | 一种面向图形的机器人操作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108010130A CN108010130A (zh) | 2018-05-08 |
CN108010130B true CN108010130B (zh) | 2021-03-09 |
Family
ID=62058725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711331216.6A Active CN108010130B (zh) | 2017-12-13 | 2017-12-13 | 一种面向图形的机器人操作方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108010130B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113095324A (zh) * | 2021-04-28 | 2021-07-09 | 合肥工业大学 | 一种针对锥桶的分类与测距方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103645725A (zh) * | 2013-12-27 | 2014-03-19 | 广东省自动化研究所 | 一种机器人示教轨迹规划方法和系统 |
CN105500370A (zh) * | 2015-12-21 | 2016-04-20 | 华中科技大学 | 一种基于体感技术的机器人离线示教编程系统及方法 |
CN105945942A (zh) * | 2016-04-05 | 2016-09-21 | 广东工业大学 | 一种机器人离线编程系统及方法 |
CN106182018A (zh) * | 2016-07-30 | 2016-12-07 | 福州大学 | 一种基于工件三维图形的磨抛工业机器人离线编程方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9849591B2 (en) * | 2015-10-02 | 2017-12-26 | X Development Llc | Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment |
-
2017
- 2017-12-13 CN CN201711331216.6A patent/CN108010130B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103645725A (zh) * | 2013-12-27 | 2014-03-19 | 广东省自动化研究所 | 一种机器人示教轨迹规划方法和系统 |
CN105500370A (zh) * | 2015-12-21 | 2016-04-20 | 华中科技大学 | 一种基于体感技术的机器人离线示教编程系统及方法 |
CN105945942A (zh) * | 2016-04-05 | 2016-09-21 | 广东工业大学 | 一种机器人离线编程系统及方法 |
CN106182018A (zh) * | 2016-07-30 | 2016-12-07 | 福州大学 | 一种基于工件三维图形的磨抛工业机器人离线编程方法 |
Non-Patent Citations (1)
Title |
---|
基于图形信息的机器人轨迹控制的研究;徐呈艺等;《制造业自动化》;20140228;第36卷(第2期);第59-62页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108010130A (zh) | 2018-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Deepim: Deep iterative matching for 6d pose estimation | |
CN107292911B (zh) | 一种基于多模型融合和数据关联的多目标跟踪方法 | |
JP5647155B2 (ja) | 内側距離形状関係を使用する身体特徴検出及び人間姿勢推定 | |
CN108762309B (zh) | 一种基于假设卡尔曼滤波的人体目标跟随方法 | |
US9111172B2 (en) | Information processing device, information processing method, and program | |
CN110634161A (zh) | 一种基于点云数据的工件位姿快速高精度估算方法及装置 | |
CN112907735B (zh) | 一种基于点云的柔性电缆识别与三维重建方法 | |
CN111127519B (zh) | 一种双模型融合的目标跟踪控制系统及其方法 | |
CN111667535A (zh) | 一种针对遮挡场景下的六自由度位姿估计方法 | |
Hak et al. | Reverse control for humanoid robot task recognition | |
Vezzani et al. | Improving superquadric modeling and grasping with prior on object shapes | |
CN114494150A (zh) | 一种基于半直接法的单目视觉里程计的设计方法 | |
CN108010130B (zh) | 一种面向图形的机器人操作方法 | |
Wnuk et al. | Tracking branched deformable linear objects with structure preserved registration by branch-wise probability modification | |
Arents et al. | Construction of a smart vision-guided robot system for manipulation in a dynamic environment | |
CN108469729B (zh) | 一种基于rgb-d信息的人体目标识别与跟随方法 | |
CN116363205A (zh) | 基于深度学习的空间目标位姿解算方法及计算机程序产品 | |
CN110853099A (zh) | 一种基于双Kinect相机的人机交互方法及系统 | |
CN116188540A (zh) | 一种基于点云信息的目标识别和位姿估计方法 | |
CN113592907A (zh) | 基于光流的视觉伺服跟踪方法及装置 | |
Arbeiter et al. | Towards geometric mapping for semi-autonomous mobile robots | |
CN109934853B (zh) | 基于响应图置信区域自适应特征融合的相关滤波跟踪方法 | |
CN113608622A (zh) | 人体姿态实时预测方法、系统、介质及设备 | |
CN112906432A (zh) | 一种应用于人脸关键点定位任务的检错纠错方法 | |
Sun et al. | Accurate Pose Tracking of Mobile Robot Using Entropy-based TrimICP in Dynamic Environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |