CN111047623A - 一种视觉辅助定位的高效模板定位算法系统 - Google Patents

一种视觉辅助定位的高效模板定位算法系统 Download PDF

Info

Publication number
CN111047623A
CN111047623A CN201911391952.XA CN201911391952A CN111047623A CN 111047623 A CN111047623 A CN 111047623A CN 201911391952 A CN201911391952 A CN 201911391952A CN 111047623 A CN111047623 A CN 111047623A
Authority
CN
China
Prior art keywords
workpiece
robot
positioning
point
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911391952.XA
Other languages
English (en)
Other versions
CN111047623B (zh
Inventor
王磊
樊璇
陈健
高云峰
曹雏清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Hit Robot Technology Research Institute Co Ltd
Original Assignee
Wuhu Hit Robot Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Hit Robot Technology Research Institute Co Ltd filed Critical Wuhu Hit Robot Technology Research Institute Co Ltd
Priority to CN201911391952.XA priority Critical patent/CN111047623B/zh
Publication of CN111047623A publication Critical patent/CN111047623A/zh
Application granted granted Critical
Publication of CN111047623B publication Critical patent/CN111047623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视觉辅助定位的高效模板定位算法系统，其视觉为辅助定位，其与机器人间无需标定，解决了视觉与机器人间标定带来的误差；减小了视觉定位中的偶然性误差因素，同时采用多模板拟合减少了整体定位误差；采取球形辅助求解多姿态的平均姿态方式，能为机器人求解出合适的姿态，减小定位误差。

Description

一种视觉辅助定位的高效模板定位算法系统
技术领域
本发明涉及工业现场流水线工件定位技术领域，尤其是涉及一种三维机器视觉辅助定位的高效模板定位算法系统。
背景技术
工业现场中对于工件的搬运十分消耗人力，且效率欠佳，为实现自动化高效生产流程，利用机器人替代人工将为首选方案，但不同位置的工件的姿态不一，无法使其统一化，此时需要为机器人设置定位器件，以便机器人实时掌控每个工件的集体位置和姿态。
当前工业中采取机器视觉定位，其首先需要视觉传感器与机器人间进行标定，其次视觉给出工件上固定的定位点，最后机器人运动至定位点夹取工件，其过程中存在多处误差积累处，误差最为处多为视觉与机器人间标定，误差较大影响抓取准度。
如中国专利201510127496.3公开的一种图像匹配跟踪中匹配模板的选取方法，其匹配模板选择方法分为匹配模板尺寸自适应确定步骤、匹配模板定位能力判定步骤两个部分；(1)匹配模板尺寸自适应确定步骤方法流程：以给定坐标点位置为中心，设定分割区域；对分割区域利用大津阈值分割算法自动阈值分割算法进行二值化，统计前景区域和背景区域的像素个数，求取前景区域像素个数与背景区域像素个数的比值；计算该比值与设定阈值之间的关系来决定匹配模板尺寸；(2)匹配模板定位能力判定步骤方法流程：分别以分割区域中心点为中心的8邻域像素点为中心，按照当前分割区域尺寸，提取8个图像块；将8个图像块与分割区域灰度差异的最小值与设定阈值之间的关系来判定匹配模板的定位能力。该方案中视觉模块采取二维，需要视觉与机器人标定，模板匹配定位，误差较大。
发明内容
针对现有技术不足，本发明所要解决的技术问题是提供一种视觉辅助定位的高效模板定位算法系统，以达到减小定位误差的目的。
为了解决上述技术问题，本发明所采用的技术方案为：
该视觉辅助定位的高效模板定位算法系统，包括以下步骤：
S1、利用工件本身的特点，人为在工件上需找出K个特征点；
S2、采集N个工件的数据，并将其设置为标准模板库工件，对采集到的每个工件的三维特征信息识别出该工件上比较显现的K个特征点的位置坐标，同时记录下一个点PViewer
Pi＝{p1i,p2i,p3i,ΛΛ,pki}T；
S3、机器人对设置为每个模板件进行工作点的位置和姿态的示教操作RP＝{rp1,rp2,rp3,ΛΛ,rpn}、
Figure BDA0002345240990000021
同时也记录下一个与视觉PViewer位置点相同点的机器人坐标Probot；
S4、当检测新的工件时，视觉传感器同样检测这K个特征点的位置坐标Q＝{q1,q2,q3,ΛΛqk}，计算该工件与每个模板工件件存在的位置和姿态的差异，位置为PViewer间偏差，姿态偏差为K个特征点拟合表现
Figure BDA0002345240990000031
S5、新工件与模板库中每个工件的位置与姿态差异无论是在视觉坐标系下描述还是在机器人基坐标系下描数其之间的转化关系固定，固视觉坐标系下求解得到的转化关系{T1,T2,T3,ΛΛ,T4}，该转化关系同样适用于机器人基坐标系，所以在新的工件上机器人工作轨迹为：
RPT＝{rp1T,rp2T,rp3T,ΛΛ,rpnT}
＝{T1rp1,T2rp2,T3rp3,ΛΛ,Tnrpn}；
S6、对新工件上的计算获取位置坐标拟合出一条空间直线，计算每个点到空间直线的距离Δ＝{δ1,δ2,δ3,ΛΛδn}，将间距值设置为每个点的加权值，计算所有点的加权平均数：
Figure BDA0002345240990000032
S7、对新工件计算获取其姿态，获取新工件的一组姿态{r1,r2,r3,ΛΛ,rn}，设置一个空间球，将所有的姿态摆放至空间球上，连接最外围的姿态形成一个局部曲线，计算该曲线的质心位置点，以质心点位姿表示机器人对新工件的位姿；
S8、将计算得出的新工件的位置点和姿态点传送给机器人，实现机器人对新工件的抓取操作。
其中，
所述步骤S1中，K>3。
所述步骤S2中，通过线结构光类传感器采集N个工件的数据。
所述K个特征点不在同一个平面上。
本发明与现有技术相比，具有以下优点：
该视觉辅助定位的高效模板定位算法系统设计合理，视觉为辅助定位，其与机器人间无需标定，解决了视觉与机器人间标定带来的误差；采用多模板拟合减少了整体定位误差；采取球形辅助求解多姿态的平均姿态方式，能为机器人求解出合适的姿态，减小定位误差。
附图说明
下面对本说明书各幅附图所表达的内容及图中的标记作简要说明：
图1为本发明视觉定位点角点示意图。
图2为本发明机器人示教的位置点示意图。
图3为本发明空间点拟合直线示意图。
图4为本发明位姿求解示意图。
图5为本发明视觉定位角点效果示意图。
图6为本发明视觉定位圆心效果示意图。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明。
该视觉辅助定位的高效模板定位算法系统解决了视觉与机器人间标定带来误差问题和视觉检测存在一定误差的问题，从而实现为机器人求解出合适的姿态，减小定位误差。
该视觉辅助定位的高效模板定位算法系统，具体包括以下步骤：
S1、利用工件本身的特点，人为在工件上需找出K个特征点；其K>3，K个特征点不在同一个平面上。
S2、利用线结构光类传感器采集N个工件的数据，并将其设置为标准模板库工件，对采集到的每个工件的三维特征信息识别出该工件上比较显现的K个特征点的位置坐标，同时记录下一个点PViewer
Pi＝{p1i,p2i,p3i,ΛΛ,pki}T，如图1所示的视觉定位点角点。
S3、机器人对设置为每个模板件进行工作点的位置和姿态的示教操作RP＝{rp1,rp2,rp3,ΛΛ,rpn}、
Figure BDA0002345240990000051
同时也记录下一个与视觉PViewer位置点相同点的机器人坐标Probot，如图2所示，图中小圈表示机器人示教位置点，大圈表示机器人夹具撑开后装夹点。
S4、当检测新的工件时，视觉传感器同样检测这K个特征点的位置坐标Q＝{q1,q2,q3,ΛΛqk}，计算该工件与每个模板工件件存在的位置和姿态的差异，位置为PViewer间偏差，姿态偏差为K个特征点拟合表现，
Figure BDA0002345240990000052
S5、新工件与模板库中每个工件的位置与姿态差异无论是在视觉坐标系下描述还是在机器人基坐标系下描数其之间的转化关系固定，固视觉坐标系下求解得到的转化关系{T1,T2,T3,ΛΛ,T4}，该转化关系同样适用于机器人基坐标系，所以在新的工件上机器人工作轨迹为：
RPT＝{rp1T,rp2T,rp3T,ΛΛ,rpnT}
＝{T1rp1,T2rp2,T3rp3,ΛΛ,Tnrpn}。
S6、对新工件上的计算获取位置坐标拟合出一条空间直线，计算每个点到空间直线的距离Δ＝{δ1,δ2,δ3,ΛΛδn}，将间距值设置为每个点的加权值，计算所有点的加权平均数：
Figure BDA0002345240990000061
如图3所示的空间点拟合直线。
S7、对新工件计算获取其姿态，获取新工件的一组姿态{r1,r2,r3,ΛΛ,rn}，设置一个空间球，将所有的姿态摆放至空间球上，连接最外围的姿态形成一个局部曲线，计算该曲线的质心位置点，以质心点位姿表示机器人对新工件的位姿；如图4所示的位姿求解。
S8、将计算得出的新工件的位置点和姿态点传送给机器人，实现机器人对新工件的抓取操作；如图5所示的视觉定位角点和图6所示的视觉定位圆心的效果图。
本方案改进点移除了视觉与机器人标定流程，视觉仅作误差修正，同时利用多组数据修正实现定位的位置和姿态的准确。其视觉为辅助定位，其与机器人间无需标定，解决了视觉与机器人间标定带来的误差；采用多模板拟合减少了整体定位误差；采取球形辅助求解多姿态的平均姿态方式，能为机器人求解出合适的姿态，减小定位误差。
上述仅为对本发明较佳的实施例说明，上述技术特征可以任意组合形成多个本发明的实施例方案。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (4)

1.一种视觉辅助定位的高效模板定位算法系统，其特征在于：包括以下步骤：
S1、利用工件本身的特点，人为在工件上需找出K个特征点；
S2、采集N个工件的数据，并将其设置为标准模板库工件，对采集到的每个工件的三维特征信息识别出该工件上比较显现的K个特征点的位置坐标，同时记录下一个点PViewer
Pi＝{p1i,p2i,p3i,ΛΛ,pki}T；
S3、机器人对设置为每个模板件进行工作点的位置和姿态的示教操作RP＝{rp1,rp2,rp3,ΛΛ,rpn}、
Figure FDA0002345240980000011
同时也记录下一个与视觉PViewer位置点相同点的机器人坐标Probot；
S4、当检测新的工件时，视觉传感器同样检测这K个特征点的位置坐标Q＝{q1,q2,q3,ΛΛqk}，计算该工件与每个模板工件件存在的位置和姿态的差异，位置为PViewer间偏差，姿态偏差为K个特征点拟合表现
Figure FDA0002345240980000012
S5、新工件与模板库中每个工件的位置与姿态差异无论是在视觉坐标系下描述还是在机器人基坐标系下描数其之间的转化关系固定，固视觉坐标系下求解得到的转化关系{T1,T2,T3,ΛΛ,T4}，该转化关系同样适用于机器人基坐标系，所以在新的工件上机器人工作轨迹为：
RPT＝{rp1T,rp2T,rp3T,ΛΛ,rpnT}
＝{T1rp1,T2rp2,T3rp3,ΛΛ,Tnrpn}；
S6、对新工件上的计算获取位置坐标拟合出一条空间直线，计算每个点到空间直线的距离Δ＝{δ1,δ2,δ3,ΛΛδn}，将间距值设置为每个点的加权值，计算所有点的加权平均数：
Figure FDA0002345240980000021
S7、对新工件计算获取其姿态，获取新工件的一组姿态{r1,r2,r3,ΛΛ,rn}，设置一个空间球，将所有的姿态摆放至空间球上，连接最外围的姿态形成一个局部曲线，计算该曲线的质心位置点，以质心点位姿表示机器人对新工件的位姿；
S8、将计算得出的新工件的位置点和姿态点传送给机器人，实现机器人对新工件的抓取操作。
2.如权利要求1所述视觉辅助定位的高效模板定位算法系统，其特征在于：所述步骤S1中，K>3。
3.如权利要求1所述视觉辅助定位的高效模板定位算法系统，其特征在于：所述步骤S2中，通过线结构光类传感器采集N个工件的数据。
4.如权利要求2所述视觉辅助定位的高效模板定位算法系统，其特征在于：所述K个特征点不在同一个平面上。
CN201911391952.XA 2019-12-30 2019-12-30 一种视觉辅助定位的高效模板定位算法系统 Active CN111047623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911391952.XA CN111047623B (zh) 2019-12-30 2019-12-30 一种视觉辅助定位的高效模板定位算法系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911391952.XA CN111047623B (zh) 2019-12-30 2019-12-30 一种视觉辅助定位的高效模板定位算法系统

Publications (2)

Publication Number Publication Date
CN111047623A true CN111047623A (zh) 2020-04-21
CN111047623B CN111047623B (zh) 2022-12-23

Family

ID=70241595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911391952.XA Active CN111047623B (zh) 2019-12-30 2019-12-30 一种视觉辅助定位的高效模板定位算法系统

Country Status (1)

Country Link
CN (1) CN111047623B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815718A (zh) * 2020-07-20 2020-10-23 四川长虹电器股份有限公司 一种基于视觉的工业螺钉机器人快速切换工位的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10154881A (ja) * 1996-11-26 1998-06-09 Matsushita Electric Works Ltd 多層積層板位置決め装置
US20150224650A1 (en) * 2014-02-12 2015-08-13 General Electric Company Vision-guided electromagnetic robotic system
CN105046684A (zh) * 2015-06-15 2015-11-11 华中科技大学 一种基于多边形广义霍夫变换的图像匹配方法
US20190145775A1 (en) * 2017-11-10 2019-05-16 Ankobot (Shanghai) Smart Technologies Co., Ltd. Localization system and method, and robot using the same
CN109895086A (zh) * 2017-12-10 2019-06-18 广州映博智能科技有限公司 一种机器视觉的电梯门板抓举装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10154881A (ja) * 1996-11-26 1998-06-09 Matsushita Electric Works Ltd 多層積層板位置決め装置
US20150224650A1 (en) * 2014-02-12 2015-08-13 General Electric Company Vision-guided electromagnetic robotic system
CN105046684A (zh) * 2015-06-15 2015-11-11 华中科技大学 一种基于多边形广义霍夫变换的图像匹配方法
US20190145775A1 (en) * 2017-11-10 2019-05-16 Ankobot (Shanghai) Smart Technologies Co., Ltd. Localization system and method, and robot using the same
CN109895086A (zh) * 2017-12-10 2019-06-18 广州映博智能科技有限公司 一种机器视觉的电梯门板抓举装置及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
R ROEMI ET AL.: "Automatic detection of field-grown cucumbers for robotic harvesting", 《IEEE ACESS》 *
YANG W ZHANG ET AL.: "Infrared leds-based pose estimation with underground camera model for boom-type roadheader in coal mining", 《LJMU RESEARCH ONLINE》 *
庞博: "智能机械臂视觉系统的目标检测与定位方法研究", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 *
靳璞磊: "基于智能相机和工业机器人的自动分拣技术研究", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815718A (zh) * 2020-07-20 2020-10-23 四川长虹电器股份有限公司 一种基于视觉的工业螺钉机器人快速切换工位的方法
CN111815718B (zh) * 2020-07-20 2022-03-01 四川长虹电器股份有限公司 一种基于视觉的工业螺钉机器人切换工位的方法

Also Published As

Publication number Publication date
CN111047623B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN111452040B (zh) 在引导装配环境中将机器视觉坐标空间关联的系统和方法
CN106041937B (zh) 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
CN104626169B (zh) 基于视觉与机械综合定位的机器人抓取零件的方法
US9561593B2 (en) Working method using sensor and working system for performing same
CN106251353A (zh) 弱纹理工件及其三维位姿的识别检测方法及系统
CN111260289A (zh) 一种基于视觉导航的微型无人机仓库盘点系统及方法
CN110293559B (zh) 一种自动识别定位对准的安装方法
CN108364311A (zh) 一种金属部件自动定位方法及终端设备
CN112509063A (zh) 一种基于边缘特征匹配的机械臂抓取系统及方法
CN108806059A (zh) 基于特征点的票据对齐和八邻域连通体偏移修正的文本区域定位方法
CN115609591B (zh) 一种基于2D Marker的视觉定位方法和系统、复合机器人
CN115131444B (zh) 一种基于单目视觉点胶平台的标定方法
CN112509145B (zh) 基于三维视觉的物料分拣方法和装置
CN111047623B (zh) 一种视觉辅助定位的高效模板定位算法系统
CN115008093A (zh) 一种基于模板识别的多焊接点焊接机器人控制系统及方法
CN111267094A (zh) 一种基于双目视觉的工件定位与抓取方法
CN106926241A (zh) 一种基于视觉引导的双臂机器人装配方法及系统
CN114757878A (zh) 焊接示教方法、装置、终端设备及计算机可读存储介质
CN113800270A (zh) 一种用于物流拆垛的机器人控制方法及系统
CN114140526A (zh) 一种基于深度学习的无序工件三维视觉位姿估计方法
CN114549393A (zh) 图像标注方法、装置、设备及计算机存储介质
Lin et al. Vision based object grasping of industrial manipulator
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
JPH11175150A (ja) 移動体の停止位置ズレ量検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant