CN110110760A - 一种基于机器视觉的工件定位与识别方法 - Google Patents

一种基于机器视觉的工件定位与识别方法 Download PDF

Info

Publication number
CN110110760A
CN110110760A CN201910309051.5A CN201910309051A CN110110760A CN 110110760 A CN110110760 A CN 110110760A CN 201910309051 A CN201910309051 A CN 201910309051A CN 110110760 A CN110110760 A CN 110110760A
Authority
CN
China
Prior art keywords
workpiece
image
coordinate
coordinate system
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910309051.5A
Other languages
English (en)
Inventor
姚明海
史龙尧
顾勤龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910309051.5A priority Critical patent/CN110110760A/zh
Publication of CN110110760A publication Critical patent/CN110110760A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

一种基于机器视觉的工件定位与识别方法,包括：步骤1，创建SVM分类器，计算训练集图像的灰度共生矩阵，训练分类器；步骤2，工业相机采集流水线上工件的实时影像，并校正畸变；步骤3，通过OTSU阈值分割法将校正后的图像二值化，并用canny算法检测边缘，将目标与背景分割开来；步骤4，旋转矩形拟合过滤后的轮廓，得到旋转矩形的中心坐标和旋转角度，将每个工件分离出来；步骤5，求解图像坐标系与机器人坐标系的映射关系矩阵；步骤6,对每个工件中心坐标进行变换，实现对工件的定位；步骤7，计算分离出的工件区域图像的灰度共生矩阵，将矩阵相应统计量输入分类器进行预测，得到工件的类型；步骤8，将工件坐标，旋转角度和类型发送给机器人。

Description

一种基于机器视觉的工件定位与识别方法
技术领域
本发明涉及机器视觉物体的定位与识别，尤其涉及一种流水线上工件的定位与识别方法。
背景技术
随着我国经济的飞速发展，人们消费水平提高，产品消费需求与日俱增,但随之劳动力成本不断上涨，机器换人趋势愈来愈明显。机器与视觉的配合使工业生产更加高效与智能，大大降低了产品的生产成本和生产周期。
产品分拣是工业生产中最重要的一个环节之一，传统的人工分拣成本高，且效率低，难免因个人因主观原因导致分类错误，造成不必要的麻烦和损失。机器视觉的发展为解决这一类问题提供了可能。
发明内容
为解决人工分拣工件效率低，无法保证高正确率的问题，本发明提供一种工件的定位与识别方法，这种识别方法基于机器视觉，能充分利用图像处理快速、精确的优势，对生产流水线上的工件进行实时定位和类型识别，以配合工业机器人分拣的需求。
为实现上述目的，本发明采用以下技术方案：
一种基于机器视觉的工件定位与识别方法，包括如下步骤：
步骤一，创建SVM分类器，计算训练集图像的灰度共生矩阵，将灰度共生矩阵的熵，相关性，均匀性，对比度作为分类器的输入，训练分类器。
步骤二，工业相机采集流水线上工件的实时影像，并校正畸变。
步骤三，通过OTSU阈值分割法将校正后的图像二值化，并用canny算法检测边缘，将目标与背景分割开来。OTSU计算公式为：
为第一类像素方差，w1(t)为第一类像素权重，由该类像素的数量决定，为第二类像素方差，w2(t)为第二类像素权重，OTSU算法思想是找到一个阈值T，使两类方差的加权和最小。步骤四，查找边缘图像的轮廓，将不是工件的轮廓去除，并将每个工件的分离出来，具体做法如下：
4.1用旋转矩形去拟合每个轮廓，设置过滤条件，判断旋转矩形的长和高是否在工件指定范围内，如果标志位为假，则丢弃该轮廓，标志位的判断公式为：
4.2用旋转矩形去拟合步骤4.1中已经过滤后的轮廓，得到矩形中心坐标和旋转角度，用外接矩形作为原图的ROI提取每个工件所在的区域。
步骤五，求解图像坐标系与机器人坐标系的映射关系矩阵，图像坐标系与机器人坐标系映射矩阵为：
(Xr,Yr)为机器人坐标，(Xi,Yi)为图像坐标系，(tx,ty)为坐两标系相对平移向量，θ为两坐标系相对旋转角度，a为X轴缩放系数，b为Y轴缩放系数。
步骤六,对旋转矩形中心坐标(Xc,Yc)，即每个工件中心坐标进行变换，变换矩阵为步骤五中求出的映射矩阵，求得工件中心在机器人坐标系的坐标(Xr,Yr)，实现对工件的定位。
步骤七，计算分离出的工件区域图像的灰度共生矩阵，将矩阵相应统计量输入分类器进行预测，得到工件的类型。
步骤八，将工件坐标，旋转角度和类型发送给机器人。
本发明利用流水线上工件的实时影像，通过计算机视觉实时处理实现工件自动定位与类型识别；通过对边缘图像轮廓查找拟合旋转矩形，矩形中心坐标变换得到工件在机器人坐标系中的定位。用SVM分类器对工件灰度特征进行分类得到工件类型。本发明可以作为独立的算法模块嵌入到工件自动化生产和分拣的实时控制系统中，达到工件快速定位、自动化识别的目的。
本发明的优点是：基于机器视觉，能充分利用图像处理快速、精确的优势，对生产流水线上的工件进行实时定位和类型识别，以配合工业机器人分拣的需求，计算速度快、智能化程度高、识别准确。
附图说明
图1是本发明的工作流程框图。
图2是识别到的工件类型，中心点和旋转角度。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
参照附图，一种基于机器视觉的工件的定位与识别方法，步骤如下：
步骤一，创建SVM分类器，计算训练集图像的灰度共生矩阵，将灰度共生矩阵的熵，相关性，均匀性，对比度作为分类器的输入，训练分类器。
步骤二，采集流水线工件图片，采用张正友标定法对工业相机进行标定，校正拍摄图片畸变。
步骤三，通过OTSU阈值分割法将校正后的图像二值化，并用canny算法检测边缘，将目标与背景分割开来。OTSU计算公式为：
为第一类像素方差，w1(t)为第一类像素权重，由该类像素的数量决定，为第二类像素方差，w2(t)为第二类像素权重，OTSU算法思想是找到一个阈值T，使两类方差的加权和最小。
步骤四，查找边缘图像的轮廓，将不是工件的轮廓去除，并将每个工件的分离出来，具体做法如下：
4.1用旋转矩形去拟合每个轮廓，设置过滤条件，判断旋转矩形的长和高是否在工件指定范围内，如果标志位为假，则丢弃该轮廓，标志位的判断公式为：
4.2用旋转矩形去拟合步骤4.1中已经过滤后的轮廓，得到矩形中心坐标和旋转角度，用外接矩形作为原图的ROI提取每个工件所在的区域。
步骤五，求解图像坐标系与机器人坐标系的映射关系矩阵，具体过程如下：
5.1图像坐标系与机器人坐标系映射矩阵为：
(Xr,Yr)为机器人坐标，(Xi,Yi)为图像坐标系，(tx,ty)为坐两标系相对平移向量，θ为两坐标系相对旋转角度，a为X轴缩放系数，b为Y轴缩放系数。
5.2在图像坐标中随机设置多处采样点，求得采样点在图像坐标系中的坐标集合U1:{(172,45),(23,54),(65,114),(56,80),(120,45),(74,82)}，机器人末端执行器示教图像中的采样点，得到机器人坐标集合U2:
5.3将图像坐标集U1和对应的机器人坐标集U2代入步骤5.1关系式中，求得映射矩阵未知参数，为消除测量误差，对多次求取结果取平均值,解得映射矩阵为：
步骤六,对旋转矩形中心坐标(Xc,Yc)，即每个工件中心坐标进行变换，变换矩阵为步骤5.1中求出的映射矩阵，求得工件中心在机器人坐标系的坐标(Xr,Yr)，实现对工件的定位。
步骤七，计算分离出的工件区域图像的灰度共生矩阵，将矩阵相应统计量输入分类器进行预测，得到工件的类型。
步骤八，将工件坐标，旋转角度和类型发送给机器人。

Claims (1)

1.一种基于机器视觉的工件的定位与识别方法，步骤如下：
步骤一，创建SVM分类器，计算训练集图像的灰度共生矩阵，将灰度共生矩阵的熵，相关性，均匀性，对比度作为分类器的输入，训练分类器；
步骤二，采集流水线工件图片，采用张正友标定法对工业相机进行标定，校正拍摄图片畸变；
步骤三，通过OTSU阈值分割法将校正后的图像二值化，并用canny算法检测边缘，将目标与背景分割开来；OTSU计算公式为：
为第一类像素方差，w1(t)为第一类像素权重，由该类像素的数量决定，为第二类像素方差，w2(t)为第二类像素权重，OTSU算法思想是找到一个阈值T，使两类方差的加权和最小；
步骤四，查找边缘图像的轮廓，将不是工件的轮廓去除，并将每个工件的分离出来，具体做法如下：
4.1用旋转矩形去拟合每个轮廓，设置过滤条件，判断旋转矩形的长和高是否在工件指定范围内，如果标志位为假，则丢弃该轮廓，标志位的判断公式为：
4.2用旋转矩形去拟合步骤4.1中已经过滤后的轮廓，得到矩形中心坐标和旋转角度，用外接矩形作为原图的ROI提取每个工件所在的区域；
步骤五，求解图像坐标系与机器人坐标系的映射关系矩阵，具体过程如下：
5.1图像坐标系与机器人坐标系映射矩阵为：
(Xr,Yr)为机器人坐标，(Xi,Yi)为图像坐标系，(tx,ty)为坐两标系相对平移向量，θ为两坐标系相对旋转角度，a为X轴缩放系数，b为Y轴缩放系数；
5.2在图像坐标中随机设置多处采样点，求得采样点在图像坐标系中的坐标集合U1，机器人末端执行器示教图像中的采样点，得到机器人坐标集合U2；
5.3将图像坐标集U1和对应的机器人坐标集U2代入步骤5.1关系式中，求得映射矩阵未知参数，为消除测量误差，对多次求取结果取平均值,可解得映射矩阵；
步骤六,对旋转矩形中心坐标(Xc,Yc)，即每个工件中心坐标进行变换，变换矩阵为步骤5.1中求出的映射矩阵，求得工件中心在机器人坐标系的坐标(Xr,Yr)，实现对工件的定位；
步骤七，计算分离出的工件区域图像的灰度共生矩阵，将矩阵相应统计量输入分类器进行预测，得到工件的类型；
步骤八，将工件坐标，旋转角度和类型发送给机器人。
CN201910309051.5A 2019-04-17 2019-04-17 一种基于机器视觉的工件定位与识别方法 Withdrawn CN110110760A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910309051.5A CN110110760A (zh) 2019-04-17 2019-04-17 一种基于机器视觉的工件定位与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910309051.5A CN110110760A (zh) 2019-04-17 2019-04-17 一种基于机器视觉的工件定位与识别方法

Publications (1)

Publication Number Publication Date
CN110110760A true CN110110760A (zh) 2019-08-09

Family

ID=67485658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910309051.5A Withdrawn CN110110760A (zh) 2019-04-17 2019-04-17 一种基于机器视觉的工件定位与识别方法

Country Status (1)

Country Link
CN (1) CN110110760A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110625644A (zh) * 2019-09-19 2019-12-31 河海大学常州校区 一种基于机器视觉的工件抓取方法
CN110728655A (zh) * 2019-09-06 2020-01-24 重庆东渝中能实业有限公司 基于机器视觉的数控机床工件异常检测方法及装置
CN111178296A (zh) * 2019-12-31 2020-05-19 深圳市鲲鹏智能装备制造有限公司 多工件视觉定位和识别方法
CN111914856A (zh) * 2020-08-11 2020-11-10 上海柏楚电子科技股份有限公司 板材余料的排样方法、装置、系统、电子设备及存储介质
CN112560704A (zh) * 2020-12-18 2021-03-26 温州大学乐清工业研究院 一种多特征融合的视觉识别方法及系统
CN113592955A (zh) * 2021-07-27 2021-11-02 中国科学院西安光学精密机械研究所 一种基于机器视觉的圆形工件平面坐标高精度定位方法
CN114056920A (zh) * 2021-09-30 2022-02-18 江西省通讯终端产业技术研究院有限公司 一种基于机器视觉的叠片机及其片料校准方法和控制方法
CN114295056A (zh) * 2021-12-31 2022-04-08 普聚智能系统（苏州）有限公司 一种激光加工设备的视觉定位系统快速校正方法及应用
CN115112098A (zh) * 2022-08-30 2022-09-27 常州铭赛机器人科技股份有限公司 一种单目视觉的一维二维测量方法
CN115383517A (zh) * 2022-10-27 2022-11-25 深圳市睿达科技有限公司 一种局部识别n点位置进行整体定位的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102615052A (zh) * 2012-02-21 2012-08-01 上海大学 一种用于具有拐角点特征的产品分拣的机器视觉识别方法
CN103706571A (zh) * 2013-12-27 2014-04-09 西安航天精密机电研究所 一种视觉定位分拣方法
CN103793712A (zh) * 2014-02-19 2014-05-14 华中科技大学 一种基于边缘几何特征的图像识别方法及系统
US20160342828A1 (en) * 2014-01-28 2016-11-24 Industry-Academic Cooperation Foundation, Yeungnam University Method and apparatus for recognising expression using expression-gesture dictionary
CN108416809A (zh) * 2018-03-09 2018-08-17 江南大学 一种基于机器视觉的钢桶螺纹盖位姿识别方法
CN108491892A (zh) * 2018-04-05 2018-09-04 聊城大学 基于机器视觉的水果分拣系统
CN109227537A (zh) * 2018-09-03 2019-01-18 天津永兴泰科技股份有限公司 一种基于机器视觉的零部件分拣方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102615052A (zh) * 2012-02-21 2012-08-01 上海大学 一种用于具有拐角点特征的产品分拣的机器视觉识别方法
CN103706571A (zh) * 2013-12-27 2014-04-09 西安航天精密机电研究所 一种视觉定位分拣方法
US20160342828A1 (en) * 2014-01-28 2016-11-24 Industry-Academic Cooperation Foundation, Yeungnam University Method and apparatus for recognising expression using expression-gesture dictionary
CN103793712A (zh) * 2014-02-19 2014-05-14 华中科技大学 一种基于边缘几何特征的图像识别方法及系统
CN108416809A (zh) * 2018-03-09 2018-08-17 江南大学 一种基于机器视觉的钢桶螺纹盖位姿识别方法
CN108491892A (zh) * 2018-04-05 2018-09-04 聊城大学 基于机器视觉的水果分拣系统
CN109227537A (zh) * 2018-09-03 2019-01-18 天津永兴泰科技股份有限公司 一种基于机器视觉的零部件分拣方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728655A (zh) * 2019-09-06 2020-01-24 重庆东渝中能实业有限公司 基于机器视觉的数控机床工件异常检测方法及装置
CN110625644A (zh) * 2019-09-19 2019-12-31 河海大学常州校区 一种基于机器视觉的工件抓取方法
CN110625644B (zh) * 2019-09-19 2022-04-08 河海大学常州校区 一种基于机器视觉的工件抓取方法
CN111178296A (zh) * 2019-12-31 2020-05-19 深圳市鲲鹏智能装备制造有限公司 多工件视觉定位和识别方法
CN111178296B (zh) * 2019-12-31 2024-03-01 深圳市鲲鹏智能装备制造有限公司 多工件视觉定位和识别方法
CN111914856B (zh) * 2020-08-11 2023-05-05 上海柏楚电子科技股份有限公司 板材余料的排样方法、装置、系统、电子设备及存储介质
CN111914856A (zh) * 2020-08-11 2020-11-10 上海柏楚电子科技股份有限公司 板材余料的排样方法、装置、系统、电子设备及存储介质
CN112560704A (zh) * 2020-12-18 2021-03-26 温州大学乐清工业研究院 一种多特征融合的视觉识别方法及系统
CN113592955A (zh) * 2021-07-27 2021-11-02 中国科学院西安光学精密机械研究所 一种基于机器视觉的圆形工件平面坐标高精度定位方法
CN113592955B (zh) * 2021-07-27 2024-04-09 中国科学院西安光学精密机械研究所 一种基于机器视觉的圆形工件平面坐标高精度定位方法
CN114056920A (zh) * 2021-09-30 2022-02-18 江西省通讯终端产业技术研究院有限公司 一种基于机器视觉的叠片机及其片料校准方法和控制方法
CN114295056A (zh) * 2021-12-31 2022-04-08 普聚智能系统（苏州）有限公司 一种激光加工设备的视觉定位系统快速校正方法及应用
CN115112098A (zh) * 2022-08-30 2022-09-27 常州铭赛机器人科技股份有限公司 一种单目视觉的一维二维测量方法
CN115383517B (zh) * 2022-10-27 2022-12-20 深圳市睿达科技有限公司 一种局部识别n点位置进行整体定位的方法和装置
CN115383517A (zh) * 2022-10-27 2022-11-25 深圳市睿达科技有限公司 一种局部识别n点位置进行整体定位的方法和装置

Similar Documents

Publication Publication Date Title
CN110110760A (zh) 一种基于机器视觉的工件定位与识别方法
CN108335331B (zh) 一种钢卷双目视觉定位方法及设备
CN107203990B (zh) 一种基于模板匹配与图像质量评估的标贴破损检测方法
WO2021138995A1 (zh) 一种棋盘格角点全自动检测方法
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN107085846B (zh) 工件表面缺陷图像识别方法
WO2018000731A1 (zh) 一种曲面表面缺陷自动检测方法及其装置
CN104506857A (zh) 一种摄像头位置偏离检测方法及设备
CN108764154B (zh) 一种基于多特征机器学习的水面垃圾识别方法
CN110807355A (zh) 一种基于移动机器人的指针仪表检测与读数识别方法
CN106709500B (zh) 一种图像特征匹配的方法
Lavania et al. Leaf recognition using contour based edge detection and SIFT algorithm
CN107256398B (zh) 基于特征融合的奶牛个体识别方法
CN109447949A (zh) 基于巡检机器人的绝缘端子缺陷识别方法
CN106097368A (zh) 一种单板裂缝的识别方法
CN106960196B (zh) 基于模板匹配和svm的工业视频小数字识别方法
CN109358067A (zh) 基于计算机视觉的马达环形压敏电阻缺陷检测系统及方法
CN109255336A (zh) 基于巡检机器人的避雷器识别方法
CN110866949A (zh) 中心点定位方法、装置、电子设备和存储介质
CN115830018B (zh) 基于深度学习与双目视觉的碳素块检测方法及系统
CN110640741A (zh) 一种规则形状工件匹配的抓取工业机器人
CN111161295A (zh) 一种菜品图像背景剥离方法
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
CN108109154A (zh) 一种工件的新型定位及数据获取方法
CN107944453A (zh) 基于Hu不变矩和支持向量机SVM的高压套管检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190809