CN109814124A - 一种基于结构光3d传感器的机器人定位系统和方法 - Google Patents
一种基于结构光3d传感器的机器人定位系统和方法 Download PDFInfo
- Publication number
- CN109814124A CN109814124A CN201910080753.0A CN201910080753A CN109814124A CN 109814124 A CN109814124 A CN 109814124A CN 201910080753 A CN201910080753 A CN 201910080753A CN 109814124 A CN109814124 A CN 109814124A
- Authority
- CN
- China
- Prior art keywords
- module
- robot
- optical
- sensor
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于结构光3D传感器的机器人定位系统,系统由成像模块、光学模块、激光器、ARM模块、FPGA模块和通信模块组成。定位方法步骤为:⑴激光器在工件上扫描,通过成像模块和光学模块采集工件光条数据;⑵计算光条中心建立点云数据;⑶ARM模块根据点云数据重建工件的三维轮廓数据;⑷提取相关信息;⑸根据工艺内容,对提取的相关三维数据进行相应分析;⑹根据分析结果通知机器人执行相应的操作,控制机器人执行操作。本发明由机器人与3D传感器构成的结构光定位系统,有效提高了机器人的灵活性、自适应性和智能化水平,将机器人由单纯的执行机构升级为智能化的生产工具。
Description
技术领域
本发明属于工业自动化技术领域,涉及一种基于结构光的3D视觉识别的机器人定位系统和方法。
背景技术
随着自动化技术的发现,越来越多的流水线引入了各类自动化操作和判断技术,从而减少人工投入、保障产品质量。作为流水线自动化的基础,对工件的识别是自动化流程的起始一步,也是颇具难度的步骤。3D视觉识别技术,为该步骤的工业化应用奠定了基础。3D视觉识别技术的基本原理是,通过采集工件的图像,并通过一定的算法进行处理,获得工件轮廓、外貌、纹理、形态等物理信息,并将这些物理信息数字化、模型化,从而获得计算机可以识别和处理的数字信号,使得诸如机械手等设备能够根据这些数字信号的处理结果对工件进行相应的操作,从而达到自动化生产的目的。
线结构光视觉传感器主要由线结构光投射器(线型激光器)和摄像机组成,结构简单、体积小、重量轻、成本较低,而且校准方便,具有较高的测量精度,因此在工业视觉测量各领域有着广泛的应用。尤其是基于工业机器人的柔性测量系统中,出于运动和空间等方面的考虑,相比较立体(双目或多目)视觉传感器而言,线结构光视觉传感器更显示出突出的优势。
目前应用于生产领域的工业机器人,其控制模式大多数还是采用传统的人工示教方法记录机器人工作过程的操作点位置,再由机器人按照制定的轨迹运动。当工件因尺寸误差、定位误差而偏离示教位置,或工作过程中工件位置发生偏移时,机器人将无法自动进行调整。对于散乱无序工件的识别和抓取需要借助模具的改进和人工的干预,造成人员的浪费和生产效率的降低。
发明内容
本发明的目的是提供一种基于结构光3D传感器的机器人定位系统和方法,通过前置3D视觉系统实现不同截面形状、不同形状的轨迹跟踪,有效提高机器人的灵活性、自适应性和自动化、智能化水平提,将机器人由单纯的执行机构升级为智能化的生产工具。
本发明的技术方案是:基于结构光3D传感器的机器人定位系统,由成像模块、光学模块、激光器、ARM模块、FPGA模块和通信模块组成。成像模块为设备的关键部件,负责扫描区域内的图像采集。光学模块为相应的光学透镜、滤光片和偏振片,通过光学透镜改变激光器和成像模块的角度。激光器为主动光源模块,ARM模块为数据处理器,对采集的光条信息数据进行处理,构建工件的轮廓信息。FPGA模块负责各个模块之间的任务调节和资源调度,通信模块为程序处理模块和外部执行器件的处理单元,包含各种常见主流通讯协仪。成像模块、光学模块、激光器、ARM模块、FPGA模块和通信模块通信连通。
系统根据三角测量原理,通过成像模块拍摄由激光器打在被测物体上的光条,生成被测物体的三维信息。
结构光3D传感器的数学模型为:结构光平面与相机光轴夹角为角α,取世界坐标系Ow-XwYwZw的原点Ow位于相机光轴与结构光平面的交点,Xw轴和Yw轴分别与相机坐标系Xc轴和Yc轴平行,Zw与相机坐标系Zc重合但方向相反;Ow与相机坐标原点Oc的距离为l;则世界坐标系与相机坐标系有如下关系:
取A点的像为A′,在世界坐标系中,视线OA′的方程为:
式中:XwYwZw为世界坐标系的某一点,XcYcZc为世界坐标系点到相机坐标系的映射,f为镜头焦距,l为世界坐标第原点与相机坐标系原点的距离;在世界坐标系中,结构光平面为:
图像中任意一个像素在两个坐标系下的坐标采用齐次坐标和矩阵形式表示,有如下关系:
式中:(u,v)是像素点在数字图像坐标系中以像素为单位的坐标;(u0,v0)为像素点在像平面二维坐标系的坐标点,(Sx,Sy)为像素点在x轴和y轴方向上的物理尺寸;
逆关系为:
得到像素点一世界坐标点之间的对应关系为:
本发明利用基于结构光3D传感器的机器人定位系统的定位方法,机器人配合3D传感器完成,步骤如下:
⑴激光器在工件上扫描,通过成像模块和光学模块采集工件光条数据;
⑵计算光条中心建立点云数据;
⑶所述ARM模块根据点云数据重建工件的三维轮廓数据;
⑷提取相关信息;
⑸根据工艺内容,对提取的相关三维数据进行相应分析,
⑹根据分析结果通知机器人执行相应的操作,控制机器人执行操作。
步骤⑷提取的相关信息包括:工件重心、寻找边缘、平整度检测和尺寸测量。
本发明由机器人与3D传感器构成的结构光定位系统,通过系统前置3D视觉系统可以实现不同截面形状、不同形状的轨迹跟踪,有效的提高了机器人的灵活性、自适应性和自动化、智能化水平,进一步提高了机器人对工作环境的适应能力,将机器人由单纯的执行机构升级为智能化的生产工具。
附图说明
图1为本发明基于结构光3D传感器的机器人定位方法的流程示意图;
图2为本发明基于结构光3D传感器的机器人定位方法的原理图;
图3为3D传感器在输送带上分拣产品及扫码示意图;
其中:1—定位系统、2—激光器、3—发射器透镜、4—输送带、5—接收器、6—感光元件、7—分拣输送带、8—扫码输送带、9—产品、10—3D传感器。
具体实施方式
下面结合实施例和附图对本发明进行详细说明。本发明保护范围不限于实施例,本领域技术人员在权利要求限定的范围内做出任何改动也属于本发明保护的范围。
本发明基于结构光3D传感器的机器人定位系统,由成像模块、光学模块、激光器、ARM模块、FPGA模块和通信模块组成。成像模块为设备的关键部件,负责扫描区域内的图像采集。光学模块为相应的光学透镜、滤光片和偏振片,通过光学透镜改变激光器和成像模块的角度。激光器为主动光源模块,ARM模块为数据处理器,对采集的光条信息数据进行处理,构建工件的轮廓信息。FPGA模块负责各个模块之间的任务调节和资源调度,通信模块为程序处理模块和外部执行器件的处理单元,包含各种常见主流通讯协仪。成像模块、光学模块、激光器、ARM模块、FPGA模块和通信模块通信连通。
系统根据三角测量原理,通过成像模块拍摄由激光器打在被测物体上的光条,生成被测物体的三维信息。结构光3D传感器的数学模型为:结构光平面与相机光轴夹角为角α,取世界坐标系Ow-XwYwZw的原点Ow位于相机光轴与结构光平面的交点,Xw轴和Yw轴分别与相机坐标系Xc轴和Yc轴平行,Zw与相机坐标系Zc重合但方向相反;Ow与相机坐标原点Oc的距离为l;。则世界坐标系与相机坐标系有如下关系:
A点的像为A′,在世界坐标系中,视线OA′的方程为:
式中:XwYwZw为世界坐标系的某一点,XcYcZc为世界坐标系点到相机坐标系的映射,f为镜头焦距,l为世界坐标第原点与相机坐标系原点的距离;在世界坐标系中,结构光平面为:
图像中任意一个像素在两个坐标系下的坐标采用齐次坐标和矩阵形式表示,有如下关系:
式中:(u,v)是像素点在数字图像坐标系中以像素为单位的坐标;(u0,v0)为像素点在像平面二维坐标系的坐标点,(Sx,Sy)为像素点在x轴和y轴方向上的物理尺寸;
逆关系为:
得到像素点一世界坐标点之间的对应关系为:
基于结构光的3D传感器机器人的定位原理如图2所示,包括定位器1,定位器设有激光器2、发射器透镜3、接收器透镜5和感光元件6,激光器发出的光,经发射器透镜传到输送带4的物体上,再经反射透镜反射到感光元件,转化成电信号,通过系统各模块的运行,形成三维信息数据,控制机器人执行操作。
如图3所示,基于结构光3D传感器的机器人定位系统用于分拣工位分拣产品9,机器人配合3D传感器10完成,由放置在分拣输送带7上端的3D传感器对产品进行识别和分类,由3D传感器10实时获取生产线上的点去数据建立三维模型,由ARM处理器判断是否为正品,如为正品,通知机器人按照约定角度和位置进行抓取并放置到扫码工位的扫码输送带8,在扫码工位上端的3D传感器10进行顶面扫描或六面扫描,通过比对相应信息,交由机器人执行相关操作。
本发明利用基于结构光3D传感器的机器人定位系统的定位过程:如图1所示,定位步骤如下:
⑴激光器在工件上扫描,通过成像模块和光学模块采集工件光条数据;
⑵计算光条中心建立点云数据;
⑶ARM模块根据点云数据重建工件的三维轮廓数据;
⑷提取相关信息;提取的相关信息包括:工件重心、寻找边缘、平整度检测和尺寸测量;
⑸根据工艺内容,对提取的相关三维数据进行相应分析;
⑷根据分析结果通知机器人执行相应的操作,控制机器人执行操作。
Claims (5)
1.一种基于结构光3D传感器的机器人定位系统,其特征是:所述系统由成像模块、光学模块、激光器、ARM模块、FPGA模块和通信模块组成;所述成像模块为设备的关键部件,负责扫描区域内的图像采集,所述光学模块为相应的光学透镜、滤光片和偏振片,通过光学透镜改变激光器和成像模块的角度;所述激光器为主动光源模块,所述ARM模块为数据处理器,对采集的光条信息数据进行处理,构建工件的轮廓信息;所述FPGA模块负责各个模块之间的任务调节和资源调度,所述通信模块为程序处理模块和外部执行器件的处理单元,包含各种常见主流通讯协仪;所述成像模块、光学模块、激光器、ARM模块、FPGA模块和通信模块通信连通。
2.根据权利要求1所述的基于结构光3D传感器的机器人定位系统,其特征是:所述系统根据三角测量原理,通过成像模块拍摄由激光器打在被测物体上的光条,生成被测物体的三维信息。
3.根据权利要求1所述的基于结构光3D传感器的机器人定位系统,其特征是:所述结构光3D传感器的数学模型为:结构光平面与相机光轴夹角为角α,取世界坐标系Ow-XwYwZw的原点Ow位于相机光轴与结构光平面的交点,Xw轴和Yw轴分别与相机坐标系Xc轴和Yc轴平行,Zw与相机坐标系Zc重合但方向相反;Ow与相机坐标原点Oc的距离为l;则世界坐标系与相机坐标系有如下关系:
取A点的像为A′,在世界坐标系中,视线OA′的方程为:
式中:XwYwZw为世界坐标系的某一点,XcYcZc为世界坐标系点到相机坐标系的映射,f为镜头焦距,l为世界坐标第原点与相机坐标系原点的距离;在世界坐标系中,结构光平面为:
图像中任意一个像素在两个坐标系下的坐标采用齐次坐标和矩阵形式表示,有如下关系:
式中:(u,v)是像素点在数字图像坐标系中以像素为单位的坐标;(u0,v0)为像素点在像平面二维坐标系的坐标点,(Sx,Sy)为像素点在x轴和y轴方向上的物理尺寸;
逆关系为:
得到像素点一世界坐标点之间的对应关系为:
。
4.一种权利要求1所述基于结构光3D传感器的机器人定位系统的定位方法,其特征是:机器人配合3D传感器完成,步骤如下:
⑴所述激光器在工件上扫描,通过成像模块和光学模块采集工件光条数据;
⑵计算光条中心建立点云数据;
⑶所述ARM模块根据点云数据重建工件的三维轮廓数据;
⑷提取相关信息;
⑸根据工艺内容,对提取的相关三维数据进行相应分析;
⑹根据分析结果通知机器人执行相应的操作,控制机器人执行操作。
5.根据权利要求3所述所述视觉的识别定位方法,其特征是:步骤⑷所述提取相关信息包括:工件重心、寻找边缘、平整度检测和尺寸测量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910080753.0A CN109814124A (zh) | 2019-01-28 | 2019-01-28 | 一种基于结构光3d传感器的机器人定位系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910080753.0A CN109814124A (zh) | 2019-01-28 | 2019-01-28 | 一种基于结构光3d传感器的机器人定位系统和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109814124A true CN109814124A (zh) | 2019-05-28 |
Family
ID=66605429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910080753.0A Pending CN109814124A (zh) | 2019-01-28 | 2019-01-28 | 一种基于结构光3d传感器的机器人定位系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109814124A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110553600A (zh) * | 2019-08-14 | 2019-12-10 | 华南理工大学 | 一种用于工件检测的结构光传感器仿真激光线的生成方法 |
CN114904798A (zh) * | 2022-05-16 | 2022-08-16 | 上海方酋机器人有限公司 | 一种基于图像识别的煤矸石自动分拣方法、系统及介质 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050128196A1 (en) * | 2003-10-08 | 2005-06-16 | Popescu Voicu S. | System and method for three dimensional modeling |
CN101762242A (zh) * | 2010-01-15 | 2010-06-30 | 北京理工大学 | 一种光学平面面形的绝对干涉测量方法 |
CN101797665A (zh) * | 2010-01-20 | 2010-08-11 | 浙江理工大学 | 一种视觉检测传感装置 |
CN102012515A (zh) * | 2010-11-10 | 2011-04-13 | 南昌航空大学 | 利用布里渊散射探测大气中固态目标的方法及装置 |
CN102188231A (zh) * | 2011-05-23 | 2011-09-21 | 中国科学院光电技术研究所 | 一种变焦多通道人眼视网膜显微成像系统 |
CN103337071A (zh) * | 2013-06-19 | 2013-10-02 | 北京理工大学 | 基于结构重建的皮下静脉三维可视化装置及方法 |
CN104259670A (zh) * | 2014-07-07 | 2015-01-07 | 河海大学常州校区 | 一种基于机器视觉及工业机器人的涡轮叶片激光切割系统 |
CN105242397A (zh) * | 2015-09-30 | 2016-01-13 | 深圳大学 | 一种相干自适应光学像差校正系统 |
CN105783726A (zh) * | 2016-04-29 | 2016-07-20 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
CN105974427A (zh) * | 2016-06-24 | 2016-09-28 | 上海图漾信息科技有限公司 | 结构光测距装置及方法 |
CN106017312A (zh) * | 2016-03-22 | 2016-10-12 | 武汉武大卓越科技有限责任公司 | 结构光三角测量自动标定系统及标定方法 |
CN106041937A (zh) * | 2016-08-16 | 2016-10-26 | 河南埃尔森智能科技有限公司 | 一种基于双目立体视觉的机械手抓取控制系统的控制方法 |
CN205720668U (zh) * | 2016-06-24 | 2016-11-23 | 上海图漾信息科技有限公司 | 结构光测距装置 |
CN106989736A (zh) * | 2017-02-28 | 2017-07-28 | 苏州迪美格智能科技有限公司 | 一种基于结构光阵列的空间测绘系统及方法 |
CN108098762A (zh) * | 2016-11-24 | 2018-06-01 | 广州映博智能科技有限公司 | 一种基于新型视觉引导的机器人定位装置及方法 |
-
2019
- 2019-01-28 CN CN201910080753.0A patent/CN109814124A/zh active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050128196A1 (en) * | 2003-10-08 | 2005-06-16 | Popescu Voicu S. | System and method for three dimensional modeling |
CN101762242A (zh) * | 2010-01-15 | 2010-06-30 | 北京理工大学 | 一种光学平面面形的绝对干涉测量方法 |
CN101797665A (zh) * | 2010-01-20 | 2010-08-11 | 浙江理工大学 | 一种视觉检测传感装置 |
CN102012515A (zh) * | 2010-11-10 | 2011-04-13 | 南昌航空大学 | 利用布里渊散射探测大气中固态目标的方法及装置 |
CN102188231A (zh) * | 2011-05-23 | 2011-09-21 | 中国科学院光电技术研究所 | 一种变焦多通道人眼视网膜显微成像系统 |
CN103337071A (zh) * | 2013-06-19 | 2013-10-02 | 北京理工大学 | 基于结构重建的皮下静脉三维可视化装置及方法 |
CN104259670A (zh) * | 2014-07-07 | 2015-01-07 | 河海大学常州校区 | 一种基于机器视觉及工业机器人的涡轮叶片激光切割系统 |
CN105242397A (zh) * | 2015-09-30 | 2016-01-13 | 深圳大学 | 一种相干自适应光学像差校正系统 |
CN106017312A (zh) * | 2016-03-22 | 2016-10-12 | 武汉武大卓越科技有限责任公司 | 结构光三角测量自动标定系统及标定方法 |
CN105783726A (zh) * | 2016-04-29 | 2016-07-20 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
CN105974427A (zh) * | 2016-06-24 | 2016-09-28 | 上海图漾信息科技有限公司 | 结构光测距装置及方法 |
CN205720668U (zh) * | 2016-06-24 | 2016-11-23 | 上海图漾信息科技有限公司 | 结构光测距装置 |
CN106041937A (zh) * | 2016-08-16 | 2016-10-26 | 河南埃尔森智能科技有限公司 | 一种基于双目立体视觉的机械手抓取控制系统的控制方法 |
CN108098762A (zh) * | 2016-11-24 | 2018-06-01 | 广州映博智能科技有限公司 | 一种基于新型视觉引导的机器人定位装置及方法 |
CN106989736A (zh) * | 2017-02-28 | 2017-07-28 | 苏州迪美格智能科技有限公司 | 一种基于结构光阵列的空间测绘系统及方法 |
Non-Patent Citations (4)
Title |
---|
李刚 等: "3D视觉技术在机器人抓取作业中的应用", 《自动化博览》 * |
李奕: "立体工件的三维测量与识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
胡乔木等: "《中国大百科全书-电子学与计算机1》", 31 October 1998, 中国经济大百科全书出版社 * |
黄会明 等: "基于微振镜结构光投射器的机器人抓取", 《中国激光》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110553600A (zh) * | 2019-08-14 | 2019-12-10 | 华南理工大学 | 一种用于工件检测的结构光传感器仿真激光线的生成方法 |
CN114904798A (zh) * | 2022-05-16 | 2022-08-16 | 上海方酋机器人有限公司 | 一种基于图像识别的煤矸石自动分拣方法、系统及介质 |
CN114904798B (zh) * | 2022-05-16 | 2024-05-28 | 上海方酋机器人有限公司 | 一种基于图像识别的煤矸石自动分拣方法、系统及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108555908B (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
CN111791239B (zh) | 一种结合三维视觉识别可实现精确抓取的方法 | |
US11276194B2 (en) | Learning dataset creation method and device | |
CN110555889A (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
JP6271953B2 (ja) | 画像処理装置、画像処理方法 | |
CN111627072B (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
CN110497187A (zh) | 基于视觉引导的太阳花模组装配系统 | |
CN108827154A (zh) | 一种机器人无示教抓取方法、装置及计算机可读存储介质 | |
CN104217441A (zh) | 一种基于机器视觉的机械臂定位抓取方法 | |
US12002240B2 (en) | Vision system for a robotic machine | |
KR900002509B1 (ko) | 화상 처리 장치 | |
CN110666801A (zh) | 一种复杂工件匹配定位的抓取工业机器人 | |
CN110378325A (zh) | 一种机器人抓取过程中的目标位姿识别方法 | |
CN105547153A (zh) | 基于双目视觉的插件元件针脚视觉定位方法及装置 | |
Hsu et al. | Development of a faster classification system for metal parts using machine vision under different lighting environments | |
CN109814124A (zh) | 一种基于结构光3d传感器的机器人定位系统和方法 | |
CN109352647A (zh) | 一种汽车用六轴机器人视觉抓取系统 | |
CN111738971B (zh) | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 | |
US20220179083A1 (en) | Cloud-to-cloud comparison using artificial intelligence-based analysis | |
Grudziński et al. | Stereovision tracking system for monitoring loader crane tip position | |
Gao et al. | An automatic assembling system for sealing rings based on machine vision | |
JPH09329440A (ja) | 複数枚の画像の各計測点の対応づけ方法 | |
CN114926531A (zh) | 基于双目视觉的大视场下工件焊缝自主定位方法及系统 | |
JPH02110788A (ja) | 3次元物体の形状認識方法 | |
CN108163525A (zh) | 一种高效率锯条自动化抓取系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190528 |
|
RJ01 | Rejection of invention patent application after publication |