CN115187556A - 一种基于机器视觉的流水线上零件定位与点云获取方法 - Google Patents
一种基于机器视觉的流水线上零件定位与点云获取方法 Download PDFInfo
- Publication number
- CN115187556A CN115187556A CN202210848397.4A CN202210848397A CN115187556A CN 115187556 A CN115187556 A CN 115187556A CN 202210848397 A CN202210848397 A CN 202210848397A CN 115187556 A CN115187556 A CN 115187556A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- tray
- point cloud
- coordinate system
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000010839 reverse transcription Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 2
- 238000005498 polishing Methods 0.000 abstract description 2
- 238000005507 spraying Methods 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种基于机器视觉的流水线上零件定位与点云获取方法，属于电子信息技术领域。步骤为：1)在流水线某托盘上随意摆放各种零件，通过二维视觉、三维扫描相结合的方式，计算获取零件的位置和点云图像；2)托盘中摆放零件的形状、种类、颜色无限制，零件可任意摆放姿态，零件大小小于托盘大小；3)二维视觉测量先于三维扫描，二维相机坐标系、三维扫描仪坐标系通过沿流水线运动的托盘坐标系建立联系。本发明操作简便、可实现性强，具有很大的工程应用价值，本发明输出的结果可应用于工业机器人在线轨迹规划进行打磨、喷涂等场景，减少人力并保证工人人身安全。
Description
技术领域
本发明属于电子信息技术领域，涉及一种基于机器视觉的流水线上繁杂零件定位与点云获取的方法。
背景技术
目前流水线上零件的定位与点云获取都有成功的应用案例，其可行性和有效性得到了充分验证。目前，使用最广泛的方法有两种，一是基于二维视觉图像的流水线上零件的定位，二是基于三维图像的目标识别与定位。其中，基于二维图像的识别定位方法通常需要确定目标零件的形状和大小，零件种类比较少，并且零件在流水线上的摆放需要一定的规则，局限性比较大。基于三维扫描图像的目标识别与定位，会存在两个突出问题，一是因为零件反光产生点云空洞，影响点云的使用；二是背景干扰产生非常多的干扰点云，对于大量不确定形状特征的零件，很容易造成误识别、误匹配的问题，因此在现有的三维扫描应用场景中，对零件类别、零件背景都有很大限制。
发明内容
本发明主要是解决针对任意的、不确定特征的零件，获取其基于流水线的位置并获取点云数据。
本发明采用的技术方案为：
一种基于机器视觉的流水线上零件定位与点云获取方法，当在流水线托盘上任意摆放零件后，托盘随流水线依次经过二维检测工位、三维扫描工位，最终输出该托盘上各零件的点云数据和位置坐标，整个过程包括以下几个步骤：
第一步，标定二维相机图像坐标系、三维扫描点云坐标系、托盘空间坐标系的关系。二维相机与三维扫描仪均完成内参标定，采集图像已完成矫正。托盘上摆放矩形标定板，依据矩形标定板标定各坐标关系，其中：
1)二维相机图像中标定板左上点作为二维图像坐标系原点O2D，沿标定板图像横边向左为二维相机图像横坐标X2D正方向，沿标定板图像纵边向下为二维相机图像纵坐标Y2D正方向，垂直二维相机图像平面向下为Z2D正方向；
2)三维扫描仪获取点云中标定板左上点作为三维点云坐标系原点O3D，沿标定板点云横边向左为三维点云横坐标X3D正方向，沿标定板点云纵边向下为三维点云纵坐标Y3D正方向，垂直标定板三维点云向下为Z3D正方向；
3)托盘空间坐标系中以标定板左上点作为空间坐标系原点OW，沿标定板横边向左空间坐标系XW正方向，沿标定板纵边向下为空间坐标系YW正方向，垂直标定板向下为ZW正方向。
标定完成后，记录二维相机图像坐标系与托盘空间坐标、三维扫描点云坐标系与托盘空间坐标系的转换矩阵，进而推算出二维图像坐标与三维点云坐标的关系。标定操作仅需在系统初始搭建时进行，除非硬件变动，无需重复操作。
第二步，承载零件的托盘运动至二维检测工位时，二维相机拍摄当前托盘图像，依次经过各图像处理方式，包含但不限于图像滤波、亮度调整、灰度处理、二值化、轮廓提取等，最终提取零件的二维轮廓信息，表现形式为轮廓各点的像素坐标。将轮廓各点像素坐标转换到二维图像坐标系O2D-X2DY2DZ2D下，进而依据第一步的标定结果，将轮廓各点坐标转换到托盘空间坐标系OW-XWYWZW下，此信息便为系统输出的零件位置信息。
第三步，承载零件的托盘运动至三维扫描工位时，三维相机依次从多角度对托盘及零件进行扫描，多次扫描的结果通过组合拼接、剔除明显的离群点数据、点云预处理后形成托盘及零件完整的三维点云图像。依据第二步输出的零件位置信息，将零件轮廓的空间坐标转换到三维点云坐标系下，将轮廓坐标内部的点云保留，剔除轮廓外部点云，输出各零件点云数据。
本发明的有益效果为：
本发明针对流水线上随意摆放的不同零件难以采用传统方法同时获取完整点云数据和零件位置的问题，通过在流水线托盘上定义坐标系，将二维相机图像坐标系、三维扫面图像坐标系、托盘空间坐标系结合起来，获取零件准确位置并依此分割零件准确的点云数据。输出点云数据可用于多种工程应用场景：1)输出点云中杂点数据少，可有效进行零件点云配准，提升准确定；2)可直接采用点云数据进行数据分析，分析零件特征；3)可采用点云数据和零件位置信息，设计打磨或喷涂机器人手臂移动路径，无需传统的示教方式，提高系统的智能化程度。本发明提出的方法实现方法简便、可实现性强、且便于集成于各类机器视觉相关的智能化系统。
附图说明
图1为一种基于机器视觉的流水线上零件定位与点云获取方法的实现流程图；
图2为一种基于机器视觉的流水线上零件定位与点云获取方法实现的硬件示意图；
图3为二维图像拍摄托盘及零件轮廓示意图；
图4为三维扫描分割后零件示意图。
图中：1二维相机、2三维扫描仪、3扫描仪拖动机构、4系统控制台、5托盘、6流水线、7任意摆放的零件。
具体实施方式
为使本发明解决的方法问题、采用的方法方案和达到的方法效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
图1为本发明实施例提供的一种基于机器视觉的流水线上零件定位与点云获取方法的实现流程图。图2为与本发明相关方法的硬件实现，图中标号分别代表：1二维相机、2三维扫描仪、3扫描仪拖动机构、4系统控制台、5托盘、6流水线、7任意摆放的零件。其中，托盘5位于流水线6上，沿着流水线6移动，任意摆放的零件7位于托盘5上；二维相机设于流水线上方，用于拍摄托盘5上零件7的图片，并上传至系统控制台4；三维扫描仪也位于流水线6上方，通过扫描仪拖动机构3带动移动，与系统控制台4通信。
如图1所示，本发明实施例提供的一种基于机器视觉的流水线上零件定位与点云获取方法包括：
第一步，标定二维相机图像坐标系、三维扫描点云坐标系、托盘空间坐标系的关系。二维相机与三维扫描仪均完成内参标定，采集图像已完成矫正。托盘上摆放矩形标定板，依据矩形标定板标定各坐标关系，其中：
1)二维相机图像中标定板左上点作为二维图像坐标系原点O2D，沿标定板图像横边向左为二维相机图像横坐标X2D正方向，沿标定板图像纵边向下为二维相机图像纵坐标Y2D正方向，垂直二维相机图像平面向下为Z2D正方向；
2)三维扫描仪获取点云中标定板左上点作为三维点云坐标系原点O3D，沿标定板点云横边向左为三维点云横坐标X3D正方向，沿标定板点云纵边向下为三维点云纵坐标Y3D正方向，垂直标定板三维点云向下为Z3D正方向；
3)托盘空间坐标系中以标定板左上点作为空间坐标系原点OW，沿标定板横边向左空间坐标系XW正方向，沿标定板纵边向下为空间坐标系YW正方向，垂直标定板向下为ZW正方向。
矩形标定板放置在当前托盘上合适位置，随流水线运动至二维相机下端，二维相机随机拍摄托盘图像，并识别二维图像中的矩形标定板。依据公式
计算出二维图像坐标与托盘空间坐标的RT2D转换关系，其中：ZWc表示相机平面到矩形标定板平面的深度坐标，
表示二维相机内参矩阵(逆阵)，P2D表示矩形标定板点的图像坐标，
表示矩形标定板点的空间坐标(逆阵)。
托盘随流水线继续移动至三维扫描工位，扫描仪拖动机构带动扫描仪从多方位、多角度对当前托盘进行拍摄，获取整个托盘的完成点云数据，并从中识别出矩形标点板，依据公式
计算出三维点云坐标与托盘空间坐标的RT3D转换关系，其中：
表示三维相机参数矩阵(逆阵)，P3D表示矩形标定板点的三维坐标，
表示矩形标定板点的空间坐标(逆阵)。
标定完成后，记录二维相机图像坐标系与托盘空间坐标、三维扫描点云坐标系与托盘空间坐标系的转换矩阵，进而推算出二维图像坐标与三维点云坐标的关系。标定操作仅需在系统初始搭建时进行，除非硬件变动，无需重复操作。
第二步，承载零件的托盘运动至二维检测工位时，二维相机拍摄当前托盘图像，经过图像处理方式，依次为图像滤波、亮度调整、灰度处理、二值化、轮廓提取，采用OpenCV库第三方工具库进行图像处理操作，拍摄图像与处理后图像如图3所示。最终提取零件的二维轮廓信息，表现形式为轮廓各点的像素坐标。将轮廓各点像素坐标转换到二维图像坐标系O2D-X2DY2DZ2D下，进而依据第一步的标定结果，将轮廓各点坐标转换到托盘空间坐标系OW-XWYWZW下，此信息便为系统输出的零件位置信息。
第三步，承载零件的托盘运动至三维扫描工位时，扫描仪拖动机构带动三维相机依次从多角度对托盘、零件进行扫描，多次扫描的结果可选择PCL点云处理工具库等进行组合拼接、剔除明显的离群点数据、点云预处理，形成托盘及零件完整的三维点云图像。依据第二步输出的零件位置信息，将零件轮廓的空间坐标转换到三维点云坐标系下，将轮廓坐标内部的点云保留，剔除轮廓外部点云，输出各零件点云数据。图4为其中一个零件的输出结果。
以上所述实施例仅表达本发明的实施方式，但并不能因此而理解为对本发明专利的范围的限制，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。
Claims (2)
1.一种基于机器视觉的流水线上零件定位与点云获取方法，其特征在于，当在流水线托盘上任意摆放零件后，托盘随流水线依次经过二维检测工位、三维扫描工位，最终输出该托盘上各零件的点云数据和位置坐标，整个过程包括以下几个步骤：
第一步，标定二维相机图像坐标系、三维扫描点云坐标系、托盘空间坐标系的关系；二维相机与三维扫描仪均完成内参标定，采集图像已完成矫正；托盘上摆放矩形标定板，依据矩形标定板标定各坐标关系，其中：
1)二维相机图像中标定板左上点作为二维图像坐标系原点O2D，沿标定板图像横边向左为二维相机图像横坐标X2D正方向，沿标定板图像纵边向下为二维相机图像纵坐标Y2D正方向，垂直二维相机图像平面向下为Z2D正方向；
2)三维扫描仪获取点云中标定板左上点作为三维点云坐标系原点O3D，沿标定板点云横边向左为三维点云横坐标X3D正方向，沿标定板点云纵边向下为三维点云纵坐标Y3D正方向，垂直标定板三维点云向下为Z3D正方向；
3)托盘空间坐标系中以标定板左上点作为空间坐标系原点OW，沿标定板横边向左空间坐标系XW正方向，沿标定板纵边向下为空间坐标系YW正方向，垂直标定板向下为ZW正方向；
矩形标定板放置在当前托盘上，随流水线运动至二维相机下端，二维相机随机拍摄托盘图像，并识别二维图像中的矩形标定板；依据公式
计算出二维图像坐标与托盘空间坐标的RT2D转换关系，其中：ZWc表示相机平面到矩形标定板平面的深度坐标，
表示二维相机内参矩阵，P2D表示矩形标定板点的图像坐标，
表示矩形标定板点的空间坐标；
托盘随流水线继续移动至三维扫描工位，扫描仪拖动机构带动扫描仪从多方位、多角度对当前托盘进行拍摄，获取整个托盘的完成点云数据，并从中识别出矩形标点板，依据公式
计算出三维点云坐标与托盘空间坐标的RT3D转换关系，其中：
表示三维相机参数矩阵，P3D表示矩形标定板点的三维坐标，
表示矩形标定板点的空间坐标；
标定完成后，记录二维相机图像坐标系与托盘空间坐标、三维扫描点云坐标系与托盘空间坐标系的转换矩阵，进而得到二维图像坐标与三维点云坐标的关系；标定操作在系统初始搭建时进行；
第二步，承载零件的托盘运动至二维检测工位时，二维相机拍摄当前托盘图像，经过图像处理后，提取零件的二维轮廓信息，表现形式为轮廓各点的像素坐标；将轮廓各点像素坐标转换到二维图像坐标系O2D-X2DY2DZ2D下，进而依据第一步的标定结果，将轮廓各点坐标转换到托盘空间坐标系OW-XWYWZW下，此信息便为系统输出的零件位置信息；
第三步，承载零件的托盘运动至三维扫描工位时，三维相机依次从多角度对托盘及零件进行扫描，多次扫描的结果通过组合拼接、剔除明显的离群点数据、点云预处理后形成托盘及零件完整的三维点云图像；依据第二步输出的零件位置信息，将零件轮廓的空间坐标转换到三维点云坐标系下，将轮廓坐标内部的点云保留，剔除轮廓外部点云，输出各零件点云数据。
2.根据权利要求1所述的一种基于机器视觉的流水线上零件定位与点云获取方法，其特征在于，第二步所述的图像处理方式包含但不限于图像滤波、亮度调整、灰度处理、二值化、轮廓提取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210848397.4A CN115187556A (zh) | 2022-07-19 | 2022-07-19 | 一种基于机器视觉的流水线上零件定位与点云获取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210848397.4A CN115187556A (zh) | 2022-07-19 | 2022-07-19 | 一种基于机器视觉的流水线上零件定位与点云获取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115187556A true CN115187556A (zh) | 2022-10-14 |
Family
ID=83519730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210848397.4A Pending CN115187556A (zh) | 2022-07-19 | 2022-07-19 | 一种基于机器视觉的流水线上零件定位与点云获取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115187556A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710396A (zh) * | 2023-12-14 | 2024-03-15 | 安徽工布智造工业科技有限公司 | 一种基于3d点云的轻钢行业非标零件的识别方法 |
-
2022
- 2022-07-19 CN CN202210848397.4A patent/CN115187556A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710396A (zh) * | 2023-12-14 | 2024-03-15 | 安徽工布智造工业科技有限公司 | 一种基于3d点云的轻钢行业非标零件的识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107014294B (zh) | 一种基于红外图像的接触网几何参数检测方法及系统 | |
| TWI394087B (zh) | 追蹤目標物的方法及裝置 | |
| CN110648367A (zh) | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 | |
| CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
| CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
| CN111476841B (zh) | 一种基于点云和图像的识别定位方法及系统 | |
| CN112067233B (zh) | 一种用于风洞模型六自由度运动捕获方法 | |
| CN106897995B (zh) | 一种面向机械装配过程的零部件自动识别方法 | |
| CN110660101B (zh) | 基于rgb图像和坐标系变换的物体6d姿势预测方法 | |
| CN109911481B (zh) | 面向冶金机器人接插的仓架目标视觉识别定位方法和系统 | |
| CN114049557A (zh) | 一种基于深度学习的垃圾分选机器人视觉识别方法 | |
| CN112560704B (zh) | 一种多特征融合的视觉识别方法及系统 | |
| CN111637834A (zh) | 一种三维数据测量装置及方法 | |
| CN110415363A (zh) | 一种基于三目视觉的散乱物识别定位方法 | |
| CN113822810A (zh) | 一种基于机器视觉的三维空间中工件的定位方法 | |
| CN115187556A (zh) | 一种基于机器视觉的流水线上零件定位与点云获取方法 | |
| CN113689365B (zh) | 一种基于Azure Kinect的目标跟踪定位方法 | |
| CN115830018A (zh) | 基于深度学习与双目视觉的碳素块检测方法及系统 | |
| CN116188763A (zh) | 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法 | |
| Han et al. | Target positioning method in binocular vision manipulator control based on improved canny operator | |
| CN116125489A (zh) | 一种室内物体三维检测方法、计算机设备及存储介质 | |
| CN113674349B (zh) | 一种基于深度图像二次分割的钢结构识别和定位方法 | |
| CN109919969B (zh) | 一种利用深度卷积神经网络实现视觉运动控制的方法 | |
| CN113008895A (zh) | 一种基于三维数据的分块拟合缺陷检测方法 | |
| CN111915632A (zh) | 一种基于机器学习的贫纹理目标物体真值数据库构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |