CN114820804A - 基于机器视觉进行自动化喷胶的方法及系统 - Google Patents

基于机器视觉进行自动化喷胶的方法及系统 Download PDF

Info

Publication number
CN114820804A
CN114820804A CN202111210266.5A CN202111210266A CN114820804A CN 114820804 A CN114820804 A CN 114820804A CN 202111210266 A CN202111210266 A CN 202111210266A CN 114820804 A CN114820804 A CN 114820804A
Authority
CN
China
Prior art keywords
glue spraying
point cloud
dimensional
glue
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111210266.5A
Other languages
English (en)
Inventor
张玉强
黄武
贾朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhenyue Intelligent Equipment Foshan Co ltd
Original Assignee
Zhenyue Intelligent Equipment Foshan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhenyue Intelligent Equipment Foshan Co ltd filed Critical Zhenyue Intelligent Equipment Foshan Co ltd
Priority to CN202111210266.5A priority Critical patent/CN114820804A/zh
Publication of CN114820804A publication Critical patent/CN114820804A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C11/00—Component parts, details or accessories not specifically provided for in groups B05C1/00 - B05C9/00
    • B05C11/10—Storage, supply or control of liquid or other fluent material; Recovery of excess liquid or other fluent material
    • B05C11/1002—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves
    • B05C11/1015—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves responsive to a conditions of ambient medium or target, e.g. humidity, temperature ; responsive to position or movement of the coating head relative to the target
    • B05C11/1021—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves responsive to a conditions of ambient medium or target, e.g. humidity, temperature ; responsive to position or movement of the coating head relative to the target responsive to presence or shape of target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C5/00—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work
    • B05C5/02—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work
    • B05C5/0208—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work for applying liquid or other fluent material to separate articles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Spray Control Apparatus (AREA)
  • Application Of Or Painting With Fluid Materials (AREA)

Abstract

本发明提供一种基于机器视觉进行自动化喷胶的方法及系统，采用了三维相机对待喷胶工件进行点云采集，因此能够得到待喷胶的汽车内饰的三维信息；由于对采集到的三维点云进行了点云滤波、下采样、点云拼接、点云分割等预处理，因此能够提高后续轨迹生成步骤的运算效率及精度；基于采集到的三维点云生成了三维网格模型，并进一步基于三维网格模型生成了喷胶轨迹及喷胶参数，因此，本发明的方法及系统能够通过实时拍摄自动生成喷胶轨迹，并通过喷胶机器人进行自动化喷胶，因此可以对多种具有不同表面的汽车内饰进行自动化喷胶，且汽车内饰在预定工作范围内可以任意角度放置在任意位置，大大提高了生产效率。

Description

基于机器视觉进行自动化喷胶的方法及系统
技术领域
本发明属于智能喷胶技术领域，具体涉及一种基于机器视觉进行自动化喷胶的方法及系统。
背景技术
汽车内饰是汽车内部所用的汽车产品，包括汽车方向盘套、汽车坐垫、汽车脚垫、汽车收纳箱等，汽车内饰的制作过程通常为在成型的汽车内饰工件上复合上特定材质的皮革或面料，从而构成最终的汽车内饰产品，在上述的复合过程中，需要在汽车内饰的表面进行喷胶操作。汽车内饰有许多种，相应地，有多种不同形状的汽车内饰需要进行喷胶操作，因此在实际生产过程中，经常需要根据不同的汽车内饰通过人工干预来切换喷胶方式以及喷胶参数，费时费力且生产效率低。并且，随着技术发展和产品需求的提高，喷胶操作的空间轨迹越来越复杂，精度要求也越来越高，传统人工喷胶方式已难以满足需求，需要通过机器视觉来对喷胶操作进行更精确的定位引导，因此，出现了基于2D机器视觉一些自动化方法。
但是，由于2D机器视觉无法获得物体的空间坐标信息，所以不支持与形状相关的测量，诸如物体平面度、表面角度、体积，或者区分相同颜色的物体之类的特征，或者在具有接触侧的物体位置之间进行区分，而且2D机器视觉测量物体的对比度，这意味着特别依赖于光照和颜色/灰度变化，测量精度易受变量照明条件的影响，因此，基于2D机器视觉的方法难以满足上述的喷胶操作的需要。
相比2D机器视觉，3D机器视觉具有多项优势，然而，目前还缺乏基于3D机器视觉对汽车内饰进行自动化喷胶的方法。
发明内容
为解决上述问题，提供一种基于机器视觉进行自动化喷胶的方法及系统，本发明采用了如下技术方案：
本发明提供了一种基于机器视觉进行自动化喷胶的方法，基于机器视觉通过喷胶机器人对放置在预定工作范围内的待喷胶汽车内饰进行喷胶操作，其特征在于，包括步骤S1，通过三维相机对汽车内饰进行点云采集，得到基于相机坐标系的点云数据；步骤S2，对点云数据进行预处理，得到基于相机坐标系的汽车内饰的三维点云；步骤S3，基于三维点云生成基于机器人坐标系的三维网格模型；步骤S4，基于三维网格模型以及预先设定的喷胶工艺参数，生成喷胶轨迹以及喷胶轨迹参数；步骤S5，基于喷胶轨迹以及喷胶轨迹参数通过喷胶机器人对汽车内饰进行喷胶操作。
本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，三维相机采用双目视觉方案、三维结构光方案、TOF方案、激光三角法方案中的任意一种或几种的组合。
本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，步骤S1包括如下子步骤：步骤S1-1，通过所述三维相机从不同视点对汽车内饰进行多次拍摄，得到多个深度图；步骤S1-2，将多个深度图转换为多个部分点云；步骤S1-3，将多个部分点云进行点云拼接，得到三维点云，其中，多个深度图完全覆盖预定工作范围。
本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，所述步骤S2包括如下子步骤：步骤S2-1，对点云数据进行点云滤波；步骤S2-2，对点云数据进行下采样；步骤S2-3，对点云数据进行特征描述及提取，得到点云特征；步骤S2-4，基于点云特征，对点云数据进行点云拼接，得到三维点云；步骤S2-5，基于点云特征，对三维点云进行点云分割，去除汽车内饰的轮廓以外的点云。
本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，步骤S3包括如下子步骤：步骤S3-1，通过手眼标定方法得到坐标系转换矩阵；步骤S3-2，基于坐标系转换矩阵，将基于相机坐标系的三维点云转换为基于机器人坐标系的三维点云；步骤S3-3，对基于机器人坐标系的三维点云进行点云网格化，得到三维网格模型。
本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，三维相机固定在喷胶机器人的末端，手眼标定方法包括如下步骤：步骤A1，采用六点标定法标定机器人工具坐标系；步骤A2，将三维相机以及标定板进行固定，调整喷胶机器人的末端位置姿态使其分别对准标定板上的各个标定物，得到末端位置姿态的数据，并通过三维相机进行拍摄，分别得到标定物在三维图像中的像素位置；步骤A3，基于机器人工具坐标系，末端位置姿态以及像素位置，计算得到坐标系转换矩阵。
本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，步骤S4包括如下子步骤：步骤S4-1，将三维网格模型进行分片，得到多个结构简单的子片；步骤S4-2，基于喷胶工艺参数以及汽车内饰的尺寸，生成喷胶轨迹参数；步骤S4-3，基于喷胶轨迹参数，生成每个子片的子片喷胶轨迹；步骤S4-4，将各个子片喷胶轨迹进行合并，得到喷胶轨迹。
本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，喷胶工艺参数包括喷幅、雾化、流量、喷涂次数以及喷涂速度，喷胶轨迹参数包括轨迹方向以及轨迹行间距。
本发明提供的基于机器视觉进行自动化喷胶的方法，还可以具有这样的技术特征，其中，汽车内饰的数量为多个，喷胶轨迹包括不需要进行喷胶的直线型移动路径，用于使喷胶机器人移动至下一个汽车内饰，喷胶轨迹参数包括主针控制参数。
本发明提供了一种基于机器视觉进行自动化喷胶的系统，其特征在于，包括三维相机，对待喷胶的汽车内饰进行三维摄像；喷胶机器人，对汽车内饰进行喷胶操作；以及控制装置，对三维摄像和喷胶操作的过程进行控制，其中，控制装置包括：点云采集部，通过三维相机采集汽车内饰的三维点云，并对三维点云进行预处理；模型构建部，根据三维点云构建三维网格模型；喷胶轨迹生成部，根据三维网格模型生成喷胶轨迹；以及喷胶控制部，控制喷胶机器人根据喷胶轨迹对汽车内饰进行喷胶操作。
发明作用与效果
根据本发明的基于机器视觉进行自动化喷胶的方法，采用了三维相机对待喷胶的汽车内饰进行点云采集，因此能够得到待喷胶的汽车内饰的三维信息；由于对采集到的三维点云进行了点云滤波、下采样、点云拼接、点云分割等预处理，因此能够提高后续轨迹生成步骤的运算效率及精度；基于采集到的三维点云生成了三维网格模型，并进一步基于三维网格模型生成了喷胶轨迹及喷胶参数，因此，本发明的基于机器视觉进行自动化喷胶的方法能够通过实时拍摄自动生成喷胶轨迹，并通过喷胶机器人进行自动化喷胶，因此可以对多种具有不同表面的汽车内饰进行自动化喷胶，不需要通过人工干预来切换喷胶方法及喷胶参数，且汽车内饰在预定工作范围内可以以任意角度放置在任意位置，大大提高了生产效率。
附图说明
图1是本发明实施例一中基于机器视觉进行自动化喷胶的方法的流程图；
图2是本发明实施例一中基于机器视觉进行自动化喷胶的方法的步骤S1的流程图；
图3是本发明实施例一中基于机器视觉进行自动化喷胶的方法的步骤S2的流程图；
图4是本发明实施例一中基于机器视觉进行自动化喷胶的方法的步骤S3的流程图；
图5是本发明实施例一中基于机器视觉进行自动化喷胶的方法的步骤S4的流程图；
图6是本发明实施例一中子片喷胶轨迹的示意图；
图7是本发明实施例一中基于机器视觉进行自动化喷胶的系统的结构框图；
图8是本发明实施例二中喷胶轨迹的示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于机器视觉进行自动化喷胶的方法及系统作具体阐述。
<实施例一>
本实施例中，需要进行喷胶的范围为汽车内饰的整个上表面，该上表面具有复杂的、不规则的形状。汽车内饰通过支架固定安装在预定的喷胶工作范围内。
本实施例中，三维相机为三维结构光相机，通过三维相机中的结构光源投射出黑白相间的结构光，该结构光投射到物体表面后，结构光所产生的黑白条纹或斑点根据物体表面的形状产生不同程度的变形，三维相机能够基于该变形解算出物体表面点的位置信息，从而得到物体的深度图。
本实施例中，喷胶机器人具有六轴机械臂，因此具有六轴自由度，能够实现多种轨迹及多种不同角度的喷胶操作。同时，喷胶机器人的末端设置有自动喷枪，自动喷枪与存储有喷胶用的胶液的储胶设备流体连通，用于喷出胶液。三维相机固定安装在喷胶机器人机械臂的六轴法兰上。
本实施例中，控制装置为工控机，该工控机上安装有三维视觉喷涂软件、PCL(Point Cloud Library)库以及OMPL(Open Motion Planning Library)库，三维视觉喷涂软件包括UI界面、机器人模块、手眼标定模块、3D视觉模块、3D点云处理模块以及喷涂工艺包。该工控机分别与三维相机以及喷胶机器人相连接，用于控制三维相机对待喷胶的汽车内饰进行点云采集，以及控制喷胶机器人对汽车内饰进行喷胶。
本实施例首先通过三维相机对待喷胶的汽车内饰进行点云采集；接着，对三维点云进行预处理；然后，基于三维点云生成三维网络模型；进一步，根据三维网格模型生成喷胶轨迹；最后，根据喷胶轨迹通过喷胶机器人对汽车内饰进行喷胶。总体包括5个流程：采集三维点云、预处理、建立模型、生成轨迹、进行喷胶。
图1是本发明实施例中基于机器视觉进行自动化喷胶的方法的流程图。
如图1所示，基于机器视觉进行自动化喷胶的方法包括如下步骤：
步骤S1，通过三维相机对汽车内饰进行点云采集，得到基于相机坐标系的点云数据。
图2是本发明实施例中基于机器视觉进行自动化喷胶的方法的步骤S1的流程图。
如图2所示，本实施例的步骤S1具体包括如下子步骤：
步骤S1-1，通过三维相机从不同视点对汽车内饰进行多次拍摄，得到多个深度图；
步骤S1-2，将多个深度图转换为多个部分点云，其中，多个深度图完全覆盖预定工作范围，点云数据为多个部分点云的集合。
本实施例中，通过三维相机从四个预先设置的视点对汽车内饰进行拍摄，得到四张深度图，这四张深度图完全覆盖整个预定工作范围，也即完全覆盖待喷胶的汽车内饰。
然后，基于相机内参，通过现有技术中的转换方法将四个深度图分别转为四个部分点云，这四个部分点云的集合为包含有汽车内饰三维信息的点云数据。点云数据包含有空间分辨率、点位精度、表面法向量等信息，可以表达物体的空间轮廓和具体位置。
步骤S2，对点云数据进行预处理。
图3是本发明实施例中基于机器视觉进行自动化喷胶的方法的步骤S2的流程图。
如图3所示，本实施例的步骤S2具体包括如下子步骤：
步骤S2-1，对点云数据进行点云滤波；
步骤S2-2，对点云数据进行下采样；
步骤S2-3，对点云数据进行特征描述及提取，得到点云特征；
步骤S2-4，基于点云特征，对点云数据进行点云拼接，得到三维点云；
步骤S2-5，基于点云特征，对三维点云进行点云分割，去除汽车内饰轮廓以外的点云。
本实施例中，点云滤波、下采样以及点云特征提取的方法均为PCL库中的现有方法。
通过点云滤波可以对三维点云进行平滑，解决三维点云数据密度不规则的问题，同时可以去除离群点等噪音数据。
通过下采样可以减少三维点云中点的数量，即减少了点云数据，并同时保持点云的形状特征，能够减少后续计算的计算量，同时一定程度上提升计算精度。
通过特征描述及提取能够得到三维点云的点云特征，本实施例中，点云特征包括点云单点特征以及点云局部特征。基于点云特征才能够进行后续步骤的点云拼接、点云分割等点云处理。
本实施例中，点云拼接采用PCL库中的ICP最近点迭代算法，将多个部分点云转换到同一坐标系，基于点云特征将不同部分点云中的相同点进行重叠，从而将四个部分点云拼接成完整的预定工作范围的三维点云。
本实施例中，点云分割采用现有技术的RANSAC随机采样一致性算法，可以去除三维点云中汽车内饰轮廓以外的点云，得到仅包含汽车内饰三维信息的三维点云。
因此，通过以上的预处理，得到的汽车内饰的三维点云更有利于后续步骤中喷胶轨迹的生成。
步骤S3，基于三维点云生成基于机器人坐标系的三维网格模型。
图4是本发明实施例中基于机器视觉进行自动化喷胶的方法的步骤S3的流程图。
本实施例的步骤S3具体包括如下子步骤：
步骤S3-1，通过手眼标定方法得到坐标系转换矩阵；
步骤S3-2，基于坐标系转换矩阵，将基于相机坐标系的三维点云转换为基于机器人坐标系的三维点云；
步骤S3-3，对基于机器人坐标系的三维点云进行点云网格化，得到三维网格模型。
手眼标定方法具体包括如下步骤：
步骤A1，采用六点标定法标定喷胶机器人工具坐标系。
本实施例中，以自动喷枪的喷嘴为基准采用六点标定法来标定喷胶机器人工具坐标系，喷胶机器人按照六种预定的姿态靠近圆锥标定板，工控机记录下对应的六个位置数据作为标定数据，并判断标定数据的误差是否在允许范围内，当判断为是时，机器人工具坐标系的标定完成。
步骤A2，将三维相机以及标定板进行固定，调整喷胶机器人的末端位置姿态使其分别对准标定板上的各个标定物，得到末端位置姿态的数据，并通过三维相机进行拍摄，分别得到标定物在深度图中的像素位置。
本实施例中，标定板上的标定物为圆柱，圆柱的数量为4个，调整喷胶机器人的末端位置姿态，通过三维相机对每个圆柱进行4次拍摄，且每次拍摄喷胶机器人的末端位置姿态均不同，也就是说，三维相机以16个不同的视点进行拍摄，得到16个深度图，并且工控机记录下分别与16个深度图相对应的喷胶机器人的末端位置姿态数据。然后，在深度图中找出圆柱表面圆心的位置并进行记录。
步骤A3，基于机器人工具坐标系，末端位置姿态以及标定物的像素位置，计算得到坐标系转换矩阵。
本实施例中，基于步骤A1中得到的机器人工具坐标系以及步骤A2中记录的标定数据，三维视觉喷涂软件利用旋转矩阵计算出坐标系转换矩阵。
通过上述的手眼标定方法得到坐标系转换矩阵后，就可以利用该坐标系转换矩阵将基于相机坐标系的三维点云转换为基于机器人坐标系的三维点云，并进一步生成三维网格模型。
本实施例中，点云网格化方法采用PCL库中的贪心投影三角化算法，对三维点云进行点云网格化，用一系列的三角形网格来近似拟合三维点云，得到的三维网格模型为由网格构成的三维曲面，可表达待喷涂汽车内饰的上表面的拓扑特性。将该三维网格模型写入XML文件中并存储在工控机中。
步骤S4，基于三维网格模型以及预先设定的喷胶工艺参数，生成喷胶轨迹以及喷胶轨迹参数。
图5是本发明实施例中基于机器视觉进行自动化喷胶的方法的步骤S4的流程图。
如图5所示，本实施例的步骤S4具体包括如下子步骤：
步骤S4-1，将三维网格模型进行分片，得到多个结构简单的子片；
步骤S4-2，基于喷胶工艺参数以及汽车内饰的尺寸，生成喷胶轨迹参数；
步骤S4-3，基于喷胶轨迹参数，生成每个子片的子片喷胶轨迹；
步骤S4-4，将各个子片喷胶轨迹进行合并，得到最终的喷胶轨迹，其中，喷胶轨迹为喷胶机器人的末端位置姿态点的集合。
本实施例中，喷胶工艺参数包括喷幅、雾化、流量、喷涂次数、喷涂速度等。喷胶轨迹参数包括轨迹方向、轨迹行间距等。
三维网格模型的分片、子片喷胶轨迹的生成以及合并都通过OMPL库中的ROS全覆盖轨迹生成算法来生成，该算法基于三维网格模型的特征和参数，将其切分为多个结构简单的、适合轨迹规划的子片，并计算得到子片之间的遍历顺序，进一步，根据喷胶轨迹参数以及每个子片的特征和尺寸，生成子片区域内弓字形的覆盖轨迹，最后根据遍历顺序将多个子片的覆盖轨迹进行合并，形成最终的喷胶轨迹。
图6是本发明实施例中子片喷胶轨迹的示意图。
如图6所示，上述的ROS算法所生成的每个子片的喷胶轨迹为弓字形的全覆盖轨迹。
步骤S5，基于喷胶轨迹以及喷胶轨迹参数通过喷胶机器人对汽车内饰进行喷胶操作。
本实施例的步骤S5中，通过工控机将生成的喷胶轨迹以及部分喷胶轨迹参数发送给喷胶机器人，控制喷胶机器人进行一系列的末端位置姿态变化，从而带动末端上的自动喷枪移动到一系列的指定位置并朝向指定角度，同时将喷胶轨迹参数输入喷胶控制软件，从而控制自动喷枪进行喷胶。
本实施例还提供一种基于机器视觉进行自动化喷胶的系统。
图7是本发明实施例中基于机器视觉进行自动化喷胶的系统的结构框图。
如图7所示，本实施例的基于机器视觉进行自动化喷胶的系统10包括上述的三维相机11、上述的喷胶机器人12以及上述的控制装置13。
控制装置13包括主控制部131、点云采集部132、模型构建部133、喷胶轨迹生成部134以及喷胶控制部135。
其中，点云采集部132采用上述的步骤S1-2的方法来采集汽车内饰的三维点云并进行预处理；模型构建部133采用上述的步骤S3的方法来建立轨迹网络模型；喷胶轨迹生成部134采用上述的步骤S4的方法来生成喷胶轨迹；喷胶控制部135采用上述的步骤S5的方法来控制喷胶机器人12对汽车内饰进行喷胶；主控制部131对上述各个部进行统一控制管理。
<实施例二>
实施例一中，待喷胶的汽车内饰的数量为一个，与之相比，本实施例中，待喷胶的汽车内饰的数量为三个，三个汽车内饰放置在预定的工作范围内，彼此间相隔一定距离。三个汽车内饰均具有不同的上表面形状。
本实施例的基于机器视觉进行自动化喷胶的方法包括以下步骤：
步骤S1，通过三维相机对多个汽车内饰进行点云采集，得到基于相机坐标系的点云数据；
步骤S2，对点云数据进行预处理，得到基于相机坐标系的汽车内饰的三维点云；
步骤S3，基于三维点云生成基于机器人坐标系的三维网格模型；
步骤S4，基于三维网格模型以及预先设定的喷胶工艺参数，生成喷胶轨迹以及喷胶轨迹参数；
步骤S5，基于喷胶轨迹以及喷胶轨迹参数通过喷胶机器人对多个汽车内饰依次进行喷胶操作。
图8是本发明实施例中喷胶轨迹的示意图。
如图8所示，本实施例中，生成的三维网格模型为三个独立的曲面，相应地，生成的喷胶轨迹中包括三段弓字形全覆盖的喷胶轨迹以及两段直线型的移动轨迹，在两段直线型的移动轨迹中需要暂停喷胶。图8中两条虚线为两段直线型的移动轨迹。
本实施例中，喷胶轨迹参数还包括主针控制参数，当主针控制参数低于预先设定的阈值时，喷胶口暂停出胶，当主针控制参数高于设定的阈值时，喷胶口进行出胶，从而能够通过该参数在两段直线型移动轨迹中暂停喷胶。
本实施例中，其他的步骤以及方法和实施例一中一致。
实施例作用与效果
根据本实施例提供的基于机器视觉进行自动化喷胶的方法，采用了三维相机对待喷胶的汽车内饰进行点云采集，因此能够得到待喷胶汽车内饰的三维信息；由于对采集到的点云数据进行了点云滤波、下采样、点云拼接、点云分割等预处理，因此能够得到仅包含汽车内饰三维信息的三维点云，并能提高后续轨迹生成步骤的运算效率及精度；基于采集到的三维点云生成了三维网格模型，并进一步基于三维网格模型生成了喷胶轨迹及喷胶参数，因此，本发明的基于机器视觉进行自动化喷胶的方法能够通过实时三维摄像自动生成喷胶轨迹，并通过喷胶机器人进行自动化喷胶，因此可以对多种具有不同表面的汽车内饰进行自动化喷胶，不需要通过人工干预来切换喷胶方法及喷胶参数，且汽车内饰在预定工作范围内可以以任意角度放置在任意位置，大大提高了生产效率。
具体地，三维相机从不同视点进行多次拍摄得到多个深度图，多个深度图完全覆盖整个预定工作范围，将深度图转换为对应的部分点云，部分点云的集合即为包含有汽车内饰三维信息的点云数据，因此，预定工作范围内的汽车内饰可以以任意角度放置在任意位置，并且可以同时在工作范围内放置多个汽车内饰。
进一步，对采集到的点云数据进行了点云滤波、下采样、点云拼接、点云分割等预处理，去除了点云数据中的噪声数据，减少了总体的点云数据量并同时保持了点云的形状特征，因此，减少了后续步骤的计算量，然后将点云数据拼接成完整的三维点云，并通过点云分割去除了汽车内饰的轮廓以外的点云，因此，能够得到仅包含汽车内饰三维信息的三维点云，有利于后续生成更为精确的喷胶轨迹。
进一步，基于三维点云生成了三维网格模型，通过ROS全覆盖轨迹生成算法结合预定的喷胶工艺参数对三维网格模型进行了分片，生成了每个子片的弓字形全覆盖轨迹，并按照计算得到的遍历顺序将每个子片的轨迹进行合并，得到了最终的喷胶轨迹。因此，能够基于汽车内饰的三维点云以及喷胶工艺参数自动地生成喷胶轨迹，且根据该喷胶轨迹进行的喷胶能够完全覆盖汽车内饰的上表面。
实施例二中，待喷胶的汽车内饰的数量为三个，基于机器视觉进行自动化喷胶的方法同样通过实时三维摄像自动生成喷胶轨迹，并通过喷胶机器人依次对三个汽车内饰进行自动化喷胶，其中，喷胶轨迹中包括两段直线型的移动轨迹，用于使喷胶机器人移动至下一个待喷胶的汽车内饰，喷胶轨迹参数还包括主针控制参数，从而能在喷胶机器人移动至下一个待喷胶的汽车内饰的过程中暂停喷胶。因此，能够依次对预定工作范围内的多个汽车内饰进行自动化的喷胶操作，不需要通过人工干预来切换喷胶方法及喷胶参数，进一步提高了生产效率。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
在上述实施例中，三维相机采用三维结构光方案，在本发明的其他方案中，三维相机也可以采用双目视觉方案、TOF方案、激光三角法方案中的任意一种，或者两种技术的结合，例如采用双目视觉加三维结构光的组合方案，同样也能实现本发明的技术效果。
在上述实施例中，需要进行喷胶的区域为汽车内饰的整个上表面，在本发明的其他方案中，需要进行喷胶的区域也可以为汽车内饰的部分上表面，可以由操作人员在汽车内饰的三维点云中手动进行框选来得到喷胶区域，同样也能实现本发明的技术效果。
在上述实施例中，喷胶轨迹参数根据预先设定的喷胶工艺参数以及汽车内饰的尺寸自动生成，在本发明的其他方案中，也可以由操作人员再进行手动调节，对喷胶轨迹参数进行进一步优化，同样也能实现本发明的技术效果。

Claims (10)

1.一种基于机器视觉进行自动化喷胶的方法，基于机器视觉通过喷胶机器人对放置在预定工作范围内的待喷胶的汽车内饰进行喷胶操作，其特征在于，包括：
步骤S1，通过三维相机对所述汽车内饰进行点云采集，得到基于相机坐标系的点云数据；
步骤S2，对所述点云数据进行预处理，得到基于相机坐标系的所述汽车内饰的三维点云；
步骤S3，基于所述三维点云生成基于机器人坐标系的三维网格模型；
步骤S4，基于所述三维网格模型以及预先设定的喷胶工艺参数，生成喷胶轨迹以及喷胶轨迹参数；
步骤S5，基于所述喷胶轨迹以及所述喷胶轨迹参数通过所述喷胶机器人对所述汽车内饰进行所述喷胶操作。
2.根据权利要求1所述的基于机器视觉进行自动化喷胶的方法，其特征在于：
其中，所述三维相机采用双目视觉方案、三维结构光方案、TOF方案、激光三角法方案中的任意一种或几种的组合。
3.根据权利要求2所述的基于机器视觉进行自动化喷胶的方法，其特征在于：
其中，所述步骤S1包括如下子步骤：
步骤S1-1，通过所述三维相机从不同视点对所述汽车内饰进行多次拍摄，得到多个深度图；
步骤S1-2，将多个所述深度图分别转换为多个部分点云；
其中，多个所述深度图完全覆盖所述预定工作范围，
所述点云数据为多个所述部分点云的集合。
4.根据权利要求1所述的基于机器视觉进行自动化喷胶的方法，其特征在于：
其中，所述步骤S2包括如下子步骤：
步骤S2-1，对所述点云数据进行点云滤波；
步骤S2-2，对所述点云数据进行下采样；
步骤S2-3，对所述点云数据进行特征描述及提取，得到点云特征；
步骤S2-4，基于所述点云特征，对所述点云数据进行点云拼接，得到所述三维点云；
步骤S2-5，基于所述点云特征，对所述三维点云进行点云分割，去除所述汽车内饰的轮廓以外的点云。
5.根据权利要求1所述的基于机器视觉进行自动化喷胶的方法，其特征在于：
其中，所述步骤S3包括如下子步骤：
步骤S3-1，通过手眼标定方法得到坐标系转换矩阵；
步骤S3-2，基于所述坐标系转换矩阵，将基于相机坐标系的所述三维点云转换为基于机器人坐标系的所述三维点云；
步骤S3-3，对基于机器人坐标系的所述三维点云进行点云网格化，得到所述三维网格模型。
6.根据权利要求5所述的基于机器视觉进行自动化喷胶的方法，其特征在于：
其中，所述三维相机固定在所述喷胶机器人的末端，
所述手眼标定方法包括如下步骤：
步骤A1，采用六点标定法标定机器人工具坐标系；
步骤A2，将所述三维相机以及标定板进行固定，调整所述喷胶机器人的末端位置姿态使其分别对准所述标定板上的各个标定物，得到所述末端位置姿态的数据，并通过所述三维相机进行拍摄，分别得到所述标定物在深度图中的像素位置；
步骤A3，基于所述机器人工具坐标系，所述末端位置姿态以及所述像素位置，计算得到所述坐标系转换矩阵。
7.根据权利要求1所述的基于机器视觉进行自动化喷胶的方法，其特征在于：
其中，所述步骤S4包括如下子步骤：
步骤S4-1，将所述三维网格模型进行分片，得到多个结构简单的子片；
步骤S4-2，基于所述喷胶工艺参数以及所述汽车内饰的尺寸，生成所述喷胶轨迹参数；
步骤S4-3，基于所述喷胶轨迹参数，生成每个所述子片的子片喷胶轨迹；
步骤S4-4，将各个所述子片喷胶轨迹进行合并，得到所述喷胶轨迹，
其中，所述喷胶轨迹为所述喷胶机器人的末端位置姿态点的集合。
8.根据权利要求1所述的基于机器视觉进行自动化喷胶的方法，其特征在于：
其中，所述喷胶工艺参数包括喷幅、雾化、流量、喷涂次数以及喷涂速度，
所述喷胶轨迹参数包括轨迹方向以及轨迹行间距。
9.根据权利要求1所述的汽车内饰自动化喷胶方法，其特征在于：
其中，所述汽车内饰的数量为多个，
所述喷胶轨迹包括不需要进行喷胶的直线型移动轨迹，用于使所述喷胶机器人移动至下一个所述汽车内饰，
所述喷胶轨迹参数包括主针控制参数。
10.一种基于机器视觉进行自动化喷胶的系统，其特征在于，包括：
三维相机，对待喷胶的汽车内饰进行三维摄像；
喷胶机器人，对所述汽车内饰进行喷胶操作；以及
控制装置，对所述三维摄像和所述喷胶操作的过程进行控制，
其中，所述控制装置包括：
点云采集部，通过所述三维相机采集所述汽车内饰的三维点云，并对所述三维点云进行预处理；
模型构建部，根据所述三维点云构建三维网格模型；
喷胶轨迹生成部，根据所述三维网格模型生成喷胶轨迹；以及
喷胶控制部，控制所述喷胶机器人根据所述喷胶轨迹对所述汽车内饰进行所述喷胶操作。
CN202111210266.5A 2021-10-18 2021-10-18 基于机器视觉进行自动化喷胶的方法及系统 Pending CN114820804A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111210266.5A CN114820804A (zh) 2021-10-18 2021-10-18 基于机器视觉进行自动化喷胶的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111210266.5A CN114820804A (zh) 2021-10-18 2021-10-18 基于机器视觉进行自动化喷胶的方法及系统

Publications (1)

Publication Number Publication Date
CN114820804A true CN114820804A (zh) 2022-07-29

Family

ID=82526250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111210266.5A Pending CN114820804A (zh) 2021-10-18 2021-10-18 基于机器视觉进行自动化喷胶的方法及系统

Country Status (1)

Country Link
CN (1) CN114820804A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115350834A (zh) * 2022-10-19 2022-11-18 二重（德阳）重型装备有限公司 锻造视觉协同喷涂方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115350834A (zh) * 2022-10-19 2022-11-18 二重（德阳）重型装备有限公司 锻造视觉协同喷涂方法
CN115350834B (zh) * 2022-10-19 2023-01-03 二重（德阳）重型装备有限公司 锻造视觉协同喷涂方法

Similar Documents

Publication Publication Date Title
CN104759379B (zh) 基于喷涂目标三维成像技术的全流程闭环智能喷涂机器人
CN110091333B (zh) 复杂曲面表面焊缝特征识别和自动磨抛的装置及方法
CN100486476C (zh) 基于线结构光传感器自动生成鞋底喷胶轨迹的方法及系统
CN108182689A (zh) 应用于机器人搬运打磨领域的板状工件三维识别定位方法
CN111028340B (zh) 精密装配中的三维重构方法、装置、设备及系统
CN104408408A (zh) 基于曲线三维重建的机器人喷涂轨迹提取方法及提取装置
CN114055255B (zh) 一种基于实时点云的大型复杂构件表面打磨路径规划方法
CN102374860B (zh) 三维视觉定位方法及系统
CN112934541B (zh) 基于视觉3d重建的自动喷涂装置及方法
CN106247943A (zh) 物品三维定位方法、装置和系统
CN114820804A (zh) 基于机器视觉进行自动化喷胶的方法及系统
CN201856249U (zh) 工业机器人运动规划与性能测试系统
CN114407015A (zh) 一种基于数字孪生的遥操作机器人在线示教系统及方法
CN112906232A (zh) 一种汽修用车辆快速建模及喷漆路径规划方法
Bausch et al. 3D printing onto unknown uneven surfaces
CN113601833A (zh) 一种fdm三维打印控制系统
CN112706405B (zh) 自由曲面涂层的3d打印方法及3d打印装置、3d打印设备
GB2616746A (en) Variable spray control system based on annular pesticide application structure and plant canopy volume calculation method
US20020120359A1 (en) System and method for planning a tool path along a contoured surface
CN114782617A (zh) 基于机器视觉进行高精度自动化喷胶的方法及系统
CN204288242U (zh) 基于曲线三维重建的机器人喷涂轨迹提取装置
CN214583043U (zh) 一种用于工件涂装的三维扫描系统
CN104588243B (zh) 一种智能机器人喷涂系统
CN115193643B (zh) 一种基于机器视觉的汽车内饰喷胶设备
CN115256398A (zh) 一种变电站室内多功能操作机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination