CN114720475A - 一种汽车车身漆面缺陷智能检测与打磨系统及方法 - Google Patents

一种汽车车身漆面缺陷智能检测与打磨系统及方法 Download PDF

Info

Publication number
CN114720475A
CN114720475A CN202210296340.8A CN202210296340A CN114720475A CN 114720475 A CN114720475 A CN 114720475A CN 202210296340 A CN202210296340 A CN 202210296340A CN 114720475 A CN114720475 A CN 114720475A
Authority
CN
China
Prior art keywords
polishing
vehicle body
defect
detection
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210296340.8A
Other languages
English (en)
Inventor
李煌
罗兴锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Shibite Robot Co Ltd
Original Assignee
Hunan Shibite Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Shibite Robot Co Ltd filed Critical Hunan Shibite Robot Co Ltd
Priority to CN202210296340.8A priority Critical patent/CN114720475A/zh
Publication of CN114720475A publication Critical patent/CN114720475A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B19/00—Single-purpose machines or devices for particular grinding operations not covered by any other main group
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B27/00—Other grinding machines or devices
    • B24B27/0023—Other grinding machines or devices grinding machines with a plurality of working posts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B49/00—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
    • B24B49/12—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation involving optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B51/00—Arrangements for automatic control of a series of individual steps in grinding a workpiece
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种汽车车身漆面缺陷智能检测与打磨系统及方法，该系统包括：缺陷检测单元，用来定位缺陷并判定其类型，其包括两套以上检测机械臂、两台以上的漆面成像采集组件、坐标引导采集组件及缺陷检测控制组件；缺陷打磨单元，包括车身定位相机、两套以上的打磨机械臂、两套以上的力控打磨头及打磨控制组件。当车体被传送到打磨工位后，所述车身定位相机被触发采集车体点云，由采集相机控制及图像处理单元计算车体位姿并转换缺陷坐标，控制器根据缺陷坐标引导打磨机械臂到达缺陷位置，由力控打磨头修复缺陷。该方法是基于上述系统来实施。本发明具有结构简单紧凑、成本低廉、智能化程度高等优点。

Description

一种汽车车身漆面缺陷智能检测与打磨系统及方法
技术领域
本发明主要涉及到汽车车身生产制造智能技术领域，特指一种汽车车身漆面缺陷智能检测与打磨系统及方法。
背景技术
涂装工艺是汽车车身生产制造中的重要环节，它通过在车体表面喷涂油漆以提高车身的防锈耐腐性以及汽车的观赏性。然而，车身涂装是一项高精度、高难度的工作，涂料、涂装环境、喷涂参数的设定等都会影响工艺质量。
在实际的生产制造过程中，车体漆面不可避免的遭受一些污损或破坏，如喷涂中由表面的杂质引起的凹凸点、搬运中因操作不当造成的漆面划痕、污渍等，这些外观缺陷的存在将直接影响生产商的品牌形象及汽车销售。对此，出厂前检测车身漆面缺陷、并进行修复是涂装工艺十分必要的一环。
汽车车身的漆面是由特殊的材质构成，本身具有高反光的特性，这使漆面缺陷的检测及修复充满挑战性。
目前，汽车车身漆面缺陷检测及修复工作主要由人工完成。借助于特殊光源，工人通过多视角观察和触摸的方式检测缺陷，并对缺陷的种类、尺寸及位置等信息进行记录；然后，手持修复工具，通过打磨、抛光、喷涂等操作修复漆面缺陷。上述传统人工方式虽然能够满足需求，但该方法严重依赖工人的经验及专注度，且存在检测和修复效率低、质量不稳定的问题。此外，在长时间高专注度的工作强度下，检测和修复工作的质量会持续下降。
随着视觉成像和机器人技术的不断发展，使得机器视觉引导机器人检测和修复漆面检测的方式成为可能。近几年，出现一些在特殊定制光源下采用2D相机检测漆面缺陷的方法。但是，该类方法由于不能获取缺陷的三维信息而无法实现自动打磨。也有一些采用基于相位偏折原理的3D相机获取类镜面车体漆面的高精度三维点云，进而有效检测缺陷及其三维坐标信息，但它们并未将缺陷的位置信息传送给缺陷修复机器人实现自动修复。
例如，有从业者提出中国专利申请车身漆面缺陷检测装置及其检测方法(申请号202110117975.2)，包括伺服控制器、工控机、车身输送机构、若干面阵相机、若干投影仪和若干投影屏幕，上述元器件的坐标系与世界坐标系的姿态关系是通过标定板提前标定的。所述面阵相机、投影仪和投影屏幕共同构成图像采集系统，用于采集、分析待检测车辆的表面数据，所述工控机与所述投影仪联接，所述投影屏幕设置在所述投影仪外围且与所述投影仪对应，所述投影仪可将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕上，所述面阵相机分布在待检测车辆四周，每个面阵相机通过车身表面反射对所述投影屏幕上的条纹进行拍照，在车身单个视野内可拍摄横竖各4幅，共8幅正弦相移条纹图像。通过设计伺服控制器、工控机和车身输送机构配合图像采集系统使用，可以方便高效地采集车身表面相关的正弦相移条纹图像，从而输出镜面反射图、漫反射图，光泽度图、曲率图等，进而能够通过传统图像处理算法和深度学习算法检测车身漆面的脏污类缺陷、纹理类缺陷、划伤碰伤类缺陷、凹凸类缺陷。
但是这类技术方案相当复杂，成本较高，适用范围较窄，检测精度不够高，最为关键的是，上述传统技术只能完成检测，并不能与后续修复等工位进行自动化联动。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种结构简单紧凑、成本低廉、智能化程度高的汽车车身漆面缺陷智能检测与打磨系统及方法。
为解决上述技术问题，本发明采用以下技术方案：
一种汽车车身漆面缺陷智能检测与打磨系统，其包括：
缺陷检测单元，用来定位缺陷并判定其类型，其包括两套以上检测机械臂、两台以上的漆面成像采集组件、坐标引导采集组件及缺陷检测控制组件，所述缺陷检测控制组件包括检测机械臂控制器，采集组件控制器及图像处理单元；所述检测机械臂控制器与检测机械臂相连，所述采集组件控制器及图像处理单元与漆面成像采集组件、坐标引导采集组件相连；
当车体被传送到检测工位后，触发坐标引导采集组件采集车身点云并由图像处理单元计算车身位姿，根据车身位姿，固定于检测机械臂末端的漆面成像采集组件在检测机械臂控制器的引导下到达指定位置，按照离线规划的轨迹分步采集指定范围内车体表面的点云及图像，然后通过图像处理单元定位缺陷并判定其类型；
缺陷打磨单元，包括车身定位相机、两套以上的打磨机械臂、两套以上的力控打磨头及打磨控制组件，所述打磨控制组件包括采集相机控制及图像处理单元、打磨机械臂控制器及力控打磨头控制器，所述车身定位相机与采集相机控制及图像处理单元相连，所述打磨机械臂与打磨机械臂控制器连接，所述力控打磨头安装在打磨机械臂的末端，并与力控打磨头控制器连接；
当车体被传送到打磨工位后，所述车身定位相机被触发采集车体点云，由图像处理单元计算车体位姿偏差并转换缺陷坐标，控制器根据缺陷坐标引导打磨机械臂到达缺陷位置，由力控打磨头修复缺陷。
作为本发明系统的进一步改进：所述缺陷检测单元中，当车体被传送到检测工位后，相机被触发，采集车身点云，计算车身位姿。
作为本发明系统的进一步改进：根据车身位姿，固定检测机械臂末端的漆面成像采集组件在检测机械臂控制器的引导下到达指定位置，在采集组件控制器及图像处理单元的作用下按照离线规划的轨迹分步采集指定范围内车体表面的点云及图像，然后通过图像处理单元定位缺陷并判定其类型。
本发明进一步提供一种基于上述汽车车身漆面缺陷智能检测与打磨系统的方法，其步骤包括：
步骤S1：当待检车身被传送到检测工位时，车身定位及缺陷坐标引导采集车身点云，以此作为输入，通过与参考车位点云或与CAD模型配准，估算车身位姿，实现车位定位；
步骤S2：基于车身位姿，调整离线规划的采集轨迹，在检测机械臂的引导下漆面成像采集组件以多节拍的方式采集漆面数据，包括3D点云及基于反射生成的2D图像；
步骤S3：通过深度学习与特征匹配结合的方式检测缺陷类型和定位，并计算缺陷的外轮廓坐标；
步骤S4：缺陷检测完成后，待检车身运送到打磨工位；打磨工位的车身定位相机采集车身点云，通过与检测工位采集的车身点云配准，估算在两个车身定位坐标系下的车身位姿偏；
步骤S5：基于离线标定变换矩阵以及车身位姿偏差，将缺陷坐标从采集相机的坐标系转换到打磨机器人基坐标系；
步骤S6：根据缺陷坐标，打磨机器人控制器引导打磨机械臂到达缺陷所在位置，在力控打磨控制器的作用下，通过力控打磨头打磨和修复缺陷。
作为本发明方法的进一步改进：所述步骤S2中，不同检测机械臂分管不同的区域，每块区域采用多拍采集方式完成整车车身的漆面数据获取。
作为本发明方法的进一步改进：所述步骤S2中，在各自检测机械臂辖管区域，漆面被分割成多块区域，采集时，检测机械臂移动到参考区域上方，然后在机械臂控制器的作用下，按照离线规划的路径移动到其他区域，完成相机的多拍采集。
作为本发明方法的进一步改进：所述步骤S5中，缺陷坐标转换是将成像相机坐标系下的缺陷转换到打磨机器人基坐标系，流程包括：
步骤S501：将成像相机坐标系下的缺陷转换到参考坐标系，即将Ai区域相机坐标系下的缺陷转换到Ar参考区域的相机坐标系，其中转换矩阵为
Figure BDA0003563442250000041
该矩阵是通过离线标定的方式获取；
步骤S502：将参考坐标系下的缺陷转换到A相机坐标系；该过程的变换矩阵为
Figure BDA0003563442250000042
它是通过离线标定具有公共视场的不同视角的相机位姿获取；
步骤S503：将检测工位A相机坐标系下缺陷转换到打磨工位A`相机坐标系下，其中转换矩阵为
Figure BDA0003563442250000051
该矩阵通过A相机坐标系下采集的车身点云与A`相机坐标系下采集的车身点云配准而得；
步骤S504：将A`相机坐标系的缺陷位置转换到打磨机器人基坐标系下，其中转换矩阵为
Figure BDA0003563442250000052
该矩阵通过手眼标定获得。
作为本发明方法的进一步改进：在上述步骤S501中，离线标定是通过机器人控制器获取机械臂移动时的位姿变化，以此作为初始变换矩阵，然后离线采集2D靶面参考板上的参考点，通过配准的方式精确标定相邻节拍间相机的位姿。
与现有技术相比，本发明的优点在于：
1、本发明的汽车车身漆面缺陷智能检测与打磨系统及方法，结构简单紧凑、成本低廉、智能化程度高，通过局部定位与全局引导的3D成像方案，能够解决局部缺陷坐标到打磨系统基坐标系转换的问题，同时结合机器人运动控制技术实现缺陷的自动打磨修复。
2、本发明的汽车车身漆面缺陷智能检测与打磨系统及方法，通过多相机离线标定与点云配准相结合的方式将局部相机缺陷坐标转换到打磨机器人基坐标系下，实现漆面缺陷自动检测与打磨。
3、本发明的汽车车身漆面缺陷智能检测与打磨系统及方法，机械臂先验移动位姿与参考靶面离线标定结合方式，准确计算多拍采集区域相机间的位姿变换关系，以实现不同节拍采集的漆面坐标点云统一或拼接。
附图说明
图1是本发明系统的结构原理示意图。
图2是本发明方法的流程示意图。
图3是本发明在具体应用实例中进行坐标转换时的流程示意图。
图4是本发明在具体应用实例中进行车体漆面区域分配的示意图。
图5是本发明在一个具体应用实例中进行坐标转换时的原理示意图。
图例说明：
1、缺陷检测控制组件；2、检测机械臂；3、漆面成像采集组件；4、坐标引导采集组件；5、待检车身；6、打磨控制组件；7、打磨机械臂；8、力控打磨头；9、车身定位3D相机；10、缺陷检测工位；11、缺陷打磨工位。
具体实施方式
以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
如图1所示，本发明的汽车车身漆面缺陷智能检测与打磨系统，包括：
缺陷检测单元，位于缺陷检测工位10，用来定位缺陷并判定其类型；所述缺陷检测单元包括两套以上检测机械臂2、两台以上的漆面成像采集组件3、坐标引导采集组件4及缺陷检测控制组件1，所述缺陷检测控制组件1包括检测机械臂控制器、采集组件控制器及图像处理单元；所述检测机械臂控制器与检测机械臂2相连，所述采集组件控制器及图像处理单元与漆面成像采集组件3、坐标引导采集组件4相连。
缺陷打磨单元，位于缺陷打磨工位11，包括车身定位相机9(3D相机)、两套以上的打磨机械臂7、两套以上的力控打磨头8及打磨控制组件6，所述打磨控制组件6包括采集相机控制及图像处理单元、打磨机械臂控制器及力控打磨头控制器，所述车身定位相机9与采集相机控制及图像处理单元相连，所述打磨机械臂7与打磨机械臂控制器连接，所述力控打磨头8安装在打磨机械臂7的末端，并与力控打磨头控制器连接。
当车体被传送到打磨工位后，所述车身定位相机9被触发采集车体点云，由图像处理单元计算车体位姿并转换缺陷坐标，控制器根据缺陷坐标引导打磨机械臂7到达缺陷位置，由力控打磨头8修复缺陷。
本实施例中，检测机械臂2为四套；漆面成像采集组件3为四台，采用用于漆面成像的3D相机，坐标引导采集组件4为一台用于车身定位及缺陷坐标引导的3D相机。
当车体被传送到检测工位后，相机被触发，采集车身点云，计算车身位姿。根据车身位姿，四台分别固定检测机械臂2末端的漆面成像采集组件3(成像相机)，在检测机械臂控制器的引导下到达指定位置，在采集组件控制器及图像处理单元的作用下按照离线规划的轨迹分步采集指定范围内车体表面的点云及图像，然后通过图像处理单元定位缺陷并判定其类型。
本实施例中，车身定位相机9为一台3D相机，可以理解，在其他实施例中根据车身的长度、宽度大小以及实际定位的需求，也可以为多台。打磨机械臂7为四套，相应的，力控打磨头8也为四套。
参见图3，基于本发明的上述系统，本发明进一步提供一种汽车车身漆面缺陷智能检测与打磨系统的方法，其步骤包括：
步骤S1：当待检车身5被传送到检测工位时，车身定位及缺陷坐标引导采集车身点云，以此作为输入，通过与参考车位点云或与CAD模型配准，估算车身位姿，实现车位定位。
步骤S2：基于车身位姿，调整离线规划的采集轨迹，在检测机械臂2的引导下漆面成像采集组件3以多节拍的方式采集漆面数据，包括3D点云及基于反射生成的2D图像。
步骤S3：通过深度学习与特征匹配结合的方式检测缺陷类型和定位，并计算缺陷的外轮廓坐标。
步骤S4：缺陷检测完成后，待检车身5运送到打磨工位。此时，打磨工位的车身定位相机采集车身点云，通过与检测工位采集的车身点云配准，估算在两个车身定位坐标系下的车身位姿偏。
步骤S5：基于离线标定变换矩阵以及车身位姿偏差等，将缺陷坐标从采集相机的坐标系转换到打磨机器人基坐标系。
步骤S6：根据缺陷坐标，打磨机器人控制器引导打磨机械臂7到达缺陷所在位置，在力控打磨控制器的作用下，通过力控打磨头8打磨和修复缺陷。
在具体应用实例中，所述步骤S2中，有多台检测机械臂2分管(如4台)不同的区域，由于相机视场有限，每块区域需要多拍采集完成整车车身的漆面数据获取。如图4所示，在各自检测机械臂2辖管区域，漆面被分割成多块区域(具体情况根据指定区域面积及相机视场而定)。采集时，检测机械臂2移动到参考区域Ar上方，然后在机械臂控制器的作用下，按照离线规划的路径移动到Ai(i＝1，2，…，8)区域，完成相机的多拍采集。
在具体应用实例中，所述步骤S5中，缺陷坐标转换是将成像相机坐标系下的缺陷转换到打磨机器人基坐标系。该过程的实现如图3和如图5所示，其详细流程包括：
步骤S501：将成像相机坐标系下的缺陷转换到参考坐标系，即将Ai区域相机坐标系下的缺陷转换到Ar参考区域的相机坐标系，其中转换矩阵为
Figure BDA0003563442250000081
该矩阵是通过离线标定的方式获取。
步骤S502：将参考坐标系下的缺陷转换到A相机坐标系。该过程的变换矩阵为
Figure BDA0003563442250000082
它是通过离线标定具有公共视场的不同视角的相机位姿获取。
步骤S503：将检测工位A相机坐标系下缺陷转换到打磨工位A`相机坐标系下，其中转换矩阵为
Figure BDA0003563442250000091
该矩阵通过A相机坐标系下采集的车身点云与A`相机坐标系下采集的车身点云配准而得。
步骤S504：将A`相机坐标系的缺陷位置转换到打磨机器人基坐标系下，其中转换矩阵为
Figure BDA0003563442250000092
该矩阵通过手眼标定获得。
进一步，在上述步骤S501中，离线标定是通过机器人控制器获取机械臂移动时的位姿变化，以此作为初始变换矩阵，然后离线采集2D靶面参考板上的参考点，通过配准的方式精确标定相邻节拍间相机的位姿。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种汽车车身漆面缺陷智能检测与打磨系统，其特征在于，包括：
缺陷检测单元，用来定位缺陷并判定其类型，其包括两套以上检测机械臂、两套以上的漆面成像采集组件、坐标引导采集组件及缺陷检测控制组件，所述缺陷检测控制组件包括检测机械臂控制器、采集组件控制器及图像处理单元；所述检测机械臂控制器与检测机械臂相连，所述采集组件控制器及图像处理单元与漆面成像采集组件、坐标引导采集组件相连；
缺陷打磨单元，包括车身定位相机、两套以上的打磨机械臂、两套以上的力控打磨头及打磨控制组件，所述打磨控制组件包括采集相机控制及图像处理单元、打磨机械臂控制器及力控打磨头控制器，所述车身定位相机与采集相机控制及图像处理单元相连，所述打磨机械臂与打磨机械臂控制器连接，所述力控打磨头安装在打磨机械臂的末端，并与力控打磨头控制器连接；
当车体被传送到打磨工位后，所述车身定位相机被触发采集车体点云，由图像处理单元计算车体位姿并转换缺陷坐标，打磨机械臂控制器根据缺陷坐标引导打磨机械臂到达缺陷位置，由力控打磨头修复缺陷。
2.根据权利要求1所述的汽车车身漆面缺陷智能检测与打磨系统，其特征在于：所述缺陷检测单元中，当车体被传送到检测工位后，相机被触发，采集车身点云，计算车身位姿。
3.根据权利要求2所述的汽车车身漆面缺陷智能检测与打磨系统，其特征在于：根据车身位姿，固定于检测机械臂末端的漆面成像采集组件在检测机械臂控制器的引导下到达指定位置，按照离线规划的轨迹，在采集组件控制器及及图像处理单元的作用下分步采集指定范围内车体表面的点云及图像，并通过图像处理单元定位缺陷并判定其类型。
4.一种基于上述权利要求1-3中任意一项所述汽车车身漆面缺陷智能检测与打磨系统的方法，其特征在于，步骤包括：
步骤S1：当待检车身被传送到检测工位时，车身定位及缺陷坐标引导采集车身点云，以此作为输入，通过与参考车位点云或与CAD模型配准，估算车身位姿，实现车位定位；
步骤S2：基于车身位姿，调整离线规划的采集轨迹，在检测机械臂的引导下漆面成像采集组件以多节拍的方式采集漆面数据，包括3D点云及基于反射生成的2D图像；
步骤S3：通过深度学习与特征匹配结合的方式检测缺陷类型和定位，并计算缺陷的外轮廓坐标、质心及其法向；
步骤S4：缺陷检测完成后，待检车身运送到打磨工位；打磨工位的车身定位相机采集车身点云，通过与检测工位采集的车身点云配准，估算在两个车身定位坐标系下的车身位姿偏；
步骤S5：基于离线标定变换矩阵以及车身位姿偏差，将缺陷坐标从采集相机的坐标系转换到打磨机器人基坐标系；
步骤S6：根据缺陷坐标，打磨机器人控制器引导打磨机械臂到达缺陷所在位置，在力控打磨控制器的作用下，通过力控打磨头打磨和修复缺陷。
5.根据权利要求4所述的汽车车身漆面缺陷智能检测与打磨系统的方法，其特征在于，所述步骤S2中，不同检测机械臂分管不同的区域，每块区域采用多拍采集方式完成整车车身的漆面数据获取。
6.根据权利要求5所述的汽车车身漆面缺陷智能检测与打磨系统的方法，其特征在于，所述步骤S2中，在各自检测机械臂辖管区域，漆面被分割成多块区域，采集时，检测机械臂移动到参考区域上方，然后在机械臂控制器的作用下，按照离线规划的路径移动到其他区域，完成相机的多拍采集。
7.根据权利要求4-6中任意一项所述的汽车车身漆面缺陷智能检测与打磨系统的方法，其特征在于，所述步骤S5中，缺陷坐标转换是将成像相机坐标系下的缺陷转换到打磨机器人基坐标系，流程包括：
步骤S501：将成像相机坐标系下的缺陷转换到参考坐标系，即将Ai区域相机坐标系下的缺陷转换到Ar参考区域的相机坐标系，其中转换矩阵为
Figure FDA0003563442240000021
该矩阵是通过离线标定的方式获取；
步骤S502：将参考坐标系下的缺陷转换到A相机坐标系；该过程的变换矩阵为
Figure FDA0003563442240000031
它是通过离线标定具有公共视场的不同视角的相机位姿获取；
步骤S503：将检测工位A相机坐标系下缺陷转换到打磨工位A`相机坐标系下，其中转换矩阵为
Figure FDA0003563442240000032
该矩阵通过A相机坐标系下采集的车身点云与A`相机坐标系下采集的车身点云配准而得；
步骤S504：将A`相机坐标系的缺陷位置转换到打磨机器人基坐标系下，其中转换矩阵为
Figure FDA0003563442240000033
该矩阵通过手眼标定获得。
8.根据权利要求7所述的汽车车身漆面缺陷智能检测与打磨系统的方法，其特征在于，在上述步骤S501中，离线标定是通过机器人控制器获取机械臂移动时的位姿变化，以此作为初始变换矩阵，然后离线采集2D靶面参考板上的参考点，通过配准的方式精确标定相邻节拍间相机的位姿。
CN202210296340.8A 2022-03-24 2022-03-24 一种汽车车身漆面缺陷智能检测与打磨系统及方法 Pending CN114720475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210296340.8A CN114720475A (zh) 2022-03-24 2022-03-24 一种汽车车身漆面缺陷智能检测与打磨系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210296340.8A CN114720475A (zh) 2022-03-24 2022-03-24 一种汽车车身漆面缺陷智能检测与打磨系统及方法

Publications (1)

Publication Number Publication Date
CN114720475A true CN114720475A (zh) 2022-07-08

Family

ID=82239557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210296340.8A Pending CN114720475A (zh) 2022-03-24 2022-03-24 一种汽车车身漆面缺陷智能检测与打磨系统及方法

Country Status (1)

Country Link
CN (1) CN114720475A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115326420A (zh) * 2022-07-29 2022-11-11 广州市斯睿特智能科技有限公司 汽车质量检测设备及检测控制方法
CN115343289A (zh) * 2022-07-18 2022-11-15 中国第一汽车股份有限公司 一种汽车总装整车坑包划伤自动检测系统及方法
CN115406676A (zh) * 2022-10-31 2022-11-29 成都盛锴科技有限公司 一种转向架检测系统及方法
CN115589534A (zh) * 2022-09-09 2023-01-10 广州市斯睿特智能科技有限公司 跟随式车辆检测项图片采集装置及方法
CN115847398A (zh) * 2022-11-09 2023-03-28 武汉理工大学 一种基于区域的机器人智能加工方法及系统
CN115922713A (zh) * 2022-12-07 2023-04-07 南京航空航天大学 一种基于多机械臂协同的汽车整车配置防错检测方法
CN116148259A (zh) * 2022-12-28 2023-05-23 广州市斯睿特智能科技有限公司 车辆缺陷定位系统、方法、装置及存储介质
CN117007598A (zh) * 2023-06-15 2023-11-07 湖南视比特机器人有限公司 一种基于偏折成像的车身漆面缺陷智能检测方法及系统
CN117969550A (zh) * 2024-03-29 2024-05-03 长春汽车工业高等专科学校 一种基于图像识别的汽车缺陷分析方法及系统
WO2024188101A1 (zh) * 2023-03-16 2024-09-19 湖南大学 一种工件涂装质量在线动态检测方法及检测系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115343289A (zh) * 2022-07-18 2022-11-15 中国第一汽车股份有限公司 一种汽车总装整车坑包划伤自动检测系统及方法
CN115326420A (zh) * 2022-07-29 2022-11-11 广州市斯睿特智能科技有限公司 汽车质量检测设备及检测控制方法
CN115589534B (zh) * 2022-09-09 2023-09-08 广州市斯睿特智能科技有限公司 跟随式车辆检测项图片采集装置及方法
CN115589534A (zh) * 2022-09-09 2023-01-10 广州市斯睿特智能科技有限公司 跟随式车辆检测项图片采集装置及方法
CN115406676A (zh) * 2022-10-31 2022-11-29 成都盛锴科技有限公司 一种转向架检测系统及方法
CN115847398A (zh) * 2022-11-09 2023-03-28 武汉理工大学 一种基于区域的机器人智能加工方法及系统
CN115922713B (zh) * 2022-12-07 2024-02-13 南京航空航天大学 一种基于多机械臂协同的汽车整车配置防错检测方法
CN115922713A (zh) * 2022-12-07 2023-04-07 南京航空航天大学 一种基于多机械臂协同的汽车整车配置防错检测方法
CN116148259A (zh) * 2022-12-28 2023-05-23 广州市斯睿特智能科技有限公司 车辆缺陷定位系统、方法、装置及存储介质
CN116148259B (zh) * 2022-12-28 2024-03-22 广州市斯睿特智能科技有限公司 车辆缺陷定位系统、方法、装置及存储介质
WO2024188101A1 (zh) * 2023-03-16 2024-09-19 湖南大学 一种工件涂装质量在线动态检测方法及检测系统
CN117007598A (zh) * 2023-06-15 2023-11-07 湖南视比特机器人有限公司 一种基于偏折成像的车身漆面缺陷智能检测方法及系统
CN117969550A (zh) * 2024-03-29 2024-05-03 长春汽车工业高等专科学校 一种基于图像识别的汽车缺陷分析方法及系统
CN117969550B (zh) * 2024-03-29 2024-06-04 长春汽车工业高等专科学校 一种基于图像识别的汽车缺陷分析方法及系统

Similar Documents

Publication Publication Date Title
CN114720475A (zh) 一种汽车车身漆面缺陷智能检测与打磨系统及方法
CN107884419B (zh) 汽车底盘自动检测设备、汽车智能检测系统
US10875592B2 (en) Automobile manufacturing plant and method
CN113146620B (zh) 基于双目视觉的双臂协作机器人系统和控制方法
CN114720476A (zh) 一种针对汽车车身漆面缺陷智能检测与打磨方法
CN111192307A (zh) 基于激光切割三维零部件的自适应纠偏方法
CN110370316B (zh) 一种基于垂直反射的机器人tcp标定方法
US20210255117A1 (en) Methods and plants for locating points on complex surfaces
CN114654465A (zh) 一种基于线激光结构光视觉传感的焊缝跟踪提取方法
CN114434036B (zh) 用于大型船舶结构件龙门式机器人焊接的三维视觉系统及运行方法
CN113074638A (zh) 一种用于工件涂装的三维扫描系统及其扫描成像方法
CN114440792A (zh) 多线激光传感的封闭布局结构、扫描拼接及涂胶扫描方法
CN112058559B (zh) 一种涂布机器人及车身涂布方法
CN113245094B (zh) 汽车制动鼓机器人喷涂系统及方法
CN214583043U (zh) 一种用于工件涂装的三维扫描系统
CN116930187A (zh) 车身漆面缺陷视像检测方法与视像检测系统
CN110370272A (zh) 一种基于垂直反射的机器人tcp标定系统
CN114046889B (zh) 一种红外相机的自动化标定方法
CN113828439B (zh) 图案喷涂检测系统
CN112170124B (zh) 一种车身车框视觉定位方法及装置
CN116945005A (zh) 一种汽车漆面缺陷检测与打磨方法及系统
CN219925528U (zh) 漆面缺陷检测系统以及漆面缺陷检测与打磨系统
CN110763151B (zh) 一种光学元件局部修研修抛的辅助装置及其在线辅助方法
CN111452036B (zh) 一种基于线激光双目立体视觉的工件抓取方法
CN115890408A (zh) 汽车车身涂装缺陷一体化检测与打磨系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination