CN116678348B - 一种柴油发动机整机零部件错漏装检测方法及装置 - Google Patents

一种柴油发动机整机零部件错漏装检测方法及装置 Download PDF

Info

Publication number
CN116678348B
CN116678348B CN202310948017.9A CN202310948017A CN116678348B CN 116678348 B CN116678348 B CN 116678348B CN 202310948017 A CN202310948017 A CN 202310948017A CN 116678348 B CN116678348 B CN 116678348B
Authority
CN
China
Prior art keywords
detected
robot
engine
coordinate system
current engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310948017.9A
Other languages
English (en)
Other versions
CN116678348A (zh
Inventor
贺元敏
张啟航
杨龙
张刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Liman Robot Technology Co ltd
Original Assignee
Wuxi Liman Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Liman Robot Technology Co ltd filed Critical Wuxi Liman Robot Technology Co ltd
Priority to CN202310948017.9A priority Critical patent/CN116678348B/zh
Publication of CN116678348A publication Critical patent/CN116678348A/zh
Application granted granted Critical
Publication of CN116678348B publication Critical patent/CN116678348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P21/00—Machines for assembling a multiplicity of different parts to compose units, with or without preceding or subsequent working of such parts, e.g. with programme control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及柴油发动机生产制造技术领域，具体公开了一种柴油发动机整机零部件错漏装检测方法及装置，该检测方法包括：获取四层关系配置表；当前待测发动机到位后，获取当前待测发动机型号对应的BOM清单；根据当前待测发动机的BOM清单，从四层关系配置表中查询出所有待检测项对应的检测信息，以生成当前待测发动机的配置项清单：根据当前待测发动机的配置项清单获取当前待测发动机中所有待检测项的图像信息；对当前待测发动机中所有待检测项的图像信息进行机器视觉检测，以得到当前待测发动机的零部件错漏装检测结果。本发明实现了发动机整机在线视觉检测功能，检测人工安装的各零部件是否存在错装、漏装或未装好等异常，提高了检测准确率。

Description

一种柴油发动机整机零部件错漏装检测方法及装置
技术领域
本发明涉及柴油发动机生产制造技术领域，尤其涉及一种柴油发动机整机零部件错漏装检测方法及一种柴油发动机整机零部件错漏装检测装置。
背景技术
在柴油发动机生产制造产线中，由于发动机生产标准的变化以及各个汽车主机厂对发动机配方要求的不同，导致产线生产的发动机零部件种类繁多、安装位置多变以及组合方式多样等问题。为了保证发动机出厂时产品质量达标，所有装配完成的成品发动机在下线前均需要做整机装配效果检测，保证每个零部件都正确安装。目前产线采用传统人工目检的方式进行发动机装配整机检测，但是此方法存在现场工人专业度要求较高、检测效率低以及检测效果不稳定等缺点。
常规对工件检测方法，工业上一般根据工件的类型将检测配置内容进行绑定，该方式对于数量少的工件类型检测可以保证系统的稳定可靠，但在发动机整机零部件检测场景下，零部件安装情况非常不固定的情况，这种方法难以适用，仅根据发动机机型进行绑定，每新增一种发动机型号都需要对其所有的检测项进行配置，调试整体周期长，且调试工作量较大。
针对上述产线的生产痛点，提供一种柴油发动机整机零部件错漏装检测方法及装置，检查发动机零部件的安装方式是否正确（包括有无检测，错漏装检测和零件角度安装检测）。
发明内容
针对现有技术中的缺陷和不足，本发明提供了一种柴油发动机整机零部件错漏装检测方法，能够应用3D视觉定位技术，获取发动机在机器人世界坐标系下的位姿数据，补偿机器人的拍照位姿，完成所有零部件的检测步骤，输出检测结果到软件界面上，显示该发动机零部件检测情况，提高了检测准确率。
作为本发明的第一个方面，提供一种柴油发动机整机零部件错漏装检测方法，应用在柴油发动机生产制造产线上，所述柴油发动机整机零部件错漏装检测方法包括：
步骤S1：获取四层关系配置表，其中，所述四层关系配置表包括所有类型柴油发动机的零部件检测信息；
步骤S2：当前待测发动机到位后，获取当前待测发动机型号对应的BOM清单，其中，所述BOM清单包括当前待测发动机的待检测项及其分类信息；
步骤S3：根据所述当前待测发动机的待检测项的分类信息，从所述四层关系配置表中查询出所有待检测项对应的检测信息，以生成当前待测发动机的配置项清单；
步骤S4：根据所述当前待测发动机的配置项清单获取所述当前待测发动机中所有待检测项的图像信息；
步骤S5：对所述当前待测发动机中所有待检测项的图像信息进行机器视觉检测，以得到当前待测发动机的零部件错漏装检测结果。
进一步地，在所述获取四层关系配置表之前，还包括：
通过手眼标定获取3D相机坐标系在3D机器人工具坐标系T3D下的位姿,以及获取3D机器人基坐标系B1在2D机器人基坐标系B2下的位姿/>；其中，3D机器人和2D机器人分别位于发动机的两侧，所述3D机器人上装备一台3D相机和一台2D相机，所述2D机器人上装备一台2D相机；
选取所有类型柴油发动机中其中一个历史发动机的罩盖后中间点作为该历史发动机基准坐标系原点，该历史发动机到位时，通过3D相机对该历史发动机的罩盖后中间点进行拍照以获得发动机基准坐标系w在当前3D相机坐标系下的位姿，然后根据手眼标定的结果，计算得到发动机基准坐标系w在3D机器人基坐标系B1下的位姿/>和发动机基准坐标系w在2D机器人基坐标系B2下的位姿/>；
根据该历史发动机上各零部件的分布情况，获取3D机器人或者2D机器人能够拍摄到该历史发动机上各零部件的检测点p，并记录各检测点p在发动机基准坐标系w下的位姿，进而得到各检测点p在当前3D机器人基坐标系B1下的位姿为/>和各检测点p在当前2D机器人基坐标系B2下的位姿为/>；
将该历史发动机上各零部件对应的检测点p的位姿信息作为各零部件对应的机器人点位信息，并统计所有类型柴油发动机上各零部件对应的机器人点位信息。
进一步地，所述通过手眼标定获取3D相机坐标系在3D机器人工具坐标系T3D下的位姿以及获取3D机器人基坐标系B1在2D机器人基坐标系B2下的位姿/>，还包括：
在安装3D相机的3D机器人下，采用Eye-In-Hand标定方法，移动3D机器人在不同姿态下拍摄固定标记物O，得到标记物O在移动3D相机坐标系下的第一个位置，同时记下此时3D机器人工具坐标系T3D在其基坐标系B1下的第一个位姿/>，变换3D机器人姿态一共记录15个姿态对：[/>] 以及[/>]，已知标记物O在3D机器人基坐标系B1下的位姿/>固定，则有 ，3D机器人工具坐标系T3D和3D相机的位置/>固定，则/>，通过随机方差梯度下降法，最终得到3D相机坐标系在3D机器人工具坐标系T3D下的位姿/>；
在仅安装2D相机的2D机器人下，把3D相机作为固定在空间中的点，采用Eye-To-Hand标定方法，2D机器人的工具上安装标识物，2D机器人变换姿态，3D相机拍摄在2D机器人不同姿态下标识物的位姿，得到固定3D相机坐标系下标记物O的位置 同时记下2D机器人工具坐标系T2D在其基坐标系B2下的位姿/>，一共记录十五个位姿对：[] [/>]，并计算出/>的逆矩阵/>，已知3D相机坐标系C在2D机器人基坐标系B2下的位姿/>固定，2D机器人工具坐标系T2D和标识物On的位置/>是固定，有/>，通过随机方差梯度下降法，得到3D相机坐标系在2D机器人基坐标系B2下的位姿/>，此时记录当前3D机器人工具坐标系T3D在其基坐标系B1下的位姿/>，通过已知的3D相机坐标系在3D机器人工具坐标系T3D下的位姿/>得到3D机器人基坐标系B1在2D机器人基坐标系B2下的位姿/>，其中，/>是/>的逆矩阵，/>是/>的逆矩阵。
进一步地，所述获取四层关系配置表，还包括：
将所有类型柴油发动机的零部件按物料类型、组件号、组件号+零件号、零件号+机型进行分类，以得到所有零部件的分类信息；
根据所有零部件的分类信息，进行所有零部件的视觉检测程序信息和机器人点位信息配置，以得到配置完成的四层关系配置表，所述配置完成的四层关系配置表包括所有待检测零部件的分类信息、视觉检测程序信息和机器人点位信息。
进一步地，所述根据所述当前待测发动机的待检测项的分类信息，从所述四层关系配置表中查询出所有待检测项对应的检测信息，以生成当前待测发动机的配置项清单，还包括：
根据所述当前待测发动机的每一待检测项的分类信息，按照所述四层关系配置表中物料类型->组件号->组件号+零件号->零件号+机型的索引方向进行检测信息索引，将索引到的所述视觉检测程序信息和机器人点位信息添加到所述当前待测发动机的配置项清单中，直至将当前待测发动机的所有待检测项的视觉检测程序信息和机器人点位信息全部添加到配置项清单中。
进一步地，所述根据所述当前待测发动机的每一待检测项的分类信息，按照所述四层关系配置表中物料类型->组件号->组件号+零件号->零件号+机型的索引方向进行检测信息索引，还包括：
判断所述四层关系配置表中是否存在当前待测发动机上待检测项的物料类型，若所述四层关系配置表中存在相同的物料类型，则将所述四层关系配置表中相同物料类型对应的检测信息作为所述当前待测发动机上该待检测项的视觉检测程序信息和机器人点位信息；若否，则判断所述四层关系配置表中是否存在当前待测发动机上待检测项的组件号；
若所述四层关系配置表中存在相同的组件号，则将所述四层关系配置表中相同组件号对应的检测信息作为所述当前待测发动机上该待检测项的视觉检测程序信息和机器人点位信息；若否，则判断所述四层关系配置表中是否存在当前待测发动机上待检测项的组件号+零件号；
若所述四层关系配置表中存在相同的组件号+零件号，则将所述四层关系配置表中相同组件号+零件号对应的检测信息作为所述当前待测发动机上该待检测项的视觉检测程序信息和机器人点位信息；若否，则判断所述四层关系配置表中是否存在当前待测发动机上待检测项的零件号+机型；
若所述四层关系配置表中存在相同的零件号+机型，则将所述四层关系配置表中相同零件号+机型对应的检测信息作为所述当前待测发动机上该待检测项的视觉检测程序信息和机器人点位信息。
进一步地，所述根据所述当前待测发动机的配置项清单获取所述当前待测发动机中所有待检测项的图像信息，还包括：
根据所述当前待测发动机的配置项清单中所有待检测项的机器人点位信息，对所述3D机器人和所述2D机器人的移动轨迹进行规划；
当所述3D机器人或所述2D机器人根据规划后的移动轨迹移动到检测点p后，控制所述3D机器人上的2D相机或所述2D机器人上的2D相机对所述当前待测发动机进行拍照，以获取当前待测发动机中对应所述检测点p的待检测项的图像信息，直到所有检测点p拍照完成。
进一步地，所述对所述当前待测发动机中所有待检测项的图像信息进行机器视觉检测，以得到当前待测发动机的零部件错漏装检测结果，还包括：
将所述当前待测发动机中所有待检测项的图像信息依据其视觉检测程序信息进行机器视觉检测，以得到当前待测发动机的零部件错漏装检测结果。
进一步地，在得到当前待测发动机的零部件错漏装检测结果之后，还包括：
将所述当前待测发动机的零部件错漏装检测结果显示到人机交互界面，并根据所述当前待测发动机的零部件错漏装检测结果将当前待测发动机放行或者报警。
作为本发明的第二个方面，提供一种柴油发动机整机零部件错漏装检测装置，用于实现前文所述的柴油发动机整机零部件错漏装检测方法，所述柴油发动机整机零部件错漏装检测装置包括控制器以及分别与所述控制器连接的2D机器人和3D机器人，2D机器人和3D机器人分别位于发动机的两侧，所述3D机器人上装备一台3D相机和一台2D相机，所述2D机器人上装备一台2D相机，所述控制器包括：
第一获取模块，用于获取四层关系配置表，其中，所述四层关系配置表包括所有类型柴油发动机的零部件检测信息；
第二获取模块，用于当前待测发动机到位后，获取当前待测发动机型号对应的BOM清单，其中，所述BOM清单包括当前待测发动机的待检测项及其分类信息；
查询模块，用于根据所述当前待测发动机的待检测项的分类信息，从所述四层关系配置表中查询出所有待检测项对应的检测信息，以生成当前待测发动机的配置项清单；
第三获取模块，用于根据所述当前待测发动机的配置项清单获取所述当前待测发动机中所有待检测项的图像信息；
检测模块，用于对所述当前待测发动机中所有待检测项的图像信息进行机器视觉检测，以得到当前待测发动机的零部件错漏装检测结果。
本发明提供的柴油发动机整机零部件错漏装检测方法具有以下优点：
（1）基于发动机的3D定位结果，补偿两台6轴机器人的空间拍照位姿，提高整机检测系统鲁棒性，解决产线发动机定位不稳定的问题；
（2）针对发动机厂家“小批量，多品种”的生产模式，提出了一种新的发动机在线自动配置的方法，在新增发动机检测配方时，只需读取发动机的bom清单，然后通过清单去零部件配置项的清单库中找到对应的配置项，可直接自动生成新配方的机器人检测点和对应的视觉检测项清单，完成检测配置，极大程度上减少了新增发动机检测配方时现场工程师调试的工作量；
（3）根据发动机实际生产需求，设计了配置发动机零件的四层关系表，四层关系表中包含了发动机检测的所有信息，在设备运行过程中，程序可快速索引到发动机对应的检测程序号清单，并发送给机器人，驱动机器人达到指定的测量拍照点；
（4）实现了发动机整机在线视觉检测功能，检测人工安装的各零部件是否存在错装、漏装或未装好等异常，并对其进行数据存储统计分析。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
图1为本发明提供的柴油发动机整机零部件错漏装检测方法的流程图。
图2为本发明提供的四层关系表的基础配置流程图。
图3为本发明提供的根据四层关系表生成当前发动机型号配置项清单的流程图。
图4为本发明提供的柴油发动机整机零部件错漏装检测方法的应用环境示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中提供了一种柴油发动机整机零部件错漏装检测方法，应用在柴油发动机生产制造产线上，图1为本发明提供的柴油发动机整机零部件错漏装检测方法的流程图，如图1所示，所述柴油发动机整机零部件错漏装检测方法，包括：
步骤S1：获取四层关系配置表，其中，所述四层关系配置表包括所有类型柴油发动机的零部件检测信息；
为获取发动机对应检测点的位置与线体来料时发动机的实际位置进行对应，需要将相机下的位置与机器人工具坐标系进行对应，需要用到机器人和相机的手眼标定。
优选的，在所述获取四层关系配置表之前，还包括：
通过手眼标定获取3D相机坐标系在3D机器人工具坐标系T3D下的位姿，以及获取3D机器人基坐标系B1在2D机器人基坐标系B2下的位姿/>；其中，3D机器人和2D机器人分别位于发动机的两侧，所述3D机器人上装备一台3D相机和一台2D相机，所述2D机器人上装备一台2D相机；
具体地，所述通过手眼标定获取3D相机坐标系在3D机器人工具坐标系T3D下的位姿，以及获取3D机器人基坐标系B1在2D机器人基坐标系B2下的位姿/>，还包括：
在安装3D相机的3D机器人下，采用Eye-In-Hand标定方法，由机器人的1*6 pose向量以及相机的1*6 pose向量组成，平移单位为m，转动单位为角度（deg）旋转顺序可调整，推荐使用固定轴欧拉角，旋转顺序为ZYX，即extrinsic EulerZYX。移动3D机器人在不同姿态下拍摄固定标记物O，得到标记物O在移动3D相机坐标系下的第一个位置，同时记下此时3D机器人工具坐标系T3D在其基坐标系B1下的第一个位姿/>，变换3D机器人姿态一共记录15个姿态对：[/>] 以及[/>]，已知标记物O在3D机器人基坐标系B1下的位姿/>固定，则有 ，3D机器人工具坐标系T3D和3D相机的位置/>固定，则/>，通过随机方差梯度下降法，最终得到3D相机坐标系在3D机器人工具坐标系T3D下的位姿/>；
在仅安装2D相机的2D机器人下，把3D相机作为固定在空间中的点，采用Eye-To-Hand标定方法，2D机器人的工具上安装标识物，2D机器人变换姿态，3D相机拍摄在2D机器人不同姿态下标识物的位姿，得到固定3D相机坐标系下标记物O的位置, 同时记下2D机器人工具坐标系T2D在其基坐标系B2下的位姿/>，一共记录十五个位姿对：[] [/>]，并计算出/>的逆矩阵/>，已知3D相机坐标系C在2D机器人基坐标系B2下的位姿/>固定，2D机器人工具坐标系T2D和标识物On的位置/>是固定，有/>，通过随机方差梯度下降法，得到3D相机坐标系在2D机器人基坐标系B2下的位姿/>，此时记录当前3D机器人工具坐标系T3D在其基坐标系B1下的位姿/>，通过已知的3D相机坐标系在3D机器人工具坐标系T3D下的位姿/>得到3D机器人基坐标系B1在2D机器人基坐标系B2下的位姿/>，其中，/>是/>的逆矩阵，/>是/>的逆矩阵；
最终，通过手眼标定获取到3D相机坐标系在3D机器人工具坐标系T3D下的位姿以及3D机器人基坐标系B1在2D机器人基坐标系B2下的位姿/>。
在获取发动机实际在机器人基坐标系下的位姿前，需要统一所有发动机的定位点基准，选取所有类型柴油发动机中其中一个历史发动机的罩盖后中间点作为该历史发动机基准坐标系原点，该历史发动机到位时，通过3D相机对该历史发动机的罩盖后中间点进行拍照以获得发动机基准坐标系w在当前3D相机坐标系下的位姿，然后根据手眼标定的结果，已知3D相机在机器人工具坐标系T3D下的位姿/>、当前机器人工具坐标系T3D在3D机器人基坐标系B1下的位姿/>和手眼标定后3D机器人基坐标系B1到2D机器人基坐标系B2下的位姿/>，计算得到发动机基准坐标系w在3D机器人基坐标系B1下的位姿和发动机基准坐标系w在2D机器人基坐标系B2下的位姿；
根据该历史发动机上各零部件的分布情况，获取3D机器人或者2D机器人能够拍摄到该历史发动机上各零部件的检测点p，并记录各检测点p在发动机基准坐标系w下的位姿，进而得到各检测点p在当前3D机器人基坐标系B1下的位姿为/>和各检测点p在当前2D机器人基坐标系B2下的位姿为/>；例如，检测点P1在发动机基准坐标系w下的位姿/>，进而得到检测点P1在当前3D机器人基坐标系B1下的位姿为；检测点P2在发动机基准坐标系w下位姿/>，进而得到检测点P2在当前2D机器人基坐标系B2下的位姿/>；
将该历史发动机上各零部件对应的检测点p的位姿信息作为各零部件对应的机器人点位信息，并统计所有类型柴油发动机上各零部件对应的机器人点位信息。
优选地，如图2所示，所述获取四层关系配置表，还包括：
将所有类型柴油发动机的零部件按物料类型、组件号、组件号+零件号、零件号+机型进行分类，以得到所有零部件的分类信息；分类根据为零件是否形状相似、在发动机上的位置是否相近。形状相似是为了提高视觉判断的准确率，位置相近是为了给机器人去到的视觉检测点位保证零件在相机视野范围内。
需要说明的是，根据生产工艺，采用四层关系表来配置所有零部件的检测信息，四层关系表中从第四层到第一层分别为物料类型、组件号、组件号和零件号的组合、零件号和机型的组合。例如，根据物料类型的分类，表示该零部件的外观和所在位置只跟是否有这种物料类型有关，其它层级同理。
根据所有零部件的分类信息，进行所有零部件的视觉检测程序信息和机器人点位信息配置，以得到配置完成的四层关系配置表，所述配置完成的四层关系配置表包括所有待检测零部件的分类信息、视觉检测程序信息和机器人点位信息。
在本发明实施例中，机器人以发动机的基准工件原点进行偏移，移动到发动机的5个面设定拍照点，所有的拍照点范围能覆盖所有的检测面，将分好类的零部件分配合适的点位信息，并将零部件的特征记录下来，得到对应零部件的程序号、机器人点位和零部件特征，以得到所有的机器人点位和视觉程序组成的检测程序信息表，每条检测程序信息对应唯一的ID，此ID与分类的零部件绑定，得到零部件的检测程序号的对应关系。把所有已经分类的基础零部件信息配置适合的程序号，得到完整的四层关系配置表。当调用对应零部件的程序号时，机器人移动到检测点位，触发相机拍照，视觉软件使用模式识别、blob分析等传统方法对零部件特征进行识别，判断零件有无、错装漏装情况。其中，四层关系配置表具体包括：配置ID、物料名称、物料类型、组件号、零件号、发动机类型、检测程序号、创建时间、修改时间、是否启用和描述；
得到四层关系配置表后，需要配置检测字段项列表，检测字段项列表包括物料字段信息和物料名称，因为在发动机组装中有很多种类的零部件的安装，但是并非所有的零部件都能检测的，所以在检测字段项列表中输入需要检测的零部件唯一的基础信息，采用组件号或者零件号的前七位作为基础信息。到此，前期需要基础配置的工作已经完成。
步骤S2：当前待测发动机到位后，获取当前待测发动机型号对应的BOM清单，其中，所述BOM清单包括当前待测发动机的待检测项及其分类信息；
步骤S3：根据所述当前待测发动机的待检测项的分类信息，从所述四层关系配置表中查询出所有待检测项对应的检测信息，以生成当前待测发动机的配置项清单；
优选地，如图3所示，所述根据所述当前待测发动机的待检测项的分类信息，从所述四层关系配置表中查询出所有待检测项对应的检测信息，以生成当前待测发动机的配置项清单，还包括：
根据所述当前待测发动机的每一待检测项的分类信息，按照所述四层关系配置表中物料类型->组件号->组件号+零件号->零件号+机型的索引方向进行检测信息索引，将索引到的所述视觉检测程序信息和机器人点位信息添加到所述当前待测发动机的配置项清单中，直至将当前待测发动机的所有待检测项的视觉检测程序信息和机器人点位信息全部添加到配置项清单中。
具体地，如图3所示，所述根据所述当前待测发动机的每一待检测项的分类信息，按照所述四层关系配置表中物料类型->组件号->组件号+零件号->零件号+机型的索引方向进行检测信息索引，还包括：
判断所述四层关系配置表中是否存在当前待测发动机上待检测项的物料类型，若所述四层关系配置表中存在相同的物料类型，则将所述四层关系配置表中相同物料类型对应的检测信息作为所述当前待测发动机上该待检测项的视觉检测程序信息和机器人点位信息；若否，则判断所述四层关系配置表中是否存在当前待测发动机上待检测项的组件号；
若所述四层关系配置表中存在相同的组件号，则将所述四层关系配置表中相同组件号对应的检测信息作为所述当前待测发动机上该待检测项的视觉检测程序信息和机器人点位信息；若否，则判断所述四层关系配置表中是否存在当前待测发动机上待检测项的组件号+零件号；
若所述四层关系配置表中存在相同的组件号+零件号，则将所述四层关系配置表中相同组件号+零件号对应的检测信息作为所述当前待测发动机上该待检测项的视觉检测程序信息和机器人点位信息；若否，则判断所述四层关系配置表中是否存在当前待测发动机上待检测项的零件号+机型；
若所述四层关系配置表中存在相同的零件号+机型，则将所述四层关系配置表中相同零件号+机型对应的检测信息作为所述当前待测发动机上该待检测项的视觉检测程序信息和机器人点位信息。
在本发明实施例中，当产线上下发生产任务，在当天零点自动从Mes系统拉取当天生产的机型列表，将所有机型进行配置到实际生产中，配置流程为：将机型和配置检测字段项列表在bom清单中进行索引，所有该机型下所有的零部件信息，筛选配置检测字段项列表下的项。此时能得到该机型的下所需要检测项的组件、零件、机型信息，其组件前七位作为检测项类型，再逐项去四层关系配置表中索引，索引方向为物料类型->组件号->组件号+零件号->零件号+机型，将索引到的程序号即检测程序信息表的ID号以及该零件信息填入发动机配置表中。将所有的发动机机型和机型下的零部件按该流程全部添加到发动机配置表中。至此，已自动生成当天所有生产的发动机的机型以及需要检测的零部件所需机器人移动的点位和视觉检测特征。
其中，检测程序信息表包括检测程序号、相机ID、视觉程序路径、曝光时间、机器人ID、机器人点位和描述；发动机配置表包括发动机类型、物料字段信息、四层关系配置ID、组件号、零件号、是否启用、是否配置、是否激活和描述。
为快速配置发动机零部件检测程序号，提出了一种发动机在线自动配置的方法，该方法根据产品工艺配方将零部件与物料类型、组件类型、零件类型和发动机类型进行绑定。在新的发动机型号到来时，读取发动机的bom清单，清单中包含该发动机装配的所有零部件信息，然后通过该清单去零部件配置项的清单库中找到对应的配置项，最终自动生成该发动机型号下的机器人所要运动到的检测点和对应的视觉检测项清单，完成检测配置。基于这种方法，只需把基础的零部件配置到配置库中，后期单零部件差异大的情况仅需要在线调试配置，其余情况都可以通过这种配置方法自动得到视觉检测配置。
步骤S4：根据所述当前待测发动机的配置项清单获取所述当前待测发动机中所有待检测项的图像信息；
优选地，所述根据所述当前待测发动机的配置项清单获取所述当前待测发动机中所有待检测项的图像信息，还包括：
根据所述当前待测发动机的配置项清单中所有待检测项的机器人点位信息，对所述3D机器人和所述2D机器人的移动轨迹进行规划；
当所述3D机器人或所述2D机器人根据规划后的移动轨迹移动到检测点p后，控制所述3D机器人上的2D相机或所述2D机器人上的2D相机对所述当前待测发动机进行拍照，以获取当前待测发动机中对应所述检测点p的待检测项的图像信息，直到所有检测点p拍照完成。
在本发明实施例中，当前待测发动机到位后，拉取发动机流水号信息和机型信息，再去发动机配置表中查询该发动机下的零部件信息以及其检测程序号，将所有的机器人点位信息发送给机器人，机器人将点位信息进行整理，按照点位所在的面进行自动轨迹规划：移动一个面内从左到右从上到下的点位，到位后通知软件系统，软件系统进行拍照，把该点位所有该发动机下需要检测的项逐一进行视觉检测。视觉检测完成后通知机器人移动到下一个点，重复上述步骤直到该发动机完成所有点位的检测，最后软件将结果显示在人机交互界面中，如有错漏装的项，则在界面上提示出来。
步骤S5：对所述当前待测发动机中所有待检测项的图像信息进行机器视觉检测，以得到当前待测发动机的零部件错漏装检测结果。
优选地，所述对所述当前待测发动机中所有待检测项的图像信息进行机器视觉检测，以得到当前待测发动机的零部件错漏装检测结果，还包括：
将所述当前待测发动机中所有待检测项的图像信息依据其视觉检测程序信息进行机器视觉检测，以得到当前待测发动机的零部件错漏装检测结果。
具体地，在得到当前待测发动机的零部件错漏装检测结果之后，还包括：
将所述当前待测发动机的零部件错漏装检测结果显示到人机交互界面，并根据所述当前待测发动机的零部件错漏装检测结果将当前待测发动机放行或者报警。
在本发明实施例中，当两台机器人到达对应的检测点位时，分别触发两台2D相机进行拍照取图，系统通过模板匹配、blob分析、颜色分析等算法判断零件的实际安装是否符合标准，从而给出检测结果，直到该发动机所有已配置的零部件被检测完成，该发动机至此检测完成，输出最终结果给到系统，提示报警或者直接放行。
综上所述，本发明提供的柴油发动机整机零部件错漏装检测方法，具体包括如下步骤：
根据发动机产品工艺设置四层关系配置表；
根据实际检测项的情况，完善四层关系配置表中对应检测项的检测程序和检测点位；
实际发动机到位后，获取发动机BOM清单信息；
根据BOM清单信息查询四层关系表，找到对应的检测项配置，生成配置项清单；
发送配置点位给机器人，机器人进行轨迹规划，移动到拍照点；
系统进行视觉拍照识别错漏装情况；
完成配置项清单里面的所有项的检查；
如果检测通过则放行，否则进行报警。
本发明提供的柴油发动机整机零部件错漏装检测方法，用于柴油发动机整机出厂前对其零部件错漏装检测，结合6轴机器人、2D和3D视觉等技术，对组装完成的柴油发动机进行整机装配效果检测，检测人工安装的各零部件是否存在错装、漏装或未装好等异常，并对其进行数据存储统计分析。
作为本发明的另一实施例，如图4所示，提供一种柴油发动机整机零部件错漏装检测装置，其中，所述柴油发动机整机零部件错漏装检测装置包括控制器以及分别与所述控制器连接的2D机器人和3D机器人，2D机器人和3D机器人分别位于发动机的两侧，所述3D机器人上装备一台3D相机和一台2D相机，所述2D机器人上装备一台2D相机，所述控制器包括：
第一获取模块，用于获取四层关系配置表，其中，所述四层关系配置表包括所有类型柴油发动机的零部件检测信息；
第二获取模块，用于当前待测发动机到位后，获取当前待测发动机型号对应的BOM清单，其中，所述BOM清单包括当前待测发动机的待检测项及其分类信息；
查询模块，用于根据所述当前待测发动机的待检测项的分类信息，从所述四层关系配置表中查询出所有待检测项对应的检测信息，以生成当前待测发动机的配置项清单；
第三获取模块，用于根据所述当前待测发动机的配置项清单获取所述当前待测发动机中所有待检测项的图像信息；
检测模块，用于对所述当前待测发动机中所有待检测项的图像信息进行机器视觉检测，以得到当前待测发动机的零部件错漏装检测结果。
下面对本发明提供的柴油发动机整机零部件错漏装检测方法的具体实施过程进行详细说明。
一、建立配置：
1、根据产品工艺将零件划分成零件号+机型、组件号+零件号、组件号、物料类型四层关系。
例需要监测发动机整机装配时：机油标尺、机油口盖、前支撑结构以及基准点零件发动机罩壳的错漏装情况。
检测机油标尺使用其零件号和组件号确定其在发动机上的位置形状，将其加入到四层配置关系表中，配置情况为表1：
表1
2、此时根据零部件的工艺获取到零件的分级关系，选取发动机罩盖后中间点作为发动机基准坐标系原点，当安装了机油标尺A的待测发动机到位后，调试人员移动机器人到发动机基准坐标系原点的拍照点，3D相机在该拍照点对该发动机罩盖进行拍照，获得发动机基准坐标系w在3D相机坐标系下的位姿，进而计算得到发动机基准坐标系w在3D机器人基坐标系B1下的位姿/>以及发动机基准坐标系w在2D机器人基坐标系B2下的位姿/>；
3、根据零件的排布情况，例如，将机器人1移动到能将机油标尺A拍摄到的检测点P1位置，将检测点P1作为机器人1点位1，同时记录出该点位1在发动机基准坐标系w下的位姿，进而得到检测点P1在当前机器人1基坐标系B1下的位姿为/>；
4、在该点位1，机器人1上的2D相机进行拍照，通过模版匹配和Blob视觉算法设定该检测项（机油标尺A）的检测方式作为程序1；
5、将机器人1点位1和视觉检测程序1记录到分好级的四层关系表中，到此完成了所有的配置。
二、依据当前发动机型号对应的BOM清单和四层关系表，生成当前发动机型号对应的配置项清单：
1、生产时，当发动机到位，系统获取当前发动机型号；
2、根据发动机型号ENGINETYPE1，查询该发动机装配BOM清单，该清单包含发动机安装时的信息，包括零件的零件号、对应安装的组件号，组件号的前七位确定其物料类型；
3、在BOM清单中查询需要检测的项，例如查询到机油标尺A后，根据其物料类型（组件号前七位）去已配置好的四层关系表中查询是否存在同样的物料类型，如果没有继续查询该机油标尺A的安装仅组件号PN1在四层关系表中是否有一致的项，如果没有继续查询该机标尺A的安装组件号PN1和零件号CN1在四层关系表中是否有一致的项；
4、将查询到的待检测项配置视觉检测程序和机器人点位信息写入该机型配置项清单中，例如，在四层关系表1中，查询到与该机油标尺A的安装组件号PN1和零件号CN1相同的项，则将四层关系表中相同组件号PN1和零件号CN1对应的视觉检测程序1和机器人点位信息2写入该机型配置项清单中；
5、循环查询直到所有需要检测的项都加入到当前发动机的配置项清单中，如表2；
表2
三、当自动配置完成后，设备就可以进行自动运行检测了，设备自动运行检测零部件安装情况的过程如下：
1、将发动机配置项清单中所有需要运行的点位发送给机器人；
2、机器人根据所有检测点的点位信息进行轨迹规划移动；
3、当机器人根据规划后的轨迹移动到位后，给上位系统到位信号和点位信息，上位系统根据点位信息去检索视觉程序通过各自机器人上面的2D相机进行视觉拍照识别是否错漏装；
4、视觉检测完成后，机器人移动到下一个点位，再进行拍照识别，直到所有点位拍照完成；
5、系统将拍照的结果显示到人机交互界面，系统根据整体识别结果进行放行或者报警。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (9)

1.一种柴油发动机整机零部件错漏装检测方法，应用在柴油发动机生产制造产线上，其特征在于，所述柴油发动机整机零部件错漏装检测方法包括：
步骤S1：获取四层关系配置表，其中，所述四层关系配置表包括所有类型柴油发动机的零部件检测信息；
步骤S2：当前待测发动机到位后，获取当前待测发动机型号对应的BOM清单，其中，所述BOM清单包括当前待测发动机的待检测项及其分类信息；
步骤S3：根据所述当前待测发动机的待检测项的分类信息，从所述四层关系配置表中查询出所有待检测项对应的检测信息，以生成当前待测发动机的配置项清单；
步骤S4：根据所述当前待测发动机的配置项清单获取所述当前待测发动机中所有待检测项的图像信息；
步骤S5：对所述当前待测发动机中所有待检测项的图像信息进行机器视觉检测，以得到当前待测发动机的零部件错漏装检测结果；
其中，在所述获取四层关系配置表之前，还包括：
通过手眼标定获取3D相机坐标系在3D机器人工具坐标系T3D下的位姿，以及获取3D机器人基坐标系B1在2D机器人基坐标系B2下的位姿/>；其中，3D机器人和2D机器人分别位于发动机的两侧，所述3D机器人上装备一台3D相机和一台2D相机，所述2D机器人上装备一台2D相机；
选取所有类型柴油发动机中其中一个历史发动机的罩盖后中间点作为该历史发动机基准坐标系原点，该历史发动机到位时，通过3D相机对该历史发动机的罩盖后中间点进行拍照以获得发动机基准坐标系w在当前3D相机坐标系下的位姿，然后根据手眼标定的结果，计算得到发动机基准坐标系w在3D机器人基坐标系B1下的位姿/>和发动机基准坐标系w在2D机器人基坐标系B2下的位姿/>；
根据该历史发动机上各零部件的分布情况，获取3D机器人或者2D机器人能够拍摄到该历史发动机上各零部件的检测点p，并记录各检测点p在发动机基准坐标系w下的位姿，进而得到各检测点p在当前3D机器人基坐标系B1下的位姿为/>和各检测点p在当前2D机器人基坐标系B2下的位姿为/>；
将该历史发动机上各零部件对应的检测点p的位姿信息作为各零部件对应的机器人点位信息，并统计所有类型柴油发动机上各零部件对应的机器人点位信息。
2.根据权利要求1所述的柴油发动机整机零部件错漏装检测方法，其特征在于，所述通过手眼标定获取3D相机坐标系在3D机器人工具坐标系T3D下的位姿以及获取3D机器人基坐标系B1在2D机器人基坐标系B2下的位姿/>，还包括：
在安装3D相机的3D机器人下，采用Eye-In-Hand标定方法，移动3D机器人在不同姿态下拍摄固定标记物O，得到标记物O在移动3D相机坐标系下的第一个位置，同时记下此时3D机器人工具坐标系T3D在其基坐标系B1下的第一个位姿/>，变换3D机器人姿态一共记录15个姿态对：[/>] 以及[/>]，已知标记物O在3D机器人基坐标系B1下的位姿/>固定，则有 ，3D机器人工具坐标系T3D和3D相机的位置/>固定，则/>，通过随机方差梯度下降法，最终得到3D相机坐标系在3D机器人工具坐标系T3D下的位姿/>；
在仅安装2D相机的2D机器人下，把3D相机作为固定在空间中的点，采用Eye-To-Hand标定方法，2D机器人的工具上安装标识物，2D机器人变换姿态，3D相机拍摄在2D机器人不同姿态下标识物的位姿，得到固定3D相机坐标系下标记物O的位置，同时记下2D机器人工具坐标系T2D在其基坐标系B2下的位姿/>，一共记录十五个位姿对：[/>][/>]，并计算出/>的逆矩阵/>，已知3D相机坐标系C在2D机器人基坐标系B2下的位姿/>固定，2D机器人工具坐标系T2D和标识物On的位置/>是固定，有，通过随机方差梯度下降法，得到3D相机坐标系在2D机器人基坐标系B2下的位姿/>，此时记录当前3D机器人工具坐标系T3D在其基坐标系B1下的位姿/>，通过已知的3D相机坐标系在3D机器人工具坐标系T3D下的位姿/>得到3D机器人基坐标系B1在2D机器人基坐标系B2下的位姿，其中，/>是/>的逆矩阵，/>是/>的逆矩阵。
3.根据权利要求1所述的柴油发动机整机零部件错漏装检测方法，其特征在于，所述获取四层关系配置表，还包括：
将所有类型柴油发动机的零部件按物料类型、组件号、组件号+零件号、零件号+机型进行分类，以得到所有零部件的分类信息；
根据所有零部件的分类信息，进行所有零部件的视觉检测程序信息和机器人点位信息配置，以得到配置完成的四层关系配置表，所述配置完成的四层关系配置表包括所有待检测零部件的分类信息、视觉检测程序信息和机器人点位信息。
4.根据权利要求3所述的柴油发动机整机零部件错漏装检测方法，其特征在于，所述根据所述当前待测发动机的待检测项的分类信息，从所述四层关系配置表中查询出所有待检测项对应的检测信息，以生成当前待测发动机的配置项清单，还包括：
根据所述当前待测发动机的每一待检测项的分类信息，按照所述四层关系配置表中物料类型->组件号->组件号+零件号->零件号+机型的索引方向进行检测信息索引，将索引到的所述视觉检测程序信息和机器人点位信息添加到所述当前待测发动机的配置项清单中，直至将当前待测发动机的所有待检测项的视觉检测程序信息和机器人点位信息全部添加到配置项清单中。
5.根据权利要求4所述的柴油发动机整机零部件错漏装检测方法，其特征在于，所述根据所述当前待测发动机的每一待检测项的分类信息，按照所述四层关系配置表中物料类型->组件号->组件号+零件号->零件号+机型的索引方向进行检测信息索引，还包括：
判断所述四层关系配置表中是否存在当前待测发动机上待检测项的物料类型，若所述四层关系配置表中存在相同的物料类型，则将所述四层关系配置表中相同物料类型对应的检测信息作为所述当前待测发动机上该待检测项的视觉检测程序信息和机器人点位信息；若否，则判断所述四层关系配置表中是否存在当前待测发动机上待检测项的组件号；
若所述四层关系配置表中存在相同的组件号，则将所述四层关系配置表中相同组件号对应的检测信息作为所述当前待测发动机上该待检测项的视觉检测程序信息和机器人点位信息；若否，则判断所述四层关系配置表中是否存在当前待测发动机上待检测项的组件号+零件号；
若所述四层关系配置表中存在相同的组件号+零件号，则将所述四层关系配置表中相同组件号+零件号对应的检测信息作为所述当前待测发动机上该待检测项的视觉检测程序信息和机器人点位信息；若否，则判断所述四层关系配置表中是否存在当前待测发动机上待检测项的零件号+机型；
若所述四层关系配置表中存在相同的零件号+机型，则将所述四层关系配置表中相同零件号+机型对应的检测信息作为所述当前待测发动机上该待检测项的视觉检测程序信息和机器人点位信息。
6.根据权利要求4所述的柴油发动机整机零部件错漏装检测方法，其特征在于，所述根据所述当前待测发动机的配置项清单获取所述当前待测发动机中所有待检测项的图像信息，还包括：
根据所述当前待测发动机的配置项清单中所有待检测项的机器人点位信息，对所述3D机器人和所述2D机器人的移动轨迹进行规划；
当所述3D机器人或所述2D机器人根据规划后的移动轨迹移动到检测点p后，控制所述3D机器人上的2D相机或所述2D机器人上的2D相机对所述当前待测发动机进行拍照，以获取当前待测发动机中对应所述检测点p的待检测项的图像信息，直到所有检测点p拍照完成。
7.根据权利要求6所述的柴油发动机整机零部件错漏装检测方法，其特征在于，所述对所述当前待测发动机中所有待检测项的图像信息进行机器视觉检测，以得到当前待测发动机的零部件错漏装检测结果，还包括：
将所述当前待测发动机中所有待检测项的图像信息依据其视觉检测程序信息进行机器视觉检测，以得到当前待测发动机的零部件错漏装检测结果。
8.根据权利要求1所述的柴油发动机整机零部件错漏装检测方法，其特征在于，在得到当前待测发动机的零部件错漏装检测结果之后，还包括：
将所述当前待测发动机的零部件错漏装检测结果显示到人机交互界面，并根据所述当前待测发动机的零部件错漏装检测结果将当前待测发动机放行或者报警。
9.一种柴油发动机整机零部件错漏装检测装置，用于实现权利要求1-8中任意一项所述的柴油发动机整机零部件错漏装检测方法，其特征在于，所述柴油发动机整机零部件错漏装检测装置包括控制器以及分别与所述控制器连接的2D机器人和3D机器人，2D机器人和3D机器人分别位于发动机的两侧，所述3D机器人上装备一台3D相机和一台2D相机，所述2D机器人上装备一台2D相机，所述控制器包括：
第一获取模块，用于获取四层关系配置表，其中，所述四层关系配置表包括所有类型柴油发动机的零部件检测信息；
第二获取模块，用于当前待测发动机到位后，获取当前待测发动机型号对应的BOM清单，其中，所述BOM清单包括当前待测发动机的待检测项及其分类信息；
查询模块，用于根据所述当前待测发动机的待检测项的分类信息，从所述四层关系配置表中查询出所有待检测项对应的检测信息，以生成当前待测发动机的配置项清单；
第三获取模块，用于根据所述当前待测发动机的配置项清单获取所述当前待测发动机中所有待检测项的图像信息；
检测模块，用于对所述当前待测发动机中所有待检测项的图像信息进行机器视觉检测，以得到当前待测发动机的零部件错漏装检测结果。
CN202310948017.9A 2023-07-31 2023-07-31 一种柴油发动机整机零部件错漏装检测方法及装置 Active CN116678348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310948017.9A CN116678348B (zh) 2023-07-31 2023-07-31 一种柴油发动机整机零部件错漏装检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310948017.9A CN116678348B (zh) 2023-07-31 2023-07-31 一种柴油发动机整机零部件错漏装检测方法及装置

Publications (2)

Publication Number Publication Date
CN116678348A CN116678348A (zh) 2023-09-01
CN116678348B true CN116678348B (zh) 2023-10-03

Family

ID=87789413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310948017.9A Active CN116678348B (zh) 2023-07-31 2023-07-31 一种柴油发动机整机零部件错漏装检测方法及装置

Country Status (1)

Country Link
CN (1) CN116678348B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118190959B (zh) * 2024-03-29 2024-09-24 广东九通智能装备有限公司 一种基于视觉检测的发动机零件错漏装检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6024486A (en) * 1996-06-05 2000-02-15 Compaq Computer Corporation Data error detection and correction
CN105333819A (zh) * 2014-08-15 2016-02-17 苏州北硕检测技术有限公司 基于面激光传感器的机器人工件装配及形位公差检测系统及其检测方法
CN108568667A (zh) * 2017-12-04 2018-09-25 湖南吉盛国际动力传动系统有限公司 一种自动变速器总成装配及测试方法
CN208459024U (zh) * 2018-07-20 2019-02-01 珠海市树研精密塑胶有限公司 防漏装ccd影像检测装置
CN115294308A (zh) * 2022-08-15 2022-11-04 武汉烽火技术服务有限公司 基于深度学习的增强现实辅助装配作业引导系统
CN115326411A (zh) * 2022-06-27 2022-11-11 中国第一汽车股份有限公司 一种汽车总装整车错装、漏装检查系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6024486A (en) * 1996-06-05 2000-02-15 Compaq Computer Corporation Data error detection and correction
CN105333819A (zh) * 2014-08-15 2016-02-17 苏州北硕检测技术有限公司 基于面激光传感器的机器人工件装配及形位公差检测系统及其检测方法
CN108568667A (zh) * 2017-12-04 2018-09-25 湖南吉盛国际动力传动系统有限公司 一种自动变速器总成装配及测试方法
CN208459024U (zh) * 2018-07-20 2019-02-01 珠海市树研精密塑胶有限公司 防漏装ccd影像检测装置
CN115326411A (zh) * 2022-06-27 2022-11-11 中国第一汽车股份有限公司 一种汽车总装整车错装、漏装检查系统及方法
CN115294308A (zh) * 2022-08-15 2022-11-04 武汉烽火技术服务有限公司 基于深度学习的增强现实辅助装配作业引导系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李广.基于多视觉传感器融合的装配过程质量移动智能 检测技术研究.现代制造工程.2023,(第第4期期),第116-123页. *

Also Published As

Publication number Publication date
CN116678348A (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
US8116529B2 (en) Populating fleet maintenance data using 2D feature recognition
EP2780849B1 (en) Automated identification of shoe parts
CN109101966B (zh) 基于深度学习的工件识别定位和姿态估计系统和方法
CN116678348B (zh) 一种柴油发动机整机零部件错漏装检测方法及装置
KR102056664B1 (ko) 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
CN106596565A (zh) 一种基于机械手的实时在线检测方法及检测系统
CN107727485B (zh) 用于硬度测试的方法和装置
CN105965519A (zh) 一种视觉引导下的离合器下料定位方法
de Araujo et al. Computer vision system for workpiece referencing in three-axis machining centers
US20020169586A1 (en) Automated CAD guided sensor planning process
EP3623882A1 (en) Identifying type and alignment of a workpiece
CN110376961A (zh) 数值控制系统
CN111626995B (zh) 一种针对工件的智能嵌件检测方法和装置
Piero et al. Virtual commissioning of camera-based quality assurance systems for mixed model assembly lines
CN116368349A (zh) 检查目标的语义分割
CN106203252A (zh) 借助相机查明机器人轴角度并选出机器人
CN114139404A (zh) 一种机器人的自动化性能测试方法
US10685147B2 (en) Non-conformance mapping and visualization
CN117092116A (zh) 基于机器视觉的汽车铝合金铸件缺陷检测系统及方法
US20150287177A1 (en) Image measuring device
CN106470307A (zh) 可编程机器视觉装置
Gierecker et al. Configuration and enablement of vision sensor solutions through a combined simulation based process chain
JPH09133519A (ja) ３次元形状構造物の検査方法
CN111906770A (zh) 工件安装方法及系统、计算机可读存储介质
Liling et al. Study of CCD vision-based monitoring system for NC lathes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and device for detecting errors and omissions in the installation of diesel engine components

Granted publication date: 20231003

Pledgee: Bank of China Limited by Share Ltd. Wuxi Huishan branch

Pledgor: WUXI LIMAN ROBOT TECHNOLOGY CO.,LTD.

Registration number: Y2024980026558