CN110006361B - 基于工业机器人的零件自动化检测方法及系统 - Google Patents

基于工业机器人的零件自动化检测方法及系统 Download PDF

Info

Publication number
CN110006361B
CN110006361B CN201910186226.8A CN201910186226A CN110006361B CN 110006361 B CN110006361 B CN 110006361B CN 201910186226 A CN201910186226 A CN 201910186226A CN 110006361 B CN110006361 B CN 110006361B
Authority
CN
China
Prior art keywords
orientation
industrial robot
coordinate system
coordinates
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910186226.8A
Other languages
English (en)
Other versions
CN110006361A (zh
Inventor
赵志涛
高祥
李栋
李建和
何国川
张光辉
常亮
刘占一
周迪
尹晓贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exquisite Automotive Systems Co Ltd
Original Assignee
Exquisite Automotive Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Exquisite Automotive Systems Co Ltd filed Critical Exquisite Automotive Systems Co Ltd
Priority to CN201910186226.8A priority Critical patent/CN110006361B/zh
Publication of CN110006361A publication Critical patent/CN110006361A/zh
Application granted granted Critical
Publication of CN110006361B publication Critical patent/CN110006361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515Objects of complex shape, e.g. examined with use of a surface follower device

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及工业机器人技术领域,提供一种基于工业机器人的零件自动化检测方法及系统,其中该方法包括:采集针对零件支架的三维投影图像,其中所述零件支架被标记有预设的与在机器人工具坐标系中的多个标定标志点坐标分别相对应的多个标志点,以及所述零件支架用于放置待检测零件;根据所述多个标定标志点坐标和所述多个标志点在所述三维投影图像上所对应的多个视觉立体坐标,确定所述零件支架的方位;根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位。由此,机器人可以自适应地根据标志点调整图像采集方位,实现了支架的共用性和所处位置的任意性,满足了对批量化生产产品的检测效率要求。

Description

基于工业机器人的零件自动化检测方法及系统
技术领域
本发明涉及工业机器人技术领域,特别涉及一种基于工业机器人的零件自动化检测方法及系统。
背景技术
在汽车零部件、分总成钣金件生产及装配过程中,需要批量地对零件结构尺寸公差进行检验。目前关于零件结构尺寸公差的检验方式主要是采用检具+量具的方法进行的人工检验。但是,人工检验方式要求品检人员具备高超的综合技能、需要用到大量高精度的检具及每个部件都需要较长的检测时间(如20分钟)。受到品检人员的技能限制、检具的精度限制等,使得检测结果不稳定、检具管理困难、检测时间长。
为了解决人工检验方式存在的上述问题,在目前相关技术中提出了一种采用非接触式光学三维测量设备进行人工扫描检测的方法,但是采用非接触式光学三维测量设备进行人工扫描检测的方法要求品检人员将检测设备移动到需要测量的各个地方,如此存在不能满足需要严格质量控制的批量生产产品的检测效率要求。
发明内容
有鉴于此,本发明旨在提出一种基于工业机器人的零件自动化检测方法,以提供自动化扫描检测零件质量的过程来满足检测效率的要求,并降低人为因素对检测结果的影响。
为达到上述目的,本发明的技术方案是这样实现的:
一种基于工业机器人的零件自动化检测方法,所述基于工业机器人的零件自动化检测方法包括:采集针对零件支架的三维投影图像,其中所述零件支架被标记有预设的与在机器人工具坐标系中的多个标定标志点坐标分别相对应的多个标志点,以及所述零件支架用于放置待检测零件;根据所述多个标定标志点坐标和所述多个标志点在所述三维投影图像上所对应的多个视觉立体坐标,确定所述零件支架的方位;根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位。
进一步的,所述采集针对零件支架的三维投影图像包括:基于蓝光投影仪发射并投影蓝光至所述零件支架;以及基于双目视觉三维测量仪对被投影的零件支架进行图像采集以获取所述三维投影图像。
进一步的,所述根据所述多个标定标志点坐标和所述多个标志点在所述三维投影图像上所对应的多个视觉立体坐标,确定所述零件支架的方位包括:根据所述多个视觉立体坐标和所述多个标定标志点坐标,确定所述机器人工具坐标系和由所述视觉立体坐标所指示的视觉坐标系之间的坐标系关联关系;基于所述坐标系关联关系进行坐标系转换,以使得经坐标系转换后的所述视觉立体坐标和经坐标系转换后的所述标定标志点坐标相匹配,从而确定所述零件支架的方位。
进一步的,所述根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位包括:根据所确定的零件支架的方位,控制所述工业机器人在移动导轨上移动,和/或,根据所确定的零件支架的方位,调整所述工业机器人的拍照角度。
进一步的,在所述根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位之后,所述基于工业机器人的零件自动化检测方法还包括:采集当前检测环境下的环境光强信息;根据所采集的环境光强信息,自适应调整所述蓝光投影仪的曝光参数。
进一步的,在所述根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位之后,所述基于工业机器人的零件自动化检测方法还包括:获取在所述零件支架上的所述待检测零件的外形特征,其中所述外形特征包括以下中的一者或多者:孔形、线形或面形;计算与所述外形特征相匹配的拍照轨迹,并根据所述拍照轨迹变换所述工业机器人的图像采集方位。
进一步的,在所述根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位之后,所述基于工业机器人的零件自动化检测方法还包括:按照设定拍照次序对所述待检测零件进行图像采集,以得出对应的零件图像序列;检测所述零件图像序列中的各个零件图像是否能够拼接成功;当所述零件图像序列中的各个零件图像未能够拼接成功时,控制所述工业机器人按照预设的回退距离自动回退至辅助拍照方位,以采集针对所述待检测零件的辅助零件图像,其中所述辅助零件图像用于补充所述零件图像序列。
进一步的,在所述根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位之后,所述基于工业机器人的零件自动化检测方法还包括:获取故障代码;当所述故障代码指示所述工业机器人存在视觉系统标定问题时,控制执行自动标定流程以重新标定所述工业机器人的视觉系统;当所述故障代码指示存在所述标志点与所述标定标志点坐标不匹配的问题时,执行报警操作。
相对于现有技术,本发明所述的基于工业机器人的零件自动化检测方法具有以下优势:
本发明所述的基于工业机器人的零件自动化检测方法中,通过对零件支架上的多个标志点的视觉立体坐标进行识别,并将其与机器人工具坐标系中针对标志点的标定标志点坐标相结合,从而确定了零件支架的方位,进而可以利用零件支架的方位实现调整工业机器人的图像采集方位;因此,在零件支架的摆放位置不处于设计位置或存在偏离时,机器人可以自适应地根据标志点调整图像采集方位,实现了支架的共用性和所处位置的任意性,满足了对批量化生产产品的检测效率要求。
本发明的另一目的在于提出一种基于工业机器人的零件自动化检测系统,以提供自动化扫描检测零件质量的过程来满足检测效率的要求,并降低人为因素对检测结果的影响。
为达到上述目的,本发明的技术方案是这样实现的:
一种基于工业机器人的零件自动化检测系统,所述基于工业机器人的零件自动化检测系统包括:采集单元,用于采集针对零件支架的三维投影图像,其中所述零件支架被标记有与预设的在机器人工具坐标系中的多个标定标志点坐标分别相对应的多个标志点,以及所述零件支架用于放置待检测零件;零件支架方位确定单元,用于根据所述多个标定标志点坐标和所述多个标志点在所述三维投影图像上所对应的多个视觉立体坐标,确定所述零件支架的方位;图像采集方位确定单元,用于根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位。
进一步的,所述采集单元包括:双目视觉三维测量仪,用于对所述零件支架进行拍照,其中所述零件支架被蓝光投影仪所发射的蓝光照射。
进一步的,所述零件支架方位确定单元包括:坐标系关联关系确定模块,用于根据所述多个视觉立体坐标和所述多个标定标志点坐标,确定所述机器人工具坐标系和由所述视觉立体坐标所指示的视觉坐标系之间的坐标系关联关系;方位确定模块,用于基于所述坐标系关联关系进行坐标系转换,以使得经坐标系转换后的所述视觉立体坐标和经坐标系转换后的标定标志点坐标相匹配,从而确定所述零件支架的方位。
进一步的,所述基于工业机器人的零件自动化检测系统还包括:外形特征获取单元,用于在所述根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位之后,获取在所述零件支架上的所述待检测零件的外形特征,其中所述外形特征包括以下中的一者或多者:孔形、线形或面形;轨迹拍照单元,用于计算与所述外形特征相匹配的拍照轨迹,并根据所述拍照轨迹变换所述工业机器人的图像采集方位。
进一步的,所述基于工业机器人的零件自动化检测系统还包括:拼接问题处理单元,用于按照设定拍照次序对所述待检测零件进行图像采集,以得出对应的零件图像序列,检测所述零件图像序列中的各个零件图像是否能够拼接成功,以及,当所述零件图像序列中的各个零件图像未能够拼接成功时,控制所述工业机器人按照预设的回退距离自动回退至辅助拍照方位,以采集针对所述待检测零件的辅助零件图像,其中所述辅助零件图像用于补充所述零件图像序列。
进一步的,所述基于工业机器人的零件自动化检测系统还包括:标定问题处理单元,用于获取故障代码,当所述故障代码指示所述工业机器人存在视觉系统标定问题时,控制执行自动标定流程以重新标定所述工业机器人的视觉系统,以及,当所述故障代码指示存在所述标志点与所述标定标志点坐标不匹配的问题时,执行报警操作。
所述基于工业机器人的零件自动化检测系统与上述基于工业机器人的零件自动化检测方法相对于现有技术所具有的优势相同,在此不再赘述。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施方式及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施方式所述的基于工业机器人的零件自动化检测方法的流程图;
图2A为本发明实施方式所述的基于工业机器人的零件自动化检测方法中应用投影仪和摄像机的组合来对目标零件的图像投影和采集的示意图;
图2B为本发明实施方式所述的基于工业机器人的零件自动化检测方法中所应用的双目视觉三维测量仪的示意图;
图2C为本发明实施方式所述的基于工业机器人的零件自动化检测方法中所应用的蓝光投影仪的效果示意图;
图3为测量系统的相机采用从多个不同角度对已分区的受测物体的表面进行拍照的示意图;
图4A为应用本发明一实施例的基于工业机器人的零件自动化检测方法的示例性场景;
图4B为工业机器人的示意图;
图4C为零件支架的示意图;
图5为本发明一实施例的基于工业机器人的零件自动化检测方法中机器人视觉自动引导流程图;
图6为本发明一实施例的基于工业机器人的零件自动化检测方法中对单张图片的误差进行自动调整的流程图;
图7为本发明一实施例的基于工业机器人的零件自动化检测系统的架构示意图。
附图标记说明:
701 采集单元 702 零件支架方位确定单元
703 图像采集方位确定单元 704 外形特征获取单元
705 轨迹拍照单元 706 拼接问题处理单元
707 标定问题处理单元
70 基于工业机器人的零件自动化检测系统
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施方式及实施方式中的特征可以相互组合。
另外,在本发明的实施方式中所提到的工业机器人,是指装设有视觉系统或拍照装置的机器人,其被广泛应用于对零件(例如汽车零件)的缺陷进行检测。
下面将参考附图并结合实施方式来详细说明本发明。
如图1所示,本发明一实施例的基于工业机器人的零件自动化检测方法,包括:
S11、采集针对零件支架的三维投影图像,其中该零件支架被标记有预设的与在机器人工具坐标系中的多个标定标志点坐标分别相对应的多个标志点,以及该零件支架用于放置待检测零件。
作为示例,可以是应用投影仪和摄像机的组合(如图2A)来实现针对目标零件的图像投影和采集。优选地,投影仪可以是采用蓝光投影仪,因为其所发出的蓝色结构光(或蓝光)能在任意环境光下测量,且具有更少的反光和图片噪音;投影仪将光栅条纹投射到被测物体表面,受物体高度的调制,光栅条纹发生形变(如图2C所示);另外,还可以是采用如图2B所示的双目视觉三维测量仪(包括双目镜头M和蓝光光栅N)来进行拍照,以采集拍照对象的三维投影图像。
在本发明实施例中应用了放置零件的零件支架,在该零件支架上被预先标记有多个标志点,并且这些标志点之间的方位(包括方向和位置)关系可以是以坐标的形式被预先存储在机器人中,也就是机器人可以是预先存储这些标定标志点在机器人工具坐标系中的多个标定标志点坐标。其中,在零件支架上的标志点的数量一般可以是3个或3个以上。
S12、根据多个标定标志点坐标和多个标志点在三维投影图像上所对应的多个视觉立体坐标,确定零件支架的方位。
其中,由于多个标定标志点坐标和多个视觉立体坐标是与零件支架上的同样标志点相匹配的,因此通过坐标比较(例如向量转换),就能够得到零件支架的方位。
在一些实施方式中,其可以是根据多个视觉立体坐标和多个标定标志点坐标,确定机器人工具坐标系和由视觉立体坐标所指示的视觉坐标系之间的坐标系关联关系,例如可以是确定机器人工具坐标系的原点和视觉坐标系的原点之间的关系,以及坐标系的对应坐标轴之间的关系;然后,基于坐标系关联关系确定零件支架的方位,例如可以是在按照该坐标系关联关系进行坐标系转换(包括坐标系原点位置转换和坐标轴方向转换)之后能够使得经坐标系转换后的视觉立体坐标和经坐标系转换后的标定标志点坐标相匹配,从而确定零件支架的方位。
S13、根据所确定的零件支架的方位,调整工业机器人的图像采集方位。
具体的,其可以是根据所确定的零件支架的方位,控制工业机器人在移动导轨上移动,由此改变工业机器人的位置,和/或根据所确定的零件支架的方位,调整工业机器人的拍照角度(例如安装视觉系统的工具的倾角)。具体的,在通过坐标系转换计算之后得出相应的零件支架在空间中的计算坐标方位,其中计算坐标方位可以是等于标定标志点坐标与转换坐标偏差的累加,然后通过控制工业机器人以计算坐标方位为目标进行移动,其中可以是控制工业机器人在移动导轨上移动以进行大幅的移动调整,还可以是控制工业机器人调整拍照角度以进行微幅的角度调整,从而保障能够在最终的一个较佳的图像采集方位进行图像采集。
在通过上述实施方式实现了对支架位置的定位之后,机器人还可以是根据环境信息或待检测的零件的特征来对机器人系统做一些调整。作为示例,一方面,其可以是采集当前检测环境下的环境光强信息,并根据所采集的环境光强信息,自适应调整蓝光投影仪的曝光参数,例如通过调节蓝光投影仪的曝光参数,以使得当前拍摄环境的曝光量处于适当的曝光阈值范围内,从而保证针对待检测零件所拍摄的照片不会出现曝光过度的情况;作为示例,可以是在机器人系统中设置期望的曝光阈值范围,并根据所采集的环境光强信息与曝光阈值范围进行比较,从而得到所采集环境光强信息相对于曝光阈值范围的偏差,例如当所采集的环境光强信息偏低时可以是调整蓝光投影仪的曝光参数以增大曝光量,而当所采集的环境光强信息偏高时还可以是调整蓝光投影仪的曝光参数以降低曝光量。另一方面,其还可以是首先获取在零件支架上的待检测零件的外形特征,其中该外形特征包括以下中的一者或多者:孔形、线形或面形,然后计算与外形特征相匹配的拍照轨迹,并根据拍照轨迹变换工业机器人的图像采集方位;示例性地,其可以是确定与外形特征相匹配的多个方位点,在对零件进行检测的过程中可以是将工业机器人的视觉系统工具顺序移动到多个方位点,从而实现对零件进行多方位拍照,进而构建与待测零件相关的点云,能够更可靠地识别出零件是否存在缺陷。
如图3所示,测量系统的相机采用从多个不同角度对已分区的受测物体的表面进行拍照;拍摄的条件是确保每个反光点需至少在两张照片上出现,保证由2D转化成3D数据;系统软件根据固定在受测物体表面或附近的标准尺上面的已知点的距离,自动解算所拍取照片上的反光点对于所建立的坐标系的关系,从而计算反光点3D空间坐标值,同时得到点点间距,并确定大量具有空间坐标值(X-Y-Z)的点的集合。
如图4A,其所示出的是应用本发明一实施例的基于工业机器人的零件自动化检测方法的示例性场景,其中工业机器人可以是对多个任意摆放的零件支架进行粗定位,并进而对零件支架上的零件进行视觉采集和检测。如图4B,其所示出的是工业机器人的示例,其中工业机器人通过安装在法兰盘上的视觉系统采集图像,并且工业机器人可以是在移动导轨进行移动,实现对制件曲面及边角的多角度拍照,并通过与蓝光系统的信号交互进行制件点云的拼接。如图4C,其所示出的是零件支架(或转台支架或者固定支架),其用于支撑零件。
在工作站自动化检测零件的过程中,其可以是包括以下工作流程:
1)确定检测要求,具体可以是先确定检测部位,如平面度检测,以及孔径检测以确定精度要求,例如0.0025mm,并且需要达到极高的同一重复性。
2)规划检测流程,具体包括:
a)仿真离线:
在仿真环境下验证测试位置的可达性,确定零件放置的位置;
根据检测要求,规划机器人轨迹,输出机器人离线轨迹,导入机器人控制器。
b)手动示教:
在示教模式验证机器人的离线轨迹程序,并在每个拍照位置拍照,蓝光系统采集图像并生成点云数据。在比对软件上编辑检测要求并保存。
3)自动智能扫描:系统按照预设路径进行全自动三维扫描,无需人工干预,有效降低三维检测过程中的人工误差。适用于批量的零件检测。
Ⅰ机器人能够与蓝光投影仪直接通讯:基于SM专有通讯接口程序,不用中间适配器,实现直接控制流程。
Ⅱ自动标定:当检测蓝光系统需要标定的时候,机器人调用自动标定程序模块,执行自动标定过程。
Ⅲ自动引导:如图5所示,其示出的是机器人视觉自动引导流程,对零件支架上的特征点进行拍照,计算零件支架的三维偏差数据,机器人根据偏差自动调整偏差,把原来示教的轨迹做修正,由此能够实现自适应零件支架的个性化位置形态。
Ⅳ单张照片自动调整:如图6所示,在拍照之后会判断照片是否成功,并在照片不成功的情况下检测故障问题并自动调节以解决故障问题;当检测环境变化造成成像曝光环境变化,机器人自动调整曝光参数,部分适应外部光线的变化;零件位置、零件变形、以及标志点不一致,会造成原有拍照次序无法拼接,此时机器人自动退回一段距离,补充一个或多个拍照位置,解决拼接错误。具体的,一方面,可以是首先按照设定拍照次序对待检测零件进行图像采集,以得出对应的零件图像序列;然后,检测零件图像序列中的各个零件图像是否能够拼接成功;当零件图像序列中的各个零件图像未能够拼接成功时,控制工业机器人按照预设的回退距离自动回退至辅助拍照方位,以采集针对所述待检测零件的辅助零件图像,并利用辅助零件图像来补充零件图像序列;另外,还可以是进行多次辅助拍照方位的调整,以使得经补充后的零件图像序列能够拼接成功。另一方面,还可以是获取故障代码,例如机器人读取故障代码,当该故障代码指示工业机器人存在视觉系统标定问题时,控制执行自动标定流程以重新标定工业机器人的视觉系统,也就是可以再次执行上述步骤Ⅱ。又一方面,还可以是机器人读取故障代码,并当故障代码指示存在标志点与标定标志点坐标不匹配的问题时,执行报警操作,从而提醒外围人员检查确认。
4)生成检测报告。当检测完成后,把检测结果以PDF、EXCEL等格式,按照零件名称和检测日期顺序存储到指令存储单元。可以打印输出,或者上传企业MES系统。
在本发明实施例中,通过自动调整曝光参数,解决了因外界光线强度变化导致成像曝光环境变化的问题,使得机器人系统直接修改曝光参数,以应对外接光线强度对成像的影响;另外,通过自动计算拍照位置,根据零件外形特征,对于孔、线、面等特征,自动计算拍照位置,生成适应该特征的拍照轨迹;以及,自动调整拍照位置,也就是机器人自动退回一段距离,补充一个或多个拍照位置,解决了因零件位置、零件变形、以及标志点不一致,所导致的原有拍照次序无法拼接或拼接错误的问题;以及,不同的零件支架被放入工作站内时,实际位置无法与设计位置保持一致,固定的机器人轨迹无法满足这个变化,通过扫描系统识别支架上的标志点并把标志点的数据发给机器人,使得机器人通过坐标系转化计算出支架的位置,从而调整原来的轨迹适应支架的变化。通过标定关系,自动调整机器人轨迹及拍照位置,实现视觉定位引导拍照功能。
另外,本发明实施例还具有柔性、高效、适用范围广等优点,可以适用于白车身零部件、底盘、模具等的检测。
如图7所示,本发明一实施例的基于工业机器人的零件自动化检测系统70,包括:采集单元701,用于采集针对零件支架的三维投影图像,其中所述零件支架被标记有与预设的在机器人工具坐标系中的多个标定标志点坐标分别相对应的多个标志点,以及所述零件支架用于放置待检测零件;零件支架方位确定单元702,用于根据所述多个标定标志点坐标和所述多个标志点在所述三维投影图像上所对应的多个视觉立体坐标,确定所述零件支架的方位;图像采集方位确定单元703,用于根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位。
在一些实施方式中,所述采集单元701包括:双目视觉三维测量仪,用于对所述零件支架进行拍照,其中所述零件支架被蓝光投影仪所发射的蓝光照射。
在一些实施方式中,所述零件支架方位确定单元702包括:坐标系关联关系确定模块,用于根据所述多个视觉立体坐标和所述多个标定标志点坐标,确定所述机器人工具坐标系和由所述视觉立体坐标所指示的视觉坐标系之间的坐标系关联关系;方位确定模块,用于基于所述坐标系关联关系进行坐标系转换,以使得经坐标系转换后的所述视觉立体坐标和经坐标系转换后的标定标志点坐标相匹配,从而确定所述零件支架的方位。
在一些实施方式中,所述基于工业机器人的零件自动化检测系统70还包括:外形特征获取单元704,用于在所述根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位之后,获取在所述零件支架上的所述待检测零件的外形特征,其中所述外形特征包括以下中的一者或多者:孔形、线形或面形;轨迹拍照单元705,用于计算与所述外形特征相匹配的拍照轨迹,并根据所述拍照轨迹变换所述工业机器人的图像采集方位。
在一些实施方式中,所述基于工业机器人的零件自动化检测系统70还包括:拼接问题处理单元706,用于按照设定拍照次序对所述待检测零件进行图像采集,以得出对应的零件图像序列,检测所述零件图像序列中的各个零件图像是否能够拼接成功,以及,当所述零件图像序列中的各个零件图像未能够拼接成功时,控制所述工业机器人按照预设的回退距离自动回退至辅助拍照方位,以采集针对所述待检测零件的辅助零件图像,其中所述辅助零件图像用于补充所述零件图像序列。
在一些实施方式中,所述基于工业机器人的零件自动化检测系统70还包括:标定问题处理单元707,用于获取故障代码,当所述故障代码指示所述工业机器人存在视觉系统标定问题时,控制执行自动标定流程以重新标定所述工业机器人的视觉系统,以及,当所述故障代码指示存在所述标志点与所述标定标志点坐标不匹配的问题时,执行报警操作。
关于本发明实施例的基于工业机器人的零件自动化检测系统更多的细节可以参照上文基于工业机器人的零件自动化检测方法实施例的描述,在此便不再赘述。
以上所述仅为本发明的较佳实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于工业机器人的零件自动化检测方法,其特征在于,所述基于工业机器人的零件自动化检测方法包括:
采集针对零件支架的三维投影图像,其中所述零件支架被标记有预设的与在机器人工具坐标系中的多个标定标志点坐标分别相对应的多个标志点,以及所述零件支架用于放置待检测零件,
其中,在所述零件支架上的所述标志点的数量是三个或三个以上;
根据所述多个标定标志点坐标和所述多个标志点在所述三维投影图像上所对应的多个视觉立体坐标,确定所述零件支架的方位;
根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位,包括:
根据所确定的零件支架的方位,控制所述工业机器人在移动导轨上移动,
根据所确定的零件支架的方位,调整所述工业机器人的拍照角度;
其中,所述方位包括方向和位置。
2.根据权利要求1所述的基于工业机器人的零件自动化检测方法,其特征在于,所述采集针对零件支架的三维投影图像包括:
基于蓝光投影仪发射并投影蓝光至所述零件支架;以及
基于双目视觉三维测量仪对被投影的零件支架进行图像采集以获取所述三维投影图像。
3.根据权利要求1所述的基于工业机器人的零件自动化检测方法,其特征在于,所述根据所述多个标定标志点坐标和所述多个标志点在所述三维投影图像上所对应的多个视觉立体坐标,确定所述零件支架的方位包括:
根据所述多个视觉立体坐标和所述多个标定标志点坐标,确定所述机器人工具坐标系和由所述视觉立体坐标所指示的视觉坐标系之间的坐标系关联关系;
基于所述坐标系关联关系进行坐标系转换,以使得经坐标系转换后的视觉立体坐标和经坐标系转换后的标定标志点坐标相匹配,从而确定所述零件支架的方位。
4.根据权利要求2所述的基于工业机器人的零件自动化检测方法,其特征在于,在所述根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位之后,所述基于工业机器人的零件自动化检测方法还包括:
采集当前检测环境下的环境光强信息;
根据所采集的环境光强信息,自适应调整所述蓝光投影仪的曝光参数。
5.根据权利要求1-4中任一项所述的基于工业机器人的零件自动化检测方法,其特征在于,在所述根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位之后,所述基于工业机器人的零件自动化检测方法还包括:
获取在所述零件支架上的所述待检测零件的外形特征,其中所述外形特征包括以下中的一者或多者:孔形、线形或面形;
计算与所述外形特征相匹配的拍照轨迹,并根据所述拍照轨迹变换所述工业机器人的图像采集方位。
6.根据权利要求1-4中任一项所述的基于工业机器人的零件自动化检测方法,其特征在于,在所述根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位之后,所述基于工业机器人的零件自动化检测方法还包括:
按照设定拍照次序对所述待检测零件进行图像采集,以得出对应的零件图像序列;
检测所述零件图像序列中的各个零件图像是否能够拼接成功;
当所述零件图像序列中的各个零件图像未能够拼接成功时,控制所述工业机器人按照预设的回退距离自动回退至辅助拍照方位,以采集针对所述待检测零件的辅助零件图像,其中所述辅助零件图像用于补充所述零件图像序列。
7.根据权利要求1-4中任一项所述的基于工业机器人的零件自动化检测方法,其特征在于,在所述根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位之后,所述基于工业机器人的零件自动化检测方法还包括:
获取故障代码;
当所述故障代码指示所述工业机器人存在视觉系统标定问题时,控制执行自动标定流程以重新标定所述工业机器人的视觉系统;
当所述故障代码指示存在所述标志点与所述标定标志点坐标不匹配的问题时,执行报警操作。
8.一种基于工业机器人的零件自动化检测系统,其特征在于,所述基于工业机器人的零件自动化检测系统包括:
采集单元,用于采集针对零件支架的三维投影图像,其中所述零件支架被标记有与预设的在机器人工具坐标系中的多个标定标志点坐标分别相对应的多个标志点,以及所述零件支架用于放置待检测零件;
零件支架方位确定单元,用于根据所述多个标定标志点坐标和所述多个标志点在所述三维投影图像上所对应的多个视觉立体坐标,确定所述零件支架的方位;
图像采集方位确定单元,用于根据所确定的零件支架的方位,调整所述工业机器人的图像采集方位;
其中,所述方位包括方向和位置。
9.根据权利要求8所述的基于工业机器人的零件自动化检测系统,其特征在于,所述零件支架方位确定单元包括:
坐标系关联关系确定模块,用于根据所述多个视觉立体坐标和所述多个标定标志点坐标,确定所述机器人工具坐标系和由所述视觉立体坐标所指示的视觉坐标系之间的坐标系关联关系;
方位确定模块,用于基于所述坐标系关联关系进行坐标系转换,以使得经坐标系转换后的所述视觉立体坐标和经坐标系转换后的标定标志点坐标相匹配,从而确定所述零件支架的方位。
CN201910186226.8A 2019-03-12 2019-03-12 基于工业机器人的零件自动化检测方法及系统 Active CN110006361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910186226.8A CN110006361B (zh) 2019-03-12 2019-03-12 基于工业机器人的零件自动化检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910186226.8A CN110006361B (zh) 2019-03-12 2019-03-12 基于工业机器人的零件自动化检测方法及系统

Publications (2)

Publication Number Publication Date
CN110006361A CN110006361A (zh) 2019-07-12
CN110006361B true CN110006361B (zh) 2021-08-03

Family

ID=67166887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910186226.8A Active CN110006361B (zh) 2019-03-12 2019-03-12 基于工业机器人的零件自动化检测方法及系统

Country Status (1)

Country Link
CN (1) CN110006361B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112414340B (zh) * 2019-08-22 2022-04-08 上海飞机制造有限公司 一种工件的三坐标测量方法、装置、设备及存储介质
CN111390882B (zh) * 2020-06-02 2020-08-18 季华实验室 一种机器人示教控制方法、装置、系统和电子设备
CN112070719B (zh) * 2020-08-10 2023-05-16 盐城工学院 一种自动化零件视觉检测系统
CN112611344B (zh) * 2020-11-30 2023-03-10 北京建筑大学 一种自主移动式平面度检测方法、设备及存储介质
CN112881405B (zh) * 2021-01-13 2022-08-05 苏州精濑光电有限公司 一种检测装置及检测方法
CN116907365A (zh) * 2023-07-25 2023-10-20 山东捷瑞数字科技股份有限公司 基于工业视觉不规则零件测量方法及生产线预测分析系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19820536C1 (de) * 1998-05-08 1999-10-07 Porsche Ag Einrichtung zur Überprüfung einer Oberfläche eines Körpers, insbesondere einer Lackoberfläche eines Kraftfahrzeuges
CN1914481A (zh) * 2004-02-03 2007-02-14 伊斯拉视像系统股份公司 用于确定物体在空间中的位置的方法
CN101976449A (zh) * 2010-11-25 2011-02-16 上海合合信息科技发展有限公司 拍摄多幅文本图像并拼接的方法
CN103776378A (zh) * 2014-02-27 2014-05-07 上海思琢自动化科技有限公司 一种非接触式柔性在线尺寸测量系统
CN104915957A (zh) * 2015-05-29 2015-09-16 何再兴 一种提高工业机器人三维视觉识别精度的匹配矫正方法
CN109068051A (zh) * 2018-06-19 2018-12-21 江苏高远智能科技有限公司 一种工业相机自适应智能调节装置
CN109186457A (zh) * 2018-09-14 2019-01-11 天津玛特检测设备有限公司 一种双目的零件识别方法和装置及使用该装置的生产线

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103759635B (zh) * 2013-12-25 2016-10-26 合肥工业大学 一种精度与机器人无关的扫描测量机器人检测方法
CN106323167B (zh) * 2016-08-22 2019-06-07 上海交通大学 一种基于图像识别的智能扫描在线测量系统和测量方法
CN108989672B (zh) * 2018-07-26 2022-03-22 维沃移动通信有限公司 一种拍摄方法及移动终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19820536C1 (de) * 1998-05-08 1999-10-07 Porsche Ag Einrichtung zur Überprüfung einer Oberfläche eines Körpers, insbesondere einer Lackoberfläche eines Kraftfahrzeuges
CN1914481A (zh) * 2004-02-03 2007-02-14 伊斯拉视像系统股份公司 用于确定物体在空间中的位置的方法
CN101976449A (zh) * 2010-11-25 2011-02-16 上海合合信息科技发展有限公司 拍摄多幅文本图像并拼接的方法
CN103776378A (zh) * 2014-02-27 2014-05-07 上海思琢自动化科技有限公司 一种非接触式柔性在线尺寸测量系统
CN104915957A (zh) * 2015-05-29 2015-09-16 何再兴 一种提高工业机器人三维视觉识别精度的匹配矫正方法
CN109068051A (zh) * 2018-06-19 2018-12-21 江苏高远智能科技有限公司 一种工业相机自适应智能调节装置
CN109186457A (zh) * 2018-09-14 2019-01-11 天津玛特检测设备有限公司 一种双目的零件识别方法和装置及使用该装置的生产线

Also Published As

Publication number Publication date
CN110006361A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN110006361B (zh) 基于工业机器人的零件自动化检测方法及系统
US8346392B2 (en) Method and system for the high-precision positioning of at least one object in a final location in space
CN108717715A (zh) 一种用于弧焊机器人的线结构光视觉系统自动标定方法
CN102448679B (zh) 至少一个物体以高精度定位到空间最终位置的方法和系统
CN107505324B (zh) 基于双目协同激光的3d扫描装置及扫描方法
CN111322954B (zh) 一种装配工装位姿测量方法、装置、存储介质及电子设备
US20150362310A1 (en) Shape examination method and device therefor
AU2012203199A1 (en) Projection aided feature measurement using uncalibrated camera
EP0765578A1 (en) Method and apparatus for transforming coordinate systems in an automated video monitor alignment system
CN111707189B (zh) 基于双目视觉的激光位移传感器光束方向标定方法
US20210291376A1 (en) System and method for three-dimensional calibration of a vision system
EP3967459A1 (en) Coordinate system calibration method, device, and computer readable medium
CN111982012A (zh) 一种构件表面三维测量方法、装置及系统
CN115066313B (zh) 用于加工装置的工件的安装方法、工件安装支援系统及存储介质
Mileski et al. Development of a computer vision-based system for part referencing in CNC machining centers
Le et al. In situ calibration of galvanometric scanning head for laser powder bed fusion machines based on a vision system
CN114111578B (zh) 一种大口径元件的位姿自动确定方法
CN116652369A (zh) 激光加工控制方法、系统及装置
KR20200116711A (ko) 갠트리탑재형 카메라를 이용한 곡부재 제작 장치
CN113630522B (zh) 相机调整方法和电子设备
CA3173451A1 (en) System for welding at least a portion of a piece and related methods
KR20060104304A (ko) 3차원 마커 계측방법을 이용한 용접 자동화 작업대상물의인식방법
CN114289858B (zh) 调试和监控方法、装置、设备及计算机可读存储介质
CN117506941B (zh) 机械臂的控制方法、装置、可读存储介质和电子设备
US11609083B2 (en) Apparatus and method for contactless checking of the dimensions and/or shape of a complex-shaped body

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant