CN116297531B - 机器视觉检测方法、系统、介质及设备 - Google Patents
机器视觉检测方法、系统、介质及设备 Download PDFInfo
- Publication number
- CN116297531B CN116297531B CN202310577217.8A CN202310577217A CN116297531B CN 116297531 B CN116297531 B CN 116297531B CN 202310577217 A CN202310577217 A CN 202310577217A CN 116297531 B CN116297531 B CN 116297531B
- Authority
- CN
- China
- Prior art keywords
- path
- teaching
- point
- type
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 152
- 230000033001 locomotion Effects 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 64
- 230000000007 visual effect Effects 0.000 claims abstract description 56
- 230000008569 process Effects 0.000 claims description 24
- 238000007689 inspection Methods 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 20
- 230000007547 defect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 238000011179 visual inspection Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000011166 aliquoting Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
Abstract
本申请提供了一种机器视觉检测方法、系统、介质及设备，其中方法包括：配置视觉检测系统的工作模式包括路径示教模式和检测执行模式，其中，在路径示教模式下，通过发出移动操作指令，调整视觉检测部与目标工件的位置关系，使视觉检测部的中心校准目标工件的表面关键点，根据确定的多个关键点的位置信息生成示教路径配置并存储；在检测执行模式下，读取并解析存储的示教路径配置，生成路径插补指令，由路径插补指令控制目标工件按照示教路径进行插补运动，并根据关键点确定拍摄点，并控制视觉检测部在拍摄点对目标工件进行图像采集。本申请实施例可覆盖检测工件表面的任意指定位置，保证检测准确度。
Description
技术领域
本申请涉及机器视觉检测技术领域，尤其是涉及到一种机器视觉检测方法、系统、介质及设备。
背景技术
视觉检测是用机器代替人眼来做测量和判断。视觉检测是指通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。是用于生产、装配或包装的有价值的机制。它在检测缺陷和防止缺陷产品被配送到消费者的功能方面具有技术优势。
在外观缺陷检测方面，机器视觉检测已经逐渐替代人工检测，使得检测效率大幅提高。外观缺陷在复杂形状工件表面的分布是视觉检测的难点，如何实现对被检测工件表面任意位置的缺陷检测，是需要本领域技术人员需要考虑的技术问题。
发明内容
有鉴于此，本申请提供了一种机器视觉检测方法、系统、介质及电子设备，通过检测路径的规划，可覆盖检测工件表面的任意指定位置，保证检测准确度。
依据本申请的一个方面，提供了一种机器视觉检测方法，用于视觉检测系统对目标工件进行表面缺陷检测，所述方法包括：
配置所述视觉检测系统的工作模式包括路径示教模式和检测执行模式，其中，
在所述路径示教模式下，通过发出移动操作指令，调整视觉检测部与所述目标工件的位置关系，使所述视觉检测部的中心校准所述目标工件的表面关键点，重复上述校准步骤从而确定多个关键点，根据确定的多个关键点的位置信息生成示教路径配置并存储；
在所述检测执行模式下，读取并解析存储的示教路径配置，生成路径插补指令，由所述路径插补指令控制所述目标工件按照示教路径进行插补运动，并在所述目标工件按照所述规划路径进行插补运动过程中，根据所述关键点确定拍摄点，并控制所述视觉检测部在所述拍摄点对所述目标工件进行图像采集。
在一种实现方式中，所述根据确定的多个关键点的位置信息生成示教路径配置并存储包括：
确定多个关键点的位置信息；
确定检测工艺参数信息；
根据所述多个关键点的位置信息以及所述检测工艺参数信息，生成示教路径配置并存储。
在一种实现方式中，所述检测工艺参数配置信息包括：光源组合信息、光源亮度信息、相机增益信息、触发IO索引信息、触发IO翻转时间信息、前瞻参数信息、速度和加减速参数信息、延时参数信息、相机ROI区域信息、相机曝光时间信息中的至少一项。
在一种实现方式中，确定关键点的位置信息，包括：
通过所述目标工件的外表面成像信息关键点，确定所述多个关键点的位置信息，或者，根据工件模型信息规划，确定所述多个关键点的位置信息。
在一种实现方式中，在所述调整视觉检测部与所述目标工件的位置关系之前，还包括：
响应于机械规律动作指令，按照预置的方向和速度执行机械归零操作，从而确定机械坐标系零点。
在一种实现方式中，所述示教路径配置还包括示教路径类型，所述示教路径类型包括关键点即拍照点路径类型、关键点等分路径类型中的至少一种。
在一种实现方式中，所述由所述路径插补指令控制所述目标工件按照示教路径进行插补运动，包括：
通过解析所述示教路径配置，确定所述示教路径类型为关键点即拍照点路径类型或关键点等分路径类型；
根据确定的示教路径类型，按照所述示教路径类型对应的插补运动策略，由所述路径插补指令控制所述目标工件按照示教路径以所述插补运动策略进行插补运动。
在一种实现方式中，所述方法还包括：
确定所述示教路径类型对应的插补运动策略，其中，
若确定所述示教路径类型为关键点即拍照点路径类型，则确定插补运动策略为：在关键点切换时，按照多轴直线插补运动；
若确定所述示教路径类型为关键点等分路径类型，则确定插补运动策略为：在关键点切换时，按照多轴直线插补运动和/或多轴圆弧插补运动。
在一种实现方式中，所述根据所述关键点确定拍摄点，包括：
通过解析所述示教路径配置，确定所述示教路径类型为关键点即拍照点路径类型或关键点等分路径类型；
根据确定的示教路径类型，按照所述示教路径类型对应的拍照点确定策略，根据所述关键点确定拍摄点。
在一种实现方式中，所述方法还包括：
确定所述示教路径类型对应的拍照点确定策略，其中，
若确定所述示教路径类型为关键点即拍照点路径类型，则确定拍照点确定策略为：将每一个关键点设置为拍照点；
若确定所述示教路径类型为关键点等分路径类型，则确定拍照点确定策略为：根据相邻两个关键点之间的位置信息和拍照点数确定位于二者之间的拍照点。
在一种实现方式中，所述控制所述视觉检测部在所述拍摄点对所述目标工件进行图像采集，包括：
确定所述视觉检测部中心校准所述拍摄点时，向所述视觉检测部发出可配置脉宽的电平信号，触发所述视觉检测部进行拍摄。
在一种实现方式中，所述确定所述视觉检测部中心校准所述拍摄点，包括：
针对关键点等分路径类型，判断所述路径插补指令的执行状态，当所述路径插补指令的执行状态为完成状态时，确定当前点位为所述拍摄点。
在一种实现方式中，所述确定所述视觉检测部中心校准所述拍摄点，包括：
针对关键点等分路径类型，读取所述路径插补指令的执行坐标值，并判断当前坐标值是否达到当前示教路径的等分点位置，若是，确定当前点位为所述拍摄点。
在一种实现方式中，还包括：
确定检测策略为效率优先策略、或精度优先策略、或效率精度结合策略；
根据所述检测策略，配置示教路径缺省类型，其中，依据效率优先策略配置示教路径缺省类型为关键点即拍照点路径类型，依据精度优先策略配置示教路径缺省类型为关键点等分路径类型，依据效率精度结合策略配置示教路径缺省类型为关键点即拍照点路径类型及关键点等分路径类型。
在一种实现方式中，还包括：
根据检测结果的反馈，调整所述检测策略，以更新的检测策略重新进行检测。
在一种实现方式中，所述生成示教路径配置，包括：
针对确定的示教路径缺省类型，生成示教路径缺省类型对应的至少一条示教路径配置。
在一种实现方式中，还包括：
根据检测结果的反馈，以所述至少一条示教路径配置中的其他示教路径配置重新进行检测。
依据本申请的一个方面，提供了一种机器视觉检测系统，所述系统用于实现上述任一项所述的机器视觉检测方法。
依据本申请的一个方面，提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述方法。
依据本申请的一个方面，提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述方法。
借由上述技术方案，本申请提供的一种机器视觉检测方法中，通过工件外表面的成像信息或是模型信息，拟合生成示教路径，该路径的生成，可以通过工件外表面的成像信息关键点，也可以通过模型信息规划。通过关键点进行路径规划时，既可以使在关键点位置，视觉检测部始终处于适合检测的姿态和工件角度，又可以通过灵活增加关键点的数量，来覆盖尽可能多的表面缺陷信息。
另外，本申请实施例提供两种路径规划类型，一种关键点即拍照点路径类型：路径实现在所有关键点处拍照检测，并在关键点切换时按直线路径移动（包括多轴直线插补形式），实现最大检测效率；另外一种关键点等分路径类型：通过关键点组合直线和圆弧路径（包括多轴直线插补和多轴圆弧插补形式），从而拟合工件的实际外表面，并在关键点之间等分路径拍照，实现最大检测覆盖。通过两种方式的灵活配合，最终实现视觉缺陷检测的高效准确运行。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了本申请实施例提供的一种机器视觉检测系统结构示意图；
图2示出了本申请实施例提供的一种机器视觉检测方法流程图；
图3示出了本申请实施例提供的关键点即拍照点路径类型原理示意图；
图4示出了本申请实施例提供的关键点等分路径类型原理示意图；
图5示出了本申请实施例提供的另一种机器视觉检测方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如前分析的，外观缺陷在复杂形状工件表面的分布是视觉检测的难点，为了能够实现对被检测工件表面任意位置的缺陷检测，要求视觉检测的主要机构（包括但不限于镜头光源），能按照工件外表面外形，进行视觉检测路径的规划，使视觉机构的成像位置，能覆盖工件表面的任意指定位置。然而，现有检测技术大多为缺陷位置的固定点拍照，通过运动机构使视觉机构和被检测工件之间呈现固定的一个或几个位置，通过这些位置来覆盖工件上尽可能多的缺陷。在这种现有方案中，受工件外表面复杂程度影响，缺陷成像角度无法保证所有都一致，这样导致成像状态也不一致，难以达到理想的检测效果。而且要实现复杂工件外表面检测，往往需要搭配多组相机，多个工位，以不同方式对同一工件进行拍照检测，检测成本较高，且效率低下。
参见图1，示出了本申请实施例方案中的机器视觉检测系统结构示意图。该机器视觉检测系统包括人机交互部1、路径示教部2、路径存储部3、路径解析部4、多轴执行部5、示教检测部6，另外，还示出了被测工件（目标工件）7，其中，路径存储部4存储两部分信息：路径关键点位置信息、检测工艺参数信息。
人机交互部，包括视觉检测部的接口，可从视觉检测部接收图像但不仅限于图像信息。同时人机交互部还包括路径示教部生成路径信息的组织呈现。
路径示教部，包括路径的示教和监视功能。可以通过键盘或手柄进行直接控制多轴执行部运动，并将坐标信息存储。路径示教部也可以对已有路径中的参数进行查看，并控制路径执行状态。
路径存储部，包括路径信息的组织功能，以及对多组路径信息的存储和切换功能。其中路径信息包含工件外表面路径中的关键点位，和在路径中的视觉检测工艺参数。
路径解析部，实现将路径存储部存储的路径解析成多轴执行部能执行的指令序列的功能。
多轴执行部，包括运动控制器和运动执行器，运动执行器由电机，驱动器和运动机构组成，运动控制器路径解析部生成的指令序列，经驱动器控制电机和运动机构到达规划路径中的指定坐标，并在规划位置控制视觉检测部采集图像。
视觉检测部，包括相机、光源、视觉传感器等视觉元件，但不限于上述元件。
本申请实施例提供的机器视觉检测方案，由人机交互部提供视觉和示教接口，连接视觉检测部，视觉检测部可分为两种阶段（模式），在示教阶段，通过视觉检测部将工件表面信息提供给人机交互部。人机交互部通过接收到的视觉信息组织路径，经路径存储部维护存储多组路径信息；在检测执行阶段，通过路径解析部对路径存储部存储的路径信息，进行解析，生成按组织顺序执行的指令函数序列，经由多轴执行部控制实现路径和视觉检测控制信号，视觉检测部接收由多轴执行部发出的视觉检测控制信号后，执行已组织的路径和拍照控制，完成检测功能。
参见图2，示出了本申请实施例提供的一种机器视觉检测方法流程图。该机器视觉检测方法用于视觉检测系统对目标工件进行表面缺陷检测，包括如下步骤S201-S203。
S201：配置视觉检测系统的工作模式包括路径示教模式和检测执行模式。
S202：在路径示教模式下，通过发出移动操作指令，调整视觉检测部与目标工件的位置关系，使视觉检测部的中心校准目标工件的表面关键点，重复上述校准步骤从而确定多个关键点，根据确定的多个关键点的位置信息生成示教路径配置并存储。
路径示教模式（阶段），也可以称为路径规划模式。路径示教模式和检测执行模式是相对的，在路径示教模式下，目的是于检测执行前，规划好工件表面检测路径，从而在检测执行阶段，可以按照已规划好的路径进行检测。这样做的好处在于，可提前获取工件表面路径特点和信息，并且在路径示教过程中，由于是通过人机交互部控制视觉检测部与目标工件之间的位置关系，因此可较为全面掌握工件表面形状及特点。特别对于表面形状复杂的工件，可根据规划的路径，实现对工件表面任意位置的缺陷检测，
在路径示教模式下，由用户在人机操作部进行控制，通过发出移动操作指令，调整视觉检测部与目标工件的位置关系。例如，将目标工件置于多轴执行部上，通过控制多轴执行部运动，并通过实时反馈的目标工件的实时图像，通过发出移动操作指令，不断调整视觉检测部与目标工件之间的位置关系，直至视觉检测部中心对准目标工件表面的一个关键点位置，且对焦清晰，此时记录下该关键点的位置信息。在具体操作中，可通过目标工件的外表面成像信息关键点，确定关键点的位置信息，也可以根据工件模型信息规划，确定关键点的位置信息。
可以理解，为了示教出一条路径，往往需要围绕工件外表面确定出多个关键点，一条路径包括的关键点越多，则该路径更加准确，当然路径规划的开销也越大，在实际操作中，可以根据检测要求确定一条路径所包含的关键点个数，对此不作限定。
示教路径配置，可以理解为有关示教路径的配置信息，是由多个关键点的位置信息、检测工艺参数信息一起确定的。其中，检测工艺参数信息包括但不限于：光源组合信息、光源亮度信息、相机增益信息、触发IO索引信息、触发IO翻转时间信息、前瞻参数信息、速度和加减速参数信息、延时参数信息、相机ROI（Region of Interest，感兴趣区域）区域信息、相机曝光时间信息等。
在路径示教模式下，可示教出多个路径，由此在后续检测执行阶段，可根据多个路径进行多次检测。
S203：在检测执行模式下，读取并解析存储的示教路径配置，生成路径插补指令，由路径插补指令控制目标工件按照示教路径进行插补运动，并在目标工件按照规划路径进行插补运动过程中，根据关键点确定拍摄点，并控制视觉检测部在拍摄点对目标工件进行图像采集。
如前描述的，示教路径配置包括多个关键点位置信息以及检测工艺参数信息，通过读取并解析示教路径配置，即可获知该示教路径的关键点位置信息，通过按照这些关键点进行插补运动，即可实现按照示教的路径确定检测轨迹。其中，
插补可以理解为一个实时进行的数据密化的过程，插补作用是根据给定的信息进行数字计算，不断计算出参与运动的各坐标轴的进给指令，然后分别驱动各自相应的执行部件产生协调运动，以使被控机械部件按理想的路线与速度移动。插补运动可进一步包括直线插补运动和圆弧插补运动，其中，多轴直线插补运动可以理解为，对于一条直线，按照两点一条直线的原则，必须按照规定的直线进行运动；多轴圆弧插补运动可以理解为：给出两端点间的插补数字信息，借此信息控制部件相对运动，使其按规定的圆弧行进的一种插补运动方式。本申请实施例中，通过解析示教路径配置确定路径插补指令，然后由路径插补指令控制多轴执行部带动目标工件按照示教路径进行插补运动。
可见，本申请实施例提供的机器视觉检测方法中，通过工件外表面的成像信息或是模型信息，拟合生成示教路径，该路径的生成，可以通过工件外表面的成像信息关键点，也可以通过模型信息规划。通过关键点进行路径规划时，既可以使在关键点位置，视觉检测部始终处于适合检测的姿态和工件角度，又可以通过灵活增加关键点的数量，来覆盖尽可能多的表面缺陷信息。
另外，本申请实施例提供两种路径规划类型，一种“关键点即拍照点路径类型”：路径实现在所有关键点处拍照检测，并在关键点切换时按直线路径移动（包括多轴直线插补形式），实现最大检测效率；另外一种“关键点等分路径类型”：通过关键点组合直线和圆弧路径（包括多轴直线插补和多轴圆弧插补形式），从而拟合工件的实际外表面，并在关键点之间等分路径拍照，实现最大检测覆盖。通过两种方式的灵活配合，最终实现视觉缺陷检测的高效准确运行。
参见图3-4，分别示出了本申请实施例提供的关键点即拍照点路径类型、关键点等分路径类型的原理示意图。在图3示出的关键点即拍照点路径类型中，关键点即拍照点，如图3中，整个示教路径包括八个关键点，在检测阶段，按照该路径进行检测，每当视觉检测部对准一个关键点时，即触发拍照。在图4示出的关键点等分路径类型中，通过两个相邻关键点的位置信息确定位于二者之间的拍照点，如图4示出的，其中一个拍照点位于两个相邻关键点之间的位置。
参见图5，为本申请实施例提供另一种机器视觉检测方法流程图。
S501：运行路径示教模式，其中，在示教路径配置中包括示教路径类型。
该S501步骤详细过程可参考前述描述。在该实施例中，在示教路径配置还包括示教路径类型，该示教路径类型包括关键点即拍照点路径类型、关键点等分路径类型中的至少一种。
S502：运行检测执行模式，其中，根据示教路径类型，确定插补运动策略和拍照点确定策略。
该S502步骤详细过程可参考前述描述。在该实施例中，通过解析视觉路径配置确定出示教路径类型，根据示教路径类型确定插补运动策略。
在一种实现方式中，通过解析示教路径配置，确定示教路径类型为关键点即拍照点路径类型或关键点等分路径类型；根据确定的示教路径类型，按照示教路径类型对应的插补运动策略，由路径插补指令控制目标工件按照示教路径以插补运动策略进行插补运动。其中，预先配置不同示教路径类型对应不同的插补运动策略，例如，针对关键点即拍照点路径类型，确定插补运动策略为：在关键点切换时，按照多轴直线插补运动；针对关键点等分路径类型，则确定插补运动策略为：在关键点切换时，按照多轴直线插补运动和/或多轴圆弧插补运动。
同理，通过解析示教路径配置，确定示教路径类型为关键点即拍照点路径类型或关键点等分路径类型；根据确定的示教路径类型，按照示教路径类型对应的拍照点确定策略，根据关键点确定拍摄点。其中，预先配置不同示教路径类型对应不同的拍照点确定策略，例如，针对关键点即拍照点路径类型，则确定拍照点确定策略为：将每一个关键点设置为拍照点；针对关键点等分路径类型，则确定拍照点确定策略为：根据相邻两个关键点之间的位置信息和拍照点数确定位于二者之间的拍照点。
下面结合图1、图3-4，对图5所提供的实施例的实施过程进行示例性描述如下。
人机交互部包含视觉显示模块和路径展示模块，在视觉显示模块中，在路径规划工况下，显示实时视觉图像，可通过图像信息进行路径规划。在路径运行工况下，可显示采集视觉图像。在路径展示模块中，展示目前使用的路径关键点位信息和检测工艺参数。并能展示路径的当前执行步骤。
首先，在路径规划工况下操作，具体执行方法如下：
1.通过人机交互部发出机械归零命令，由路径示教部执行机械归零动作指令，由多轴执行部接收归零动作指令后，经内部的运动控制器按预置的方向和速度执行多轴机械归零，归零后此位置作为机械空间零点，之后的所有示教部分，都是以此机械坐标系零点进行。
2.放置被测工件到多轴执行部，通过人机交互部，发出移动操作指令，并由路径示教部控制多轴执行部运动，此时视觉执行部处于内触发采图模式，并反馈工件的实时图像。根据图像不断通过人机交互部发出移动操作指令对工件坐标姿态和相机据工件距离进行调整，直到相机中心位于工件外表面关键点位置，且对焦清晰，通过人机交互部操作路径示教执行路径起点定义，将机械坐标存储进入路径存储部，并将其标记为起点。
3.确定路径起点后，按检测需要，继续通过上述方式调整工件姿态，到达路径的关键点，此点如果按第一种路径方式（关键点即拍照点路径类型），应为拍照点，如果按第二种路径方式（关键点等分路径类型），应为拟合外表面的直线或圆弧路径的交接点。完成示教后，通过示教点位增加操作，将关键点的机械坐标存储到路径存储部存储，并根据路径规划方式，标记其路径类型（关键点即拍照点路径类型或关键点等分路径类型，可理解为直线或圆弧）。依次进行后续所有关键点的示教。
4.完成所有关键点示教后，通过结束路径操作，生成完整路径，此后继续对路径的工艺参数进行配置，包括但不限于：光源组合，光源亮度，相机增益，触发IO索引，触发IO翻转时间，前瞻参数，速度和加减速参数，延时参数，相机ROI区域，相机曝光时间等。将上述所有参数存储进入路径存储部。至此完成一组检测路径的编辑。如按第一种路径规划方式，其单个点位路径的触发数量应为1；如果按第二种路径规划方式，其单个点位路径的触发数量可以≥1。本申请实施例不限于单组检测路径，可以添加多组检测路径。
然后在路径执行工况下，具体操作流程如下：
1.当路径自动执行时，由路径解析部从路径存储部读取当前执行路径。首先读取第一条路径的起始点坐标，同时通过路径记录得知此点为起始点，按设定好的轴移动顺序，判断首先移动的轴，向多轴执行部发出该轴的定位指令。多轴执行部在接收到指令序列后，通过其电机、驱动器和运动机构，共同控制视觉检测部中对应轴到达指定坐标。依次按预置的轴移动顺序执行剩余轴的定位动作，判断多轴执行部中所有轴坐标均已到达后，判断到达起点位置。
2.到达路径起点位置后，执行关键点的移动，此时将待移动关键点坐标经路径解析部解析后，发送给多轴执行部，并将该关键点的路径类型，发送给多轴执行部，依次将各路径坐标和路径类型经多轴执行部已路径插补指令的形式放入运动控制器指令缓冲区存储，当将所有路径点位都解析完毕并存入多轴执行部缓冲区后，有路径解析部发出执行指令，多轴执行部会按照其运动控制器内缓冲区顺序执行点位插补运动，实现路径的连续执行。
3.在路径的连续执行中，需要通过路径存储部中的检测工艺参数进行视觉检测部的触发操作，此过程根据路径种类分为两种控制方式：
（一）第一种路径方式，在关键点拍照。自动运行中多轴执行部会判断单条路径插补指令的执行状态，当执行完成后，会发出可配置脉宽的电平信号到视觉检测部，视觉检测部接收到触发信号后，触发相机拍照和光源点亮。
（二）第二种路径方式，在关键点之间等分拍照。自动运行中，多轴执行部会读取每条路径插补指令执行中的实时坐标值，判断此坐标值到达该条路径的等分点位时，发出可配置脉宽的电平信号到视觉检测部，视觉检测部接收到触发信号后，触发相机拍照和光源点亮。
4.最后由人机交互部展示检测图像和路径点位执行状态。
本申请实施例中，一轮检测完成之后，人机交互部对检测结果进行分析和评估，当认为没有达到检测预期时，可进行重复检测。具体实施时，可通过设置检测策略并调整检测策略的方式进行重复检测。在一种实现方式中，在图5所示实施例中进一步可包括如下步骤：确定检测策略为效率优先策略、或精度优先策略、或效率精度结合策略；根据检测策略，配置示教路径缺省类型，其中，依据效率优先策略配置示教路径缺省类型为关键点即拍照点路径类型，依据精度优先策略配置示教路径缺省类型为关键点等分路径类型，依据效率精度结合策略配置示教路径缺省类型为关键点即拍照点路径类型及关键点等分路径类型。通过对检测结果的分析和反馈，当认为需要重新检测时，可更新检测策略重新检测。另外，由于针对确定的示教路径缺省类型，一般可生成示教路径缺省类型对应的至少一条示教路径配置，因此也可以通过以其他示教路径配置重新进行检测。这种通过设置检测策略并调整检测策略的方式进行重复检测的方式，可满足不同检测的需求，例如，可根据实际需求选择效率优先、精度优先，或者二者均衡的检测的方式，且可以通过灵活调整和结合，进一步提高检测的准确性。
本申请的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
（1）配置所述视觉检测系统的工作模式包括路径示教模式和检测执行模式，其中，
（2）在所述路径示教模式下，通过发出移动操作指令，调整视觉检测部与所述目标工件的位置关系，使所述视觉检测部的中心校准所述目标工件的表面关键点，重复上述校准步骤从而确定多个关键点，根据确定的多个关键点的位置信息生成示教路径配置并存储；
（3）在所述检测执行模式下，读取并解析存储的示教路径配置，生成路径插补指令，由所述路径插补指令控制所述目标工件按照示教路径进行插补运动，并在所述目标工件按照所述规划路径进行插补运动过程中，根据所述关键点确定拍摄点，并控制所述视觉检测部在所述拍摄点对所述目标工件进行图像采集。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本申请的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
（1）配置所述视觉检测系统的工作模式包括路径示教模式和检测执行模式，其中，
（2）在所述路径示教模式下，通过发出移动操作指令，调整视觉检测部与所述目标工件的位置关系，使所述视觉检测部的中心校准所述目标工件的表面关键点，重复上述校准步骤从而确定多个关键点，根据确定的多个关键点的位置信息生成示教路径配置并存储；
（3）在所述检测执行模式下，读取并解析存储的示教路径配置，生成路径插补指令，由所述路径插补指令控制所述目标工件按照示教路径进行插补运动，并在所述目标工件按照所述规划路径进行插补运动过程中，根据所述关键点确定拍摄点，并控制所述视觉检测部在所述拍摄点对所述目标工件进行图像采集。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (16)
1.一种机器视觉检测方法，其特征在于，用于视觉检测系统对目标工件进行表面缺陷检测，所述方法包括：
配置所述视觉检测系统的工作模式包括路径示教模式和检测执行模式，其中，
在所述路径示教模式下，通过发出移动操作指令，调整视觉检测部与所述目标工件的位置关系，使所述视觉检测部的中心校准所述目标工件的表面关键点，重复上述校准步骤从而确定多个关键点，根据确定的多个关键点的位置信息生成示教路径配置并存储；
在所述检测执行模式下，读取并解析存储的示教路径配置，生成路径插补指令，由所述路径插补指令控制所述目标工件按照示教路径进行插补运动，并在所述目标工件按照规划路径进行插补运动过程中，根据所述关键点确定拍摄点，并控制所述视觉检测部在所述拍摄点对所述目标工件进行图像采集；
所述示教路径配置还包括示教路径类型，所述示教路径类型包括关键点即拍照点路径类型或关键点等分路径类型；所述根据所述关键点确定拍摄点，包括：通过解析所述示教路径配置，确定所述示教路径类型为关键点即拍照点路径类型；确定每一个关键点为拍摄点；或者，通过解析所述示教路径配置，确定所述示教路径类型为关键点等分路径类型；根据相邻两个关键点之间的位置信息和拍照点数确定位于二者之间的拍摄点；
所述方法还包括：确定检测策略为效率优先策略、或精度优先策略、或效率精度结合策略；根据所述检测策略，配置示教路径缺省类型，其中，依据效率优先策略配置示教路径缺省类型为关键点即拍照点路径类型，依据精度优先策略配置示教路径缺省类型为关键点等分路径类型，依据效率精度结合策略配置示教路径缺省类型为关键点即拍照点路径类型及关键点等分路径类型。
2.根据权利要求1所述的方法，其特征在于，所述根据确定的多个关键点的位置信息生成示教路径配置并存储包括：
确定所述多个关键点的位置信息；
确定检测工艺参数信息；
根据所述多个关键点的位置信息以及所述检测工艺参数信息，生成示教路径配置并存储。
3.根据权利要求2所述的方法，其特征在于，所述检测工艺参数配置信息包括：光源组合信息、光源亮度信息、相机增益信息、触发IO索引信息、触发IO翻转时间信息、前瞻参数信息、速度和加减速参数信息、延时参数信息、相机ROI区域信息、相机曝光时间信息中的至少一项。
4.根据权利要求2所述的方法，其特征在于，所述确定所述多个关键点的位置信息，包括：
通过所述目标工件的外表面成像信息关键点，确定所述多个关键点的位置信息，或者，根据工件模型信息规划，确定所述多个关键点的位置信息。
5.根据权利要求1所述的方法，其特征在于，在所述调整视觉检测部与所述目标工件的位置关系之前，还包括：
响应于机械规律动作指令，按照预置的方向和速度执行机械归零操作，从而确定机械坐标系零点。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述由所述路径插补指令控制所述目标工件按照示教路径进行插补运动，包括：
通过解析所述示教路径配置，确定所述示教路径类型为关键点即拍照点路径类型或关键点等分路径类型；
根据确定的示教路径类型，按照所述示教路径类型对应的插补运动策略，由所述路径插补指令控制所述目标工件按照示教路径以所述插补运动策略进行插补运动。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
确定所述示教路径类型对应的插补运动策略，其中，
若确定所述示教路径类型为关键点即拍照点路径类型，则确定插补运动策略为：在关键点切换时，按照多轴直线插补运动；
若确定所述示教路径类型为关键点等分路径类型，则确定插补运动策略为：在关键点切换时，按照多轴直线插补运动和/或多轴圆弧插补运动。
8.根据权利要求1所述的方法，其特征在于，所述控制所述视觉检测部在所述拍摄点对所述目标工件进行图像采集，包括：
确定所述视觉检测部中心校准所述拍摄点时，向所述视觉检测部发出可配置脉宽的电平信号，触发所述视觉检测部进行拍摄。
9.根据权利要求8所述的方法，其特征在于，所述确定所述视觉检测部中心校准所述拍摄点，包括：
针对关键点等分路径类型，判断所述路径插补指令的执行状态，当所述路径插补指令的执行状态为完成状态时，确定当前点位为所述拍摄点。
10.根据权利要求9所述的方法，其特征在于，所述确定所述视觉检测部中心校准所述拍摄点，包括：
针对关键点等分路径类型，读取所述路径插补指令的执行坐标值，并判断当前坐标值是否达到当前示教路径的等分点位置，若是，确定当前点位为所述拍摄点。
11.根据权利要求1所述的方法，其特征在于，还包括：
根据检测结果的反馈，调整所述检测策略，以更新的检测策略重新进行检测。
12.根据权利要求1所述的方法，其特征在于，所述生成示教路径配置，包括：
针对确定的示教路径缺省类型，生成示教路径缺省类型对应的至少一条示教路径配置。
13.根据权利要求12所述的方法，其特征在于，还包括：
根据检测结果的反馈，以所述至少一条示教路径配置中的其他示教路径配置重新进行检测。
14.一种机器视觉检测系统，其特征在于，所述系统用于实现权利要求1~13中任一项所述的机器视觉检测方法。
15.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至13任一项中所述的方法。
16.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至13任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310577217.8A CN116297531B (zh) | 2023-05-22 | 2023-05-22 | 机器视觉检测方法、系统、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310577217.8A CN116297531B (zh) | 2023-05-22 | 2023-05-22 | 机器视觉检测方法、系统、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116297531A CN116297531A (zh) | 2023-06-23 |
| CN116297531B true CN116297531B (zh) | 2023-08-01 |
Family
ID=86832743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310577217.8A Active CN116297531B (zh) | 2023-05-22 | 2023-05-22 | 机器视觉检测方法、系统、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116297531B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006003263A (ja) * | 2004-06-18 | 2006-01-05 | Hitachi Ltd | 視覚情報処理装置および適用システム |
| CN110497386A (zh) * | 2019-08-26 | 2019-11-26 | 中科新松有限公司 | 一种协作机器人手眼关系自动标定装置及方法 |
| KR102143354B1 (ko) * | 2019-11-18 | 2020-08-11 | 호전실업 주식회사 | 원단의 불량 위치 자동 검출 방법 및 이를 위한 시스템 |
| CN112276340A (zh) * | 2020-11-13 | 2021-01-29 | 西安中科微精光子制造科技有限公司 | 针对复杂曲面的加工路径碰撞检测方法、装置及存储介质 |
| CN112505056A (zh) * | 2021-02-08 | 2021-03-16 | 常州微亿智造科技有限公司 | 缺陷检测方法和装置 |
| CN112598752A (zh) * | 2020-12-24 | 2021-04-02 | 东莞市李群自动化技术有限公司 | 基于视觉识别的标定方法及作业方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05108131A (ja) * | 1991-10-16 | 1993-04-30 | Toshiba Corp | ロボツトの教示装置 |
| JP4267103B2 (ja) * | 1998-09-18 | 2009-05-27 | 株式会社日立製作所 | 外観画像分類装置およびその方法 |
| JP4760029B2 (ja) * | 2005-01-31 | 2011-08-31 | アイシン精機株式会社 | 欠陥検査方法および欠陥検査装置 |
| JP4862765B2 (ja) * | 2007-06-29 | 2012-01-25 | 関東自動車工業株式会社 | 表面検査装置及び表面検査方法 |
| JP2012042278A (ja) * | 2010-08-17 | 2012-03-01 | Daido Steel Co Ltd | ワーク検査装置 |
| JP5948913B2 (ja) * | 2012-02-01 | 2016-07-06 | セイコーエプソン株式会社 | ロボット装置、画像生成装置、画像生成方法、および画像生成プログラム |
| CN103778843B (zh) * | 2012-10-25 | 2017-02-15 | 西安航天精密机电研究所 | 一种工业机器人示教再现方法 |
| CN103645725B (zh) * | 2013-12-27 | 2016-08-17 | 广东省自动化研究所 | 一种机器人示教轨迹规划方法和系统 |
| CN104835406B (zh) * | 2015-06-05 | 2018-07-06 | 埃夫特智能装备股份有限公司 | 工业机器人教学系统 |
| JP6549644B2 (ja) * | 2017-06-27 | 2019-07-24 | ファナック株式会社 | 機械学習装置、ロボット制御システム及び機械学習方法 |
| CN110355759A (zh) * | 2019-07-05 | 2019-10-22 | 保定科海自动化科技有限公司 | 一种基于视觉的工业机器人涂胶控制系统 |
| EP4070911A4 (en) * | 2019-12-06 | 2023-05-31 | Panasonic Intellectual Property Management Co., Ltd. | REPAIR WELDING DEVICE AND REPAIR WELDING METHOD |
| CN113524157A (zh) * | 2021-06-30 | 2021-10-22 | 深圳市越疆科技有限公司 | 配置临摹功能的机器人系统、方法、机械臂和存储介质 |
| CN114654446A (zh) * | 2022-03-04 | 2022-06-24 | 华南理工大学 | 一种机器人示教方法、装置、设备和介质 |
| CN217385247U (zh) * | 2022-03-15 | 2022-09-06 | 上汽通用五菱汽车股份有限公司 | 工件外观的检测装置 |
-
2023
- 2023-05-22 CN CN202310577217.8A patent/CN116297531B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006003263A (ja) * | 2004-06-18 | 2006-01-05 | Hitachi Ltd | 視覚情報処理装置および適用システム |
| CN110497386A (zh) * | 2019-08-26 | 2019-11-26 | 中科新松有限公司 | 一种协作机器人手眼关系自动标定装置及方法 |
| KR102143354B1 (ko) * | 2019-11-18 | 2020-08-11 | 호전실업 주식회사 | 원단의 불량 위치 자동 검출 방법 및 이를 위한 시스템 |
| CN112276340A (zh) * | 2020-11-13 | 2021-01-29 | 西安中科微精光子制造科技有限公司 | 针对复杂曲面的加工路径碰撞检测方法、装置及存储介质 |
| CN112598752A (zh) * | 2020-12-24 | 2021-04-02 | 东莞市李群自动化技术有限公司 | 基于视觉识别的标定方法及作业方法 |
| CN112505056A (zh) * | 2021-02-08 | 2021-03-16 | 常州微亿智造科技有限公司 | 缺陷检测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116297531A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101204486B1 (ko) | 피측정물의 검사 측정 장치 | |
| CN100430685C (zh) | 快速自动对焦机器视觉检查系统的系统和方法 | |
| CN1769834B (zh) | 用于控制一致精确和高速检查视觉系统的模糊限制基系统和方法 | |
| JP5982144B2 (ja) | 落射照明画像用のエッジ位置測定値補正 | |
| US8902307B2 (en) | Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode | |
| US20080187208A1 (en) | Virtual slide generation device, virtual slide generation method, virtual slide generation program product and virtual slide generation program transmission medium | |
| US20040223053A1 (en) | Machine vision inspection system and method having improved operations for increased precision inspection throughput | |
| EP3462236B1 (en) | Variable focal length lens system with optical power monitoring | |
| US8319976B2 (en) | Three-dimensional shape measuring system and three-dimensional shape measuring method | |
| US11119382B2 (en) | Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data | |
| CN101943841A (zh) | 摄像装置、变焦校正信息生成方法和程序以及记录介质 | |
| US10880468B1 (en) | Metrology system with transparent workpiece surface mode | |
| US9990724B2 (en) | Image recording simulation in a coordinate measuring machine | |
| CN100388760C (zh) | 测距式数码相机 | |
| US20160189422A1 (en) | Process and Device for Determining the 3D Coordinates of an Object | |
| US11403748B2 (en) | Method and system for articulation of a visual inspection device | |
| JP3893169B2 (ja) | ３次元計測装置 | |
| CN116297531B (zh) | 机器视觉检测方法、系统、介质及设备 | |
| US20210190999A1 (en) | Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights | |
| JPH10124646A (ja) | ３次元計測装置 | |
| CN110823276A (zh) | 检测视觉传感器的方法、装置和系统 | |
| JPH09196632A (ja) | ３次元計測のための分光装置 | |
| JP2009092409A (ja) | ３次元形状測定装置 | |
| US11397417B2 (en) | Hybrid wide field of view target system | |
| US20070078624A1 (en) | Method and system for three-dimensional measurement and method and device for controlling manipulator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |