CN117260815A - 基于视觉定位的机械手精准定位方法及系统 - Google Patents
基于视觉定位的机械手精准定位方法及系统 Download PDFInfo
- Publication number
- CN117260815A CN117260815A CN202311431889.4A CN202311431889A CN117260815A CN 117260815 A CN117260815 A CN 117260815A CN 202311431889 A CN202311431889 A CN 202311431889A CN 117260815 A CN117260815 A CN 117260815A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- target
- manipulator
- processing
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 239
- 239000013598 vector Substances 0.000 claims abstract description 185
- 238000003754 machining Methods 0.000 claims abstract description 152
- 238000011217 control strategy Methods 0.000 claims abstract description 131
- 238000011156 evaluation Methods 0.000 claims abstract description 113
- 238000001514 detection method Methods 0.000 claims abstract description 92
- 230000004927 fusion Effects 0.000 claims abstract description 67
- 238000004458 analytical method Methods 0.000 claims abstract description 53
- 238000013499 data model Methods 0.000 claims abstract description 48
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000005457 optimization Methods 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 14
- 230000010354 integration Effects 0.000 claims description 11
- 238000004886 process control Methods 0.000 claims description 11
- 230000002068 genetic effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000003066 decision tree Methods 0.000 claims description 8
- 238000012314 multivariate regression analysis Methods 0.000 claims description 8
- 230000001629 suppression Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000000105 evaporative light scattering detection Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 26
- 238000012937 correction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000011179 visual inspection Methods 0.000 description 4
- 206010063385 Intellectualisation Diseases 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
本发明涉及机器视觉领域，公开了一种基于视觉定位的机械手精准定位方法及系统，用于提高机械手的定位准确率以及效率。方法包括：基于目标加工平台分别对多个不同的加工校准工件进行加工视觉定位测试，得到加工程序控制输出参数以及工件质量检测参数；构建定位校准数据模型；计算工件对位偏移量以及机械手反馈补偿量；进行向量编码转换和向量融合，生成目标融合评价向量；将目标融合评价向量输入控制策略分析模型进行控制策略分析，生成控制策略关系列表；对待加工的目标加工工件进行视觉定位和视觉检测，得到目标视觉检测结果并进行匹配，得到目标机械手参数控制策略，以及根据目标机械手参数控制策略对目标加工工件进行加工过程控制。
Description
技术领域
本发明涉及机器视觉领域，尤其涉及一种基于视觉定位的机械手精准定位方法及系统。
背景技术
在现代制造业中，机械手在自动化生产中发挥着关键作用。随着制造业的发展，对于机械手在自动化生产线上的精准定位和控制要求越来越高。
传统的基于编程的机械手定位方法存在一定的局限性，特别是在应对不同工件、工况和环境变化时，难以实现高度的灵活性和自适应性。并且在制造业中，产品种类繁多，生产环境复杂多变。传统的机械手编程方法难以适应不同工件的加工要求，需要耗费大量时间和人力进行手工编程和调整，进而导致现有方案的准确率和效率较低。
发明内容
本发明提供了一种基于视觉定位的机械手精准定位方法及系统，用于提高机械手的定位准确率以及效率。
本发明第一方面提供了一种基于视觉定位的机械手精准定位方法，所述基于视觉定位的机械手精准定位方法包括：
基于预设的目标加工平台分别对多个不同的加工校准工件进行加工视觉定位测试，并获取所述目标加工平台的加工程序控制输出参数以及每个加工校准工件的工件质量检测参数；
根据所述加工程序控制输出参数生成每个加工校准工件对应的机械手加工姿态和轨迹参数，并根据所述工件质量检测参数构建定位校准数据模型；
根据所述定位校准数据模型分别计算每个加工校准工件对应的工件对位偏移量以及所述目标加工平台对应的机械手反馈补偿量；
分别对所述工件对位偏移量以及所述机械手反馈补偿量进行向量编码转换，得到工件对位评价向量以及机械手振动评价向量，并对所述工件对位评价向量以及所述机械手振动评价向量进行向量对齐和向量融合，生成每个加工校准工件的目标融合评价向量；
分别将每个加工校准工件的目标融合评价向量输入预置的控制策略分析模型进行控制策略分析，得到多个候选机械手参数控制策略，并根据所述多个候选机械手参数控制策略和多个加工校准工件生成控制策略关系列表；
通过所述目标加工平台对待加工的目标加工工件进行视觉定位和视觉检测，得到目标视觉检测结果，并根据所述目标视觉检测结果对所述控制策略关系列表进行匹配，得到对应的目标机械手参数控制策略，以及根据所述目标机械手参数控制策略对所述目标加工工件进行加工过程控制。
结合第一方面，在本发明第一方面的第一种实现方式中，所述基于预设的目标加工平台分别对多个不同的加工校准工件进行加工视觉定位测试，并获取所述目标加工平台的加工程序控制输出参数以及每个加工校准工件的工件质量检测参数，包括：
基于预设的目标加工平台分别对多个不同的加工校准工件进行加工视觉定位测试，并分别采集每个加工校准工件的加工图像数据；
通过预置的工件加工数据库，分别对每个加工校准工件进行程序控制参数查询，得到所述目标加工平台的加工程序控制输出参数；
基于预置的SSD算法，对每个加工校准工件的加工图像数据进行工件加工质量检测，得到每个加工图像数据的多尺度特征图；
对每个加工图像数据的多尺度特征图进行多层预测和非极大值抑制，输出每个加工校准工件的加工图像检测结果；
根据所述加工图像检测结果，生成每个加工校准工件的工件质量检测参数。
结合第一方面，在本发明第一方面的第二种实现方式中，所述根据所述加工程序控制输出参数生成每个加工校准工件对应的机械手加工姿态和轨迹参数，并根据所述工件质量检测参数构建定位校准数据模型，包括：
获取每个加工校准工件对应的参数转换关系，并根据所述参数转换关系，从所述加工程序控制输出参数中提取每个加工校准工件对应的机械手加工姿态和轨迹参数；
对每个加工校准工件的机械手加工姿态和轨迹参数以及工件质量检测参数进行参数数据整合，得到目标整合数据集；
根据所述目标整合数据集对预置的多变量回归分析模型进行模型参数配置和训练，得到初始校准数据模型；
对所述初始校准数据模型进行模型校验，得到模型校验结果，若所述模型校验结果为校验通过，则将所述初始校准数据模型输出为所述定位校准数据模型。
结合第一方面，在本发明第一方面的第三种实现方式中，所述根据所述定位校准数据模型分别计算每个加工校准工件对应的工件对位偏移量以及所述目标加工平台对应的机械手反馈补偿量，包括：
通过所述定位校准数据模型中的第一变量回归预测层，分别对每个加工校准工件的机械手加工姿态和轨迹参数进行参数变量回归预测，得到每个加工校准工件的机械手期望预测参数值；
对每个加工校准工件的机械手期望预测参数值以及所述机械手加工姿态和轨迹参数进行反馈补偿量计算，得到所述目标加工平台对应的机械手反馈补偿量；
通过所述定位校准数据模型中的第二变量回归预测层，分别对每个加工校准工件的工件对位偏移量进行参数变量回归预测，得到每个加工校准工件的质量期望预测参数值；
对每个加工校准工件的质量期望预测参数值以及工件质量检测参数进行对位偏移量计算，得到每个加工校准工件对应的工件对位偏移量。
结合第一方面，在本发明第一方面的第四种实现方式中，所述分别对所述工件对位偏移量以及所述机械手反馈补偿量进行向量编码转换，得到工件对位评价向量以及机械手振动评价向量，并对所述工件对位评价向量以及所述机械手振动评价向量进行向量对齐和向量融合，生成每个加工校准工件的目标融合评价向量，包括：
对所述工件对位偏移量进行向量编码转换，得到工件对位评价向量，并对所述机械手反馈补偿量进行向量编码转换，得到机械手振动评价向量；
对所述工件对位评价向量和所述机械手振动评价向量进行向量元素对齐，得到初始融合评价向量；
对所述初始融合评价向量进行向量权重分配，得到向量权重数据，并根据所述向量权重数据对所述初始融合评价向量进行向量加权运算，生成每个加工校准工件的目标融合评价向量。
结合第一方面，在本发明第一方面的第五种实现方式中，所述分别将每个加工校准工件的目标融合评价向量输入预置的控制策略分析模型进行控制策略分析，得到多个候选机械手参数控制策略，并根据所述多个候选机械手参数控制策略和多个加工校准工件生成控制策略关系列表，包括：
分别将每个加工校准工件的目标融合评价向量输入预置的控制策略分析模型，其中，所述控制策略分析模型包括：多个策略分析层以及策略优化层；
通过所述多个策略分析层中的决策树模型，分别对所述每个加工校准工件的目标融合评价向量进行控制参数分析，得到每个加工校准工件对应的预测控制参数组合；
通过所述策略优化层中的遗传算法，分别对每个加工校准工件对应的预测控制参数组合进行参数优化和策略输出，得到每个加工校准工件对应的候选机械手参数控制策略；
根据所述候选机械手参数控制策略和多个加工校准工件之间的策略对应关系，并根据所述策略对应关系生成控制策略关系列表。
结合第一方面，在本发明第一方面的第六种实现方式中，所述通过所述目标加工平台对待加工的目标加工工件进行视觉定位和视觉检测，得到目标视觉检测结果，并根据所述目标视觉检测结果对所述控制策略关系列表进行匹配，得到对应的目标机械手参数控制策略，以及根据所述目标机械手参数控制策略对所述目标加工工件进行加工过程控制，包括：
通过所述目标加工平台对待加工的目标加工工件进行视觉定位和视觉检测，得到目标视觉检测结果；
根据所述目标视觉检测结果确定所述目标加工工件的属性信息，并根据所述属性信息生成对应的列表索引标识；
根据所述列表索引标识对所述控制策略关系列表进行匹配，得到所述目标加工工件对应的目标机械手参数控制策略；
根据所述目标机械手参数控制策略对所述目标加工平台进行控制策略配置，并通过所述目标加工平台对所述目标加工工件进行加工过程控制，同时，实时检测所述目标加工工件的加工状态信息，并根据所述加工状态信息对所述目标加工平台进行动态加工监测。
本发明第二方面提供了一种基于视觉定位的机械手精准定位系统，所述基于视觉定位的机械手精准定位系统包括：
测试模块，用于基于预设的目标加工平台分别对多个不同的加工校准工件进行加工视觉定位测试，并获取所述目标加工平台的加工程序控制输出参数以及每个加工校准工件的工件质量检测参数；
构建模块，用于根据所述加工程序控制输出参数生成每个加工校准工件对应的机械手加工姿态和轨迹参数，并根据所述工件质量检测参数构建定位校准数据模型；
计算模块，用于根据所述定位校准数据模型分别计算每个加工校准工件对应的工件对位偏移量以及所述目标加工平台对应的机械手反馈补偿量；
编码模块，用于分别对所述工件对位偏移量以及所述机械手反馈补偿量进行向量编码转换，得到工件对位评价向量以及机械手振动评价向量，并对所述工件对位评价向量以及所述机械手振动评价向量进行向量对齐和向量融合，生成每个加工校准工件的目标融合评价向量；
分析模块，用于分别将每个加工校准工件的目标融合评价向量输入预置的控制策略分析模型进行控制策略分析，得到多个候选机械手参数控制策略，并根据所述多个候选机械手参数控制策略和多个加工校准工件生成控制策略关系列表；
控制模块，用于通过所述目标加工平台对待加工的目标加工工件进行视觉定位和视觉检测，得到目标视觉检测结果，并根据所述目标视觉检测结果对所述控制策略关系列表进行匹配，得到对应的目标机械手参数控制策略，以及根据所述目标机械手参数控制策略对所述目标加工工件进行加工过程控制。
本发明第三方面提供了一种基于视觉定位的机械手精准定位设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于视觉定位的机械手精准定位设备执行上述的基于视觉定位的机械手精准定位方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于视觉定位的机械手精准定位方法。
本发明提供的技术方案中，基于目标加工平台分别对多个不同的加工校准工件进行加工视觉定位测试，得到加工程序控制输出参数以及工件质量检测参数；构建定位校准数据模型；计算工件对位偏移量以及机械手反馈补偿量；进行向量编码转换和向量融合，生成目标融合评价向量；将目标融合评价向量输入控制策略分析模型进行控制策略分析，生成控制策略关系列表；对待加工的目标加工工件进行视觉定位和视觉检测，得到目标视觉检测结果并进行匹配，得到目标机械手参数控制策略，以及根据目标机械手参数控制策略对目标加工工件进行加工过程控制，本发明通过视觉定位、工件质量检测和机械手参数优化等综合手段，实现了对机械手的高精准度定位。这有助于确保加工过程中工件的精确位置和质量要求。通过对多个不同加工校准工件的测试和分析，考虑了在不同工况下的加工变化。这增强了系统对不同工件类型和形状的适应性。通过实时视觉检测和动态偏移校正，能够在加工过程中对工件和机械手的状态进行实时监测和调整，确保加工的持续精准性。通过控制策略分析模型，系统能够根据不同工况和目标工件类型选择最优的机械手参数控制策略，提高了系统的自适应性和智能化。通过自动化的视觉定位和实时控制，有助于提高加工效率。机械手在不同工况下能够更快速、更准确地定位和加工工件，减少了加工周期和成本。通过工件质量检测和实时校正，系统能够保持生产过程的一致性，降低了因为工件变化而引起的生产波动，确保了每个加工校准工件的高质量。自动化和智能化特性降低了对人工操作和干预的需求。减少了人为错误的性，提高了生产线的稳定性，进而提高了机械手的定位准确率以及效率。
附图说明
图1为本发明实施例中基于视觉定位的机械手精准定位方法的一个实施例示意图；
图2为本发明实施例中构建定位校准数据模型的流程图；
图3为本发明实施例中计算工件对位偏移量以及机械手反馈补偿量的流程图；
图4为本发明实施例中向量对齐和向量融合的流程图；
图5为本发明实施例中基于视觉定位的机械手精准定位系统的一个实施例示意图；
图6为本发明实施例中基于视觉定位的机械手精准定位设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于视觉定位的机械手精准定位方法及系统，用于提高机械手的定位准确率以及效率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于视觉定位的机械手精准定位方法的一个实施例包括：
S101、基于预设的目标加工平台分别对多个不同的加工校准工件进行加工视觉定位测试，并获取目标加工平台的加工程序控制输出参数以及每个加工校准工件的工件质量检测参数；
可以理解的是，本发明的执行主体可以为基于视觉定位的机械手精准定位系统，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的，基于预设的目标加工平台对多个不同的加工校准工件进行加工视觉定位测试。这是实现自适应性的第一步，因为不同工件类型需要不同的定位信息。通过分别采集每个加工校准工件的加工图像数据，系统获得了有关工件的视觉信息。通过预置的工件加工数据库，系统查询每个加工校准工件的程序控制参数。这些参数包括机械手的动作指令，以及与特定工件类型相关的操作规则。这些参数的自动获取有助于节省时间和降低人为错误的风险。进一步，采用预置的SSD算法（Single Shot MultiBox Detector），对每个加工校准工件的加工图像数据进行工件加工质量检测。这个算法使用深度学习技术，能够检测工件中的缺陷、污点或其他质量问题，生成多尺度特征图。这一步骤可视为自动的工件质量控制，提高了生产线的自动化程度。通过对多尺度特征图进行多层预测和非极大值抑制，系统生成每个加工校准工件的加工图像检测结果。这些结果提供了工件的精确位置、质量状况等关键信息。根据加工图像检测结果，生成每个加工校准工件的工件质量检测参数。例如，假设一个制造工厂需要生产不同类型的零件，这些零件具有不同的尺寸和形状。目标加工平台会针对这些不同类型的零件进行加工视觉定位测试。每个零件将被放置在机械手的工作区域，并拍摄多张加工图像。这些图像数据会被送入工件加工数据库，以查询每个零件类型的加工程序控制参数。例如，对于小型圆形零件，控制参数包括抓取点的坐标和抓取方式。对于大型方形零件，参数有所不同。同时，通过SSD算法，系统会对每个零件的加工图像数据进行质量检测。SSD算法可以识别零件的位置，检查是否存在任何缺陷或污点，并输出关于零件的质量信息。通过多层预测和非极大值抑制，系统确定每个零部件的位置和质量状况。这使制造工厂能够自动调整机械手的操作，以确保每个零部件都被正确处理，而不需要人工干预。最终，这些数据将用于机械手的控制，以精准地抓取和定位每个零件，确保其质量，并在生产线上进行进一步的加工。
S102、根据加工程序控制输出参数生成每个加工校准工件对应的机械手加工姿态和轨迹参数，并根据工件质量检测参数构建定位校准数据模型；
具体的，获取每个加工校准工件对应的参数转换关系。确定每个工件的加工程序控制输出参数与机械手加工姿态、轨迹参数以及工件质量检测参数之间的关系。这些关系可以根据工艺知识或实验数据来获取。例如，如果一个加工校准工件是一个盒子，参数转换关系会告诉系统，盒子的大小和形状如何影响机械手的姿态和轨迹。根据参数转换关系，从加工程序控制输出参数中提取每个加工校准工件对应的机械手加工姿态和轨迹参数。这一步骤将帮助机械手了解如何在不同工件上调整自己的动作，以适应不同的工件类型。将机械手加工姿态和轨迹参数以及工件质量检测参数整合为目标整合数据集。这个数据集将包括了多个维度的信息，包括机械手操作参数和工件质量参数，这将用于构建定位校准数据模型。然后，根据目标整合数据集，对预置的多变量回归分析模型进行模型参数配置和训练。多变量回归分析是一种数学方法，用于建立不同变量之间的关系模型。在这里，它将用于建立机械手操作参数、工件质量参数和工件特征之间的关系。通过训练这个模型，机械手将能够更好地理解如何根据工件特征和质量要求来调整自己的操作。对初始校准数据模型进行模型校验。这一步骤用于确保模型的准确性和可靠性。模型校验结果将提供有关模型的质量评估，如果模型无法满足要求，需要进一步调整参数或重新训练模型。如果模型校验通过，那么初始校准数据模型将被输出为定位校准数据模型。这个模型将成为机械手的指导工具，用于自适应地定位和操作不同的工件。
S103、根据定位校准数据模型分别计算每个加工校准工件对应的工件对位偏移量以及目标加工平台对应的机械手反馈补偿量；
需要说明的是，通过定位校准数据模型中的第一变量回归预测层，分别对每个加工校准工件的机械手加工姿态和轨迹参数进行参数变量回归预测。这一层将帮助确定每个工件所需的机械手操作参数，以使其定位到期望的位置。这些预测的参数值表示机械手的期望操作参数，以确保工件的准确定位。然后，对每个加工校准工件的机械手期望预测参数值以及机械手加工姿态和轨迹参数进行反馈补偿量计算。这个计算过程会考虑实际机械手的姿态和轨迹，与预测的参数值之间的差异，从而生成机械手的反馈补偿量。这个补偿量将帮助机械手校正其操作，以达到期望的位置和定位精度。通过定位校准数据模型中的第二变量回归预测层，分别对每个加工校准工件的工件对位偏移量进行参数变量回归预测。这一层将帮助确定工件的期望对位偏移量，以使其定位到期望的位置。这些预测的参数值表示工件的期望定位误差。对每个加工校准工件的质量期望预测参数值以及工件质量检测参数进行对位偏移量计算。这个计算过程会考虑实际的工件质量参数，与预测的参数值之间的差异，从而生成工件的对位偏移量。这个偏移量将用于校正工件的位置，以达到期望的定位精度和质量标准。
S104、分别对工件对位偏移量以及机械手反馈补偿量进行向量编码转换，得到工件对位评价向量以及机械手振动评价向量，并对工件对位评价向量以及机械手振动评价向量进行向量对齐和向量融合，生成每个加工校准工件的目标融合评价向量；
具体的，对工件对位偏移量进行向量编码转换。将工件对位偏移量的不同维度和参数编码为一个工件对位评价向量。这个向量将反映工件在不同方向上的定位误差和偏移情况。同时，进行机械手反馈补偿量的向量编码转换。机械手反馈补偿量包括了机械手的运动和振动信息，将其编码为机械手振动评价向量，以量化机械手的振动状况。进行向量元素对齐。在这一步骤中，工件对位评价向量和机械手振动评价向量的元素进行对齐，以确保它们具有相同的维度和单位。这确保了这两个向量可以进行有意义的融合和比较。进行向量融合。将工件对位评价向量和机械手振动评价向量相结合，形成一个初始融合评价向量。这一向量将综合考虑工件的定位质量和机械手的振动状况。进行向量权重分配。在这一步骤中，根据具体的需求和标准，确定每个元素的权重。这些权重将指导对初始融合评价向量的加权运算，生成每个加工校准工件的目标融合评价向量。例如，假设机械手被用于将各种电子元件定位到电路板上。在生产过程中，每个电子元件的位置必须非常准确，以确保电路板的功能性和可靠性。同时，机械手的振动也会对装配精度产生影响。通过视觉定位和传感器监测，工厂收集到了各个电子元件的定位偏移数据以及机械手的振动数据。这些数据被转化为工件对位评价向量和机械手振动评价向量。然后，这两个向量被对齐，以确保它们可以进行比较和融合。元素对齐后，它们被合并成初始融合评价向量。根据产品的装配质量标准，工厂确定了向量元素的权重。例如，如果装配的电子设备对定位要求更高，那么工件对位评价的权重会更高。然后，根据这些权重，每个电子元件的最终目标融合评价向量被生成，用于指导机械手的调整，以确保电子设备的装配精度达到标准要求。
S105、分别将每个加工校准工件的目标融合评价向量输入预置的控制策略分析模型进行控制策略分析，得到多个候选机械手参数控制策略，并根据多个候选机械手参数控制策略和多个加工校准工件生成控制策略关系列表；
具体的，系统建立一个控制策略分析模型，该模型包括多个层次，其中包括多个策略分析层以及策略优化层。这个模型将帮助系统分析和优化机械手的控制策略，以确保每个加工校准工件都能满足高精度的要求。在策略分析层中，系统使用决策树模型对每个加工校准工件的目标融合评价向量进行控制参数分析。系统将考虑各个工件的特定要求和性能目标，并根据这些数据预测控制参数组合，以满足这些目标。然后，通过策略优化层中的遗传算法，分别对每个加工校准工件对应的预测控制参数组合进行参数优化和策略输出，得到每个加工校准工件对应的候选机械手参数控制策略。遗传算法是一种启发式优化方法，它模拟自然选择的过程，逐渐演化出最优的控制策略。这一步骤将帮助系统找到最适合每个加工校准工件的控制策略。系统考虑策略之间的对应关系，以确保每个策略与特定工件相关联。这将形成一个控制策略关系列表，其中包括每个工件和其对应的最佳机械手参数控制策略。例如，假设在装配线上，机械手用于组装各个组件，如屏幕、电池和主板，每种设备都有不同的组装要求和性能标准。对于每个设备，工厂需要不同的机械手参数控制策略，以确保装配的精确性和性能。这些策略需要根据每个设备的特定要求进行调整。例如，智能手机的屏幕装配需要更高的精度，而平板电脑的主板安装需要更高的速度。通过将每个设备的目标融合评价向量输入控制策略分析模型，工厂可以针对每个设备生成候选机械手参数控制策略。在策略分析层，决策树模型考虑了每个设备的要求，并预测了控制参数组合。然后，在策略优化层，遗传算法优化了这些参数，以满足特定设备的需求。最终，工厂建立了一个控制策略关系列表，其中包括每个电子设备和其对应的最佳机械手参数控制策略。这将确保每个设备都在装配过程中达到了高精度的要求，并在生产中提高了效率和一致性。
S106、通过目标加工平台对待加工的目标加工工件进行视觉定位和视觉检测，得到目标视觉检测结果，并根据目标视觉检测结果对控制策略关系列表进行匹配，得到对应的目标机械手参数控制策略，以及根据目标机械手参数控制策略对目标加工工件进行加工过程控制。
具体的，目标加工平台将待加工的目标加工工件置于其操作范围内，并执行视觉定位和视觉检测。系统将使用视觉传感器、摄像头或其他视觉设备来捕获目标工件的图像数据，然后通过图像处理和分析技术获得目标视觉检测结果。这个结果包括工件的位置、姿态、尺寸、形状等属性信息。根据目标视觉检测结果，系统将确定目标加工工件的属性信息。这可以包括工件的具体型号、尺寸、质量等方面的特征。基于这些属性信息，系统将生成一个列表索引标识，该标识将用于匹配控制策略关系列表中的相关数据。然后，系统将使用列表索引标识在控制策略关系列表中查找与目标加工工件相匹配的目标机械手参数控制策略。这些策略可以是事先配置的，包括机械手的位置、速度、力度等参数，以确保工件的精确处理。一旦找到了目标机械手参数控制策略，系统将执行对应的控制策略配置，即根据策略来调整机械手的运动和操作。同时，系统将在加工过程中实时监测目标加工工件的加工状态信息，这可以包括工件的位置、质量、形状等方面的数据。这些信息将用于动态加工监测，以确保工件在加工过程中的精确性和质量。例如，每个零件都具有不同的几何特征，例如孔的位置、长度、宽度等。在生产车间中，系统使用机械手来处理和加工这些金属零件。当一个新的金属零件需要加工时，工人将其放置在目标加工平台上，机械手负责处理。目标加工平台装备了摄像头和视觉传感器，它们用于进行视觉定位和视觉检测。机械手会将工件放置在摄像头下，然后系统捕获工件的图像数据。根据图像数据，系统分析工件的属性信息，例如其形状、尺寸和孔的位置。这些属性信息用于生成一个列表索引标识，以确定工件的特定类型。系统随后在控制策略关系列表中查找匹配该类型工件的目标机械手参数控制策略。这些策略包括了机械手的姿态、速度和力度等参数，以确保金属零件的加工精度。一旦找到匹配的策略，系统将配置机械手，确保它按照所需的方式进行加工。同时，系统实时监测工件的位置和质量，以便在加工过程中进行动态监测。这确保了每个零件都满足了高精度的要求，并提高了生产效率。
本发明实施例中，通过视觉定位、工件质量检测和机械手参数优化等综合手段，实现了对机械手的高精准度定位。这有助于确保加工过程中工件的精确位置和质量要求。通过对多个不同加工校准工件的测试和分析，考虑了在不同工况下的加工变化。这增强了系统对不同工件类型和形状的适应性。通过实时视觉检测和动态偏移校正，能够在加工过程中对工件和机械手的状态进行实时监测和调整，确保加工的持续精准性。通过控制策略分析模型，系统能够根据不同工况和目标工件类型选择最优的机械手参数控制策略，提高了系统的自适应性和智能化。通过自动化的视觉定位和实时控制，有助于提高加工效率。机械手在不同工况下能够更快速、更准确地定位和加工工件，减少了加工周期和成本。通过工件质量检测和实时校正，系统能够保持生产过程的一致性，降低了因为工件变化而引起的生产波动，确保了每个加工校准工件的高质量。自动化和智能化特性降低了对人工操作和干预的需求。减少了人为错误的性，提高了生产线的稳定性，进而提高了机械手的定位准确率以及效率。
在一具体实施例中，执行步骤S101的过程可以具体包括如下步骤：
（1）基于预设的目标加工平台分别对多个不同的加工校准工件进行加工视觉定位测试，并分别采集每个加工校准工件的加工图像数据；
（2）通过预置的工件加工数据库，分别对每个加工校准工件进行程序控制参数查询，得到目标加工平台的加工程序控制输出参数；
（3）基于预置的SSD算法，对每个加工校准工件的加工图像数据进行工件加工质量检测，得到每个加工图像数据的多尺度特征图；
（4）对每个加工图像数据的多尺度特征图进行多层预测和非极大值抑制，输出每个加工校准工件的加工图像检测结果；
（5）根据加工图像检测结果，生成每个加工校准工件的工件质量检测参数。
具体的，通过目标加工平台分别对多个不同的加工校准工件进行加工视觉定位测试。每个工件将被放置在加工平台上，并使用视觉设备（例如摄像头或传感器）来获取工件的位置和姿态信息。这些信息将有助于确保工件在机械手处理时被准确定位。例如，不同的零部件具有不同的尺寸和形状，因此需要不同的机械手定位。本实施例中，加工平台会将每个零部件放置在一个定位工作区域，并使用摄像头进行视觉定位测试，以确保机械手精确地知道每个零部件的位置和姿态。通过预置的工件加工数据库，系统将分别对每个加工校准工件进行程序控制参数查询，以获取目标加工平台的加工程序控制输出参数。这些参数将包括机械手的运动轨迹、速度、力度等，以确保工件能够被精确地加工。继而，采用预置的SSD（Single Shot MultiBox Detector）算法对每个加工校准工件的加工图像数据进行工件加工质量检测。SSD算法是一种用于对象检测的深度学习算法，它可以识别图像中的对象并确定它们的位置。在这一步骤中，算法将分析每个工件的图像数据，以确保工件的质量。然后，对每个加工图像数据的多尺度特征图进行多层预测和非极大值抑制。这将生成每个加工校准工件的加工图像检测结果。多尺度特征图允许系统在不同分辨率下检测工件的细节，而非极大值抑制有助于减少重复检测。基于加工图像检测结果，系统将生成每个加工校准工件的工件质量检测参数。这些参数将包括工件的尺寸、形状、缺陷等信息，以便系统进一步处理工件或采取必要的控制措施以确保质量。
在一具体实施例中，如图2所示，执行步骤S102的过程可以具体包括如下步骤：
S201、获取每个加工校准工件对应的参数转换关系，并根据参数转换关系，从加工程序控制输出参数中提取每个加工校准工件对应的机械手加工姿态和轨迹参数；
S202、对每个加工校准工件的机械手加工姿态和轨迹参数以及工件质量检测参数进行参数数据整合，得到目标整合数据集；
S203、根据目标整合数据集对预置的多变量回归分析模型进行模型参数配置和训练，得到初始校准数据模型；
S204、对初始校准数据模型进行模型校验，得到模型校验结果，若模型校验结果为校验通过，则将初始校准数据模型输出为定位校准数据模型。
具体的，获取每个加工校准工件对应的参数转换关系。确定如何将加工程序控制输出参数转换为机械手加工姿态和轨迹参数。这些参数转换关系是特定于每个工件的，因为不同工件需要不同的控制参数。例如，每个不同尺寸零件都需要不同的机械手运动轨迹和加工姿态。参数转换关系将根据零件的尺寸和形状来确定。将机械手加工姿态和轨迹参数与工件质量检测参数进行参数数据整合，以创建目标整合数据集。这个数据集将包含工件的几何特征和质量信息，以及与机械手运动相关的参数。继而，使用目标整合数据集对预置的多变量回归分析模型进行模型参数配置和训练。多变量回归分析模型是一种数学模型，用于将输入参数与输出参数之间的关系进行建模，模型将学习如何根据工件的特征和机械手参数来预测机械手的运动。然后，对初始校准数据模型进行模型校验。目的是确保模型能够准确地预测机械手的运动参数，以使机械手能够正确定位工件。如果模型校验通过，表示模型能够准确地预测机械手参数，那么初始校准数据模型将被输出为定位校准数据模型。例如，在汽车制造业中，不同型号的汽车需要不同的机械手运动轨迹来完成装配任务。参数转换关系和多变量回归分析模型将在此情境下用于校准机械手，以确保它们能够准确地执行装配任务。
在一具体实施例中，如图3所示，执行步骤S103的过程可以具体包括如下步骤：
S301、通过定位校准数据模型中的第一变量回归预测层，分别对每个加工校准工件的机械手加工姿态和轨迹参数进行参数变量回归预测，得到每个加工校准工件的机械手期望预测参数值；
S302、对每个加工校准工件的机械手期望预测参数值以及机械手加工姿态和轨迹参数进行反馈补偿量计算，得到目标加工平台对应的机械手反馈补偿量；
S303、通过定位校准数据模型中的第二变量回归预测层，分别对每个加工校准工件的工件对位偏移量进行参数变量回归预测，得到每个加工校准工件的质量期望预测参数值；
S304、对每个加工校准工件的质量期望预测参数值以及工件质量检测参数进行对位偏移量计算，得到每个加工校准工件对应的工件对位偏移量。
具体的，通过定位校准数据模型的第一变量回归预测层，针对每个加工校准工件进行机械手加工姿态和轨迹参数的参数变量回归预测。这一层使用历史数据和机器学习算法来预测机械手的期望参数值，以实现更准确的定位。例如，在电子制造工厂中，如果机械手需要精确放置电子元件在印刷电路板上，该层可以使用历史数据和机器学习算法来预测机械手的期望姿态和轨迹参数，以确保元件被正确定位。根据机械手的期望预测参数值和当前的机械手加工姿态和轨迹参数，进行反馈补偿量计算。如果机械手的实际参数与期望参数不匹配，系统会计算出需要调整的补偿量，以确保机械手能够按照期望定位。例如，如果机械手在放置电子元件时存在微小偏移，反馈补偿量计算将自动计算需要调整的姿态和轨迹参数，以使元件的定位更精确。通过定位校准数据模型的第二变量回归预测层，对每个加工校准工件的工件对位偏移量进行参数变量回归预测。这一层使用历史数据和机器学习算法来预测工件的期望对位偏移量，以确保工件被正确定位。例如，如果工件需要在印刷电路板上精确对位，该层可以使用历史数据和机器学习算法来预测工件的期望对位偏移量，以确保工件被正确定位。根据工件的期望预测参数值和工件质量检测参数，进行对位偏移量计算。这表示如果工件的实际参数与期望参数不匹配，系统将计算出需要调整的对位偏移量，以确保工件的定位更精确。例如，如果电子元件需要与印刷电路板上的特定元件对位，系统会计算出需要微调的对位偏移量，以确保它们精确对齐。
在一具体实施例中，如图4所示，执行步骤S104的过程可以具体包括如下步骤：
S401、对工件对位偏移量进行向量编码转换，得到工件对位评价向量，并对机械手反馈补偿量进行向量编码转换，得到机械手振动评价向量；
S402、对工件对位评价向量和机械手振动评价向量进行向量元素对齐，得到初始融合评价向量；
S403、对初始融合评价向量进行向量权重分配，得到向量权重数据，并根据向量权重数据对初始融合评价向量进行向量加权运算，生成每个加工校准工件的目标融合评价向量。
具体的，对工件的对位偏移量进行向量编码转换，这将工件的偏移信息表示为向量形式，得到工件对位评价向量。同时，对机械手的振动反馈补偿量进行向量编码转换，将振动信息表示为向量形式，得到机械手振动评价向量。这两个向量包含了工件对位和机械手振动的信息，将用于后续的评价和融合。例如，这可以用于测量电子元件的位置偏差和机械手振动水平。将工件对位评价向量和机械手振动评价向量进行向量元素对齐。这一步确保两个向量具有相同的维度和元素，以便它们可以进行有效的融合。这样，工件对位和机械手振动的信息可以在相同的框架下进行比较和分析，为后续的评价提供了一致性。例如，如果工件对位评价向量包含了多个维度的信息，机械手振动评价向量也需要包含相同数量的维度和元素，以进行有效的比较和融合。然后，对初始融合评价向量进行向量权重分配。这一步骤分配了每个向量元素的权重，以指示其在融合中的相对重要性。这些权重根据应用需求和系统要求进行调整，以确保评价的准确性和可行性。例如，如果工件对位在某些维度上更加关键，那么这些维度的权重会更高，以确保定位的准确性。根据向量权重数据对初始融合评价向量进行向量加权运算，从而生成每个加工校准工件的目标融合评价向量。这一向量将综合考虑工件对位和机械手振动的信息，以评估每个工件的定位准确性和机械手振动水平。例如，目标融合评价向量可以用于监测电子元件的定位质量和机械手振动情况，以确保生产的产品达到所需的精度和质量标准。
在一具体实施例中，执行步骤S105的过程可以具体包括如下步骤：
（1）分别将每个加工校准工件的目标融合评价向量输入预置的控制策略分析模型，其中，控制策略分析模型包括：多个策略分析层以及策略优化层；
（2）通过多个策略分析层中的决策树模型，分别对每个加工校准工件的目标融合评价向量进行控制参数分析，得到每个加工校准工件对应的预测控制参数组合；
（3）通过策略优化层中的遗传算法，分别对每个加工校准工件对应的预测控制参数组合进行参数优化和策略输出，得到每个加工校准工件对应的候选机械手参数控制策略；
（4）根据候选机械手参数控制策略和多个加工校准工件之间的策略对应关系，并根据策略对应关系生成控制策略关系列表。
具体的，分别将每个加工校准工件的目标融合评价向量输入预置的控制策略分析模型。这个模型包含多个层级，其中包括策略分析层和策略优化层。这些层级允许逐步细化和优化机械手的参数控制策略。例如，如果需要定位电子元件，控制策略分析模型可以接收来自不同元件的融合评价向量。在策略分析层，使用决策树模型对每个加工校准工件的目标融合评价向量进行控制参数分析。这一步骤的目的是根据融合评价向量的信息，为每个工件确定一个初始的预测控制参数组合。决策树模型根据工件的属性和特征进行分析，并生成初步的控制参数。例如，如果工件对位评价向量显示了位置偏差，决策树模型会提出调整机械手的定位参数来改善工件的位置。在策略优化层，使用遗传算法对每个加工校准工件的预测控制参数组合进行参数优化和策略输出。遗传算法是一种优化方法，它模拟了生物进化过程，寻找最优的参数组合，以使机械手的性能最佳化。例如，如果预测控制参数组合需要调整机械手的速度和精度，遗传算法可以帮助确定最佳的参数组合。根据候选机械手参数控制策略和多个加工校准工件之间的策略对应关系，生成控制策略关系列表。这一步骤将确保每个工件都有一个特定的机械手参数控制策略，以满足其要求。例如，如果有不同类型的电子元件，每种元件都需要不同的机械手参数设置，这一列表将确保每种元件都有适当的控制策略。
在一具体实施例中，执行步骤S106的过程可以具体包括如下步骤：
（1）通过目标加工平台对待加工的目标加工工件进行视觉定位和视觉检测，得到目标视觉检测结果；
（2）根据目标视觉检测结果确定目标加工工件的属性信息，并根据属性信息生成对应的列表索引标识；
（3）根据列表索引标识对控制策略关系列表进行匹配，得到目标加工工件对应的目标机械手参数控制策略；
（4）根据目标机械手参数控制策略对目标加工平台进行控制策略配置，并通过目标加工平台对目标加工工件进行加工过程控制，同时，实时检测目标加工工件的加工状态信息，并根据加工状态信息对目标加工平台进行动态加工监测。
具体的，目标加工平台将待加工的目标加工工件进行视觉定位和视觉检测，以获取目标视觉检测结果。这一步骤涉及使用摄像头或其他视觉传感器来捕获工件的图像，然后通过计算机视觉算法分析这些图像，以确定工件的位置和特征。例如，目标工件是电路板，通过视觉定位和检测，可以确定电路板的位置、元件布局等信息。然后，根据目标视觉检测结果，确定目标加工工件的属性信息，这些信息可以包括工件的尺寸、形状、材料或其他特性。属性信息的提取有助于更好地了解目标工件的特点。例如，如果目标工件是机械零件，属性信息包括零件的尺寸、材质和几何形状。根据属性信息生成对应的列表索引标识。这个标识将被用于将目标工件与控制策略关系列表中的特定控制策略相匹配。例如，如果某个工件被确定为小型零件，那么列表索引标识指向一组控制策略，这些策略适用于小型零件的加工。使用列表索引标识对控制策略关系列表进行匹配，这个列表包含了不同工件类型和属性所需的机械手参数控制策略。匹配过程会将目标加工工件与相应的机械手参数控制策略进行关联。例如，如果目标工件是一块电路板，匹配过程会选择一组控制策略，用于精确定位和加工电路板上的元件。继而，根据目标机械手参数控制策略对目标加工平台进行控制策略配置。这包括调整机械手的参数，以使其适应特定工件的要求，例如位置、速度、力度等。通过目标加工平台对目标加工工件进行加工过程控制。这包括使用已配置的机械手参数来执行具体的制造任务。同时，实时检测目标加工工件的加工状态信息，以确保制造过程的质量和精度。例如，机械手可以精确放置电子元件，并通过传感器监测元件的位置和连接质量，以确保电路板的质量。
上面对本发明实施例中基于视觉定位的机械手精准定位方法进行了描述，下面对本发明实施例中基于视觉定位的机械手精准定位系统进行描述，请参阅图5，本发明实施例中基于视觉定位的机械手精准定位系统一个实施例包括：
测试模块501，用于基于预设的目标加工平台分别对多个不同的加工校准工件进行加工视觉定位测试，并获取所述目标加工平台的加工程序控制输出参数以及每个加工校准工件的工件质量检测参数；
构建模块502，用于根据所述加工程序控制输出参数生成每个加工校准工件对应的机械手加工姿态和轨迹参数，并根据所述工件质量检测参数构建定位校准数据模型；
计算模块503，用于根据所述定位校准数据模型分别计算每个加工校准工件对应的工件对位偏移量以及所述目标加工平台对应的机械手反馈补偿量；
编码模块504，用于分别对所述工件对位偏移量以及所述机械手反馈补偿量进行向量编码转换，得到工件对位评价向量以及机械手振动评价向量，并对所述工件对位评价向量以及所述机械手振动评价向量进行向量对齐和向量融合，生成每个加工校准工件的目标融合评价向量；
分析模块505，用于分别将每个加工校准工件的目标融合评价向量输入预置的控制策略分析模型进行控制策略分析，得到多个候选机械手参数控制策略，并根据所述多个候选机械手参数控制策略和多个加工校准工件生成控制策略关系列表；
控制模块506，用于通过所述目标加工平台对待加工的目标加工工件进行视觉定位和视觉检测，得到目标视觉检测结果，并根据所述目标视觉检测结果对所述控制策略关系列表进行匹配，得到对应的目标机械手参数控制策略，以及根据所述目标机械手参数控制策略对所述目标加工工件进行加工过程控制。
通过上述各个组成部分的协同合作，通过视觉定位、工件质量检测和机械手参数优化等综合手段，实现了对机械手的高精准度定位。这有助于确保加工过程中工件的精确位置和质量要求。通过对多个不同加工校准工件的测试和分析，考虑了在不同工况下的加工变化。这增强了系统对不同工件类型和形状的适应性。通过实时视觉检测和动态偏移校正，能够在加工过程中对工件和机械手的状态进行实时监测和调整，确保加工的持续精准性。通过控制策略分析模型，系统能够根据不同工况和目标工件类型选择最优的机械手参数控制策略，提高了系统的自适应性和智能化。通过自动化的视觉定位和实时控制，有助于提高加工效率。机械手在不同工况下能够更快速、更准确地定位和加工工件，减少了加工周期和成本。通过工件质量检测和实时校正，系统能够保持生产过程的一致性，降低了因为工件变化而引起的生产波动，确保了每个加工校准工件的高质量。自动化和智能化特性降低了对人工操作和干预的需求。减少了人为错误的性，提高了生产线的稳定性，进而提高了机械手的定位准确率以及效率。
上面图5从模块化功能实体的角度对本发明实施例中的基于视觉定位的机械手精准定位系统进行详细描述，下面从硬件处理的角度对本发明实施例中基于视觉定位的机械手精准定位设备进行详细描述。
图6是本发明实施例提供的一种基于视觉定位的机械手精准定位设备的结构示意图，该基于视觉定位的机械手精准定位设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于视觉定位的机械手精准定位设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于视觉定位的机械手精准定位设备600上执行存储介质630中的一系列指令操作。
基于视觉定位的机械手精准定位设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的基于视觉定位的机械手精准定位设备结构并不构成对基于视觉定位的机械手精准定位设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种基于视觉定位的机械手精准定位设备，所述基于视觉定位的机械手精准定位设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于视觉定位的机械手精准定位方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于视觉定位的机械手精准定位方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于视觉定位的机械手精准定位方法，其特征在于，所述基于视觉定位的机械手精准定位方法包括：
基于预设的目标加工平台分别对多个不同的加工校准工件进行加工视觉定位测试，并获取所述目标加工平台的加工程序控制输出参数以及每个加工校准工件的工件质量检测参数；
根据所述加工程序控制输出参数生成每个加工校准工件对应的机械手加工姿态和轨迹参数，并根据所述工件质量检测参数构建定位校准数据模型；
根据所述定位校准数据模型分别计算每个加工校准工件对应的工件对位偏移量以及所述目标加工平台对应的机械手反馈补偿量；
分别对所述工件对位偏移量以及所述机械手反馈补偿量进行向量编码转换，得到工件对位评价向量以及机械手振动评价向量，并对所述工件对位评价向量以及所述机械手振动评价向量进行向量对齐和向量融合，生成每个加工校准工件的目标融合评价向量；
分别将每个加工校准工件的目标融合评价向量输入预置的控制策略分析模型进行控制策略分析，得到多个候选机械手参数控制策略，并根据所述多个候选机械手参数控制策略和多个加工校准工件生成控制策略关系列表；
通过所述目标加工平台对待加工的目标加工工件进行视觉定位和视觉检测，得到目标视觉检测结果，并根据所述目标视觉检测结果对所述控制策略关系列表进行匹配，得到对应的目标机械手参数控制策略，以及根据所述目标机械手参数控制策略对所述目标加工工件进行加工过程控制。
2.根据权利要求1所述的基于视觉定位的机械手精准定位方法，其特征在于，所述基于预设的目标加工平台分别对多个不同的加工校准工件进行加工视觉定位测试，并获取所述目标加工平台的加工程序控制输出参数以及每个加工校准工件的工件质量检测参数，包括：
基于预设的目标加工平台分别对多个不同的加工校准工件进行加工视觉定位测试，并分别采集每个加工校准工件的加工图像数据；
通过预置的工件加工数据库，分别对每个加工校准工件进行程序控制参数查询，得到所述目标加工平台的加工程序控制输出参数；
基于预置的SSD算法，对每个加工校准工件的加工图像数据进行工件加工质量检测，得到每个加工图像数据的多尺度特征图；
对每个加工图像数据的多尺度特征图进行多层预测和非极大值抑制，输出每个加工校准工件的加工图像检测结果；
根据所述加工图像检测结果，生成每个加工校准工件的工件质量检测参数。
3.根据权利要求1所述的基于视觉定位的机械手精准定位方法，其特征在于，所述根据所述加工程序控制输出参数生成每个加工校准工件对应的机械手加工姿态和轨迹参数，并根据所述工件质量检测参数构建定位校准数据模型，包括：
获取每个加工校准工件对应的参数转换关系，并根据所述参数转换关系，从所述加工程序控制输出参数中提取每个加工校准工件对应的机械手加工姿态和轨迹参数；
对每个加工校准工件的机械手加工姿态和轨迹参数以及工件质量检测参数进行参数数据整合，得到目标整合数据集；
根据所述目标整合数据集对预置的多变量回归分析模型进行模型参数配置和训练，得到初始校准数据模型；
对所述初始校准数据模型进行模型校验，得到模型校验结果，若所述模型校验结果为校验通过，则将所述初始校准数据模型输出为所述定位校准数据模型。
4.根据权利要求3所述的基于视觉定位的机械手精准定位方法，其特征在于，所述根据所述定位校准数据模型分别计算每个加工校准工件对应的工件对位偏移量以及所述目标加工平台对应的机械手反馈补偿量，包括：
通过所述定位校准数据模型中的第一变量回归预测层，分别对每个加工校准工件的机械手加工姿态和轨迹参数进行参数变量回归预测，得到每个加工校准工件的机械手期望预测参数值；
对每个加工校准工件的机械手期望预测参数值以及所述机械手加工姿态和轨迹参数进行反馈补偿量计算，得到所述目标加工平台对应的机械手反馈补偿量；
通过所述定位校准数据模型中的第二变量回归预测层，分别对每个加工校准工件的工件对位偏移量进行参数变量回归预测，得到每个加工校准工件的质量期望预测参数值；
对每个加工校准工件的质量期望预测参数值以及工件质量检测参数进行对位偏移量计算，得到每个加工校准工件对应的工件对位偏移量。
5.根据权利要求1所述的基于视觉定位的机械手精准定位方法，其特征在于，所述分别对所述工件对位偏移量以及所述机械手反馈补偿量进行向量编码转换，得到工件对位评价向量以及机械手振动评价向量，并对所述工件对位评价向量以及所述机械手振动评价向量进行向量对齐和向量融合，生成每个加工校准工件的目标融合评价向量，包括：
对所述工件对位偏移量进行向量编码转换，得到工件对位评价向量，并对所述机械手反馈补偿量进行向量编码转换，得到机械手振动评价向量；
对所述工件对位评价向量和所述机械手振动评价向量进行向量元素对齐，得到初始融合评价向量；
对所述初始融合评价向量进行向量权重分配，得到向量权重数据，并根据所述向量权重数据对所述初始融合评价向量进行向量加权运算，生成每个加工校准工件的目标融合评价向量。
6.根据权利要求1所述的基于视觉定位的机械手精准定位方法，其特征在于，所述分别将每个加工校准工件的目标融合评价向量输入预置的控制策略分析模型进行控制策略分析，得到多个候选机械手参数控制策略，并根据所述多个候选机械手参数控制策略和多个加工校准工件生成控制策略关系列表，包括：
分别将每个加工校准工件的目标融合评价向量输入预置的控制策略分析模型，其中，所述控制策略分析模型包括：多个策略分析层以及策略优化层；
通过所述多个策略分析层中的决策树模型，分别对所述每个加工校准工件的目标融合评价向量进行控制参数分析，得到每个加工校准工件对应的预测控制参数组合；
通过所述策略优化层中的遗传算法，分别对每个加工校准工件对应的预测控制参数组合进行参数优化和策略输出，得到每个加工校准工件对应的候选机械手参数控制策略；
根据所述候选机械手参数控制策略和多个加工校准工件之间的策略对应关系，并根据所述策略对应关系生成控制策略关系列表。
7.根据权利要求1所述的基于视觉定位的机械手精准定位方法，其特征在于，所述通过所述目标加工平台对待加工的目标加工工件进行视觉定位和视觉检测，得到目标视觉检测结果，并根据所述目标视觉检测结果对所述控制策略关系列表进行匹配，得到对应的目标机械手参数控制策略，以及根据所述目标机械手参数控制策略对所述目标加工工件进行加工过程控制，包括：
通过所述目标加工平台对待加工的目标加工工件进行视觉定位和视觉检测，得到目标视觉检测结果；
根据所述目标视觉检测结果确定所述目标加工工件的属性信息，并根据所述属性信息生成对应的列表索引标识；
根据所述列表索引标识对所述控制策略关系列表进行匹配，得到所述目标加工工件对应的目标机械手参数控制策略；
根据所述目标机械手参数控制策略对所述目标加工平台进行控制策略配置，并通过所述目标加工平台对所述目标加工工件进行加工过程控制，同时，实时检测所述目标加工工件的加工状态信息，并根据所述加工状态信息对所述目标加工平台进行动态加工监测。
8.一种基于视觉定位的机械手精准定位系统，其特征在于，所述基于视觉定位的机械手精准定位系统包括：
测试模块，用于基于预设的目标加工平台分别对多个不同的加工校准工件进行加工视觉定位测试，并获取所述目标加工平台的加工程序控制输出参数以及每个加工校准工件的工件质量检测参数；
构建模块，用于根据所述加工程序控制输出参数生成每个加工校准工件对应的机械手加工姿态和轨迹参数，并根据所述工件质量检测参数构建定位校准数据模型；
计算模块，用于根据所述定位校准数据模型分别计算每个加工校准工件对应的工件对位偏移量以及所述目标加工平台对应的机械手反馈补偿量；
编码模块，用于分别对所述工件对位偏移量以及所述机械手反馈补偿量进行向量编码转换，得到工件对位评价向量以及机械手振动评价向量，并对所述工件对位评价向量以及所述机械手振动评价向量进行向量对齐和向量融合，生成每个加工校准工件的目标融合评价向量；
分析模块，用于分别将每个加工校准工件的目标融合评价向量输入预置的控制策略分析模型进行控制策略分析，得到多个候选机械手参数控制策略，并根据所述多个候选机械手参数控制策略和多个加工校准工件生成控制策略关系列表；
控制模块，用于通过所述目标加工平台对待加工的目标加工工件进行视觉定位和视觉检测，得到目标视觉检测结果，并根据所述目标视觉检测结果对所述控制策略关系列表进行匹配，得到对应的目标机械手参数控制策略，以及根据所述目标机械手参数控制策略对所述目标加工工件进行加工过程控制。
9.一种基于视觉定位的机械手精准定位设备，其特征在于，所述基于视觉定位的机械手精准定位设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于视觉定位的机械手精准定位设备执行如权利要求1-7中任一项所述的基于视觉定位的机械手精准定位方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的基于视觉定位的机械手精准定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311431889.4A CN117260815A (zh) | 2023-10-31 | 2023-10-31 | 基于视觉定位的机械手精准定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311431889.4A CN117260815A (zh) | 2023-10-31 | 2023-10-31 | 基于视觉定位的机械手精准定位方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117260815A true CN117260815A (zh) | 2023-12-22 |
Family
ID=89216125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311431889.4A Withdrawn CN117260815A (zh) | 2023-10-31 | 2023-10-31 | 基于视觉定位的机械手精准定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117260815A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117498752A (zh) * | 2023-12-29 | 2024-02-02 | 深圳市科沃电气技术有限公司 | 电机的驱动控制方法、装置、设备及存储介质 |
| CN117690846A (zh) * | 2024-02-02 | 2024-03-12 | 深圳市双翌光电科技有限公司 | 太阳能硅片视觉检测方法、装置、设备及存储介质 |
-
2023
- 2023-10-31 CN CN202311431889.4A patent/CN117260815A/zh not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117498752A (zh) * | 2023-12-29 | 2024-02-02 | 深圳市科沃电气技术有限公司 | 电机的驱动控制方法、装置、设备及存储介质 |
| CN117498752B (zh) * | 2023-12-29 | 2024-03-15 | 深圳市科沃电气技术有限公司 | 电机的驱动控制方法、装置、设备及存储介质 |
| CN117690846A (zh) * | 2024-02-02 | 2024-03-12 | 深圳市双翌光电科技有限公司 | 太阳能硅片视觉检测方法、装置、设备及存储介质 |
| CN117690846B (zh) * | 2024-02-02 | 2024-04-09 | 深圳市双翌光电科技有限公司 | 太阳能硅片视觉检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107305370B (zh) | 设定与产品的异常相关的变量的判定值的生产系统 | |
| CN117260815A (zh) | 基于视觉定位的机械手精准定位方法及系统 | |
| US10502253B2 (en) | Machine learning device for learning assembly operation and component assembly system | |
| US10254750B2 (en) | Machining machine system which determines acceptance/rejection of workpieces | |
| US9108316B2 (en) | Method and system for in-production optimization of the parameters of a robot used for assembly | |
| CN114355953B (zh) | 一种基于机器视觉的多轴伺服系统的高精度控制方法及系统 | |
| GB2584608A (en) | Robot motion optimization system and method | |
| US20140343727A1 (en) | Robot positioning | |
| JP2018107315A (ja) | プリント板組立作業のための機械学習装置、制御装置、産業機械、組立システム及び機械学習方法 | |
| CN109909999B (zh) | 一种获取机器人tcp坐标的方法和装置 | |
| CN113009823A (zh) | 用于控制机器的方法和设备 | |
| CN113910218A (zh) | 基于运动学与深度神经网络融合的机器人标定方法和装置 | |
| CN117282580A (zh) | 一种用于喷涂流水线的智能机械手及控制方法 | |
| US10866579B2 (en) | Automated manufacturing process tooling setup assist system | |
| Bobka et al. | Development of an automated assembly process supported with an artificial neural network | |
| Xu et al. | Industrial robot base assembly based on improved Hough transform of circle detection algorithm | |
| US20220402136A1 (en) | System and Method for Robotic Evaluation | |
| JP2018140471A (ja) | 制御装置及び機械学習装置 | |
| US20230010651A1 (en) | System and Method for Online Optimization of Sensor Fusion Model | |
| CN114407012B (zh) | 机器人运动校准方法、装置、计算机设备和存储介质 | |
| US12111643B2 (en) | Inspection system, terminal device, inspection method, and non-transitory computer readable storage medium | |
| Ferreira et al. | Smart system for calibration of automotive racks in Logistics 4.0 based on CAD environment | |
| Scaria et al. | Cost Effective Real Time Vision Interface for Off Line Simulation of Fanuc Robots | |
| CN114248270A (zh) | 基于人工智能的工业机器人精度补偿方法 | |
| Kwon et al. | E-Quality for manufacturing (EQM) within the framework of Internet-based systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20231222 |
|
| WW01 | Invention patent application withdrawn after publication |