CN117245672A - 摄像头支架模块化装配的智能运动控制系统及其方法 - Google Patents

Abstract

本发明公开了一种摄像头支架模块化装配的智能运动控制系统及其方法，其通过部署机械臂的摄像头采集待组装部件的部件图像，并在后端引入图像处理和分析算法来进行所述部件图像的分析，以此来进行待组装部件的类型检测判断，并基于部件的类型来自动进行移动路径规划以正确将吸盘吸附的组件移动到相应的装配位置。这样，提高了装配的自动化程度和生产效率，减少了人工干预的需求，并保证了产品的可靠性和稳定性。

Description

摄像头支架模块化装配的智能运动控制系统及其方法

技术领域

本发明涉及智能运动控制技术领域，尤其涉及一种摄像头支架模块化装配的智能运动控制系统及其方法。

背景技术

在摄像头支架生产作业中，需要将导电布、卷料保护膜等辅料贴合到摄像头支架上。传统的做法是通过手工剥离辅料的离型纸，并将辅料手工贴合在摄像头支架上。然而，手工剥离辅料的离型纸和手工贴合辅料容易受到人为因素的影响，导致贴合位置不准确、贴合不牢固等问题，不同工人的技术水平和经验差异也会导致生产质量的不稳定性。并且，手工剥离辅料的离型纸和贴合辅料需要重复性的精细动作，对工人的手部协调能力和耐力要求较高。长时间的手工操作容易导致工人疲劳和错误，增加了劳动强度，降低了效率。此外，由于手工操作的主观性和操作技巧的差异，贴合的质量难以保证一致性，不同工人的操作习惯和技术水平差异会导致贴合位置的偏差、辅料的皱折等问题，影响了贴合质量的稳定性。

因此，期望一种摄像头支架模块化装配的智能运动控制系统。

发明内容

本发明实施例提供一种摄像头支架模块化装配的智能运动控制系统及其方法，其通过部署机械臂的摄像头采集待组装部件的部件图像，并在后端引入图像处理和分析算法来进行所述部件图像的分析，以此来进行待组装部件的类型检测判断，并基于部件的类型来自动进行移动路径规划以正确将吸盘吸附的组件移动到相应的装配位置。这样，提高了装配的自动化程度和生产效率，减少了人工干预的需求，并保证了产品的可靠性和稳定性。

本发明实施例还提供了一种摄像头支架模块化装配的智能运动控制系统，其包括：

部件图像采集模块，用于获取由部署机械臂的摄像头采集的待组装部件的部件图像；

部件图像局部区域特征提取模块，用于将所述部件图像通过基于R-CNN模型的区域特征提取器以得到多个部件局部区域特征向量；

部件图像全局语义关联编码模块，用于对所述多个部件局部区域特征向量进行关联分析以得到全局部件关联特征；

部件类型和移动路径确定模块，用于基于所述全局部件关联特征，确定待组装部件的类型以及移动路径。

本发明实施例还提供了一种摄像头支架模块化装配的智能运动控制方法，其包括：

获取由部署机械臂的摄像头采集的待组装部件的部件图像；

将所述部件图像通过基于R-CNN模型的区域特征提取器以得到多个部件局部区域特征向量；

对所述多个部件局部区域特征向量进行关联分析以得到全局部件关联特征；

基于所述全局部件关联特征，确定待组装部件的类型以及移动路径。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中提供的一种摄像头支架模块化装配的智能运动控制系统的框图。

图2为本发明实施例中提供的一种摄像头支架模块化装配的智能运动控制方法的流程图。

图3为本发明实施例中提供的一种摄像头支架模块化装配的智能运动控制方法的系统架构的示意图。

图4为本发明实施例中提供的一种摄像头支架模块化装配的智能运动控制系统的应用场景图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。

在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。

摄像头支架生产作业中，需要将导电布、卷料保护膜等辅料贴合到摄像头支架上。传统的做法是将辅料离型纸手工剥离，手工贴合在摄像头支架上，本申请中的方案可以替代人工，实现装配自动化，提高生产质量、效率。

在本发明的一个实施例中，图1为本发明实施例中提供的一种摄像头支架模块化装配的智能运动控制系统的框图。如图1所示，根据本发明实施例的摄像头支架模块化装配的智能运动控制系统100，包括：部件图像采集模块110，用于获取由部署机械臂的摄像头采集的待组装部件的部件图像；部件图像局部区域特征提取模块120，用于将所述部件图像通过基于R-CNN模型的区域特征提取器以得到多个部件局部区域特征向量；部件图像全局语义关联编码模块130，用于对所述多个部件局部区域特征向量进行关联分析以得到全局部件关联特征；部件类型和移动路径确定模块140，用于基于所述全局部件关联特征，确定待组装部件的类型以及移动路径。

在所述部件图像采集模块110中，通过摄像头采集待组装部件的图像。确保摄像头的位置和角度能够全面捕捉待组装部件的图像，以及保证图像的清晰度和准确性，这样可以提供高质量的输入数据，确保后续模块的准确性和可靠性。通过部件图像采集模块110，可以获取待组装部件的图像，为后续的部件识别和分析提供准确的数据基础。

在所述部件图像局部区域特征提取模块120中，基于R-CNN模型，提取待组装部件图像中的多个局部区域特征向量。选择适当的R-CNN模型，进行模型训练和微调，以适应待组装部件的不同形状和特征，此外，还需要确保提取的特征向量具有较高的表达能力和区分度。通过部件图像局部区域特征提取模块120，可以获取待组装部件图像中的局部区域特征，为后续的部件关联和识别提供有用的信息。

在所述部件图像全局语义关联编码模块130中，对多个部件局部区域特征向量进行关联分析，得到全局部件关联特征。选择合适的关联分析算法和编码方法，以捕捉部件之间的语义关联和空间关系。此外，还需要考虑如何权衡不同局部区域特征的重要性，以及如何将关联特征编码为高维向量表示。通过部件图像全局语义关联编码模块130，可以获取待组装部件的全局部件关联特征，为后续的部件类型和移动路径确定提供准确的信息。

在所述部件类型和移动路径确定模块140中，基于全局部件关联特征，确定待组装部件的类型和移动路径。开发有效的算法和规则，根据关联特征进行部件类型的分类和识别，并确定最佳的移动路径以实现自动化装配。此外，还需要考虑实时性和鲁棒性，以应对不同类型和形状的待组装部件。通过部件类型和移动路径确定模块140，可以实现对待组装部件的自动分类和移动路径规划，提高装配的准确性和效率，降低人力成本和错误率。

摄像头支架模块化装配的智能运动控制系统是一种利用机械臂和图像识别技术实现自动化装配的系统。随着工业自动化的发展，智能运动控制系统在生产线上的应用越来越广泛，引入智能运动控制系统可以提高装配过程的自动化程度和生产效率，降低人力成本和错误率。

基于此，在本申请的技术方案中，提出了一种摄像头支架模块化装配的智能运动控制系统，其包括以下步骤：1. 将摄像头支架的各个组件按照预设的顺序和位置排列在传送带上，传送带的速度由一个传感器控制，根据组件的形状和尺寸自动调节；2. 在传送带的末端设置一个机械臂，机械臂的末端安装一个吸盘，吸盘可以根据组件的形状和尺寸自动变换形状和大小，以便牢固地吸附组件；3. 机械臂根据一个摄像头的图像识别系统，识别出传送带上的组件的类型和位置，然后按照预设的程序，将吸盘吸附的组件移动到相应的装配位置，并用螺丝或其他连接方式将其固定；4. 重复步骤3，直到所有的组件都被装配到摄像头支架上，形成一个完整的摄像头支架模块；5. 将摄像头支架模块从机械臂上卸下，放置到一个测试台上，进行功能和性能测试，如果测试通过，则将摄像头支架模块输出到下一工序，如果测试不通过，则将摄像头支架模块返回到传送带上，重新进行装配或更换组件。

相应地，考虑到在利用图像识别系统来识别出传送带上的组件类型和位置，以进行移动路径规划来将吸盘吸附的组件移动到相应的装配位置尤为重要，其是保证吸盘吸附的组件被正确地移动到装配位置，以提高装配质量和效率的关键。基于此，本申请的技术构思为通过部署机械臂的摄像头采集待组装部件的部件图像，并在后端引入图像处理和分析算法来进行所述部件图像的分析，以此来进行待组装部件的类型检测判断，并基于部件的类型来自动进行移动路径规划以正确将吸盘吸附的组件移动到相应的装配位置。这样，提高了装配的自动化程度和生产效率，减少了人工干预的需求，并保证了产品的可靠性和稳定性。

具体地，在本申请的技术方案中，首先，获取由部署机械臂的摄像头采集的待组装部件的部件图像。接着，使用在图像的隐含特征提取方面具有优异表现能力的卷积神经网络模型来进行所述部件图像的特征挖掘。特别地，考虑到在摄像头支架生产作业中，可能同时存在多个部件在传送带上，为了能够更为充分地对于待组装部件特征进行分析以准确进行待组装部件的类型检测，在本申请的技术方案中，进一步将所述部件图像通过基于R-CNN模型的区域特征提取器以得到多个部件局部区域特征向量。应可以理解，所述R-CNN模型是一种常用的目标检测和图像识别模型，它可以有效地提取图像中的目标特征。特别地，由于在摄像头支架生产作业中，所述待组装部件的局部区域特征对于识别和定位非常重要。通过使用R-CNN模型，还可以从所述部件图像中提取具有代表性的局部区域特征，用于后续的识别和路径规划。

在本申请的一个实施例中，所述部件图像全局语义关联编码模块，包括：局部区域特征关联分析单元，用于将所述多个部件局部区域特征向量通过基于转换器的区域间上下文编码器以得到多个上下文部件局部区域特征向量；空间特征增强单元，用于将所述多个上下文部件局部区域特征向量排列为特征矩阵后通过空间注意力模块以得到空间显著化全局部件特征矩阵作为所述全局部件关联特征。

然后，考虑到在摄像头支架生产作业中，所述待组装部件的部件图像局部区域特征之间具有着关联关系，因此需要对于这些局部区域特征信息进行关联编码，以此来获取所述待组装部件的更丰富的特征表示，从而更为准确地对于该待组装部件进行类型检测判断。基于此，在本申请的技术方案中，进一步将所述多个部件局部区域特征向量通过基于转换器的区域间上下文编码器中进行编码处理，以此来提取出所述待组装部件的各个局部区域特征之间的上下文关联特征信息，从而得到多个上下文部件局部区域特征向量。

在本申请的一个具体实施例中，所述部件局部区域特征关联分析单元，用于：将所述多个部件局部区域特征向量进行一维排列以得到部件全局特征向量；计算所述部件全局特征向量与所述多个部件局部区域特征向量中各个部件局部区域特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，分别以所述多个概率值中各个概率值作为权重对所述多个部件局部区域特征向量中各个部件局部区域特征向量进行加权以得到所述多个上下文部件局部区域特征向量。

通过区域间上下文编码器，可以将不同部件的局部区域特征向量进行关联，将它们的上下文信息融合在一起，这样可以通过部件之间的相互作用和关联关系，提供更全面和准确的部件特征表示。通过区域间上下文编码器，可以捕捉到不同部件之间的关联性和相互影响，有助于增强部件特征的区分度和表达能力，提高对部件之间关系的理解和判断能力。在装配过程中，部件可能会相互遮挡或发生形变，导致局部特征的变化。通过区域间上下文编码器，可以通过上下文信息来推断被遮挡或发生形变的部件的特征，从而更好地处理这些情况，提高鲁棒性。通过区域间上下文编码器得到的上下文部件局部区域特征向量，能够提供更准确的部件关联信息，这对于后续的部件类型和移动路径的确定非常重要，可以提高装配的准确性和效率。

通过基于转换器的区域间上下文编码器将多个部件局部区域特征向量进行关联分析，可以提供更全面、准确和鲁棒性的上下文部件局部区域特征向量，从而改善智能运动控制装配效果。

进一步地，在摄像头支架生产作业中，所述待组装部件的空间位置和相对关系对于装配操作非常重要，且某些部件的特定位置可能对于装配操作更为关键。因此，在本申请的技术方案中，进一步将所述多个上下文部件局部区域特征向量排列为特征矩阵后通过空间注意力模块以得到空间显著化全局部件特征矩阵。特别地，通过将所述多个上下文部件局部区域特征向量排列为特征矩阵，可以更好地表示它们在空间上的布局。并且，所述空间注意力模块可以对该特征矩阵中的不同位置进行加权，以突出重要的空间区域。也就是说，通过所述空间注意力模块进行特征加强处理，可以将注意力集中在这些重要的空间区域上，从而得到所述空间显著化的全局部件特征矩阵。

在本申请的一个具体实施例中，所述空间特征增强单元，用于：使用所述空间注意力模块的卷积编码部分对所述特征矩阵进行深度卷积编码以得到卷积特征矩阵；将所述卷积特征矩阵输入所述空间注意力模块的空间注意力部分以得到空间注意力矩阵；将所述空间注意力矩阵通过Softmax激活函数以得到空间注意力特征矩阵；以及，计算所述空间注意力特征矩阵和所述卷积特征矩阵的按位置点乘以得到所述空间显著化全局部件特征矩阵。

通过将局部区域特征向量排列为特征矩阵，可以捕捉到部件之间的空间关系，有助于建模部件的相对位置、大小和方向等信息，提供了更全面和准确的全局部件特征。通过空间注意力模块，可以对特征矩阵进行空间显著化处理，将重要的部件特征突出显示，有助于提高对关键部件的关注度，减少对次要或无关部件的干扰，提高全局部件关联特征的鉴别能力。通过空间注意力模块，可以对部件特征进行加权处理，使得对遮挡、变形或噪声等干扰更具鲁棒性，有助于提高对复杂环境和部件变化的适应能力，增强稳定性和准确性。

通过将上下文部件局部区域特征向量排列为特征矩阵并进行空间注意力增强，可以获得更具空间关系和显著性的全局部件特征矩阵，提供更准确和全面的全局部件关联特征，从而提高装配的效率和准确性。

继而，再将所述空间显著化全局部件特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待组装部件的类型。也就是说，通过空间显化后的有关于所述待组装部件的各个部位全局关联特征信息来进行分类处理，以此来对于待组装部件的类型进行检测判断，并基于部件的类型来自动进行移动路径规划以正确将吸盘吸附的组件移动到相应的装配位置。这样，提高了装配的自动化程度和生产效率，减少了人工干预的需求，并保证了产品的可靠性和稳定性。

在本申请的一个具体实施例中，所述部件类型和移动路径确定模块，包括：组装部件类型检测单元，用于将所述空间显著化全局部件特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待组装部件的类型；以及，移动路径确定单元，用于基于所述分类结果，确定移动路径。

在本申请的一个实施例中，所述摄像头支架模块化装配的智能运动控制系统，还包括用于对所述基于R-CNN模型的区域特征提取器、所述基于转换器的区域间上下文编码器、所述空间注意力模块和所述分类器进行训练的训练模块。所述训练模块，包括：训练部件图像采集单元，用于获取由部署机械臂的摄像头采集的待组装部件的训练部件图像，以及，待组装部件的类型以及移动路径的真实值；训练部件图像局部区域特征提取单元，用于将所述训练部件图像通过基于R-CNN模型的区域特征提取器以得到多个训练部件局部区域特征向量；训练部件局部区域特征关联分析单元，用于将所述多个训练部件局部区域特征向量通过基于转换器的区域间上下文编码器以得到多个训练上下文部件局部区域特征向量；训练空间特征增强单元，用于将所述多个训练上下文部件局部区域特征向量排列为训练特征矩阵后通过空间注意力模块以得到训练空间显著化全局部件特征矩阵；训练优化单元，用于对所述训练空间显著化全局部件特征矩阵进行逐位置优化以得到优化训练空间显著化全局部件特征矩阵；训练分类单元，用于将所述优化训练空间显著化全局部件特征矩阵通过分类器以得到分类损失函数值；以及，训练单元，用于基于分类损失函数值对所述基于R-CNN模型的区域特征提取器、所述基于转换器的区域间上下文编码器、所述空间注意力模块和所述分类器进行训练。

特别地，在本申请的技术方案中，所述多个训练部件局部区域特征向量表达所述训练部件图像的多个局部区域的图像语义特征，也就是，在全局图像语义空间下的局部图像语义空间之内的图像语义特征表示，这样，将所述多个训练部件局部区域特征向量通过基于转换器的区域间上下文编码器后，得到的所述多个训练上下文部件局部区域特征向量可以进一步表达全局图像语义空间下的局部图像语义空间之间的图像语义上下文关联特征，并在将所述多个训练上下文部件局部区域特征向量排列为训练特征矩阵后通过空间注意力模块后，进一步强化图像语义关联特征在特征空间分布下的某些局部特征空间分布，从而使得所述训练空间显著化全局部件特征矩阵能够在与图像语义空间分布和图像语义特征空间分布对应的多空间域维度上进行特征表达。

但是，考虑到所述训练空间显著化全局部件特征矩阵的图像语义空间和图像语义特征空间的多空间域分布差异会给所述训练空间显著化全局部件特征矩阵的整体特征表示带来局部特征分布稀疏化，即相对于整体高维特征流形的分布外稀疏化子流形，这会使得在将所述训练空间显著化全局部件特征矩阵通过分类器进行类概率回归映射时，所述训练空间显著化全局部件特征矩阵到概率空间内的预定类概率类别表示的收敛性差，影响分类结果的准确性。

因此，优选地，对所述训练空间显著化全局部件特征矩阵进行逐位置优化，具体为：所述训练优化单元，包括：以如下优化公式对所述训练空间显著化全局部件特征矩阵进行逐位置优化以得到优化训练空间显著化全局部件特征矩阵；其中，所述优化公式为：,其中，/>是所述训练空间显著化全局部件特征矩阵/>的第/>个特征值，/>是所述优化训练空间显著化全局部件特征矩阵,/>表示计算以数值为幂自然指数函数值。

也就是，通过基于重概率的正则化来处理高维特征空间内的稀疏分布，以激活所述训练空间显著化全局部件特征矩阵在高维特征空间内的几何流形到概率空间的自然分布转移，从而通过对所述训练空间显著化全局部件特征矩阵/>的高维特征流形的分布稀疏子流形进行基于重概率化的平滑正则的方式，提高具有高空间稀疏性的复杂高维特征流形在预定类概率下的类别收敛性，从而提升所述训练空间显著化全局部件特征矩阵/>通过分类器得到的分类结果的准确性。这样，能够自动化地进行待组装部件的类型检测和判断，并基于部件的类型来自动进行移动路径规划以正确将吸盘吸附的组件移动到相应的装配位置。这样，提高了装配的自动化程度和生产效率，减少了人工干预的需求，并保证了产品的可靠性和稳定性。

在本申请的一个具体实施例中，所述训练分类单元，用于：使用所述分类器以如下训练分类公式对所述优化训练空间显著化全局部件特征矩阵进行处理以生成训练分类结果，其中，所述训练分类公式为：,其中,/>表示所述训练分类结果,/>表示将所述优化训练空间显著化全局部件特征矩阵投影为向量，/>至/>为权重矩阵，/>至/>表示偏置矩阵,/>表示归一化指数函数；以及，计算所述训练分类结果与真实值之间的交叉熵值作为所述分类损失函数值。

在本申请中，各单元设计巧妙，采用双CCD视觉定位。XYZR贴合单元通过多轴轨迹规划，四轴同时动作，去除了第一代设备的Z轴与XYR三轴两个动作单元之间前后动作的加减速的时间，大大缩短了贴合时间，贴合速度快，能达到1.2-1.3S/Pcs。提高了生产效率的同时能保证产品合格率。

该单机设计是标准化、模块化设计，可满足多种物料的贴合作业、增减机台兼容性高、切换产品方便快捷，便于客户更换生产工艺流程。

本申请中待贴合辅料与摄像头支架同时CCD视觉拍照定位的设计，即在吸头吸取待贴合辅料之前，辅料和移动基板将下一个要贴合的部位移动至初始位置，同时CCD拍照定位。然后吸头取正辅料安装规划好的路径，XYZR同时动作，移动到贴合位进行贴合。

综上，基于本发明实施例的摄像头支架模块化装配的智能运动控制系统100被阐明，其提高了装配的自动化程度和生产效率，减少了人工干预的需求，并保证了产品的可靠性和稳定性。

如上所述，根据本发明实施例的摄像头支架模块化装配的智能运动控制系统100可以实现在各种终端设备中，例如用于摄像头支架模块化装配的智能运动控制的服务器等。在一个示例中，根据本发明实施例的摄像头支架模块化装配的智能运动控制系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该摄像头支架模块化装配的智能运动控制系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该摄像头支架模块化装配的智能运动控制系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该摄像头支架模块化装配的智能运动控制系统100与该终端设备也可以是分立的设备，并且该摄像头支架模块化装配的智能运动控制系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图2为本发明实施例中提供的一种摄像头支架模块化装配的智能运动控制方法的流程图。图3为本发明实施例中提供的一种摄像头支架模块化装配的智能运动控制方法的系统架构的示意图。如图2和图3所示，一种摄像头支架模块化装配的智能运动控制方法，包括：210，获取由部署机械臂的摄像头采集的待组装部件的部件图像；220，将所述部件图像通过基于R-CNN模型的区域特征提取器以得到多个部件局部区域特征向量；230，对所述多个部件局部区域特征向量进行关联分析以得到全局部件关联特征；240，基于所述全局部件关联特征，确定待组装部件的类型以及移动路径。

在所述摄像头支架模块化装配的智能运动控制方法中，对所述多个部件局部区域特征向量进行关联分析以得到全局部件关联特征，包括：将所述多个部件局部区域特征向量通过基于转换器的区域间上下文编码器以得到多个上下文部件局部区域特征向量；将所述多个上下文部件局部区域特征向量排列为特征矩阵后通过空间注意力模块以得到空间显著化全局部件特征矩阵作为所述全局部件关联特征。

具体地，在本申请的一个实施例中，提供一种摄像头支架模块化装配的智能运动控制方法，该方法包括以下步骤：

1. 将摄像头支架的各个组件按照预设的顺序和位置排列在传送带上，传送带的速度由一个传感器控制，根据组件的形状和尺寸自动调节；

2. 在传送带的末端设置一个机械臂，机械臂的末端安装一个吸盘，吸盘可以根据组件的形状和尺寸自动变换形状和大小，以便牢固地吸附组件；

3. 机械臂根据一个摄像头的图像识别系统，识别出传送带上的组件的类型和位置，然后按照预设的程序，将吸盘吸附的组件移动到相应的装配位置，并用螺丝或其他连接方式将其固定；

4. 重复步骤3，直到所有的组件都被装配到摄像头支架上，形成一个完整的摄像头支架模块；

5. 将摄像头支架模块从机械臂上卸下，放置到一个测试台上，进行功能和性能测试，如果测试通过，则将摄像头支架模块输出到下一工序，如果测试不通过，则将摄像头支架模块返回到传送带上，重新进行装配或更换组件。

该方法具有以下优点：实现了摄像头支架模块化装配的自动化和智能化，提高了生产效率和质量；采用了传感器、图像识别系统和吸盘等先进的技术，使得机械臂能够灵活地适应不同的组件和装配要求；采用了测试台对摄像头支架模块进行功能和性能测试，保证了产品的可靠性和稳定性。

本领域技术人员可以理解，上述摄像头支架模块化装配的智能运动控制系统中的各个步骤的具体操作已经在上面参考图1的摄像头支架模块化装配的智能运动控制方法的描述中得到了详细介绍，并因此，将省略其重复描述。

图4为本发明实施例中提供的一种摄像头支架模块化装配的智能运动控制系统的应用场景图。如图4所示，在该应用场景中，首先，获取由部署机械臂的摄像头采集的待组装部件的部件图像（例如，如图4中所示意的C）；然后，将获取的部件图像输入至部署有摄像头支架模块化装配的智能运动控制算法的服务器（例如，如图4中所示意的S）中，其中所述服务器能够基于摄像头支架模块化装配的智能运动控制算法对所述部件图像进行处理，以确定待组装部件的类型以及移动路径。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种摄像头支架模块化装配的智能运动控制系统，其特征在于，包括：

部件图像采集模块，用于获取由部署机械臂的摄像头采集的待组装部件的部件图像；

部件图像局部区域特征提取模块，用于将所述部件图像通过基于R-CNN模型的区域特征提取器以得到多个部件局部区域特征向量；

部件图像全局语义关联编码模块，用于对所述多个部件局部区域特征向量进行关联分析以得到全局部件关联特征；

部件类型和移动路径确定模块，用于基于所述全局部件关联特征，确定待组装部件的类型以及移动路径；

其中，所述部件图像全局语义关联编码模块，包括：

部件局部区域特征关联分析单元，用于将所述多个部件局部区域特征向量通过基于转换器的区域间上下文编码器以得到多个上下文部件局部区域特征向量；

空间特征增强单元，用于将所述多个上下文部件局部区域特征向量排列为特征矩阵后通过空间注意力模块以得到空间显著化全局部件特征矩阵作为所述全局部件关联特征；

其中，还包括用于对所述基于R-CNN模型的区域特征提取器、所述基于转换器的区域间上下文编码器、所述空间注意力模块和分类器进行训练的训练模块；

其中，所述训练模块，包括：

训练部件图像采集单元，用于获取由部署机械臂的摄像头采集的待组装部件的训练部件图像，以及，待组装部件的类型以及移动路径的真实值；

训练部件图像局部区域特征提取单元，用于将所述训练部件图像通过基于R-CNN模型的区域特征提取器以得到多个训练部件局部区域特征向量；

训练部件局部区域特征关联分析单元，用于将所述多个训练部件局部区域特征向量通过基于转换器的区域间上下文编码器以得到多个训练上下文部件局部区域特征向量；

训练空间特征增强单元，用于将所述多个训练上下文部件局部区域特征向量排列为训练特征矩阵后通过空间注意力模块以得到训练空间显著化全局部件特征矩阵；

训练优化单元，用于对所述训练空间显著化全局部件特征矩阵进行逐位置优化以得到优化训练空间显著化全局部件特征矩阵；

训练分类单元，用于将所述优化训练空间显著化全局部件特征矩阵通过分类器以得到分类损失函数值；以及，训练单元，用于基于分类损失函数值对所述基于R-CNN模型的区域特征提取器、所述基于转换器的区域间上下文编码器、所述空间注意力模块和所述分类器进行训练；

其中，所述训练优化单元，包括：以如下优化公式对所述训练空间显著化全局部件特征矩阵进行逐位置优化以得到优化训练空间显著化全局部件特征矩阵；其中，所述优化公式为：,其中，/>是所述训练空间显著化全局部件特征矩阵/>的第/>个特征值，/>是所述优化训练空间显著化全局部件特征矩阵，/>表示计算以数值为幂自然指数函数值。

2.根据权利要求1所述的摄像头支架模块化装配的智能运动控制系统，其特征在于，所述部件局部区域特征关联分析单元，用于：

将所述多个部件局部区域特征向量进行一维排列以得到部件全局特征向量；

计算所述部件全局特征向量与所述多个部件局部区域特征向量中各个部件局部区域特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；

分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；

将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，分别以所述多个概率值中各个概率值作为权重对所述多个部件局部区域特征向量中各个部件局部区域特征向量进行加权以得到所述多个上下文部件局部区域特征向量。

3.根据权利要求2所述的摄像头支架模块化装配的智能运动控制系统，其特征在于，所述空间特征增强单元，用于：

使用所述空间注意力模块的卷积编码部分对所述特征矩阵进行深度卷积编码以得到卷积特征矩阵；

将所述卷积特征矩阵输入所述空间注意力模块的空间注意力部分以得到空间注意力矩阵；

将所述空间注意力矩阵通过Softmax激活函数以得到空间注意力特征矩阵；以及，

计算所述空间注意力特征矩阵和所述卷积特征矩阵的按位置点乘以得到所述空间显著化全局部件特征矩阵。

4.根据权利要求3所述的摄像头支架模块化装配的智能运动控制系统，其特征在于，所述部件类型和移动路径确定模块，包括：

组装部件类型检测单元，用于将所述空间显著化全局部件特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待组装部件的类型；以及，移动路径确定单元，用于基于所述分类结果，确定移动路径。

5.根据权利要求4所述的摄像头支架模块化装配的智能运动控制系统，其特征在于，所述训练分类单元，用于：

使用所述分类器以如下训练分类公式对所述优化训练空间显著化全局部件特征矩阵进行处理以生成训练分类结果，其中，所述训练分类公式为:，其中，/>表示所述训练分类结果，/>表示将所述优化训练空间显著化全局部件特征矩阵投影为向量，/>至/>为权重矩阵，/>至/>表示偏置矩阵，/>表示归一化指数函数；以及计算所述训练分类结果与真实值之间的交叉熵值作为所述分类损失函数值。

6.一种摄像头支架模块化装配的智能运动控制方法，其特征在于，包括：

获取由部署机械臂的摄像头采集的待组装部件的部件图像；

将所述部件图像通过基于R-CNN模型的区域特征提取器以得到多个部件局部区域特征向量；

对所述多个部件局部区域特征向量进行关联分析以得到全局部件关联特征；

基于所述全局部件关联特征，确定待组装部件的类型以及移动路径；

其中，对所述多个部件局部区域特征向量进行关联分析以得到全局部件关联特征，包括：

将所述多个部件局部区域特征向量通过基于转换器的区域间上下文编码器以得到多个上下文部件局部区域特征向量；

将所述多个上下文部件局部区域特征向量排列为特征矩阵后通过空间注意力模块以得到空间显著化全局部件特征矩阵作为所述全局部件关联特征；

其中，还包括用于对所述基于R-CNN模型的区域特征提取器、所述基于转换器的区域间上下文编码器、所述空间注意力模块和分类器进行训练的训练步骤；

其中，所述训练步骤，包括：

获取由部署机械臂的摄像头采集的待组装部件的训练部件图像，以及，待组装部件的类型以及移动路径的真实值；

将所述训练部件图像通过基于R-CNN模型的区域特征提取器以得到多个训练部件局部区域特征向量；

将所述多个训练部件局部区域特征向量通过基于转换器的区域间上下文编码器以得到多个训练上下文部件局部区域特征向量；

将所述多个训练上下文部件局部区域特征向量排列为训练特征矩阵后通过空间注意力模块以得到训练空间显著化全局部件特征矩阵；

对所述训练空间显著化全局部件特征矩阵进行逐位置优化以得到优化训练空间显著化全局部件特征矩阵；

将所述优化训练空间显著化全局部件特征矩阵通过分类器以得到分类损失函数值；以及，基于分类损失函数值对所述基于R-CNN模型的区域特征提取器、所述基于转换器的区域间上下文编码器、所述空间注意力模块和所述分类器进行训练；

其中，对所述训练空间显著化全局部件特征矩阵进行逐位置优化以得到优化训练空间显著化全局部件特征矩阵，包括：以如下优化公式对所述训练空间显著化全局部件特征矩阵进行逐位置优化以得到优化训练空间显著化全局部件特征矩阵；

其中，所述优化公式为：,其中，/>是所述训练空间显著化全局部件特征矩阵/>的第/>个特征值，/>是所述优化训练空间显著化全局部件特征矩阵,/>表示计算以数值为幂自然指数函数值。