CN117227247A - 纸箱加工的智能定位控制方法 - Google Patents
纸箱加工的智能定位控制方法 Download PDFInfo
- Publication number
- CN117227247A CN117227247A CN202311486727.0A CN202311486727A CN117227247A CN 117227247 A CN117227247 A CN 117227247A CN 202311486727 A CN202311486727 A CN 202311486727A CN 117227247 A CN117227247 A CN 117227247A
- Authority
- CN
- China
- Prior art keywords
- carton
- feature map
- training
- processed
- autocorrelation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 60
- 230000004927 fusion Effects 0.000 claims description 16
- 238000005728 strengthening Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000002146 bilateral effect Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 11
- 206010063385 Intellectualisation Diseases 0.000 abstract description 5
- 239000000123 paper Substances 0.000 description 30
- 238000009826 distribution Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种纸箱加工的智能定位控制方法,其通过使用摄像头采集待加工纸箱的检测图像,并利用图像处理算法对该检测图像进行分析,提取纸箱的位置信息和姿势信息。这些信息可以与预设数据进行比较,计算待加工纸箱的偏差值。基于偏差值,可以预测纸箱的调整方向和幅度,并通过控制执行机构对纸箱进行位置和姿势调整,使其达到预设位置和姿态。这种方法可以实现现代制造业中的纸箱加工环节的自动化和智能化,从而提高纸箱加工的效率和精度,减少人工干预和误差,并适用于各种规格和形状的纸箱。
Description
技术领域
本申请涉及智能定位控制领域,且更为具体地,涉及一种纸箱加工的智能定位控制方法。
背景技术
纸箱是一种常见的包装材料,广泛应用于各行各业。纸箱的加工过程通常包括切割、折叠、粘合等步骤,需要对纸箱进行精确的定位和控制,以便进行更高精度的加工操作。
然而,传统的纸箱加工定位方法通常需要依靠人工进行纸箱的定位和调整,这种方式效率低下且容易受到人为误差的影响,同时也增加了人力成本和劳动强度。并且,由于人工操作的限制,纸箱的定位和调整精度可能存在较大的误差,不同操作人员之间的技术水平和经验差异也会导致定位结果的不一致性。此外,传统方法难以实现自动化和智能化,无法满足现代制造业对于高效、精确和自动化生产的需求。
因此,期望一种优化的纸箱加工的智能定位控制方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种纸箱加工的智能定位控制方法,其通过使用摄像头采集待加工纸箱的检测图像,并利用图像处理算法对该检测图像进行分析,提取纸箱的位置信息和姿势信息。这些信息可以与预设数据进行比较,计算待加工纸箱的偏差值。基于偏差值,可以预测纸箱的调整方向和幅度,并通过控制执行机构对纸箱进行位置和姿势调整,使其达到预设位置和姿态。这种方法可以实现现代制造业中的纸箱加工环节的自动化和智能化,从而提高纸箱加工的效率和精度,减少人工干预和误差,并适用于各种规格和形状的纸箱。
根据本申请的一个方面,提供了一种纸箱加工的智能定位控制方法,其包括:
获取由摄像头采集的待加工纸箱的检测图像,并对所述检测图像进行分析以计算所述待加工纸箱的位置信息和姿势信息;
将所述待加工纸箱的位置信息和姿势信息与预设数据进行比较以计算所述待加工纸箱的偏差值;
基于所述待加工纸箱的偏差值预测所述待加工纸箱的调整方向和幅度;以及
基于所述待加工纸箱的调整方向和幅度,控制执行机构对所述待加工纸箱进行位置和姿势调整,以使得所述待加工纸箱达到预设位置和姿态。
与现有技术相比,本申请提供的一种纸箱加工的智能定位控制方法,其通过使用摄像头采集待加工纸箱的检测图像,并利用图像处理算法对该检测图像进行分析,提取纸箱的位置信息和姿势信息。这些信息可以与预设数据进行比较,计算待加工纸箱的偏差值。基于偏差值,可以预测纸箱的调整方向和幅度,并通过控制执行机构对纸箱进行位置和姿势调整,使其达到预设位置和姿态。这种方法可以实现现代制造业中的纸箱加工环节的自动化和智能化,从而提高纸箱加工的效率和精度,减少人工干预和误差,并适用于各种规格和形状的纸箱。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的纸箱加工的智能定位控制方法的流程图;
图2为根据本申请实施例的纸箱加工的智能定位控制方法的系统架构图;
图3为根据本申请实施例的纸箱加工的智能定位控制方法的训练阶段的流程图;
图4为根据本申请实施例的纸箱加工的智能定位控制方法的子步骤S1的流程图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
传统的纸箱加工定位方法通常需要依靠人工进行纸箱的定位和调整,这种方式效率低下且容易受到人为误差的影响,同时也增加了人力成本和劳动强度。并且,由于人工操作的限制,纸箱的定位和调整精度可能存在较大的误差,不同操作人员之间的技术水平和经验差异也会导致定位结果的不一致性。此外,传统方法难以实现自动化和智能化,无法满足现代制造业对于高效、精确和自动化生产的需求。因此,期望一种优化的纸箱加工的智能定位控制方案。
在本申请的技术方案中,提出了一种纸箱加工的智能定位控制方法。图1为根据本申请实施例的纸箱加工的智能定位控制方法的流程图。图2为根据本申请实施例的纸箱加工的智能定位控制方法的系统架构图。如图1和图2所示,根据本申请的实施例的纸箱加工的智能定位控制方法,包括步骤:S1,获取由摄像头采集的待加工纸箱的检测图像,并对所述检测图像进行分析以计算所述待加工纸箱的位置信息和姿势信息;S2,将所述待加工纸箱的位置信息和姿势信息与预设数据进行比较以计算所述待加工纸箱的偏差值;S3,基于所述待加工纸箱的偏差值预测所述待加工纸箱的调整方向和幅度;以及,S4,基于所述待加工纸箱的调整方向和幅度,控制执行机构对所述待加工纸箱进行位置和姿势调整,以使得所述待加工纸箱达到预设位置和姿态。
特别地,所述S1,获取由摄像头采集的待加工纸箱的检测图像,并对所述检测图像进行分析以计算所述待加工纸箱的位置信息和姿势信息。特别地,在本申请的一个具体示例中,如图4所示,所述S1,包括:S11,对所述检测图像进行双边滤波处理以得到增强纸箱检测图像;S12,通过基于深度神经网络模型的图像特征提取器对所述增强纸箱检测图像进行多尺度特征分析以得到纸箱浅层特征图、纸箱中层特征图和纸箱深层特征图;S13,融合所述纸箱浅层特征图、所述纸箱中层特征图和所述纸箱深层特征图以得到纸箱多尺度特征图;S14,对所述纸箱多尺度特征图进行特征自相关关联强化以得到自相关强化纸箱多尺度特征;以及,S15,基于所述自相关强化纸箱多尺度特征,确定所述待加工纸箱的位置信息和姿势信息。
具体地,所述S11,对所述检测图像进行双边滤波处理以得到增强纸箱检测图像。在本申请的技术方案中,考虑到对于待加工纸箱的检测图像进行分析以识别出纸箱的位置信息和姿势信息尤为重要,其是确保纸箱定位控制精度和效率的关键。基于此,在本申请的技术方案中,首先,获取由摄像头采集的待加工纸箱的检测图像。接着,考虑到纸箱的检测图像可能受到噪声的影响,例如图像传感器的噪声、光照变化等,并且还考虑到纸箱的边缘信息对于定位和姿势分析非常重要。因此,需要在进行图像的特征分析之前对所述检测图像进行双边滤波处理以得到增强纸箱检测图像。应可以理解,通过双边滤波的处理方式可以有效地去除图像中的噪声影响,并平滑图像,使得后续处理更加准确和稳定。同时,双边滤波可以在去除噪声的同时,保留图像中的边缘信息,这有助于提取纸箱的几何特征和边界信息,从而更准确地计算纸箱的位置和姿势。
值得注意的是,双边滤波是一种图像滤波技术,用于平滑图像的同时保留边缘信息。它在空间域和灰度值域上同时考虑了像素之间的相似性,以实现更好的平滑效果。
相应的,在一种可能的实现方式中,可通过以下步骤对所述检测图像进行双边滤波处理以得到增强纸箱检测图像,例如:确定双边滤波器的参数,包括滤波窗口大小、空间域标准差和灰度值域标准差等;这些参数的选择取决于图像的特性和需求,可以根据实际情况进行调整; 对检测图像应用双边滤波器;对于每个像素,定义滤波窗口,并计算空间域相似性和灰度值相似性;根据相似性权重,对滤波窗口内的像素进行加权平均,得到输出像素的值;重复以上步骤,对图像中的每个像素进行处理,得到增强后的纸箱检测图像。
具体地,所述S12,通过基于深度神经网络模型的图像特征提取器对所述增强纸箱检测图像进行多尺度特征分析以得到纸箱浅层特征图、纸箱中层特征图和纸箱深层特征图。也就是,在本申请的技术方案中,使用在图像的隐含特征提取方面具有优异表现性能的卷积神经网络模型来进行所述增强纸箱检测图像的特征分析和刻画。特别地,考虑到在进行纸箱的定位时,不仅需要关注于纸箱的深度特征信息,更需要聚焦于纸箱的形状、纹理等特征信息。因此,在本申请的技术方案中,进一步将所述增强纸箱检测图像通过基于金字塔网络的图像特征提取器以得到纸箱浅层特征图、纸箱中层特征图和纸箱深层特征图。特别地,这里,所述纸箱浅层特征图通常能够捕捉到图像的低级特征,如边缘和纹理,这些特征对于纸箱的整体形状和结构可能具有一定的表示能力。所述纸箱中层特征图可以捕捉到更高级别的语义特征,如纸箱的部分和形状组合,这些特征可以提供更加具体和局部的纸箱特征信息。所述纸箱深层特征图通常具有更高级别的语义信息,如物体的类别和关键点,这些特征可以提供更加抽象和精细的纸箱特征表示。
值得注意的是,金字塔网络(Pyramid Network)是一种深度学习网络结构,用于处理图像任务中的尺度变化和多尺度信息处理问题。它通过引入多个尺度的特征图并进行信息融合,能够更好地捕捉不同尺度下的图像特征,提高对尺度变化或不同大小目标的识别能力。金字塔网络的优势在于能够处理图像中的尺度变化和多尺度信息,提高了对不同尺度目标的识别能力。它在图像分类、目标检测、语义分割等任务中具有广泛的应用价值。
相应的,在一种可能的实现方式中,可通过以下步骤将所述增强纸箱检测图像通过基于金字塔网络的图像特征提取器以得到纸箱浅层特征图、纸箱中层特征图和纸箱深层特征图,例如:对增强纸箱检测图像进行多次下采样或上采样,生成不同尺度的图像金字塔。每个尺度的图像都代表了不同的观察尺度;使用基于金字塔网络的图像特征提取器对每个尺度的图像进行特征提取;特征提取器可以是一个预训练的深度学习网络,如VGG、ResNet等,或者是自定义的网络结构;将来自不同尺度的特征图进行融合,以获取纸箱浅层特征图、纸箱中层特征图和纸箱深层特征图;可以使用特征金字塔池化或特征金字塔连接等方法进行特征融合。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式基于深度神经网络模型的图像特征提取器对所述增强纸箱检测图像进行多尺度特征分析以得到纸箱浅层特征图、纸箱中层特征图和纸箱深层特征图,例如:将增强纸箱检测图像作为输入传递给深度神经网络模型;在神经网络中,使用多个卷积层和池化层来提取不同尺度的特征。这些层会逐渐缩小特征图的尺寸,同时增加特征图的通道数;在较早的卷积层中提取的特征图通常包含更多的低级特征,例如边缘、纹理等。这些特征图具有较高的空间分辨率,但相对较少的语义信息;在中间的卷积层中提取的特征图具有较高的语义信息和适度的空间分辨率。它们可以捕捉到纸箱的形状、结构和一些局部特征;在较深的卷积层中提取的特征图通常具有较低的空间分辨率,但包含更高级的语义信息。这些特征图可以捕捉到纸箱的整体特征、上下文信息和更抽象的特征表示;对纸箱浅层、中层和深层特征图进行分析,可以利用它们来进行不同级别的纸箱检测和分类任务。例如,浅层特征图可以用于检测纸箱的边缘和纹理特征,中层特征图可以用于检测纸箱的形状和结构特征,深层特征图可以用于检测纸箱的整体特征和上下文信息。
具体地,所述S13,融合所述纸箱浅层特征图、所述纸箱中层特征图和所述纸箱深层特征图以得到纸箱多尺度特征图。应可以理解,不同层次和尺度的特征图包含了有关于纸箱的不同层次语义信息和细节特征信息。因此,为了将纸箱的不同层次和尺度的特征信息进行有效的整合和融合,在本申请的技术方案中,进一步使用级联融合模块结构来融合所述纸箱浅层特征图、所述纸箱中层特征图和所述纸箱深层特征图,以得到更具表征能力的纸箱多尺度特征图。应可以理解,所述级联融合模块可以通过逐层融合和组合,将低层级的特征与高层级的特征进行交互和增强。这样,可以使得特征的表达更加鲁棒和有区分度,能够更好地捕捉到纸箱的关键特征,有助于提高纸箱的位置信息和姿势信息解析的准确性,同时能够更为准确进行纸箱定位控制。
具体地,所述S14,对所述纸箱多尺度特征图进行特征自相关关联强化以得到自相关强化纸箱多尺度特征。应可以理解,由于在进行纸箱定位控制的过程中,有关于纸箱的不同层级的特征信息之间具有一定的相关性。通过利用这种关联性,可以进一步提取出更有意义的特征,从而更好地理解和控制纸箱的定位过程。并且,所述检测图像中关于纸箱的不同层级特征信息对于纸箱的位置信息和姿势信息具有不同的重要性。因此,在本申请的技术方案中,进一步将所述纸箱多尺度特征图通过特征自相关关联强化模块以得到自相关强化纸箱多尺度特征图。特别地,这里,所述特征自相关关联强化模块可以通过计算特征图中不同位置之间的相关性,来增强特征之间的关联性。这有助于捕捉纸箱不同尺度特征之间的相互关系和依赖性。通过增强特征之间的关联性,可以提高纸箱特征的一致性和连贯性,从而更好地表示纸箱的整体形状和结构。应可以理解,所述特征自相关关联强化模块能够衡量所述检测图像中的不同层级特征之间的相关性,也就是说,通过对所述纸箱多尺度特征图进行自相关操作,可以增强关于纸箱图像不同层级尺度特征之间的关联性,从而提高纸箱特征的一致性和连贯性,以更好地表示纸箱的整体形状和结构更好地理解纸箱的整体语义和结构,这有助于提高后续纸箱位置和姿势分析的准确性和鲁棒性。更具体地,将所述纸箱多尺度特征图通过特征自相关关联强化模块以得到自相关强化纸箱多尺度特征图作为所述自相关强化纸箱多尺度特征,包括:对所述纸箱多尺度特征图通过所述特征自相关关联强化模块的第一卷积层以得到第一特征图;将所述第一特征图通过所述特征自相关关联强化模块的第二卷积层以得到第二特征图;将所述第二特征图沿通道维度的各个特征矩阵展开为特征向量以得到第一特征向量的序列;计算所述第一特征向量的序列中的任意两个第一特征向量之间的余弦相似度以得到以得到余弦相似性特征图;将所述余弦相似性特征图通过Softmax函数进行归一化处理以得到归一化余弦相似性特征图;将所述归一化余弦相似性特征图与所述余弦相似性特征图进行按位置点乘以得到相似度映射优化特征图;将所述相似度映射优化特征图通过所述特征自相关关联强化模块的第一反卷积层以得到第一反卷积特征图;计算所述第一反卷积特征图和所述第一特征图的逐元素和以得到第一融合特征图;将所述第一融合特征图通过所述特征自相关关联强化模块的第二反卷积层以得到第二反卷积特征图;计算所述第二反卷积特征图和所述纸箱多尺度特征图的逐元素和以得到所述自相关强化纸箱多尺度特征图。
具体地,所述S15,基于所述自相关强化纸箱多尺度特征,确定所述待加工纸箱的位置信息和姿势信息。在本申请的一个具体示例中,将所述自相关强化纸箱多尺度特征图通过解码器进行解码回归以得到解码值,所述解码值为待加工纸箱的位置信息和姿势信息。也就是,利用特征自相关关联强化后的有关于纸箱的多尺度特征信息来进行解码回归,以此来对于该纸箱的位置信息和姿势信息进行分析提取,并基于纸箱的位置信息和姿势信息控制执行机构对该纸箱进行位置和姿势调整。通过这样的方式,能够实现现代制造业中的纸箱加工环节的自动化和智能化,从而提高纸箱加工的效率和精度,减少人工干预和误差,并适用于各种规格和形状的纸箱。更具体地,使用所述解码器以如下公式将所述自相关强化纸箱多尺度特征图进行解码回归以获得用于表示待加工纸箱的位置信息和姿势信息的解码值;其中,所述公式为:,其中/>表示所述自相关强化纸箱多尺度特征图,/>是所述解码值,/>是权重矩阵,/>表示矩阵相乘。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式获取由摄像头采集的待加工纸箱的检测图像,并对所述检测图像进行分析以计算所述待加工纸箱的位置信息和姿势信息,例如: 使用摄像头采集待加工纸箱的检测图像。确保摄像头位置和角度适合捕捉到纸箱的完整信息; 对采集到的检测图像进行预处理,例如图像去噪、图像增强等操作,以提高后续处理的准确性和稳定性;使用目标检测算法,例如基于深度学习的目标检测模型(如SSD、YOLO等),在检测图像中定位和识别纸箱的位置;目标检测算法可以通过在图像中绘制边界框或标记物体的方式来标识出纸箱的位置;使用姿势估计算法,例如基于深度学习的姿势估计模型(如PoseNet、OpenPose等),对检测到的纸箱进行姿势估计;姿势估计算法可以估计纸箱的旋转角度、倾斜程度等姿势信息;根据目标检测结果,获取纸箱的边界框或中心点坐标;可以使用图像处理技术,例如透视变换、相机标定等,将图像中的位置信息转换为实际世界中的坐标;根据转换后的坐标,计算纸箱在工作区域或参考坐标系中的位置信息;根据姿势估计结果,获取纸箱的旋转角度、倾斜程度等姿势信息;这些信息可以用欧拉角、旋转矩阵或四元数等形式表示纸箱的姿势。
特别地,所述S2,将所述待加工纸箱的位置信息和姿势信息与预设数据进行比较以计算所述待加工纸箱的偏差值。应可以理解,通过将待加工纸箱的位置信息和姿势信息与预设数据进行比较并计算偏差值,可以实现位置校准、姿势调整和加工精度评估等功能,从而提高纸箱加工的准确性和质量。
特别地,所述S3,基于所述待加工纸箱的偏差值预测所述待加工纸箱的调整方向和幅度。应可以理解,待加工纸箱的偏差值可以提供有关偏移量的信息,即待加工纸箱相对于预设位置的偏移程度。根据偏差值的大小,可以确定需要进行的调整幅度,这样可以确保加工过程中的准确性和精度,提高产品质量,并减少生产中的误差和浪费。
特别地,所述S4,基于所述待加工纸箱的调整方向和幅度,控制执行机构对所述待加工纸箱进行位置和姿势调整,以使得所述待加工纸箱达到预设位置和姿态。应可以理解,通过分析待加工纸箱的偏差值,可以确定待加工纸箱相对于预设位置的偏移方向。根据偏差值的正负和大小,可以确定需要进行的调整方向,例如向左或向右、向前或向后等。这样可以指导操作人员或自动控制系统进行相应的调整操作。
应可以理解,在利用上述神经网络模型进行推断之前,需要对所述基于金字塔网络的图像特征提取器、所述级联融合模块结构、所述特征自相关关联强化模块和所述解码器进行训练。也就是说,在本申请的纸箱加工的智能定位控制方法中,还包括训练阶段,用于对所述基于金字塔网络的图像特征提取器、所述级联融合模块结构、所述特征自相关关联强化模块和所述解码器进行训练。
图3为根据本申请实施例的纸箱加工的智能定位控制方法的训练阶段的流程图。如图3所示,根据本申请实施例的纸箱加工的智能定位控制方法,包括:训练阶段,包括:S110,获取训练数据,所述训练数据包括待加工纸箱的训练检测图像,以及,所述待加工纸箱的位置信息和姿势信息的真实值;S120,对所述训练检测图像进行双边滤波处理以得到训练增强纸箱检测图像;S130,将所述训练增强纸箱检测图像通过所述基于金字塔网络的图像特征提取器以得到训练纸箱浅层特征图、训练纸箱中层特征图和训练纸箱深层特征图;S140,使用所述级联融合模块结构来融合所述训练纸箱浅层特征图、所述训练纸箱中层特征图和所述训练纸箱深层特征图以得到训练纸箱多尺度特征图;S150,将所述训练纸箱多尺度特征图通过所述特征自相关关联强化模块以得到训练自相关强化纸箱多尺度特征图;S160,将所述训练自相关强化纸箱多尺度特征图通过所述解码器以得到解码损失函数值;以及,S170,基于所述解码损失函数值并通过梯度下降的方向传播来对所述基于金字塔网络的图像特征提取器、所述级联融合模块结构、所述特征自相关关联强化模块和所述解码器进行训练,其中,在所述训练的每次权重矩阵迭代时,对所述训练自相关强化纸箱多尺度特征图展开后得到训练自相关强化纸箱多尺度特征向量进行特征优化。
特别地,在本申请的技术方案中,将所述增强纸箱检测图像通过基于金字塔网络的图像特征提取器后,所述纸箱浅层特征图、所述纸箱中层特征图和所述纸箱深层特征图可以表达所述检测图像的基于金字塔网络的不同特征提取尺度的多深度图像语义特征,由此,在使用级联融合模块结构来融合所述纸箱浅层特征图、所述纸箱中层特征图和所述纸箱深层特征图,并通过特征自相关关联强化模块后,可以基于所述纸箱浅层特征图、所述纸箱中层特征图和所述纸箱深层特征图的各个特征矩阵的多尺度和多深度图像语义特征表示来进行图像语义特征的跨通道关联,使得所述自相关强化纸箱多尺度特征图在特征矩阵的空间分布维度和特征图的通道分布维度上均遵循多尺度多深度的多维度图像语义密集分布,也就是,所述自相关强化纸箱多尺度特征图具有与多图像语义表达尺度/深度对应的图像语义多维度密集分布表示,从而导致在所述自相关强化纸箱多尺度特征图通过解码器进行解码回归训练时,所述解码器的权重矩阵的训练效率降低。基于此,本申请的申请人在将所述自相关强化纸箱多尺度特征图通过解码器进行解码回归的训练时,在将所述自相关强化纸箱多尺度特征图展开后得到自相关强化纸箱多尺度特征向量时,基于所述自相关强化纸箱多尺度特征向量来进行解码器的权重矩阵的迭代,具体表示为:,其中/>和/>分别是上次和本次迭代的权重矩阵,其中在首次迭代时,采用不同的初始化策略设置/>和,(例如,/>是单位矩阵而/>是以待解码的自相关强化纸箱多尺度特征向量的特征值为对角特征值的对角矩阵),/>是待解码的自相关强化纸箱多尺度特征向量,/>和/>分别表示特征向量/>和/>的全局均值,且/>是偏置矩阵,例如初始设置为单位矩阵,向量以列向量形式。也就是,考虑到在进行基于待解码的自相关强化纸箱多尺度特征向量/>的密集预测任务时,需要将权重矩阵的高分辨率表示与待解码的自相关强化纸箱多尺度特征向量/>的图像语义特征分布多维度密集关联上下文进行集成,因此通过在迭代过程中最大化权重空间的分布边界,来基于迭代关联表示资源认知地实现渐进集成,从而提高权重矩阵的训练效果,提升解码器整体的训练效率。这样,能够基于纸箱图像来提取纸箱的位置信息和姿势信息,并基于这些信息对纸箱进行位置和姿势调整,使其达到预设位置和姿态,通过这样的方式,能够实现现代制造业中的纸箱加工环节的自动化和智能化,从而提高纸箱加工的效率和精度。
其中,将所述训练自相关强化纸箱多尺度特征图通过所述解码器以得到解码损失函数值,包括:使用解码器对所述训练自相关强化纸箱多尺度特征图进行解码回归以得到训练解码值;以及,计算所述训练解码值与所述待加工纸箱的位置信息和姿势信息的真实值之间的均方误差值作为所述解码损失函数值。
综上,根据本申请实施例的纸箱加工的智能定位控制方法被阐明,其通过使用摄像头采集待加工纸箱的检测图像,并利用图像处理算法对该检测图像进行分析,提取纸箱的位置信息和姿势信息。这些信息可以与预设数据进行比较,计算待加工纸箱的偏差值。基于偏差值,可以预测纸箱的调整方向和幅度,并通过控制执行机构对纸箱进行位置和姿势调整,使其达到预设位置和姿态。这种方法可以实现现代制造业中的纸箱加工环节的自动化和智能化,从而提高纸箱加工的效率和精度,减少人工干预和误差,并适用于各种规格和形状的纸箱。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (9)
1.一种纸箱加工的智能定位控制方法,其特征在于,包括:
获取由摄像头采集的待加工纸箱的检测图像,并对所述检测图像进行分析以计算所述待加工纸箱的位置信息和姿势信息;
将所述待加工纸箱的位置信息和姿势信息与预设数据进行比较以计算所述待加工纸箱的偏差值;
基于所述待加工纸箱的偏差值预测所述待加工纸箱的调整方向和幅度;以及
基于所述待加工纸箱的调整方向和幅度,控制执行机构对所述待加工纸箱进行位置和姿势调整,以使得所述待加工纸箱达到预设位置和姿态。
2.根据权利要求1所述的纸箱加工的智能定位控制方法,其特征在于,获取由摄像头采集的待加工纸箱的检测图像,并对所述检测图像进行分析以计算所述待加工纸箱的位置信息和姿势信息,包括:
对所述检测图像进行双边滤波处理以得到增强纸箱检测图像;
通过基于深度神经网络模型的图像特征提取器对所述增强纸箱检测图像进行多尺度特征分析以得到纸箱浅层特征图、纸箱中层特征图和纸箱深层特征图;
融合所述纸箱浅层特征图、所述纸箱中层特征图和所述纸箱深层特征图以得到纸箱多尺度特征图;
对所述纸箱多尺度特征图进行特征自相关关联强化以得到自相关强化纸箱多尺度特征;以及
基于所述自相关强化纸箱多尺度特征,确定所述待加工纸箱的位置信息和姿势信息。
3.根据权利要求2所述的纸箱加工的智能定位控制方法,其特征在于,所述深度神经网络模型为金字塔网络。
4.根据权利要求3所述的纸箱加工的智能定位控制方法,其特征在于,融合所述纸箱浅层特征图、所述纸箱中层特征图和所述纸箱深层特征图以得到纸箱多尺度特征图,包括:使用级联融合模块结构来融合所述纸箱浅层特征图、所述纸箱中层特征图和所述纸箱深层特征图以得到所述纸箱多尺度特征图。
5.根据权利要求4所述的纸箱加工的智能定位控制方法,其特征在于,对所述纸箱多尺度特征图进行特征自相关关联强化以得到自相关强化纸箱多尺度特征,包括:将所述纸箱多尺度特征图通过特征自相关关联强化模块以得到自相关强化纸箱多尺度特征图作为所述自相关强化纸箱多尺度特征。
6.根据权利要求5所述的纸箱加工的智能定位控制方法,其特征在于,基于所述自相关强化纸箱多尺度特征,确定所述待加工纸箱的位置信息和姿势信息,包括:将所述自相关强化纸箱多尺度特征图通过解码器进行解码回归以得到解码值,所述解码值为所述待加工纸箱的位置信息和姿势信息。
7.根据权利要求6所述的纸箱加工的智能定位控制方法,其特征在于,还包括训练步骤:用于对所述基于金字塔网络的图像特征提取器、所述级联融合模块结构、所述特征自相关关联强化模块和所述解码器进行训练。
8.根据权利要求7所述的纸箱加工的智能定位控制方法,其特征在于,所述训练步骤,包括:
获取训练数据,所述训练数据包括待加工纸箱的训练检测图像,以及,所述待加工纸箱的位置信息和姿势信息的真实值;
对所述训练检测图像进行双边滤波处理以得到训练增强纸箱检测图像;
将所述训练增强纸箱检测图像通过所述基于金字塔网络的图像特征提取器以得到训练纸箱浅层特征图、训练纸箱中层特征图和训练纸箱深层特征图;
使用所述级联融合模块结构来融合所述训练纸箱浅层特征图、所述训练纸箱中层特征图和所述训练纸箱深层特征图以得到训练纸箱多尺度特征图;
将所述训练纸箱多尺度特征图通过所述特征自相关关联强化模块以得到训练自相关强化纸箱多尺度特征图;
将所述训练自相关强化纸箱多尺度特征图通过所述解码器以得到解码损失函数值;以及
基于所述解码损失函数值并通过梯度下降的方向传播来对所述基于金字塔网络的图像特征提取器、所述级联融合模块结构、所述特征自相关关联强化模块和所述解码器进行训练,其中,在所述训练的每次权重矩阵迭代时,对所述训练自相关强化纸箱多尺度特征图展开后得到训练自相关强化纸箱多尺度特征向量进行特征优化。
9.根据权利要求8所述的纸箱加工的智能定位控制方法,其特征在于,将所述训练自相关强化纸箱多尺度特征图通过所述解码器以得到解码损失函数值,用于:
使用解码器对所述训练自相关强化纸箱多尺度特征图进行解码回归以得到训练解码值;以及
计算所述训练解码值与所述待加工纸箱的位置信息和姿势信息的真实值之间的均方误差值作为所述解码损失函数值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311486727.0A CN117227247A (zh) | 2023-11-09 | 2023-11-09 | 纸箱加工的智能定位控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311486727.0A CN117227247A (zh) | 2023-11-09 | 2023-11-09 | 纸箱加工的智能定位控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117227247A true CN117227247A (zh) | 2023-12-15 |
Family
ID=89089671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311486727.0A Pending CN117227247A (zh) | 2023-11-09 | 2023-11-09 | 纸箱加工的智能定位控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117227247A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117557967A (zh) * | 2024-01-11 | 2024-02-13 | 陕西开来机电设备制造有限公司 | 带式输送机安全保护智能管理系统 |
-
2023
- 2023-11-09 CN CN202311486727.0A patent/CN117227247A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117557967A (zh) * | 2024-01-11 | 2024-02-13 | 陕西开来机电设备制造有限公司 | 带式输送机安全保护智能管理系统 |
CN117557967B (zh) * | 2024-01-11 | 2024-03-29 | 陕西开来机电设备制造有限公司 | 带式输送机安全保护智能管理系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109190752B (zh) | 基于深度学习的全局特征和局部特征的图像语义分割方法 | |
CN111027547B (zh) | 一种针对二维图像中的多尺度多形态目标的自动检测方法 | |
CN110738642A (zh) | 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质 | |
CN107230203B (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
CN111626176B (zh) | 一种基于动态注意力机制的遥感目标快速检测方法及系统 | |
US7450762B2 (en) | Method and arrangement for determining an object contour | |
CN109919145B (zh) | 一种基于3d点云深度学习的矿卡检测方法及系统 | |
Trouvé et al. | Single image local blur identification | |
CN117227247A (zh) | 纸箱加工的智能定位控制方法 | |
Mathias et al. | Underwater object detection based on bi-dimensional empirical mode decomposition and Gaussian Mixture Model approach | |
Honi et al. | Towards fast edge detection approach for industrial products | |
CN113421210B (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
CN117252928B (zh) | 用于电子产品模块化智能组装的视觉图像定位系统 | |
Avots et al. | A new kernel development algorithm for edge detection using singular value ratios | |
Dryanovski et al. | Real-time pose estimation with RGB-D camera | |
CN113269236B (zh) | 基于多模型集成的装配体变化检测方法、设备和介质 | |
Dalai et al. | An accurate volume estimation on single view object images by deep learning based depth map analysis and 3D reconstruction | |
CN115330705A (zh) | 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法 | |
Koutaki et al. | Fast and high accuracy pattern matching using multi-stage refining eigen template | |
Saovana et al. | An image feature classification system for piers based on semantic segmentation with deep learning | |
Al-Amaren et al. | Edge Map Extraction of an Image Based on the Gradient of its Binary Versions | |
Lyasheva et al. | Image Borders Detection Based on the Weight Model Analysis and the Morphological Gradient Operation | |
CN117889867B (zh) | 一种基于局部自注意力移动窗口算法的路径规划方法 | |
CN117078604B (zh) | 无人实验室智能管理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |