CN116536906B - 一种立体裁剪内裤的成型质量检测方法 - Google Patents
一种立体裁剪内裤的成型质量检测方法 Download PDFInfo
- Publication number
- CN116536906B CN116536906B CN202310528925.2A CN202310528925A CN116536906B CN 116536906 B CN116536906 B CN 116536906B CN 202310528925 A CN202310528925 A CN 202310528925A CN 116536906 B CN116536906 B CN 116536906B
- Authority
- CN
- China
- Prior art keywords
- underpants
- dimensional
- feature map
- training
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 144
- 238000005520 cutting process Methods 0.000 title claims abstract description 50
- 238000000465 moulding Methods 0.000 claims abstract description 127
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims description 147
- 238000010586 diagram Methods 0.000 claims description 97
- 238000013527 convolutional neural network Methods 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 32
- 230000007246 mechanism Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 28
- 238000003062 neural network model Methods 0.000 claims description 27
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000019771 cognition Effects 0.000 claims description 12
- 238000012546 transfer Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 12
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 238000009826 distribution Methods 0.000 description 23
- 238000000605 extraction Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000004927 fusion Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000007792 addition Methods 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012372 quality testing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
Classifications
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06H—MARKING, INSPECTING, SEAMING OR SEVERING TEXTILE MATERIALS
- D06H7/00—Apparatus or processes for cutting, or otherwise severing, specially adapted for the cutting, or otherwise severing, of textile materials
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Textile Engineering (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及智能检测领域，更具体地涉及一种立体裁剪内裤的成型质量检测方法。传统的内裤裁剪方法是平面裁剪方案，其由于没有考虑人体是个三维体，因此，在使用的过程中会出现卡裆、滑移问题。基于此，本申请使用立体裁剪方法来进行内裤裁剪以使得内裤在裁剪过程中就考虑到人体的三维空间结构性以使得裁剪制得的内裤与人体结构更为适配，从而提高用户使用体验。
Description
技术领域
本申请涉及智能检测领域，且更为具体地，涉及一种立体裁剪内裤的成型质量检测方法。
背景技术
传统内衣制造业一直存在着内裤不合身的问题，究其原因为：裁剪方式的限制导致制作出来的内裤只能适应部分人群，并且这些内裤通常都是通过平面裁剪的方式制成的，没有考虑到人体是一个三维体，因此在使用过程中会出现卡裆、滑移等问题。
随着消费者对产品品质的要求越来越高，需要采用新的裁剪方案来提高内裤的适应性和舒适度。目前，立体裁剪方案虽然能够给人体带来更好的舒适度，但是在制造过程中也带来了成型质量检测方面的挑战。也就是说，因人体三维形态的复杂性，使得通过立体裁剪的内裤在实际进行成型质量检测时，需要考虑多个因素，如内裤的尺寸、缝合线的位置、布料的拉伸情况等，这些因素都会对内裤的成型质量产生影响，而传统方案往往难以同时满足这些要求。
因此，期望一种优化的立体裁剪内裤的成型质量检测方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种立体裁剪内裤的成型质量检测方法，其通过采用基于深度学习的神经网络模型挖掘出待检测立体裁剪内裤的三维模型图和参考立体裁剪内裤的三维模型图的差异性特征分布信息，以此来进行内裤的成型质量检测，这样，能够准确地对于立体裁剪内裤的成型质量进行检测，从而使得内裤更贴合人体三维形态，提高内裤的适应性和舒适度。
根据本申请的一个方面，提供了一种立体裁剪内裤的成型质量检测方法，其包括：
获取待检测立体裁剪内裤的六视图，其中，将所述待检测立体裁剪内裤的六视图定义为第一至第六局部视角图像；
将所述第一至第六局部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到第一至第六局部特征矩阵；
将所述第一至第六局部特征矩阵沿着通道维度聚合为三维特征张量后通过使用三维卷积核的第二卷积神经网络模型以得到立体全局关联特征图；
将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以得到生成待检测内裤三维模型图；
获取参考立体裁剪内裤的三维模型图；
将所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到检测特征图和参考特征图；
计算所述检测特征图和所述参考特征图之间的差分特征图；以及
将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测立体裁剪内裤的成型质量是否符合预定标准
在上述立体裁剪内裤的成型质量检测方法中，将所述第一至第六局部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到第一至第六局部特征矩阵，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中分别对所述第一至第六局部视角图像分别进行卷积处理、基于沿通道维度的池化处理和非线性激活处理以由所述第一卷积神经网络模型的最后一层输出多个初始空间增强特征矩阵；以及，将所述多个初始空间增强特征矩阵输入所述第一卷积神经网络模型的空间注意力层以得到所述第一至第六局部特征矩阵。
在上述立体裁剪内裤的成型质量检测方法中，将所述第一至第六局部特征矩阵沿着通道维度聚合为三维特征张量后通过使用三维卷积核的第二卷积神经网络模型以得到立体全局关联特征图，包括：使用所述使用三维卷积核的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述使用三维卷积核的第二卷积神经网络的最后一层的输出为所述立体全局关联特征图，所述使用三维卷积核的第二卷积神经网络的第一层的输入为所述三维特征张量。
在上述立体裁剪内裤的成型质量检测方法中，所述对抗生成网络包括鉴别器和生成器；其中，将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以得到生成待检测内裤三维模型图，包括：将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以通过所述对抗生成网络的生成器通过至少一次反卷积编码以得到所述生成待检测内裤三维模型图。
在上述立体裁剪内裤的成型质量检测方法中，将所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到检测特征图和参考特征图，包括：使用所述包含第一图像编码器和第二图像编码器的孪生检测模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述包含第一图像编码器和第二图像编码器的孪生检测模型的最后一层的输出为所述检测特征图和所述参考特征图，所述包含第一图像编码器和第二图像编码器的孪生检测模型的第一层的输入为所述待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图。
在上述立体裁剪内裤的成型质量检测方法中，还包括对所述使用空间注意力机制的第一卷积神经网络模型、所述使用三维卷积核的第二卷积神经网络模型、所述包含第一图像编码器和第二图像编码器的孪生检测模型和所述分类器进行训练；其中，对所述使用空间注意力机制的第一卷积神经网络模型、所述使用三维卷积核的第二卷积神经网络模型、所述包含第一图像编码器和第二图像编码器的孪生检测模型和所述分类器进行训练，包括：获取训练数据，所述训练数据包括待检测立体裁剪内裤的训练六视图，其中，将所述待检测立体裁剪内裤的六视图定义为训练第一至第六局部视角图像，训练参考立体裁剪内裤的三维模型图，以及，所述待检测立体裁剪内裤的成型质量是否符合预定标准的真实值；将所述训练第一至第六局部视角图像分别通过所述使用空间注意力机制的第一卷积神经网络模型以得到训练第一至第六局部特征矩阵；将所述训练第一至第六局部特征矩阵沿着通道维度聚合为训练三维特征张量后通过所述使用三维卷积核的第二卷积神经网络模型以得到训练立体全局关联特征图；将所述训练立体全局关联特征图通过所述基于对抗生成网络的内裤模型生成器以得到训练生成待检测内裤三维模型图；将所述训练生成待检测内裤三维模型图和所述训练参考立体裁剪内裤的三维模型图通过所述包含第一图像编码器和第二图像编码器的孪生检测模型以得到训练检测特征图和训练参考特征图；计算所述训练检测特征图和所述训练参考特征图之间的训练差分特征图；对所述训练差分特征图进行特征优化以得到优化训练差分特征图；将所述优化训练差分特征图通过所述分类器以得到分类损失函数值；基于所述分类损失函数值并通过梯度下降的反向传播来对所述使用空间注意力机制的第一卷积神经网络模型、所述使用三维卷积核的第二卷积神经网络模型、所述包含第一图像编码器和第二图像编码器的孪生检测模型和所述分类器进行训练。
在上述立体裁剪内裤的成型质量检测方法中，对所述训练差分特征图进行特征优化以得到优化训练差分特征图，包括：对所述训练检测特征图和所述训练参考特征图基于尺度认知的高斯联合密度融合以得到关联特征图；将所述关联特征图与所述训练差分特征图进行融合以得到所述优化训练差分特征图。
在上述立体裁剪内裤的成型质量检测方法中，对所述训练检测特征图和所述训练参考特征图基于尺度认知的高斯联合密度融合以得到关联特征图，包括：以如下优化公式对所述训练检测特征图和所述训练参考特征图基于尺度认知的高斯联合密度融合以得到所述关联特征图；其中，所述优化公式为：
，
其中，和/>分别表示所述训练检测特征图和所述训练参考特征图，/>和分别是所述训练检测特征图和所述训练参考特征图中各个位置的特征值，/>和/>分别是所述训练检测特征图和所述训练参考特征图的所有特征值的特征集合的均值和方差，、/>和/>分别是特征图的宽度、高度和通道数，且/>是所述关联特征图的各个位置特征值。
在上述立体裁剪内裤的成型质量检测方法中，将所述优化训练差分特征图通过所述分类器以得到分类损失函数值，包括：使用所述分类器对所述优化训练差分特征图进行处理以得到训练分类结果:以及，计算所述训练分类结果与所述待检测立体裁剪内裤的成型质量是否符合预定标准的真实值之间的交叉熵损失函数值作为所述分类损失函数值。
根据本申请的另一方面，提供了一种立体裁剪内裤的成型质量检测系统，其包括：
检测图像采集模块，用于获取待检测立体裁剪内裤的六视图，其中，将所述待检测立体裁剪内裤的六视图定义为第一至第六局部视角图像；
第一卷积模块，用于将所述第一至第六局部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到第一至第六局部特征矩阵；
第二卷积模块，用于将所述第一至第六局部特征矩阵沿着通道维度聚合为三维特征张量后通过使用三维卷积核的第二卷积神经网络模型以得到立体全局关联特征图；
模型生成模块，用于将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以得到生成待检测内裤三维模型图；
参考图像获取模块，用于获取参考立体裁剪内裤的三维模型图；
孪生检测模块，用于将所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到检测特征图和参考特征图；
差分模块，用于计算所述检测特征图和所述参考特征图之间的差分特征图；以及
分类结果生成模块，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测立体裁剪内裤的成型质量是否符合预定标准。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的立体裁剪内裤的成型质量检测方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的立体裁剪内裤的成型质量检测方法。
与现有技术相比，本申请提供的一种一种立体裁剪内裤的成型质量检测方法，其通过采用基于深度学习的神经网络模型挖掘出待检测立体裁剪内裤的三维模型图和参考立体裁剪内裤的三维模型图的差异性特征分布信息，以此来进行内裤的成型质量检测，这样，能够准确地对于立体裁剪内裤的成型质量进行检测，从而使得内裤更贴合人体三维形态，提高内裤的适应性和舒适度。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的立体裁剪内裤的成型质量检测方法的场景示意图；
图2为根据本申请实施例的立体裁剪内裤的成型质量检测方法中推断阶段的流程图；
图3为根据本申请实施例的立体裁剪内裤的成型质量检测方法中训练阶段的流程图；
图4为根据本申请实施例的立体裁剪内裤的成型质量检测方法中推断阶段的架构示意图；
图5为根据本申请实施例的立体裁剪内裤的成型质量检测方法中训练阶段的架构示意图；
图6为根据本申请实施例的立体裁剪内裤的成型质量检测方法中第一卷积神经网络编码的流程图；
图7为根据本申请实施例的立体裁剪内裤的成型质量检测方法中第二卷积神经网络编码的流程图；
图8为根据本申请实施例的立体裁剪内裤的成型质量检测系统的框图；
图9为根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如前背景技术所言，立体裁剪方案虽然能够给人体带来更好的舒适度，但是在制造过程中也带来了成型质量检测方面的挑战。也就是说，因人体三维形态的复杂性，使得通过立体裁剪的内裤在实际进行成型质量检测时，需要考虑多个因素，如内裤的尺寸、缝合线的位置、布料的拉伸情况等，这些因素都会对内裤的成型质量产生影响，而传统方案往往难以同时满足这些要求。因此，期望一种优化的立体裁剪内裤的成型质量检测方案。
相应地，考虑到在实际进行立体裁剪内裤的成型质量检测时，需要对于内裤的各个因素进行质量检测，例如内裤的尺寸、缝合线的位置和布料的拉伸情况等，而这些质量隐含特征信息在所述立体裁剪内裤的三维模型中都有所呈现。基于此，在本申请的技术方案中，期望通过对于待检测立体裁剪内裤的三维模型图和标准的参考立体裁剪内裤的三维模型图进行特征差异性对比，以此来进行内裤的成型质量检测。特别地，这里，所述待检测立体裁剪内裤的三维模型图可以通过对于所述待检测立体裁剪内裤的六视图中各个图像的隐含关联特征分布信息来得到。但是，由于所述待检测立体裁剪内裤的六视图中的信息量较多，难以对于待检测立体裁剪内裤的质量隐含特征进行捕捉提取，也给所述待检测立体裁剪内裤的三维模型图和所述参考立体裁剪内裤的三维模型图的差异性特征分布信息刻画带来了困难。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述待检测立体裁剪内裤的六视图中关于待检测立体裁剪内裤的质量隐含关联特征信息，以及所述待检测立体裁剪内裤的三维模型图和所述参考立体裁剪内裤的三维模型图的差异性特征分布信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，获取待检测立体裁剪内裤的六视图，特别地，这里，可以将所述待检测立体裁剪内裤的六视图定义为第一至第六局部视角图像，以便于后续进行特征处理。接着，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述第一至第六局部视角图像的特征提取，特别地，考虑到在进行所述待检测立体裁剪内裤的成型质量检测时，应关注于空间上关于所述待检测立体裁剪内裤的缝合线位置处的隐含特征信息而忽略与所述立体裁剪内裤的成型质量检测无关的干扰特征。应可以理解，鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本申请的技术方案中，将所述第一至第六局部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型中进行处理，以分别提取出所述第一至第六局部视角图像中聚焦于空间缝合线位置上的关于所述待检测立体裁剪内裤的成型质量隐含特征分布信息，从而得到第一至第六局部特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于立体裁剪内裤的成型质量隐含特征信息。
然后，考虑到由于所述六视图中关于所述待检测立体裁剪内裤的成型质量隐含特征之间具有着关于内裤质量的高维关联特征信息，因此，为了能够进行所述待检测立体裁剪内裤的成型质量特征的充分表达，以此来进行与标准的参考立体裁剪内裤的成型质量特征进行对比，提高内裤成型质量检测的精准度，在本申请的技术方案中，进一步将所述第一至第六局部特征矩阵沿着通道维度聚合为三维特征张量后通过使用三维卷积核的第二卷积神经网络模型中进行处理，以提取出所述第一至第六局部视角图像中关于所述待检测立体裁剪内裤的成型质量隐含关联特征分布信息，从而得到立体全局关联特征图。
进一步地，获取参考立体裁剪内裤的三维模型图，并为了能够进行所述待检测立体裁剪内裤的三维模型图和所述参考立体裁剪内裤的三维模型图的差异性特征分布信息提取，以此来准确地进行所述待检测立体裁剪内裤的成型质量检测，还需要利用所述第一至第六局部视角图像中关于所述待检测立体裁剪内裤的成型质量隐含关联特征分布信息来生成与所述参考立体裁剪内裤的三维模型图的数据表现类型相同的生成待检测内裤三维模型图。也就是，具体地，将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以得到生成待检测内裤三维模型图。特别地，这里，所述基于对抗生成网络的内裤模型生成器包含鉴别器和生成器，其中，所述生成器用于生成待检测内裤的三维模型图，所述鉴别器用于计算所述待检测内裤的三维模型图和真实待检测内裤的三维模型图之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有内裤三维模型图生成功能的生成器。
然后，进一步使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图的特征挖掘。特别地，为了能够进一步提高对于这两者三维模型图在高维空间中的特征差异性特征对比的精准度，在本申请的技术方案中，将所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到检测特征图和参考特征图。值得一提的是，这里，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。应可以理解，使用包含有相同网络结构的图像编码器的所述孪生检测模型来分别进行所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图的特征提取能够挖掘出两者的图像在图像源域端差异不明显的特征信息，以此来提高对于所述待检测立体裁剪内裤的成型质量检测精准度。接着，进一步再计算所述检测特征图和所述参考特征图之间的差分特征图，以此来表示所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图中关于立体裁剪内裤的成型质量隐含特征的差异性特征分布信息。
进一步地，将所述差分特征图作为分类特征图通过分类器中进行分类处理，以得到用于表示待检测立体裁剪内裤的成型质量是否符合预定标准的分类结果。也就是，在本申请的技术方案中，所述分类器的标签包括待检测立体裁剪内裤的成型质量符合预定标准(第一标签)，以及，待检测立体裁剪内裤的成型质量不符合预定标准(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“待检测立体裁剪内裤的成型质量是否符合预定标准”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2 之和为一。因此，待检测立体裁剪内裤的成型质量是否符合预定标准的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“待检测立体裁剪内裤的成型质量是否符合预定标准”的语言文本意义。应可以理解，在本申请的技术方案中，所述分类器的分类标签为待检测立体裁剪内裤的成型质量是否符合预定标准的控制策略标签，因此，在得到所述分类结果后，可基于所述分类结果来对于立体裁剪内裤的成型质量进行检测，从而使得内裤更贴合人体三维形态，提高内裤的适应性和舒适度。
特别地，在本申请的技术方案中，在计算所述检测特征图和所述参考特征图之间逐位置差分以获得所述差分特征图时，如果能够提升所述检测特征图和所述参考特征图之间的逐位置关联性，则显然能够提升所述差分特征图的表达效果。
因此，本申请的申请人考虑到第一图像编码器和第二图像编码器均使用随着网络深度递增而在不同局部尺度上进行关联特征提取的卷积核来进行图像编码，因此对所述检测特征图，例如记为和所述参考特征图，例如记为/>进行基于尺度认知的高斯联合密度融合，以得到关联特征图，具体表示为：
，
和/>分别是/>的特征集合（即，所述检测特征图/>和所述参考特征图/>的所有特征值的特征集合）的均值和方差，/>、/>和/>分别是特征图的宽度、高度和通道数，且/>是所述关联特征图的各个位置特征值。
这里，所述基于尺度认知的高斯联合密度融合考虑到待融合特征的尺度最优表达特性，为了提高特征融合的有效性和相对于待融合特征的泛化性能，将具有尺度认知的高斯联合密度作为优势函数（advantage function），来对基于均值和方差的特征分布的类表现差异（performance gap）进行策略表达（policy representation），从而提升特征融合的特征-尺度自依赖性。然后，再以所述关联特征图与所述差分特征图进行融合，就可以在模型训练过程中，提升所述检测特征图和所述参考特征图之间的基于卷积核局部尺度的之间的关联效果，从而提升所述差分特征图的表达效果，以提升所述差分特征图通过分类器得到的分类结果的准确性。这样，能够准确地对于立体裁剪内裤的成型质量进行检测，从而使得内裤更贴合人体三维形态，提高内裤的适应性和舒适度。
基于此，本申请提出了一种立体裁剪内裤的成型质量检测方法，其包括：获取待检测立体裁剪内裤的六视图，其中，将所述待检测立体裁剪内裤的六视图定义为第一至第六局部视角图像；将所述第一至第六局部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到第一至第六局部特征矩阵；将所述第一至第六局部特征矩阵沿着通道维度聚合为三维特征张量后通过使用三维卷积核的第二卷积神经网络模型以得到立体全局关联特征图；将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以得到生成待检测内裤三维模型图；获取参考立体裁剪内裤的三维模型图；将所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到检测特征图和参考特征图；计算所述检测特征图和所述参考特征图之间的差分特征图；以及，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测立体裁剪内裤的成型质量是否符合预定标准。
图1为根据本申请实施例的立体裁剪内裤的成型质量检测方法的场景示意图。如图1所示，在该应用场景中，首先，通过摄像头（例如，如图1中所示意的C1）获取待检测立体裁剪内裤的六视图（例如，如图1中所示意的F1），其中，将所述待检测立体裁剪内裤的六视图定义为第一至第六局部视角图像，以及，通过摄像头（例如，如图1中所示意的C2）获取参考立体裁剪内裤的三维模型图（例如，如图1中所示意的F2）。然后，将上述图像输入至部署有立体裁剪内裤的成型质量检测算法的服务器中（例如，如图1中所示意的云服务器S），其中，所述服务器能够以所述立体裁剪内裤的成型质量检测算法对上述输入的图像进行处理，以生成用于表示待检测立体裁剪内裤的成型质量是否符合预定标准的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图2为根据本申请实施例的立体裁剪内裤的成型质量检测方法中推断阶段的流程图。如图2所示，根据本申请实施例的立体裁剪内裤的成型质量检测方法，包括：推断阶段，包括：S110，获取待检测立体裁剪内裤的六视图，其中，将所述待检测立体裁剪内裤的六视图定义为第一至第六局部视角图像；S120，将所述第一至第六局部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到第一至第六局部特征矩阵；S130，将所述第一至第六局部特征矩阵沿着通道维度聚合为三维特征张量后通过使用三维卷积核的第二卷积神经网络模型以得到立体全局关联特征图；S140，将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以得到生成待检测内裤三维模型图；S150，获取参考立体裁剪内裤的三维模型图；S160，将所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到检测特征图和参考特征图；S170，计算所述检测特征图和所述参考特征图之间的差分特征图；以及，S180，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测立体裁剪内裤的成型质量是否符合预定标准。
图4为根据本申请实施例的立体裁剪内裤的成型质量检测方法中推断阶段的架构示意图。如图4所示，在推断阶段中，在该网络结构中，首先，获取待检测立体裁剪内裤的六视图，其中，将所述待检测立体裁剪内裤的六视图定义为第一至第六局部视角图像；再将所述第一至第六局部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到第一至第六局部特征矩阵；接着，将所述第一至第六局部特征矩阵沿着通道维度聚合为三维特征张量后通过使用三维卷积核的第二卷积神经网络模型以得到立体全局关联特征图；将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以得到生成待检测内裤三维模型图；然后，获取参考立体裁剪内裤的三维模型图；将所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到检测特征图和参考特征图；计算所述检测特征图和所述参考特征图之间的差分特征图；进而，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测立体裁剪内裤的成型质量是否符合预定标准。
具体地，在步骤S110和步骤S150中，获取待检测立体裁剪内裤的六视图，其中，将所述待检测立体裁剪内裤的六视图定义为第一至第六局部视角图像。应可以理解，在实际进行立体裁剪内裤的成型质量检测时，需要对于内裤的各个因素进行质量检测，考虑到立体裁剪内裤的三维模型能够呈现内裤的质量隐含特征信息，因此，在本申请的技术方案中，可通过对于待检测立体裁剪内裤的三维模型图和标准的参考立体裁剪内裤的三维模型图进行特征差异性对比，以此来进行内裤的成型质量检测。更具体地，首先，可通过摄像头来获取待检测立体裁剪内裤的六视图，其中，将所述待检测立体裁剪内裤的六视图定义为第一至第六局部视角图像，以及，通过摄像头来获取参考立体裁剪内裤的三维模型图。
具体地，在步骤S120中，将所述第一至第六局部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到第一至第六局部特征矩阵。也就是，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述第一至第六局部视角图像的特征提取，特别地，考虑到在进行所述待检测立体裁剪内裤的成型质量检测时，应关注于空间上关于所述待检测立体裁剪内裤的缝合线位置处的隐含特征信息而忽略与所述立体裁剪内裤的成型质量检测无关的干扰特征。应可以理解，鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本申请的技术方案中，将所述第一至第六局部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型中进行处理，以分别提取出所述第一至第六局部视角图像中聚焦于空间缝合线位置上的关于所述待检测立体裁剪内裤的成型质量隐含特征分布信息，从而得到第一至第六局部特征矩阵。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上聚焦于立体裁剪内裤的成型质量隐含特征信息。在一个具体示例中，所述第一卷积神经网络包括相互级联的多个神经网络层，其中各个神经网络层包括卷积层、池化层和激活层。其中，在所述第一卷积神经网络的编码过程中，所述第一卷积神经网络的各层在层的正向传递过程中对输入数据使用所述卷积层进行基于卷积核的卷积处理、使用所述池化层对由所述卷积层输出的卷积特征图进行池化处理和使用所述激活层对由所述池化层输出的池化特征图进行激活处理。
图6为根据本申请实施例的立体裁剪内裤的成型质量检测方法中第一卷积神经网络编码的流程图。如图6所示，在所述第一卷积神经网络的编码过程中，包括：S210，使用所述第一卷积神经网络模型的各层在层的正向传递中分别对所述第一至第六局部视角图像分别进行卷积处理、基于沿通道维度的池化处理和非线性激活处理以由所述第一卷积神经网络模型的最后一层输出多个初始空间增强特征矩阵；以及，S220，将所述多个初始空间增强特征矩阵输入所述第一卷积神经网络模型的空间注意力层以得到所述第一至第六局部特征矩阵。
具体地，在步骤S130中，将所述第一至第六局部特征矩阵沿着通道维度聚合为三维特征张量后通过使用三维卷积核的第二卷积神经网络模型以得到立体全局关联特征图。考虑到由于所述六视图中关于所述待检测立体裁剪内裤的成型质量隐含特征之间具有着关于内裤质量的高维关联特征信息，因此，为了能够进行所述待检测立体裁剪内裤的成型质量特征的充分表达，以此来进行与标准的参考立体裁剪内裤的成型质量特征进行对比，提高内裤成型质量检测的精准度，在本申请的技术方案中，进一步将所述第一至第六局部特征矩阵沿着通道维度聚合为三维特征张量后通过使用三维卷积核的第二卷积神经网络模型中进行处理，以提取出所述第一至第六局部视角图像中关于所述待检测立体裁剪内裤的成型质量隐含关联特征分布信息，从而得到立体全局关联特征图。
图7为根据本申请实施例的立体裁剪内裤的成型质量检测方法中第二卷积神经网络编码的流程图。如图7所示，在所述第二卷积神经网络编码过程中，包括：使用所述使用三维卷积核的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：S310，对输入数据进行卷积处理以得到卷积特征图；S320，对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，S330，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述使用三维卷积核的第二卷积神经网络的最后一层的输出为所述立体全局关联特征图，所述使用三维卷积核的第二卷积神经网络的第一层的输入为所述三维特征张量。
具体地，在步骤S140中，将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以得到生成待检测内裤三维模型图。在本申请的技术方案中，为了能够进行所述待检测立体裁剪内裤的三维模型图和所述参考立体裁剪内裤的三维模型图的差异性特征分布信息提取，以此来准确地进行所述待检测立体裁剪内裤的成型质量检测，还需要利用所述第一至第六局部视角图像中关于所述待检测立体裁剪内裤的成型质量隐含关联特征分布信息来生成与所述参考立体裁剪内裤的三维模型图的数据表现类型相同的生成待检测内裤三维模型图。也就是，具体地，将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以得到生成待检测内裤三维模型图。特别地，这里，所述基于对抗生成网络的内裤模型生成器包含鉴别器和生成器，其中，所述生成器用于生成待检测内裤的三维模型图，所述鉴别器用于计算所述待检测内裤的三维模型图和真实待检测内裤的三维模型图之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有内裤三维模型图生成功能的生成器。在本申请的一个具体示例中，将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以通过所述对抗生成网络的生成器通过至少一次反卷积编码以得到所述生成待检测内裤三维模型图。
具体地，在步骤S160中，将所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到检测特征图和参考特征图。也就是，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图的特征挖掘。特别地，为了能够进一步提高对于这两者三维模型图在高维空间中的特征差异性特征对比的精准度，在本申请的技术方案中，将所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到检测特征图和参考特征图。值得一提的是，这里，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。应可以理解，使用包含有相同网络结构的图像编码器的所述孪生检测模型来分别进行所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图的特征提取能够挖掘出两者的图像在图像源域端差异不明显的特征信息，以此来提高对于所述待检测立体裁剪内裤的成型质量检测精准度。更具体地，在所述图像编码过程中，包括：使用所述包含第一图像编码器和第二图像编码器的孪生检测模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述包含第一图像编码器和第二图像编码器的孪生检测模型的最后一层的输出为所述检测特征图和所述参考特征图，所述包含第一图像编码器和第二图像编码器的孪生检测模型的第一层的输入为所述待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图。
具体地，在步骤S170中，计算所述检测特征图和所述参考特征图之间的差分特征图。也就是，在本申请的技术方案中，在得到所述检测特征图和所述参考特征图之后，进一步计算两者之间的差分特征图，以此来表示所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图中关于立体裁剪内裤的成型质量隐含特征的差异性特征分布信息。
具体地，在步骤S180中，将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测立体裁剪内裤的成型质量是否符合预定标准。也就是，将所述差分特征图作为分类特征图通过分类器中进行分类处理，以得到用于表示待检测立体裁剪内裤的成型质量是否符合预定标准的分类结果。具体地，使用所述分类器以如下公式对所述差分特征图进行处理以获得分类结果，其中，所述公式为：，其中/>表示将所述差分特征图投影为向量，/>至/>为各层全连接层的权重矩阵，/>至/>表示各层全连接层的偏置向量。具体地，所述分类器包括多个全连接层和与所述多个全连接层最后一个全连接层级联的Softmax层。其中，在所述分类器的分类处理中，首先将所述差分特征图投影为向量，例如，在一个具体的示例中，将所述差分特征图沿着行向量或者列向量进行展开为分类特征向量；然后，使用所述分类器的多个全连接层对所述分类特征向量进行多次全连接编码以得到编码分类特征向量；进而，将所述编码分类特征向量输入所述分类器的Softmax层，即，使用所述Softmax分类函数对所述编码分类特征向量进行分类处理以得到分类标签。在本申请的技术方案中，所述分类器的标签包括待检测立体裁剪内裤的成型质量符合预定标准(第一标签)，以及，待检测立体裁剪内裤的成型质量不符合预定标准(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“待检测立体裁剪内裤的成型质量是否符合预定标准”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2 之和为一。因此，待检测立体裁剪内裤的成型质量是否符合预定标准的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“待检测立体裁剪内裤的成型质量是否符合预定标准”的语言文本意义。应可以理解，在本申请的技术方案中，所述分类器的分类标签为待检测立体裁剪内裤的成型质量是否符合预定标准的控制策略标签，因此，在得到所述分类结果后，可基于所述分类结果来对于立体裁剪内裤的成型质量进行检测，从而使得内裤更贴合人体三维形态，提高内裤的适应性和舒适度。
应可以理解，在利用上述神经网络模型进行推断之前，需要对所述使用空间注意力机制的第一卷积神经网络模型、所述使用三维卷积核的第二卷积神经网络模型、所述包含第一图像编码器和第二图像编码器的孪生检测模型和所述分类器进行训练。也就是说，在本申请的立体裁剪内裤的成型质量检测方法中，还包括训练模块，用于对所述使用空间注意力机制的第一卷积神经网络模型、所述使用三维卷积核的第二卷积神经网络模型、所述包含第一图像编码器和第二图像编码器的孪生检测模型和所述分类器进行训练。
图3为根据本申请实施例的立体裁剪内裤的成型质量检测方法中训练阶段的流程图。如图3所示，根据本申请实施例的立体裁剪内裤的成型质量检测方法，还包括训练阶段，包括步骤：S1110，获取训练数据，所述训练数据包括待检测立体裁剪内裤的训练六视图，其中，将所述待检测立体裁剪内裤的六视图定义为训练第一至第六局部视角图像，训练参考立体裁剪内裤的三维模型图，以及，所述待检测立体裁剪内裤的成型质量是否符合预定标准的真实值；S1120，将所述训练第一至第六局部视角图像分别通过所述使用空间注意力机制的第一卷积神经网络模型以得到训练第一至第六局部特征矩阵；S1130，将所述训练第一至第六局部特征矩阵沿着通道维度聚合为训练三维特征张量后通过所述使用三维卷积核的第二卷积神经网络模型以得到训练立体全局关联特征图；S1140，将所述训练立体全局关联特征图通过所述基于对抗生成网络的内裤模型生成器以得到训练生成待检测内裤三维模型图；S1150，将所述训练生成待检测内裤三维模型图和所述训练参考立体裁剪内裤的三维模型图通过所述包含第一图像编码器和第二图像编码器的孪生检测模型以得到训练检测特征图和训练参考特征图；S1160，计算所述训练检测特征图和所述训练参考特征图之间的训练差分特征图；S1170，对所述训练差分特征图进行特征优化以得到优化训练差分特征图；S1180，将所述优化训练差分特征图通过所述分类器以得到分类损失函数值；S1190，基于所述分类损失函数值并通过梯度下降的反向传播来对所述使用空间注意力机制的第一卷积神经网络模型、所述使用三维卷积核的第二卷积神经网络模型、所述包含第一图像编码器和第二图像编码器的孪生检测模型和所述分类器进行训练。
图5为根据本申请实施例的立体裁剪内裤的成型质量检测方法中训练阶段的架构示意图。如图5所示，在所述立体裁剪内裤的成型质量检测方法中，在训练过程中，获取训练数据，所述训练数据包括待检测立体裁剪内裤的训练六视图，其中，将所述待检测立体裁剪内裤的六视图定义为训练第一至第六局部视角图像，训练参考立体裁剪内裤的三维模型图，以及，所述待检测立体裁剪内裤的成型质量是否符合预定标准的真实值；再将所述训练第一至第六局部视角图像分别通过所述使用空间注意力机制的第一卷积神经网络模型以得到训练第一至第六局部特征矩阵；接着，将所述训练第一至第六局部特征矩阵沿着通道维度聚合为训练三维特征张量后通过所述使用三维卷积核的第二卷积神经网络模型以得到训练立体全局关联特征图；将所述训练立体全局关联特征图通过所述基于对抗生成网络的内裤模型生成器以得到训练生成待检测内裤三维模型图；将所述训练生成待检测内裤三维模型图和所述训练参考立体裁剪内裤的三维模型图通过所述包含第一图像编码器和第二图像编码器的孪生检测模型以得到训练检测特征图和训练参考特征图；然后，计算所述训练检测特征图和所述训练参考特征图之间的训练差分特征图；对所述训练差分特征图进行特征优化以得到优化训练差分特征图；将所述优化训练差分特征图通过所述分类器以得到分类损失函数值；进而，基于所述分类损失函数值并通过梯度下降的反向传播来对所述使用空间注意力机制的第一卷积神经网络模型、所述使用三维卷积核的第二卷积神经网络模型、所述包含第一图像编码器和第二图像编码器的孪生检测模型和所述分类器进行训练。
特别地，在本申请的技术方案中，在计算所述检测特征图和所述参考特征图之间逐位置差分以获得所述差分特征图时，如果能够提升所述检测特征图和所述参考特征图之间的逐位置关联性，则显然能够提升所述差分特征图的表达效果。因此，本申请的申请人考虑到第一图像编码器和第二图像编码器均使用随着网络深度递增而在不同局部尺度上进行关联特征提取的卷积核来进行图像编码，因此对所述检测特征图，例如记为和所述参考特征图，例如记为/>进行基于尺度认知的高斯联合密度融合，以得到关联特征图，具体表示为：
，
其中，和/>分别表示所述训练检测特征图和所述训练参考特征图，/>和分别是所述训练检测特征图和所述训练参考特征图中各个位置的特征值，/>和/>分别是所述训练检测特征图和所述训练参考特征图的所有特征值的特征集合的均值和方差，、/>和/>分别是特征图的宽度、高度和通道数，且/>是所述关联特征图的各个位置特征值。这里，所述基于尺度认知的高斯联合密度融合考虑到待融合特征的尺度最优表达特性，为了提高特征融合的有效性和相对于待融合特征的泛化性能，将具有尺度认知的高斯联合密度作为优势函数（advantage function），来对基于均值和方差的特征分布的类表现差异（performance gap）进行策略表达（policy representation），从而提升特征融合的特征-尺度自依赖性。然后，再以所述关联特征图与所述差分特征图进行融合，就可以在模型训练过程中，提升所述检测特征图和所述参考特征图之间的基于卷积核局部尺度的之间的关联效果，从而提升所述差分特征图的表达效果，以提升所述差分特征图通过分类器得到的分类结果的准确性。这样，能够准确地对于立体裁剪内裤的成型质量进行检测，从而使得内裤更贴合人体三维形态，提高内裤的适应性和舒适度。
综上，根据本申请实施例的立体裁剪内裤的成型质量检测方法被阐明，其通过采用基于深度学习的神经网络模型挖掘出待检测立体裁剪内裤的三维模型图和参考立体裁剪内裤的三维模型图的差异性特征分布信息，以此来进行内裤的成型质量检测，这样，能够准确地对于立体裁剪内裤的成型质量进行检测，从而使得内裤更贴合人体三维形态，提高内裤的适应性和舒适度。
示例性系统
图8为根据本申请实施例的立体裁剪内裤的成型质量检测系统的框图。如图8所示，根据本申请实施例的立体裁剪内裤的成型质量检测系统300，包括：根据本申请的另一方面，提供了一种立体裁剪内裤的成型质量检测系统，其包括：检测图像采集模块310；第一卷积模块320；第二卷积模块330；模型生成模块340；参考图像获取模块350；孪生检测模块360；孪生检测模块370；以及，分类结果生成模块380。
其中，所述检测图像采集模块310，用于获取待检测立体裁剪内裤的六视图，其中，将所述待检测立体裁剪内裤的六视图定义为第一至第六局部视角图像；所述第一卷积模块320，用于将所述第一至第六局部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到第一至第六局部特征矩阵；所述第二卷积模块330，用于将所述第一至第六局部特征矩阵沿着通道维度聚合为三维特征张量后通过使用三维卷积核的第二卷积神经网络模型以得到立体全局关联特征图；所述模型生成模块340，用于将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以得到生成待检测内裤三维模型图；所述参考图像获取模块350，用于获取参考立体裁剪内裤的三维模型图；所述孪生检测模块360，用于将所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到检测特征图和参考特征图；所述差分模块370，用于计算所述检测特征图和所述参考特征图之间的差分特征图；以及，所述分类结果生成模块380，用于将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测立体裁剪内裤的成型质量是否符合预定标准。
在一个示例中，在上述立体裁剪内裤的成型质量检测系统300中，所述第一卷积模块320，用于：使用所述第一卷积神经网络模型的各层在层的正向传递中分别对所述第一至第六局部视角图像分别进行卷积处理、基于沿通道维度的池化处理和非线性激活处理以由所述第一卷积神经网络模型的最后一层输出多个初始空间增强特征矩阵；以及，将所述多个初始空间增强特征矩阵输入所述第一卷积神经网络模型的空间注意力层以得到所述第一至第六局部特征矩阵。
在一个示例中，在上述立体裁剪内裤的成型质量检测系统300中，所述第二卷积模块330，用于：使用所述使用三维卷积核的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述使用三维卷积核的第二卷积神经网络的最后一层的输出为所述立体全局关联特征图，所述使用三维卷积核的第二卷积神经网络的第一层的输入为所述三维特征张量。
在一个示例中，在上述立体裁剪内裤的成型质量检测系统300中，所述模型生成模块340，用于：将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以通过所述对抗生成网络的生成器通过至少一次反卷积编码以得到所述生成待检测内裤三维模型图。
在一个示例中，在上述立体裁剪内裤的成型质量检测系统300中，所述孪生检测模块360，用于：使用所述包含第一图像编码器和第二图像编码器的孪生检测模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述包含第一图像编码器和第二图像编码器的孪生检测模型的最后一层的输出为所述检测特征图和所述参考特征图，所述包含第一图像编码器和第二图像编码器的孪生检测模型的第一层的输入为所述待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图。
综上，根据本申请实施例的立体裁剪内裤的成型质量检测系统300被阐明，其通过采用基于深度学习的神经网络模型挖掘出待检测立体裁剪内裤的三维模型图和参考立体裁剪内裤的三维模型图的差异性特征分布信息，以此来进行内裤的成型质量检测，这样，能够准确地对于立体裁剪内裤的成型质量进行检测，从而使得内裤更贴合人体三维形态，提高内裤的适应性和舒适度。
如上所述，根据本申请实施例的立体裁剪内裤的成型质量检测系统可以实现在各种终端设备中。在一个示例中，根据本申请实施例的立体裁剪内裤的成型质量检测系统可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该立体裁剪内裤的成型质量检测系统可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该立体裁剪内裤的成型质量检测系统同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该立体裁剪内裤的成型质量检测系统与该终端设备也可以是分立的设备，并且该立体裁剪内裤的成型质量检测系统可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面，参考图9来描述根据本申请实施例的电子设备。
图9图示了根据本申请实施例的电子设备的框图。
如图9所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的立体裁剪内裤的成型质量检测方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如生成待检测内裤三维模型图等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图9中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的立体裁剪内裤的成型质量检测方法中的功能中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的立体裁剪内裤的成型质量检测方法中的功能中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (6)
1.一种立体裁剪内裤的成型质量检测方法，其特征在于，包括：
获取待检测立体裁剪内裤的六视图，其中，将所述待检测立体裁剪内裤的六视图定义为第一至第六局部视角图像；
将所述第一至第六局部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到第一至第六局部特征矩阵；
将所述第一至第六局部特征矩阵沿着通道维度聚合为三维特征张量后通过使用三维卷积核的第二卷积神经网络模型以得到立体全局关联特征图；
将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以得到生成待检测内裤三维模型图；
获取参考立体裁剪内裤的三维模型图；
将所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到检测特征图和参考特征图；
计算所述检测特征图和所述参考特征图之间的差分特征图；以及
将所述差分特征图通过分类器以得到分类结果，所述分类结果用于表示待检测立体裁剪内裤的成型质量是否符合预定标准；
其中，所述立体裁剪内裤的成型质量检测方法还包括对所述使用空间注意力机制的第一卷积神经网络模型、所述使用三维卷积核的第二卷积神经网络模型、所述包含第一图像编码器和第二图像编码器的孪生检测模型和所述分类器进行训练；
其中，对所述使用空间注意力机制的第一卷积神经网络模型、所述使用三维卷积核的第二卷积神经网络模型、所述包含第一图像编码器和第二图像编码器的孪生检测模型和所述分类器进行训练，包括：
获取训练数据，所述训练数据包括待检测立体裁剪内裤的训练六视图，其中，将所述待检测立体裁剪内裤的六视图定义为训练第一至第六局部视角图像，训练参考立体裁剪内裤的三维模型图，以及，所述待检测立体裁剪内裤的成型质量是否符合预定标准的真实值；
将所述训练第一至第六局部视角图像分别通过所述使用空间注意力机制的第一卷积神经网络模型以得到训练第一至第六局部特征矩阵；
将所述训练第一至第六局部特征矩阵沿着通道维度聚合为训练三维特征张量后通过所述使用三维卷积核的第二卷积神经网络模型以得到训练立体全局关联特征图；
将所述训练立体全局关联特征图通过所述基于对抗生成网络的内裤模型生成器以得到训练生成待检测内裤三维模型图；
将所述训练生成待检测内裤三维模型图和所述训练参考立体裁剪内裤的三维模型图通过所述包含第一图像编码器和第二图像编码器的孪生检测模型以得到训练检测特征图和训练参考特征图；
计算所述训练检测特征图和所述训练参考特征图之间的训练差分特征图；
对所述训练差分特征图进行特征优化以得到优化训练差分特征图；
将所述优化训练差分特征图通过所述分类器以得到分类损失函数值；
基于所述分类损失函数值并通过梯度下降的反向传播来对所述使用空间注意力机制的第一卷积神经网络模型、所述使用三维卷积核的第二卷积神经网络模型、所述包含第一图像编码器和第二图像编码器的孪生检测模型和所述分类器进行训练；
其中，对所述训练差分特征图进行特征优化以得到优化训练差分特征图，包括：
对所述训练检测特征图和所述训练参考特征图基于尺度认知的高斯联合密度融合以得到关联特征图；
将所述关联特征图与所述训练差分特征图进行融合以得到所述优化训练差分特征图；
其中，对所述训练检测特征图和所述训练参考特征图基于尺度认知的高斯联合密度融合以得到关联特征图，包括：
以如下优化公式对所述训练检测特征图和所述训练参考特征图基于尺度认知的高斯联合密度融合以得到所述关联特征图；
其中，所述优化公式为：
，
其中，和/>分别表示所述训练检测特征图和所述训练参考特征图，/>和/>分别是所述训练检测特征图和所述训练参考特征图中各个位置的特征值，/>和/>分别是所述训练检测特征图和所述训练参考特征图的所有特征值的特征集合的均值和方差，/>、/>和/>分别是特征图的宽度、高度和通道数，且/>是所述关联特征图的各个位置特征值。
2.根据权利要求1所述的立体裁剪内裤的成型质量检测方法，其特征在于，将所述第一至第六局部视角图像分别通过使用空间注意力机制的第一卷积神经网络模型以得到第一至第六局部特征矩阵，包括：
使用所述第一卷积神经网络模型的各层在层的正向传递中分别对所述第一至第六局部视角图像分别进行卷积处理、基于沿通道维度的池化处理和非线性激活处理以由所述第一卷积神经网络模型的最后一层输出多个初始空间增强特征矩阵；以及
将所述多个初始空间增强特征矩阵输入所述第一卷积神经网络模型的空间注意力层以得到所述第一至第六局部特征矩阵。
3.根据权利要求2所述的立体裁剪内裤的成型质量检测方法，其特征在于，将所述第一至第六局部特征矩阵沿着通道维度聚合为三维特征张量后通过使用三维卷积核的第二卷积神经网络模型以得到立体全局关联特征图，包括：使用所述使用三维卷积核的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述使用三维卷积核的第二卷积神经网络的最后一层的输出为所述立体全局关联特征图，所述使用三维卷积核的第二卷积神经网络的第一层的输入为所述三维特征张量。
4.根据权利要求3所述的立体裁剪内裤的成型质量检测方法，其特征在于，所述对抗生成网络包括鉴别器和生成器；
其中，将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以得到生成待检测内裤三维模型图，包括：
将所述立体全局关联特征图通过基于对抗生成网络的内裤模型生成器以通过所述对抗生成网络的生成器通过至少一次反卷积编码以得到所述生成待检测内裤三维模型图。
5.根据权利要求4所述的立体裁剪内裤的成型质量检测方法，其特征在于，将所述生成待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到检测特征图和参考特征图，包括：使用所述包含第一图像编码器和第二图像编码器的孪生检测模型的各层在层的正向传递中分别对输入数据进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述包含第一图像编码器和第二图像编码器的孪生检测模型的最后一层的输出为所述检测特征图和所述参考特征图，所述包含第一图像编码器和第二图像编码器的孪生检测模型的第一层的输入为所述待检测内裤三维模型图和所述参考立体裁剪内裤的三维模型图。
6.根据权利要求5所述的立体裁剪内裤的成型质量检测方法，其特征在于，将所述优化训练差分特征图通过所述分类器以得到分类损失函数值，包括：
使用所述分类器对所述优化训练差分特征图进行处理以得到训练分类结果:以及
计算所述训练分类结果与所述待检测立体裁剪内裤的成型质量是否符合预定标准的真实值之间的交叉熵损失函数值作为所述分类损失函数值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310528925.2A CN116536906B (zh) | 2023-05-11 | 2023-05-11 | 一种立体裁剪内裤的成型质量检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310528925.2A CN116536906B (zh) | 2023-05-11 | 2023-05-11 | 一种立体裁剪内裤的成型质量检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116536906A CN116536906A (zh) | 2023-08-04 |
| CN116536906B true CN116536906B (zh) | 2023-09-22 |
Family
ID=87450202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310528925.2A Active CN116536906B (zh) | 2023-05-11 | 2023-05-11 | 一种立体裁剪内裤的成型质量检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116536906B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110580701A (zh) * | 2019-08-13 | 2019-12-17 | 创新奇智(重庆)科技有限公司 | 一种基于计算机视觉的成衣测量和缺陷检测的方法 |
| CN113506255A (zh) * | 2021-07-01 | 2021-10-15 | 浙江理工大学 | 一种基于高精度数字图像的服装缝线疵点自动检测方法 |
| WO2022097932A1 (ko) * | 2020-11-09 | 2022-05-12 | 주식회사 엔닷라이트 | 딥러닝 기반으로 2차원 이미지로부터 3차원 모델을 복원하는 장치 및 그 방법 |
| CN114612410A (zh) * | 2022-03-04 | 2022-06-10 | 东莞职业技术学院 | 一种新型服装检测装置 |
| CN115359300A (zh) * | 2022-08-30 | 2022-11-18 | 德玛克(长兴)精密机械有限公司 | 风力发电机部件智能化加工制造系统及其制造方法 |
| CN115471480A (zh) * | 2022-09-20 | 2022-12-13 | 宁波共振运动科技有限公司 | 提臀运动裤的智能化生产工艺 |
| CN115908435A (zh) * | 2022-10-27 | 2023-04-04 | 常熟数动智能科技有限公司 | 一种基于视觉的服装裁剪路径规划方法及系统 |
| CN115908321A (zh) * | 2022-11-21 | 2023-04-04 | 郑州创亿达照明有限公司 | 创新型智能宠物综合维护管理系统及其方法 |
| CN116012293A (zh) * | 2022-11-23 | 2023-04-25 | 华能伊敏煤电有限责任公司 | 基于特征匹配的大块识别系统及其方法 |
| CN116051506A (zh) * | 2023-01-28 | 2023-05-02 | 东莞市言科新能源有限公司 | 聚合物锂离子电池的智能化生产系统及其方法 |
-
2023
- 2023-05-11 CN CN202310528925.2A patent/CN116536906B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110580701A (zh) * | 2019-08-13 | 2019-12-17 | 创新奇智(重庆)科技有限公司 | 一种基于计算机视觉的成衣测量和缺陷检测的方法 |
| WO2022097932A1 (ko) * | 2020-11-09 | 2022-05-12 | 주식회사 엔닷라이트 | 딥러닝 기반으로 2차원 이미지로부터 3차원 모델을 복원하는 장치 및 그 방법 |
| CN113506255A (zh) * | 2021-07-01 | 2021-10-15 | 浙江理工大学 | 一种基于高精度数字图像的服装缝线疵点自动检测方法 |
| CN114612410A (zh) * | 2022-03-04 | 2022-06-10 | 东莞职业技术学院 | 一种新型服装检测装置 |
| CN115359300A (zh) * | 2022-08-30 | 2022-11-18 | 德玛克(长兴)精密机械有限公司 | 风力发电机部件智能化加工制造系统及其制造方法 |
| CN115471480A (zh) * | 2022-09-20 | 2022-12-13 | 宁波共振运动科技有限公司 | 提臀运动裤的智能化生产工艺 |
| CN115908435A (zh) * | 2022-10-27 | 2023-04-04 | 常熟数动智能科技有限公司 | 一种基于视觉的服装裁剪路径规划方法及系统 |
| CN115908321A (zh) * | 2022-11-21 | 2023-04-04 | 郑州创亿达照明有限公司 | 创新型智能宠物综合维护管理系统及其方法 |
| CN116012293A (zh) * | 2022-11-23 | 2023-04-25 | 华能伊敏煤电有限责任公司 | 基于特征匹配的大块识别系统及其方法 |
| CN116051506A (zh) * | 2023-01-28 | 2023-05-02 | 东莞市言科新能源有限公司 | 聚合物锂离子电池的智能化生产系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116536906A (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Pyramidal feature shrinking for salient object detection | |
| EP3963516B1 (en) | Teaching gan (generative adversarial networks) to generate per-pixel annotation | |
| CN111133453B (zh) | 人工神经网络 | |
| CN111241989A (zh) | 图像识别方法及装置、电子设备 | |
| CN115860091B (zh) | 一种基于正交约束的深度特征描述符学习方法 | |
| CN116310850B (zh) | 基于改进型RetinaNet的遥感图像目标检测方法 | |
| CN115564983A (zh) | 目标检测方法、装置、电子设备、存储介质及其应用 | |
| CN110111365B (zh) | 基于深度学习的训练方法和装置以及目标跟踪方法和装置 | |
| CN115222998A (zh) | 一种图像分类方法 | |
| CN116797248B (zh) | 基于区块链的数据溯源管理方法及其系统 | |
| CN116851856B (zh) | 纯水线切割加工工艺及其系统 | |
| CN116536906B (zh) | 一种立体裁剪内裤的成型质量检测方法 | |
| CN112960213A (zh) | 使用特征概率分布表示的智能包装质量检测方法 | |
| CN111383245B (zh) | 视频检测方法、视频检测装置和电子设备 | |
| CN111126566A (zh) | 基于gan模型的异常家具布局数据检测方法 | |
| CN116452540A (zh) | Pcb表面缺陷检测方法、系统 | |
| CN116109649A (zh) | 一种基于语义错误修正的3d点云实例分割方法 | |
| CN116320459A (zh) | 一种基于人工智能的计算机网络通信数据处理方法及系统 | |
| CN114037877B (zh) | 基于局部异常数据提升全局异常检测性能的方法及系统 | |
| Li et al. | Dynamic information enhancement for video classification | |
| CN109978043A (zh) | 一种目标检测方法及装置 | |
| CN113221794B (zh) | 一种训练数据集生成方法、装置、设备及存储介质 | |
| CN114596609A (zh) | 一种视听伪造检测方法及装置 | |
| CN113159071A (zh) | 一种跨模态图像-文本关联异常检测方法 | |
| CN112488238A (zh) | 一种基于对抗自编码器的混合异常检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |