CN116777898B - 基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法 - Google Patents
基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法 Download PDFInfo
- Publication number
- CN116777898B CN116777898B CN202310899557.2A CN202310899557A CN116777898B CN 116777898 B CN116777898 B CN 116777898B CN 202310899557 A CN202310899557 A CN 202310899557A CN 116777898 B CN116777898 B CN 116777898B
- Authority
- CN
- China
- Prior art keywords
- crack
- pixel
- image
- printing
- afformer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 230000008569 process Effects 0.000 title claims abstract description 70
- 238000010146 3D printing Methods 0.000 title claims abstract description 67
- 238000010276 construction Methods 0.000 title claims abstract description 64
- 238000005259 measurement Methods 0.000 title claims abstract description 61
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 238000002372 labelling Methods 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000003708 edge detection Methods 0.000 claims abstract description 17
- 238000003709 image segmentation Methods 0.000 claims abstract description 9
- 230000000877 morphologic effect Effects 0.000 claims abstract description 6
- 230000007547 defect Effects 0.000 claims description 43
- 238000007639 printing Methods 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000011551 log transformation method Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract description 22
- 239000000463 material Substances 0.000 description 17
- 238000012545 processing Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 239000000306 component Substances 0.000 description 3
- 238000007599 discharging Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009991 scouring Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明为基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法，包括以下步骤：利用带有标注信息的数据集训练AFFormer神经网络，得到裂缝的二值化图像分割结果；设置连通阈值，通过连通域去噪删除像素数小于连通阈值的连通域，获得去噪后的裂缝骨架图像；对去噪后的裂缝骨架图像利用形态学处理将裂缝细化，获取细化后的裂缝，同时采用Canny边缘检测算法，对去噪后的裂缝骨架图像计算裂缝二值图像灰度梯度，寻找图像边缘及获取裂缝边缘图，将Canny边缘检测得到的边缘图与细化后的裂缝进行逐像素的逻辑与运算；利用八方向搜索法计算裂缝像素宽度尺寸，进而获得裂缝实际宽度尺寸。大大提升了分割和预测的准确率，能够实现实时高精度的测量。
Description
技术领域
本法发明涉及图像语义分割和智能建造技术领域，特别是涉及一种基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法。
背景技术
裂缝是常见的结构损伤，是威胁道路、挡墙、大坝等混凝土建筑结构健康的因素之一。由于荷载、环境等因素，混凝土结构容易产生裂缝。通过裂缝，空气等介质可以进入混凝土结构内部，引起结构刚度等相关指标退化。当裂缝宽度过大时，会加快结构渗水和腐蚀速率，不断弱化结构稳定性，导致最终破坏，甚至会诱发滑坡等自然灾害，造成巨大的安全风险与经济损失。因此，裂缝检测与测量是混凝土结构安全质量控制的关键指标之一。
挡土墙能够有效避免路基边坡滑动,保证路基稳定,收缩填土坡脚,减少填土数量,保护临近线路的建筑物，并能避免水对路基的冲刷和侵蚀,起到加固的作用。传统挡土墙施工通常需要花费大量人力成本，施工过程中需要考虑混凝土的浇注、养护、外加荷载等因素，施工难度大、施工周期长，同时也会存在一定的安全风险。此外，在自然灾害频发如滑坡地震的高风险地区通过人工进行施工，会大大增加人员的安全风险。因此，能够快速形成强度，如何用较短的时间建造出高质量的挡土墙结构至关重要。
3D打印技术是一种新型机器人建造工艺，适应数字化和智能化，其优点在于自动化程度高、建造速度快、材料利用率高、可实现异形建造、节约模板成本等方面。目前3D打印技术在建筑领域的应用主要针对混凝土和其他水泥基材料，也十分契合智能建造领域的发展理念。但3D打印技术严重依赖于人工监测，需耗费大量的人力和经济成本，且人工无法监测到超过人自身视野高度的地方，无法对3D打印挡墙进行施工过程的质量监测和裂缝的宽度的测量。制造出来的产品质量不稳定具有结构安全风险，限制了3D打印在大规模生产方面的发展和应用。
图像分割技术被广泛应用于计算机视觉、自然语言处理等领域，将其应用于挡墙结构裂缝的检测，是一种理想的智能检测途径，能够实现施工过程当中的质量检测，并能够将裂缝进行量化。但传统裂缝识别网络虽然能够对裂缝图像进行准确定位,但是定位结果准确率较低，对工程当中的实际施工过程指导意义有限。因此，针对3D打印挡墙的裂缝，如何采用高精度的语义分割算法进行监测与测量是领域内的迫切需求。
发明内容
本发明的目的是克服了以上技术的缺点，提供了一种稳定的高精度智能化的基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法。
相对于现有技术而言，本发明创造性地利用分割技术实现3D打印挡墙施工过程裂缝测量，能够准确、高效地检测出打印过程中的裂缝缺陷并进行量化，为打印质量的保障提供了有效的手段。
为了解决上述的技术问题，本发明的技术方案是：
第一方面，本发明提供一种基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法，所述方法包括以下步骤：
获取3D打印挡墙施工过程中打印区域的3D打印混凝土裂缝图像、非3D打印的混凝土裂缝图像和混凝土无裂缝图像，并进行数据增强后获得增强后的数据集，将增强后的数据集中所需识别的区域利用Labelme工具进行二值化像素级标注，为每个像素分配语义标签，标注信息以像素级别指示图像中每个像素所属的类别，在标注完成后生成二值图，形成带有标注信息的数据集，二值图中黑色像素值为0，代表背景，白色像素值为255，代表目标缺陷；
利用带有标注信息的数据集训练AFFormer神经网络，用于定位裂缝所在区域并分割裂缝，得到裂缝的二值化图像分割结果；
裂缝宽度测量：首先设置连通阈值，对于裂缝的二值化图像分割结果通过连通域去噪删除像素数小于预设连通阈值的连通域，去除干扰像素，保留真实的裂缝信息，获得去噪后的裂缝骨架图像；然后对去噪后的裂缝骨架图像利用形态学处理将裂缝细化，获取单像素的裂缝骨架，此即为细化后的裂缝，同时采用Canny边缘检测算法，对去噪后的裂缝骨架图像计算裂缝二值图像灰度梯度，寻找图像边缘及获取裂缝边缘图，将Canny边缘检测得到的边缘图与细化后的裂缝进行逐像素的逻辑与运算；最后利用八方向搜索法计算裂缝像素宽度尺寸；
根据像素与实际尺寸之间的转换比例，获得裂缝实际宽度尺寸。根据裂缝实际宽度尺寸确定对3D打印挡墙结构的损害情况。
像素与实际尺寸之间的转换比例的获得方式是：
在图像中放置一个标尺，标尺长度为L，测量得到标尺在图像中的像素长度为P，像素尺度β通过以下公式计算：
β＝L/P
其中，β表示像素与实际尺寸之间的转换比例，即像素尺度，L表示标尺的实际长度，P表示标尺在图像中的像素长度；
像素尺度的计算要求标尺在图像中的长度要准确测量，并且标尺要与裂缝缺陷在同一平面上。
所述AFFormer神经网络包括Stem模块、以及依次连接的多个阶段单元，每个阶段单元均包括一个Clustering模块，Clustering模块对输入进行分块通过卷积操作获得原型特征G，Stem模块获得的嵌入特征F一方面经Clustering模块连接PL算子，一方面直接连接PD算子，PL算子处理的结果再进入PD算子，PD算子处理后的结果连接下一阶段单元的Clustering模块，作为下一阶段单元的嵌入特征；第一个阶段单元的Clustering模块的输入连接Stem模块；最后一个阶段单元的输出连接分类层CLS，获得输出图像。
所述分类层CLS为一个卷积层作为单尺度特征的分类层；
Stem模块由两个卷积层组成，用来提取输入图片的嵌入特征；
Clustering模块由深度可分离卷积层(DWConv2d)与批归一化(BatchNormalization)组成，实现了一个路径嵌入操作，将输入图像按照指定的窗口大小patch_size＝16和步长stride＝1进行分块，并将每个分块通过卷积操作转换为原型特征；
所述PL算子包括基于transformer的K、Q、V三个线性变换模块、AFF模块、DC-FFN模块，AFF模块的最终输出经两个DC-FFN模块、一个残差结构和Add&Norm操作得到原型表示G'，原型表示G'和嵌入特征F通过PD算子中的Restoring操作恢复到输入大小得到嵌入特征F'，作为下一个阶段单元的输入；所述DC-FFN模块包括深度可分离卷积、非线性激活函数和前馈神经网络，深度可分离卷积对每个输入通道分别应用空间卷积，对输入特征进行通道间的信息交互；在深度可分离卷积之后，应用一个非线性激活函数ReLU，在经过深度可分离卷积和激活函数后，DC-FFN模块会应用一个前馈神经网络，由全连接层组成。
所述连通域去噪的具体过程是：
对裂缝的二值化图像分割结果进行连通域标记，将每个连通域分配一个唯一的标记值；在二值图像中，连通域通为具有相同像素值且相邻的像素组成的区域，连通域可以是任意形状和大小，可能包含一个或多个对象；
遍历所有标记的连通域，计算每个连通域中的像素数；
设定连通阈值，判断每个连通域的像素数是否小于该连通阈值；若连通域的像素数小于连通阈值，则该连通域是干扰噪声，将其对应的像素值设置为背景；若连通域的像素数大于等于连通阈值，则该连通域是真实的裂缝区域，保留；
根据处理后的连通域信息，输出去噪后的裂缝骨架图像，其中只保留像素数大于等于连通阈值的连通域，即保留了真实的裂缝信息。
所述八方向搜索法的具体过程是：
以逐像素逻辑与运算的结果中的每个裂缝像素点P0为起始点，在逐像素逻辑与运算的结果的图像上从水平0°开始，间隔45°逆时针旋转，八个方向依次记为Pi，从八个方向搜索裂缝边缘像素，统计各方向起始点与裂缝边缘像素之间的像素数量，记为ni，计算P1和P5、P2和P6、P3和P7、P4和P8四个直线方向的裂缝宽度尺寸dj，其中i＝1，2，…，8；j＝1，2，3，4：
d1＝n1+n5+1
d2＝21/2(n2+n6+1)
d3＝n3+n7+1
d4＝21/2(n4+n8+1)
取d1，d2，d3，d4中的最小值dmin为裂缝骨架上该像素点的裂缝像素宽度尺寸；
重复上述过程，获取裂缝骨架上所有像素点的裂缝像素宽度尺寸，即获得每一裂缝像素的宽度信息。
计算裂缝的实际宽度尺寸，计算公式如下：
D＝dmin×β
式中：D为裂缝实际宽度尺寸；β为像素像素与实际尺寸之间的转换比例。
利用MSR算法进行所述数据增强，具体过程是：①将图像进行log变换，②将log图像进行高斯模糊，③利用原图和模糊之后的log图像做差分得到差分图像M；
将原图的R、G、B三个维度分别进行①②③操作，得到三个维度上的差分图像，其中高斯模糊在R、G、B三个维度上将sigmoid参数分别设置为15，80，200；
最后将R、G、B三个维度上的差分图像加权求平均，将三个维度合并且将数据放缩到0-255，得到增强后的数据集。
将待检测的3D打印挡墙施工过程中打印区域的裂缝缺陷图像输入到AFFormer神经网络，得到裂缝实际宽度尺寸，并设置测量参数阈值对结果进行分析；若识别为裂缝缺陷图像，计算裂缝实际宽度尺寸；设置测量参数阈值，比较裂缝实际宽度尺寸与设置的相应测量参数阈值，确定是否报警，若裂缝实际宽度尺寸超过测量参数阈值，则进行报警，并根据报警信息调整打印工艺；直至打印结束所有区域均达到需求，此时所有裂缝实际宽度尺寸小于所设测量参数阈值，完成3D打印挡墙施工过程裂缝测量的预警。
本发明还提供一种基于AFFormer实现3D打印挡墙施工过程裂缝测量的系统，所述系统包括：
图像采集模块，用于获取3D打印挡墙施工过程中打印区域的3D打印混凝土裂缝图像；
图像处理模块，用于对图像采集模块的3D打印挡墙施工过程中打印区域的3D打印混凝土裂缝图像进行数据增强，并将增强后的数据集中所需识别的区域进行像素级别所属类别的分割标注，获得带有标注信息的数据集；
AFFormer神经网络，用于定位裂缝所在区域并分割裂缝，得到裂缝的二值化图像分割结果；
裂缝宽度测量模块，对AFFormer神经网络的输出结果利用连通域去噪、形态学处理、Canny边缘检测算法、八方向搜索法实现裂缝像素宽度高精度的测量，并换算得到裂缝实际宽度尺寸；
预警处理模块，对裂缝宽度测量模块输出的结果(裂缝实际宽度尺寸)与测量参数阈值比较，超过测量参数阈值时，则进行报警，并及时向3D打印后台反馈缺陷信息，3D打印后台自动降低打印机喷头移动速度、增加出料速度，并提示相关人员检查材料状态。
所使用的硬件设备包括如下几个部件：
处理器：作为本发明的核心部件，处理器负责控制和管理整个系统的运行，包括数据采集、数据处理、图像识别、报警等功能，并且需要有足够的计算能力和并行处理能力，以满足实时性要求。处理器可以采用单片机、微处理器、计算机等不同的形式，以满足不同应用场景的需求；
存储器：存储器可以用于存储采集的数据和历史数据，以便后续处理和分析，具有高速度、高可靠性和可扩展性等特点，以满足系统长时间稳定运行的需求；
数据库：使用数据库来存储和管理采集到的数据、历史数据和分析结果等信息；
网络接口：使用网络接口进行数据交换和通信，具有高速度、高稳定性和高安全性等特点，保证数据传输的可靠性和安全性。
所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法。
所述存储器上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法。
所述数据库被配置成存储和管理计算机应用程序的数据，包括各种数据类型和结构，应用于上述的基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法。
所述网络接口，实现计算机之间的通信和数据传输，该网络接口可以提供各种通信协议和数据传输方式以满足不同应用场景和不同需求的通信和数据传输需求，应用于上述的基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法。
与现有技术相比，本发明的有益效果是：
本发明方法将AFFormer神经网络应用到挡墙施工过程裂缝测量中，具有精细化识别图像信息的功能，可对裂缝识别进行量化，可以克服挡墙施工过程裂缝测量的不足，提高施工效率和质量，减少人工监测的依赖，并为挡墙建设提供更可靠和安全的解决方案，大大提升了分割和预测的准确率，能够实现实时高精度的测量。
本发明方法中通过DC-FFN模块的堆叠和重复使用，AFFormer能够有效地学习特征之间的空间关系和语义信息，提升语义分割的准确性，DC-FFN模块具有轻量级的结构，可以减少模型的计算复杂度，适用于在资源受限的环境下进行实时的语义分割任务，并且引入残差结构能提升网络学习能力，解决退化问题。
本发明方法区别于之前的传统算法，将边缘检测算法和分割算法结合使用，先应用分割算法将裂缝与背景分离，然后针对分割结果应用边缘检测算法以提取裂缝的边缘信息，充分利用分割算法的准确性和边缘检测算法的边缘细化能力，获取更准确和完整的裂缝边缘。
本发明AFFormer为一种head-free的轻量级语义分割算法，没有解码器并引入了自适应滤波器，能在高分辨率特征中保留丰富的图像语义信息，且能够减少计算量，将计算复杂度从O(n2)降低至O(n)。在多个语义分割数据集上，相比于SegFormer，AFFormer没有解码器模块，有更低的计算量、更好的性能。
本发明系统引入自动化和智能化的技术可以改善挡墙施工过程的裂缝测量的准确性。它可以根据不同的打印材料和缺陷类型进行灵活调整，包括打印机喷头的移动速度、出料速度以及材料的干湿程度等参数。通过反馈机制和指导工作人员进行调整，系统能够适应各种不同的需求和应用场景。这种高度可定制性赋予了系统广泛的适用性和实用性。不仅可以应用于混凝土3D打印挡墙施工过程的裂缝测量，还可以扩展到其他领域，如金属3D打印、医学3D打印、航空3D打印等领域的表面缺陷检测。
本发明系统为实现更大规模的建筑级别3D打印提供了可能性，进一步推动了该领域的发展，具有重大的意义和广阔的应用前景，同时也为混凝土3D打印技术的发展提供了有力的支持和保障。
附图说明
图1是本发明中AFFormer神经网络的结构示意图；
图2是本发明的AFFormer神经网络中阶段单元的结构示意图；
图3是本发明中裂缝像素宽度测量的流程图；
图4是本发明基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法的流程图。
具体实施方式
为了更加清楚地描述本发明的技术问题、技术方案和优点，接下来将结合图示和实施例进行详细说明。需要注意的是，这些实施例仅用于说明本发明的原理和应用范围，并不应视为对本发明的限制。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
实施例1
本实施例基于AFFormer实现3D打印挡墙施工过程裂缝测量的系统，包括：
图像采集模块，用于获取3D打印挡墙施工过程中打印区域的3D打印混凝土裂缝图像，非3D打印的混凝土裂缝图像和混凝土无裂缝图像；
图像处理模块，用于对图像采集模块的3D打印挡墙施工过程中打印区域的3D打印混凝土裂缝图像进行数据增强，并将增强后的数据集中所需识别的区域进行像素级别所属类别的分割标注，获得带有标注信息的数据集；
AFFormer神经网络，用于定位裂缝所在区域并分割裂缝，得到裂缝的二值化图像分割结果；AFFormer神经网络利用带有标注信息的数据集进行训练，实现像素级裂缝特征智能化提取；
裂缝宽度测量模块，对裂缝的二值化图像分割结果利用连通域去噪、形态学处理、Canny边缘检测算法、八方向搜索法实现裂缝像素宽度高精度的测量，并换算得到裂缝实际宽度尺寸；
预警处理模块，对裂缝宽度测量模块输出的结果(裂缝实际宽度尺寸)与测量参数阈值比较，超过测量参数阈值时，则进行报警，显示器显示预警级别并及时向3D打印后台反馈缺陷信息，3D打印后台自动降低打印机喷头移动速度、增加出料速度，并提示相关人员检查材料状态，实现根据裂缝测量结果的反馈机制。
基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法包括以下步骤：
获取3D打印挡墙施工过程中打印区域的3D打印混凝土裂缝图像、非3D打印的混凝土裂缝图像和混凝土无裂缝图像，并进行数据增强后获得增强后的数据集，将增强后的数据集中所需识别的区域利用Labelme工具进行二值化像素级标注，为每个像素分配语义标签，标注信息以像素级别指示图像中每个像素所属的类别，在标注完成后生成二值图，形成带有标注信息的数据集，二值图中黑色像素值为0，代表背景，白色像素值为255，代表目标缺陷；
利用带有标注信息的数据集训练AFFormer神经网络，用于定位裂缝所在区域并分割裂缝，得到裂缝的二值化图像分割结果；
裂缝宽度测量：首先设置连通阈值，对于裂缝的二值化图像分割结果通过连通域去噪删除像素数小于预设连通阈值的连通域，去除干扰像素，保留真实的裂缝信息，获得去噪后的裂缝骨架图像；然后对去噪后的裂缝骨架图像利用形态学处理将裂缝细化，获取单像素的裂缝骨架，此即为细化后的裂缝，同时采用Canny边缘检测算法，对去噪后的裂缝骨架图像计算裂缝二值图像灰度梯度，寻找图像边缘及获取裂缝边缘图，将Canny边缘检测得到的边缘图与细化后的裂缝进行逐像素的逻辑与运算；最后利用八方向搜索法计算裂缝像素宽度尺寸；裂缝像素宽度尺寸测量的流程图如图3所示；
根据像素与实际尺寸之间的转换比例，获得裂缝实际宽度尺寸。根据裂缝实际宽度尺寸确定对3D打印挡墙结构的损害情况。
获取3D打印挡墙施工过程中打印区域的3D打印混凝土裂缝图像具体包括：3D打印混凝土挡墙施工过程中的裂缝缺陷图像。本实施例实验数据集由2500张3D打印挡墙施工过程中打印区域的3D打印混凝土裂缝图像、1500张非3D打印的混凝土裂缝图像以及1000张混凝土无裂缝图像组成，数据集中的每个图像都是227x 227像素的RGB图像。加入非3D打印混凝土裂缝图像，有效提高了训练准确性和鲁棒性，模型能够更加准确的识别出3D打印混凝土裂缝图像。
利用MSR算法进行数据增强，具体过程是：①将图像进行log变换，②将log图像进行高斯模糊(即得到低频成分)，③利用原图和模糊之后的log图像做差分得到差分图像M；
将原图的R、G、B三个维度分别进行①②③操作，得到三个维度上的差分图像，其中高斯模糊在R、G、B三个维度上将sigmoid参数分别设置为15，80，200；
最后将R、G、B三个维度上的差分图像加权求平均，将三个维度合并且将数据放缩到0-255，得到增强后的数据集。
将增强后的数据集中所需识别的区域利用Labelme工具进行像素级标注，为每个像素分配相应的语义标签，原图和数据增强后的标注后数据共同形成带有标注信息的数据集，在标注完成后生成二值图，黑色像素值为0，代表背景，白色像素值为255，代表目标缺陷。标注信息以像素级别指示图像中每个像素所属的类别，分别分别是背景或目标缺陷。
将带有标注信息的数据集(含有裂缝缺陷图像以及对应的标注图像)按照7:3的比例分配为训练集和测试集；
AFFormer神经网络主要分为训练和预测两个部分，训练部分首先对AFFormer神经网络参数进行随机初始化，再从训练集中提取3D打印挡墙施工过程中打印区域的裂缝缺陷图像以及对应的标注图像；其次利用Stem模块进行特征提取，提取图像嵌入特征；最后，根据提取的嵌入特征完成对图像每个像素类别的预测，并结合标注图像利用solftmax损失函数计算出误差损失后通过误差反向传播更新网络权重参数。依次迭代训练所有图像，经30000次迭代，训练模型达到收敛，即模型训练梯度接近于0时，停止训练，提取最优的网络参数进行预测。
预测时，AFFormer神经网络首先加载训练好的参数，并从测试集中加载输入图像，计算出每个像素所属类别，进而实现语义分割。
将待检测的3D打印挡墙施工过程中打印区域的3D打印混凝土裂缝图像输入到AFFormer神经网络，若识别为裂缝缺陷图像，利用裂缝宽度测量模块，获取裂缝宽度的像素值并换算得到裂缝实际宽度尺寸；
本实施例中连通阈值设置为100像素，设置测量参数阈值为1.5mm，利用连通域去除干扰像素，保留真实的裂缝信息，本发明从删除像素数小于预设连通阈值的连通域的角度来减少噪声，这种方法侧重于去除不需要的连通域，以提高图像的质量和减少干扰，同时本发明增加了将Canny边缘检测得到的边缘图与细化后的裂缝进行逐像素的逻辑与运算这一步操作，得到的裂缝图像更加细化，噪声少，提高了像素级裂缝检测的精度。
实际施工时，如图4所示，系统接收输入待检测图像以进行缺陷检测，将待检测图片输入到AFFormer神经网络，AFFormer神经网络输出检测结果；如果待检测图片图像被AFFormer神经网络识别为裂缝缺陷图像，则由裂缝宽度测量模块测量裂缝实际宽度尺寸，若裂缝实际宽度尺寸不大于1.5mm，将材料打印视为合格，判断为合格时不报警不做标记；若裂缝实际宽度尺寸大于1.5mm，触发预警处理模块并将缺陷信息(包括宽度尺寸和缺陷类型)传递给预警处理模块；缺陷类型指裂缝或无裂缝。
显示器接收预警处理模块传输的缺陷信息并显示，若缺陷类型为裂缝，则显示裂缝实际宽度尺寸并进行标记，反馈给3D打印后台，停止打印材料。
3D打印后台接收预警处理模块的信息，自动减缓打印速度且增加泵送速率，并安排工作人员检查材料状态，采取适当措施解决缺陷，如修理或更换设备、调整印刷工艺或更换材料等；
实际施工中，如果图像未被识别为缺陷或；裂缝实际宽度尺寸未超过测量参数阈值，将材料认定为合格，合格不报警不做标记。
3D打印后台分析缺陷信息，其中缺陷信息为缺陷类型，若缺陷类型为裂缝，根据裂缝实际宽度尺寸确定缺陷的严重性级别,其中缺陷的严重性级别确定步骤为：裂缝实际宽度尺寸小于1.5mm为轻微缺陷，这意味着裂缝宽度较小，并且对结构功能的影响较小；裂缝实际宽度尺寸大于1.5mm，则为严重缺陷，表示裂缝宽度较大，对结构功能有明显影响。3D打印后台根据缺陷的严重性自动调整打印机参数并向相关人员发送告警通知。
只有在修复缺陷并且3D打印后台的材料流变性能参数调整后，并在打印过程区间当中不再出现缺陷后，3D打印后台才会恢复打印，其中打印过程区间为试打印1米长度。
本发明主要应用于实现3D打印挡墙施工过程裂缝量化，利用3D打印设备上安装的工业摄像头，自动获取3D打印挡墙施工过程当中的缺陷图像，之后对于裂缝进行量化分析，当裂缝实际宽度尺寸大于设置的测量参数阈值1.5mm后自动报警，从而实现自动调整打印设备参数并进行材料状态检查功能。
实施例2
本实施例基于AFFormer实现3D打印挡墙施工过程裂缝测量的系统的工作过程是：
训练阶段：
1)在3D打印设备上安装工业相机，获取3D打印挡墙施工过程的视频；
2)从视频中的指定位置逐帧获取3D打印挡墙施工过程中的3D打印混凝土裂缝图像；
3)将获取的视频图像逐帧处理并进行数据增强后获得增强后的数据集，将增强后的数据集中所需识别的区域利用Labelme工具进行二值化像素级标注，为每个像素分配语义标签，标注信息以像素级别指示图像中每个像素所属的类别，在标注完成后生成二值图，形成带有标注信息的数据集，利用带有标注信息的数据集训练AFFormer神经网络，依次迭代训练所有图像，经30000次迭代，训练模型达到收敛，即模型训练梯度接近于0时，停止训练，提取最优的网络参数用于后期实施预测。
所述AFFormer神经网络的整体架构如图1所示，包括Stem模块、以及依次连接的多个阶段单元，每个阶段单元均包括一个Clustering模块，Clustering模块对输入进行分块通过卷积操作获得原型特征G，Stem模块获得的嵌入特征F一方面经Clustering模块连接PL算子，一方面直接连接PD算子，PL算子处理的结果再进入PD算子，PD算子处理后的结果连接下一阶段单元的Clustering模块；第一个阶段单元的Clustering模块的输入连接Stem模块；最后一个阶段单元的输出连接分类层CLS，获得输出图像。
所述分类层CLS为一个卷积层作为单尺度特征的分类层。
多个阶段单元串联形成一个并行网络结构，在路径嵌入后，输入图像经过Stem模块提取嵌入特征F，嵌入特征F经Clustering模块被聚类，以获得原型特征G，
Prototype Learning(PL)算子是一个基于Transformer的模块用于原型学习，PL以原型特征G为输入，以捕获G中的有利频率成分，得到原型表示G'。
Pixel Descriptor(PD)算子是一个基于CNN的像素描述器，将以PL的输出为输入将原型表示G'恢复，得到下一阶段的特征F'。本实施例阶段单元的数量为四个。
Stem模块由两个卷积层组成，用来提取输入图片的嵌入特征F。每个阶段单元包括Clustering模块、prototype learning(PL)算子和Pixel Descriptor(PD)算子，每个阶段单元的流程是(如图2所示)：
Clustering模块由深度可分离卷积层(DWConv2d)与批归一化(BatchNormalization)组成，实现了一个路径嵌入操作，将输入图像按照指定的窗口大小patch_size＝16和步长stride＝1进行分块，并将每个分块通过卷积操作转换为原型特征。这个原型特征可以用作后续任务(PL、PD)的输入；
Prototype Learning(PL)模块由Clustering模块输出的嵌入特征作为此模块的输入，经Positinal Encodings模块为每个输入特征的位置引入一个可学习的编码向量，将输入进行线性变换得到K(key)、Q(Query)和V(Value)，然后进行自注意力计算，K和Q用于计算键(Key)与查询(Query)之间的相似度，V用于计算加权和，捕捉输入中的关联性和上下文信息。自注意力计算后的结果分别经AFF模块(Adaptive Frequency Flter)后直接相加并归一化得到输出结果，输出结果经两个DC-FFN模块(Depthwise Feed-Forward Network)、一个残差结构和两个Add&Norm操作得到原型表示G'；原型表示G'和嵌入特征F通过PD算子中的Restoring操作恢复到与嵌入特征大小相同的状态，得到输入下一个阶段单元的嵌入特征F'。
DC-FFN模块包括深度可分离卷积、非线性激活函数和前馈神经网络，具体操作包括以下几个步骤：
深度可分离卷积(Depthwise Convolution)：对每个输入通道分别应用空间卷积，对输入特征进行通道间的信息交互。深度可分离卷积能够有效减少模型的参数量和计算复杂度。
非线性激活函数：在深度可分离卷积之后，应用一个非线性激活函数ReLU(修正线性单元)，以引入非线性变换，增强特征的表达能力。
前馈神经网络(Feed-Forward Network)：在经过深度可分离卷积和激活函数后，DC-FFN模块会应用一个前馈神经网络，由全连接层组成。这个前馈神经网络进一步对特征进行变换和上下文建模，提取更丰富的语义信息。
通过DC-FFN模块的堆叠和重复使用，AFFormer能够有效地学习特征之间的空间关系和语义信息，提升语义分割的准确性。DC-FFN模块具有轻量级的结构，可以减少模型的计算复杂度，适用于在资源受限的环境下进行实时的语义分割任务，并且引入残差结构能提升网络学习能力，解决退化问题。
边缘检测算法和分割算法结合使用，先应用分割算法将裂缝与背景分离，然后针对分割结果应用边缘检测算法以提取裂缝的边缘信息。充分利用分割算法的准确性和边缘检测算法的边缘细化能力，获取更准确和完整的裂缝边缘。
AFFormer为一种head-free的轻量级语义分割算法，没有解码器并引入了自适应滤波器，能在高分辨率特征中保留丰富的图像语义信息，且能够减少计算量，将计算复杂度从O(n2)降低至O(n)。在多个语义分割数据集上，相比于SegFormer，AFFormer没有解码器模块，有更低的计算量、更好的性能。
使用训练集来训练AFFormer神经网络，并使用测试集来评估不同参数设置下的AFFormer神经网络性能，从而选择最佳的参数设置，同时也可以使AFFormer神经网络具有更好的泛化能力。在训练过程中使用k折交叉验证方法可以充分利用有限的数据集，更准确地评估AFFormer神经网络性能、选择最佳AFFormer神经网络和参数，并提供模型方差和偏差的估计。
本发明提出了一种基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法，旨在解决当前3D打印过程中依赖人工监测所带来的问题。传统的人工监测方法耗费大量人力和经济成本，并容易出现疏漏或误判。此外，人工监测也无法监测到超过人自身视野范围的地方，无法实现对挡墙结构的全程质量监测和预警。为了解决这些问题，本技术方案利用安装在3D打印设备上的工业摄像头，通过AFFormer神经网络自动识别3D打印混凝土挡墙施工过程中的裂缝。对于裂缝，能够量化分析，并在裂缝实际宽度尺寸超过设定测量参数阈值时自动报警。
相较于现有技术，本技术方案具有以下优势和应用前景：减少人工成本、提升打印效率、保证打印产品质量，并为追求更大规模建筑级别的3D打印提供了可能性，这对于3D打印行业来说具有重大意义，具有广阔的应用前景。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
本发明未述及之处适用于现有技术。
Claims (8)
1.一种基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法，其特征在于，所述方法包括以下步骤：
获取3D打印挡墙施工过程中打印区域的3D打印混凝土裂缝图像、非3D打印的混凝土裂缝图像和混凝土无裂缝图像，并进行数据增强后获得增强后的数据集，将增强后的数据集中所需识别的区域利用Labelme工具进行二值化像素级标注，为每个像素分配语义标签，标注信息以像素级别指示图像中每个像素所属的类别，在标注完成后生成二值图，形成带有标注信息的数据集，二值图中黑色像素值为0，代表背景，白色像素值为255，代表目标缺陷；
利用带有标注信息的数据集训练AFFormer神经网络，用于定位裂缝所在区域并分割裂缝，得到裂缝的二值化图像分割结果；
裂缝宽度测量：首先设置连通阈值，对于裂缝的二值化图像分割结果通过连通域去噪删除像素数小于连通阈值的连通域，获得去噪后的裂缝骨架图像；然后对去噪后的裂缝骨架图像利用形态学处理将裂缝细化，获取细化后的裂缝，同时采用Canny边缘检测算法，对去噪后的裂缝骨架图像计算裂缝二值图像灰度梯度，寻找图像边缘及获取裂缝边缘图，将Canny边缘检测得到的边缘图与细化后的裂缝进行逐像素的逻辑与运算；最后利用八方向搜索法计算裂缝像素宽度尺寸；
根据像素与实际尺寸之间的转换比例，获得裂缝实际宽度尺寸。
2.根据权利要求1所述的基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法，其特征在于，像素与实际尺寸之间的转换比例的获得方式是：
在图像中放置一个标尺，标尺长度为L，测量得到标尺在图像中的像素长度为P，通过以下公式计算，获得像素与实际尺寸之间的转换比例β：
β＝L/P
标尺与裂缝缺陷在同一平面上。
3.根据权利要求1所述的基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法，其特征在于，所述AFFormer神经网络包括Stem模块、以及依次连接的多个阶段单元，每个阶段单元均包括一个Clustering模块，Clustering模块对输入进行分块通过卷积操作获得原型特征G，Stem模块获得的嵌入特征F一方面经Clustering模块连接PL算子，一方面直接连接PD算子，PL算子处理的结果再进入PD算子，PD算子处理后的结果连接下一阶段单元的Clustering模块，作为下一阶段单元的嵌入特征；第一个阶段单元的Clustering模块的输入连接Stem模块；最后一个阶段单元的输出连接分类层CLS，获得输出图像。
4.根据权利要求3所述的基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法，其特征在于，所述分类层CLS为一个卷积层作为单尺度特征的分类层；
Stem模块由两个卷积层组成，用来提取输入图片的嵌入特征；
Clustering模块由深度可分离卷积层与批归一化组成；
所述PL算子包括基于transformer的K、Q、V三个线性变换模块，AFF模块和DC-FFN模块；AFF模块的最终输出经两个DC-FFN模块、一个残差结构和两个Add&Norm操作得到原型表示G'，原型表示G'和嵌入特征F通过PD算子中的Restoring操作恢复到输入大小，得到嵌入特征F’，作为下一个阶段单元的输入；
所述DC-FFN模块包括深度可分离卷积、非线性激活函数和前馈神经网络，所述前馈神经网络由全连接层组成。
5.根据权利要求1所述的基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法，其特征在于，所述连通域去噪的具体过程是：
对裂缝的二值化图像分割结果进行连通域标记，将每个连通域分配一个唯一的标记值；
遍历所有标记的连通域，计算每个连通域中的像素数；
设定连通阈值，判断每个连通域的像素数是否小于该连通阈值；若连通域的像素数小于连通阈值，则该连通域是干扰噪声，将其对应的像素值设置为背景；若连通域的像素数大于等于连通阈值，则该连通域是真实的裂缝区域，保留；
根据处理后的连通域信息，输出去噪后的裂缝骨架图像，其中只保留像素数大于等于连通阈值的连通域。
6.根据权利要求1所述的基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法，其特征在于，所述八方向搜索法的具体过程是：
以逐像素逻辑与运算的结果中的每个裂缝像素点P0为起始点，在逐像素逻辑与运算的结果的图像上从水平0°开始，间隔45°逆时针旋转，八个方向依次记为Pi，从八个方向搜索裂缝边缘像素，统计各方向起始点与裂缝边缘像素之间的像素数量，记为ni，计算P1和P5、P2和P6、P3和P7、P4和P8四个直线方向的裂缝宽度尺寸dj，其中i＝1，2，…，8；j＝1，2，3，4：
d1＝n1+n5+1
d2＝21/2(n2+n6+1)
d3＝n3+n7+1
d4＝21/2(n4+n8+1)
取d1，d2，d3，d4中的最小值dmin为裂缝骨架上该像素点的裂缝像素宽度尺寸；
重复上述过程，获取裂缝骨架上所有像素点的裂缝像素宽度尺寸，得到每一裂缝像素的宽度信息。
7.根据权利要求1所述的基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法，其特征在于，利用MSR算法进行所述数据增强，具体过程是：①将图像进行log变换，②将log图像进行高斯模糊，③利用原图和模糊之后的log图像做差分得到差分图像M；
将原图的R、G、B三个维度分别进行①②③操作，得到三个维度上的差分图像，其中高斯模糊在R、G、B三个维度上将sigmoid参数分别设置为15，80，200；
最后将R、G、B三个维度上的差分图像加权求平均，将三个维度合并且将数据放缩到0-255，得到增强后的数据集。
8.根据权利要求1所述的基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法，其特征在于，获得裂缝实际宽度尺寸后，设置测量参数阈值，比较裂缝实际宽度尺寸与设置的相应测量参数阈值，确定是否报警，若裂缝实际宽度尺寸超过测量参数阈值，则进行报警，并根据报警信息调整打印工艺；直至打印结束所有区域均达到需求，此时所有裂缝实际宽度尺寸小于所设测量参数阈值，完成3D打印挡墙施工过程裂缝测量的预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310899557.2A CN116777898B (zh) | 2023-07-21 | 2023-07-21 | 基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310899557.2A CN116777898B (zh) | 2023-07-21 | 2023-07-21 | 基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116777898A CN116777898A (zh) | 2023-09-19 |
| CN116777898B true CN116777898B (zh) | 2024-01-23 |
Family
ID=87994673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310899557.2A Active CN116777898B (zh) | 2023-07-21 | 2023-07-21 | 基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116777898B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115140B (zh) * | 2023-09-25 | 2024-04-05 | 重庆大学溧阳智慧城市研究院 | 基于点云分割配准的3d打印混凝土柱表面裂缝检测方法 |
| CN117975374A (zh) * | 2024-03-29 | 2024-05-03 | 山东天意机械股份有限公司 | 一种双皮墙自动化生产线智能视觉监控方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364280A (zh) * | 2018-01-03 | 2018-08-03 | 东南大学 | 结构裂缝自动化描绘及宽度精准测量方法与设备 |
| CN112330593A (zh) * | 2020-10-10 | 2021-02-05 | 南京理工大学 | 基于深度学习网络的建筑物表面裂缝检测方法 |
| CN114693615A (zh) * | 2022-03-17 | 2022-07-01 | 常州工学院 | 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法 |
| CN114705689A (zh) * | 2022-04-14 | 2022-07-05 | 西安建筑科技大学 | 一种基于无人机的建筑物外立面裂缝检测方法及系统 |
-
2023
- 2023-07-21 CN CN202310899557.2A patent/CN116777898B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364280A (zh) * | 2018-01-03 | 2018-08-03 | 东南大学 | 结构裂缝自动化描绘及宽度精准测量方法与设备 |
| CN112330593A (zh) * | 2020-10-10 | 2021-02-05 | 南京理工大学 | 基于深度学习网络的建筑物表面裂缝检测方法 |
| CN114693615A (zh) * | 2022-03-17 | 2022-07-01 | 常州工学院 | 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法 |
| CN114705689A (zh) * | 2022-04-14 | 2022-07-05 | 西安建筑科技大学 | 一种基于无人机的建筑物外立面裂缝检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116777898A (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116777898B (zh) | 基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法 | |
| CN109635806B (zh) | 基于残差网络的电表数值识别方法 | |
| CN108460764A (zh) | 基于自动上下文和数据增强的超声图像智能分割方法 | |
| Wan et al. | Ceramic tile surface defect detection based on deep learning | |
| Hoang | Image processing‐based spall object detection using Gabor filter, texture analysis, and adaptive moment estimation (Adam) optimized logistic regression models | |
| CN113449784B (zh) | 基于先验属性图谱的图像多分类方法、装置、设备及介质 | |
| CN104318559A (zh) | 用于视频图像匹配的特征点快速检测方法 | |
| CN116630802A (zh) | 一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法 | |
| CN116664846B (zh) | 基于语义分割实现3d打印桥面施工质量监测方法及系统 | |
| CN113487538A (zh) | 一种多目标分割缺陷检测方法、装置及其计算机存储介质 | |
| CN117036715A (zh) | 一种基于卷积神经网络的形变区边界自动提取方法 | |
| CN113469938A (zh) | 基于嵌入式前端处理服务器的管廊视频分析方法及系统 | |
| CN117456356A (zh) | 一种基于深度学习的城市内涝视频识别预警方法 | |
| CN117011280A (zh) | 基于点云分割的3d打印混凝土墙质量监测方法及系统 | |
| Vijayan et al. | A survey on surface crack detection in concretes using traditional, image processing, machine learning, and deep learning techniques | |
| Skilton et al. | Combining object detection with generative adversarial networks for in-component anomaly detection | |
| Wang et al. | Rust defect detection and segmentation method for tower crane | |
| Kee et al. | Cracks identification using mask region-based denoised deformable convolutional network | |
| CN113313678A (zh) | 一种基于多尺度特征融合的精子形态学自动分析方法 | |
| Gizatullin et al. | Automatic car license plate detection based on the image weight model | |
| Pumpong et al. | Building detection in airports through remote sensing image using YOLOv3 with Jet Saliency map | |
| CN114882298B (zh) | 一种对抗互补学习模型的优化方法及装置 | |
| CN116071825B (zh) | 一种动作行为识别方法、系统、电子设备及存储介质 | |
| Ren et al. | A Novel Detection Method for Three Date Marks of Industrial Product based on Machine Vision | |
| Chen et al. | The reading recognition algorithm of pointer meter in unmanned pumping station based on YOLOv5 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |