CN115330754A - 玻璃瓶口缺陷检测方法、装置、设备及存储介质 - Google Patents
玻璃瓶口缺陷检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115330754A CN115330754A CN202211234402.9A CN202211234402A CN115330754A CN 115330754 A CN115330754 A CN 115330754A CN 202211234402 A CN202211234402 A CN 202211234402A CN 115330754 A CN115330754 A CN 115330754A
- Authority
- CN
- China
- Prior art keywords
- glass bottle
- defect
- attention
- detection
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明公开了一种玻璃瓶口缺陷检测方法、装置、设备及存储介质，所述方法通过根据多尺度多注意力卷积神经网络MSMA‑CNN模块构建检测模型；通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果；根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置，能够基于多尺度多注意力卷积神经网络进行玻璃瓶口缺陷检测，大幅度提高了检测模型的性能，缩短了玻璃瓶口缺陷检测的耗费时间，提高了玻璃瓶口缺陷检测的速度和效率，提升了玻璃瓶口缺陷的准确率。
Description
技术领域
本发明涉及表面缺陷检测技术领域，尤其涉及一种玻璃瓶口缺陷检测方法、装置、设备及存储介质。
背景技术
玻璃瓶，作为常用的一种器皿在生产中得到广泛的应用，由于玻璃的特殊材质常常会出现各种问题，例如裂纹、裂缝、缺口等，玻璃瓶口缺陷的检测是实现生产高质量产品的关键步骤，提高瓶口缺陷的检测效率一直都是缺陷检测领域中的重中之重，因此，国内外对玻璃瓶口缺陷检测的效果都十分重视，然而，人工检测玻璃瓶口缺陷耗费时间长、检测速度慢、效率低下，并常受到主观因素的影响导致检测准确率低。
发明内容
本发明的主要目的在于提供一种玻璃瓶口缺陷检测方法、装置、设备及存储介质，旨在解决现有技术中玻璃瓶缺陷检测依靠人工检测，耗费时间长，检测速度慢，检测效率低下，并常受到主观因素的影响导致检测准确率低的技术问题。
第一方面，本发明提供一种玻璃瓶口缺陷检测方法，所述玻璃瓶口缺陷检测方法包括以下步骤：
根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型；
通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果；
根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置。
可选地，所述根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型，包括：
从多尺度多注意力卷积神经网络MSMA-CNN模块中获得特征提取单元、MSMA单元、特征融合单元和基于注意力引导的数据增强单元；
根据所述特征提取单元、所述MSMA单元、所述特征融合单元和所述数据增强单元构建检测模型。
可选地，所述通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果，包括：
将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述检测模型的特征提取单元，获得图片特征图；
将所述图片特征图输入至所述检测模块的MSMA单元，获得初始注意力图；
将所述注意力图进行图像融合，并将融合结果输入至所述检测模型的数据增强模块，获得数据增强后的图像；
将数据增强后的图像与所述玻璃瓶口缺陷图像一起输入至所述检测模型的特征提取单元和所述MSMA单元，获得目标特征图和目标注意力图；
将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，获得融合特征，将所述融合特征作为缺陷图像检测结果。
可选地，所述将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述检测模型的特征提取单元，获得图片特征图，包括：
根据改进的Inception V3网络生成所述检测模型的特征提取单元；
将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述特征提取单元，获得不同尺度的第一特征图和第二特征图；
通过空间金字塔池SPP模块执行预设卷积核对所述第二特征图进行池化处理，获得第三特征图。
可选地，所述将所述图片特征图输入至所述检测模块的MSMA单元，获得初始注意力图，包括：
将所述图片特征图输入至所述检测模块的MSMA单元中的PANet模块，根据所述PANet模块中自底向上和自顶向下两条路径对所述图片特征图的表征能力进行增强，获得初始特征图；
将所述初始特征图输入至所述MSMA单元中的多注意力模块，根据所述多注意力模块的空间注意力机制、通道注意力机制及混合注意力机制生成对应的注意力图。
可选地，所述将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，获得融合特征，将所述融合特征作为缺陷图像检测结果，包括：
将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，根据所述特征融合单元将所述初始注意力图、所述目标特征图和所述目标注意力进行元素级相乘，获得融合特征，将所述融合特征作为缺陷图像检测结果。
可选地，所述根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置，包括：
根据所述缺陷图像检测结果确定待检测玻璃瓶的瓶口缺陷区域图像；
对所述瓶口缺陷区域图像进行空间定位，获得玻璃瓶口缺陷位置。
第二方面，为实现上述目的，本发明还提出一种玻璃瓶口缺陷检测装置，所述玻璃瓶口缺陷检测装置包括：
模型构建模块，用于根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型；
检测模块，用于通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果；
缺陷确定模块，用于根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置。
第三方面，为实现上述目的，本发明还提出一种玻璃瓶口缺陷检测设备，所述玻璃瓶口缺陷检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的玻璃瓶口缺陷检测程序，所述玻璃瓶口缺陷检测程序配置为实现如上文所述的玻璃瓶口缺陷检测方法的步骤。
第四方面，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有玻璃瓶口缺陷检测程序，所述玻璃瓶口缺陷检测程序被处理器执行时实现如上文所述的玻璃瓶口缺陷检测方法的步骤。
本发明提出的玻璃瓶口缺陷检测方法，通过根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型；通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果；根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置，能够基于多尺度多注意力卷积神经网络进行玻璃瓶口缺陷检测，大幅度提高了检测模型的性能，缩短了玻璃瓶口缺陷检测的耗费时间，提高了玻璃瓶口缺陷检测的速度和效率，提升了玻璃瓶口缺陷的准确率。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明玻璃瓶口缺陷检测方法第一实施例的流程示意图；
图3为本发明玻璃瓶口缺陷检测方法第二实施例的流程示意图；
图4为本发明玻璃瓶口缺陷检测方法第三实施例的流程示意图；
图5为本发明玻璃瓶口缺陷检测方法第四实施例的流程示意图；
图6为本发明玻璃瓶口缺陷检测方法第五实施例的流程示意图；
图7为本发明玻璃瓶口缺陷检测方法第六实施例的流程示意图；
图8为本发明玻璃瓶口缺陷检测装置第一实施例的功能模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的解决方案主要是：通过根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型；通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果；根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置，能够基于多尺度多注意力卷积神经网络进行玻璃瓶口缺陷检测，大幅度提高了检测模型的性能，缩短了玻璃瓶口缺陷检测的耗费时间，提高了玻璃瓶口缺陷检测的速度和效率，提升了玻璃瓶口缺陷的准确率，解决了现有技术中玻璃瓶缺陷检测依靠人工检测，耗费时间长，检测速度慢，检测效率低下，并常受到主观因素的影响导致检测准确率低的技术问题。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图1所示，该设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如Wi-Fi接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（Non-Volatile Memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对该设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作装置、网络通信模块、用户接口模块以及玻璃瓶口缺陷检测程序。
本发明设备通过处理器1001调用存储器1005中存储的玻璃瓶口缺陷检测程序，并执行以下操作：
根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型；
通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果；
根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置。
本发明设备通过处理器1001调用存储器1005中存储的玻璃瓶口缺陷检测程序，还执行以下操作：
从多尺度多注意力卷积神经网络MSMA-CNN模块中获得特征提取单元、MSMA单元、特征融合单元和基于注意力引导的数据增强单元；
根据所述特征提取单元、所述MSMA单元、所述特征融合单元和所述数据增强单元构建检测模型。
本发明设备通过处理器1001调用存储器1005中存储的玻璃瓶口缺陷检测程序，还执行以下操作：
将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述检测模型的特征提取单元，获得图片特征图；
将所述图片特征图输入至所述检测模块的MSMA单元，获得初始注意力图；
将所述注意力图进行图像融合，并将融合结果输入至所述检测模型的数据增强模块，获得数据增强后的图像；
将数据增强后的图像与所述玻璃瓶口缺陷图像一起输入至所述检测模型的特征提取单元和所述MSMA单元，获得目标特征图和目标注意力图；
将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，获得融合特征，将所述融合特征作为缺陷图像检测结果。
本发明设备通过处理器1001调用存储器1005中存储的玻璃瓶口缺陷检测程序，还执行以下操作：
根据改进的Inception V3网络生成所述检测模型的特征提取单元；
将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述特征提取单元，获得不同尺度的第一特征图和第二特征图；
通过空间金字塔池SPP模块执行预设卷积核对所述第二特征图进行池化处理，获得第三特征图。
本发明设备通过处理器1001调用存储器1005中存储的玻璃瓶口缺陷检测程序，还执行以下操作：
将所述图片特征图输入至所述检测模块的MSMA单元中的PANet模块，根据所述PANet模块中自底向上和自顶向下两条路径对所述图片特征图的表征能力进行增强，获得初始特征图；
将所述初始特征图输入至所述MSMA单元中的多注意力模块，根据所述多注意力模块的空间注意力机制、通道注意力机制及混合注意力机制生成对应的注意力图。
本发明设备通过处理器1001调用存储器1005中存储的玻璃瓶口缺陷检测程序，还执行以下操作：
将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，根据所述特征融合单元将所述初始注意力图、所述目标特征图和所述目标注意力进行元素级相乘，获得融合特征，将所述融合特征作为缺陷图像检测结果。
本发明设备通过处理器1001调用存储器1005中存储的玻璃瓶口缺陷检测程序，还执行以下操作：
根据所述缺陷图像检测结果确定待检测玻璃瓶的瓶口缺陷区域图像；
对所述瓶口缺陷区域图像进行空间定位，获得玻璃瓶口缺陷位置。
本实施例通过上述方案，通过根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型；通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果；根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置，能够基于多尺度多注意力卷积神经网络进行玻璃瓶口缺陷检测，大幅度提高了检测模型的性能，缩短了玻璃瓶口缺陷检测的耗费时间，提高了玻璃瓶口缺陷检测的速度和效率，提升了玻璃瓶口缺陷的准确率。
基于上述硬件结构，提出本发明玻璃瓶口缺陷检测方法实施例。
参照图2，图2为本发明玻璃瓶口缺陷检测方法第一实施例的流程示意图。
在第一实施例中，所述玻璃瓶口缺陷检测方法包括以下步骤：
步骤S10、根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型。
需要说明的是，根据多尺度多注意力卷积神经网络（Multiscale MultipleAttention Convolutional Neural Network，MSMA-CNN）模块可以构建用于玻璃瓶口缺陷检测的检测模型。
步骤S20、通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果。
可以理解的是，通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得玻璃瓶口图像检测后生成的缺陷图像检测结果。
步骤S30、根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置。
应当理解的是，通过对所述缺陷图像检测结果进行分析，可以进一步确定玻璃瓶口缺陷位置。
进一步的，所述步骤S30具体包括以下步骤：
根据所述缺陷图像检测结果确定待检测玻璃瓶的瓶口缺陷区域图像；
对所述瓶口缺陷区域图像进行空间定位，获得玻璃瓶口缺陷位置。
可以理解的是，通过所述缺陷图像检测结果可以确定待检测玻璃瓶的瓶口缺陷区域图像，从而可以对所述瓶口缺陷区域图像进行空间定位，从而获得玻璃瓶口缺陷位置。
本实施例通过上述方案，通过根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型；通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果；根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置，能够基于多尺度多注意力卷积神经网络进行玻璃瓶口缺陷检测，大幅度提高了检测模型的性能，缩短了玻璃瓶口缺陷检测的耗费时间，提高了玻璃瓶口缺陷检测的速度和效率，提升了玻璃瓶口缺陷的准确率。
进一步地，图3为本发明玻璃瓶口缺陷检测方法第二实施例的流程示意图，如图3所示，基于第一实施例提出本发明玻璃瓶口缺陷检测方法第二实施例，在本实施例中，所述步骤S10，具体包括以下步骤：
步骤S11、从多尺度多注意力卷积神经网络MSMA-CNN模块中获得特征提取单元、MSMA单元、特征融合单元和基于注意力引导的数据增强单元。
需要说明的是，多尺度多注意力卷积神经网络MSMA-CNN模块包括特征提取单元、多尺度多注意力（Multiscale Multiple ，MSMA）单元、特征融合单元和基于注意力引导的数据增强单元。
步骤S12、根据所述特征提取单元、所述MSMA单元、所述特征融合单元和所述数据增强单元构建检测模型。
可以理解的是，通过所述特征提取单元、所述MSMA单元、所述特征融合单元和所述数据增强单元可以构建检测模型。
本实施例通过上述方案，通过从多尺度多注意力卷积神经网络MSMA-CNN模块中获得特征提取单元、MSMA单元、特征融合单元和基于注意力引导的数据增强单元；根据所述特征提取单元、所述MSMA单元、所述特征融合单元和所述数据增强单元构建检测模型；能够基于多尺度多注意力卷积神经网络进行玻璃瓶口缺陷检测，提升了玻璃瓶口缺陷检测的速度和效率。
进一步地，图4为本发明玻璃瓶口缺陷检测方法第三实施例的流程示意图，如图4所示，基于第一实施例提出本发明玻璃瓶口缺陷检测方法第三实施例，在本实施例中，所述步骤S20具体包括以下步骤：
步骤S21、将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述检测模型的特征提取单元，获得图片特征图。
需要说明的是，将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述检测模型的特征提取单元，能够通过所述特征提取单元将所述玻璃瓶口缺陷进行特征提取，从而获得图片特征图。
步骤S22、将所述图片特征图输入至所述检测模块的MSMA单元，获得初始注意力图。
可以理解的是，将所述图片特征图输入至所述检测模块的MSMA单元，可以获得相应的注意力图，即初始注意力图。
步骤S23、将所述注意力图进行图像融合，并将融合结果输入至所述检测模型的数据增强模块，获得数据增强后的图像。
应当理解的是，将所述注意力图进行图像融合，可以将融合结果输入至数据增强模块，从而获得数据增强后的图像，即为将注意力图进行融合输入至基于注意力引导的数据增强模块，得到数据增强后的图像。
步骤S24、将数据增强后的图像与所述玻璃瓶口缺陷图像一起输入至所述检测模型的特征提取单元和所述MSMA单元，获得目标特征图和目标注意力图。
可以理解的是，将数据增强后的图像与所述玻璃瓶口缺陷图像一起输入至所述检测模型的特征提取单元和所述MSMA单元，可以提取其特征图与注意力图。
步骤S25、将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，获得融合特征，将所述融合特征作为缺陷图像检测结果。
应当理解的是，将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，获得融合特征，将所述融合特征作为缺陷图像检测结果，即为将注意力图与特征图输入特征融合单元得到融合后的特征，即为最终的玻璃瓶口缺陷检测图像。
本实施例通过上述方案，通过将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述检测模型的特征提取单元，获得图片特征图；将所述图片特征图输入至所述检测模块的MSMA单元，获得初始注意力图；将所述注意力图进行图像融合，并将融合结果输入至所述检测模型的数据增强模块，获得数据增强后的图像；将数据增强后的图像与所述玻璃瓶口缺陷图像一起输入至所述检测模型的特征提取单元和所述MSMA单元，获得目标特征图和目标注意力图；将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，获得融合特征，将所述融合特征作为缺陷图像检测结果，能够基于多尺度多注意力卷积神经网络进行玻璃瓶口缺陷检测，大幅度提高了检测模型的性能，提高了玻璃瓶口缺陷检测的速度和效率。
进一步地，图5为本发明玻璃瓶口缺陷检测方法第四实施例的流程示意图，如图5所示，基于第三实施例提出本发明玻璃瓶口缺陷检测方法第四实施例，在本实施例中，所述步骤S21具体包括以下步骤：
步骤S211、根据改进的Inception V3网络生成所述检测模型的特征提取单元。
需要说明的是，使用基于改进的Inception V3网络作为特征提取单元。
步骤S212、将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述特征提取单元，获得不同尺度的第一特征图和第二特征图。
应当理解的是，将玻璃瓶口缺陷图像样本发送到改进的开端Inception V3网络中，提取出Feature Map 1，Feature Map 2(简称F1，F2)两个不同尺度的特征图。
步骤S213、通过空间金字塔池SPP模块执行预设卷积核对所述第二特征图进行池化处理，获得第三特征图。
可以理解的是，通过空间金字塔池（Spatial Pyramid Pooling，SPP）对F2进行处理，得到Feature Map 3(F3)第三个尺度的特征图。
在具体实现中，可以使用SPP模块来对第二个尺度的特征图F2进行处理，执行卷积核大小为(5，9，13)进行最大池化，输出特征图F3。
本实施例通过上述方案，通过根据改进的Inception V3网络生成所述检测模型的特征提取单元；将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述特征提取单元，获得不同尺度的第一特征图和第二特征图；通过空间金字塔池SPP模块执行预设卷积核对所述第二特征图进行池化处理，获得第三特征图，能够基于多尺度多注意力卷积神经网络进行玻璃瓶口缺陷检测，大幅度提高了检测模型的性能，提高了玻璃瓶口缺陷检测的速度和效率。
进一步地，图6为本发明玻璃瓶口缺陷检测方法第五实施例的流程示意图，如图6所示，基于第三实施例提出本发明玻璃瓶口缺陷检测方法第五实施例，在本实施例中，所述步骤S22具体包括以下步骤：
步骤S221、将所述图片特征图输入至所述检测模块的MSMA单元中的PANet模块，根据所述PANet模块中自底向上和自顶向下两条路径对所述图片特征图的表征能力进行增强，获得初始特征图。
需要说明的是，MSMA单元包括路径聚合网络（Path Aggregation Network，PANet）模块和多注意力模块，将所述图片特征图输入至所述检测模块的MSMA单元中的PANet模块，通过所述PANet模块的两条路径，可以对所述图片特征图的表征能力进行增强，获得初始特征图。
在具体实现中，将F1，F2和F3三种不同尺度特征图送入PANet模块，采用自底向上和自顶向下两条路径的方式增强特征图的表征能力，得到新的特征图P1，P2和P3。
步骤S222、将所述初始特征图输入至所述MSMA单元中的多注意力模块，根据所述多注意力模块的空间注意力机制、通道注意力机制及混合注意力机制生成对应的注意力图。
应当理解的是，将所述初始特征图输入至所述MSMA单元中的多注意力模块，根据所述多注意力模块的多个注意力机制生成对应的注意力图。
在具体实现中，多注意力模块由空间注意力机制（Spatial TransformerNetwork，STN）、通道注意力机制（Squeeze-and-Excitation Networks，SENet）以及混合注意力机制（Convolutional Block Attention Module，CBAM），即卷积块注意模块组成，将特征图P1，P2和P3输入多注意力模块，采用不同种类的注意力机制，生成A1，A2和A3三种不同的注意力图；进而将三种不同的注意力图进行融合，得到融合后的注意力图A。
本实施例通过上述方案，通过将所述图片特征图输入至所述检测模块的MSMA单元中的PANet模块，根据所述PANet模块中自底向上和自顶向下两条路径对所述图片特征图的表征能力进行增强，获得初始特征图；将所述初始特征图输入至所述MSMA单元中的多注意力模块，根据所述多注意力模块的空间注意力机制、通道注意力机制及混合注意力机制生成对应的注意力图，能够获得注意力图，基于多尺度多注意力卷积神经网络进行玻璃瓶口缺陷检测，大幅度提高了检测模型的性能，提高了玻璃瓶口缺陷检测的速度和效率。
进一步地，图7为本发明玻璃瓶口缺陷检测方法第六实施例的流程示意图，如图7所示，基于第三实施例提出本发明玻璃瓶口缺陷检测方法第六实施例，在本实施例中，所述步骤S25具体包括以下步骤：
步骤S251、将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，根据所述特征融合单元将所述初始注意力图、所述目标特征图和所述目标注意力进行元素级相乘，获得融合特征，将所述融合特征作为缺陷图像检测结果。
需要说明的是，将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，特性融合单元可以采用双线性注意力池化机制（Bilinear Attention Pooling，BAP）进行双线性融合，具体的过程为将图片的特征图和注意力图进行元素级相乘，以增强图像的特征，从而提高分类准确性。
本实施例通过上述方案，通过将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，根据所述特征融合单元将所述初始注意力图、所述目标特征图和所述目标注意力进行元素级相乘，获得融合特征，将所述融合特征作为缺陷图像检测结果，能够利用注意力引导的数据增强来增加训练数据的有效性，从而获得更好的玻璃瓶口缺陷检测性能，提高了玻璃瓶口缺陷图像的检测精度。
相应地，本发明进一步提供一种玻璃瓶口缺陷检测装置。
参照图8，图8为本发明玻璃瓶口缺陷检测装置第一实施例的功能模块图。
本发明玻璃瓶口缺陷检测装置第一实施例中，该玻璃瓶口缺陷检测装置包括：
模型构建模块10，用于根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型；
检测模块20，用于通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果；
缺陷确定模块30，用于根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置。
所述模型构建模块10，还用于从多尺度多注意力卷积神经网络MSMA-CNN模块中获得特征提取单元、MSMA单元、特征融合单元和基于注意力引导的数据增强单元；根据所述特征提取单元、所述MSMA单元、所述特征融合单元和所述数据增强单元构建检测模型。
所述检测模块20，还用于将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述检测模型的特征提取单元，获得图片特征图；将所述图片特征图输入至所述检测模块的MSMA单元，获得初始注意力图；将所述注意力图进行图像融合，并将融合结果输入至所述检测模型的数据增强模块，获得数据增强后的图像；将数据增强后的图像与所述玻璃瓶口缺陷图像一起输入至所述检测模型的特征提取单元和所述MSMA单元，获得目标特征图和目标注意力图；将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，获得融合特征，将所述融合特征作为缺陷图像检测结果。
所述检测模块20，还用于根据改进的Inception V3网络生成所述检测模型的特征提取单元；将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述特征提取单元，获得不同尺度的第一特征图和第二特征图；通过空间金字塔池SPP模块执行预设卷积核对所述第二特征图进行池化处理，获得第三特征图。
所述检测模块20，还用于将所述图片特征图输入至所述检测模块的MSMA单元中的PANet模块，根据所述PANet模块中自底向上和自顶向下两条路径对所述图片特征图的表征能力进行增强，获得初始特征图；将所述初始特征图输入至所述MSMA单元中的多注意力模块，根据所述多注意力模块的空间注意力机制、通道注意力机制及混合注意力机制生成对应的注意力图。
所述检测模块20，还用于将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，根据所述特征融合单元将所述初始注意力图、所述目标特征图和所述目标注意力进行元素级相乘，获得融合特征，将所述融合特征作为缺陷图像检测结果。
所述缺陷确定模块30，还用于根据所述缺陷图像检测结果确定待检测玻璃瓶的瓶口缺陷区域图像；对所述瓶口缺陷区域图像进行空间定位，获得玻璃瓶口缺陷位置。
其中，玻璃瓶口缺陷检测装置的各个功能模块实现的步骤可参照本发明玻璃瓶口缺陷检测方法的各个实施例，此处不再赘述。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有玻璃瓶口缺陷检测程序，所述玻璃瓶口缺陷检测程序被处理器执行时实现如下操作：
根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型；
通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果；
根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置。
进一步地，所述玻璃瓶口缺陷检测程序被处理器执行时还实现如下操作：
从多尺度多注意力卷积神经网络MSMA-CNN模块中获得特征提取单元、MSMA单元、特征融合单元和基于注意力引导的数据增强单元；
根据所述特征提取单元、所述MSMA单元、所述特征融合单元和所述数据增强单元构建检测模型。
进一步地，所述玻璃瓶口缺陷检测程序被处理器执行时还实现如下操作：
将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述检测模型的特征提取单元，获得图片特征图；
将所述图片特征图输入至所述检测模块的MSMA单元，获得初始注意力图；
将所述注意力图进行图像融合，并将融合结果输入至所述检测模型的数据增强模块，获得数据增强后的图像；
将数据增强后的图像与所述玻璃瓶口缺陷图像一起输入至所述检测模型的特征提取单元和所述MSMA单元，获得目标特征图和目标注意力图；
将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，获得融合特征，将所述融合特征作为缺陷图像检测结果。
进一步地，所述玻璃瓶口缺陷检测程序被处理器执行时还实现如下操作：
根据改进的Inception V3网络生成所述检测模型的特征提取单元；
将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述特征提取单元，获得不同尺度的第一特征图和第二特征图；
通过空间金字塔池SPP模块执行预设卷积核对所述第二特征图进行池化处理，获得第三特征图。
进一步地，所述玻璃瓶口缺陷检测程序被处理器执行时还实现如下操作：
将所述图片特征图输入至所述检测模块的MSMA单元中的PANet模块，根据所述PANet模块中自底向上和自顶向下两条路径对所述图片特征图的表征能力进行增强，获得初始特征图；
将所述初始特征图输入至所述MSMA单元中的多注意力模块，根据所述多注意力模块的空间注意力机制、通道注意力机制及混合注意力机制生成对应的注意力图。
进一步地，所述玻璃瓶口缺陷检测程序被处理器执行时还实现如下操作：
将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，根据所述特征融合单元将所述初始注意力图、所述目标特征图和所述目标注意力进行元素级相乘，获得融合特征，将所述融合特征作为缺陷图像检测结果。
进一步地，所述玻璃瓶口缺陷检测程序被处理器执行时还实现如下操作：
根据所述缺陷图像检测结果确定待检测玻璃瓶的瓶口缺陷区域图像；
对所述瓶口缺陷区域图像进行空间定位，获得玻璃瓶口缺陷位置。
本实施例通过上述方案，通过根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型；通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果；根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置，能够基于多尺度多注意力卷积神经网络进行玻璃瓶口缺陷检测，大幅度提高了检测模型的性能，缩短了玻璃瓶口缺陷检测的耗费时间，提高了玻璃瓶口缺陷检测的速度和效率，提升了玻璃瓶口缺陷的准确率。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种玻璃瓶口缺陷检测方法，其特征在于，所述玻璃瓶口缺陷检测方法包括：
根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型；
通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果；
根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置。
2.如权利要求1所述的玻璃瓶口缺陷检测方法，其特征在于，所述根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型，包括：
从多尺度多注意力卷积神经网络MSMA-CNN模块中获得特征提取单元、MSMA单元、特征融合单元和基于注意力引导的数据增强单元；
根据所述特征提取单元、所述MSMA单元、所述特征融合单元和所述数据增强单元构建检测模型。
3.如权利要求1所述的玻璃瓶口缺陷检测方法，其特征在于，所述通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果，包括：
将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述检测模型的特征提取单元，获得图片特征图；
将所述图片特征图输入至所述检测模块的MSMA单元，获得初始注意力图；
将所述注意力图进行图像融合，并将融合结果输入至所述检测模型的数据增强模块，获得数据增强后的图像；
将数据增强后的图像与所述玻璃瓶口缺陷图像一起输入至所述检测模型的特征提取单元和所述MSMA单元，获得目标特征图和目标注意力图；
将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，获得融合特征，将所述融合特征作为缺陷图像检测结果。
4.如权利要求3所述的玻璃瓶口缺陷检测方法，其特征在于，所述将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述检测模型的特征提取单元，获得图片特征图，包括：
根据改进的Inception V3网络生成所述检测模型的特征提取单元；
将待检测玻璃瓶的玻璃瓶口缺陷图像输入至所述特征提取单元，获得不同尺度的第一特征图和第二特征图；
通过空间金字塔池SPP模块执行预设卷积核对所述第二特征图进行池化处理，获得第三特征图。
5.如权利要求3所述的玻璃瓶口缺陷检测方法，其特征在于，所述将所述图片特征图输入至所述检测模块的MSMA单元，获得初始注意力图，包括：
将所述图片特征图输入至所述检测模块的MSMA单元中的PANet模块，根据所述PANet模块中自底向上和自顶向下两条路径对所述图片特征图的表征能力进行增强，获得初始特征图；
将所述初始特征图输入至所述MSMA单元中的多注意力模块，根据所述多注意力模块的空间注意力机制、通道注意力机制及混合注意力机制生成对应的注意力图。
6.如权利要求3所述的玻璃瓶口缺陷检测方法，其特征在于，所述将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，获得融合特征，将所述融合特征作为缺陷图像检测结果，包括：
将所述初始注意力图、所述目标特征图和所述目标注意力图输入至所述检测模型的特征融合单元，根据所述特征融合单元将所述初始注意力图、所述目标特征图和所述目标注意力进行元素级相乘，获得融合特征，将所述融合特征作为缺陷图像检测结果。
7.如权利要求1所述的玻璃瓶口缺陷检测方法，其特征在于，所述根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置，包括：
根据所述缺陷图像检测结果确定待检测玻璃瓶的瓶口缺陷区域图像；
对所述瓶口缺陷区域图像进行空间定位，获得玻璃瓶口缺陷位置。
8.一种玻璃瓶口缺陷检测装置，其特征在于，所述玻璃瓶口缺陷检测装置包括：
模型构建模块，用于根据多尺度多注意力卷积神经网络MSMA-CNN模块构建检测模型；
检测模块，用于通过所述检测模型对待检测玻璃瓶的玻璃瓶口缺陷图像进行检测，获得缺陷图像检测结果；
缺陷确定模块，用于根据所述缺陷图像检测结果确定玻璃瓶口缺陷位置。
9.一种玻璃瓶口缺陷检测设备，其特征在于，所述玻璃瓶口缺陷检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的玻璃瓶口缺陷检测程序，所述玻璃瓶口缺陷检测程序配置为实现如权利要求1至7中任一项所述的玻璃瓶口缺陷检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有玻璃瓶口缺陷检测程序，所述玻璃瓶口缺陷检测程序被处理器执行时实现如权利要求1至7中任一项所述的玻璃瓶口缺陷检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211234402.9A CN115330754B (zh) | 2022-10-10 | 2022-10-10 | 玻璃瓶口缺陷检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211234402.9A CN115330754B (zh) | 2022-10-10 | 2022-10-10 | 玻璃瓶口缺陷检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115330754A true CN115330754A (zh) | 2022-11-11 |
| CN115330754B CN115330754B (zh) | 2022-12-23 |
Family
ID=83913529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211234402.9A Active CN115330754B (zh) | 2022-10-10 | 2022-10-10 | 玻璃瓶口缺陷检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115330754B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
| CN112085735A (zh) * | 2020-09-28 | 2020-12-15 | 西安交通大学 | 一种基于自适应锚框的铝材质图像缺陷检测方法 |
| CN113112456A (zh) * | 2021-03-25 | 2021-07-13 | 湖南工业大学 | 一种基于目标检测算法的浓稠食品灌装成品缺陷检测方法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| CN114092820A (zh) * | 2022-01-20 | 2022-02-25 | 城云科技（中国）有限公司 | 目标检测方法及应用其的移动目标跟踪方法 |
| CN114170230A (zh) * | 2022-02-14 | 2022-03-11 | 清华大学 | 基于可变形卷积与特征融合的玻璃缺陷检测方法与装置 |
| CN114529516A (zh) * | 2022-01-17 | 2022-05-24 | 重庆邮电大学 | 基于多注意力与多任务特征融合的肺结节检测与分类方法 |
| CN114565860A (zh) * | 2022-03-01 | 2022-05-31 | 安徽大学 | 一种多维度增强学习合成孔径雷达图像目标检测方法 |
-
2022
- 2022-10-10 CN CN202211234402.9A patent/CN115330754B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| CN112085735A (zh) * | 2020-09-28 | 2020-12-15 | 西安交通大学 | 一种基于自适应锚框的铝材质图像缺陷检测方法 |
| CN113112456A (zh) * | 2021-03-25 | 2021-07-13 | 湖南工业大学 | 一种基于目标检测算法的浓稠食品灌装成品缺陷检测方法 |
| CN114529516A (zh) * | 2022-01-17 | 2022-05-24 | 重庆邮电大学 | 基于多注意力与多任务特征融合的肺结节检测与分类方法 |
| CN114092820A (zh) * | 2022-01-20 | 2022-02-25 | 城云科技（中国）有限公司 | 目标检测方法及应用其的移动目标跟踪方法 |
| CN114170230A (zh) * | 2022-02-14 | 2022-03-11 | 清华大学 | 基于可变形卷积与特征融合的玻璃缺陷检测方法与装置 |
| CN114565860A (zh) * | 2022-03-01 | 2022-05-31 | 安徽大学 | 一种多维度增强学习合成孔径雷达图像目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| HONGBO BI 等: "Multi-Scale Attention and Encoder-Decoder Network for Video Saliency Object Detection", 《ACM PORTAL》 * |
| 何凯 等: "基于多尺度特征融合与反复注意力机制的细粒度图像分类算法", 《天津大学学报(自然科学与工程技术版)》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115330754B (zh) | 2022-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108009591B (zh) | 一种基于深度学习的接触网关键部件识别方法 | |
| US11176650B2 (en) | Data generation apparatus, data generation method, and data generation program | |
| CN110910343A (zh) | 路面裂缝检测的方法、装置及计算机设备 | |
| WO2018099194A1 (zh) | 一种字符识别方法及装置 | |
| JP2018005640A (ja) | 分類器生成装置、画像検査装置、及び、プログラム | |
| JP2018005639A (ja) | 画像分類装置、画像検査装置、及び、プログラム | |
| JP2012202989A (ja) | 試験紙読み取り分析システムおよび方法 | |
| CN108491866B (zh) | 色情图片鉴定方法、电子装置及可读存储介质 | |
| CN106202086B (zh) | 一种图片处理、获取方法、装置及系统 | |
| CN114862845B (zh) | 手机触摸屏的缺陷检测方法、装置、设备及存储介质 | |
| CN114170227B (zh) | 产品表面缺陷检测方法、装置、设备及存储介质 | |
| JP5939023B2 (ja) | コンピュータプログラム及び画像抽出装置 | |
| CN113298078A (zh) | 设备屏幕碎裂检测模型训练方法及设备屏幕碎裂检测方法 | |
| CN112308069A (zh) | 一种软件界面的点击测试方法、装置、设备及存储介质 | |
| CN111027545A (zh) | 卡证图片标志检测方法、装置、计算机设备及存储介质 | |
| CN115330754B (zh) | 玻璃瓶口缺陷检测方法、装置、设备及存储介质 | |
| US10631050B2 (en) | Determining and correlating visual context on a user device with user behavior using digital content on the user device | |
| CN111739587A (zh) | 一种颗粒物监测数据的处理方法、装置、存储介质及终端 | |
| CN115631374A (zh) | 控件操作方法、控件检测模型的训练方法、装置和设备 | |
| CN114463324A (zh) | 基于海森矩阵滤波的岩心图像裂缝识别方法 | |
| CN114299020A (zh) | 一种基于机器视觉的滑板车显示屏缺陷检测方法及其系统 | |
| CN113901947A (zh) | 一种小样本下的轮胎表面瑕疵智能识别方法 | |
| CN113127858A (zh) | 异常检测模型训练方法、异常检测方法及装置 | |
| CN112119425A (zh) | 用于图像控制和颗粒分析仪图像显示的方法和装置 | |
| CN113822901B (zh) | 图像分割方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: No. 05, Floor 4, Building 2, International Enterprise Center, No. 1, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan City, 430000 Hubei Province (Wuhan Area, Free Trade Zone) Patentee after: Chuda intelligent (Wuhan) Technology Research Institute Co.,Ltd. Patentee after: Hubei Chuda Intelligent Equipment Co.,Ltd. Address before: No. 05, Floor 4, Building 2, International Enterprise Center, No. 1, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan City, 430000 Hubei Province (Wuhan Area, Free Trade Zone) Patentee before: Chuda intelligent (Wuhan) Technology Research Institute Co.,Ltd. Patentee before: Hubei Chuda Intelligent Equipment Co.,Ltd. |