CN116908212A - 一种基于特征提取的电芯蓝膜外观缺陷检测方法及系统 - Google Patents
一种基于特征提取的电芯蓝膜外观缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN116908212A CN116908212A CN202311167228.5A CN202311167228A CN116908212A CN 116908212 A CN116908212 A CN 116908212A CN 202311167228 A CN202311167228 A CN 202311167228A CN 116908212 A CN116908212 A CN 116908212A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- light source
- blue film
- cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 149
- 238000001514 detection method Methods 0.000 title claims abstract description 125
- 238000000605 extraction Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 38
- 238000005286 illumination Methods 0.000 claims abstract description 14
- 238000010586 diagram Methods 0.000 claims description 41
- 230000009467 reduction Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 18
- 230000004075 alteration Effects 0.000 claims description 17
- 230000002950 deficient Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000001934 delay Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 11
- 230000009286 beneficial effect Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 9
- 238000004451 qualitative analysis Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 239000004743 Polypropylene Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 239000004642 Polyimide Substances 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000003792 electrolyte Substances 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 229920001721 polyimide Polymers 0.000 description 1
- -1 polypropylene Polymers 0.000 description 1
- 229920001155 polypropylene Polymers 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analytical Chemistry (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供了一种基于特征提取的电芯蓝膜外观缺陷检测方法及系统，方法包含：确认待检测电芯蓝膜的位置，光源布设模块在位置的八个朝向的角度布设光源，光源为待检测电芯蓝膜提供光照；图像采集模块在控制线扫和闪光的时间序列的控制下，通过横向亮光时序交错扫描待检测电芯蓝膜，获取8张不同光源方向的图像；缺陷检测模块按照图像明暗程度将每张图像拆分成8张不同光路图，对每张光路图处理，通过图像增强对特征图像进行图像融合，对融合后的特征图像进行缺陷检测，电芯蓝膜外观缺陷检测模型输出一个判断结果，指示融合后的特征图像是否存在外观缺陷；系统包含：光源布设模块、图像采集模块及缺陷检测模块。本发明有效检测电芯蓝膜的质量。
Description
技术领域
本发明涉及电芯外观检测技术领域，特别涉及一种基于特征提取的电芯蓝膜外观缺陷检测方法及系统。
背景技术
电芯蓝膜是指电池制造过程中，对电芯进行包裹和保护的一种薄膜材料。蓝膜通常是由聚丙烯PP或聚酰亚胺PI等材料制成，具有优异的耐热性、绝缘性和化学稳定性。电芯蓝膜的主要作用是保护电芯内部的正负极和电解液，防止外界物质的侵入和电芯内部材料的损耗。蓝膜还可以提高电池的安全性能，防止电池过热、短路和漏液等问题。此外，电芯蓝膜还可以为电芯提供机械支撑和抗挤压能力，防止电芯变形和损坏。同时，蓝膜还可以提供一定的电池外观美观性和标识功能，方便产品的识别和管理。总的来说，电芯蓝膜在电池制造中起到了保护、安全和美观等多重作用，对电池的性能和品质具有重要影响。针对电芯蓝膜外观缺陷的检测技术主要包括人工检查、机器视觉和光学显微镜等方法，但是各种方法存在一定的缺陷，影响了电芯蓝膜的检测精度和效率。
现有技术一，申请号：CN202310224019.3公开了一种电芯蓝膜检测设备，包括机架、转运机构、上料机构、前后面检测机构、中转机构、左右面检测机构、顶面检测机构、转移翻转机构、底面检测机构和下料机构；通过转运机构、上料机构、前后面检测机构、中转机构、左右面检测机构、顶面检测机构、转移翻转机构、底面检测机构和下料机构的全自动拍照检测，虽然大大提高了检测效率，避免由于人工检测视觉疲劳等主观因素而出现误检测、漏检测的情况，大大提高检测准确性；但是对于一些细微的缺陷或者光线条件不理想的情况下，检测的准确性可能会降低。
现有技术二，申请号：CN202310659314.1公开了一种锂电池用蓝膜外观缺陷检测网络及其缺陷检测方法，包括：对锂电池用蓝膜图像进行特征提取，得到多个特征；基于多个特征对神经网络模块进行分析，得到最优网络参数；为神经网络模块配置最优网络参数，并得到多个目标特征；分别对多个目标特征进行单独分析和融合分析，得到单特征向量和融合特征向量；基于单特征向量和融合特征向量，确定外观缺陷检测结果；虽然通过分析得到单特征向量和融合特征向量来确定外观缺陷检测结果，保证对特征分析的全面性，提高缺陷检测的准确度，同时仅使用一种检测网络保证缺陷检测的效率；但是需要高精度的图像采集设备和强大的图像处理算法支持，成本较高；同时，对于不同型号或不同规格的电芯蓝膜，需要进行不同的训练和调试，对系统的可扩展性提出了一定的挑战。
现有技术三，申请号：CN202211160096.9公开了一种电池包蓝膜外观缺陷检测方法及系统，包括基础信息管理模块、检测模型部署模块、图像采集模块、缺陷检测模块、质量监测模块和模型监控模块，基础信息管理模块是质检管理员对基础信息进行设置的模块，图像采集模块由2.5D相机、镜头、2.5D相机专用LED光源以及智能控制器组成，检测模型部署模块是模型管理员对AI检测模型进行部署的模块，缺陷检测模块包括质量检测模型模块和质量监测标准模块，用于对图像采集模块所获取到的图像进行检测，质量监测模块用于根据监控规则对产品质量进行监控，模型监控模块用于实时监控模型运行状况。虽然能够提升缺陷检测的准确性，消除电池的安全隐患，但是检测效率较低，导致细微的缺陷不能被发现。
目前现有技术一、现有技术二和现有技术三存在电芯蓝膜外观缺陷检测效率较低，准确性不高的问题，导致电池的质量不佳，因而，本发明提供一种基于特征提取的电芯蓝膜外观缺陷检测方法及系统，采用线扫结合分时送闪控制的方式完成图像采集，按光源明暗排序拆分图像，结合光度立体和偏折法；按缺陷效果做图像融合，通过图像增强去体现缺陷效果。
发明内容
为了解决上述技术问题，本发明提供了一种基于特征提取的电芯蓝膜外观缺陷检测方法，包含以下步骤：
确认待检测电芯蓝膜的位置，光源布设模块在位置的八个朝向的角度布设光源，光源为待检测电芯蓝膜提供光照；
图像采集模块在控制线扫和闪光的时间序列的控制下，通过横向亮光时序交错扫描待检测电芯蓝膜，获取8张不同光源方向的图像；
缺陷检测模块按照图像明暗程度将每张图像拆分成8张不同光路图，对每张光路图进行处理，通过图像增强对图像进行图像融合，对融合后的图像进行缺陷检测，电芯蓝膜外观缺陷检测模型输出一个判断结果，指示融合后的图像是否存在外观缺陷。
可选的，光源布设模块在位置的八个朝向的角度布设光源的过程，包含以下步骤：
八个光源构成一个光源阵列，按照待检测电芯蓝膜的八个朝向将光源布设成凹的图形；
将预设的伪随机噪声发射序列作为八个光源发射序列，按照八个朝向布设规律设定相邻光源序列延迟，图像采集模块对八个光源的光斑像素点进行统计，有光斑像素点光源则为亮，没有光斑像素点光源则为不亮，获得八个光源的发射序列；
根据图像采集模块采集的八个光源在待检测电芯蓝膜对应位置的亮度值，将亮度值与预设对应八个朝向的亮度阈值进行比对，亮度值没有达到亮度阈值则发出报警，对光源的亮度值进行调整，直至达到亮度阈值。
可选的，通过横向亮光时序交错扫描待检测电芯蓝膜的过程，包含以下步骤：
根据以偶数编序的偶数行识别指令，及以奇数编序的奇数行识别指令，偶数行识别指令优先级高于奇数行识别指令；基于偶数行识别指令和奇数行识别指令将图像分为偶数行和奇数行两组；
启动扫描指令对分组的图像进行扫描，扫描指令包含从上到下及从左到右的交错扫描方式，输出扫描后的8张不同光源方向的图像；
按照图像朝向的不同对8张不同光源方向的图像进行分类存储，得到包含图像朝向标注的不同光源方向的图像。
可选的，偶数行识别指令和奇数行识别指令的执行过程，包含以下步骤：
偶数行识别指令和奇数行识别指令被配置为图像分组的指示，根据指示将偶数行识别指令和奇数行识别指令发送至图像采集模块，进行偶数行和奇数行的分组；
设置至少两个分组处理器，分组处理器的数量为偶数，每一组分组处理器中均搭载有偶数行识别指令和奇数行识别指令，其中一组处理器先执行从上到下的扫描方式，再执行从左到右的扫描方式，另外一组处理器先执行从左到右的扫描方式，再执行从上到下的扫描方式；
将不同分组处理器的扫描结果进行合并组成偶数行图像和奇数行图像，再将待检测电芯蓝膜的偶数行图像和奇数行图像进行合并，输出扫描后的8张不同光源方向的图像。
可选的，偶数行图像和奇数行图像进行合并的过程，包含以下步骤：
将偶数行图像和奇数行图像中包含的偶数编序和奇数编序，作为偶数行图像和奇数行图像的图像集合的属性，确定偶数行图像和奇数行图像的图像集合的维度以及维度对应的维度数据；
根据属性确定偶数行图像和奇数行图像合并的组合执行标识，由维度获取偶数行图像或奇数行图像的数量，通过维度数据获取偶数行图像或奇数行图像的像素值；
将偶数行图像及奇数行图像以预设方式组合成带有执行标识的目标图像，组合完毕后，使用偶数编序和奇数编序作为目标图像的标识，得到扫描后的8张不同光源方向的图像。
可选的，通过图像增强对图像进行图像融合的过程，包含以下步骤：
缺陷检测模块采集8张不同光源方向的图像的噪声分量，拼接构成噪声声场片段，将噪声声场片段经过生成器传播得到噪声声场特征，根据噪声声场特征中各特征频点所分别对应的分量比例，以及特征频点所对应的持续时间，产生分别对应噪声分量的驱动信号，驱动报警器输出降噪声波，得到降噪后的8张不同光源方向的图像；
按照预设程序对8张不同光源方向的图像进行图像明暗程度的判断，得到不同图像的明暗渐次变化值，按照明暗渐次变化值的不同将每张图像拆分成8张不同光路图；
利用图像增强模型对8张不同光路图进行图像融合，得到融合后的光路图。
可选的，电芯蓝膜外观缺陷检测模型输出一个判断结果的过程，包含以下步骤：
电芯蓝膜外观缺陷检测模型输入端接收融合后的图像，使用卷积神经网络算法对融合后的图像进行特征提取，得到融合后的图像的关键特征；
将关键特征输入至分类器中，通过电芯蓝膜外观缺陷检测模型对关键特征进行分类；
判断融合后的图像是否存在划痕、污渍、气泡、斑点、波纹、毛边或色差，若存在其中的任意一种，则电芯蓝膜外观存在缺陷。
本发明提供的一种基于特征提取的电芯蓝膜外观缺陷检测系统，包含：
光源布设模块，负责确认待检测电芯蓝膜的位置，在位置的八个朝向的角度布设光源，光源为待检测电芯蓝膜提供光照；
图像采集模块，负责在控制线扫和闪光的时间序列的控制下，通过横向亮光时序交错扫描待检测电芯蓝膜，获取8张不同光源方向的图像；
缺陷检测模块，负责按照图像明暗程度将每张图像拆分成8张不同光路图，对每张光路图进行处理，通过图像增强对图像进行图像融合，对融合后的图像进行缺陷检测，电芯蓝膜外观缺陷检测模型输出一个判断结果，指示融合后的图像是否存在外观缺陷。
可选的，图像采集模块，包含：
执行识别子模块，负责根据以偶数编序的偶数行识别指令，及以奇数编序的奇数行识别指令，偶数行识别指令优先级高于奇数行识别指令；基于偶数行识别指令和奇数行识别指令将图像分为偶数行和奇数行两组；
图像扫描子模块，负责启动扫描指令对分组的图像进行扫描，扫描指令包含从上到下及从左到右的交错扫描方式，输出扫描后的8张不同光源方向的图像；
图像标注子模块，负责按照图像朝向的不同对8张不同光源方向的图像进行分类存储，得到包含图像朝向标注的不同光源方向的图像。
可选的，缺陷检测模块，包含：
图像降噪子模块，负责采集8张不同光源方向的图像的噪声分量，拼接构成噪声声场片段，将噪声声场片段经过生成器传播得到噪声声场特征，根据噪声声场特征中各特征频点所分别对应的分量比例，以及特征频点所对应的持续时间，产生分别对应噪声分量的驱动信号，驱动报警器输出降噪声波，得到降噪后的8张不同光源方向的图像；
图像融合子模块，负责按照预设程序对8张不同光源方向的图像进行图像明暗程度的判断，得到不同图像的明暗渐次变化值，按照明暗渐次变化值的不同将每张图像拆分成8张不同光路图；利用图像增强模型对8张不同光路图进行图像融合，得到融合后的光路图；
模型检测子模块，负责电芯蓝膜外观缺陷检测模型输入端接收融合后的图像，使用卷积神经网络算法对融合后的图像进行特征提取，得到融合后的图像的关键特征；将关键特征输入至分类器中，通过电芯蓝膜外观缺陷检测模型对关键特征进行分类；判断融合后的图像是否存在划痕、污渍、气泡、斑点、波纹、毛边或色差，若存在其中的任意一种，则电芯蓝膜外观存在缺陷。
本发明首先确认待检测电芯蓝膜的位置，光源布设模块在位置的八个朝向的角度布设光源，光源为待检测电芯蓝膜提供光照；其次图像采集模块在控制线扫和闪光的时间序列的控制下，通过横向亮光时序交错扫描待检测电芯蓝膜，获取8张不同光源方向的图像；最后缺陷检测模块按照图像明暗程度将每张图像拆分成8张不同光路图，对每张光路图进行处理，通过图像增强对图像进行图像融合，对融合后的图像进行缺陷检测，电芯蓝膜外观缺陷检测模型输出一个判断结果，指示融合后的图像是否存在外观缺陷；上述方案确认电芯蓝膜的位置并布设光源：通过确认电芯蓝膜的位置，将光源在八个不同的朝向进行布设，以提供充足的光照条件；图像采集设备获取图像：通过控制线扫和闪光的时间序列，采集待检测电芯蓝膜的图像，横向亮光时序交错扫描获取八张不同光源方向的图像；控制器对图像进行处理：控制器根据图像明暗程度将每张图像拆分成八张不同光路图，对每张光路图进行处理，提取有缺陷的图像；图像融合和定性分析：通过图像增强技术对图像进行融合，提高缺陷的可视化程度，对融合后的图像进行定性分析和判断，以识别和定位电芯蓝膜上的缺陷。本实施例通过光源布设和图像处理的组合，提高了对电芯蓝膜缺陷的检测能力，通过多个光源方向和图像融合，增加缺陷的可视化程度，提高缺陷的识别率，有效检测电芯蓝膜的质量，并及时采取措施进行修复或替换，确保电芯蓝膜的正常运作。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例1中基于特征提取的电芯蓝膜外观缺陷检测方法流程图；
图2为本发明实施例2中光源布设模块在位置的八个朝向的角度布设光源的过程图；
图3为本发明实施例3中通过横向亮光时序交错扫描待检测电芯蓝膜的过程图；
图4为本发明实施例4中偶数行识别指令和奇数行识别指令的执行过程图；
图5为本发明实施例5中偶数行图像和奇数行图像进行合并的过程图；
图6为本发明实施例6中通过图像增强对图像进行图像融合的过程图；
图7为本发明实施例7中电芯蓝膜外观缺陷检测模型输出一个判断结果的过程图；
图8为本发明实施例8中基于特征提取的电芯蓝膜外观缺陷检测框图；
图9为本发明实施例9中光源布设模块框图；
图10为本发明实施例10中图像采集模块框图；
图11为本发明实施例11中及缺陷检测模块框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包含多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
实施例1：如图1所示，本发明实施例提供了一种基于特征提取的电芯蓝膜外观缺陷检测方法，包含以下步骤：
S100：确认待检测电芯蓝膜的位置，光源布设模块在位置的八个朝向的角度布设光源，光源为待检测电芯蓝膜提供光照；
S200：图像采集模块在控制线扫和闪光的时间序列的控制下，通过横向亮光时序交错扫描待检测电芯蓝膜，获取8张不同光源方向的图像；
S300：缺陷检测模块按照图像明暗程度将每张图像拆分成8张不同光路图，对每张光路图进行处理，通过图像增强对图像进行图像融合，对融合后的图像进行缺陷检测，电芯蓝膜外观缺陷检测模型输出一个判断结果，指示融合后的图像是否存在外观缺陷；
上述技术方案的工作原理和有益效果为：本实施例首先确认待检测电芯蓝膜的位置，光源布设模块在位置的八个朝向的角度布设光源，光源为待检测电芯蓝膜提供光照；其次图像采集模块在控制线扫和闪光的时间序列的控制下，通过横向亮光时序交错扫描待检测电芯蓝膜，获取8张不同光源方向的图像；最后缺陷检测模块按照图像明暗程度将每张图像拆分成8张不同光路图，对每张光路图进行处理，通过图像增强对图像进行图像融合，对融合后的图像进行缺陷检测，电芯蓝膜外观缺陷检测模型输出一个判断结果，指示融合后的图像是否存在外观缺陷；上述方案确认电芯蓝膜的位置并布设光源：通过确认电芯蓝膜的位置，将光源在八个不同的朝向进行布设，以提供充足的光照条件；图像采集设备获取图像：通过控制线扫和闪光的时间序列，采集待检测电芯蓝膜的图像，横向亮光时序交错扫描获取八张不同光源方向的图像；控制器对图像进行处理：控制器根据图像明暗程度将每张图像拆分成八张不同光路图，对每张光路图进行处理，提取有缺陷的图像；图像融合和定性分析：通过图像增强技术对图像进行融合，提高缺陷的可视化程度，对融合后的图像进行定性分析和判断，以识别和定位电芯蓝膜上的缺陷。本实施例通过光源布设和图像处理的组合，提高了对电芯蓝膜缺陷的检测能力，通过多个光源方向和图像融合，增加缺陷的可视化程度，提高缺陷的识别率，有效检测电芯蓝膜的质量，并及时采取措施进行修复或替换，确保电芯蓝膜的正常运作。
实施例2：如图2所示，在实施例1的基础上，本发明实施例提供的光源布设模块在位置的八个朝向的角度布设光源的过程，包含以下步骤：
S101：八个光源构成一个光源阵列，按照待检测电芯蓝膜的八个朝向将光源布设成凹的图形；
S102：将预设的伪随机噪声发射序列作为八个光源发射序列，按照八个朝向布设规律设定相邻光源序列延迟，图像采集模块对八个光源的光斑像素点进行统计，有光斑像素点光源则为亮，没有光斑像素点光源则为不亮，获得八个光源的发射序列；
S103：根据图像采集模块采集的八个光源在待检测电芯蓝膜对应位置的亮度值，将亮度值与预设对应八个朝向的亮度阈值进行比对，亮度值没有达到亮度阈值则发出报警，对光源的亮度值进行调整，直至达到亮度阈值；
上述技术方案的工作原理和有益效果为：本实施例首先八个光源构成一个光源阵列，按照待检测电芯蓝膜的八个朝向将光源布设成凹的图形；其次将预设的伪随机噪声发射序列作为八个光源发射序列，按照八个朝向布设规律设定相邻光源序列延迟，图像采集模块对八个光源的光斑像素点进行统计，有光斑像素点光源则为亮，没有光斑像素点光源则为不亮，获得八个光源的发射序列；最后根据图像采集模块采集的八个光源在待检测电芯蓝膜对应位置的亮度值，将亮度值与预设对应八个朝向的亮度阈值进行比对，亮度值没有达到亮度阈值则发出报警，对光源的亮度值进行调整，直至达到亮度阈值；上述方案检测电芯蓝膜的光源亮度：通过光源阵列发射的光斑像素点的统计，获得待检测电芯蓝膜对应位置的亮度值，对于检测电芯蓝膜的光源亮度是否满足要求非常关键；判断光源是否达到亮度阈值：将采集到的光源亮度值与预设的八个朝向的亮度阈值进行比对，判断光源是否达到预设要求，如果亮度值没有达到阈值，则发出报警，并对光源亮度进行调整，直至达到亮度阈值；实现光源亮度的自动调整：对光源亮度进行调整，直至达到亮度阈值，自动对光源进行亮度的调整，确保光源的亮度符合要求，提高产品质量和稳定性。本实施例通过光源阵列和发射序列的布设，结合图像采集模块的统计分析，实现对待检测电芯蓝膜光源亮度的检测和判断，以及对光源亮度的自动调整，确保产品质量和稳定性的要求。
实施例3：如图3所示，在实施例1的基础上，本发明实施例提供的通过横向亮光时序交错扫描待检测电芯蓝膜的过程，包含以下步骤：
S201：根据以偶数编序的偶数行识别指令，及以奇数编序的奇数行识别指令，偶数行识别指令优先级高于奇数行识别指令；基于偶数行识别指令和奇数行识别指令将图像分为偶数行和奇数行两组；
S202：启动扫描指令对分组的图像进行扫描，扫描指令包含从上到下及从左到右的交错扫描方式，输出扫描后的8张不同光源方向的图像；
S203：按照图像朝向的不同对8张不同光源方向的图像进行分类存储，得到包含图像朝向标注的不同光源方向的图像；
上述技术方案的工作原理和有益效果为：本实施例首先根据以偶数编序的偶数行识别指令，及以奇数编序的奇数行识别指令，偶数行识别指令优先级高于奇数行识别指令；基于偶数行识别指令和奇数行识别指令将图像分为偶数行和奇数行两组；其次启动扫描指令对分组的图像进行扫描，扫描指令包含从上到下及从左到右的交错扫描方式，输出扫描后的8张不同光源方向的图像；最后按照图像朝向的不同对8张不同光源方向的图像进行分类存储，得到包含图像朝向标注的不同光源方向的图像；上述方案根据偶数行识别指令和奇数行识别指令将图像分为偶数行和奇数行两组，优先对偶数行进行识别，以确保对图像的全面扫描；采用从上到下及从左到右的交错扫描方式，进一步增加图像信息的丰富性，以获得更多不同角度和光源方向的图像；对8张不同光源方向的图像进行分类存储，并包含图像朝向标注，方便后续的图像处理和分析，提高对不同光源方向图像的管理和使用效率，进一步提高电芯蓝膜外观缺陷检测的效果。本实施例通过合理的图像分组和扫描方式，以及分类存储的方式，提高电芯蓝膜外观缺陷检测的准确性和可靠性，从而提高产品质量和生产效率；为获得更全面和多角度的图像信息，以提高电芯蓝膜外观缺陷检测的准确性和可靠性。
实施例4：如图4所示，在实施例3的基础上，本发明实施例提供的偶数行识别指令和奇数行识别指令的执行过程，包含以下步骤：
S2011：偶数行识别指令和奇数行识别指令被配置为图像分组的指示，根据指示将偶数行识别指令和奇数行识别指令发送至图像采集模块，进行偶数行和奇数行的分组；
S2012：设置至少两个分组处理器，分组处理器的数量为偶数，每一组分组处理器中均搭载有偶数行识别指令和奇数行识别指令，其中一组处理器先执行从上到下的扫描方式，再执行从左到右的扫描方式，另外一组处理器先执行从左到右的扫描方式，再执行从上到下的扫描方式；
S2013：将不同分组处理器的扫描结果进行合并组成偶数行图像和奇数行图像，再将待检测电芯蓝膜的偶数行图像和奇数行图像进行合并，输出扫描后的8张不同光源方向的图像；
上述技术方案的工作原理和有益效果为：本实施例首先偶数行识别指令和奇数行识别指令被配置为图像分组的指示，根据指示将偶数行识别指令和奇数行识别指令发送至图像采集模块，进行偶数行和奇数行的分组；其次设置至少两个分组处理器，分组处理器的数量为偶数，每一组分组处理器中均搭载有偶数行识别指令和奇数行识别指令，其中一组处理器先执行从上到下的扫描方式，再执行从左到右的扫描方式，另外一组处理器先执行从左到右的扫描方式，再执行从上到下的扫描方式；最后将不同分组处理器的扫描结果进行合并组成偶数行图像和奇数行图像，再将同一待检测电芯蓝膜的偶数行图像和奇数行图像进行合并，输出扫描后的8张不同光源方向的图像；上述方案根据偶数行识别指令和奇数行识别指令将图像分组，确保偶数行和奇数行的图像被分开处理，目的是为了避免图像信息混淆，以便后续的处理和分析；通过设置至少两个分组处理器，并在每个处理器中搭载偶数行识别指令和奇数行识别指令，实现并行处理；其中一组处理器按照从上到下和从左到右的顺序进行扫描，另一组处理器按照从左到右和从上到下的顺序进行扫描，提高处理速度，同时获取不同的扫描顺序和角度，以获取更全面的图像信息；将不同分组处理器的扫描结果进行合并，组成偶数行图像和奇数行图像，并将同一待检测电芯蓝膜的偶数行图像和奇数行图像进行合并，通过合并后，得到8张不同光源方向的图像，图像可以用于后续的缺陷检测和分析。本实施例通过合理的图像分组、并行处理和合并方式，实现对电芯蓝膜外观缺陷检测图像的多角度扫描，以获取更全面和准确的图像信息，进而提高检测的准确性和可靠性，对于电芯蓝膜的质量控制和生产效率的提升具有重要意义。
实施例5：如图5所示，在实施例4的基础上，本发明实施例提供的偶数行图像和奇数行图像进行合并的过程，包含以下步骤：
S201301：将偶数行图像和奇数行图像中包含的偶数编序和奇数编序，作为偶数行图像和奇数行图像的图像集合的属性，确定偶数行图像和奇数行图像的图像集合的维度以及维度对应的维度数据；
S201302：根据属性确定偶数行图像和奇数行图像合并的组合执行标识，由维度获取偶数行图像或奇数行图像的数量，通过维度数据获取偶数行图像或奇数行图像的像素值；
S201303：将偶数行图像及奇数行图像以预设方式组合成带有执行标识的目标图像，组合完毕后，使用偶数编序和奇数编序作为目标图像的标识，得到扫描后的8张不同光源方向的图像；
上述技术方案的工作原理和有益效果为：本实施例首先将偶数行图像和奇数行图像中包含的偶数编序和奇数编序，作为偶数行图像和奇数行图像的图像集合的属性，确定偶数行图像和奇数行图像的图像集合的维度以及维度对应的维度数据；其次根据属性确定偶数行图像和奇数行图像合并的组合执行标识，由维度获取偶数行图像或奇数行图像的数量，通过维度数据获取偶数行图像或奇数行图像的像素值；最后将偶数行图像及奇数行图像以预设方式组合成带有执行标识的目标图像，组合完毕后，使用偶数编序和奇数编序作为目标图像的标识，得到扫描后的8张不同光源方向的图像；上述方案提高图像分析的准确性：通过将偶数行图像和奇数行图像按照属性进行划分，可以将不同光源方向的图像分开处理，减少光源方向带来的干扰，提高图像分析的准确性；提供更全面的图像信息：通过合并偶数行图像和奇数行图像，得到扫描后的8张不同光源方向的图像，获取更全面的图像信息，包括不同角度、不同光照条件下的电芯蓝膜表面特征，有助于更全面地了解电芯蓝膜的质量和性能；便于目标图像的识别和标识：通过使用偶数编序和奇数编序作为目标图像的标识，方便地识别和区分不同的图像，有助于后续的图像处理和分析工作，提高处理效率和准确性。本实施例通过按照属性划分和合并图像集合，获取更全面和准确的图像信息，方便后续的图像分析和处理工作，提高电芯蓝膜质量检测的效果和可靠性。
实施例6：如图6所示，在实施例1的基础上，本发明实施例提供的通过图像增强对图像进行图像融合的过程，包含以下步骤：
S301：缺陷检测模块采集8张不同光源方向的图像的噪声分量，拼接构成噪声声场片段，将噪声声场片段经过生成器传播得到噪声声场特征，根据噪声声场特征中各特征频点所分别对应的分量比例，以及特征频点所对应的持续时间，产生分别对应噪声分量的驱动信号，驱动报警器输出降噪声波，得到降噪后的8张不同光源方向的图像；
S302：按照预设程序对8张不同光源方向的图像进行图像明暗程度的判断，得到不同图像的明暗渐次变化值，按照明暗渐次变化值的不同将每张图像拆分成8张不同光路图；
S303：利用图像增强模型对8张不同光路图进行图像融合，得到融合后的光路图；
上述技术方案的工作原理和有益效果为：本实施例首先缺陷检测模块采集8张不同光源方向的图像的噪声分量，拼接构成噪声声场片段，将噪声声场片段经过生成器传播得到噪声声场特征，根据噪声声场特征中各特征频点所分别对应的分量比例，以及特征频点所对应的持续时间，产生分别对应噪声分量的驱动信号，驱动报警器输出降噪声波，得到降噪后的8张不同光源方向的图像；其次按照预设程序对8张不同光源方向的图像进行图像明暗程度的判断，得到不同图像的明暗渐次变化值，按照明暗渐次变化值的不同将每张图像拆分成8张不同光路图；最后利用图像增强模型对8张不同光路图进行图像融合，得到融合后的光路图；上述方案降低噪声对缺陷检测的影响：通过采集8张不同光源方向的图像的噪声分量，并生成噪声声场特征，根据特征频点的分量比例和持续时间，产生驱动信号驱动报警器输出降噪声波，降低图像中的噪声水平，减少噪声对缺陷检测的影响，提高检测的准确性；提高图像的明暗细节表现：通过对8张不同光源方向的图像进行明暗程度判断，并得到明暗渐次变化值，将每张图像拆分成8张不同光路图，更好地表现图像的明暗细节，有助于更准确地检测和分析图像中的缺陷；增强图像的视觉效果：通过利用图像增强模型对8张不同光路图进行图像融合，得到融合后的光路图，提高图像的视觉效果，使缺陷更加清晰可见，方便操作员进行缺陷的判断和分析。本实施例通过降噪和图像融合等处理步骤，改善图像质量，提高缺陷检测的准确性和可靠性，为后续的缺陷分析和处理提供更好的基础。
实施例7：如图7所示，在实施例1的基础上，本发明实施例提供的电芯蓝膜外观缺陷检测模型输出一个判断结果的过程，包含以下步骤：
S304：电芯蓝膜外观缺陷检测模型输入端接收融合后的图像，使用卷积神经网络算法对融合后的图像进行特征提取，得到融合后的图像的关键特征；
S305：将关键特征输入至分类器中，通过电芯蓝膜外观缺陷检测模型对关键特征进行分类；
S306：判断融合后的图像是否存在划痕、污渍、气泡、斑点、波纹、毛边或色差，若存在其中的任意一种，则电芯蓝膜外观存在缺陷；
上述技术方案的工作原理和有益效果为：本实施例首先电芯蓝膜外观缺陷检测模型输入端接收融合后的图像，使用卷积神经网络算法对融合后的图像进行特征提取，得到融合后的图像的关键特征；其次将关键特征输入至分类器中，通过电芯蓝膜外观缺陷检测模型对关键特征进行分类；最后判断融合后的图像是否存在划痕、污渍、气泡、斑点、波纹、毛边或色差，若存在其中的任意一种，则电芯蓝膜外观存在缺陷；上述方案提高生产效率：使用深度学习算法进行自动化检测，大大提高检测的效率，减少人力成本；提高检测准确性：深度学习算法通过对大量的图像进行训练和学习，具有较高的准确性和鲁棒性，更准确地判断电芯蓝膜外观是否存在缺陷，避免了人工检测中的主观误判；实现缺陷早期发现：通过自动化检测，及早发现电芯蓝膜外观的缺陷，避免在后续工艺中造成更大的问题和损失，及早发现缺陷并进行修复，提高产品的质量和可靠性；降低质量风险：电芯蓝膜外观缺陷可能导致电池性能降低、安全性问题等，严重时还可能导致电池故障和事故，通过自动化检测，降低质量风险，提高电池的品质和安全性。本实施例实现了自动化、准确性高的缺陷检测，提高了生产效率、产品质量和安全性，降低了质量风险。
实施例8：如图8所示，在实施例1-实施例7的基础上，本发明实施例提供的基于特征提取的电芯蓝膜外观缺陷检测系统，包含：
光源布设模块，负责确认待检测电芯蓝膜的位置，在位置的八个朝向的角度布设光源，光源为待检测电芯蓝膜提供光照；
图像采集模块，负责在控制线扫和闪光的时间序列的控制下，通过横向亮光时序交错扫描待检测电芯蓝膜，获取8张不同光源方向的图像；
缺陷检测模块，负责按照图像明暗程度将每张图像拆分成8张不同光路图，对每张光路图进行处理，通过图像增强对图像进行图像融合，对融合后的图像进行缺陷检测，电芯蓝膜外观缺陷检测模型输出一个判断结果，指示融合后的图像是否存在外观缺陷；
上述技术方案的工作原理和有益效果为：本实施例的光源布设模块确认待检测电芯蓝膜的位置，在位置的八个朝向的角度布设光源，光源为待检测电芯蓝膜提供光照；图像采集模块在控制线扫和闪光的时间序列的控制下，通过横向亮光时序交错扫描待检测电芯蓝膜，获取8张不同光源方向的图像；缺陷检测模块按照图像明暗程度将每张图像拆分成8张不同光路图，对每张光路图进行处理，通过图像增强对图像进行图像融合，对融合后的图像进行缺陷检测，电芯蓝膜外观缺陷检测模型输出一个判断结果，指示融合后的图像是否存在外观缺陷；上述方案确认电芯蓝膜的位置并布设光源：通过确认电芯蓝膜的位置，将光源在八个不同的朝向进行布设，以提供充足的光照条件；图像采集设备获取图像：通过控制线扫和闪光的时间序列，采集待检测电芯蓝膜的图像，横向亮光时序交错扫描获取八张不同光源方向的图像；控制器对图像进行处理：控制器根据图像明暗程度将每张图像拆分成八张不同光路图，对每张光路图进行处理，提取有缺陷的图像；图像融合和定性分析：通过图像增强技术对图像进行融合，提高缺陷的可视化程度，对融合后的图像进行定性分析和判断，以识别和定位电芯蓝膜上的缺陷。本实施例通过光源布设和图像处理的组合，提高了对电芯蓝膜缺陷的检测能力，通过多个光源方向和图像融合，增加缺陷的可视化程度，提高缺陷的识别率，有效检测电芯蓝膜的质量，并及时采取措施进行修复或替换，确保电芯蓝膜的正常运作。
实施例9：如图9所示，在实施例8的基础上，本发明实施例提供的光源布设模块，包含：
光源排列子模块，负责将八个光源构成一个光源阵列，按照待检测电芯蓝膜的八个朝向将光源布设成凹的图形；
序列延迟子模块，负责将预设的伪随机噪声发射序列作为八个光源发射序列，按照八个朝向布设规律设定相邻光源序列延迟，图像采集模块对八个光源的光斑像素点进行统计，有光斑像素点光源则为亮，没有光斑像素点光源则为不亮，获得八个光源的发射序列；
阈值比对子模块，负责根据图像采集模块采集的八个光源在待检测电芯蓝膜对应位置的亮度值，将亮度值与预设对应八个朝向的亮度阈值进行比对，亮度值没有达到亮度阈值则发出报警，对光源的亮度值进行调整，直至达到亮度阈值；
上述技术方案的工作原理和有益效果为：本实施例的光源排列子模块将八个光源构成一个光源阵列，按照待检测电芯蓝膜的八个朝向将光源布设成凹的图形；序列延迟子模块将预设的伪随机噪声发射序列作为八个光源发射序列，按照八个朝向布设规律设定相邻光源序列延迟，图像采集模块对八个光源的光斑像素点进行统计，有光斑像素点光源则为亮，没有光斑像素点光源则为不亮，获得八个光源的发射序列；阈值比对子模块根据图像采集模块采集的八个光源在待检测电芯蓝膜对应位置的亮度值，将亮度值与预设对应八个朝向的亮度阈值进行比对，亮度值没有达到亮度阈值则发出报警，对光源的亮度值进行调整，直至达到亮度阈值；上述方案检测电芯蓝膜的光源亮度：通过光源阵列发射的光斑像素点的统计，获得待检测电芯蓝膜对应位置的亮度值，对于检测电芯蓝膜的光源亮度是否满足要求非常关键；判断光源是否达到亮度阈值：将采集到的光源亮度值与预设的八个朝向的亮度阈值进行比对，判断光源是否达到预设要求，如果亮度值没有达到阈值，则发出报警，并对光源亮度进行调整，直至达到亮度阈值；实现光源亮度的自动调整：对光源亮度进行调整，直至达到亮度阈值，自动对光源进行亮度的调整，确保光源的亮度符合要求，提高产品质量和稳定性。本实施例通过光源阵列和发射序列的布设，结合图像采集模块的统计分析，实现对待检测电芯蓝膜光源亮度的检测和判断，以及对光源亮度的自动调整，确保产品质量和稳定性的要求。
实施例10：如图10所示，在实施例8的基础上，本发明实施例提供的图像采集模块，包含：
执行识别子模块，负责根据以偶数编序的偶数行识别指令，及以奇数编序的奇数行识别指令，偶数行识别指令优先级高于奇数行识别指令；基于偶数行识别指令和奇数行识别指令将图像分为偶数行和奇数行两组；
图像扫描子模块，负责启动扫描指令对分组的图像进行扫描，扫描指令包含从上到下及从左到右的交错扫描方式，输出扫描后的8张不同光源方向的图像；
图像标注子模块，负责按照图像朝向的不同对8张不同光源方向的图像进行分类存储，得到包含图像朝向标注的不同光源方向的图像；
上述技术方案的工作原理和有益效果为：本实施例的执行识别子模块根据以偶数编序的偶数行识别指令，及以奇数编序的奇数行识别指令，偶数行识别指令优先级高于奇数行识别指令；基于偶数行识别指令和奇数行识别指令将图像分为偶数行和奇数行两组；图像扫描子模块启动扫描指令对分组的图像进行扫描，扫描指令包含从上到下及从左到右的交错扫描方式，输出扫描后的8张不同光源方向的图像；图像标注子模块按照图像朝向的不同对8张不同光源方向的图像进行分类存储，得到包含图像朝向标注的不同光源方向的图像；上述方案根据偶数行识别指令和奇数行识别指令将图像分为偶数行和奇数行两组，优先对偶数行进行识别，以确保对图像的全面扫描；采用从上到下及从左到右的交错扫描方式，进一步增加图像信息的丰富性，以获得更多不同角度和光源方向的图像；对8张不同光源方向的图像进行分类存储，并包含图像朝向标注，方便后续的图像处理和分析，提高对不同光源方向图像的管理和使用效率，进一步提高电芯蓝膜外观缺陷检测的效果。本实施例通过合理的图像分组和扫描方式，以及分类存储的方式，提高电芯蓝膜外观缺陷检测的准确性和可靠性，从而提高产品质量和生产效率；为获得更全面和多角度的图像信息，以提高电芯蓝膜外观缺陷检测的准确性和可靠性。
实施例11：如图11所示，在实施例8的基础上，本发明实施例提供的缺陷检测模块，包含：
图像降噪子模块，负责采集8张不同光源方向的图像的噪声分量，拼接构成噪声声场片段，将噪声声场片段经过生成器传播得到噪声声场特征，根据噪声声场特征中各特征频点所分别对应的分量比例，以及特征频点所对应的持续时间，产生分别对应噪声分量的驱动信号，驱动报警器输出降噪声波，得到降噪后的8张不同光源方向的图像；
图像融合子模块，负责按照预设程序对8张不同光源方向的图像进行图像明暗程度的判断，得到不同图像的明暗渐次变化值，按照明暗渐次变化值的不同将每张图像拆分成8张不同光路图；利用图像增强模型对8张不同光路图进行图像融合，得到融合后的光路图；
模型检测子模块，负责电芯蓝膜外观缺陷检测模型输入端接收融合后的图像，使用卷积神经网络算法对融合后的图像进行特征提取，得到融合后的图像的关键特征；将关键特征输入至分类器中，通过电芯蓝膜外观缺陷检测模型对关键特征进行分类；判断融合后的图像是否存在划痕、污渍、气泡、斑点、波纹、毛边或色差，若存在其中的任意一种，则电芯蓝膜外观存在缺陷；
上述技术方案的工作原理和有益效果为：本实施例的图像降噪子模块采集8张不同光源方向的图像的噪声分量，拼接构成噪声声场片段，将噪声声场片段经过生成器传播得到噪声声场特征，根据噪声声场特征中各特征频点所分别对应的分量比例，以及特征频点所对应的持续时间，产生分别对应噪声分量的驱动信号，驱动报警器输出降噪声波，得到降噪后的8张不同光源方向的图像；图像融合子模块按照预设程序对8张不同光源方向的图像进行图像明暗程度的判断，得到不同图像的明暗渐次变化值，按照明暗渐次变化值的不同将每张图像拆分成8张不同光路图；利用图像增强模型对8张不同光路图进行图像融合，得到融合后的光路图；模型检测子模块电芯蓝膜外观缺陷检测模型输入端接收融合后的图像，使用卷积神经网络算法对融合后的图像进行特征提取，得到融合后的图像的关键特征；将关键特征输入至分类器中，通过电芯蓝膜外观缺陷检测模型对关键特征进行分类；判断融合后的图像是否存在划痕、污渍、气泡、斑点、波纹、毛边或色差，若存在其中的任意一种，则电芯蓝膜外观存在缺陷；上述方案降低噪声对缺陷检测的影响：通过采集8张不同光源方向的图像的噪声分量，并生成噪声声场特征，根据特征频点的分量比例和持续时间，产生驱动信号驱动报警器输出降噪声波，降低图像中的噪声水平，减少噪声对缺陷检测的影响，提高检测的准确性；提高图像的明暗细节表现：通过对8张不同光源方向的图像进行明暗程度判断，并得到明暗渐次变化值，将每张图像拆分成8张不同光路图，更好地表现图像的明暗细节，有助于更准确地检测和分析图像中的缺陷；增强图像的视觉效果：通过利用图像增强模型对8张不同光路图进行图像融合，得到融合后的光路图，提高图像的视觉效果，使缺陷更加清晰可见，方便操作员进行缺陷的判断和分析。提高生产效率：使用深度学习算法进行自动化检测，大大提高检测的效率，减少人力成本；提高检测准确性：深度学习算法通过对大量的图像进行训练和学习，具有较高的准确性和鲁棒性，更准确地判断电芯蓝膜外观是否存在缺陷，避免了人工检测中的主观误判；实现缺陷早期发现：通过自动化检测，及早发现电芯蓝膜外观的缺陷，避免在后续工艺中造成更大的问题和损失，及早发现缺陷并进行修复，提高产品的质量和可靠性；降低质量风险：电芯蓝膜外观缺陷可能导致电池性能降低、安全性问题等，严重时还可能导致电池故障和事故，通过自动化检测，降低质量风险，提高电池的品质和安全性。本实施例实现了自动化、准确性高的缺陷检测，提高了生产效率、产品质量和安全性，降低了质量风险。本实施例通过降噪和图像融合等处理步骤，改善图像质量，提高缺陷检测的准确性和可靠性，为后续的缺陷分析和处理提供更好的基础。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种基于特征提取的电芯蓝膜外观缺陷检测方法，其特征在于，包含以下步骤：
确认待检测电芯蓝膜的位置，光源布设模块在位置的八个朝向的角度布设光源，光源为待检测电芯蓝膜提供光照；
图像采集模块在控制线扫和闪光的时间序列的控制下，通过横向亮光时序交错扫描待检测电芯蓝膜，获取8张不同光源方向的图像；
缺陷检测模块按照图像明暗程度将每张图像拆分成8张不同光路图，对每张光路图进行处理，通过图像增强对图像进行图像融合，对融合后的图像进行缺陷检测，电芯蓝膜外观缺陷检测模型输出一个判断结果，指示融合后的图像是否存在外观缺陷；
通过图像增强对图像进行图像融合的过程，包含以下步骤：
缺陷检测模块采集8张不同光源方向的图像的噪声分量，拼接构成噪声声场片段，将噪声声场片段经过生成器传播得到噪声声场特征，根据噪声声场特征中各特征频点所分别对应的分量比例，以及特征频点所对应的持续时间，产生分别对应噪声分量的驱动信号，驱动报警器输出降噪声波，得到降噪后的8张不同光源方向的图像；
按照预设程序对8张不同光源方向的图像进行图像明暗程度的判断，得到不同图像的明暗渐次变化值，按照明暗渐次变化值的不同将每张图像拆分成8张不同光路图；
利用图像增强模型对8张不同光路图进行图像融合，得到融合后的光路图。
2.如权利要求1所述的基于特征提取的电芯蓝膜外观缺陷检测方法，其特征在于，光源布设模块在位置的八个朝向的角度布设光源的过程，包含以下步骤：
八个光源构成一个光源阵列，按照待检测电芯蓝膜的八个朝向将光源布设成凹的图形；
将预设的伪随机噪声发射序列作为八个光源发射序列，按照八个朝向布设规律设定相邻光源序列延迟，图像采集模块对八个光源的光斑像素点进行统计，有光斑像素点光源则为亮，没有光斑像素点光源则为不亮，获得八个光源的发射序列；
根据图像采集模块采集的八个光源在待检测电芯蓝膜对应位置的亮度值，将亮度值与预设对应八个朝向的亮度阈值进行比对，亮度值没有达到亮度阈值则发出报警，对光源的亮度值进行调整，直至达到亮度阈值。
3.如权利要求1所述的基于特征提取的电芯蓝膜外观缺陷检测方法，其特征在于，通过横向亮光时序交错扫描待检测电芯蓝膜的过程，包含以下步骤：
根据以偶数编序的偶数行识别指令，及以奇数编序的奇数行识别指令，偶数行识别指令优先级高于奇数行识别指令；基于偶数行识别指令和奇数行识别指令将图像分为偶数行和奇数行两组；
启动扫描指令对分组的图像进行扫描，扫描指令包含从上到下及从左到右的交错扫描方式，输出扫描后的8张不同光源方向的图像；
按照图像朝向的不同对8张不同光源方向的图像进行分类存储，得到包含图像朝向标注的不同光源方向的图像。
4.如权利要求3所述的基于特征提取的电芯蓝膜外观缺陷检测方法，其特征在于，偶数行识别指令和奇数行识别指令的执行过程，包含以下步骤：
偶数行识别指令和奇数行识别指令被配置为图像分组的指示，根据指示将偶数行识别指令和奇数行识别指令发送至图像采集模块，进行偶数行和奇数行的分组；
设置至少两个分组处理器，分组处理器的数量为偶数，每一组分组处理器中均搭载有偶数行识别指令和奇数行识别指令，其中一组处理器先执行从上到下的扫描方式，再执行从左到右的扫描方式，另外一组处理器先执行从左到右的扫描方式，再执行从上到下的扫描方式；
将不同分组处理器的扫描结果进行合并组成偶数行图像和奇数行图像，再将待检测电芯蓝膜的偶数行图像和奇数行图像进行合并，输出扫描后的8张不同光源方向的图像。
5.如权利要求4所述的基于特征提取的电芯蓝膜外观缺陷检测方法，其特征在于，偶数行图像和奇数行图像进行合并的过程，包含以下步骤：
将偶数行图像和奇数行图像中包含的偶数编序和奇数编序，作为偶数行图像和奇数行图像的图像集合的属性，确定偶数行图像和奇数行图像的图像集合的维度以及维度对应的维度数据；
根据属性确定偶数行图像和奇数行图像合并的组合执行标识，由维度获取偶数行图像或奇数行图像的数量，通过维度数据获取偶数行图像或奇数行图像的像素值；
将偶数行图像及奇数行图像以预设方式组合成带有执行标识的目标图像，组合完毕后，使用偶数编序和奇数编序作为目标图像的标识，得到扫描后的8张不同光源方向的图像。
6.如权利要求1所述的基于特征提取的电芯蓝膜外观缺陷检测方法，其特征在于，电芯蓝膜外观缺陷检测模型输出一个判断结果的过程，包含以下步骤：
电芯蓝膜外观缺陷检测模型输入端接收融合后的图像，使用卷积神经网络算法对融合后的图像进行特征提取，得到融合后的图像的关键特征；
将关键特征输入至分类器中，通过电芯蓝膜外观缺陷检测模型对关键特征进行分类；
判断融合后的图像是否存在划痕、污渍、气泡、斑点、波纹、毛边或色差，若存在其中的任意一种，则电芯蓝膜外观存在缺陷。
7.一种基于特征提取的电芯蓝膜外观缺陷检测系统，其特征在于，包含：
光源布设模块，负责确认待检测电芯蓝膜的位置，在位置的八个朝向的角度布设光源，光源为待检测电芯蓝膜提供光照；
图像采集模块，负责在控制线扫和闪光的时间序列的控制下，通过横向亮光时序交错扫描待检测电芯蓝膜，获取8张不同光源方向的图像；
缺陷检测模块，负责按照图像明暗程度将每张图像拆分成8张不同光路图，对每张光路图进行处理，通过图像增强对图像进行图像融合，对融合后的图像进行缺陷检测，电芯蓝膜外观缺陷检测模型输出一个判断结果，指示融合后的图像是否存在外观缺陷；
缺陷检测模块，包含：
图像降噪子模块，负责采集8张不同光源方向的图像的噪声分量，拼接构成噪声声场片段，将噪声声场片段经过生成器传播得到噪声声场特征，根据噪声声场特征中各特征频点所分别对应的分量比例，以及特征频点所对应的持续时间，产生分别对应噪声分量的驱动信号，驱动报警器输出降噪声波，得到降噪后的8张不同光源方向的图像；
图像融合子模块，负责按照预设程序对8张不同光源方向的图像进行图像明暗程度的判断，得到不同图像的明暗渐次变化值，按照明暗渐次变化值的不同将每张图像拆分成8张不同光路图；利用图像增强模型对8张不同光路图进行图像融合，得到融合后的光路图；
模型检测子模块，负责电芯蓝膜外观缺陷检测模型输入端接收融合后的图像，使用卷积神经网络算法对融合后的图像进行特征提取，得到融合后的图像的关键特征；将关键特征输入至分类器中，通过电芯蓝膜外观缺陷检测模型对关键特征进行分类；判断融合后的图像是否存在划痕、污渍、气泡、斑点、波纹、毛边或色差，若存在其中的任意一种，则电芯蓝膜外观存在缺陷。
8.如权利要求7所述的基于特征提取的电芯蓝膜外观缺陷检测系统，其特征在于，图像采集模块，包含：
执行识别子模块，负责根据以偶数编序的偶数行识别指令，及以奇数编序的奇数行识别指令，偶数行识别指令优先级高于奇数行识别指令；基于偶数行识别指令和奇数行识别指令将图像分为偶数行和奇数行两组；
图像扫描子模块，负责启动扫描指令对分组的图像进行扫描，扫描指令包含从上到下及从左到右的交错扫描方式，输出扫描后的8张不同光源方向的图像；
图像标注子模块，负责按照图像朝向的不同对8张不同光源方向的图像进行分类存储，得到包含图像朝向标注的不同光源方向的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311167228.5A CN116908212B (zh) | 2023-09-12 | 2023-09-12 | 一种基于特征提取的电芯蓝膜外观缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311167228.5A CN116908212B (zh) | 2023-09-12 | 2023-09-12 | 一种基于特征提取的电芯蓝膜外观缺陷检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116908212A true CN116908212A (zh) | 2023-10-20 |
| CN116908212B CN116908212B (zh) | 2023-12-08 |
Family
ID=88355018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311167228.5A Active CN116908212B (zh) | 2023-09-12 | 2023-09-12 | 一种基于特征提取的电芯蓝膜外观缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116908212B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117309892A (zh) * | 2023-11-29 | 2023-12-29 | 深圳市什方智造科技有限公司 | 一种电池蓝膜的缺陷检测方法、装置及系统和光源控制器 |
| CN117607156A (zh) * | 2024-01-24 | 2024-02-27 | 东莞市瑞科智能科技有限公司 | 一种自动图像采集装置及其控制方法 |
| CN117723491A (zh) * | 2024-02-07 | 2024-03-19 | 宁德时代新能源科技股份有限公司 | 电芯防爆阀的检测系统及检测方法 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4484081A (en) * | 1980-09-19 | 1984-11-20 | Trw Inc. | Defect analysis system |
| JPH06327010A (ja) * | 1993-05-17 | 1994-11-25 | Mitsubishi Electric Corp | 協調処理方式 |
| KR980013374A (ko) * | 1996-07-31 | 1998-04-30 | 배순훈 | 비디오신호 주사변환장치 |
| JP2002014646A (ja) * | 2000-06-29 | 2002-01-18 | Sharp Corp | オンスクリーン表示装置 |
| CN101009761A (zh) * | 2006-01-27 | 2007-08-01 | 三星电子株式会社 | 图像信号扫描转换功能及其扫描转换方法 |
| KR20130064168A (ko) * | 2011-12-08 | 2013-06-18 | 주식회사 우신산업 | 출력 지연으로 인한 노이즈를 제거할 수 있는 차량 어라운드 뷰 영상 생성방법 |
| KR20130071883A (ko) * | 2011-12-21 | 2013-07-01 | 엘지디스플레이 주식회사 | 액정불량 검사장치 및 그 검사방법 |
| CN104183223A (zh) * | 2014-07-04 | 2014-12-03 | 京东方科技集团股份有限公司 | 一种显示装置、驱动装置和驱动方法 |
| CN104700808A (zh) * | 2013-06-06 | 2015-06-10 | 青岛海信电器股份有限公司 | 显示装置、时序控制器及图像显示方法 |
| CN110231598A (zh) * | 2019-06-13 | 2019-09-13 | 大连理工大学 | 可见光室内定位中基于加和计算判断光源旋转特性的方法 |
| CN111190141A (zh) * | 2020-01-09 | 2020-05-22 | 大连理工大学 | 一种可见光室内定位中基于图像叠加确定光源发射序列的方法 |
| CN112259068A (zh) * | 2020-10-21 | 2021-01-22 | 上海协格空调工程有限公司 | 一种主动降噪空调系统及其降噪控制方法 |
| CN112285118A (zh) * | 2020-10-22 | 2021-01-29 | 苏州佳智彩光电科技有限公司 | 一种amoled屏体外观视觉检测方法及装置 |
| CN113012115A (zh) * | 2021-03-03 | 2021-06-22 | 珠海迪沃航空工程有限公司 | 一种螺栓立体成像检测系统及方法 |
| CN113092489A (zh) * | 2021-05-20 | 2021-07-09 | 鲸朵(上海)智能科技有限公司 | 一种电池外观缺陷的检测系统及方法 |
| CN114527073A (zh) * | 2022-02-11 | 2022-05-24 | 西安电子科技大学 | 一种反光曲面的快速高精度外观质量检测系统及检测方法 |
| CN115100077A (zh) * | 2022-07-25 | 2022-09-23 | 深圳市安科讯实业有限公司 | 一种新型图像增强方法与装置 |
| CN115914855A (zh) * | 2021-08-16 | 2023-04-04 | 合肥欣奕华智能机器股份有限公司 | 一种图像处理方法及相关装置 |
| WO2023125440A1 (zh) * | 2021-12-31 | 2023-07-06 | 英特灵达信息技术(深圳)有限公司 | 一种降噪方法、装置、电子设备及介质 |
-
2023
- 2023-09-12 CN CN202311167228.5A patent/CN116908212B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4484081A (en) * | 1980-09-19 | 1984-11-20 | Trw Inc. | Defect analysis system |
| JPH06327010A (ja) * | 1993-05-17 | 1994-11-25 | Mitsubishi Electric Corp | 協調処理方式 |
| KR980013374A (ko) * | 1996-07-31 | 1998-04-30 | 배순훈 | 비디오신호 주사변환장치 |
| JP2002014646A (ja) * | 2000-06-29 | 2002-01-18 | Sharp Corp | オンスクリーン表示装置 |
| CN101009761A (zh) * | 2006-01-27 | 2007-08-01 | 三星电子株式会社 | 图像信号扫描转换功能及其扫描转换方法 |
| US20070177034A1 (en) * | 2006-01-27 | 2007-08-02 | Samsung Electronics Co., Ltd. | Image signal scan-converting function and scan-converting method thereof |
| KR20130064168A (ko) * | 2011-12-08 | 2013-06-18 | 주식회사 우신산업 | 출력 지연으로 인한 노이즈를 제거할 수 있는 차량 어라운드 뷰 영상 생성방법 |
| KR20130071883A (ko) * | 2011-12-21 | 2013-07-01 | 엘지디스플레이 주식회사 | 액정불량 검사장치 및 그 검사방법 |
| CN104700808A (zh) * | 2013-06-06 | 2015-06-10 | 青岛海信电器股份有限公司 | 显示装置、时序控制器及图像显示方法 |
| CN104183223A (zh) * | 2014-07-04 | 2014-12-03 | 京东方科技集团股份有限公司 | 一种显示装置、驱动装置和驱动方法 |
| CN110231598A (zh) * | 2019-06-13 | 2019-09-13 | 大连理工大学 | 可见光室内定位中基于加和计算判断光源旋转特性的方法 |
| CN111190141A (zh) * | 2020-01-09 | 2020-05-22 | 大连理工大学 | 一种可见光室内定位中基于图像叠加确定光源发射序列的方法 |
| CN112259068A (zh) * | 2020-10-21 | 2021-01-22 | 上海协格空调工程有限公司 | 一种主动降噪空调系统及其降噪控制方法 |
| CN112285118A (zh) * | 2020-10-22 | 2021-01-29 | 苏州佳智彩光电科技有限公司 | 一种amoled屏体外观视觉检测方法及装置 |
| CN113012115A (zh) * | 2021-03-03 | 2021-06-22 | 珠海迪沃航空工程有限公司 | 一种螺栓立体成像检测系统及方法 |
| CN113092489A (zh) * | 2021-05-20 | 2021-07-09 | 鲸朵(上海)智能科技有限公司 | 一种电池外观缺陷的检测系统及方法 |
| CN115914855A (zh) * | 2021-08-16 | 2023-04-04 | 合肥欣奕华智能机器股份有限公司 | 一种图像处理方法及相关装置 |
| WO2023125440A1 (zh) * | 2021-12-31 | 2023-07-06 | 英特灵达信息技术(深圳)有限公司 | 一种降噪方法、装置、电子设备及介质 |
| CN114527073A (zh) * | 2022-02-11 | 2022-05-24 | 西安电子科技大学 | 一种反光曲面的快速高精度外观质量检测系统及检测方法 |
| CN115100077A (zh) * | 2022-07-25 | 2022-09-23 | 深圳市安科讯实业有限公司 | 一种新型图像增强方法与装置 |
Non-Patent Citations (2)
| Title |
|---|
| 张灵聪: "基于空时域视频去噪模块VLSI的设计与验证", 中国优秀博硕士学位论文全文数据库（硕士）信息科技专辑 * |
| 高宏亮;刘彪;李龙龙;: "基于FPGA的图像采集和预处理技术的研究", 制造业自动化, no. 13 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117309892A (zh) * | 2023-11-29 | 2023-12-29 | 深圳市什方智造科技有限公司 | 一种电池蓝膜的缺陷检测方法、装置及系统和光源控制器 |
| CN117309892B (zh) * | 2023-11-29 | 2024-03-15 | 深圳市什方智造科技有限公司 | 一种电池蓝膜的缺陷检测方法、装置及系统和光源控制器 |
| CN117607156A (zh) * | 2024-01-24 | 2024-02-27 | 东莞市瑞科智能科技有限公司 | 一种自动图像采集装置及其控制方法 |
| CN117723491A (zh) * | 2024-02-07 | 2024-03-19 | 宁德时代新能源科技股份有限公司 | 电芯防爆阀的检测系统及检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116908212B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116908212B (zh) | 一种基于特征提取的电芯蓝膜外观缺陷检测方法及系统 | |
| US8925791B2 (en) | Binary classification of items of interest in a repeatable process | |
| US11150200B1 (en) | Workpiece inspection and defect detection system indicating number of defect images for training | |
| KR102168724B1 (ko) | 이미지 검사를 이용한 이상 판별 방법 및 장치 | |
| JP2006126200A (ja) | 画像システムにおいてビデオツールを自動的にリカバリーするシステムおよび方法 | |
| US6687396B1 (en) | Optical member inspection apparatus, image-processing apparatus, image-processing method, and computer readable medium | |
| EP2212909B1 (en) | Patterned wafer defect inspection system and method | |
| KR20200039047A (ko) | 필름 결함 검출 방법 및 시스템 | |
| CN113470005B (zh) | 一种圆柱电池盖帽的焊点检测装置和焊点检测方法 | |
| CN112819844B (zh) | 一种图像边缘检测方法及装置 | |
| CN106204602A (zh) | 元件反件检测方法和系统 | |
| US20160321794A1 (en) | Detecting Device and Detecting Method Thereof | |
| US20220222855A1 (en) | System and method for determining whether a camera component is damaged | |
| US5204617A (en) | Liquid crystal panel inspection method | |
| CN114813783B (zh) | 芯片表面瑕疵检测方法 | |
| CN111079831A (zh) | 智能型光学检测的样品特征与瑕疵自动标记方法及其装置 | |
| CN116978834B (zh) | 一种用于晶圆生产的智能监测预警系统 | |
| CN114577805A (zh) | 一种MiniLED背光面板缺陷检测方法及装置 | |
| CN114226262A (zh) | 瑕疵检测方法、瑕疵分类方法及其系统 | |
| CN115452844B (zh) | 一种基于机器视觉的注塑件检测方法及系统 | |
| CN116256366A (zh) | 一种芯片缺陷的检测方法、检测系统及存储介质 | |
| CN115165920A (zh) | 一种三维缺陷检测方法及检测设备 | |
| CN114674833A (zh) | 链条检测设备及检测方法 | |
| KR20210106038A (ko) | 딥러닝 기반의 ai 기술을 활용한 2차전지 분리막 자동 검사장치 | |
| CN115185113B (zh) | 一种显示面板的测试方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |