CN114549485A - 一种基于x射线视觉的梗签检测方法 - Google Patents
一种基于x射线视觉的梗签检测方法 Download PDFInfo
- Publication number
- CN114549485A CN114549485A CN202210179428.1A CN202210179428A CN114549485A CN 114549485 A CN114549485 A CN 114549485A CN 202210179428 A CN202210179428 A CN 202210179428A CN 114549485 A CN114549485 A CN 114549485A
- Authority
- CN
- China
- Prior art keywords
- stem
- detection
- ray
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 125
- 235000019504 cigarettes Nutrition 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 60
- 241000208125 Nicotiana Species 0.000 claims abstract description 42
- 235000002637 Nicotiana tabacum Nutrition 0.000 claims abstract description 42
- 238000012216 screening Methods 0.000 claims abstract description 32
- 238000002372 labelling Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 37
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 26
- 238000009826 distribution Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000010585 Ammi visnaga Nutrition 0.000 description 1
- 244000153158 Ammi visnaga Species 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 208000026753 anterior segment dysgenesis Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000007794 irritation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于X射线视觉的梗签检测方法，包括：随机选取不同品牌的卷烟作为检测对象，利用X射线设备对检测对象进行X射线照射并获得对应的卷烟透视图像；利用生成式对抗网络将所述卷烟透视图像生成多组伪标注样本，并根据筛选指标对所述伪标注样本进行筛选，以确定最终的扩充标注样本；获取所述检测对象的人工标注样本，将所述扩充标注样本输入预设的梗签分类网络进行预训练，并利用所述人工标注样本对训练网络进行调整；利用训练后的梗签分类网络对测试的卷烟样本进行梗签检测。本发明能解决现有卷烟产品的梗签检测存在效率低和准确率不高的问题，能提高梗签检测效率，减少烟梗检测的误检率或者漏检率。
Description
技术领域
本发明涉及卷烟产品检测技术领域，尤其涉及一种基于X射丝视觉的梗签检测方法。
背景技术
在制丝过程中由于特殊的物理性能及加工工艺因素影响，容易出现宽度或长度较大的梗签。梗签是指烟丝中形状与牙签相似，未膨胀或膨胀效果未达到卷制要求的烟梗。卷烟中的梗签会增加杂气和刺激性，造成刺破、漏气，燃吸时可能出现燃烧端爆口或熄火等现象，不仅影响了烟支的燃烧性，而且影响抽吸感官质量。同时在生产加工过程中会引起烟支重量偏差增大，影响烟支物理指标稳定性，不利于质量控制和设备的正常运转，影响设备效率和各项物耗指标。当前对卷烟中梗签的检测手段一般采用人工抽查的方式，即用刀片把烟支逐支划破，把烟丝剥离，然后对烟丝进行肉眼检测。此种方式一方面是检测效率不高，另一方面也由于人为要素的判断而降低了准确性。因此，如何对卷烟进行自动化精确检测含梗签，以提高梗签检测效率，减少烟梗检测的误检率或者漏检率，具有重要的意义。
发明内容
本发明提供一种基于X射丝视觉的梗签检测方法，解决现有卷烟产品的梗签检测存在效率低和准确率不高的问题，能提高梗签检测效率，减少烟梗检测的误检率或者漏检率。
为实现以上目的，本发明提供以下技术方案：
一种基于X射线视觉的梗签检测方法，包括：
随机选取不同品牌的卷烟作为检测对象，利用X射线设备对检测对象进行X射线照射并获得对应的卷烟透视图像；
利用生成式对抗网络将所述卷烟透视图像生成多组伪标注样本，并根据筛选指标对所述伪标注样本进行筛选，以确定最终的扩充标注样本；
获取所述检测对象的人工标注样本，将所述扩充标注样本输入预设的梗签分类网络进行预训练，并利用所述人工标注样本对训练网络进行调整；
利用训练后的梗签分类网络对测试的卷烟样本进行梗签检测。
优选的，还包括：
将总体分类精度作为训练后的梗签分类网络的评价指标，所述总体分类精度根据公式
计算得到，其中，OA为总体分类精度，Z为总体样本数，Z为所有分类正确的样本数。
优选的，还包括：
将所述筛选指标作为训练后的梗签分类网络的评价指标，所述筛选指标根据公式SDFn＝αNFIDn+βTRn,n∈[0,N]计算得到，其中，SDFn为生成的第N组的伪标注样本的评价分数，NFIDn∈[0,1]为归一化后的FID分数和TRn∈[0,1]为归一化后的训练评价分数，α为NFIDn的权重系数，β为TRn的权重系数，且α+β＝1。
优选的，利用基于改进损失函数的SinGAN模型生成多组所述伪标注样本，并基于所述SinGAN模型进行样本训练，所述SinGAN模型的判别器的损失函数为：
所述SinGAN模型的生成器的损失函数为：
其中，Gn为第n个生成器，χ是xn和
的联合采样空间，
是梯度惩罚项，μ是权重系数，
是第n+1个生成器生成的伪图像，
是第n个生成器生成的伪图像，xn是每个尺度下对应的真实图像，z*为训练前选取的随机值，Ldiv为生成图像之间距离和噪声之间距离的比值。
优选的，所述根据筛选指标对所述伪标注样本进行筛选，包括：
所述SinGAN模型在训练结束后生成N+1组伪图像{PSN,…,PSn,…,PS0}，所述SinGAN模型根据所述伪图像生成所述伪标注样本，
根据选定的所述筛选指标SDFn评估所述伪标注样本的真实性和多样性，并利用公式
评估生成图像的质量，其中FRS和
分别代表真实图像RS和第n组生成图像PSn的特征向量平均值，CFRS和
分别代表以RS和PSn的特征向量计算得到的协方差矩阵，Tr(·)代表矩阵的迹。
优选的，所述利用训练后的梗签分类网络对测试的卷烟样本进行梗签检测，包括：
通过含有聚焦损失函数的Softmax分类器对目标样本进行预测分类，并根据公式FL(pi)＝-αi(1-pi)γlog(pi)确定损失函数值，其中，FL(pi)为损失函数值，pi表示模型预测样本中含有梗签的概率，γ表示控制“聚焦”的超参数，αi表示控制正负样本对总损失的“贡献”。
优选的，还包括：
选取不同品牌的卷烟作为检测对象并将采集后的数据制作成数据集，并根据所述数据集对训练后的梗签分类网络进行检测验证，以判断梗签的最终检测率是否达到设定阈值，如果是，则所述梗签分类网络的训练合格。
优选的，制作数据集步骤包括：
首先经由X射线设备照射卷烟获得卷烟透视图像并对其进行人工标注，每种品牌的香烟采集图像100张，其中有梗签和无梗签的各50张，共2000张图像；
然后利用训练后的SinGAN模型对每个类别有无梗签的图像按照20％和50％的训练率分别进行数据扩充，剩下的80％和50％用于后续测试；
图像扩充比例为1:20，在训练率为20％时，扩充数据集为20类，每类400幅图像，共8000幅图像；
在训练率为50％时，扩充数据集为20类，每类1000幅图像，共20000幅图像。
优选的，所述利用X射线设备对检测对象进行X射线照射并获得对应的卷烟透视图像，包括：
基于烟丝与梗签的X射线透射成像特性的差异，X射线透射成像形成X射线黑白图像；
对所述X射线黑白图像进行滤噪预处理，以去除图像中的背景噪音；
利用区域生长法对滤噪预处理后的X射线黑白图像进行图像分割，以分割为烟梗像素和背景像素；
采用模糊C聚类算法对得到每个分割的烟梗像素对所属烟梗中心的隶属度，以对干扰信息进行滤除和归属判断；
在模糊C聚类算法处理后，对聚集在一起的像素进行形状分析，并计算分割区域面积和区域的长宽比，以进行形状识别。
本发明提供一种基于X射丝视觉的梗签检测方法，通过X射线设备对检测卷烟进行数据采集并进行人工标注；然后利用生成式对抗网络对数据进行扩充，并利用所提筛选指标对生成样本进行筛选，以确定最终的扩充样本，最后将扩充后的样本用于分类网络的训练，并用真实样本对训练好的网络做进一步微调。解决现有卷烟产品的梗签检测存在效率低和准确率不高的问题，能提高梗签检测效率，减少烟梗检测的误检率或者漏检率。
附图说明
为了更清楚地说明本发明的具体实施例，下面将对实施例中所需要使用的附图作简单地介绍。
图1是本发明提供一种基于X射丝视觉的梗签检测方法示意图。
图2是本发明提供的梗签检测流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。
针对当前卷烟内的梗签检测效率低和准确率不高的问题，本发明提供一种基于X射丝视觉的梗签检测方法，解决现有卷烟产品的梗签检测存在效率低和准确率不高的问题，能提高梗签检测效率，减少烟梗检测的误检率或者漏检率。
如图1和图2所示，一种基于X射线视觉的梗签检测方法，包括：
S1：随机选取不同品牌的卷烟作为检测对象，利用X射线设备对检测对象进行X射线照射并获得对应的卷烟透视图像。
S2：利用生成式对抗网络将所述卷烟透视图像生成多组伪标注样本，并根据筛选指标对所述伪标注样本进行筛选，以确定最终的扩充标注样本。
S3：获取所述检测对象的人工标注样本，将所述扩充标注样本输入预设的梗签分类网络进行预训练，并利用所述人工标注样本对训练网络进行调整。
S4：利用训练后的梗签分类网络对测试的卷烟样本进行梗签检测。
具体地，随机选取不同品牌的香烟作为待检对象。首先利用工业X射线设备对烟卷进行逐一数据采集，获得原始透视图像并逐一编号；然后人工剥开烟卷检测其内是含有梗签，并根据结果对每只烟卷对应的透视图像进行人工标注。但由于原始数据采集耗时耗力，所以利用生成式对抗网络(Generative Adversarial Networks，GAN)根据原始图像生成一批可用于后续网络训练的伪标注样本；然后利用所提筛选方法对生成数据进行筛选，确定最终的扩充样本；最后将筛选后的扩充样本用于后续梗签分类网络的训练。本方法能解决现有卷烟产品的梗签检测存在效率低和准确率不高的问题，能提高梗签检测效率，减少烟梗检测的误检率或者漏检率。
该方法还包括：将总体分类精度作为训练后的梗签分类网络的评价指标，所述总体分类精度根据公式
计算得到，其中，OA为总体分类精度，Z为总体样本数，Z为所有分类正确的样本数。
该方法还包括：将所述筛选指标作为训练后的梗签分类网络的评价指标，所述筛选指标根据公式SDFn＝αNFIDn+βTRn,n∈[0,N]计算得到，其中，SDFn为生成的第N组的伪标注样本的评价分数，NFIDn∈[0,1]为归一化后的FID分数和TRn∈[0,1]为归一化后的训练评价分数，α为NFIDn的权重系数，β为TRn的权重系数，且α+β＝1。
进一步，利用基于改进损失函数的SinGAN模型生成多组所述伪标注样本，并基于所述SinGAN模型进行样本训练，所述SinGAN模型的判别器的损失函数为：
所述SinGAN模型的生成器的损失函数为：
其中，Gn为第n个生成器，χ是xn和
的联合采样空间，
是梯度惩罚项，μ是权重系数，
是第n+1个生成器生成的伪图像，
是第n个生成器生成的伪图像，xn是每个尺度下对应的真实图像，z*为训练前选取的随机值，Ldiv为生成图像之间距离和噪声之间距离的比值。
在实际应用中，SinGAN是一种可以从单幅自然图像学习的非条件生成模型，能够捕捉图像的内部块分布信息，生成具有相同视觉内容的高质量、多变的样本。不同于传统GAN只有一个生成器(Generative Model,G)和一个判别器(Discriminative Model,D)，SinGAN分别有多个生成器和判别器，可认为是多个GAN的级联，整体呈现金字塔结构。每个GAN负责学习图像不同尺度的分布信息，因此可以生成具有任意尺寸和纵横比的新样本。这些样本具有明显的变化，同时又可以保持训练图像的整体结构和精细的纹理特征。与之前的单图像GAN方案对比，该方法不局限于纹理图像，而且是非条件的(即从噪声生成样本)。同时不同于其他GAN只能应用于单一任务，SinGAN可以用于图像生成，图像分割，超分辨率任务，绘制图像转换，图像编辑，图像和谐化等任务。SinGAN的生成过程是由下而上，由粗糙到精细。所有的G和D都具有相同的结构，由5组3×3的全卷积组成，所以G和D都拥有11×11的感受野，相同感受野的设置可以使每一层的GAN都关注到图像的整体布局和目标的全局结构。
SinGAN是从单幅图像中学习到图像的分布，这是与其他GAN模型相比最为重要的特征。由于SinGAN是金字塔结构，所以在训练过程中是逐层的训练，从下往上。每一层的GAN训练好后，就将其固定，不再改变其网络参数。
与生成器{G0…GN}相对应的是判别器{D0…DN}，每一层的判别器是用来区分相对应的经真实图像x下采样得到的xn与生成器生成的伪图像
的真假。其中，判别器Dn的损失函数采用WGAN-GP(Wassertein Distance Generative Adversarial Networks-GradientPenalty)，该损失函数可以增加网络训练的稳定性，如(1)所示：
其中:D(xn)是xn的生成器，
是
的生成器，χ是xn和
的联合采样空间，第三项是梯度惩罚项，μ是权重系数。WGAN-GP为了解决WGAN中由于权重限制而产生的参数过于集中的问题以及训练过程中梯度爆炸和消失的问题，提出了一种梯度惩罚的方法，设置阈值，当样本梯度超过该阈值时即实行惩罚。该方法有效的解决了上述问题并稳定了GAN网络的训练。
Gn的损失函数又称为重构损失，该损失函数建立的目的是希望存在一组随机噪声输入，使得最终输出的图像就是原图，从而增加训练的稳定性。所以作者在此选取特定的随机噪声。如下：
其中z*是训练前随机选取的一个值，之后不再改变。
所以Gn的损失函数如下：
其中：
是第n+1个生成器使用上述固定噪声生成的伪图像，xn是每个尺度下对应的真实图像。
生成器是将噪声作为输入，而噪声一旦选定即不再改变。同时注意到GAN在生成图像时极易发生模式崩溃，只生成其中几个类别的图像。映射到分布中则是这几类样本数据分布广，数据峰值大，而其他类别则相反。所以在生成过程中大部分的数据都落在数据分布广的类别上，从而降低了生成样本的多样性。所以为了进一步增加生成样本的多样性，本方法在生成器一端设计添加了一个正则化项。该正则项通过最大化生成图像之间距离和噪声之间距离的比值，直观的增加生成图像的多样性。噪声之间的距离是固定的，所以最大化生成图像之间距离和噪声之间距离的比值可以直接拉开生成图像的距离，强制生成图像的数据分部落在峰值小，范围窄的类别上。如下：
其中z1,z2为同一噪声空间的不同采样，G()表示生成的伪样本，d()表示距离。
所以生成器Gn最终的损失函数如下：
SinGAN改进前后的生成效果对比可知，原始SinGAN生成的图像与真实图像无异，说明生成图像具有高度真实性但多样性较低；而改进后的SinGAN生成的伪标注样本在粗细，长短以及梗签形状上均发生了明显变化，说明改进后SinGAN可以生成具有更高多样性的样本，这也就增加了后续网络的鲁棒性。
进一步，所述根据筛选指标对所述伪标注样本进行筛选，包括：
所述SinGAN模型在训练结束后生成N+1组伪图像{PSN,…,PSn,…,PS0}，所述SinGAN模型根据所述伪图像生成所述伪标注样本，
根据选定的所述筛选指标SDFn评估所述伪标注样本的真实性和多样性，并利用公式
评估生成图像的质量，其中FRS和
分别代表真实图像RS和第n组生成图像PSn的特征向量平均值，CFRS和
分别代表以RS和PSn的特征向量计算得到的协方差矩阵，Tr(·)代表矩阵的迹。
在实际应用中，SinGAN在训练结束后会生成N+1组伪图像，即{PSN,…,PSn,…,PS0}。但并不是每一组伪图像都适合用于模型的训练。所以本方法提出了一种基于改进的伪样本筛选定量指标SDF∈[0,1]。该指标可以综合评估伪样本的真实性与多样性。具体如下：
SDFn＝αNFIDn+βTRn,n∈[0,N]； (6)
其中SDFn代表PSn的评价分数，NFIDn∈[0,1]和TRn∈[0,1]分别代表归一化后的FID(Fréchet Inception Distance)分数和PSn的训练评价分数，α和β分表NFIDn和TRn的权重系数，并且二者满足α+β＝1。同时，为了使NFIDn和TRn对SDFn具有同等的贡献率，我们将α和β都设置为0.5。
公式中的NFIDn是FIDn的标准化版本，具体如下：
其中FIDn是PSn的FID分数，Min()表示最小化操作，因为伪样本的质量与FID分数成反比。
FID是2017年提出的用于评估生成图像质量的度量标准，并专门用于评估生成式对抗网络的性能。由于FID出色的度量方式，它可以很好的度量生成图像的真实性与多样性。公式如下：
其中FRS和
分别代表真实图像RS和第n组生成图像PSn的特征向量平均值，CFRS和
分别代表以RS和PSn的特征向量计算得到的协方差矩阵，Tr(·)代表矩阵的迹。式中用于计算的特征向量均由经过ImageNet数据集预训练过的Inception V3网络提取得到。
虽然FID可以从图像“内部”直接计算生成图像与真实图像之间的距离从而评估生成图像的质量，但它并没有从提高训练质量的角度评价生成样本，而提高模型的分类精度，提升模型的训性能才是生成大量伪样本的核心动机。因此，我们提出将TRn和FID联合起来用于生成样本的评估，TRn包括两部分：
TRn＝λNSIMn+ηNDIVn；
其中SIMn代表RS和PSn的相似度，DIVn代表PSn的相对于RS的相对多样性，NSIMn∈[0,1]和NDIVn∈[0,1]分别是SIMn和DIVn的归一化版本，λ和η代表NSIMn和NDIVn的权重系数，并且λ+η＝1。由于伪样本的真实性和多样性一样重要，所以我们将λ和η的值都设置为0.5。
由于生成样本最终要用于模型的训练，所以从模型训练的角度考虑生成样本的质量。于是，若伪样本和真实样本相似，那么将伪样本用于经真实样本训练过的深度神经网络的测试阶段，则会得到较高的分数，且此分数不会比用真实样本用于测试得到的分数差；另一方面，如果伪样本的多样性不高，伪样本就不能完全覆盖真实样本的数据分布，训练在伪样本上的深度神经网络在对真实样本进行测试时就不能得到高精度分类结果，即DIVn很低。所以采取以下方式计算SIMn和DIVn：
其中，DNN(RS)和DNN(PSn)代表深度神经网络DNN(Deep Neural Networks)分别由RS和PSn训练，OA(DNN(RS),PSn)表示训练好的网络DNN(RS)由PSn测试的结果，OA(DNN(PSn),RS)表示训练好的网络DNN(PSn)由RS测试的结果。
值得注意的是，由于FIDn SIMn和DIVn三者的原始取值范围不同，所以归一化操作是必须的，这也是式(7)和式(9)中归一化的原因。这样可以保证最终的取值范围都在[0,1]。而且α+β＝1和λ+η＝1能够保证SDFn和TRn的值被限制在[0,1]。
最后，最佳的伪样本PSj可以根据SDFn的分数大小确定，SDFn越大，伪样本质量越好。即：
进一步，所述利用训练后的梗签分类网络对测试的卷烟样本进行梗签检测，包括：
通过含有聚焦损失函数的Softmax分类器对目标样本进行预测分类，并根据公式FL(pi)＝-αi(1-pi)γlog(pi)确定损失函数值，其中，FL(pi)为损失函数值，pi表示模型预测样本中含有梗签的概率，γ表示控制“聚焦”的超参数，αi表示控制正负样本对总损失的“贡献”。
在实际应用中，为了更好地解决难例样本难以识别的问题，本方法将传统的交叉熵损失函数替换为Focal Loss，这一损失函数的应用可以进一步提高梗签检测的准确性。
FL(pi)＝-αi(1-pi)γlog(pi)； (12)
其中FL()表示损失函数值，pi表示模型预测样本中含有梗签的概率，γ表示控制“聚焦”的超参数，即控制模型更多关注难例样本，αi表示控制正负样本对总损失的“贡献”。当αi较小时，负样本的权重降低，意味着正样本权重的增加，从而也就降低了负样本对训练的影响，提升最终的分类精度。
当网络训练完成后，确定其参数不再改变，然后将测试样本送入深度梗签分类网络即可实现梗签检测。
该方法还包括：选取不同品牌的卷烟作为检测对象并将采集后的数据制作成数据集，并根据所述数据集对训练后的梗签分类网络进行检测验证，以判断梗签的最终检测率是否达到设定阈值，如果是，则所述梗签分类网络的训练合格。
进一步，选取市面上20种不同品牌的香烟作为检测对象并将采集后的数据制作成数据集XIC-20，制作数据集步骤包括：
首先经由X射线设备照射卷烟获得卷烟透视图像并对其进行人工标注，每种品牌的香烟采集图像100张，其中有梗签和无梗签的各50张，共2000张图像；
然后利用训练后的SinGAN模型对每个类别有无梗签的图像按照20％和50％的训练率分别进行数据扩充，剩下的80％和50％用于后续测试。
图像扩充比例为1:20，在训练率为20％时，扩充数据集为20类，每类400幅图像，共8000幅图像；
在训练率为50％时，扩充数据集为20类，每类1000幅图像，共20000幅图像。
具体地，参数设置采用SinGAN默认设置，即N＝8，所以会产生共9组伪样本{PS8,…,PS0}。其中batch size设置为1，判别器和生成器的学习率均为0.0005，优化器为Adam；对于ResNet50的训练，batch size设置为32，学习率最后一层是0.01，其他层均为0.001，优化器为ASGD，同时Focal Loss中的超参数设置按照原文默认设置，即αi＝0.25，γ＝2。
在融合伪样本和损失函数的梗签检测算法实验验证阶段，数据集的训练率与生成阶段一致。数据集每种训练率下的实验重复10次。
运行试验的工作站配置为两块E5-2650V4 CPU(2.2GHz，共12×2核)，512GB，GPU为NVIDIA TITAN RTX，内存24GB×8。选取Pytorch为深度学习平台。
如表1在筛选有效性对比的实验结果所示，表1第一行是9组不同的伪样本{PS8,…,PS0}，其中PS8表示由底部GAN生成，PS0是顶部GAN生成；第二行是定量筛选分数SDF(公式6)；第三行是总体分类精度。
表1
显然，如表1所示，SDF值越高，对应的OA(公式13)值越高，这可以直接验证所提出的定量筛选指标的有效性。同时，随着生成尺度的上升，SDF值、OA值虽然相差不多，但却都在下降，这说明生成图像的质量在逐渐下降。所以选择值最高的一组伪标注样本用于后续ResNet50训练，即采用SinGAN中的底部GAN作为初始GAN生成伪样本。
如表2为总体精度对比实验结果所示，表2为在数据集上进行的总体精度对比。RS表示仅由真实样本训练的深度分类网络模型，也被认为是基准方法，PS使用伪样本代替真实样本进行训练，RS+PS联合使用真实和伪样本训练深度网络分类模型。用Focal Loss分别代替RS、PS、RS+PS的传统交叉熵损失，得到RS+FL、PS+FL和RS+FS+FL，其中RS+FS+FL表示本方法所提的方法。
表2
由表2数据可知，PS的整体性能优于RS，说明生成的伪样本质量好，可以提高深度分类网络的性能。RS+PS与PS的比较表明，PS与RS的结合可以进一步提高深度分类网络的性能。通过RS+FL、PS+FL、RS+FS+FL与RS、PS、RS+PS的比较，说明Focal Loss可以替代传统的交叉熵损失函数并提升网络的分类精度。
进一步，所述利用X射线设备对检测对象进行X射线照射并获得对应的卷烟透视图像，包括：
基于烟丝与梗签的X射线透射成像特性的差异，X射线透射成像形成X射线黑白图像。
对所述X射线黑白图像进行滤噪预处理，以去除图像中的背景噪音。
利用区域生长法对滤噪预处理后的X射线黑白图像进行图像分割，以分割为烟梗像素和背景像素。
采用模糊C聚类算法对得到每个分割的烟梗像素对所属烟梗中心的隶属度，以对干扰信息进行滤除和归属判断。
在模糊C聚类算法处理后，对聚集在一起的像素进行形状分析，并计算分割区域面积和区域的长宽比，以进行形状识别。
具体地，基于烟丝与梗签的X射线透射成像特性的差异，X射线透射成像方法可有效用于含梗烟支的检测判定。因此，对烟梗的图像识别算法主要针对X射线透射成像的灰度图进行设计。包括烟支经X射线透射成像后图像的滤噪预处理方法图像分割方法，以及梗签识别的特征图像参量，叶丝及梗签分类识别的分类器算法，最终建立梗签的图像识别方法。烟梗图像识别算法主要包括图像预处理、图像分割、干扰点归属判断和形状特征判定四个部分。其中图像分割和干扰点归属判断中，分别研究采用了具有仿人工智能特点的区域生长法和基于无监督机器学习功能的模糊C聚类算法。
(1)烟梗图像预处理，系统采集获得的原图像中包括较多背景噪音，影响后续图像分割质量，易造成烟梗的误判。因此，需要通过图像预处理强化烟梗信息，消除各种随机噪声。为确定较好的噪音消除算法，通过数据仿真分别测试了均值滤波、自适应维纳滤波、中值滤波、形态学滤波等方法，根据滤波效果最终采用灰度形态学噪声滤除器。
(2)区域生长法图像分割，在获取的图像中，烟支中叶丝及梗签的图像在灰度级上存在非常大的相似度，并且聚集在一起，区域生长根据迭代规则可自动将图像中的烟梗标记出来。先根据烟梗成像的灰度信息分布确定为种子像素，然后将种子像素周围邻域中与种子像素有相同或相似性质的像素合并到种子像素所在的区域中，再将新像素当作新的种子迭代运算，进而将相似性质像素集合起来构成区域。
(3)模糊C聚类归属判断，图像被分割为烟梗像素和背景像素后，图像中还存在很多点状干扰，会导致较大程度误判。因此，采用基于无监督机器学习功能的模糊C聚类算法对干扰信息进行滤除和归属判断。模糊C聚类算法是用模糊理论对重要数据分析和建模的方法，建立了样本类属的不确定性描述。由于烟梗信息比较复杂，有些烟梗会在分割图像上表现为断裂形式，采用传统的连通性标记算法会导致出现形状判断失误，出现漏识别。采用模糊C聚类可以得到每个分割的烟梗象素对所属烟梗中心的隶属度，从而决定将多个断裂模块归属为一个烟梗信息。这样可以有效的增加识别率。
(4)形状识别，进一步降低烟梗的误检率，在算法中加入了形状识别。形状识别算法是在模糊C聚类算法处理后，对聚集在一起的像素进行形状分析，并计算分割区域面积、区域的长宽比等形状因子。区域面积采用该区域的像素聚集度S表示，区域的长宽比采用外接矩形法确定区域的长度L和直径D，进而计算出长宽比R。当区域S大于120、且R大于10时，满足形状特征，则判断为烟梗。
为验证烟支含梗无损检测装置的检测效率和准确性，选择某厂家已加工的普通烟丝，人工去除烟丝中所含梗签，将该部分烟丝加工为烟支过程中，将其分为十组，在这十组烟支中通过人工方式在部分烟支中加入梗签，其中每组加入梗签的烟支数量占该组烟支总数量的比例分别为11％、12％、13％、14％、15％、16％、17％、18％、19％、20％。使用烟支含梗无损检测装置对以上10组烟支进行取样各20次，取样量各100支检测。其中对每次取样的烟支，其含梗比例与该组总含梗比例保持一致。待检测完毕后调整10组烟支的检测顺序，进行人工检测。最后将两种检测方式的检测效率及准确度进行对比分析。
检测结果见表3。设备检测的绝对误差值范围在0.1～0.9之间，人工检测的绝对误差范围在0.8～1.5之间。设备检测的标准偏差范围在0.9468～1.5898之间，人工检测的标准偏差范围在1.1548～1.5864之间。从绝对误差范围和标准偏差范围可以看出设备检测的准确度和精确度稍高于人工检测，表明烟支梗签无损检测设备在检测准确度和精确度上有较高的可靠性。在检测时长方面，设备检测时长约为人工检测时长的二分之一，极大的提高了检测效率。
表3
设备检测方式产生的标准偏差和绝对误差均小于人工检测方式，设备检测有较高的可靠性。与人工检测方式相比，烟支无损检测设备的检测时长约为人工检测的二分之一，在保证检出准确度和精确度的同时，也提高了检测效率。
可见，本发明提供一种基于X射丝视觉的梗签检测方法，通过X射线设备对检测卷烟进行数据采集并进行人工标注；然后利用生成式对抗网络对数据进行扩充，并利用所提筛选指标对生成样本进行筛选，以确定最终的扩充样本，最后将扩充后的样本用于分类网络的训练，并用真实样本对训练好的网络做进一步微调。解决现有卷烟产品的梗签检测存在效率低和准确率不高的问题，能提高梗签检测效率，减少烟梗检测的误检率或者漏检率。
以上依据图示所示的实施例详细说明了本发明的构造、特征及作用效果，以上所述仅为本发明的较佳实施例，但本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。
Claims (9)
1.一种基于X射线视觉的梗签检测方法，其特征在于，包括：
随机选取不同品牌的卷烟作为检测对象，利用X射线设备对检测对象进行X射线照射并获得对应的卷烟透视图像；
利用生成式对抗网络将所述卷烟透视图像生成多组伪标注样本，并根据筛选指标对所述伪标注样本进行筛选，以确定最终的扩充标注样本；
获取所述检测对象的人工标注样本，将所述扩充标注样本输入预设的梗签分类网络进行预训练，并利用所述人工标注样本对训练网络进行调整；
利用训练后的梗签分类网络对测试的卷烟样本进行梗签检测。
2.根据权利要求1所述的基于X射线视觉的梗签检测方法，其特征在于，还包括：
将总体分类精度作为训练后的梗签分类网络的评价指标，所述总体分类精度根据公式
计算得到，其中，OA为总体分类精度，Z为总体样本数，Z为所有分类正确的样本数。
3.根据权利要求2所述的基于X射线视觉的梗签检测方法，其特征在于，还包括：
将所述筛选指标作为训练后的梗签分类网络的评价指标，所述筛选指标根据公式SDFn＝αNFIDn+βTRn,n∈[0,N]计算得到，其中，SDFn为生成的第N组的伪标注样本的评价分数，NFIDn∈[0,1]为归一化后的FID分数和TRn∈[0,1]为归一化后的训练评价分数，α为NFIDn的权重系数，β为TRn的权重系数，且α+β＝1。
4.根据权利要求3所述的基于X射线视觉的梗签检测方法，其特征在于，利用基于改进损失函数的SinGAN模型生成多组所述伪标注样本，并基于所述SinGAN模型进行样本训练，所述SinGAN模型的判别器的损失函数为：
所述SinGAN模型的生成器的损失函数为：
其中，Gn为第n个生成器，χ是xn和
的联合采样空间，
是梯度惩罚项，μ是权重系数，
是第n+1个生成器生成的伪图像，
是第n个生成器生成的伪图像，xn是每个尺度下对应的真实图像，z*为训练前选取的随机值，Ldiv为生成图像之间距离和噪声之间距离的比值。
5.根据权利要求4所述的基于X射线视觉的梗签检测方法，其特征在于，所述根据筛选指标对所述伪标注样本进行筛选，包括：
所述SinGAN模型在训练结束后生成N+1组伪图像{PSN,…,PSn,…,PS0}，所述SinGAN模型根据所述伪图像生成所述伪标注样本，
根据选定的所述筛选指标SDFn评估所述伪标注样本的真实性和多样性，并利用公式
评估生成图像的质量，其中FRS和
分别代表真实图像RS和第n组生成图像PSn的特征向量平均值，CFRS和
分别代表以RS和PSn的特征向量计算得到的协方差矩阵，Tr(·)代表矩阵的迹。
6.根据权利要求5所述的基于X射线视觉的梗签检测方法，其特征在于，所述利用训练后的梗签分类网络对测试的卷烟样本进行梗签检测，包括：
通过含有聚焦损失函数的Softmax分类器对目标样本进行预测分类，并根据公式FL(pi)＝-αi(1-pi)γlog(pi)确定损失函数值，其中，FL(pi)为损失函数值，pi表示模型预测样本中含有梗签的概率，γ表示控制“聚焦”的超参数，αi表示控制正负样本对总损失的“贡献”。
7.根据权利要求6所述的基于X射线视觉的梗签检测方法，其特征在于，还包括：
选取不同品牌的卷烟作为检测对象并将采集后的数据制作成数据集，并根据所述数据集对训练后的梗签分类网络进行检测验证，以判断梗签的最终检测率是否达到设定阈值，如果是，则所述梗签分类网络的训练合格。
8.根据权利要求7所述的基于X射线视觉的梗签检测方法，其特征在于，制作数据集步骤包括：
首先经由X射线设备照射卷烟获得卷烟透视图像并对其进行人工标注，每种品牌的香烟采集图像100张，其中有梗签和无梗签的各50张，共2000张图像；
然后利用训练后的SinGAN模型对每个类别有无梗签的图像按照20％和50％的训练率分别进行数据扩充，剩下的80％和50％用于后续测试；
图像扩充比例为1:20，在训练率为20％时，扩充数据集为20类，每类400幅图像，共8000幅图像；
在训练率为50％时，扩充数据集为20类，每类1000幅图像，共20000幅图像。
9.根据权利要求8所述的基于X射线视觉的梗签检测方法，其特征在于，所述利用X射线设备对检测对象进行X射线照射并获得对应的卷烟透视图像，包括：
基于烟丝与梗签的X射线透射成像特性的差异，X射线透射成像形成X射线黑白图像；
对所述X射线黑白图像进行滤噪预处理，以去除图像中的背景噪音；
利用区域生长法对滤噪预处理后的X射线黑白图像进行图像分割，以分割为烟梗像素和背景像素；
采用模糊C聚类算法对得到每个分割的烟梗像素对所属烟梗中心的隶属度，以对干扰信息进行滤除和归属判断；
在模糊C聚类算法处理后，对聚集在一起的像素进行形状分析，并计算分割区域面积和区域的长宽比，以进行形状识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210179428.1A CN114549485A (zh) | 2022-02-25 | 2022-02-25 | 一种基于x射线视觉的梗签检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210179428.1A CN114549485A (zh) | 2022-02-25 | 2022-02-25 | 一种基于x射线视觉的梗签检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114549485A true CN114549485A (zh) | 2022-05-27 |
Family
ID=81679303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210179428.1A Pending CN114549485A (zh) | 2022-02-25 | 2022-02-25 | 一种基于x射线视觉的梗签检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549485A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393378A (zh) * | 2022-10-27 | 2022-11-25 | 深圳市大数据研究院 | 一种低成本高效的细胞核图像分割方法 |
-
2022
- 2022-02-25 CN CN202210179428.1A patent/CN114549485A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393378A (zh) * | 2022-10-27 | 2022-11-25 | 深圳市大数据研究院 | 一种低成本高效的细胞核图像分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kukreja et al. | A Deep Neural Network based disease detection scheme for Citrus fruits | |
| Leemans et al. | AE—automation and emerging technologies: on-line fruit grading according to their external quality using machine vision | |
| CN108288271A (zh) | 基于三维残差网络的图像检测系统及方法 | |
| CN109886238A (zh) | 基于语义分割的无人机航拍图像变化检测算法 | |
| CN112734734A (zh) | 一种基于改进残差网络的铁路隧道裂缝检测方法 | |
| CN110569747A (zh) | 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法 | |
| CN110956212A (zh) | 一种基于视觉特征融合的打叶质量检测方法 | |
| CN110849828A (zh) | 一种基于高光谱图像技术的藏红花分类方法 | |
| CN105427309A (zh) | 面向对象高空间分辨率遥感信息提取的多尺度分层处理方法 | |
| Rad et al. | Classification of rice varieties using optimal color and texture features and BP neural networks | |
| CN109086794B (zh) | 一种基于t-lda主题模型的驾驶行为模式识方法 | |
| CN110163101A (zh) | 中药材种子区别及等级快速判别方法 | |
| Sharma et al. | Image processing techniques to estimate weight and morphological parameters for selected wheat refractions | |
| CN113298780A (zh) | 一种基于深度学习的儿童骨龄评估方法及系统 | |
| CN107918487A (zh) | 一种基于皮肤电信号识别中文情感词的方法 | |
| CN111340098B (zh) | 基于鞋印图像的STA-Net年龄预测方法 | |
| Erbaş et al. | Classification of hazelnuts according to their quality using deep learning algorithms. | |
| CN118015244B (zh) | 一种基于卷积神经网络的烟丝均匀性检测方法和系统 | |
| Mohamadzadeh Moghadam et al. | Nondestructive classification of saffron using color and textural analysis | |
| CN114387517A (zh) | 一种基于高分辨率遥感影像的温室大棚智能提取方法 | |
| CN114549485A (zh) | 一种基于x射线视觉的梗签检测方法 | |
| Heryanto et al. | Classification of Coffee Beans Defect Using Mask Region-based Convolutional Neural Network | |
| CN108319935A (zh) | 基于区域稀疏的人脸族群识别算法 | |
| Sivaranjani et al. | CashNet-15: an optimized cashew nut grading using deep CNN and data augmentation | |
| E. Angelia et al. | Dried Robusta Coffee Bean Quality Classification Using Convolutional Neural Network Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |