CN116863218A - 一种基于关键鉴定部位的商品真伪鉴定方法及系统 - Google Patents
一种基于关键鉴定部位的商品真伪鉴定方法及系统 Download PDFInfo
- Publication number
- CN116863218A CN116863218A CN202310806782.7A CN202310806782A CN116863218A CN 116863218 A CN116863218 A CN 116863218A CN 202310806782 A CN202310806782 A CN 202310806782A CN 116863218 A CN116863218 A CN 116863218A
- Authority
- CN
- China
- Prior art keywords
- authenticity
- commodity
- network
- classification
- key identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000003993 interaction Effects 0.000 claims abstract description 40
- 230000008030 elimination Effects 0.000 claims abstract description 37
- 238000003379 elimination reaction Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000010586 diagram Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 10
- 101000802640 Homo sapiens Lactosylceramide 4-alpha-galactosyltransferase Proteins 0.000 claims description 5
- 102100035838 Lactosylceramide 4-alpha-galactosyltransferase Human genes 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000004049 embossing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000002184 metal Substances 0.000 description 5
- 229910052751 metal Inorganic materials 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010422 painting Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 235000019504 cigarettes Nutrition 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 241000270722 Crocodylidae Species 0.000 description 2
- HXVZGASCDAGAPS-UHFFFAOYSA-N MAMC Natural products CC1=CC(=O)OC2=CC(OC(=O)C)=CC=C21 HXVZGASCDAGAPS-UHFFFAOYSA-N 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- LNNWVNGFPYWNQE-GMIGKAJZSA-N desomorphine Chemical compound C1C2=CC=C(O)C3=C2[C@]24CCN(C)[C@H]1[C@@H]2CCC[C@@H]4O3 LNNWVNGFPYWNQE-GMIGKAJZSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 239000010985 leather Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 229910000906 Bronze Inorganic materials 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000010974 bronze Substances 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- KUNSUQLRTQLHQQ-UHFFFAOYSA-N copper tin Chemical compound [Cu].[Sn] KUNSUQLRTQLHQQ-UHFFFAOYSA-N 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于关键鉴定部位的商品真伪鉴定方法及系统,获取商品的关键鉴定部位图像得到数据集,对数据集中的图像进行人工鉴定真伪分类,得到真伪分类数据集;构建基于关键鉴定部位的真伪分类网络,包括Resnet50为主干网络,插入在主干网络中的区域峰值消除策略,以及衔接在主干网络输出端的特征交互模块;构建损失函数,利用真伪分类数据集对基于关键鉴定部位的真伪分类网络进行训练,确定真伪分类网络的参数,得到基于关键鉴定部位的真伪分类网络模型;屏蔽基于关键鉴定部位的真伪分类网络模型中的区域峰值消除策略,将待检测商品图像输入基于关键鉴定部位的真伪分类网络模型进行真伪鉴定分类,本发明真伪鉴定准确性高,实用性强。
Description
技术领域
本发明属于商品真伪鉴定技术领域,具体属于一种基于关键鉴定部位的商品真伪鉴定方法及系统。
背景技术
传统的商品真伪鉴定方法需要一定的专业知识、丰富的经验和特定的仪器,目前专家鉴定法依然是当前主流的商品真伪鉴定方法。如以着墨痕迹和文字印刷移位作为判断依据的邮票真伪鉴定,以局部细微差异和印章材质等作为判断依据的书法真伪鉴定等。然而,要将作品的所有区域与真品作一一对比的工作量非常庞大,容易造成鉴定结果的准确率的下降。
得益于深度学习和计算机视觉的飞速发展,以图像识别技术为基础进行真伪鉴定已成为研究趋势。如采用显微镜提取样本并使用卷积神经网络来提取重要结构形态特征的中药材及饮片显微鉴定方法,采用CCD摄像机在低倍显微镜下直接对中药材标本采样并利用深度学习完成特性分析测定;如将鳄鱼皮具的粒面组织结构和皮形进行特征提取来鉴定的鳄鱼皮具真伪鉴定方法;如通过计算机视觉模仿人眼视觉,建立类似于人的感官鉴别法得到基于计算机视觉和机器学习的真伪卷烟包装鉴别模型,解决人工鉴定真伪卷烟效率低、主观性强等问题,提高真伪卷烟的鉴别效率和适应性;如通过深度学习的图像分类技术对玉米品种进行真伪鉴别分类,解决了传统模式下需要人工定义各类特征,存在主观判断,费时费力,实用性较差等问题。如采用孪生网络结构对比画家代表作和待鉴定画作之间特征相似性的画作真伪辅助鉴定方法;如利用模式识别领域中的不变矩进行形状真实度评价的一种书法真伪鉴定方法,可以作为鉴定书法作品真伪的辅助依据,提高书法作品鉴定的效率与可信性。
然而,现有的基于图像识别技术的真伪鉴定方法存在很大的局限性。(1)大多数方法设计的网络只针对某一特定领域内的商品,其泛化性和在其他商品领域内的真伪鉴定性能不高;(2)真伪鉴定的重点是找寻判别性的特征,现有的方法在定位判别性特征上的能力较差,网络关注的特征往往并不是最能分别真伪的特征。
发明内容
为了解决现有技术中存在的问题,本发明提供一种基于关键鉴定部位的商品真伪鉴定方法及系统,采集关键鉴定部位图像,构建相应数据集,同时采用Resnet50作为主干网络,提出了区域峰值消除策略,并在此基础上设计了特征交互模块构建了基于关键鉴定部位的商品真伪鉴定网络,依靠视觉分类算法提取关键鉴定部位最能分别真伪的特征进行真伪鉴定,可广泛用于各种商品的真伪鉴定,且真伪鉴定准确性较高。
为实现上述目的,本发明提供如下技术方案:一种基于关键鉴定部位的商品真伪鉴定方法,具体步骤如下:
S1获取商品的关键鉴定部位图像得到数据集,对数据集中的图像进行人工鉴定真伪分类,得到真伪分类数据集;
S2构建基于关键鉴定部位的真伪分类网络,包括Resnet50为主干网络,插入在主干网络中的区域峰值消除策略RPE,以及衔接在主干网络输出端的特征交互模块FIM;
S3构建损失函数,利用真伪分类数据集对基于关键鉴定部位的真伪分类网络进行训练,确定真伪分类网络的参数,得到基于关键鉴定部位的真伪分类网络模型;
S4屏蔽基于关键鉴定部位的真伪分类网络模型中的区域峰值消除策略,将待检测商品图像输入基于关键鉴定部位的真伪分类网络模型进行真伪鉴定分类。
进一步的,S2中,在Resnet50主干网络stage3和stage4之间以及stage4和stage5之间均插入有一区域峰值消除策略RPE,stage3以及stage4的输出作为区域峰值消除策略RPE的输入。
进一步的,S2中,区域峰值消除策略RPE具体操作步骤如下:
1)对输入特征图F∈RC×W×H按宽度维度进行切片操作得到n份切片特征图F(k)∈RC ×(W/n)×H,k∈[1,n],对每一份切片特征图进行通道池化处理得到特征图
2)选择特征图FP(k)中最大峰值的像素设定为阈值δ,根据像素与阈值δ的大小来生成消除掩码P(k)drop;
3)将消除掩码P(k)drop与特征图相乘得到F(k)out,并且按宽度维度拼接回C×W×H维度得到峰值消除特征Fresult;
进一步的,S2中,特征图FP(k)中像素大于阈值δ,则消除掩码P(k)drop设置为0,相反消除掩码P(k)drop设置为1。
进一步的,S2中,将主干网络经过Stage4、Stage5得到的两个特征图作为一个图像对(F1,F2),所述图像对(F1,F2)为特征交互模块FIM的输入。
进一步的,S2中,特征交互模块FIM的具体操作步骤如下:
1)对特征图F1,F2在宽度和高度由W1×H1,W2×H2压缩为L1,L2,得到
2)特征图F′1 T与F2′进行内积运算得到相似度矩阵M12,对相似度矩阵M12的交互矩阵的行列进行归一化操作得到交互特征图W12;
3)将交互特征图W12按照公式(7)(8)加权到特征图F′1、F2′并将尺寸L1,L2转换回W1×H1,W2×H2,得到关联特征图
WF1=F2′×W12 T+F1′ (7)
WF2=F1′×W12+F2′ (8)
4)再将关联特征图WF1降采样后与关联特征图WF2逐元素相加最终输出加和结果。
进一步的,S2中,特征交互模块FIM后衔接全连接层进行分类操作,得到商品为真和为假的概率,且两者的分数相加为1,当商品真的概率大于商品假的概率时,待测图像被认为是分类为真。
本发明提供一种基于关键鉴定部位的商品真伪鉴定系统,包括:
数据获取模块,用于获取商品的关键鉴定部位图像得到数据集,对数据集进行人工鉴定真伪分类,得到真伪分类数据集;
网络构建模块,用于构建基于关键鉴定部位的真伪分类网络,包括Resnet50为主干网络,插入在主干网络中的区域峰值消除策略RPE,以及衔接在主干网络输出端的特征交互模块FIM;
网络训练模块,用于构建损失函数,利用真伪分类数据集对基于关键鉴定部位的真伪分类网络进行训练,确定真伪分类网络的参数,得到基于关键鉴定部位的真伪分类网络模型;
屏蔽基于关键鉴定部位的真伪分类网络模型中的区域峰值消除策略,将待检测商品图像输入基于关键鉴定部位的真伪分类网络模型进行真伪鉴定分类。
本发明提供一种终端设备,包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述真伪鉴定方法中步骤,或者,所述处理器执行所述计算机程序时实现上述系统中各模块的功能。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时,实现上述真伪鉴定方法中步骤。
与现有技术相比,本发明至少具有以下有益效果:
本发明提供一种基于关键鉴定部位的商品真伪鉴定方法,本发明的基于关键鉴定部位的真伪分类网络以Resnet50为主干网络,在网络训练阶段提出了区域峰值消除策略RPE,通过抑制最显著信息,迫使网络捕捉潜在的可区分信息,并在此基础上提出特征交互模块FIM,建立各个特征的共性关系,提高其特征丰富性,从而获取关键鉴定部位上最能分别真伪的特征进行真伪鉴定,不仅提高了真伪鉴定准确性,还可广泛用于各种商品,实用性高。
在现有的隐蔽和非隐蔽防伪鉴定技术中,在商品制造时候就将全息图,条形码,特质防伪标签等技术应用于产品,而本发明是一种实用的、非侵入式的鉴定方法,不需要在产品中嵌入任何物质,不需要以任何方式修改产品对象本身;且现有的隐蔽和非隐蔽防伪鉴定技术中无法验证先前未标记的对象,这也意味着上述方法需要对每个产品进行标记,若标记物出现损毁等问题,则无法对该对象进行身份鉴定,而本发明方法可以根据图像鉴定部位细微区别来区分真伪,无需对产品进行标记。
本发明方法使用时可以在云端完成鉴定工作,用户只需按照提示上传拍摄的图像即可,无需任何附加设备,成本更加低廉,过程简单方便。
附图说明
图1基于关键鉴定部位的真伪分类网络结构图;
图2区域峰值消除策略RPE结构图;
图3特征交互模块FIM结构图;
图4路易威登高端手提包内标压印部位真伪图像。(a)(b)(c)真品;(d)(e)(f)仿品;
图5路易威登高端手提包金属拉链部位真伪图像。(a)(b)(c)真品;(d)(e)(f)仿品;
图6特征图可视化效果图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的说明。
如图1所示,本发明提供一种基于关键鉴定部位的商品真伪鉴定方法,具体步骤如下:
S1构建真伪分类数据集;
获取商品的关键鉴定部位图像得到数据集,将数据集分为测试集和训练集,由专业鉴定师对训练集中的图像进行人工鉴定真伪分类,将得到真数据集和假数据集;
关键鉴定部位是商品上最能区分真伪或的部位或判断依据集中的部位,不同商品根据其特性可以确定不同的关键鉴定部位。如路易威登高端手提包的关键鉴定部位为内标压印部位和金属拉链部位。
S2构建基于关键鉴定部位的真伪分类网络,以Resnet50为主干网络,根据人眼感官上对细小局部特征的鉴定过程,在网络训练阶段提出了区域峰值消除策略(RegionalPeak Elimination,RPE),将整体特征图切分成小的切片,在每份切片中单独探索真伪信息,来模仿人工鉴定过程中鉴定师对于鉴定对象局部特征的真伪探索过程,抑制最显著信息,迫使网络捕捉潜在的可区分信息,得到具有潜在真伪特征的峰值消除特征Fresult;在上述操作得到峰值消除特征Fresult后,采用提出特征交互模块(Feature InteractionModule,FIM),增强语义互补信息,提升关联性,建立各个特征的共性关系,提高特征丰富性,增强线索对比能力。
S2.1主干网络
如图1所示,本发明选择Resnet50作为主干网络,该网络可以描述为5个stage,其中stage1结构简单,可视为对输入图像的预处理,后4个stage由残差块(Bottleneck)组成,结构相似,网络深度随着stage的增加而加深,所包含信息也随之愈加丰富,当输入图像经过不同stage后可得到不同尺度下的特征图F∈RC×W×H,其中C,W,H代表特征图的通道数,宽度和高度。
S2.2区域峰值消除策略
本发明需要避免真伪分类网络只关注于最显著的外观特征,同时引导网络着眼于可辨别真伪的细微特征。为了全面捕获这些可辨别真伪的细微特征,本发明在Resnet50主干网络stage3、stage4和stage5之间插入区域峰值消除策略RPE,以stage3以及stage4的输出作为区域峰值消除策略RPE的输入,区域峰值消除策略RPE对特征图进行切片操作,将整体特征图切分成多段切片,在每一个切片中探索其细微特征,避免其过度关注于最显著的外观特征,如图2所示,区域峰值消除策略RPE的具体结构如下:
首先,对输入特征图F∈RC×W×H按宽度维度进行切片操作得到n份切片特征图F(k)∈RC×(W/n)×H,k∈[1,n],在这其中,对于切片操作而言,其计算复杂度与切分的份数成正比,若n太大则会造成计算量过大,适用性降低,反之若太小,则会造成对于细微区域探索不够充分,因此,本发明根据实际工程经验,将其设置为7。
之后,每一份切片特征图按照公式(1)进行通道池化处理得到对于分类任务而言,/>中每个像素点的强度代表了其辨别的能力。
为了避免网络关注在最显著的特征从而忽略其他具有判别性的细节特征,本发明消除了最具辨别力的部分,根据FP(k)中最大峰值的像素设定为阈值δ,根据像素与阈值δ的大小来生成消除掩码P(k)drop,如公式(2)所示,对于消除掩码,将大于阈值的部分像素设置为0,相反,小于阈值的部分像素设置为1。
将消除掩码P(k)drop与切片操作得到的特征图相乘得到F(k)out,并且按宽度维度拼接回C×W×H维度得到峰值消除特征Fresult,具体如公式(3)(4)所示。
Fresult=concat(F(k)out) (4)
上述公式(1)中GAP表示全局平均池化,公式(4)式中concat表示将被切分处理后的每一份特征图在宽度维度进行拼接。需要注意的是为了在推理阶段保证验证结果的稳定,该策略只应用在训练过程,网络训练完成后则不再采用此策略。
S2.3特征交互模块
在完成上述区域峰值消除策略后,对于捕获到的可辨别的峰值消除特征Fresult,需要对其建立一定关联,增强线索对比能力。因此,本发明设计了特征交互模块FIM,该模块将对不同层次的峰值消除特征Fresult进行交互建模,迫使真伪分类网络不同层共享挖掘到的信息,并增强各个真伪特征线索对比的能力,促进网络综合判断其真伪属性。如图3所示,特征交互模块FIM的具体结构如下:
首先,将主干网络经过Stage4、Stage5后的特征图作为一个图像对(F1,F2),其中特征图F1经过卷积层处理后,其通道数与特征图F2相同,为避免破坏原有空间信息,特征图F1宽高维度保持不变,即将这2个特征图的宽度和高度由W1×H1,W2×H2压缩为L1,L2得到/>然后通过特征图F′1 T与特征图F2′进行内积运算来获取相似度矩阵M12,相似度矩阵中元素Mi,j代表了特征图F′1第ith个像素与特征图F2′第jth个像素的相似度,每个像素蕴含目标对象的空间特征,当两个像素的相似度越低,那么它们所关注的信息越不相同,互补性也越强,因此将-M12作为交互矩阵并对其行列进行归一化操作得到交互特征图W12,具体如公式(5)(6)所示。
M12=F′1 TF2′ (5)
其次,将上述归一化操作得到的交互特征图W12按照公式(7)(8)加权到F′1、F2′,下一步将其尺寸L1,L2转换回W1×H1,W2×H2,得到关联特征图关联特征图WF1、WF2中蕴涵了特征图F1、F2的基础特征以及F1与F2的交互信息。
WF1=F2′×W12 T+F1′ (7)
WF2=F1′×W12+F2′ (8)
最后,再将关联特征图WF1降采样后与关联特征图WF2逐元素相加最终输出加和结果,并采用全连接层完成分类操作,经过分类器得到商品真和假的概率,且两者的分数相加为1,当商品真的概率大于商品假的概率时,该待测图像被认为是分类为真。
S3构建损失函数,对真伪分类网络进行训练得到基于关键鉴定部位的真伪分类网络模型将真数据集和假数据集分别输入基于关键鉴定部位的真伪分类网络进行网络训练;
利用损失函数计算样本标签y和预测概率分布之间的损失,可以确保真伪分类网络最大可能将属于真的待测图像分类为真,将属于假的待测图像分类为假,从而得到训练好的基于关键鉴定部位的真伪分类网络模型。
本发明使用交叉熵作为上述真伪分类网络的损失函数,通过最小化损失函数来反向传播迭代优化真伪分类网络中的参数,损失函数具体如下:
其中是真伪分类网络样本是真的概率,y是样本标签,如果样本为真,取值为1,否则取值为0。
S4进行商品真伪鉴定
利用训练好的基于关键鉴定部位的真伪分类网络模型进行商品的真伪鉴定,在进行鉴定时,屏蔽区域峰值消除策略,将S1的测试集或待检测商品的关键鉴定部位图像输入基于关键鉴定部位的真伪分类网络模型,可以分别得到商品属于真和属于假的概率,当商品真的概率大于商品假的概率时,该待测图像被认为是真,否则为假。
本发明还提供一种基于关键鉴定部位的商品真伪鉴定系统,包括:
数据获取模块,用于获取商品的关键鉴定部位图像得到数据集,对数据集进行人工鉴定真伪分类,得到真伪分类数据集;
网络构建模块,用于构建基于关键鉴定部位的真伪分类网络,包括Resnet50为主干网络,插入在主干网络中的区域峰值消除策略RPE,以及衔接在主干网络输出端的特征交互模块FIM;
网络训练模块,用于构建损失函数,利用真伪分类数据集对基于关键鉴定部位的真伪分类网络进行训练,确定真伪分类网络的参数,得到基于关键鉴定部位的真伪分类网络模型;
屏蔽基于关键鉴定部位的真伪分类网络模型中的区域峰值消除策略,将待检测商品图像输入基于关键鉴定部位的真伪分类网络模型进行真伪鉴定分类。
本发明提供一种终端设备,包括:处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序。处理器执行计算机程序时实现上述方法中的步骤。或者,处理器执行计算机程序时实现上述系统中各模块/单元的功能。
上述计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在上述存储器中,并由处理器执行,以完成本发明。
终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。
终端设备可包括,但不仅限于,处理器、存储器。
处理器可以是中央处理单元(CentralProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(Applicati onSpecific IntegratedCircuit,ASIC)、现成可编程门阵列(Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器可用于存储上述计算机程序和/或模块,处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现上述终端设备的各种功能。
终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
基于这样的理解,本发明实现上述方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一个计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述方法步骤。其中,上述计算机程序包括计算机程序代码,上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
上述计算机可读介质可以包括:能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,上述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
实施例
实验环境设置
本发明实验室环境采用的是Ubuntu16.04系统,GPU型号为RTX2080Ti,实验环境配置为CUDA 10.2+anaconda3+python3.6+pytorch-1.12.0.为使模型充分训练,在训练过程中将输入图像的大小调整为550*550,并随机裁剪为448*448,同时对样本图像进行随机水平翻转操作,增强CNN模型的鲁棒性。模型采用交叉熵函数来计算真实标签y和预测概率分布之间的损失,并通过反向传播来更新权重,使用随机梯度下降法进行优化,动量为0.9,动量衰减为0.00001,epoch设为200,batch为20,初始学习率设为0.002,同时使用余弦退火调整学习速率。在测试过程中将输入图像的大小调整为550*550,中心裁剪为448*448,同时分类任务多采用准确率作为评价指标。
数据集
以路易威登(LOUIS VUITTON)高端手提包为例,专业鉴定师会根据其拉链头正反面光泽度,以及内标压印上的文字和外部logo上的文字的物理特征来对其进行真伪鉴定。
从图4可以看出,路易威登包袋上都会印有‘Louis Vuitton’字样的内标压印,对于内标压印部位,赝品往往从纹路和深度上无法做到如真品一模一样,从这个部位的文字印章来鉴别真伪是鉴定师们常用的方法之一,也是较为可靠的鉴定手段之一。
仔细观察真伪内标压印部位图像,可以看出真品印章字体比较浅,并且每个字母平均匀称、清晰明显。这是由于真品在印章时候由人工手动印压每个字母,而赝品为了节省人工成本,会将“Louis Vuitton”字样整体印入,这便造成赝品印章字母纹路比较深,且印章整体感明显。从图5可以看出,真品路易威登包袋上金属拉链呈现古铜色,色泽暗哑,而赝品则会呈现光亮的金色,反光度很强。同时真品金属刻字粗细均匀,深浅统一,相反赝品金属字母刻印显得粗糙,深浅不一;
本发明参照上述人工鉴定过程对路易威登高端手提包设计了两个关键鉴定区域部位,即内标压印部位和拉链部位,收集路易威登高端手提包的内标压印部位和拉链部位的图像,再由专业鉴定师根据所上传的图像进行人工鉴定,即专业鉴定师为收集到的图像做好了真伪分类,构建如表1所示数据集:
表1数据集信息
对于内标压印,本发明将按照8:2的比例进行训练和测试,即共7253张图片,其中80%作为训练集,共5802张图片,20%作为测试集,共1451张图片。同时为了避免数据不平衡问题,即若数据集中大量为赝品,而只有少量为真品,则会让模型倾向于多数类样本的赝品,最终导致分类性能的下降。所以本发明在路易威登品牌的7253张内标压印部位真伪图像中,其中3626张为假冒产品图像,3627张为真品图像,让其真伪数量按照接近1:1的比例来进行训练。对于拉链部位数据集,也同时按照内标压印方式进行划分,共6048张,其中真品3024张,赝品为3024张。
3.3分类网络对比实验结果
按照上述的具体参数设置展开实验,详细记录了各个算法在不同数据集下的准确率并标明了它们所使用的主干网络。
内标压印和拉链数据集按照真伪进行划分,可分为真伪两个类别,内标压印部位和拉链部位是鉴定师们常用的鉴定部位,通过该部位的纹路、深度、光泽等特征,鉴定师可以判断一个手提包的真伪,是可靠的鉴定手段之一。本发明搜集的内标压印部位和拉链部位图像,是由专业鉴定师鉴定后划分为真品图像和赝品图像。
表2不同算法在内标压印和拉链数据集上的准确率对比
在内标压印数据集和拉链数据集上,本发明首先对几个分类任务常用的主干网络进行了实验,由表2可看出,Vgg16、Resnet18、Resnet34、Resnet50随着网络复杂度的增加,其性能也在提高,在这些主干当中Resnet50对于真伪分类任务的拟合能力较强,在内标压印和拉链部位上都取得了较为优异的分类效果,并且在诸多分类任务当中Resnet50也是作为主导的主干网络,因此本发明将其作为主干网络,来完成真伪图像的特征提取工作。
本发明根据数据集独特性,以及模仿人工鉴定过程特点,设计了区域峰值消除策略RPE和特征交互模块FIM,观察表2可以发现,在内标压印数据集上,本发明方法最终达到了95.5%准确率的效果,相比使用相同主干网络Resnet50条件下的BCNN、MAMC、Mask-CNN、NTS、DTB-Net、API-Net、LIO高出了4.3%、3.3%、2.7%、2.7%、2.2%、1.5%、1.4%,说明了本发明所设计的两个模块有着优异性能,在本发明真伪分类网络中具有更好的兼容性。
在拉链部位数据集上,诸多算法相较于内标压印数据集性能都有所下降,这是由于拉链部位数据集具有更加复杂的背景,数据集中复杂的背景信息不能够提供有利于识别的有效价值信息,反而会提高准确识别的难度。由表2可知,本发明方法在该数据集上取得了93.1%准确率的性能,相比BCNN、MAMC、Mask-CNN、NTS、DTB-Net、API-Net、LIO高出了5.8%、5.2%、5.1%、3.4%、2.5%、0.7%、2.0%。
根据以上两个数据集上的实验结果,充分验证了本发明所提算法的有效性,说明了本发明基于关键鉴定部位图像的真伪分类方法应用在真伪鉴定任务当中的有效性。
消融实验
设置阈值δ
在RPE中,公式(2)中的阈值δ决定了特征图中峰值区域消除的大小,为了讨论阈值δ对于整体网络性能的影响,本发明按照上述过程以Resnet50为主干,结合RPE和FIM构建基于关键鉴定部位的真伪分类网络,并在内标压印和拉链数据集上进行了相关实验,其结果记录于表3中。
在区域峰值消除策略中,若阈值δ设置的太小则会造成消除区域太多,对网络性能造成不良影响,因此,本发明以阈值δ0.5为初始值,逐步增大阈值δ来观察其对分类结果的影响。观察表3可看出,在内标压印和拉链部位数据集上,当阈值δ由0.5增大至0.85的过程中,准确率也在逐步上升,在0.85之后继续增大阈值δ,则准确率开始下降,这是因为当δ取值太大使得消除的区域过小而达不到预期效果。根据表3结果,最后在阈值δ取0.85时候,网络性能达到最佳,分别在内标压印上取得95.5%准确率,在拉链部位上取得93.1%的准确率。
表3阈值δ在内标压印和拉链数据集上的实验结果
不同模块的性能分析
为了分别探讨区域峰值消除策略RPE和特征交互模块FIM对于最终分类性能的影响,本发明在内标压印和拉链数据集上开展了消融实验,结果记录在表4中。
表4不同模块在内标压印和拉链数据集上的实验结果
对于原始的Resnet50在内标压印数据集上准确率为90.5%,而在拉链部位数据集中准确率为86.3%。根据上述描述,并在Resnet50基础上引入区域峰值消除策略RPE后在内标压印和拉链数据集中准确率分别达到了93.7%和91.1%,相比原始基线分别提升了3.2%以及4.8%。为了观察FIM模块的有效性,移除区域峰值消除策略RPE后单独在主干网络中采用特征交互模块FIM则在基线90.5%和86.3%的基础上提升了0.9%和1.5%,当区域峰值消除策略RPE结合特征交互模块FIM共同采用时,准确率达到了95.5%和93.1%,相比基线提升了5.0%和6.8%。可以看出单独采用特征交互模块FIM对于网络性能提升要低于单独采用区域峰值消除策略RPE,这是因为单独采用特征交互模块FIM对于网络整体结构并不合理,合理的做法应该是在区域峰值消除策略RPE捕捉到潜在可区分特征的基础上,利用特征交互模块FIM建立各个特征的共性关系,提高其特征丰富性来提升网络整体的分类性能。表4中的结果同时也进一步说明了本发明所提出的特征交互模块FIM和区域峰值消除策略RPE这两个方法在内标压印和拉链部位数据集上的有效性。
可视化分析
为了更加直观地了解本发明针对真伪分类任务所设计的两个模块的作用,以及进一步增强所提方法的可信度,本发明在内标压印和拉链数据集上进行了可视化实验,对原始Resnet50和本发明方法的特征图采用可视化分析,结果如图6所示。
由图中可以看出,主干网络Resnet50模型只关注到了较为少数的外观特征而忽视了一些局部的可辩别真伪特征,例如,在拉链部位数据集中只关注到了金属拉链头,而忽视了拉链中的logo刻印,在内标压印数据集中,只着眼于部分显著印章字体特征,忽视更多潜在的细微局部信息。而本发明方法在区域峰值消除策略和特征交互模块的共同作用下,除了能够聚焦显著的特征外,还可以关注更多被忽视的真伪判别信息。
本发明方法确定了手提包特定鉴定部位为内标压印部位和拉链部位,通过采集这两个特定鉴定部位的图像,构建相应数据集,同时采用Resnet50作为主干网络,提出了区域峰值消除策略并在此基础上设计了特征交互模块,最终在内标压印上达到了95.5%的准确率,拉链部位上达到了93.1%的准确率。
Claims (10)
1.一种基于关键鉴定部位的商品真伪鉴定方法,其特征在于,具体步骤如下:
S1获取商品的关键鉴定部位图像得到数据集,对数据集中的图像进行人工鉴定真伪分类,得到真伪分类数据集;
S2构建基于关键鉴定部位的真伪分类网络,包括Resnet50为主干网络,插入在主干网络中的区域峰值消除策略RPE,以及衔接在主干网络输出端的特征交互模块FIM;
S3构建损失函数,利用真伪分类数据集对基于关键鉴定部位的真伪分类网络进行训练,确定真伪分类网络的参数,得到基于关键鉴定部位的真伪分类网络模型;
S4屏蔽基于关键鉴定部位的真伪分类网络模型中的区域峰值消除策略,将待检测商品图像输入基于关键鉴定部位的真伪分类网络模型进行真伪鉴定分类。
2.根据权利要求1所述的一种基于关键鉴定部位的商品真伪鉴定方法,其特征在于,S2中,在Resnet50主干网络stage3和stage4之间以及stage4和stage5之间均插入有一区域峰值消除策略RPE,stage3以及stage4的输出作为区域峰值消除策略RPE的输入。
3.根据权利要求1所述的一种基于关键鉴定部位的商品真伪鉴定方法,其特征在于,S2中,区域峰值消除策略RPE具体操作步骤如下:
1)对输入特征图F∈RC×W×H按宽度维度进行切片操作得到n份切片特征图F(k)∈Rc ×(w/n)×H,k∈[1,n],对每一份切片特征图进行通道池化处理得到特征图
2)选择特征图FP(k)中最大峰值的像素设定为阈值δ,根据像素与阈值δ的大小来生成消除掩码P(k)drop;
3)将消除掩码P(k)drop与特征图相乘得到F(k)out,并且按宽度维度拼接回C×W×H维度得到峰值消除特征Fresult。
4.根据权利要求3所述的一种基于关键鉴定部位的商品真伪鉴定方法,其特征在于,S2中,特征图FP(k)中像素大于阈值δ,则消除掩码P(k)drop设置为0,相反消除掩码P(k)drop设置为1。
5.根据权利要求1所述的一种基于关键鉴定部位的商品真伪鉴定方法,其特征在于,S2中,将主干网络经过Stage4、Stage5得到的两个特征图作为一个图像对(F1,F2),所述图像对(F1,F2)为特征交互模块FIM的输入。
6.根据权利要求5所述的一种基于关键鉴定部位的商品真伪鉴定方法,其特征在于,S2中,特征交互模块FIM的具体操作步骤如下:
1)对特征图F1,F2在宽度和高度由W1×H1,W2×H2压缩为L1,L2,得到
2)特征图F′1 T与F2′进行内积运算得到相似度矩阵M12,对相似度矩阵M12的交互矩阵的行列进行归一化操作得到交互特征图W12;
3)将交互特征图W12按照公式(7)(8)加权到特征图F′1、F2′并将尺寸L1,L2转换回W1×H1,W2×H2,得到关联特征图
WF1=F2′×W12 T+F1′ (7)
WF2=F1′×W12+F2′ (8)
4)再将关联特征图WF1降采样后与关联特征图WF2逐元素相加最终输出加和结果。
7.根据权利要求1所述的一种基于关键鉴定部位的商品真伪鉴定方法,其特征在于,S2中,特征交互模块FIM后衔接全连接层进行分类操作,得到商品为真和为假的概率,且两者的分数相加为1,当商品真的概率大于商品假的概率时,待测图像被认为是分类为真。
8.一种基于关键鉴定部位的商品真伪鉴定系统,其特征在于,包括:
数据获取模块,用于获取商品的关键鉴定部位图像得到数据集,对数据集进行人工鉴定真伪分类,得到真伪分类数据集;
网络构建模块,用于构建基于关键鉴定部位的真伪分类网络,包括Resnet50为主干网络,插入在主干网络中的区域峰值消除策略RPE,以及衔接在主干网络输出端的特征交互模块FIM;
网络训练模块,用于构建损失函数,利用真伪分类数据集对基于关键鉴定部位的真伪分类网络进行训练,确定真伪分类网络的参数,得到基于关键鉴定部位的真伪分类网络模型;
屏蔽基于关键鉴定部位的真伪分类网络模型中的区域峰值消除策略,将待检测商品图像输入基于关键鉴定部位的真伪分类网络模型进行真伪鉴定分类。
9.一种终端设备,其特征在于,包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1~7中任一项所述的真伪鉴定方法中步骤,或者,所述处理器执行所述计算机程序时实现权利要求8所述系统中各模块的功能。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1~7中任一项所述的真伪鉴定方法中步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310806782.7A CN116863218A (zh) | 2023-07-03 | 2023-07-03 | 一种基于关键鉴定部位的商品真伪鉴定方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310806782.7A CN116863218A (zh) | 2023-07-03 | 2023-07-03 | 一种基于关键鉴定部位的商品真伪鉴定方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116863218A true CN116863218A (zh) | 2023-10-10 |
Family
ID=88218385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310806782.7A Pending CN116863218A (zh) | 2023-07-03 | 2023-07-03 | 一种基于关键鉴定部位的商品真伪鉴定方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116863218A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117351294A (zh) * | 2023-12-06 | 2024-01-05 | 武汉大学 | 一种基于双功能鉴别器的图像检测方法及装置 |
CN117392684A (zh) * | 2023-11-02 | 2024-01-12 | 北京邮电大学 | 奢侈品鉴定模型训练方法、奢侈品鉴定方法及其装置 |
CN117557893A (zh) * | 2024-01-11 | 2024-02-13 | 湖北微模式科技发展有限公司 | 一种基于残差峰值的静态场景视频真伪鉴定方法及装置 |
-
2023
- 2023-07-03 CN CN202310806782.7A patent/CN116863218A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117392684A (zh) * | 2023-11-02 | 2024-01-12 | 北京邮电大学 | 奢侈品鉴定模型训练方法、奢侈品鉴定方法及其装置 |
CN117392684B (zh) * | 2023-11-02 | 2024-05-14 | 北京邮电大学 | 奢侈品鉴定模型训练方法、奢侈品鉴定方法及其装置 |
CN117351294A (zh) * | 2023-12-06 | 2024-01-05 | 武汉大学 | 一种基于双功能鉴别器的图像检测方法及装置 |
CN117351294B (zh) * | 2023-12-06 | 2024-02-20 | 武汉大学 | 一种基于双功能鉴别器的图像检测方法及装置 |
CN117557893A (zh) * | 2024-01-11 | 2024-02-13 | 湖北微模式科技发展有限公司 | 一种基于残差峰值的静态场景视频真伪鉴定方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116863218A (zh) | 一种基于关键鉴定部位的商品真伪鉴定方法及系统 | |
Miller et al. | Personal identification using periocular skin texture | |
Singh et al. | Recognizing disguised faces in the wild | |
Folego et al. | From impressionism to expressionism: Automatically identifying van Gogh's paintings | |
Sequeira et al. | Iris liveness detection methods in mobile applications | |
Blumenstein et al. | The 4NSigComp2010 off-line signature verification competition: Scenario 2 | |
CN111931758A (zh) | 一种结合面部静脉的人脸识别方法及装置 | |
CN112069891A (zh) | 一种基于光照特征的深度伪造人脸鉴别方法 | |
Choudhary et al. | Iris liveness detection using fusion of domain-specific multiple BSIF and DenseNet features | |
CN109214302A (zh) | 一种基于多光谱的物质识别方法 | |
CN109583452B (zh) | 一种基于赤足足迹的人身同一认定方法和系统 | |
Kiruthika et al. | Image quality assessment based fake face detection | |
Benhamza et al. | Image forgery detection review | |
Raghavendra et al. | Ear recognition after ear lobe surgery: A preliminary study | |
Ferrer et al. | Is it possible to automatically identify who has forged my signature? Approaching to the identification of a static signature forger | |
Bornak et al. | 3D face recognition by used region-based with facial expression variation | |
Kumar et al. | Discrete cosine transform features matching-based forgery mask detection for copy-move forged images | |
Del Coco et al. | Assessment of deep learning for gender classification on traditional datasets | |
Chandana et al. | Face recognition through machine learning of periocular region | |
CN108564099A (zh) | 基于标识纤维随机分布的图像识别区分药用植物的方法 | |
CN109165640B (zh) | 基于比特位面内分块互信息的手背静脉识别方法及识别系统 | |
Akshay et al. | Face matching in indian citizens using cnn | |
Rahman et al. | Writer-independent Offline Handwritten Signature Verification using Novel Feature Extraction Techniques | |
CN111860268A (zh) | 基于机器学习的伪造图像检测识别方法 | |
Sychandran et al. | A hybrid xception-ensemble model for the detection of computer generated images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |