CN111213052A - 频谱分析装置及频谱分析方法 - Google Patents
频谱分析装置及频谱分析方法 Download PDFInfo
- Publication number
- CN111213052A CN111213052A CN201880067182.0A CN201880067182A CN111213052A CN 111213052 A CN111213052 A CN 111213052A CN 201880067182 A CN201880067182 A CN 201880067182A CN 111213052 A CN111213052 A CN 111213052A
- Authority
- CN
- China
- Prior art keywords
- spectrum
- neural network
- deep neural
- data
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010183 spectrum analysis Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims description 36
- 238000001228 spectrum Methods 0.000 claims abstract description 115
- 238000004458 analytical method Methods 0.000 claims abstract description 95
- 238000013528 artificial neural network Methods 0.000 claims abstract description 89
- 238000006243 chemical reaction Methods 0.000 claims abstract description 43
- 239000012491 analyte Substances 0.000 claims abstract description 42
- 239000013558 reference substance Substances 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 19
- 239000000203 mixture Substances 0.000 claims description 24
- 238000007794 visualization technique Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims 1
- 230000000052 comparative effect Effects 0.000 description 34
- 238000001237 Raman spectrum Methods 0.000 description 32
- 239000004417 polycarbonate Substances 0.000 description 27
- 239000011347 resin Substances 0.000 description 24
- 229920005989 resin Polymers 0.000 description 24
- 239000000463 material Substances 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 238000000513 principal component analysis Methods 0.000 description 11
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 10
- 239000004926 polymethyl methacrylate Substances 0.000 description 10
- 238000000491 multivariate analysis Methods 0.000 description 9
- 239000004793 Polystyrene Substances 0.000 description 8
- 239000003550 marker Substances 0.000 description 7
- 239000012994 photoredox catalyst Substances 0.000 description 7
- 239000005020 polyethylene terephthalate Substances 0.000 description 7
- 229920000139 polyethylene terephthalate Polymers 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 239000004800 polyvinyl chloride Substances 0.000 description 5
- 229920000915 polyvinyl chloride Polymers 0.000 description 5
- 239000005033 polyvinylidene chloride Substances 0.000 description 5
- 238000011002 quantification Methods 0.000 description 5
- 229920001328 Polyvinylidene chloride Polymers 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000001069 Raman spectroscopy Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 239000012925 reference material Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000011088 calibration curve Methods 0.000 description 2
- 229920000515 polycarbonate Polymers 0.000 description 2
- 229920002223 polystyrene Polymers 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 229920002379 silicone rubber Polymers 0.000 description 2
- 239000004945 silicone rubber Substances 0.000 description 2
- 239000013076 target substance Substances 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- -1 Polyethylene terephthalate Polymers 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
- G01N21/274—Calibration, base line adjustment, drift correction
- G01N21/276—Calibration, base line adjustment, drift correction with alternation of sample and standard in optical path
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/65—Raman scattering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明的频谱分析装置(1)是基于包含多个基准物中的任意一个或两个以上的基准物的分析对象物所产生的光的频谱对该分析对象物进行分析的装置,且具备排列变换部(10)、处理部(20)、学习部(30)及分析部(40)。排列变换部(10)基于基准物或分析对象物所产生的光的频谱而产生二维排列数据。处理部(20)具有深度神经网络。分析部(40)通过排列变换部(10)基于分析对象物所产生的光的频谱而使二维排列数据产生,使该二维排列数据作为分析对象数据输入至深度神经网络,且基于自深度神经网络输出的数据对分析对象物进行分析。由此,实现能高效率地进行高精度的频谱分析的装置。
Description
技术领域
本发明关于一种基于分析对象物所产生的光的频谱对该分析对象物进行分析的装置及方法。
背景技术
分析对象物所产生的光的频谱具有对应于分析对象物所包含的成分的种类或比例的形状。因此,基于分析对象物所产生的光的频谱可对该分析对象物进行分析。在分析对象物所产生的光的频谱,包含根据向分析对象物的光照射而在该分析对象物产生的光(例如,通过反射光、透射光、散射光、荧光、及非线性光学现象(例如拉曼散射等)产生的光)的频谱,另外,包含通过分析对象物的化学反应而产生的化学发光的频谱。进而,在光的频谱,也包含自透射光或反射光所得的折射率或吸收系数的频谱。此处所言的光并不限定于紫外光、可见光、红外光,也包含例如太赫兹波等。
以往,在进行此种频谱分析时使用多变量分析。作为多变量分析也已知使用主成分分析、分类器、回归分析等,并组合这些的解析手法。另外,在专利文献1,暗示使用深度神经网络(Deep Neural Network)进行频谱分析。若使用深度神经网络则可高效率地进行高精度的图像确认等(参照非专利文献1),故若可使用深度神经网络进行频谱分析,则期待与使用多变量分析的情形相比可高效率地进行高精度的分析。
[现有技术文献]
[专利文献]
专利文献1:日本特开2017-90130号公报
[非专利文献]
非专利文献1;O.Russakovsky et al.,"ImageNet Large Scale VisualRecognition Challenge",Int.J.Comput.Vis.115,2015,pp.211-252
非专利文献2:R.R.Selvaraju et al.,"Grad-CAM:Visual Explanations fromDeep Networks via Gradient-based Localization",arXiv:1610.02391,2017
非专利文献3:D.Smilkov et al.,"SmoothGrad:removing noise by addingnoise",arXiv:1706.03825,2017
发明内容
[发明所要解决的问题]
但,在专利文献1,对使用深度神经网络进行频谱分析时的具体顺序无任何记载。另外,在非专利文献1,并未暗示使用深度神经网络进行频谱分析。
本发明为解决上述问题点而完成,其目的在于提供一种可高效率地进行高精度的频谱分析的装置及方法。
[解决问题的技术手段]
本发明的频谱分析装置为基于包含多个基准物中的任意一个或两个以上的基准物的分析对象物所产生的光的频谱对该分析对象物进行分析的装置,且具备:(1)排列变换部,其基于光的频谱而产生二维排列数据;(2)处理部,其具有深度神经网络;(3)及分析部,其使通过排列变换部基于分析对象物所产生的光的频谱而产生的二维排列数据输入至深度神经网络,且基于自深度神经网络输出的数据对分析对象物进行分析。
本发明的频谱分析方法为基于包含多个基准物中的任意一个或两个以上的基准物的分析对象物所产生的光的频谱对该分析对象物进行分析的方法,且具备:(1)排列变换步骤,其基于光的频谱而产生二维排列数据;(2)及分析步骤,其使用具有深度神经网络的处理部,使在排列变换步骤中基于分析对象物所产生的光的频谱而产生的二维排列数据输入至深度神经网络,且基于自深度神经网络输出的数据对分析对象物进行分析。
[发明的效果]
根据本发明,可高效率地进行高精度的频谱分析。
附图说明
图1为显示频谱分析装置1的构成的图。
图2为显示基于拉曼频谱产生的二维排列数据的例的图。
图3为显示作为基准物的各树脂材料的拉曼频谱的例的图。
图4为显示学习作为基准物的PC的拉曼频谱时的各树脂材料的学习标记的值的表。
图5为显示作为分析对象物的PC的拉曼频谱的例的图。
图6为显示使基于作为分析对象物的PC的拉曼频谱的二维排列数据输入至深度神经网络时的输出标记的例的图。
图7为汇总第1实施例及第1比较例的各个的分类结果的表,(a)显示第1实施例的分类结果,及(b)显示第1比较例的分类结果。
图8为显示SR与PS的混合物的拉曼频谱的例的图。
图9为显示学习PC与PMMA的混合物(混合比例0.8:0.2)的拉曼频谱时的各树脂材料的学习标记的值的表。
图10为显示使基于作为分析对象物的PC与PMMA的混合物(混合比例0.8:0.2)的拉曼频谱的二维排列数据输入至深度神经网络时的输出标记的例的图。
图11为显示第2实施例及第2比较例的各个的PC的定量结果的图,(a)显示第2实施例的定量结果,及(b)显示第2比较例的定量结果。
图12为显示第2实施例及第2比较例的各个的PET的定量结果的图,(a)显示第2实施例的定量结果,及(b)显示第2比较例的定量结果。
图13为显示第2实施例及第2比较例的各个的PMMA的定量结果的图,(a)显示第2实施例的定量结果,及(b)显示第2比较例的定量结果。
图14为显示第2实施例及第2比较例的各个的PS的定量结果的图,(a)显示第2实施例的定量结果,及(b)显示第2比较例的定量结果。
图15为显示第2实施例及第2比较例的各个的PVC(h)的定量结果的图,(a)显示第2实施例的定量结果,及(b)显示第2比较例的定量结果。
图16为显示第2实施例及第2比较例的各个的PVDC的定量结果的图,(a)显示第2实施例的定量结果,及(b)显示第2比较例的定量结果。
图17为显示第2实施例及第2比较例的各个的SR的定量结果的图,(a)显示第2实施例的定量结果,及(b)显示第2比较例的定量结果。
图18为显示压缩前的学习用的频谱及二维排列数据的例的图,(a)显示二维排列数据,及(b)显示频谱。
图19为显示压缩后的学习用的频谱及二维排列数据的例的图,(a)显示二维排列数据,及(b)显示频谱。
图20为显示分析对象的频谱及二维排列数据的例的图,(a)显示二维排列数据,及(b)显示频谱。
图21为汇总第3实施例及第3比较例的各个的分类结果的表,(a)显示第3实施例的分类结果,及(b)显示第3比较例的分类结果。
图22为显示于第1实施例中分类为PC的频谱的热图的例的图。
具体实施方式
以下,参照附图,对用于实施本发明的形态进行详细说明。再者,图式的说明中,对相同要素附加相同的符号,省略重复的说明。本发明不限于这些例示。
图1为显示频谱分析装置1的构成的图。频谱分析装置1为基于包含多个基准物中的任意一个或两个以上的基准物的分析对象物所产生的光的频谱对该分析对象物进行分析的装置,且具备排列变换部10、处理部20、学习部30及分析部40。
排列变换部10基于基准物或分析对象物所产生的光的频谱产生二维排列数据。排列变换部10优选以频谱的峰值强度为规定值的方式使频谱标准化并产生二维排列数据。另外,排列变换部10也优选将包含频谱的数据的全部或一部分的M×N个数据排列为M行N列并产生二维排列数据。M、N为2以上的整数。M与N可彼此不同,也可彼此相等。
处理部20具有深度神经网络。该深度神经网络优选为卷积神经网络(Convolutional Neural Network)。在该卷积神经网络中,抽取特征量的卷积层、与压缩特征量的池化层(pooling layer)交替设置。处理部20虽也可通过CPU(Central ProcessingUnit:中央处理单元)进行深度神经网络的处理,但优选通过可进行更高速的处理的DSP(Digital Signal Processor:数字信号处理器)或GPU(Graphics Processing Unit:图形处理单元)进行。
学习部30,通过排列变换部10基于多个基准物的各个所产生的光的频谱而使二维排列数据产生,使该二维排列数据作为学习用数据输入至深度神经网络,而使深度神经网络进行学习。另外,学习部30,通过排列变换部10基于包含多个基准物中的任意一个或两个以上的基准物且混合比例为已知的混合物所产生的光的频谱而产生二维排列数据,且使该二维排列数据作为学习用数据输入至深度神经网络,而使用混合比例使深度神经网络进行学习。此种深度神经网络的学习称为深度学习(Deep Learning)。
分析部40系通过排列变换部10基于分析对象物所产生的光的频谱而使二维排列数据产生,使该二维排列数据作为分析对象数据输入至深度神经网络,而基于自深度神经网络输出的数据对分析对象物进行分析。分析部40基于自深度神经网络输出的数据将分析对象物分类为多个基准物中的任意一者。另外,分析部40基于自深度神经网络输出的数据求出分析对象物中所含的基准物的混合比例。
排列变换部10将学习用数据及分析对象数据设为彼此相同的M行N列的二维排列数据。因此,若频谱的数据尺寸并非为M×N个,或者学习用的频谱与分析对象的频谱数据尺寸彼此不同的情形时,排列变换部10优选进行频谱的数据的稀疏化、修整(trimming)、任意值的填补等。另外,排列变换部10也优选设为通过数值分析的领域所使用的内插方法(样条内插、拉格朗日内插、及Akima内插等)或图像处理的领域所使用的压缩方法(小波变换、离散余弦变换),将学习用数据及分析对象数据设为彼此相同的M行N列的二维排列数据。
频谱分析装置1也可具备输入部,该输入部接收分析对象的频谱的选择、分析开始的指示及分析条件的选择等。输入部为例如键盘或鼠标等。另外,频谱分析装置1也可具备显示分析结果等的显示部。显示部为例如液晶显示器等。频谱分析装置1也可具备存储分析对象的频谱及分析结果等的存储部。频谱分析装置1可设为包含计算机的构成。
使用此种频谱分析装置1的频谱分析方法具备由排列变换部10进行的排列变换步骤、由学习部30进行的学习步骤、及由分析部40进行的分析步骤。
即,在排列变换步骤中,通过排列变换部10基于基准物或分析对象物所产生的光的频谱产生二维排列数据。在学习步骤中,使用具有深度神经网络的处理部20,并使在排列变换步骤中基于多个基准物的各个所产生的光的频谱而产生的二维排列数据作为学习用数据输入至深度神经网络,使深度神经网络进行学习。在分析步骤中,使用具有深度神经网络的处理部20,使在排列变换步骤中基于分析对象物所产生的光的频谱而产生的二维排列数据作为分析对象数据输入至深度神经网络,并基于自深度神经网络输出的数据对分析对象物进行分析。
若在学习步骤中进行一次深度神经网络的学习则以后可重复进行分析步骤,故在每次进行分析步骤后无需进行学习步骤。鉴于相同的原因,若深度神经网络已学习则无需学习部30。
在本实施方式,因使基于频谱产生的二维排列数据输入至深度神经网络而进行频谱分析,故即使在进行复杂的分类的情形,及进行大量频谱的分类等情形时,也可高效率且稳定地进行高精度的频谱分析。另外,在本实施方式,可使用深度神经网络进行定量分析。
接着,对第1至第3实施例进行说明。在各实施例,使用以下7种树脂材料作为基准物。作为分析对象物,使用包含这些7种树脂材料中的任意一种或两种树脂材料的对象物。
聚碳酸酯(polycarbonate、PC)
聚对苯二甲酸乙二酯(polyethylene terephthalate、PET)
聚甲基丙烯酸甲酯树脂(polymethyl methacrylate、PMMA)
聚苯乙烯(polystyrene、PS)
硬质聚氯乙烯(hard polyvinyl chloride、PVC(h))
聚偏二氯乙烯(polyvinylidene chloride、PVDC)
硅酮橡胶(silicone rubber、SR)
对基准物及分析对象物照射中心波长785nm的激光,在拉曼位移量(波数)的各值测定在此时产生的拉曼散射光的强度,并求出拉曼频谱。
在第1及第2实施例中,各频谱的数据尺寸为1024。在排列变换步骤中,针对各拉曼频谱以峰值强度为规定值的方式进行标准化,并将各拉曼频谱的1024数据排列为32行32列并产生二维排列数据。在该二维排列数据的产生时,将拉曼频谱的波数依序排列的1024数据中的最初的32个数据自第1行的第1列依序排列至第32列,并将其次的32个数据自第2行的第1列依序排列至第32列,重复同样,将最后的32个数据自第32行的第1列依序排列至第32列。在第3实施例,分析对象的频谱的数据尺寸为256。
图2为显示基于拉曼频谱产生的二维排列数据的例的图。该图显示二维排列数据作为二维图像。在该图,像素数为32×32。若数据值越大则以浅色表示各像素,若数据值越小则以浓色表示。灰阶数为256。但,此图为方便起见,虽将灰阶数作为256显示二维图像,但于实际的处理中使用0~70左右的实数作为各像素值。
在第1实施例,如下所述,将分析对象物分类为7种基准物中的任意一种。
在学习步骤中,针对作为基准物的各树脂材料使用100个拉曼频谱作为学习用数据。学习用数据的总数为700(=100×7种)。例如若对PC进行说明,则在排列变换步骤中基于仅包含PC的树脂材料的拉曼频谱产生二维排列数据。然后,使该二维排列数据输入至深度神经网络,将PC的学习用标记设为值1,并将其他树脂材料的学习标记设为值0,使深度神经网络进行学习。图3为显示将基准物作为各树脂材料的拉曼频谱的例的图。图4为显示学习作为基准物的PC的拉曼频谱时的各树脂材料的学习标记的值的表。
在分析步骤中,针对作为分析对象物的各树脂材料使用40个拉曼频谱作为分析对象数据。分析对象数据的总数为280(=40×7种)。例如若对PC进行说明,则准备四种信号噪声比(signal-to-noise ratio)不同的仅包含PC的树脂材料的拉曼频谱,并在排列变换步骤中基于各拉曼频谱产生二维排列数据。然后,使该二维排列数据输入至深度神经网络,并自深度神经网络输出输出标记。
图5为显示作为分析对象物的PC的拉曼频谱的例的图。该图显示SN比不同的四个拉曼频谱。图6为显示使基于作为分析对象物的PC的拉曼频谱的二维排列数据输入至深度神经网络时的输出标记的例的图。在该图的例,因自深度神经网络输出的各树脂材料的输出标记中的PC的输出标记的值为最大,故分析对象物分类为PC。
在用以与第1实施例比较的第1比较例中,如下所述,通过多变量分析将分析对象物分类为7种基准物中的任意一种。即,基于对学习用数据实施主成分分析(PrincipalComponent Analysis、PCA)的结果,并通过支持向量机(Support Vector Machine、SVM)构成7种图案识别器。PCA的主成分数为8,PCA的贡献率系0.968。通过SVM使分析对象数据输入至图案识别器。
图7为汇总第1实施例及第1比较例的各个的分类结果的表。图7(a)显示第1实施例的分类结果,图7(b)显示第1比较例的分类结果。在第1比较例中,针对280个分析对象数据中SN比最低的PS的10个分析对象数据为错误的分类结果。与此相对,在第1实施例,可对所有280个分析对象数据进行正确地分类。如此,与使用多变量分析的第1比较例相比,在使用深度神经网络的第1实施例可进行高精度的分类。
在第2实施例,如下所述,求出分析对象物所包含的基准物的混合比例。
在学习步骤中,使用包含作为基准物的7种树脂材料中的1种或2种树脂材料的混合比例为已知的混合物的拉曼频谱作为学习用数据。若对PC与PET的混合物进行说明,将PC与PET的混合比例设为x:(1-x),将x在0~1的范围内设为0.1刻度,准备具有11种混合比例的混合物的拉曼频谱。另,在x=1的情形时PC为100%,在x=0的情形时PET为100%,但方便起见称为混合物。
关于学习用数据的个数,针对各树脂材料(x=0)为各3个(小计21个(=3×7种)),针对包含任意2种树脂材料的混合物(x=0.1~0.9的9种混合比例)为各3个(小计567个(=3×7C2×9)),总数为588。7C2为自7种选择2种时的组合的个数,即7×6/2。混合物的拉曼频谱将各树脂材料的拉曼频谱以混合比例加权平均而制成。
在排列变换步骤中基于该混合物的拉曼频谱产生二维排列数据。然后,使该二维排列数据输入至深度神经网络,将学习用标记作为对应于混合比例的值,使深度神经网络进行学习。图8为显示SR与PS的混合物的拉曼频谱的例的图。图9为显示学习PC与PMMA的混合物(混合比例0.8:0.2)的拉曼频谱时的各树脂材料的学习标记的值的表。
在分析步骤中,使用包含作为基准物的7种树脂材料中的1种或2种树脂材料的混合比例为已知的混合物的拉曼频谱作为分析对象数据。分析对象数据以与学习用数据同样的方式制成。关于分析对象数据的个数,针对各树脂材料(x=0)为各1个,针对包含任意2个树脂的混合物(x=0.1~0.9的9种混合比例)为各1个,总数为196。
图10为显示使基于作为分析对象物的PC与PMMA的混合物(混合比例0.8:0.2)的拉曼频谱的二维排列数据输入至深度神经网络时的输出标记的例的图。在该图的例中,因自深度神经网络输出的各树脂材料的输出标记中的PC的输出标记的值为0.75,PMMA的输出标记的值为0.15,PVDC的输出标记的值为0.10,故分析对象物为PC、PMMA及PVDC的3种树脂材料的混合物,并求出其混合比例为0.75:0.15:0.10。
在用以与第2实施例比较的第2比较例中,如下所述,通过多变量分析求出分析对象物所包含的基准物的混合比例。即,基于对学习用数据实施PCA的结果并通过多元线性回归法(Multivariate Linear Regression、MLR)制成检量线,使用该检量线,进行定量。PCA的主成分数为10,PCA的贡献率系0.994。
图11~图17为显示第2实施例及第2比较例的各个的定量结果的图。图11显示PC的定量结果。图12显示PET的定量结果。图13显示PMMA的定量结果。图14显示PS的定量结果。图15显示PVC(h)的定量结果。图16显示PVDC的定量结果。图17显示SR的定量结果。各图(a)显示第2实施例的定量结果。各图(b)显示第2比较例的定量结果。另外,各图针对学习用数据及分析对象数据的各个,显示真实混合比例(横轴)与定量结果的混合比例(纵轴)的关系。以均方根误差评估真实混合比例与定量结果的混合比例的差的结果,第2实施例者为0.0473,第2比较例者为0.0762。如此,与使用多变量分析的第2比较例相比,在使用深度神经网络的第2实施例中可进行高精度的定量分析。
在第3实施例,与第1实施例大致同样地,将分析对象物分类为7种基准物中的任意一种。学习用数据的总数为700(=100×7种)。分析对象数据的总数为280(=40×7种)。在第3实施例中,与第1实施例相比,虽就学习用的频谱的数据尺寸为1024的点相同,但就分析对象的频谱的数据尺寸为256的点不同。
为了将学习用数据及分析对象数据设为彼此相同的16列16行的二维排列数据,故通过小波变换将学习用的频谱的数据尺寸压缩为256,而在排列变换步骤中基于该压缩后的频谱产生二维排列数据。图18为显示压缩前的学习用的频谱及二维排列数据的例的图。图19为显示压缩后的学习用的频谱及二维排列数据的例的图。图20为显示分析对象的频谱及二维排列数据的例的图。各图(a)显示二维排列数据。各图(b)显示频谱。
用于与第3实施例比较的第3比较例与第1比较例同样,通过多变量分析(PCA及SVM)将分析对象物分类为7种基准物中的任意一种。PCA的主成分数为8,PCA的贡献率为0.974。
图21为汇总第3实施例及第3比较例的各个的分类结果的表。图21(a)显示第3实施例的分类结果,图21(b)显示第3比较例的分类结果。在第3比较例中正确回答率为97.4%,相对于此,第3实施例中正确回答率为99.3%。如此,即使在压缩频谱的数据尺寸的情形时,与使用多变量分析的第3比较例相比,在使用深度神经网络的第3实施例中也可进行高精度的分类。
另,在通过分析部40进行的分析对象物的分析中,也可将图像识别所使用的特征量可视手法应用于频谱,使用特征量可视手法,进行频谱的特征部位的抽取等。
此处,作为特征量可视化手法,针对于深度学习的领域中称为Grad-CAM(Gradient-weighted Class Activation Mapping:加权梯度类激活映射)的技术(参照非专利文献2)的例进行说明。此为使卷积神经网络中所获得的分类结果的判断基准可视化的技术之一。通过将此种技术应用于频谱,可期待对模型的妥当性的检算(例如,判断是否关注于对肉眼识别所使用的峰值)的利用,另外,可期待对肉眼未关注的特征的抽取的利用。
对上述Grad-CAM所使用的运算法,进行简单地说明。首先,指定取得判断基准的标记。其后,计算经学习的各特征量映像(直至获得预测标记经由的卷积层或池化层)的变化对预测结果造成多大影响。该计算通过依序略微改变各映像的各像素的值,观察赋予至后级的变化量,具有确定对预测结果的影响较大的部位的意义。一般而言,此为表现为梯度(Gradient)的取得的处理。若合计各映像所得的变化量映像,则可抽取对后段的影响较大的部位,即成为判断的根据的特征部位。
图22为针对第1实施例显示分类为PC(Polycarbonate)的频谱的热图的例的图。在该图,将对通过上述的手法所得的变化量映像的总和乘以激活函数作为热图重叠于原频谱并显示,判断深度学习模型为重要的部位被醒目显示。
另,Grad-CAM如上所述,为用以进行频谱的特征部位的抽取等的特征量可视法手法之一。作为特征部位的抽取方法,计算各像素赋予的变化量的手法共通,除Grad-CAM以外,可使用例如SmoothGrad(参照非专利文献3)等各种方法。
本发明的频谱分析装置及频谱分析方法不限定于上述实施方式及构成例,也可进行各种变形。
上述实施方式的频谱分析装置为基于包含多个基准物中的任意一个或两个以上的基准物的分析对象物所产生的光的频谱对该分析对象物进行分析的装置,且构成为具备:(1)排列变换部,其基于光的频谱产生二维排列数据;(2)处理部,其具有深度神经网络;(3)及分析部,其使排列变换部基于分析对象物所产生的光的频谱而产生的二维排列数据输入至深度神经网络,并基于自深度神经网络输出的数据对分析对象物进行分析。
在上述构成的分析装置中,排列变换部也可设为以频谱的峰值强度为规定值的方式使频谱标准化并产生二维排列数据的构成。另外,在上述构成的分析装置,排列变换部也可设为将包含频谱的数据的全部或一部分的M×N个数据排列为M行N列并产生二维排列数据的构成。
上述构成的分析装置也可设为进而具备学习部,该学习部使排列变换部基于多个基准物的各个所产生的光的频谱而产生的二维排列数据输入至深度神经网络,使深度神经网络进行学习。在此情形时,学习部也可设为使排列变换部基于包含多个基准物中的任意1个或2个以上的基准物的混合比例为已知的混合物所产生的光的频谱所产生的二维排列数据输入至深度神经网络,使用混合比例使深度神经网络进行学习的构成。
在上述构成的分析装置中,分析部也可设为基于自深度神经网络输出的数据将分析对象物分类为多个基准物中的任意1个。另外,在上述构成的分析装置中,分析部也可设为基于自深度神经网络输出的数据求出分析对象物所包含的基准物的混合比例的构成。另外,在上述构成的分析装置,分析部也可设为使用特征量可视手法抽取频谱的特征部位的构成。
上述实施方式的频谱分析方法为基于包含多个基准物中的任意1个或2个以上的基准物的分析对象物所产生的光的频谱对该分析对象物进行分析的方法,且构成为具备:(1)排列变换步骤,其基于光的频谱产生二维排列数据;(2)及分析步骤,其使用具有深度神经网络的处理部,并使在排列变换步骤中基于分析对象物所产生的光的频谱而产生的二维排列数据输入至深度神经网络,基于自深度神经网络输出的数据对分析对象物进行分析。
在上述构成的分析方法,在排列变换步骤中,也可设为以频谱的峰值强度为规定值的方式使频谱标准化并产生二维排列数据的构成。另外,在上述构成的分析方法,在排列变换步骤中,也可设为将包含频谱的数据的全部或一部分的M×N个数据排列为M行N列并产生二维排列数据的构成。
上述构成的分析方法也可设为进而具备学习步骤,该学习步骤中,使在排列变换步骤中基于多个基准物的各个所产生的光的频谱而产生的二维排列数据输入至深度神经网络,使深度神经网络进行学习。在此情形时,在学习步骤中,也可设为使在排列变换步骤中基于包含多个基准物中的任意1个或2个以上的基准物的混合比例为已知的混合物所产生的光的频谱而产生的二维排列数据输入至深度神经网络,并使用混合比例使深度神经网络进行学习的构成。
在上述构成的分析方法,在分析步骤中,也可设为基于自深度神经网络输出的数据将分析对象物分类为多个基准物中的任意一个的构成。另外,在上述构成的分析方法中,在分析步骤,也可设为基于自深度神经网络输出的数据求出分析对象物所包含的基准物的混合比例的构成。另外,在上述构成的分析方法中,在分析步骤,也可设为使用特征量可视化手法抽取频谱的特征部位的构成。
[产业上的可利用性]
本发明可利用作为可高效率地进行高精度的频谱分析的装置及方法。
符号说明
1 频谱分析装置
10 排列变换部
20 处理部
30 学习部
40 分析部
Claims (16)
1.一种频谱分析装置,其特征在于,
是基于包含多个基准物中的任意一个或两个以上的基准物的分析对象物所产生的光的频谱对该分析对象物进行分析的装置,
具备:
排列变换部,其基于光的频谱而产生二维排列数据;
处理部,其具有深度神经网络;及
分析部,其使通过所述排列变换部基于所述分析对象物所产生的光的频谱而产生的二维排列数据输入至所述深度神经网络,且基于自所述深度神经网络输出的数据对所述分析对象物进行分析。
2.如权利要求1所述的频谱分析装置,其中,
所述排列变换部以所述频谱的峰值强度成为规定值的方式将所述频谱标准化而产生所述二维排列数据。
3.如权利要求1或2所述的频谱分析装置,其中,
所述排列变换部将包含所述频谱的数据的全部或一部分的M×N个数据排列为M行N列而产生所述二维排列数据。
4.如权利要求1至3中任一项所述的频谱分析装置,其中,
进一步具备学习部,该学习部使通过所述排列变换部基于所述多个基准物的各个所产生的光的频谱而产生的二维排列数据输入至所述深度神经网络,而使所述深度神经网络进行学习。
5.如权利要求4所述的频谱分析装置,其中,
所述学习部使通过所述排列变换部基于包含所述多个基准物中的任意1个或2个以上的基准物且混合比例为已知的混合物所产生的光的频谱而产生的二维排列数据输入至所述深度神经网络,且使用所述混合比例使所述深度神经网络进行学习。
6.如权利要求1至5中任一项所述的频谱分析装置,其中,
所述分析部基于自所述深度神经网络输出的数据,将所述分析对象物分类为所述多个基准物中的任意一者。
7.如权利要求1至5中任一项所述的频谱分析装置,其中,
所述分析部基于自所述深度神经网络输出的数据,求出所述分析对象物中所含的所述基准物的混合比例。
8.如权利要求1至7中任一项所述的频谱分析装置,其中,
所述分析部使用特征量可视化手法抽取所述频谱的特征部位。
9.一种频谱分析方法,其特征在于,
是基于包含多个基准物中的任意1个或2个以上的基准物的分析对象物所产生的光的频谱对该分析对象物进行分析的方法,
包括:
排列变换步骤,其基于光的频谱而产生二维排列数据;及
分析步骤,其使用具有深度神经网络的处理部,使在所述排列变换步骤中基于所述分析对象物所产生的光的频谱而产生的二维排列数据输入至所述深度神经网络,且基于自所述深度神经网络输出的数据对所述分析对象物进行分析。
10.如权利要求9所述的频谱分析方法,其中,
在所述排列变换步骤中,以所述频谱的峰值强度成为规定值的方式将所述频谱标准化而产生所述二维排列数据。
11.如权利要求9或10所述的频谱分析方法,其中,
在所述排列变换步骤中,将包含所述频谱的数据的全部或一部分的M×N个数据排列为M行N列而产生所述二维排列数据。
12.如权利要求9至11中任一项所述的频谱分析方法,其中,
进一步包括学习步骤,该学习步骤使在所述排列变换步骤中基于所述多个基准物的各个所产生的光的频谱而产生的二维排列数据输入至所述深度神经网络,而使所述深度神经网络进行学习。
13.如权利要求12所述的频谱分析方法,其中,
在所述学习步骤中,使在所述排列变换步骤中基于包含所述多个基准物中的任意1个或2个以上的基准物且混合比例为已知的混合物所产生的光的频谱而产生的二维排列数据输入至所述深度神经网络,且使用所述混合比例使所述深度神经网络进行学习。
14.如权利要求9至13中任一项所述的频谱分析方法,其中,
在所述分析步骤中,基于自所述深度神经网络输出的数据,将所述分析对象物分类为所述多个基准物中的任意一者。
15.如权利要求9至13中任一项所述的频谱分析方法,其中,
在所述分析步骤中,基于自所述深度神经网络输出的数据,求出所述分析对象物中所含的所述基准物的混合比例。
16.如权利要求9至15中任一项所述的频谱分析方法,其中,
在所述分析步骤中,使用特征量可视化手法抽取所述频谱的特征部位。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-200176 | 2017-10-16 | ||
JP2017200176 | 2017-10-16 | ||
PCT/JP2018/035764 WO2019077955A1 (ja) | 2017-10-16 | 2018-09-26 | スペクトル分析装置およびスペクトル分析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111213052A true CN111213052A (zh) | 2020-05-29 |
Family
ID=66174365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880067182.0A Pending CN111213052A (zh) | 2017-10-16 | 2018-09-26 | 频谱分析装置及频谱分析方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11609181B2 (zh) |
JP (1) | JP7076463B2 (zh) |
CN (1) | CN111213052A (zh) |
DE (1) | DE112018004567T5 (zh) |
TW (1) | TWI790296B (zh) |
WO (1) | WO2019077955A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115931778A (zh) * | 2022-11-28 | 2023-04-07 | 湖北华鑫光电有限公司 | 镜片的折射率检测设备及其方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110146455A (zh) * | 2019-05-27 | 2019-08-20 | 安徽大学 | 基于深度学习的激光光谱气体浓度测量方法 |
CN111222543B (zh) * | 2019-12-19 | 2024-03-22 | 津海威视技术(天津)有限公司 | 物质识别方法和设备及计算机可读存储介质 |
AR127458A1 (es) * | 2021-10-27 | 2024-01-24 | Amgen Inc | Predicción basada en aprendizaje profundo usando espectroscopia |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011053171A (ja) * | 2009-09-04 | 2011-03-17 | Kitasato Institute | 波長可変光源の発光波長の測定方法 |
CN104897583A (zh) * | 2015-06-18 | 2015-09-09 | 重庆理工大学 | 一种微量血迹无损检测装置及方法 |
DE102016208087B3 (de) * | 2016-05-11 | 2017-05-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur Bestimmung der erreichten Qualität bei der Herstellung von Granulaten oder Pellets oder von Beschichtungen auf Granulen oder Pellets |
JP2017090130A (ja) * | 2015-11-05 | 2017-05-25 | 株式会社Zmp | モニタリングシステム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5455673A (en) * | 1994-05-27 | 1995-10-03 | Eastman Chemical Company | Apparatus and method for measuring and applying a convolution function to produce a standard Raman spectrum |
EP1992939A1 (en) * | 2007-05-16 | 2008-11-19 | National University of Ireland, Galway | A kernel-based method and apparatus for classifying materials or chemicals and for quantifying the properties of materials or chemicals in mixtures using spectroscopic data. |
CN100507603C (zh) | 2007-10-16 | 2009-07-01 | 哈尔滨工业大学 | 基于选择性核主成份分析的高光谱图像异常点的检测方法 |
-
2018
- 2018-09-26 JP JP2019549174A patent/JP7076463B2/ja active Active
- 2018-09-26 CN CN201880067182.0A patent/CN111213052A/zh active Pending
- 2018-09-26 DE DE112018004567.6T patent/DE112018004567T5/de active Pending
- 2018-09-26 US US16/755,720 patent/US11609181B2/en active Active
- 2018-09-26 WO PCT/JP2018/035764 patent/WO2019077955A1/ja active Application Filing
- 2018-10-11 TW TW107135731A patent/TWI790296B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011053171A (ja) * | 2009-09-04 | 2011-03-17 | Kitasato Institute | 波長可変光源の発光波長の測定方法 |
CN104897583A (zh) * | 2015-06-18 | 2015-09-09 | 重庆理工大学 | 一种微量血迹无损检测装置及方法 |
JP2017090130A (ja) * | 2015-11-05 | 2017-05-25 | 株式会社Zmp | モニタリングシステム |
DE102016208087B3 (de) * | 2016-05-11 | 2017-05-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur Bestimmung der erreichten Qualität bei der Herstellung von Granulaten oder Pellets oder von Beschichtungen auf Granulen oder Pellets |
Non-Patent Citations (1)
Title |
---|
陶鹏等: "《基于区域特征光谱的高光谱图像神经网络分类方法研究_陶鹏》", 《电子器件》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115931778A (zh) * | 2022-11-28 | 2023-04-07 | 湖北华鑫光电有限公司 | 镜片的折射率检测设备及其方法 |
CN115931778B (zh) * | 2022-11-28 | 2023-09-01 | 湖北华鑫光电有限公司 | 镜片的折射率检测设备及其方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210190679A1 (en) | 2021-06-24 |
TWI790296B (zh) | 2023-01-21 |
DE112018004567T5 (de) | 2020-06-04 |
TW201923315A (zh) | 2019-06-16 |
JPWO2019077955A1 (ja) | 2020-09-17 |
JP7076463B2 (ja) | 2022-05-27 |
US11609181B2 (en) | 2023-03-21 |
WO2019077955A1 (ja) | 2019-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111213052A (zh) | 频谱分析装置及频谱分析方法 | |
Phinn et al. | Multi-scale, object-based image analysis for mapping geomorphic and ecological zones on coral reefs | |
CN101916359B (zh) | 把样本的不同区域分类到相应类别的方法和设备 | |
Rahaman et al. | An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm | |
Azcarate et al. | Modeling second-order data for classification issues: Data characteristics, algorithms, processing procedures and applications | |
Przybył et al. | The recognition of potato varieties using of neural image analysis method | |
Przybył et al. | Software supporting definition and extraction of the quality parameters of potatoes by using image analysis | |
CN116994117A (zh) | 目标光谱分析模型的训练方法、装置、设备及存储介质 | |
Bratasanu et al. | Interactive spectral band discovery for exploratory visual analysis of satellite images | |
Bogdal et al. | Recognition of gasoline in fire debris using machine learning: Part II, application of a neural network | |
Zaman et al. | Analysis of hyperspectral data to develop an approach for document images | |
Verdú et al. | Laser scattering imaging combined with CNNs to model the textural variability in a vegetable food tissue | |
CN113702328B (zh) | 一种成品油的性质分析方法、装置、设备及存储介质 | |
TWI818101B (zh) | 頻譜分析裝置及頻譜分析方法 | |
Burger | Hyperspectral NIR image analysis | |
CN114324337B (zh) | 一种利用遥感影像进行水质分析系统和方法 | |
CN116883852B (zh) | 一种基于高光谱的岩芯数据获取方法及系统 | |
CN115311628B (zh) | 森林冠层叶绿素含量反演及动态监测方法 | |
Iser et al. | Affordable method for measuring fluorescence using Gaussian distributions and bounded MESE | |
Ergin | Enhanced Data Reduction, Segmentation, and Spatial Multiplexing Methods for Hyperspectral Imaging | |
Su et al. | Feasibility research on rapid detection of dimethoate in water by near-infrared spectroscopy | |
Lei et al. | A text-based, generative deep learning model for soil reflectance spectrum simulation in the VIS-NIR (400-2499 nm) bands | |
Yuan et al. | Novel automatic de-scattering method for three-dimensional fluorescence spectra based on deep learning | |
Georvasilis | Deep Learning Methods for Elemental Map Prediction from MA-XRF spectra | |
GORLINI et al. | Hyperspectral imaging and deep learning for automatic food quality inspection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200529 |
|
WD01 | Invention patent application deemed withdrawn after publication |