CN109993199B - 一种针对高阶张量数据的处理方法 - Google Patents

一种针对高阶张量数据的处理方法 Download PDF

Info

Publication number
CN109993199B
CN109993199B CN201910022095.XA CN201910022095A CN109993199B CN 109993199 B CN109993199 B CN 109993199B CN 201910022095 A CN201910022095 A CN 201910022095A CN 109993199 B CN109993199 B CN 109993199B
Authority
CN
China
Prior art keywords
tensor
samples
order
sample
tensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910022095.XA
Other languages
English (en)
Other versions
CN109993199A (zh
Inventor
孙艳丰
句福娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910022095.XA priority Critical patent/CN109993199B/zh
Publication of CN109993199A publication Critical patent/CN109993199A/zh
Priority to US16/709,947 priority patent/US11106939B2/en
Application granted granted Critical
Publication of CN109993199B publication Critical patent/CN109993199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155Bayesian classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/245Classification techniques relating to the decision surface
    • G06F18/2451Classification techniques relating to the decision surface linear, e.g. hyperplane
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

公开一种针对高阶张量数据的处理方法,其能够避免了图像观测样本集向量化过程破坏数据的内部结构,灵活而且简单,可以提取出张量样本的判别性特征,简化了图像观测样本集中高阶张量数据存在的大量冗余信息,提高了图像处理速度。这种针对高阶张量数据的处理方法,将高阶张量数据分解为三部分:共享子空间成分、个性子空间成分以及噪声部分;共享子空间成分、个性子空间成分分别将高阶张量数据表示为一组张量基底和向量系数的线性组合;利用变分EM方法求解基底张量和向量系数;通过比较样本的边缘分布设计分类器对待测样本进行分类。

Description

一种针对高阶张量数据的处理方法
技术领域
本发明涉及数据处理的技术领域,尤其涉及一种针对高阶张量数据的处理方法,其主要用于视频序列、RGB-D 序列等数据的处理。
背景技术
随着科技的发展, 高阶张量数据大量涌现, 如视频序列, RGB-D 序列等。由于高阶张量数据中常常存在大量的冗余信息, 所以对数据进行分析之前常常需要对其提取特征或降维。
传统的降维方式是将张量数据向量化, 然后采用向量的降维方法, 而向量化过程会破坏数据的结构关系, 无法利用高阶张量数据的内部结构。另外, 对于高阶张量常用的两种降维方法是 CandeComp/ PARAFAC(CP)分解和 Tucker分解。CP 分解提取的特征维度是由 CP 分解的秩确定的, 不具有灵活性。Tucker 分解对测试样本提取特征较为复杂,因此, 它更多的适用于聚类而不是分类。
发明内容
为克服现有技术的缺陷,本发明要解决的技术问题是提供了一种针对高阶张量数据的处理方法,其能够避免了图像观测样本集向量化过程破坏数据的内部结构,灵活而且简单,可以提取出张量样本的判别性特征,简化了图像观测样本集中高阶张量数据存在的大量冗余信息,提高了图像处理速度。
本发明的技术方案是:这种针对高阶张量数据的处理方法,将高阶张量数据分解为三部分:共享子空间成分、个性子空间成分以及噪声部分;共享子空间成分、个性子空间成分分别将高阶张量数据表示为一组张量基底和向量系数的线性组合;利用变分EM方法求解基底张量和向量系数;通过比较样本的边缘分布设计分类器对待测样本进行分类。
本发明与传统的线性判别方法相比,直接作用在张量数据上从两个空间中分别提取共性特征和个性特征,在每个空间中,利用张量的结构特点,构造一种张量数据到向量数据的表示方式,从而提取出张量样本的判别性特征,因此能够避免了图像观测样本集向量化过程破坏数据的内部结构,灵活而且简单,简化了图像观测样本集中高阶张量数据存在的大量冗余信息,提高了图像处理速度。
附图说明
图1是根据本发明的公式(1)的示意图。
图2是根据本发明的同一类的样本分享同一个身份变量的示意图。
图3展示了扩展耶鲁库上本发明的重构的视觉效果。
图4展示了AR数据库上本发明的重构结果。
具体实施方式
如图1所示,这种针对高阶张量数据的处理方法,将高阶张量数据分解为三部分:共享子空间成分、个性子空间成分以及噪声部分;共享子空间成分、个性子空间成分分别将高阶张量数据表示为一组张量基底和向量系数的线性组合;利用变分EM方法求解基底张量和向量系数;通过比较样本的边缘分布设计分类器对待测样本进行分类。
本发明与传统的线性判别方法相比,直接作用在张量数据上从两个空间中分别提取共性特征和个性特征,在每个空间中,利用张量的结构特点,构造一种张量数据到向量数据的表示方式,从而提取出张量样本的判别性特征,因此能够避免了图像观测样本集向量化过程破坏数据的内部结构,灵活而且简单,简化了图像观测样本集中高阶张量数据存在的大量冗余信息,提高了图像处理速度。
优选地,二维模型为:
假设给定观测样本集
Figure 144009DEST_PATH_IMAGE001
,其中包含I个人共N幅图像,每个人包含Ni幅图像(
Figure 529991DEST_PATH_IMAGE002
),Yij表示第i个人的第j幅图像,表示为公式(1)
Figure 106466DEST_PATH_IMAGE003
(1)
其中,
Figure 95150DEST_PATH_IMAGE004
以及
Figure 643943DEST_PATH_IMAGE005
是张量数据的线性表示,其中系数为向量,
Figure 59881DEST_PATH_IMAGE006
以及
Figure 795756DEST_PATH_IMAGE007
分别为共享子空间和个体子空间中的基矩阵组成的张量,×3表示的是张量和矩阵的乘积,
Figure 791394DEST_PATH_IMAGE008
表示第i类物体中的所有样本
Figure 778540DEST_PATH_IMAGE009
在共享子空间中的系数表示,
Figure 568642DEST_PATH_IMAGE010
表示第i类物体中的第j个样本在个体空间中的系数,
Figure 621174DEST_PATH_IMAGE011
表示所有样本的均值矩阵,假设均值矩阵为零矩阵,
Figure 420502DEST_PATH_IMAGE012
表示随机噪声,其每个元素满足正态分布
Figure 6205DEST_PATH_IMAGE013
优选地,模型(1)向量为公式(2)
Figure 29524DEST_PATH_IMAGE014
(2)
其中矩阵
Figure 569352DEST_PATH_IMAGE015
Figure 375634DEST_PATH_IMAGE016
中的列
Figure 815843DEST_PATH_IMAGE017
以及
Figure 947747DEST_PATH_IMAGE018
分别为张量
Figure 207827DEST_PATH_IMAGE019
Figure 83379DEST_PATH_IMAGE020
的第k1,k2个面,利用张量的CP分解来对基底张量进行限制,假设
Figure 879559DEST_PATH_IMAGE021
以及
Figure 182364DEST_PATH_IMAGE022
优选地,假设
Figure 664161DEST_PATH_IMAGE023
为隐变量的任意联合分布,找到似然函数的下界函数为公式(3),
Figure 494802DEST_PATH_IMAGE024
(3)
公式(3)的第二个等式成立是基于
Figure 348751DEST_PATH_IMAGE025
具有分离性,
Figure 307611DEST_PATH_IMAGE026
优选地,给定高阶观测集
Figure 73441DEST_PATH_IMAGE027
Figure 290796DEST_PATH_IMAGE028
每个样本是M阶的张量,高阶张量的线性判别分析模型为公式(4)
Figure 294524DEST_PATH_IMAGE029
(4)
其中,
Figure 700317DEST_PATH_IMAGE030
以及
Figure 173018DEST_PATH_IMAGE031
Figure 554583DEST_PATH_IMAGE032
Figure 931311DEST_PATH_IMAGE033
属于(M+1)阶的张量,大小分别为:
Figure 966394DEST_PATH_IMAGE034
以及
Figure 473861DEST_PATH_IMAGE035
,假设基底张量具有CP分解的结构,
Figure 360914DEST_PATH_IMAGE036
以及
Figure 168596DEST_PATH_IMAGE037
优选地,对于高阶模型,利用变分EM算法进行求解,隐变量
Figure 951744DEST_PATH_IMAGE038
的后验分布仍是多变量的高斯分布,其均值和方差分别为,
Figure 445042DEST_PATH_IMAGE039
其中,
Figure 162550DEST_PATH_IMAGE040
Figure 260956DEST_PATH_IMAGE041
Figure 683848DEST_PATH_IMAGE042
,则
Figure 103590DEST_PATH_IMAGE043
表示的是
Figure 4550DEST_PATH_IMAGE044
的模-m展开矩阵,并且有,
Figure 426304DEST_PATH_IMAGE045
其中
Figure 754517DEST_PATH_IMAGE046
表示的是Khatri-Rao积,
经计算
Figure 894511DEST_PATH_IMAGE047
的后验分布仍为多变量的高斯分布,均值和协方差矩阵分别为,
Figure 599162DEST_PATH_IMAGE048
其中,
Figure 141002DEST_PATH_IMAGE049
Figure 640116DEST_PATH_IMAGE050
,则
Figure 768872DEST_PATH_IMAGE051
表示
Figure 11634DEST_PATH_IMAGE052
的模m展开矩阵,并且有,
Figure 407980DEST_PATH_IMAGE053
最优的
Figure 77996DEST_PATH_IMAGE054
仍是Gamma分布,
M步是对参数进行更新,对
Figure 927003DEST_PATH_IMAGE055
求解
Figure 973457DEST_PATH_IMAGE056
以及
Figure 224310DEST_PATH_IMAGE057
的导数,并令导数等于零,得到
Figure 330806DEST_PATH_IMAGE058
其中
Figure 667109DEST_PATH_IMAGE059
表示的是张量
Figure 18718DEST_PATH_IMAGE060
的模-m展开矩阵,且
Figure 124078DEST_PATH_IMAGE061
Figure 401475DEST_PATH_IMAGE062
求解
Figure 959496DEST_PATH_IMAGE063
以及
Figure 347752DEST_PATH_IMAGE064
的偏导数,令其等于零,得到
Figure 573197DEST_PATH_IMAGE065
以及
Figure 755916DEST_PATH_IMAGE066
优选地,给定待分类的样本
Figure 332391DEST_PATH_IMAGE067
,通过计算似然函数值来对该样本进行分类,分类的关键是同一类的样本分享同一个身份变量,给定训练样本集
Figure 19943DEST_PATH_IMAGE068
,如果
Figure 99895DEST_PATH_IMAGE067
与某个样本Yi属于同一类,那么他们有共同的
Figure 984674DEST_PATH_IMAGE069
优选地,Y1与Yp属于同一类别,则他们共享相同的h1,在这种情况下,观测集和待测样本的似然函数记为
Figure 782866DEST_PATH_IMAGE070
,Yp与Y2是属于同一类,则他们共享相同的h2,此时的似然函数记作
Figure 778504DEST_PATH_IMAGE071
;比较
Figure 978541DEST_PATH_IMAGE072
Figure 270107DEST_PATH_IMAGE073
,找到其中最大的值,这样,Yp就属于最大值对应样本的标签;似然函数的计算如下所示:
由于
Figure 555595DEST_PATH_IMAGE074
属于矩阵高斯分布,通过计算
Figure 823766DEST_PATH_IMAGE075
取代计算
Figure 878309DEST_PATH_IMAGE076
,记作
Figure 839312DEST_PATH_IMAGE077
,将公式(1)重新写为
Figure 346517DEST_PATH_IMAGE078
其中
Figure 683957DEST_PATH_IMAGE079
以及
Figure 360051DEST_PATH_IMAGE080
Figure 226376DEST_PATH_IMAGE081
,测试阶段,这两个矩阵是已知的,这样,N个样本和测试样本的似然函数为,
Figure 486456DEST_PATH_IMAGE082
接下来,计算n个共享相同身份变量
Figure 362008DEST_PATH_IMAGE083
的样本
Figure 391144DEST_PATH_IMAGE084
的边缘分布,通过公式(5)进行计算,
Figure 428370DEST_PATH_IMAGE085
(5)
记作,
Figure 175747DEST_PATH_IMAGE086
假设
Figure 589410DEST_PATH_IMAGE087
以及
Figure 974518DEST_PATH_IMAGE088
公式(5)转化为概率主成分分析模型,观测集
Figure 448224DEST_PATH_IMAGE089
的边缘分布为
Figure 417317DEST_PATH_IMAGE090
利用上式可以计算
Figure 369093DEST_PATH_IMAGE091
Figure 372821DEST_PATH_IMAGE092
,从而得到
Figure 751850DEST_PATH_IMAGE093
,在这些值中找到最大的值,则Yp就属于
Figure 208239DEST_PATH_IMAGE094
中最大值对应样本的标签。
以下更详细地说明本发明。
本发明采用的技术方案为一种基于张量数据向量表达的概率线性判别分析方法,该方法的具体实施过程如下:
二维模型构建
假设给定观测样本集
Figure 963705DEST_PATH_IMAGE095
,其中包含I个人共N幅图像,每个人包含Ni幅图像(
Figure 317545DEST_PATH_IMAGE002
)。Yij表示第i个人的第j幅图像,我们可以将其表示为下式,
Figure 664213DEST_PATH_IMAGE003
(1)
该模型中,
Figure 607898DEST_PATH_IMAGE096
以及
Figure 901476DEST_PATH_IMAGE005
可以看成是张量数据的线性表示,其中系数为向量,如图1所示。
Figure 614217DEST_PATH_IMAGE006
以及
Figure 600628DEST_PATH_IMAGE007
分别为共享子空间和个体子空间中的基矩阵组成的张量。
Figure 31609DEST_PATH_IMAGE097
表示的是张量和矩阵的乘积。
Figure 630343DEST_PATH_IMAGE008
表示第i类物体中的所有样本
Figure 197591DEST_PATH_IMAGE009
在共享子空间中的系数表示。
Figure 354902DEST_PATH_IMAGE010
表示第i类物体中的第j个样本在个体空间中的系数。
Figure 273180DEST_PATH_IMAGE011
表示所有样本的均值矩阵,一般情况下,假设均值矩阵为零矩阵。
Figure 908561DEST_PATH_IMAGE012
表示随机噪声,其每个元素满足正态分布
Figure 595894DEST_PATH_IMAGE013
为了生成贝叶斯模型,进一步假设隐变量满足多变量的正态分布,
Figure 189686DEST_PATH_IMAGE098
以及
Figure 64101DEST_PATH_IMAGE099
Figure 535796DEST_PATH_IMAGE100
,假设
Figure 77636DEST_PATH_IMAGE101
服从伽马分布,
Figure 576750DEST_PATH_IMAGE102
模型(1)可以向量为下式,
Figure 204041DEST_PATH_IMAGE014
(2)
其中矩阵
Figure 181224DEST_PATH_IMAGE015
Figure 843150DEST_PATH_IMAGE103
中的列
Figure 513165DEST_PATH_IMAGE017
以及
Figure 362173DEST_PATH_IMAGE018
分别为张量
Figure 910091DEST_PATH_IMAGE019
Figure 160944DEST_PATH_IMAGE020
的第k1,k2个面。因此,该模型就转化为传统的概率线性判别分析。然而,一个主要的问题是模型中的参数会随着原始数据的增加而增大。例如,对于N阶张量样本数据,投影张量
Figure 1861DEST_PATH_IMAGE104
Figure 603743DEST_PATH_IMAGE105
是分别含有
Figure 188308DEST_PATH_IMAGE106
Figure 559247DEST_PATH_IMAGE107
个自由参数的
Figure 571065DEST_PATH_IMAGE108
阶张量。当维度
Figure 394665DEST_PATH_IMAGE109
Figure 301964DEST_PATH_IMAGE110
以及N比较大时,投影基底中的自由参数的个数很容易达到百万级别。这使得参数的学习变得更加困难。为了解决这个问题,利用张量的CP分解来对基底张量进行限制,即假设,
Figure 527409DEST_PATH_IMAGE111
以及
Figure 710128DEST_PATH_IMAGE022
模型的求解
对于上述提出的模型,
Figure 286603DEST_PATH_IMAGE112
以及
Figure 212971DEST_PATH_IMAGE113
被当做是隐变量,参数集可以记作
Figure 27343DEST_PATH_IMAGE114
。因此给定观测集
Figure 912123DEST_PATH_IMAGE115
和所有隐变量的联合分布为,
Figure 710314DEST_PATH_IMAGE116
因此,样本的似然函数为,
Figure 410679DEST_PATH_IMAGE117
进而,可以利用变分EM算法对模型进行求解。
由于模型中存在未知的隐变量,很难直接对似然函数优化,因此,假设
Figure 610717DEST_PATH_IMAGE118
为隐变量的任意联合分布,可以找到似然函数的下界函数,
Figure 400818DEST_PATH_IMAGE119
(3)
上式第二个等式成立是基于
Figure 420727DEST_PATH_IMAGE120
具有分离性,即
Figure 954476DEST_PATH_IMAGE121
。变分EM算法的实现如下所示。
1) 变分E步:在E步中,固定模型中的参数,更新所有隐变量的后验分布。
(i). 更新
Figure 9020DEST_PATH_IMAGE122
的后验分布:由于
Figure 970023DEST_PATH_IMAGE123
Figure 477227DEST_PATH_IMAGE124
Figure 316133DEST_PATH_IMAGE038
是无关的,因此,在更新
Figure 225183DEST_PATH_IMAGE038
时,可以把
Figure 91508DEST_PATH_IMAGE123
Figure 351588DEST_PATH_IMAGE124
当成是常量,这样,模型(1)可以重新记作
Figure 227140DEST_PATH_IMAGE125
定义
Figure 990696DEST_PATH_IMAGE126
以及
Figure 27923DEST_PATH_IMAGE127
Figure 40878DEST_PATH_IMAGE128
,因此,上式可重新写成,
Figure 956007DEST_PATH_IMAGE129
并且
Figure 839649DEST_PATH_IMAGE130
中的每个元素服从正态分布
Figure 782197DEST_PATH_IMAGE131
优化目标(3)中的后两项与
Figure 751290DEST_PATH_IMAGE038
是无关的,因此只需要计算前两项期望。因此,观测数据的概率
Figure 968645DEST_PATH_IMAGE132
可以通过下式计算得到,
Figure 706794DEST_PATH_IMAGE133
因此
Figure 351402DEST_PATH_IMAGE122
的后验分布仍然是多变量正态分布,其均值和协方差矩阵分别为,
Figure 807791DEST_PATH_IMAGE134
以及
Figure 58863DEST_PATH_IMAGE135
其中,
Figure 917097DEST_PATH_IMAGE136
以及
Figure 732607DEST_PATH_IMAGE137
ii) 更新
Figure 410713DEST_PATH_IMAGE138
的后验分布:
模型(1)可以重新写作下式,
Figure 969870DEST_PATH_IMAGE139
定义
Figure 682611DEST_PATH_IMAGE140
,则上式模型可以记作,
Figure 669021DEST_PATH_IMAGE141
因此,
Figure 100003DEST_PATH_IMAGE138
的后验分布分布仍然是多变量的正态分布,其均值和协方差矩阵分别为,
Figure 151267DEST_PATH_IMAGE142
以及
Figure 718514DEST_PATH_IMAGE143
其中,
Figure 377291DEST_PATH_IMAGE144
以及
Figure 29989DEST_PATH_IMAGE145
iii) 更新
Figure 930949DEST_PATH_IMAGE146
的后验分布:
利用贝叶斯定理可知,最优
Figure 618282DEST_PATH_IMAGE054
的对数可以通过计算联合分布对数函数在所有隐变量下的期望来计算,这样,可以得到下式,
Figure 212075DEST_PATH_IMAGE147
其中,
Figure 352069DEST_PATH_IMAGE148
因此
Figure 791141DEST_PATH_IMAGE146
的后验分布正比于,
Figure 67401DEST_PATH_IMAGE149
因此,最优的
Figure 333560DEST_PATH_IMAGE054
仍是Gamma分布,其中参数变为,
Figure 960850DEST_PATH_IMAGE150
以及
Figure 203613DEST_PATH_IMAGE151
2) 变分M步:固定隐变量的后验分布,极大化
Figure 865538DEST_PATH_IMAGE152
下所有参数。选取(3)式中与参数
Figure 535554DEST_PATH_IMAGE153
相关的项得到,
Figure 384561DEST_PATH_IMAGE154
其中,
Figure 431015DEST_PATH_IMAGE155
是常数,表示与
Figure 708631DEST_PATH_IMAGE153
无关的项。另外,推断,
Figure 549548DEST_PATH_IMAGE156
以及
Figure 885852DEST_PATH_IMAGE157
Figure 470417DEST_PATH_IMAGE158
成立。因此
Figure 841355DEST_PATH_IMAGE159
可以重新记作,
Figure 853174DEST_PATH_IMAGE160
其中,
Figure 942352DEST_PATH_IMAGE161
极大化
Figure 65029DEST_PATH_IMAGE162
时的因子矩阵
Figure 57518DEST_PATH_IMAGE163
以及
Figure 240238DEST_PATH_IMAGE164
,可以得到,
Figure 551133DEST_PATH_IMAGE165
Figure 477501DEST_PATH_IMAGE166
以及
Figure 823032DEST_PATH_IMAGE167
Figure 176653DEST_PATH_IMAGE168
记作所有
Figure 240424DEST_PATH_IMAGE169
组成的矩阵,属于同一类的样本对应的列是相同的。优化函数
Figure 471947DEST_PATH_IMAGE162
可以重新记作,
Figure 671984DEST_PATH_IMAGE170
对优化函数
Figure 462086DEST_PATH_IMAGE162
Figure 747574DEST_PATH_IMAGE171
Figure 281323DEST_PATH_IMAGE172
的偏导数,可以得到,
Figure 335867DEST_PATH_IMAGE173
Figure 31290DEST_PATH_IMAGE174
以及
Figure 804074DEST_PATH_IMAGE175
3) 全局算法:整体变分EM算法是通过迭代E步和M步完成的。E步,固定所有参数,更新隐变量的后验分布;M步,固定隐变量的后验分布,更新参数。E步和M步交替迭代,直到满足终止条件。
定义
Figure 642980DEST_PATH_IMAGE176
以及
Figure 552030DEST_PATH_IMAGE177
t步的系数矩阵,因此,重构误差为,
Figure 683934DEST_PATH_IMAGE178
当重构误差足够小,或者迭代步数超过一定值,迭代终止。
高维模型构建
给定高阶观测集
Figure 678435DEST_PATH_IMAGE027
Figure 553987DEST_PATH_IMAGE179
每个样本是M阶的张量,因此,高阶张量的线性判别分析模型为,
Figure 317543DEST_PATH_IMAGE029
(4)
其中,
Figure 620349DEST_PATH_IMAGE030
以及
Figure 597751DEST_PATH_IMAGE031
Figure 11415DEST_PATH_IMAGE032
Figure 895057DEST_PATH_IMAGE033
属于(M+1)阶的张量,大小分别为:
Figure 368764DEST_PATH_IMAGE034
以及
Figure 337857DEST_PATH_IMAGE035
。同二阶模型类似,假设基底张量具有CP分解的结构,
Figure 555212DEST_PATH_IMAGE036
以及
Figure 293361DEST_PATH_IMAGE180
高维模型算法的求解
对于高阶模型,利用变分EM算法进行求解,隐变量
Figure 937969DEST_PATH_IMAGE038
的后验分布仍是多变量的高斯分布,其均值和方差分别为,
Figure 161402DEST_PATH_IMAGE039
其中,
Figure 651289DEST_PATH_IMAGE040
Figure 509524DEST_PATH_IMAGE041
Figure 59454DEST_PATH_IMAGE042
,则
Figure 268718DEST_PATH_IMAGE043
表示的是
Figure 827875DEST_PATH_IMAGE044
的模-m展开矩阵,并且有,
Figure 540616DEST_PATH_IMAGE045
其中
Figure 527027DEST_PATH_IMAGE181
表示的是Khatri-Rao积。
经计算
Figure 193894DEST_PATH_IMAGE047
的后验分布仍为多变量的高斯分布,均值和协方差矩阵分别为,
Figure 291163DEST_PATH_IMAGE048
其中,
Figure 123990DEST_PATH_IMAGE049
Figure 281302DEST_PATH_IMAGE050
,则
Figure 934000DEST_PATH_IMAGE051
表示
Figure 569381DEST_PATH_IMAGE052
的模m展开矩阵。并且有,
Figure 256714DEST_PATH_IMAGE053
最优的
Figure 850506DEST_PATH_IMAGE054
仍是Gamma分布,其中参数变与二阶情况相同。
M步是对参数进行更新。对
Figure 491965DEST_PATH_IMAGE055
求解
Figure 931037DEST_PATH_IMAGE056
以及
Figure 207298DEST_PATH_IMAGE057
的导数,并令导数等于零,可以得到,
Figure 971991DEST_PATH_IMAGE058
其中
Figure 599282DEST_PATH_IMAGE059
表示的是张量
Figure 576465DEST_PATH_IMAGE060
的模-m展开矩阵,且
Figure 972811DEST_PATH_IMAGE061
Figure 642827DEST_PATH_IMAGE062
求解
Figure 276456DEST_PATH_IMAGE063
以及
Figure 588489DEST_PATH_IMAGE064
的偏导数,令其等于零,可以得到,
Figure 839342DEST_PATH_IMAGE065
以及
Figure 945838DEST_PATH_IMAGE066
识别分类器
给定待分类的样本
Figure 547721DEST_PATH_IMAGE067
,通过计算似然函数值来对该样本进行分类。分类的关键是同一类的样本分享同一个身份变量。给定训练样本集
Figure 132286DEST_PATH_IMAGE068
,如果
Figure 503224DEST_PATH_IMAGE067
与某个样本Yi属于同一类,那么他们有共同的
Figure 16508DEST_PATH_IMAGE069
。例如图2所示,左边的子图说明Y1与Yp属于同一类别,则他们共享相同的h1,在这种情况下,观测集和待测样本的似然函数记为
Figure 105686DEST_PATH_IMAGE182
,图2中右边的子图说明Yp与Y2是属于同一类,则他们共享相同的h2。此时的似然函数记作
Figure 962784DEST_PATH_IMAGE071
。比较
Figure 453808DEST_PATH_IMAGE183
Figure 636528DEST_PATH_IMAGE073
,找到其中最大的值,这样,Yp就属于最大值对应样本的标签。似然函数的计算如下所示。
由于
Figure 947423DEST_PATH_IMAGE074
属于矩阵高斯分布,为了计算方便,可以通过计算
Figure 873791DEST_PATH_IMAGE075
取代计算
Figure 219322DEST_PATH_IMAGE076
。记作
Figure 572943DEST_PATH_IMAGE184
,这样我们可以将模型(1)重新写为,
Figure 872599DEST_PATH_IMAGE078
其中
Figure 602658DEST_PATH_IMAGE079
以及
Figure 802695DEST_PATH_IMAGE080
Figure 327217DEST_PATH_IMAGE081
,测试阶段,这两个矩阵是已知的。这样,N个样本和测试样本的似然函数为,
Figure 612705DEST_PATH_IMAGE082
接下来,计算n个共享相同身份变量
Figure 880875DEST_PATH_IMAGE083
的样本
Figure 935419DEST_PATH_IMAGE084
的边缘分布可以通过下式进行计算,
Figure 896422DEST_PATH_IMAGE185
(5)
或者,上式可以重新记作,
Figure 170671DEST_PATH_IMAGE086
假设,
Figure 976953DEST_PATH_IMAGE087
以及
Figure 151582DEST_PATH_IMAGE088
因此,上式可以转化为概率主成分分析模型。这样,观测集
Figure 17907DEST_PATH_IMAGE089
的边缘分布为,
Figure 12408DEST_PATH_IMAGE090
利用上式可以计算
Figure 622380DEST_PATH_IMAGE091
Figure 651516DEST_PATH_IMAGE092
,从而得到
Figure 954322DEST_PATH_IMAGE093
,在这些值中找到最大的值,则Yp就属于
Figure 931724DEST_PATH_IMAGE094
中最大值对应样本的标签。
本发明的实验效果
重构实验:重构的实验主要涉及一下两个数据库
1) 扩展耶鲁人脸数据库
(http://vision.ucsd.edu/content/yale-face-database)
扩展耶鲁数据库中共包含38个人的2414张图像,每个人都有59-64幅图像,重构实验中,随机选取每个人的40幅图像做训练,剩下的图像做测试,所有图像都被才见到32*32的大小。
表1列出了本发明与传统方法PLDA方法的对比结果,其中包括投影的自由参数数目、重构结果以及识别率。两种方法中,降维后的维度为K1=38,K2=50。列表中重构误差的值越大,表示重构的效果越好。所有实验运行10次,记录识别的平均值和方差。本发明中的方法TPLDA共做了三次测试,分别为:R1=R2=170,200,250。从实验结果可以看出,当使用较少的参数时,本方法取得与传统方法相当的识别结果。
表1
Figure 315451DEST_PATH_IMAGE010
图3展示了扩展耶鲁库上的本发明的重构的视觉效果。第一行是12幅原始的图像,第二行是由
Figure 229030DEST_PATH_IMAGE187
重构的共享子空间中的图像,由于它表示的人的身份信息,所以相同的人对应的图像是相同的。第三行是
Figure 702737DEST_PATH_IMAGE188
重构的图像。可以看出,该空间图像可以重构出更多的细节信息。
2) AR人脸数据库
(http://rvl1.ecn.purdue.edu/aleix/aleix_face_DB.html)
AR数据库总共包含126个人的4000多幅彩色图像,所有图像都发生表情、光照和遮挡的变化。每个人包含26幅图像,其中前13幅图像是在同一时间段采集的,后13幅图像是在两周之后采集的。所有的彩色图像都被灰度化处理后下采样到70*60大小。实验中,选取100个人做测试,这些人的前13幅图像用来训练,后13幅图像做测试。
表2列出了本方法与传统PLDA方法的对比结果,其中降维后的维度为K1=100,K2=100。该实验中,测试了四种情况的结果,分别为:R1=R2=150,170,200,250。从该表中也可以看出,当参数的个数远远少于PLDA参数的个数时,识别结果高于传统方法。
表2
Figure 167870DEST_PATH_IMAGE012
图4展示了AR数据库上本发明的重构结果。第一行是某个人的所有图像,第二行是
Figure 623605DEST_PATH_IMAGE191
重构的图像,第三行是
Figure 627334DEST_PATH_IMAGE192
重构的结构。通过该图可以很清楚的看出,本发明的模型可以将人的身份信息和细节信息很好的分离开。
三维视频序列的识别分类
为了验证提出方法在视频序列上的有效性,测试了该方法在芭蕾舞数据库(Bellet database)上的聚类效果。该数据库共包含44段视频,这些视频是由3个人完成的8个复杂动作构成的。在该实验中,每段视频都被分解为包含12帧的图像集,从而共得到713个图像集。每个图像被看作是一个视频序列段进行训练。选取1/3的样本做训练集,剩下的图像集做测试。表3列出了六种方法的识别分类结果。所有方法降维后的维度分别为30,50和70。从该表可以看出,本方法TPLDA可以得到最高的识别结果。
表3
Figure 577991DEST_PATH_IMAGE014
以上所述,仅是本发明的较佳实施例,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属本发明技术方案的保护范围。

Claims (6)

1.一种针对高阶张量数据的处理方法,将高阶张量数据分解为三部分:共享子空间成分、个性子空间成分以及噪声部分;共享子空间成分、个性子空间成分分别将高阶张量数据表示为一组张量基底和向量系数的线性组合;利用变分EM方法求解基底张量和向量系数;通过比较样本的边缘分布设计分类器对待测样本进行分类;
给定高阶观测集
Figure FDA0002653520120000011
每个样本是M阶的张量,高阶张量的线性判别分析模型为公式(4)
Figure FDA0002653520120000012
其中,
Figure FDA0002653520120000013
以及
Figure FDA0002653520120000014
Figure FDA0002653520120000015
Figure FDA0002653520120000016
属于(M+1)阶的张量,大小分别为:D1×…×DM×K1以及D1×…×DM×K2,假设基底张量具有CP分解的结构,
Figure FDA0002653520120000017
以及
Figure FDA0002653520120000018
其特征在于:
对于高阶模型,利用变分EM算法进行求解,隐变量hi的后验分布仍是多变量的高斯分布,其均值和方差分别为,
Figure FDA0002653520120000019
Figure FDA00026535201200000110
其中,
Figure FDA0002653520120000021
Figure FDA0002653520120000022
Figure FDA0002653520120000023
Figure FDA0002653520120000024
表示的是
Figure FDA0002653520120000025
的模-m展开矩阵,并且有,
Figure FDA0002653520120000026
其中
Figure FDA0002653520120000027
表示的是Khatri-Rao积,
经计算
Figure FDA0002653520120000028
的后验分布仍为多变量的高斯分布,均值和协方差矩阵分别为,
Figure FDA0002653520120000029
Figure FDA00026535201200000210
其中,
Figure FDA00026535201200000211
Figure FDA00026535201200000212
Figure FDA00026535201200000213
Figure FDA00026535201200000214
表示
Figure FDA00026535201200000215
的模m展开矩阵,
并且有,
Figure FDA00026535201200000216
最优的Q*(ρ)仍是Gamma分布,
M步是对参数进行更新,对
Figure FDA00026535201200000217
求解F(n)(n=1,...,N)以及F(h)的导数,并令导数等于零,得到
Figure FDA0002653520120000031
Figure FDA0002653520120000032
其中
Figure FDA0002653520120000033
表示的是张量
Figure FDA0002653520120000034
的模-m展开矩阵,且
Figure FDA0002653520120000035
Figure FDA0002653520120000036
求解W(m)(m=1,...,M)以及W(h)的偏导数,令其等于零,得到
Figure FDA0002653520120000037
以及
Figure FDA0002653520120000038
2.根据权利要求1所述的针对高阶张量数据的处理方法,其特征在于:二维模型为:
假设给定观测样本集
Figure FDA0002653520120000039
其中包含I个人共N幅图像,每个人包含Ni幅图像
Figure FDA00026535201200000310
Yij表示第i个人的第j幅图像,表示为公式(1)
Figure FDA00026535201200000311
其中,
Figure FDA0002653520120000041
以及
Figure FDA0002653520120000042
是张量数据的线性表示,其中系数为向量,
Figure FDA0002653520120000043
以及
Figure FDA0002653520120000044
分别为共享子空间和个体子空间中的基矩阵组成的张量,×3表示的是张量和矩阵的乘积,
Figure FDA0002653520120000045
表示第i类物体中的所有样本
Figure FDA0002653520120000046
在共享子空间中的系数表示,
Figure FDA0002653520120000047
表示第i类物体中的第j个样本在个体空间中的系数,M表示所有样本的均值矩阵,假设均值矩阵为零矩阵,Eij表示随机噪声,其每个元素满足正态分布
Figure FDA0002653520120000048
3.根据权利要求2所述的针对高阶张量数据的处理方法,其特征在于:公式(1)向量为公式(2)
vec(Yij)=Fhi+Wgij+vec(M)+vec(Eij) (2)
其中矩阵F和W中的列
Figure FDA00026535201200000414
以及
Figure FDA00026535201200000415
分别为张量
Figure FDA0002653520120000049
Figure FDA00026535201200000410
的第k1,k2个面,利用张量的CP分解来对基底张量进行限制,假设
Figure FDA00026535201200000411
以及
Figure FDA00026535201200000412
4.根据权利要求3所述的针对高阶张量数据的处理方法,其特征在于:假设Q(h,g,ρ)为隐变量的任意联合分布,找到似然函数的下界函数为公式(3),
Figure FDA00026535201200000413
公式(3)的第二个等式成立是基于Q(h,g,ρ)具有分离性,Q(h,g,ρ)=Q(h)Q(g)Q(ρ)。
5.根据权利要求4所述的针对高阶张量数据的处理方法,其特征在于:给定待分类的样本Yp,通过计算似然函数值来对该样本进行分类,分类的关键是同一类的样本分享同一个身份变量,给定训练样本集Y1...N,如果Yp与某个样本Yi属于同一类,那么他们有共同的h。
6.根据权利要求5所述的针对高阶张量数据的处理方法,其特征在于:Y1与Yp属于同一类别,则他们共享相同的h1,在这种情况下,观测集和待测样本的似然函数记为p1(Y1,Y2,Yp),Yp与Y2是属于同一类,则他们共享相同的h2,此时的似然函数记作p2(Y1,Y2,Yp);比较p1和p2,找到其中最大的值,这样,Yp就属于最大值对应样本的标签;似然函数的计算如下所示:
由于Yij属于矩阵高斯分布,通过计算p(yij)取代计算p(Yij),记作yij:=vec(Yij),将公式(1)重新写为
yij=Fhi+Wgij+eij
其中F=(F(2)⊙F(1))F(h)T以及W=(W(2)⊙W(1))W(g)T,测试阶段,这两个矩阵是已知的,这样,N个样本和测试样本的似然函数为,
Figure FDA0002653520120000051
接下来,计算n个共享相同身份变量h的样本y1…n的边缘分布,通过公式(5)进行计算,
Figure FDA0002653520120000061
记作,
y′=Az′+m′+e′
假设
Figure FDA0002653520120000062
以及
Figure FDA0002653520120000063
公式(5)转化为概率主成分分析模型,观测集y′的边缘分布为
Figure FDA0002653520120000064
利用上式可以计算p(yi)和p(yp,yn),从而得到pn(y1,...,N,p),在这些值中找到最大的值,则Yp就属于pn(y1,...,N,p)中最大值对应样本的标签。
CN201910022095.XA 2019-01-10 2019-01-10 一种针对高阶张量数据的处理方法 Active CN109993199B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910022095.XA CN109993199B (zh) 2019-01-10 2019-01-10 一种针对高阶张量数据的处理方法
US16/709,947 US11106939B2 (en) 2019-01-10 2019-12-11 Processing method for high order tensor data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910022095.XA CN109993199B (zh) 2019-01-10 2019-01-10 一种针对高阶张量数据的处理方法

Publications (2)

Publication Number Publication Date
CN109993199A CN109993199A (zh) 2019-07-09
CN109993199B true CN109993199B (zh) 2020-11-17

Family

ID=67129177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910022095.XA Active CN109993199B (zh) 2019-01-10 2019-01-10 一种针对高阶张量数据的处理方法

Country Status (2)

Country Link
US (1) US11106939B2 (zh)
CN (1) CN109993199B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032553A (zh) * 2019-12-09 2021-06-25 富士通株式会社 信息处理装置和信息处理方法
KR20210136476A (ko) * 2020-05-07 2021-11-17 삼성전자주식회사 쿼드 트리 방법의 파라미터들을 이용하여 압축하는 장치 및 방법
CN112182543B (zh) * 2020-10-14 2024-04-30 桂林电子科技大学 一种视觉密码方法
CN112269172B (zh) * 2020-10-14 2024-03-08 中国人民解放军空军工程大学 一种基于张量结构的嵌套mimo雷达角度估计方法和装置
CN116738214B (zh) * 2023-08-03 2023-11-14 石家庄学院 一种基于高阶张量的数据降维预处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389343A (zh) * 2015-10-23 2016-03-09 北京工业大学 一种向量化降维方法
CN107064892A (zh) * 2016-11-11 2017-08-18 长江大学 基于张量子空间和旋转不变的mimo雷达角度估计算法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7822693B2 (en) * 2001-12-06 2010-10-26 New York University Logic arrangement, data structure, system and method for multilinear representation of multimodal data ensembles for synthesis, recognition and compression
US7936906B2 (en) * 2007-06-15 2011-05-03 Microsoft Corporation Face recognition using discriminatively trained orthogonal tensor projections
JP5178662B2 (ja) * 2009-07-31 2013-04-10 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389343A (zh) * 2015-10-23 2016-03-09 北京工业大学 一种向量化降维方法
CN107064892A (zh) * 2016-11-11 2017-08-18 长江大学 基于张量子空间和旋转不变的mimo雷达角度估计算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Mining Labelled Tensors by Discovering both their Common and Discriminative Subspaces";Wei Liu etc.;《knowledgecenter.siam.org》;20131231;论文第3.1-4节 *
"Vectorial Dimension Reduction for Tensors Based on Bayesian Inference";Fujiao Ju etc.;《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》;20181010;论文第2-4节 *

Also Published As

Publication number Publication date
US20200226417A1 (en) 2020-07-16
CN109993199A (zh) 2019-07-09
US11106939B2 (en) 2021-08-31

Similar Documents

Publication Publication Date Title
CN109993199B (zh) 一种针对高阶张量数据的处理方法
Zhao et al. On similarity preserving feature selection
Yan et al. Ranking with uncertain labels
Bradley et al. Differential sparse coding
Zhou et al. Double shrinking sparse dimension reduction
CN105389343B (zh) 一种向量化降维方法
CN107832786B (zh) 一种基于字典学习的人脸识别分类方法
CN108021950B (zh) 基于低秩稀疏表示的图像分类方法
CN109993208B (zh) 一种有噪声图像的聚类处理方法
CN112528928A (zh) 一种基于自注意力深度网络的商品识别方法
Liu et al. Bilinear discriminative dictionary learning for face recognition
Kong et al. Probabilistic low-rank multitask learning
CN107480636A (zh) 基于核非负矩阵分解的人脸识别方法、系统及存储介质
CN111723759B (zh) 基于加权张量稀疏图映射的非约束人脸识别方法
Launay et al. Exact sampling of determinantal point processes without eigendecomposition
CN113158861A (zh) 一种基于原型对比学习的运动分析方法
Chao et al. Supervised nonnegative matrix factorization to predict ICU mortality risk
Liu et al. Discriminant common vectors versus neighbourhood components analysis and Laplacianfaces: A comparative study in small sample size problem
Zhou et al. Personalized and occupational-aware age progression by generative adversarial networks
Lopes et al. Non-negative matrix factorization (NMF)
Ju et al. Vectorial dimension reduction for tensors based on Bayesian inference
Yan et al. A parameter-free framework for general supervised subspace learning
Ju et al. Kronecker-decomposable robust probabilistic tensor discriminant analysis
Lee et al. Incremental $ n $-mode SVD for large-scale multilinear generative models
CN116522143B (zh) 模型训练方法、聚类方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant