CN111276240B - 一种基于图卷积网络的多标签多模态全息脉象识别方法 - Google Patents

一种基于图卷积网络的多标签多模态全息脉象识别方法 Download PDF

Info

Publication number
CN111276240B
CN111276240B CN201911396016.8A CN201911396016A CN111276240B CN 111276240 B CN111276240 B CN 111276240B CN 201911396016 A CN201911396016 A CN 201911396016A CN 111276240 B CN111276240 B CN 111276240B
Authority
CN
China
Prior art keywords
pulse condition
data
label
labels
pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911396016.8A
Other languages
English (en)
Other versions
CN111276240A (zh
Inventor
张立家
秦建增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Sisi Digital Technology Co ltd
Original Assignee
Guangzhou Sisi Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Sisi Digital Technology Co ltd filed Critical Guangzhou Sisi Digital Technology Co ltd
Priority to CN201911396016.8A priority Critical patent/CN111276240B/zh
Publication of CN111276240A publication Critical patent/CN111276240A/zh
Application granted granted Critical
Publication of CN111276240B publication Critical patent/CN111276240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图卷积网络的多标签多模态全息脉象识别方法,采用数据驱动的方式构建关系矩阵,采用图神经网络在数据集中挖掘脉象标签与标签、标签与数据的共现模式来定义标签与标签、标签与数据之间的相关性,然后采用时空可分离的3D卷积提取脉象视频的特征,整个模型结构采用2D卷积操作在前,时空可分离3D卷积操作在后面,最后根据时空可分离3D卷积和图神经网络提取的脉象视频特征向量和脉象关系特征向量,采用加权点乘的方式进行数据融合,使得机器脉诊的过程变得更加高效准确。

Description

一种基于图卷积网络的多标签多模态全息脉象识别方法
技术领域
本发明涉及人工智能技术领域,具体涉及一种基于图卷积网络的多标签多模态全息脉象识别方法。
背景技术
中医诊断通过望闻问切来实现。望,指观气色;闻,指听声息;问,指询问症状;切,指摸脉象。其中,切脉最为复杂,如历代医家对寸、关、尺各部的长度就有着不同的见解,而“脉取三寸,三部各为一寸”的观点得到了多数医家的认同。当前已经有各种采集患者脉象的仪器和分析方法,但是检测的信号多为电信号和压力信号,信号维度小,无法表示管腔容积、血流速度、脉管的三维运动等各种信息,影响最终的分析结果。为了能够更准确地分析脉象,需要更丰富的脉象信息和脉象之间的关系谱,同时采用基于人工智能的多标签多模态的解决方法。
现有的脉象分析技术多针对脉象的分类研究,对电信号或压力信号表示的脉象单独分类。这类方法有两方面的不足,第一,忽略了脉象之间的依赖关系,且结果输出了多个分类模型,在推断时,需要加载多个模型,从而影响效率;第二,电信号和压力信号,信号维度小,无法表示管腔容积、血流速度、脉管的三维运动等各种信息,影响模型的准确度。
发明内容
针对现有技术的不足,本发明旨在提供一种基于图卷积网络的多标签多模态全息脉象识别方法,可以使得机器脉诊的过程变得更加高效准确。
为了实现上述目的,本发明采用如下技术方案:
一种基于图卷积网络的多标签多模态全息脉象识别方法,包括如下步骤:
S1、基于图卷积网络进行标签数据和非图像特征的关系挖掘:
S1.1、在数据集上统计标签和标签、标签和非图像特征两两同时出现的次数矩阵M∈RC×C,其中C表示标签和非图像特征的总数,Mij为矩阵M的元素,表示标签或非图像特征Li与标签或非图像特征Lj在数据集中同时出现的次数;
S1.2、通过次数矩阵来构建条件概率矩阵A,构建函数如下:
Aij=P(Lj|Li)=Mij/Ni
其中,Ni表示标签或非图像特征Li在数据集中出现的次数,Mij为矩阵M的元素,表示标签或非图像特征Li与标签或非图像特征Lj在数据集中同时出现的次数;Aij为条件概率矩阵A的元素,表示标签或非图像特征Li出现的情况下标签或非图像特征Lj出现的概率;
S1.3、进行脉象的多标签分类,得到脉象关系特征向量:采用两层图卷积网络,模型前向传播的公式如下:
Figure GDA0002479528920000021
其中,Z为输出的脉象关系特征向量,X∈RC×C为数据集的某一批次数据,每条数据组织形式为(L1,L2...LB...LC),其中,L1到LB为标签的one-hot格式数据,LB+1到LC为数据集中的非图像特征数据,如果某一特征数据存在,对应的行向量置1;
S2、基于时空可分离3D卷积进行脉象视频特征提取:
S2.1、数据预处理;
S2.2、利用特征提取模型对经过步骤S2.1预处理的数据进行特征提取,得到脉象视频特征向量;
S3、对脉象视频特征和脉象关系特征进行融合:
将步骤S2提取得到的脉象视频特征向量D∈Rd×1和步骤S1得到的脉象关系特征向量Z∈Rc×d采用加权点乘的方式进行数据融合,公式如下:
O=WZD;
其中,W∈Rc×c是可学习的权重;O∈Rc×1是融合向量,c为脉象关系特征向量Z的行数目,d为脉象视频特征向量D的行数目。
进一步地,步骤S2.1的数据预处理过程为:从脉诊仪的高清摄像头拍摄的每个脉象视频中均匀抽取256帧,缩放并裁剪画面变化明显的256*256的区域,最后由256*256的区域随机裁剪得到224*224的画面作为特征提取模型的输入。
进一步地,步骤S2.2中,所述特征提取模型采用2D卷积操作在前,时空可分离3D卷积操作在后面的结构。
进一步地,步骤S3还包括对融合向量O进行训练的过程:训练过程中,优化器采用普通的同步SGD,momentum为0.9,采用8颗GPU,每个GPU的batchsize为6;总共迭代训练80000次;学习率设置如下:前60000次迭代为0.1,60000到70000次迭代为0.01,70000到80000次迭代为0.001。
本发明的有益效果在于:本发明基于图卷积网络的标签和非图像特征的关系挖掘,采用数据驱动的方式构建关系矩阵,采用图神经网络在数据集中挖掘脉象标签与标签、标签与非图像特征的共现模式来定义标签与标签、标签与非图像特征之间的相关性,然后采用时空可分离的3D卷积提取脉象视频的特征,最后采用加权点乘的方式进行数据融合。本发明充分结合脉象视频特征以及标签与标签、标签与非图像特征之间的相关性,使用两者融合进行机器脉诊,既可以提高效率,也可以使得机器脉诊的过程变得更加准确。
附图说明
图1为本发明实施例中脉象标签数据图卷积网络结构示意图;
图2为本发明实施例中脉象关系示例图;
图3为本发明实施例中脉象视频画面预处理结果示意图;
图4为本发明实施例中脉象视频特征提取网络结构示意图;
图5为本发明实施例的总体流程示意图。
具体实施方式
以下将结合附图对本发明作进一步的描述,需要说明的是,本实施例以本技术方案为前提,给出了详细的实施方式和具体的操作过程,但本发明的保护范围并不限于本实施例。
本实施例提供一种基于图卷积网络的多标签多模态全息脉象识别方法,包括如下步骤:
S1、基于图卷积网络进行标签数据和非图像特征的关系挖掘。
图卷积神经网络(Graph Convolutional Network)是一种能对图数据进行深度学习的方法。传统的卷积神经网络研究对象还是限制在Euclidean domains的数据。Euclidean data最显著的特征就是有规则的空间结构,比如图片是规则的正方形栅格,语音是规则的一维序列。这些数据结构能够用一维、二维的矩阵表示,卷积神经网络处理起来很高效。然而,现实生活中有很多数据并不具备规则的空间结构,称为Non Euclideandata。比如推荐系统、电子交易、计算几何、脑信号、分子结构等抽象出的图谱。这些图谱结构每个节点连接都不尽相同,有的节点有三个连接,有的节点有两个连接,是不规则的数据结构。
多层的图卷积神经网络(GCN),传播规则可以表示为:
Figure GDA0002479528920000051
其中,
Figure GDA0002479528920000052
为带有自连接无向图的邻接矩阵。IN为单位矩阵,代表无向图的自连接矩阵。
Figure GDA0002479528920000053
其中,
Figure GDA0002479528920000054
是对带有自连接的无向图的邻接矩阵进行的正则化。σ(·)表示激活函数。H(l)∈RN×D为第l层的激活矩阵,其中N表示节点的数量,D表示第l层节点特征向量的维度,H(0)=X,X为原始数据,W(l)为第l层需要学习的权重矩阵。具体的传播过程如图1所示。
在对脉象进行多标签分类前,首先要构建标签(如虚脉、实脉、浮脉、紧脉、迟脉、沉脉、数脉、洪脉等28种脉象)与标签、非图像特征(如年龄、性别、身高、体重等数据)与标签之间的关联矩阵。在大部分应用中,关联矩阵是预先定义的,关联矩阵需要专业人员根据经验来构建。而在本实施例中,采用数据驱动的方式构建关联矩阵,通过在数据集中挖掘脉象的标签与标签、标签与非图像特征的共现模式来定义标签与标签、标签与非图像特征之间的相关性。数据集来源于脉诊仪的高清摄像头拍摄的脉象视频帧序列及对应患者的非图像特征数据。
具体地,本实施例中,以条件概率形式对标签与标签、标签与非图像特征相关依赖进行建模。P(Lj|Li)表示标签或非图像特征Li出现的情况下标签或非图像特征Lj出现的概率。P(Li|Lj)不等于P(Lj|Li),如图2(a)-图2(f)所示,因此,最后构建的关联矩阵是不对称的。
为了构建关联矩阵,首先,在数据集上统计标签和标签、标签和非图像特征两两同时出现的次数矩阵M∈RC×C,其中C表示标签和非图像特征的总数,Mij为矩阵M的元素,表示标签或非图像特征Li与标签或非图像特征Lj在数据集中同时出现的次数;然后,通过次数矩阵来构建条件概率矩阵A,构建函数如下:
Aij=P(Lj|Li)=Mij/Ni
其中,Ni表示标签或非图像特征Li在数据集中出现的次数,Mij为矩阵M的元素,表示标签或非图像特征Li与标签或非图像特征Lj在数据集中同时出现的次数;Aij为条件概率矩阵A的元素,表示标签或非图像特征Li出现的情况下标签或非图像特征Lj出现的概率。
然后,进行脉象的多标签分类,得到脉象关系特征向量。在脉象多标签分类中,本实施例采用两层图卷积网络,模型前向传播的公式如下:
Figure GDA0002479528920000071
其中,Z为输出的脉象关系特征向量,X∈RC×C为数据集的某一批次数据,每条数据组织形式为(L1,L2...LB...LC),其中,L1到LB为标签的one-hot格式数据,LB+1到LC为数据集中的非图像特征数据,如果某一特征数据存在,对应的行向量置1。
S2、基于时空可分离3D卷积进行脉象视频特征提取
S2.1、数据预处理
从脉诊仪的高清摄像头拍摄的每个10s左右的脉象视频中均匀抽取256帧,缩放并裁剪画面变化明显(对两帧画面像素绝对差值进行聚类)的256*256的区域,最后由256*256的区域随机裁剪得到224*224的画面作为特征提取模型的输入,如图3所示。其中,图3(a)所示为原图,图3(b)所示为由原图缩放并裁剪得到的256*256的区域,图3(c)-图3(e)为由256*256的区域随机裁剪得到的224*224的画面。
上述数据预处理方式有两个优点,第一,可以集中处理有明显数据特征的区域,第二,增大了数据集的规模。
S2.2、利用特征提取模型对经过步骤S2.1预处理的数据进行特征提取,得到脉象视频特征向量。
在本实施例中,特征提取模型的基本单元采用时空可分离3D卷积代替普通3D卷积,即卷积核由1*k*k卷积核和kt*1*1卷积核代替,准确度和速度都超过普通的3D卷积。整个特征提取模型采用2D卷积操作在前,3D卷积操作在后面的结构,3D卷积只应用于高级特征图,忽略低水平的运动线索,更专注高层次的运动线索。准确度和计算速度都得到提升。特征提取模型的结构如图4所示,其中图4(a)为时空可分离3D卷积的结构示意图,图4(b)为2D卷积的结构示意图,图4(c)为特征提取模型结构示意图。
S3、对脉象视频特征和脉象关系特征进行融合。
S3.1、将步骤S2提取得到的脉象视频特征向量D∈Rd×1和步骤S1得到的脉象关系特征向量Z∈Rc×d采用加权点乘的方式进行数据融合,公式如下:
O=WZD;
其中,W∈Rc×c是可学习的权重;O∈Rc×1是融合向量,也是模型的输出,c为脉象关系特征向量Z的行数目,d为脉象视频特征向量D的行数目;脉象视频特征和脉象关系特征融合的整体架构如图5所示。
S3.2、对步骤S3.1得到的融合向量O进行训练。
训练过程中,优化器采用普通的同步SGD,momentum为0.9,采用8颗GPU,每个GPU的batchsize为6。总共迭代训练80000次,学习率设置如下,前60000次迭代为0.1,60000到70000次迭代为0.01,70000到80000次迭代为0.001。
对于本领域的技术人员来说,可以根据以上的技术方案和构思,给出各种相应的改变和变形,而所有的这些改变和变形,都应该包括在本发明权利要求的保护范围之内。

Claims (4)

1.一种基于图卷积网络的多标签多模态全息脉象识别方法,其特征在于,包括如下步骤:
S1、基于图卷积网络进行标签数据和非图像特征的关系挖掘:
S1.1、在数据集上统计标签和标签、标签和非图像特征两两同时出现的次数矩阵M∈RC ×C,其中C表示标签和非图像特征的总数,Mij为矩阵M的元素,表示标签或非图像特征Li与标签或非图像特征Lj在数据集中同时出现的次数;
S1.2、通过次数矩阵来构建条件概率矩阵A,构建函数如下:
Aij=P(Lj|Li)=Mij/Ni
其中,Ni表示标签或非图像特征Li在数据集中出现的次数,Mij为矩阵M的元素,表示标签或非图像特征Li与标签或非图像特征Lj在数据集中同时出现的次数;Aij为条件概率矩阵A的元素,表示标签或非图像特征Li出现的情况下标签或非图像特征Lj出现的概率;
S1.3、进行脉象的多标签分类,得到脉象关系特征向量:采用两层图卷积网络,模型前向传播的公式如下:
Figure FDA0002346328910000011
其中,Z为输出的脉象关系特征向量,X∈RC×C为数据集的某一批次数据,每条数据组织形式为(L1,L2...LB...LC),其中,L1到LB为标签的one-hot格式数据,LB+1到LC为数据集中的非图像特征数据,如果某一特征数据存在,对应的行向量置1;
S2、基于时空可分离3D卷积进行脉象视频特征提取:
S2.1、数据预处理;
S2.2、利用特征提取模型对经过步骤S2.1预处理的数据进行特征提取,得到脉象视频特征向量;
S3、对脉象视频特征和脉象关系特征进行融合:
将步骤S2提取得到的脉象视频特征向量D∈Rd×1和步骤S1得到的脉象关系特征向量Z∈Rc×d采用加权点乘的方式进行数据融合,公式如下:
O=WZD;
其中,W∈Rc×c是可学习的权重;O∈Rc×1是融合向量,c为脉象关系特征向量Z的行数目,d为脉象视频特征向量D的行数目。
2.根据权利要求1所述的方法,其特征在于,步骤S2.1的数据预处理过程为:从脉诊仪的高清摄像头拍摄的每个脉象视频中均匀抽取256帧,缩放并裁剪画面变化明显的256*256的区域,最后由256*256的区域随机裁剪得到224*224的画面作为特征提取模型的输入。
3.根据权利要求1所述的方法,其特征在于,步骤S2.2中,所述特征提取模型采用2D卷积操作在前,时空可分离3D卷积操作在后面的结构。
4.根据权利要求1所述的方法,其特征在于,步骤S3还包括对融合向量O进行训练的过程:训练过程中,优化器采用普通的同步SGD,momentum为0.9,采用8颗GPU,每个GPU的batchsize为6;总共迭代训练80000次;学习率设置如下:前60000次迭代为0.1,60000到70000次迭代为0.01,70000到80000次迭代为0.001。
CN201911396016.8A 2019-12-30 2019-12-30 一种基于图卷积网络的多标签多模态全息脉象识别方法 Active CN111276240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911396016.8A CN111276240B (zh) 2019-12-30 2019-12-30 一种基于图卷积网络的多标签多模态全息脉象识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911396016.8A CN111276240B (zh) 2019-12-30 2019-12-30 一种基于图卷积网络的多标签多模态全息脉象识别方法

Publications (2)

Publication Number Publication Date
CN111276240A CN111276240A (zh) 2020-06-12
CN111276240B true CN111276240B (zh) 2023-04-28

Family

ID=70998765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911396016.8A Active CN111276240B (zh) 2019-12-30 2019-12-30 一种基于图卷积网络的多标签多模态全息脉象识别方法

Country Status (1)

Country Link
CN (1) CN111276240B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012811B (zh) * 2020-08-17 2023-11-03 杭州泉脉科技有限公司 一种结合深度卷积网络和图神经网络的中医证候诊断和健康评价方法
CN111967405B (zh) * 2020-08-19 2023-06-27 深圳职业技术学院 一种基于晶体图结构的手指三模态融合识别方法及装置
CN112487945B (zh) * 2020-11-26 2022-07-29 上海贝业斯健康科技有限公司 一种基于双路卷积神经网络融合的脉象识别方法
CN112861941A (zh) * 2021-01-26 2021-05-28 中山大学 一种多标签图像分类方法、装置、设备和存储介质
CN112861670B (zh) * 2021-01-27 2022-11-08 华北电力大学(保定) 一种输电线路金具检测方法及系统
CN113449775B (zh) * 2021-06-04 2023-02-24 广州大学 一种基于类激活映射机制的多标签图像分类方法和系统
CN113378965B (zh) * 2021-06-25 2022-09-02 齐鲁工业大学 一种基于dcgan和gcn的多标签图像识别方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108670209A (zh) * 2018-03-29 2018-10-19 中国科学院微电子研究所 一种自动识别中医脉象的方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108670209A (zh) * 2018-03-29 2018-10-19 中国科学院微电子研究所 一种自动识别中医脉象的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张宁 ; .基于扩维的卷积网络及脉象识别应用.计算机科学.2018,(S1),全文. *

Also Published As

Publication number Publication date
CN111276240A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN111276240B (zh) 一种基于图卷积网络的多标签多模态全息脉象识别方法
Sun et al. Colorectal polyp segmentation by U-Net with dilation convolution
Kim et al. Deep monocular depth estimation via integration of global and local predictions
US11328430B2 (en) Methods, systems, and media for segmenting images
CN110188239B (zh) 一种基于跨模态注意力机制的双流视频分类方法和装置
Zhou et al. Cross-level feature aggregation network for polyp segmentation
CN111915573A (zh) 一种基于时序特征学习的消化内镜下病灶跟踪方法
Wang et al. Video deblurring via spatiotemporal pyramid network and adversarial gradient prior
CN112348125B (zh) 基于深度学习的胶囊内窥镜影像识别方法、设备及介质
Chen et al. Video saliency prediction using enhanced spatiotemporal alignment network
CN112446342A (zh) 关键帧识别模型训练方法、识别方法及装置
Wang et al. Face mask extraction in video sequence
CN112507920B (zh) 一种基于时间位移和注意力机制的考试异常行为识别方法
Liu et al. A source-free domain adaptive polyp detection framework with style diversification flow
Liu et al. Mscaf-net: A general framework for camouflaged object detection via learning multi-scale context-aware features
CN113344932A (zh) 一种半监督的单目标视频分割方法
Núñez et al. Multiview 3D human pose estimation using improved least-squares and LSTM networks
CN112052808A (zh) 细化深度图的人脸活体检测方法、装置、设备及存储介质
CN110648331A (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
Hou et al. Af-net: A medical image segmentation network based on attention mechanism and feature fusion
Wang et al. Context-aware spatio-recurrent curvilinear structure segmentation
Zhang et al. Unsupervised depth estimation from monocular videos with hybrid geometric-refined loss and contextual attention
Zhang et al. Removing Foreground Occlusions in Light Field using Micro-lens Dynamic Filter.
Zeng et al. Self-attention learning network for face super-resolution
Guo et al. SAC-Net: Learning with weak and noisy labels in histopathology image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant