CN114373190B - 一种人体穴位的智能识别和自动定位系统 - Google Patents

一种人体穴位的智能识别和自动定位系统 Download PDF

Info

Publication number
CN114373190B
CN114373190B CN202111627539.6A CN202111627539A CN114373190B CN 114373190 B CN114373190 B CN 114373190B CN 202111627539 A CN202111627539 A CN 202111627539A CN 114373190 B CN114373190 B CN 114373190B
Authority
CN
China
Prior art keywords
point
acupoint
human body
extraction module
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111627539.6A
Other languages
English (en)
Other versions
CN114373190A (zh
Inventor
刘军
方语
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute of Zhejiang University Taizhou
Original Assignee
Research Institute of Zhejiang University Taizhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute of Zhejiang University Taizhou filed Critical Research Institute of Zhejiang University Taizhou
Priority to CN202111627539.6A priority Critical patent/CN114373190B/zh
Publication of CN114373190A publication Critical patent/CN114373190A/zh
Application granted granted Critical
Publication of CN114373190B publication Critical patent/CN114373190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H39/00—Devices for locating or stimulating specific reflex points of the body for physical therapy, e.g. acupuncture
    • A61H39/02—Devices for locating such points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Rehabilitation Therapy (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pain & Pain Management (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Image Analysis (AREA)
  • Finger-Pressure Massage (AREA)

Abstract

本发明公开一种人体穴位的智能识别和自动定位系统。包括人体图像采集模块、肢体关键点检测模块、人中脊线位置提取模块、人骨度分寸基准提取模块、大椎穴位置提取模块、左右肩井穴位置提取模块、肾俞穴位置提取模块、大肠俞穴位置提取模块；将人体三维穴位集、当前用户的三维姿态和重要特征进行匹配结合，实时识别和跟踪人体不同的穴位，实现智能识穴和自动定穴。

Description

一种人体穴位的智能识别和自动定位系统
技术领域
本发明涉及一种人体穴位的智能识别和自动定位系统。
背景技术
《黄帝内经》中记载：“药之不及，针之不到，必须灸之”。《本草纲目》中也记载：“艾以叶入药，性温、味苦、无毒、纯阳之性、通十二经、具回阳、理气血、逐湿寒等，以之灸火，能透诸经而除百病。”艾草性味苦、辛、温，入脾、肝、肾。说明用艾叶作施灸材料，有通经活络，祛除阴寒，消肿散结，回阳救逆等功效。传统艾灸通过点燃艾炷或艾条，熏烤人体的相应穴位，以达到防病、治病和保健作用。艾灸作为一种绿色治疗方法，同时含有温热、远红外的物理效应和艾绒燃烧挥发的药物效应，通过激发经气的活动来调整人体紊乱的生理功能，具有温散寒邪、温经逐痹、行气通络、扶阳固脱、升阳举陷、拔毒泄热、消淤散结、防病保健、延年益寿和美容等作用，因而受到人们的广泛认可和欢迎。然而，传统的艾灸方法，需要专业的技师手持燃烧的艾条对穴位进行施灸，一次艾灸有的会持续2个多小时，这个过程中会有定、啄、旋、运等手法，对技师的专业技能和体力都是一种考验。此外，在施灸时会产生艾烟，虽然艾烟有一定的抗菌、抗病毒和镇咳的功效，但是人们也会有喉咙发痒和眼睛干涩的不舒服的感受。同时传统艾灸是无保护的明火艾灸，存在一定的烫伤风险。
针对中医传统艾灸治疗方式存在的烟熏、易烫伤和定穴不准等问题，将传统中医的艾灸疗法与人工智能机器人技术相结合，开展智能艾灸治疗机器人的研究，减轻专业技师的劳动强度，提升艾灸的疗效和安全性，使用户基本可以实现自助艾灸，具有重要社会意义和经济价值。
本发明基于中医腧穴理论的解剖标志定位法、骨度折量定位法和指寸定位法，结合分形几何学，构建数字化人体三维穴位集，即分形数字经络图，可以按比例进行高精度的缩放，以适应不同体型的用户。利用计算机立体视觉、人工智能和人体三维测量等技术，识别人体重要特征，构建精确的人体三维模型，与人体三维穴位集实时匹配，突破人体穴位的智能识别与自动定位等关键技术。基于人机共融的设计理念，开展机器人本体结构、运动控制和智能感知方案的研究，突破灵巧柔顺结构、多模态感知和协同控制等关键技术，研制出一种人体穴位的智能识别和自动定位系统。
发明内容
本发明的目的是针对现有技术的不足，提供一种人体穴位的智能识别和自动定位系统。
一种人体穴位的智能识别和自动定位系统包括人体图像采集模块、肢体关键点检测模块、人中脊线位置提取模块、人骨度分寸基准提取模块、大椎穴位置提取模块、左右肩井穴位置提取模块、肾俞穴位置提取模块、大肠俞穴位置提取模块；
所述肢体关键点检测模块利用肢体关键点检测模型获取人体图像采集模块采集的人体图像预测关键点的置信度和亲和度向量，然后对关键点进行聚类，最后获得人体的18个关键点，并将18个关键点组装成人体骨架；
所述肢体关键点检测模型包括VGG19网络的前10层、第一分支、第二分支、n-1个拼接层；
所述VGG19网络的前10层用于提取图像特征，得到一组特征图F；
所述第一分支使用卷积神经网络提取部分特征图sn，即预测关键点的置信度，其包括n阶第一CNN网络；
第一个第一CNN网络的输入为特征图F，输出为st，n≥t≥1；
第t个第一CNN网络的输入为第t-1个拼接层的输出，输出为st，n≥t≥2；
所述第二分支使用卷积神经网络提取部分亲和字段Ln，即关键点的亲和度向量，其包括n阶第二CNN网络；
第一个第二CNN网络的输入为特征图F，输出为Lt，n≥t≥1；
第t个第二CNN网络的输入为第t-1个拼接层的输出，输出为Lt，n≥t≥2；
所述拼接层用于将同一阶第一CNN网络和第二CNN网络的输出和原特征图F进行拼接；
人中脊线位置提取模块，用于根据肢体关键点检测模块提取的18个关键点中点1首部、点8右腰、点11左腰，获得经过左腰点、右腰点的线段，求以该线段为底的三角形中线，即为人体中脊线。
人骨度分寸基准提取模块，用于获取肢体关键点检测模块提取的18个关键点中任意一个肩点到人体中脊线的距离，然后对其进行6等分，等分后距离标记为GD，1GD记为度量当前人的骨度分寸基准的尺寸。
大椎穴位置提取模块，用于以左右肩点所在直线为基准，大椎穴到关键点1首部的距离为3GD，则取人体关键点点1首部点为起点，沿着人体中脊线往人头部方向移动3GD的距离，移动后的位置即为大椎穴位置。
左右肩井穴位置提取模块，用于根据中医取穴标准，人体大椎与肩部连线的中点，即大椎穴与左右肩关键点的中点位置，为左右肩井穴位置。
肾俞穴位置提取模块，用于根据关键点8左腰与点11右腰计算肾俞穴所在位置，计算方法如下：
在以关键点1首部、点8左腰点、点11右腰点所构成的三角形中，第2腰椎棘突的位置约在中线的3/5的位置；将三角形底边沿着中线往首部方向平移中线长度的2/5距离，肾俞穴位置即在平移后的底边所在直线上。计算平移后直线与中线交点位置，将交点分别沿着直线往左右平移1.5GB即为肾俞穴位置。
大肠俞穴位置提取模块，用于将肾俞穴所在直线位置向下平移2GD，得到大肠俞穴所在的直线位置，大肠俞穴所在的直线与中线的交点分别往左右平移1.5GD即为大肠俞穴的位置。
本发明的有益效果是：
本发明基于中医经络腧穴理论和计算机立体视觉，开展人体穴位的智能识别与自动定位系统研究：利用分形几何学，开展数字化经络技术的研究，构建人体三维穴位集，可以按比例进行高精度的缩放，以适应不同体型的用户。通过3D摄像头实时采集当前人体的皮肤特征，进而复原获取图像的三维结构信息。通过信息处理系统，利用深度学习技术逐层自动抽象，提高人体穴位重要特征提取的准确性。将人体三维穴位集、当前用户的三维姿态和重要特征进行匹配结合，实时识别和跟踪人体不同的穴位，实现智能识穴和自动定穴。
附图说明
图1为肢体关键点检测模型的网络架构图；
图2为肢体关键点检测模型得到的18个人体关键点示意图；
图3为中脊线位置示意图；
图4为人骨度分寸基准示意图示意图；
图5为大椎穴位置示意图；
图6为左右肩井穴位置示意图；
图7(a)-(b)均为肾俞穴位置示意图；
图8(a)-(b)均为大肠俞穴位置示意图；
图9为大椎穴、肩井穴、肾俞穴、大肠俞穴位置示意图。
具体实施方式
下面结合具体实施例对本发明做进一步的分析。
一种人体穴位的智能识别和自动定位系统包括人体图像采集模块、肢体关键点检测模块、人中脊线位置提取模块、人骨度分寸基准提取模块、大椎穴位置提取模块、左右肩井穴位置提取模块、肾俞穴位置提取模块、大肠俞穴位置提取模块；
所述肢体关键点检测模块利用肢体关键点检测模型获取人体图像采集模块采集的人体图像预测关键点的置信度和亲和度向量，然后对关键点进行聚类，最后获得人体的18个关键点，并将18个关键点组装成人体骨架，如图2；
如图1所述肢体关键点检测模型包括VGG19网络的前10层、第一分支、第二分支、n-1个拼接层；
所述VGG19网络的前10层用于提取图像特征，得到一组特征图F；
所述第一分支使用卷积神经网络提取部分特征图sn，即预测关键点的置信度，其包括n阶第一CNN网络；
第一个第一CNN网络的输入为特征图F，输出为st，n≥t≥1；
第t个第一CNN网络的输入为第t-1个拼接层的输出，输出为st，n≥t≥2；
所述第二分支使用卷积神经网络提取部分亲和字段Ln，即关键点的亲和度向量，其包括n阶第二CNN网络；
第一个第二CNN网络的输入为特征图F，输出为Lt，n≥t≥1；
第t个第二CNN网络的输入为第t-1个拼接层的输出，输出为Lt，n≥t≥2；
所述拼接层用于将同一阶第一CNN网络和第二CNN网络的输出和原特征图F进行拼接；
如图3人中脊线位置提取模块，用于根据肢体关键点检测模块提取的18个关键点中点1首部、点8右腰、点11左腰，获得经过左腰点、右腰点的线段，求以该线段为底的三角形中线，即为人体中脊线。
如图4人骨度分寸基准提取模块，用于获取肢体关键点检测模块提取的18个关键点中任意一个肩点到人体中脊线的距离，然后对其进行6等分，等分后距离标记为GD，1GD记为度量当前人的骨度分寸基准的尺寸。
如图5大椎穴位置提取模块，用于以左右肩点所在直线为基准，大椎穴到关键点1首部的距离为3GD，则取人体关键点点1首部点为起点，沿着人体中脊线往人头部方向移动3GD的距离，移动后的位置即为大椎穴位置。
如图6左右肩井穴位置提取模块，用于根据中医取穴标准，人体大椎与肩部连线的中点，即大椎穴与左右肩关键点的中点位置，为左右肩井穴位置。
如图7肾俞穴位置提取模块，用于根据关键点8左腰与点11右腰计算肾俞穴所在位置，计算方法如下：
在以关键点1首部、点8左腰点、点11右腰点所构成的三角形中，第2腰椎棘突的位置约在中线的3/5的位置；将三角形底边沿着中线往首部方向平移中线长度的2/5距离，肾俞穴位置即在平移后的底边所在直线上。计算平移后直线与中线交点位置，将交点分别沿着直线往左右平移1.5GB即为肾俞穴位置。
如图8大肠俞穴位置提取模块，用于将肾俞穴所在直线位置向下平移2GD，得到大肠俞穴所在的直线位置，大肠俞穴所在的直线与中线的交点分别往左右平移1.5GD即为大肠俞穴的位置。
图9为大椎穴、肩井穴、肾俞穴、大肠俞穴位置示意图。
上述实施例并非是对于本发明的限制，本发明并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。

Claims (1)

1.一种人体穴位的智能识别和自动定位系统，其特征在于包括人体图像采集模块、肢体关键点检测模块、人中脊线位置提取模块、人骨度分寸基准提取模块、大椎穴位置提取模块、左右肩井穴位置提取模块、肾俞穴位置提取模块、大肠俞穴位置提取模块；
所述肢体关键点检测模块利用肢体关键点检测模型获取人体图像采集模块采集的人体图像预测关键点的置信度和亲和度向量，然后对关键点进行聚类，最后获得人体的18个关键点，并将18个关键点组装成人体骨架；
人中脊线位置提取模块，用于根据肢体关键点检测模块提取的18个关键点中点1首部、点8右腰、点11左腰，获得经过左腰点、右腰点的线段，求以该线段为底的三角形中线，即为人体中脊线；
人骨度分寸基准提取模块，用于获取肢体关键点检测模块提取的18个关键点中任意一个肩点到人体中脊线的距离，然后对其进行6等分，等分后距离标记为GD，1GD记为度量当前人的骨度分寸基准的尺寸；
大椎穴位置提取模块，用于以左右肩点所在直线为基准，大椎穴到关键点1首部的距离为3GD，则取人体关键点点1首部点为起点，沿着人体中脊线往人头部方向移动3GD的距离，移动后的位置即为大椎穴位置；
左右肩井穴位置提取模块，用于根据中医取穴标准，人体大椎与肩部连线的中点，即大椎穴与左右肩关键点的中点位置，为左右肩井穴位置；
肾俞穴位置提取模块，用于根据关键点8左腰与点11右腰计算肾俞穴所在位置；
大肠俞穴位置提取模块，用于将肾俞穴所在直线位置向下平移2GD，得到大肠俞穴所在的直线位置，大肠俞穴所在的直线与中线的交点分别往左右平移1.5GD即为大肠俞穴的位置；
所述肢体关键点检测模型包括VGG19网络的前10层、第一分支、第二分支、n-1个拼接层；
所述VGG19网络的前10层用于提取图像特征，得到一组特征图F；
所述第一分支使用卷积神经网络提取部分特征图sn，即预测关键点的置信度，其包括n阶第一CNN网络；
第一个第一CNN网络的输入为特征图F，输出为st，n≥t≥1；
第t个第一CNN网络的输入为第t-1个拼接层的输出，输出为st，n≥t≥2；
所述第二分支使用卷积神经网络提取部分亲和字段Ln，即关键点的亲和度向量，其包括n阶第二CNN网络；
第一个第二CNN网络的输入为特征图F，输出为Lt，n≥t≥1；
第t个第二CNN网络的输入为第t-1个拼接层的输出，输出为Lt，n≥t≥2；
所述拼接层用于将同一阶第一CNN网络和第二CNN网络的输出和原特征图F进行拼接；
肾俞穴位置提取模块计算方法如下：
在以关键点1首部、点8左腰点、点11右腰点所构成的三角形中，第2腰椎棘突的位置约在中线的3/5的位置；将三角形底边沿着中线往首部方向平移中线长度的2/5距离，肾俞穴位置即在平移后的底边所在直线上；计算平移后直线与中线交点位置，将交点分别沿着直线往左右平移1.5GB即为肾俞穴位置。
CN202111627539.6A 2021-12-28 2021-12-28 一种人体穴位的智能识别和自动定位系统 Active CN114373190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111627539.6A CN114373190B (zh) 2021-12-28 2021-12-28 一种人体穴位的智能识别和自动定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111627539.6A CN114373190B (zh) 2021-12-28 2021-12-28 一种人体穴位的智能识别和自动定位系统

Publications (2)

Publication Number Publication Date
CN114373190A CN114373190A (zh) 2022-04-19
CN114373190B true CN114373190B (zh) 2024-04-19

Family

ID=81141929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111627539.6A Active CN114373190B (zh) 2021-12-28 2021-12-28 一种人体穴位的智能识别和自动定位系统

Country Status (1)

Country Link
CN (1) CN114373190B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108021919A (zh) * 2016-10-28 2018-05-11 夏普株式会社 穴位定位的图像处理装置和图像处理方法
CN110930374A (zh) * 2019-11-13 2020-03-27 北京邮电大学 一种基于双深度相机的腧穴定位方法
CN111310625A (zh) * 2020-02-06 2020-06-19 上海智幻软件科技有限公司 一种基于openpose的多人姿势检测的方法及系统
CN113486758A (zh) * 2021-06-30 2021-10-08 浙江大学 一种手部穴位自动定位方法
CN113807204A (zh) * 2021-08-30 2021-12-17 中科尚易健康科技(北京)有限公司 人体经络识别方法和装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108021919A (zh) * 2016-10-28 2018-05-11 夏普株式会社 穴位定位的图像处理装置和图像处理方法
CN110930374A (zh) * 2019-11-13 2020-03-27 北京邮电大学 一种基于双深度相机的腧穴定位方法
CN111310625A (zh) * 2020-02-06 2020-06-19 上海智幻软件科技有限公司 一种基于openpose的多人姿势检测的方法及系统
CN113486758A (zh) * 2021-06-30 2021-10-08 浙江大学 一种手部穴位自动定位方法
CN113807204A (zh) * 2021-08-30 2021-12-17 中科尚易健康科技(北京)有限公司 人体经络识别方法和装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
浅述"一种人体背俞穴定位仪";孙宏;杨玉赫;许漠沙;唐强;王艳;;针灸临床杂志;20131220(12);44-46 *
目标检测、人体姿态估计算法叠加的监控视频分析方法;李宾皑;李颖;孙宇飞;顾书玉;;电子技术与软件工程;20200401(07);149-153 *
背部腧穴穴位定位仪器的设计;崔丹;陈元枝;于文龙;金雷;;中国医学物理学杂志;20121115(06);23-24 *

Also Published As

Publication number Publication date
CN114373190A (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
Ellis et al. Fundamentals of Chinese acupuncture
CN108403413B (zh) 一种穴位刺激仪及穴位刺激系统
CN1804850A (zh) 中医证素辨证诊疗系统
Li The neuroimmune basis of acupuncture: correlation of cutaneous mast cell distribution with acupuncture systems in human
CN114373190B (zh) 一种人体穴位的智能识别和自动定位系统
Lee et al. A close look at an integrative treatment package for Bell's palsy in Korea
Pereira et al. Acute effects of acupuncture in balance and gait of Parkinson disease patients–a preliminary study
Zhang et al. Therapeutic observation of tuina manipulation for lumbar intervertebral disc herniation
CN112349382A (zh) 一种可视化简化针刺系统和方法
Safavi-Abbasi et al. The fate of medical knowledge and the neurosciences during the time of Genghis Khan and the Mongolian Empire
RADZIEJOWSKA et al. Effects of massaging upper limb parts in different order on changing the level of blood circulation in the massaged area.
Helgason Commentary on the significance for modern neurology of the 17th century BC Surgical Papyrus
Lee et al. Design of A Hand Back Acupoint Massage Aid
Bensoussan Part 1: Acupuncture meridians—myth or reality?
LIU et al. Artificial intelligence rehabilitation evaluation and training system for degeneration of joint disease
CN115602287A (zh) 穴位定位方法以及针灸辅助系统
Correa-Agudelo et al. ViLimbs: Improving phantom limb treatment through multisensory feedback
Wirz-Ridolfi Resolving unsuccessful ear acupuncture by treating focus obstacles: A review of the advantages of European ear acupuncture
CN105326926A (zh) 一种治疗经筋疾病的外用药物制剂、其制备方法和应用
Derado et al. A shape-based glaucoma index for tomographic images
Ivanov Su Jok and moxa
CN109887067A (zh) 一种虚拟三维人体模型的生成方法及生成系统
Tang GUA SHA: An Ancient Therapy for Contemporary Illnesses
Mishra et al. Exploring the science of marma-an ancient healing technique-part 3: marma in yoga and other ancient Indian traditions
Mishra et al. Exploring the science of Marma-an ancient healing technique: Marma in Yoga and other ancient Indian traditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant