CN114582201A - 基于高光谱成像和ar技术的中药可视化鉴别系统 - Google Patents

基于高光谱成像和ar技术的中药可视化鉴别系统 Download PDF

Info

Publication number
CN114582201A
CN114582201A CN202210263773.3A CN202210263773A CN114582201A CN 114582201 A CN114582201 A CN 114582201A CN 202210263773 A CN202210263773 A CN 202210263773A CN 114582201 A CN114582201 A CN 114582201A
Authority
CN
China
Prior art keywords
technology
medicinal
chinese medicine
traditional chinese
medicinal plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210263773.3A
Other languages
English (en)
Other versions
CN114582201B (zh
Inventor
胡会强
毛晓波
任海川
徐华兴
于佳瑞
李楠
陈宗帅
赵宇平
黄璐琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese Academy of Medical Sciences CAMS
Zhengzhou University
Original Assignee
Chinese Academy of Medical Sciences CAMS
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese Academy of Medical Sciences CAMS, Zhengzhou University filed Critical Chinese Academy of Medical Sciences CAMS
Priority to CN202210263773.3A priority Critical patent/CN114582201B/zh
Publication of CN114582201A publication Critical patent/CN114582201A/zh
Application granted granted Critical
Publication of CN114582201B publication Critical patent/CN114582201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于高光谱成像和AR技术的中药可视化鉴别系统,包括中药模型库、药用植物识别鉴定模块、药用植物全生长周期展示模块、药用植物采收方法展示模块、药用植物炮制加工方法展示模块、药材贮存展示模块。本发明优点在于利用人工智能技术,结合高光谱成像和AR技术,实现药用植物从种子发芽到药物(中药饮片)形成等一系列过程的可视化展现,使使用者能够身临其境地学习和体验中药材的历史背景、生长环境、植物生长各阶段特性和中药饮片的加工炮制工艺等内容,既能极大增强了学习者的兴趣,提升了学习效果,又能弥补中药学实践教学资源缺乏的缺陷,减轻老师的授课压力,提高学生的专业素养,同时也极大程度的降低了教学成本投入。

Description

基于高光谱成像和AR技术的中药可视化鉴别系统
技术领域
本发明涉及中药鉴别领域,尤其是涉及基于高光谱成像和AR技术的中药可视化鉴别系统。
背景技术
近年中药学迎来了巨大的发展机遇。我国各高等院校普遍开设有中药学专业,设置有《中药学》、《药用植物学》、《中药炮制学》、《中药鉴定学》等必修课程。其中《药用植物学》是一门理论性和实践性很强的专业课程,在中药学类专业的课程体系中有着承先启后的重要作用。《中药炮制学》、《中药鉴定学》则是中药学类专业的核心课程,其目的在于帮助学习者了解并掌握中药原植物及饮片的性状特征。但由于课时有限,内容繁多,以理论为主的传统教学方式,导致很多学习者学习后仍然不辨药,不认药,不识药。如何利用科技手段,弥补中药学实践教学,如野外见习、炮制工艺训练、饮片辨析等资源缺乏,减轻老师的授课压力,提高学生的专业素养,并同时降低教学成本,缩短教学训练时间,为中药学发展提供合格的人才,成为中药学发展亟需解决的技术难题。
发明内容
本发明目的在于提供一种基于高光谱成像和AR技术的中药可视化鉴别系统。
为实现上述目的,本发明采取下述技术方案:
本发明所述的基于高光谱成像和AR技术的中药可视化鉴别系统,包括:中药模型库、药用植物识别鉴定模块、药用植物全生长周期展示模块、药用植物采收方法展示模块、药用植物炮制加工方法展示模块、药材贮存展示模块;
所述中药模型库,基于高光谱成像技术、AR技术、图像检测技术、传感技术收集药用植物实物、不同生长周期、标准光谱特征、采收、炮制加工、贮存数据,建立中药模型库;
所述药用植物识别鉴定模块,通过扫描药用植物实物、照片或光谱特征,根据中药模型库中中药图谱、药用植物标本、光谱特征进行药用植物视觉识别鉴定,并展示相应的简介说明;
所述药用植物全生长周期展示模块,借助AR技术,根据中药模型库,模拟还原药用植物的生长环境,展示药用植物不同生长周期的特定形态、光谱特征和关联知识;
所述药用植物采收展示模块,基于高光谱成像技术分析不同采收时间、方法的光谱特征;基于AR技术,展示药用植物采收细节、关键技术要领、语音、文字解释;根据药用植物不同时期的光谱特征,确定最佳采收时间;
所述药用植物炮制加工展示模块,基于AR技术将药用植物炮制加工方法还原、整合、虚拟、再现;
所述药材贮存展示模块,用于展示药材贮存方法、技术、贮藏条件要求、霉变、害虫防治;
进一步地,所述标准光谱特征,是采用高光谱成像技术采集每种药用植物不同生长周期的高光谱数据,并对高光谱数据进行预处理、降维、波段选择分析光谱特征,确定的每种药用植物不同生长周期最具代表性的光谱数据。
进一步地,所述中药模型库还包括药用植物图片、音视频资料、AR模型。
进一步地,所述药用植物识别鉴定还用于随机给出药用植物图像特征和/或光谱特征,测试参与者的药用植物识别能力。
进一步地,所述药用植物全生长周期展示模块还用于根据高光谱成像技术采集药用植物不同生长周期的高光谱数据,量化药用植物的生长条件,为提高药用植物的质量和产量提供科学的数据支持。
进一步地,所述药用植物全生长周期包括药用植物种子萌芽、营养器官建成、开花、结果以及制成中药饮片。
进一步地,所述药用植物采收展示模块还用于实现基于AR技术的药用植物采收体验。
本发明优点在于利用人工智能技术,结合高光谱成像和AR技术,建立可视化中药鉴别系统,实现药用植物从种子发芽到药物(中药饮片)形成等一系列过程的可视化展现,形象、立体、生动的展示知识点,使使用者能够身临其境地学习和体验中药材的历史背景、生长环境、植物生长各阶段特性和中药饮片的加工炮制工艺等内容,既能极大增强了学习者的兴趣,提升了学习效果,又能弥补中药学实践教学资源缺乏的缺陷,减轻老师的授课压力,提高学生的专业素养,同时也极大程度的降低了教学成本投入。
附图说明
图1是本发明所述基于高光谱成像和AR技术的中药可视化鉴别系统的框架图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明中所说的高光谱成像是一种可以捕获和分析一片空间区域内逐点上光谱的精细技术。由于可以检测到单个对象不同空间位置上的独特光谱“特征”,因此高光谱成像技术可以检测到在人眼视觉上无法区分的物质。药用植物和中药饮片的理化性质不同使其对波长的吸收和反射也不同,从而导致其光谱特征不同,因此不同的药用植物和中药饮片就包含其特有的光谱,这些人眼无法看到的光谱信息,可以通过高光谱成像技术进行甄别区分,从而为计算机智能可视化鉴别中药提供可行性。
本发明中所说的AR(英文全称为:Augmented Reality,中文释义为:增强现实技术)技术,是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术。1997年Azuma等研究人员提出了AR技术的三个标准:第一,虚拟和现实元素的组合;第二,能够进行实时交互;第三,能够以三维形式注册(即跟踪与定位)。也就是说,AR技术把原本在现实世界中时间、空间范围内很难体验到的实体信息(如视觉、听觉、味觉、触觉等),通过科学技术手段,以虚拟信息的方式传递到现实世界中,从而被人类感知并产生超越现实的感官体验。
如图1所示,本发明所述的基于高光谱成像和AR技术的中药可视化鉴别系统,包括中药模型库、药用植物识别鉴定模块、药用植物全生长周期展示模块、药用植物采收方法展示模块、药用植物炮制加工方法展示模块、药材贮存展示模块;
所述中药模型库,基于高光谱成像采集技术采集每种药用植物不同生长周期的高光谱数据,对原始高光谱数据进行预处理、降维、波段选择等分析其光谱特征,再对预处理后的高光谱数据建模分析和研究,明确每种药用植物和不同生长周期的光谱特征,将最具代表性的光谱数据作为标准光谱特征,导入中药模型库。
同时,应用AR技术、图像检测和传感技术等采集药用植物的显著特征图像,对药用植物的实物、药材采集、炮制加工以及贮存方式进行采集,建立用以鉴别药用植物的中药模型库,并导入药用植物鉴别特征,如图片特征和音视频介绍、AR模型等基础数据。
所述药用植物识别鉴定模块,在中药模型库完善后,使用者可以扫描现实世界中的药用植物实物或照片或光谱特征,根据中药模型库中中药图谱、药用植物标本、光谱特征进行药用植物视觉识别鉴定,呈现相对应的药用植物图文资料、音视频介绍、光谱特征等简介说明。
针对药用植物的鉴定,基于AR技术将药用植物的形态虚拟再现,通过光谱特征对不同的药用植物进行鉴别。
图像识别中设置互动栏目,参与者还可以根据随机给出的药用植物图像特征和/或光谱特征测试药用植物识别能力,确定药用植物分属哪个物种等。
所述药用植物全生长周期展示模块,借助AR技术,根据中药模型库,模拟还原药用植物的生长环境,展示药用植物不同生长周期的特定形态、光谱特征和关联知识;还可以根据高光谱成像技术采集药用植物不同生长周期的高光谱数据,量化药用植物的生长条件,为提高药用植物的质量和产量提供科学的数据支持。
药用植物全生长周期包括药用植物种子萌芽、营养器官建成、开花、结果以及制成中药饮片。其中,借助AR技术,展现种子萌芽过程,通过高光谱成像采集技术采集种子萌芽的光谱数据并进行分析,展示种子采集与处理、种子萌芽条件、种子萌芽时期的光谱特征;模拟展示药用植物由小苗成长为成年植株的过程,形象地表达出植物的特征和器官建成过程,以及通过高光谱成像技术分析其不同的光谱信息和特征;展示药用植物开花过程;展示药用植物产果期到适宜采收期的特征信息。
中药质量的好坏,取决于有效物质含量的多少,有效物质的含量与采收时间、季节、方法有着密切的联系。
所述药用植物采收展示模块,基于高光谱成像技术分析不同采收时间、方法的光谱特征;基于AR技术,展示药用植物采收细节、关键技术要领、语音、文字信息;同时药用植物有效成分的积累是个动态变化的过程,根据药用植物不同时期的光谱特征,确定最佳采收时间;
所述药用植物采收展示模块还运用AR技术实现药用植物采集互通功能,让参与者可以体验药用植物采集过程。
药用植物采收后,除少数要求鲜用外,绝大多数需要进行炮制加工。中药炮制是中医药特色之一,也是影响饮片质量和临床药效的重要环节之一。由于中药的品种繁多,来源不一,其形、色、气、味、质地及含有的物质不完全相同,因而对产地加工的要求也不一样。所述药用植物炮制加工展示模块,对采集后的药用植物进行炮制,基于AR技术嵌入不同药用植物的加工方法,通过模拟,将现实中的炮制加工流程进行还原、整合、虚拟、再现,包括所需的工具,辅料等,配以相应动画和模型进行全新的可视化、仿真效果展示。并可以与使用者进行交互式互动。
中药品质的好坏,不仅与采收加工有关,与药材的贮藏保管是否得当有着密切的联系,贮藏不当就会产生不同程度的变质现象,降低质量和疗效。所述药材贮存展示模块,用于介绍用何种方法、何种技术来贮存该药材等,展示药材贮存方法、技术、贮藏条件要求、霉变、害虫防治等。
本发明所述基于高光谱成像和AR技术的中药可视化鉴别系统可以是移动端、桌面端、沉浸式头盔等等,解决了从植株植物到药物的全程直观的观察与学习的问题(如生长周期长),也弥补了在现实操作中难以实现的关键环节的不足(如炮制工艺中细微变化),同时可有效将选种、种植、采集、加工炮制等交叉知识进行归纳和整理,帮助学生和行业从业者更系统和全面地了解和掌握相应知识内容,以此为核心可以在学校进行教学、社会科普活动中进行展示、或是商业应用等。

Claims (8)

1.一种基于高光谱成像和AR技术的中药可视化鉴别系统,其特征在于:包括:中药模型库、药用植物识别鉴定模块、药用植物全生长周期展示模块、药用植物采收方法展示模块、药用植物炮制加工方法展示模块、药材贮存展示模块;
所述中药模型库,基于高光谱成像技术、AR技术、图像检测技术、传感技术收集药用植物实物、不同生长周期、标准光谱特征、采收、炮制加工、贮存数据,建立中药模型库;
所述药用植物识别鉴定模块,通过扫描药用植物实物、照片或光谱特征,根据中药模型库中中药图谱、药用植物标本、光谱特征进行药用植物视觉识别鉴定,并展示相应的简介说明;
所述药用植物全生长周期展示模块,借助AR技术,根据中药模型库,模拟还原药用植物的生长环境,展示药用植物不同生长周期的特定形态、光谱特征和关联知识;
所述药用植物采收展示模块,基于高光谱成像技术分析不同采收时间、方法的光谱特征;基于AR技术,展示药用植物采收细节、关键技术要领、语音、文字解释;根据药用植物不同时期的光谱特征,确定最佳采收时间;
所述药用植物炮制加工展示模块,基于AR技术将药用植物炮制加工方法还原、整合、虚拟、再现;
所述药材贮存展示模块,用于展示药材贮存方法、技术、贮藏条件要求、霉变、害虫防治。
2.根据权利要求1所述的基于高光谱成像和AR技术的中药可视化鉴别系统,其特征在于:所述标准光谱特征,是采用高光谱成像技术采集每种药用植物不同生长周期的高光谱数据,并对高光谱数据进行预处理、降维、波段选择分析光谱特征,确定的每种药用植物不同生长周期最具代表性的光谱数据。
3.根据权利要求1所述的基于高光谱成像和AR技术的中药可视化鉴别系统,其特征在于:所述中药模型库还包括药用植物图片、音视频资料、AR模型。
4.根据权利要求1所述的基于高光谱成像和AR技术的中药可视化鉴别系统,其特征在于:所述药用植物识别鉴定还用于随机给出药用植物图像特征和/或光谱特征,测试参与者的药用植物识别能力。
5.根据权利要求1所述的基于高光谱成像和AR技术的中药可视化鉴别系统,其特征在于:所述药用植物全生长周期展示模块还用于根据高光谱成像技术采集药用植物不同生长周期的高光谱数据,量化药用植物的生长条件,为提高药用植物的质量和产量提供科学的数据支持。
6.根据权利要求1所述的基于高光谱成像和AR技术的中药可视化鉴别系统,其特征在于:所述药用植物全生长周期包括药用植物种子萌芽、营养器官建成、开花、结果以及制成中药饮片。
7.根据权利要求1所述的基于高光谱成像和AR技术的中药可视化鉴别系统,其特征在于:所述药用植物采收展示模块还用于实现基于AR技术的药用植物采收体验。
8.根据权利要求1所述的基于高光谱成像和AR技术的中药可视化鉴别系统,其特征在于:所述基于高光谱成像和AR技术的中药可视化鉴别系统支持在移动端、桌面端、沉浸式头盔上应用。
CN202210263773.3A 2022-03-17 2022-03-17 基于高光谱成像和ar技术的中药可视化鉴别系统 Active CN114582201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210263773.3A CN114582201B (zh) 2022-03-17 2022-03-17 基于高光谱成像和ar技术的中药可视化鉴别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210263773.3A CN114582201B (zh) 2022-03-17 2022-03-17 基于高光谱成像和ar技术的中药可视化鉴别系统

Publications (2)

Publication Number Publication Date
CN114582201A true CN114582201A (zh) 2022-06-03
CN114582201B CN114582201B (zh) 2023-10-10

Family

ID=81775292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210263773.3A Active CN114582201B (zh) 2022-03-17 2022-03-17 基于高光谱成像和ar技术的中药可视化鉴别系统

Country Status (1)

Country Link
CN (1) CN114582201B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102288551A (zh) * 2011-04-01 2011-12-21 尚振刚 利用高光谱数据鉴别中药材的方法
CN106406403A (zh) * 2016-11-28 2017-02-15 吉林师范大学 一种基于增强现实的农业管控系统
CN106991147A (zh) * 2017-03-27 2017-07-28 重庆大学 一种植物识别系统及识别方法
CN108983848A (zh) * 2018-07-02 2018-12-11 采瑞科技(深圳)有限公司 一种基于物联网的中草药种植监测系统
CN109886283A (zh) * 2017-12-06 2019-06-14 江西科骏实业有限公司 一种基于ar的植物图像智能识别系统
CN112023436A (zh) * 2020-07-21 2020-12-04 广东工业大学 一种应用于中药提取浓缩工艺的增强现实系统
US20210185942A1 (en) * 2019-12-21 2021-06-24 Verdant Robotics, Inc. Managing stages of growth of a crop with micro-precision via an agricultural treatment delivery system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102288551A (zh) * 2011-04-01 2011-12-21 尚振刚 利用高光谱数据鉴别中药材的方法
CN106406403A (zh) * 2016-11-28 2017-02-15 吉林师范大学 一种基于增强现实的农业管控系统
CN106991147A (zh) * 2017-03-27 2017-07-28 重庆大学 一种植物识别系统及识别方法
CN109886283A (zh) * 2017-12-06 2019-06-14 江西科骏实业有限公司 一种基于ar的植物图像智能识别系统
CN108983848A (zh) * 2018-07-02 2018-12-11 采瑞科技(深圳)有限公司 一种基于物联网的中草药种植监测系统
US20210185942A1 (en) * 2019-12-21 2021-06-24 Verdant Robotics, Inc. Managing stages of growth of a crop with micro-precision via an agricultural treatment delivery system
CN112023436A (zh) * 2020-07-21 2020-12-04 广东工业大学 一种应用于中药提取浓缩工艺的增强现实系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李梦: "高光谱成像技术的发展现状及其在中药领域中的应用前景", 西部中医药, vol. 34, no. 10, pages 149 - 152 *
电脑知识与技术: ""基于AR 技术的"视觉本草"草药识别软件设计与开发"", 电脑知识与技术, vol. 16, no. 2, pages 179 - 183 *

Also Published As

Publication number Publication date
CN114582201B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
Lim et al. Three-dimensional visualization forest of landscapes by VRML
Lange The limits of realism: perceptions of virtual landscapes
Castella et al. Participatory simulation of land-use changes in the northern mountains of Vietnam: the combined use of an agent-based model, a role-playing game, and a geographic information system
Chandler et al. Immersive landscapes: modelling ecosystem reference conditions in virtual reality
Fabrika et al. Thinning trainer based on forest-growth model, virtual reality and computer-aided virtual environment
Sonohat et al. Three-dimensional reconstruction of partially 3D-digitized peach tree canopies
RU2012143140A (ru) Система для анализа при лечении кожи с использованием данных спектральных изображений для генерации трехмерной модели rgb
CN109409199A (zh) 微表情训练方法、装置、存储介质及电子设备
Boissau et al. Constructing a common representation of local institutions and land use systems through simulation-gaming and multiagent modeling in rural areas of Northern Vietnam: the SAMBA-Week methodology
CN106909438A (zh) 基于真实数据的虚拟数据构建方法和系统
Hadar et al. Envisioning future landscapes: A data-based visualization model for ecosystems under alternative management scenarios
CN108877340A (zh) 一种基于增强现实技术的智能化英语辅助学习系统
Brenner Smartphones for teaching plant movement
CN108877311A (zh) 一种基于增强现实技术的英语学习系统
CN114582201B (zh) 基于高光谱成像和ar技术的中药可视化鉴别系统
CN113268626A (zh) 数据处理方法、装置、电子设备及存储介质
Memari et al. Role of Kaplan’s Preference Matrix in the Assessment of Building façade, Case of Gorgan, Iran
Raman et al. An augmented reality greenhouse to demonstrate game-based learning
Zürcher et al. Advancing forest monitoring and assessment through immersive virtual reality
CN112907537A (zh) 基于深度学习和现场虚拟仿真技术的骨骼性别鉴别方法
Perez-Huet Global Literature Review on the applications of Virtual Reality in Forestry
hi Chang et al. A study on augmented reality application in situational simulation learning
Wen Virtual Reality-based Meta-Cosmic Perspective on Curriculum Integration Innovations in Art and Technology Programs
Millner Terra plena: Revisiting contemporary agrarian struggles in Central America through a “full earth” perspective
Syahfitri Digital Image Processing On Kaffir Orange Peel With Canny Edge Detection Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant