CN106095094B - 增强现实投影与现实交互的方法和装置 - Google Patents

增强现实投影与现实交互的方法和装置 Download PDF

Info

Publication number
CN106095094B
CN106095094B CN201610406009.1A CN201610406009A CN106095094B CN 106095094 B CN106095094 B CN 106095094B CN 201610406009 A CN201610406009 A CN 201610406009A CN 106095094 B CN106095094 B CN 106095094B
Authority
CN
China
Prior art keywords
image
model
wearable device
module
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610406009.1A
Other languages
English (en)
Other versions
CN106095094A (zh
Inventor
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING XINGYUN TIME AND SPACE TECHNOLOGY Co Ltd
Original Assignee
BEIJING XINGYUN TIME AND SPACE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING XINGYUN TIME AND SPACE TECHNOLOGY Co Ltd filed Critical BEIJING XINGYUN TIME AND SPACE TECHNOLOGY Co Ltd
Priority to CN201610406009.1A priority Critical patent/CN106095094B/zh
Publication of CN106095094A publication Critical patent/CN106095094A/zh
Application granted granted Critical
Publication of CN106095094B publication Critical patent/CN106095094B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种增强现实投影与现实交互的方法，包括：对至少一个可穿戴设备进行三维图像节点配置；根据三维图像节点建立图像模型；获取至少一个可穿戴设备的构建的动作姿态模型；将图像模型与动作姿态模型合并计算，获取图像显示姿态。上述方法根据可穿戴设备从肢体以及躯干传来的运动数据，构建或简单或复杂的人体模型，在此人体模型的基础上构造衣物以及盔甲的三维图像模型；模型建立完毕后当智能显示设备的输入模块输入该处设备信息时，相应的显示该图像，与此同时，当人体运动时，通过动作采集、解析以及图像化，实现衣物跟随人体运动而运动，具有很好的用户体验性与易用性。本发明还公开了一种增强现实投影与现实交互的装置。

Description

增强现实投影与现实交互的方法和装置
技术领域
本发明属于三维智能领域，特别涉及一种增强现实投影与现实交互的方法和装置。
背景技术
众所周知，增强现实技术(Augmented Reality，AR)是随着虚拟现实技术(VirtualReality，VR)迅速发展和实际应用需要而出现的一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。AR技术最终实现的目标为：借助计算机图形技术和可视化技术、交互技术、显示技术等产生显示环境中不存在的虚拟对象，并通过注册技术将虚拟对象准确地设置在真是环境中，让用户出于一种虚拟世界无缝融合的环境中。目前，将AR技术和计算机建模结合在一起，尚属于首例。
发明内容
本发明的目的是提供一种增强现实投影与现实交互的方法和装置，本发明对人体运动轨迹位置与相关于人体运动轨迹位置的图像的形变进行建模，通过上述建模实现了在游戏场景或者购物场景中的社交型体验，具有易用性。
为实现上述目的，本发明的一个方面提供了一种增强现实投影与现实交互的方法，该方法包括：对至少一个可穿戴设备进行三维图像节点配置；根据所述三维图像节点建立图像模型；获取所述至少一个可穿戴设备的构建的动作姿态模型；将所述图像模型与所述动作姿态模型合并计算，获取图像显示姿态。
在其中一个实施例中，在对至少一个可穿戴设备进行三维图像节点配置之前包括：判断至少一个可穿戴设备是否佩戴于人体；若是，则对至少一个可穿戴设备进行三维图像节点配置。
在其中一个实施例中，所述根据所述三维图像节点建立图像模型包括：智能显示设备预设待显示的三维图像；智能显示设备通过内置的图像输入模块对外部图像进行扫描；判断扫描的所述外部图像是否有标识；如果扫描的所述外部图像具有标识，则在标识处结合所述三维图像节点建立图像模型。
在其中一个实施例中，所述获取所述至少一个可穿戴设备的构建的动作姿态模型包括：每个所述可穿戴设备监测人体运动轨迹；通过每个所述可穿戴设备内置的通信模块将监测到的所述人体运动轨迹数据发送至所述智能显示设备；所述智能显示设备根据所述人体运动轨迹数据，建立动作姿态模型。
在其中一个实施例中，根据获取的所述图像显示姿态进行三维图像的显示。
为实现上述目的，本发明的另一个方面提供了一种增强现实投影与现实交互的装置，该装置包括：配置模块，用于对至少一个可穿戴设备进行三维图像节点配置；模型建立模块，用于根据所述三维图像节点建立图像模型；获取模块，用于获取所述至少一个可穿戴设备的构件的动作姿态模型；计算模块，用于将所述图像模型与所述动作姿态模型合并计算，获取图像显示姿态。
在其中一个实施例中，还包括：判断模块，用于判断至少一个可穿戴设备是否佩戴于人体。
在其中一个实施例中，所述模型建立模块包括：待显示单元，用于智能显示设备预设待显示的三维图像；扫描单元，用于智能显示设备通过内置的图像输入模块对外部图像进行扫描；判断单元，用于判断扫描的所述外部图像是否有标识；第一模型建立单元，用于如果扫描的所述外部图像具有标识，则在标识处结合所述三维图像节点建立图像模型。
在其中一个实施例中，所述获取模块包括：监测单元，用于每个所述可穿戴设备监测人体运动轨迹；发送单元，用于通过每个所述可穿戴设备内置的通信模块将监测到的所述人体运动轨迹数据发送至所述智能显示设备；第二模型建立单元，用于所述智能显示设备根据所述人体运动轨迹数据，建立动作姿态模型。
在其中一个实施例中，还包括：显示模块，用于根据获取的所述图像显示姿态进行三维图像的显示。
如上所述，本发明公开的增强现实投影与现实交互的方法和装置，该方法包括：对至少一个可穿戴设备进行三维图像节点配置；根据三维图像节点建立图像模型；获取至少一个可穿戴设备的构建的动作姿态模型；将图像模型与动作姿态模型合并计算，获取图像显示姿态。上述方法根据可穿戴设备从肢体以及躯干传来的运动数据，构建或简单或复杂的人体模型，在此人体模型的基础上构造衣物以及盔甲的三维图像模型；模型建立完毕后当智能显示设备的输入模块输入该处设备信息时，相应的显示该图像，与此同时，当人体运动时，通过动作采集、解析以及图像化，实现衣物跟随人体运动而运动，具有很好的用户体验性与易用性。
附图说明
图1是本发明中的一种增强现实投影与现实交互的方法的步骤流程图；
图2是本发明中的一种增强现实投影与现实交互的装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。图1是本发明中的一种增强现实投影与现实交互的方法的步骤流程图。
步骤102，对至少一个可穿戴设备进行三维图像节点配置。
本实施例中，在对至少一个可穿戴设备进行三维图像节点配置之前包括：判断至少一个可穿戴设备是否佩戴于人体；若是，则对至少一个可穿戴设备进行三维图像节点配置。
步骤104，根据三维图像节点建立图像模型。
本实施例中，根据三维图像节点建立图像模型包括：智能显示设备预设待显示的三维图像；智能显示设备通过内置的图像输入模块对外部图像进行扫描；判断扫描的外部图像是否有标识；如果扫描的外部图像具有标识，则在标识处结合三维图像节点建立图像模型。
步骤106，获取至少一个可穿戴设备的构件的动作姿态模型。
本实施例中，获取至少一个可穿戴设备的构建的动作姿态模型包括：每个可穿戴设备监测人体运动轨迹；通过每个可穿戴设备内置的通信模块将监测到的人体运动轨迹数据发送至智能显示设备；智能显示设备根据人体运动轨迹数据，建立动作姿态模型。
步骤108，将图像模型与动作姿态模型合并计算，获取图像显示姿态。
本实施例中，通过对图像模型与动作姿态模型根据预设算法结合合并进行计算，不仅可以获取图像的运动轨迹，还可以获取动作姿态的运动轨迹，从而完成一次完整的获取图像显示姿态的过程。此外，本发明公开的一种增强显示投影与现实交互的方法还包括：根据获取的图像显示姿态进行三维图像的显示。
需要说明的是，根据可穿戴设备从肢体以及躯干传来的运动数据，可以构建或简单或复杂的人体模型，在此人体模型的基础上便可构造衣物以及盔甲的3D图像模型。模型建立完毕后当智能显示设备的输入模块输入该处设备信息时，相应的显示该图像；同时，当人体运动时，通过动作采集、解析以及图像化，实现衣物跟随人体运动而运动。
当然，由于设备都戴在用户身上，只有当用户通过镜子或者低头看时，看能看到自己身上的虚拟现实衣物以及盔甲。而通过区域互联，虚拟现实社交的方式，使用者A可以直接看到使用者B身上的衣物以及盔甲。由此实现在游戏场景或购物中全新的社交型体验。
如上所述，本发明公开的一种增强现实投影与现实交互的方法包括：对至少一个可穿戴设备进行三维图像节点配置；根据三维图像节点建立图像模型；获取至少一个可穿戴设备的构建的动作姿态模型；将图像模型与动作姿态模型合并计算，获取图像显示姿态。上述方法根据可穿戴设备从肢体以及躯干传来的运动数据，构建或简单或复杂的人体模型，在此人体模型的基础上构造衣物以及盔甲的三维图像模型；模型建立完毕后当智能显示设备的输入模块输入该处设备信息时，相应的显示该图像，与此同时，当人体运动时，通过动作采集、解析以及图像化，实现衣物跟随人体运动而运动，具有很好的用户体验性与易用性。
可以理解的是，本发明公开的一种增强现实投影与现实交互方法应用场景具有广泛的易用性。例如，在RPG游戏时，人物需要装备盔甲，盔甲可通过本技术即时显示在用户身体上，同时同玩游戏的人也可以看到此装备盔甲。于此同时，可以给盔甲增加一些盔甲耐久度和护甲值等参数值，在游戏中因为打斗对盔甲造成损耗时，盔甲会随该情景作一些形变或老化。使用户的体验大大提高。
此外，在购物场景中，顾客可以直接选择衣物模型通过设备进行试穿，通过镜子或额外图像展示显示自己与自己穿的衣物，同时可以模拟所在场景例如宴会，旅游，运动等。
进一步的，在T台上，用户可以通过智能头戴显示设备观看，模特只需身着简单带标识的衣物便可完成走秀，衣物更换迅速。与此同时，演出也可快速更换服装。
基于同样的原理，图2是本发明中的一种增强现实投影与现实交互的装置的结构示意图。具体的，一种增强现实投影与现实交互的装置10包括：配置模块120、模型建立模块140、获取模块160和计算模块180。
其中，配置模块120用于对至少一个可穿戴设备进行三维图像节点配置；模型建立模块140用于根据三维图像节点建立图像模型；获取模块160用于获取至少一个可穿戴设备的构件的动作姿态模型；计算模块180用于将图像模型与动作姿态模型合并计算，获取图像显示姿态。
本实施例中，模型建立模块140包括待显示单元141、扫描单元142、判断单元143和第一模型建立单元144。具体的，待显示单元141(图中未示出)用于智能显示设备预设待显示的三维图像；扫描单元142(图中未示出)用于智能显示设备通过内置的图像输入模块对外部图像进行扫描；判断单元143(图中未示出)用于判断扫描的外部图像是否有标识；第一模型建立单元144(图中未示出)用于如果扫描的外部图像具有标识，则在标识处结合三维图像节点建立图像模型。
进一步的，本实施例中，获取模块160包括：监测单元161、发送单元162和第二模型建立单元163。具体的，监测单元161(图中未示出)用于每个可穿戴设备监测人体运动轨迹；发送单元162(图中未示出)用于通过每个可穿戴设备内置的通信模块将监测到的人体运动轨迹数据发送至智能显示设备；第二模型建立单元163(图中未示出)用于智能显示设备根据人体运动轨迹数据，建立动作姿态模型。
此外，该增强现实投影与现实交互的装置10还包括判断模块110(图中未示出)用于判断至少一个可穿戴设备是否佩戴于人体。
更进一步的，该增强现实投影与现实交互的装置10还包括显示模块190(图中未示出)用于根据获取的图像显示姿态进行三维图像的显示。
如上所述，本发明公开的一种增强现实投影与现实交互的装置包括：通过配置模块120对至少一个可穿戴设备进行三维图像节点配置；再通过模型建立模块140根据三维图像节点建立图像模型；再通过获取模块160获取至少一个可穿戴设备的构建的动作姿态模型；最后通过计算模块180将图像模型与动作姿态模型合并计算，获取图像显示姿态。上述装置根据可穿戴设备从肢体以及躯干传来的运动数据，构建或简单或复杂的人体模型，在此人体模型的基础上构造衣物以及盔甲的三维图像模型；模型建立完毕后当智能显示设备的输入模块输入该处设备信息时，相应的显示该图像，与此同时，当人体运动时，通过动作采集、解析以及图像化，实现衣物跟随人体运动而运动，具有很好的用户体验性与易用性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种增强现实投影与现实交互的方法，其特征在于，该方法包括：
对至少一个可穿戴设备进行三维图像节点配置；
智能显示设备预设待显示的三维图像；
智能显示设备通过内置的图像输入模块对外部图像进行扫描；
判断扫描的所述外部图像是否有标识；
如果扫描的所述外部图像具有标识，则在标识处结合所述三维图像节点建立图像模型；
获取所述至少一个可穿戴设备的构建的动作姿态模型；
将所述图像模型与所述动作姿态模型合并计算，获取图像显示姿态。
2.根据权利要求1所述的方法，其中，在对至少一个可穿戴设备进行三维图像节点配置之前包括：判断至少一个可穿戴设备是否佩戴于人体；若是，则对至少一个可穿戴设备进行三维图像节点配置。
3.根据权利要求1所述的方法，其中，所述获取所述至少一个可穿戴设备的构建的动作姿态模型包括：
每个所述可穿戴设备监测人体运动轨迹；
通过每个所述可穿戴设备内置的通信模块将监测到的所述人体运动轨迹数据发送至智能显示设备；
所述智能显示设备根据所述人体运动轨迹数据，建立动作姿态模型。
4.根据权利要求1所述的方法，还包括：
根据获取的所述图像显示姿态进行三维图像的显示。
5.一种增强现实投影与现实交互的装置，其特征在于，该装置包括：
配置模块，用于对至少一个可穿戴设备进行三维图像节点配置；
模型建立模块，用于根据所述三维图像节点建立图像模型；其中，所述模型建立模块包括：
待显示单元，用于智能显示设备预设待显示的三维图像；
扫描单元，用于智能显示设备通过内置的图像输入模块对外部图像进行扫描；
判断单元，用于判断扫描的所述外部图像是否有标识；
第一模型建立单元，用于如果扫描的所述外部图像具有标识，则在标识处结合所述三维图像节点建立图像模型；
获取模块，用于获取所述至少一个可穿戴设备的构件的动作姿态模型；
计算模块，用于将所述图像模型与所述动作姿态模型合并计算，获取图像显示姿态。
6.根据权利要求5所述的装置，其中，还包括：判断模块，用于判断至少一个可穿戴设备是否佩戴于人体。
7.根据权利要求5所述的装置，其中，所述获取模块包括：
监测单元，用于每个所述可穿戴设备监测人体运动轨迹；
发送单元，用于通过每个所述可穿戴设备内置的通信模块将监测到的所述人体运动轨迹数据发送至智能显示设备；
第二模型建立单元，用于所述智能显示设备根据所述人体运动轨迹数据，建立动作姿态模型。
8.根据权利要求5所述的装置，还包括：显示模块，用于根据获取的所述图像显示姿态进行三维图像的显示。
CN201610406009.1A 2016-06-10 2016-06-10 增强现实投影与现实交互的方法和装置 Expired - Fee Related CN106095094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610406009.1A CN106095094B (zh) 2016-06-10 2016-06-10 增强现实投影与现实交互的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610406009.1A CN106095094B (zh) 2016-06-10 2016-06-10 增强现实投影与现实交互的方法和装置

Publications (2)

Publication Number Publication Date
CN106095094A CN106095094A (zh) 2016-11-09
CN106095094B true CN106095094B (zh) 2019-04-16

Family

ID=57228824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610406009.1A Expired - Fee Related CN106095094B (zh) 2016-06-10 2016-06-10 增强现实投影与现实交互的方法和装置

Country Status (1)

Country Link
CN (1) CN106095094B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067428B (zh) * 2017-03-10 2020-06-30 深圳奥比中光科技有限公司 增强现实投影装置及方法
CN106951095A (zh) * 2017-04-07 2017-07-14 胡轩阁 基于三维扫描技术的虚拟现实互动方法以及系统
CN108031110A (zh) * 2017-11-03 2018-05-15 东莞市新进巧工艺制品有限公司 一种基于ar技术的游戏系统
CN110322669B (zh) * 2018-03-31 2022-01-04 汉唐传媒股份有限公司 一种基于现实投影游戏场的预警方法
CN109147054B (zh) * 2018-08-03 2023-08-18 五八有限公司 Ar的3d模型朝向的设置方法、装置、存储介质及终端
CN109828673B (zh) * 2019-02-20 2022-12-06 上海昊沧系统控制技术有限责任公司 一种ar识别中跟随物体的交互方法及系统
CN110109319B (zh) * 2019-05-10 2021-01-19 上海瀚沧科技有限公司 增强现实可调透明投影屏及投影方法和制作方法
CN112684898A (zh) * 2021-01-19 2021-04-20 杭州立众数字科技有限公司 沉浸式智能交互展示装置及方法
CN113117327B (zh) * 2021-04-12 2024-02-02 网易（杭州）网络有限公司 增强现实互动控制方法、装置、电子设备和存储介质
CN114742984B (zh) * 2022-04-14 2023-04-21 北京数字冰雹信息技术有限公司 一种动态三维模型的编辑方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101305401A (zh) * 2005-11-14 2008-11-12 微软公司 用于游戏的立体视频
CN102323854A (zh) * 2011-03-11 2012-01-18 中国科学院研究生院 人体运动捕获装置
CN104143212A (zh) * 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
CN104407701A (zh) * 2014-11-27 2015-03-11 曦煌科技(北京)有限公司 一种面向个人的集群化虚拟现实交互系统
CN104700433A (zh) * 2015-03-24 2015-06-10 中国人民解放军国防科学技术大学 一种基于视觉的实时人体全身体运动捕捉方法及其系统
CN104857704A (zh) * 2015-06-11 2015-08-26 苏州百源软件设计有限公司 可穿戴虚拟现实运动头盔及可穿戴虚拟动作游戏系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101305401A (zh) * 2005-11-14 2008-11-12 微软公司 用于游戏的立体视频
CN102323854A (zh) * 2011-03-11 2012-01-18 中国科学院研究生院 人体运动捕获装置
CN104143212A (zh) * 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
CN104407701A (zh) * 2014-11-27 2015-03-11 曦煌科技(北京)有限公司 一种面向个人的集群化虚拟现实交互系统
CN104700433A (zh) * 2015-03-24 2015-06-10 中国人民解放军国防科学技术大学 一种基于视觉的实时人体全身体运动捕捉方法及其系统
CN104857704A (zh) * 2015-06-11 2015-08-26 苏州百源软件设计有限公司 可穿戴虚拟现实运动头盔及可穿戴虚拟动作游戏系统

Also Published As

Publication number Publication date
CN106095094A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
CN106095094B (zh) 增强现实投影与现实交互的方法和装置
KR102069964B1 (ko) 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법
US10593025B2 (en) Method and system for reconstructing obstructed face portions for virtual reality environment
CN103793060B (zh) 一种用户交互系统和方法
CN105556508B (zh) 虚拟镜子的装置、系统和方法
CN102156810A (zh) 增强现实实时虚拟试衣系统及方法
CN111161422A (zh) 一种用于增强虚拟场景实现的模型展示方法
CN109671141B (zh) 图像的渲染方法和装置、存储介质、电子装置
CN103106604A (zh) 基于体感技术的3d虚拟试衣方法
JP2012181688A (ja) 情報処理装置、情報処理方法、情報処理システムおよびプログラム
CN107168532A (zh) 一种基于增强现实的虚拟同步显示方法及系统
US8724849B2 (en) Information processing device, information processing method, program, and information storage medium
CN107211165A (zh) 用于自动延迟视频演示的装置、系统和方法
CN107185245A (zh) 一种基于slam技术的虚实同步显示方法及系统
CN109445596A (zh) 一种一体式混合现实头戴显示系统
CN109640070A (zh) 一种立体显示方法、装置、设备及存储介质
CN108762508A (zh) 一种基于vr体验舱的人体与虚拟人合成系统及方法
CN103456042A (zh) 人体模型、服装模型生成方法和试衣方法及系统
CN109806580A (zh) 基于无线传输的混合现实系统及方法
CN107818595A (zh) 穿戴式即时互动系统
CN107469315A (zh) 一种搏击训练系统
CN109445598A (zh) 一种基于视觉的增强现实系统装置
Schönauer et al. Wide area motion tracking using consumer hardware
JP6695997B2 (ja) 情報処理装置
Chague et al. Digital cloning for an increased feeling of presence in collaborative virtual reality environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right

Effective date of registration: 20190814

Granted publication date: 20190416

PP01 Preservation of patent right
PD01 Discharge of preservation of patent

Date of cancellation: 20200817

Granted publication date: 20190416

PD01 Discharge of preservation of patent
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190416

Termination date: 20210610

CF01 Termination of patent right due to non-payment of annual fee