CN110363273B - 一种基于高级智能对象的交互特征建模方法 - Google Patents

一种基于高级智能对象的交互特征建模方法 Download PDF

Info

Publication number
CN110363273B
CN110363273B CN201811372896.0A CN201811372896A CN110363273B CN 110363273 B CN110363273 B CN 110363273B CN 201811372896 A CN201811372896 A CN 201811372896A CN 110363273 B CN110363273 B CN 110363273B
Authority
CN
China
Prior art keywords
interactive
interaction
action
virtual human
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811372896.0A
Other languages
English (en)
Other versions
CN110363273A (zh
Inventor
吴珍发
赵皇进
郑国磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Putian University
Original Assignee
Beihang University
Putian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Putian University filed Critical Beihang University
Priority to CN201811372896.0A priority Critical patent/CN110363273B/zh
Publication of CN110363273A publication Critical patent/CN110363273A/zh
Application granted granted Critical
Publication of CN110363273B publication Critical patent/CN110363273B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于高级智能对象的交互特征建模方法，该方法实现的总体流程为：1）交互部位定义；2）交互位姿计算；3）抓取手型计算；4）对象动作分类定义；5）对象动作驱动实现。实践证明，该方法具有交互特征统一建模、仿真过程生成速度快、仿真过程重用性好等特点，可用于人机工程中的人机任务仿真，能有效减少人工交互的工作量。

Description

一种基于高级智能对象的交互特征建模方法
技术领域
本发明涉及一种基于高级智能对象的交互特征建模方法，用于交互特征建模，解决人机任务仿真中人工交互量大且仿真过程重用性差问题，属于人机工程仿真领域。
背景技术
人机工程现有系统中的人机任务仿真大多依赖手工交互，整个仿真过程的生成需要耗费大量的时间，而且仿真过程重用性差，主要是因为交互部位往往具有复杂的几何外形，而根据这些复杂的几何外形来完成虚拟人抓取等交互行为，容易导致交互特征的过多定义，从而导致人工交互量大；而且对象的属性、交互部位及对象动作没有进行统一的归纳分类，也增加了仿真过程生成的难度。因此，提高人机任务仿真效率成为研究的主要目标之一。解决这个问题的关键是在人机任务仿真中，通过对对象的交互特征（包括对象属性、交互部位及对象动作）进行归纳并统一定义，即采用基于高级智能对象的方法来实现，是一种有效的交互特征建模方法。
发明内容
为解决上面出现的问题，本发明提出一种基于高级智能对象的交互特征建模方法，该方法能有效减少交互特征的过多定义，通过对对象动作进行分类并采用对象动作驱动实现的方法来实现对象动作的过程生成，提高了仿真过程的生成速度。
本发明的目的是通过下述技术方案实现的：基于高级智能对象的交互特征建模方法，其特征在于：该方法实现的总体流程（见图1）为：1）交互部位定义；2）交互位姿计算；3）抓取手型计算；4）对象动作分类定义；5）对象动作驱动实现。
所述步骤1）交互部位定义，即利用交互元素来描述对象的交互部位，包括：（1）交互部位外形抽象化；（2）交互元素代替；（3）定义交互坐标系。
所述的（1）交互部位外形抽象化，包括：<1>明确对象交互部位的外形；<2>功能以及交互目的。具体如下：
<1>明确对象交互部位的外形，交互部位分为对象与对象之间、对象与虚拟人之间两种，外形分为接触（共点、共线、共面）、相切、同轴、距离约束等；
<2>功能以及交互目的，虚拟人通过抓取、接触、按压对象等来实现与对象的交互。
所述的（2）交互元素代替，考虑对象交互部位的外形、设计属性、设计目的和功能用途等因素来选用合适的基本几何元素代替相应的交互部位，包括点、线、面、球体、圆柱体和长方体六种交互元素。
所述的（3）定义交互坐标系，通过调整交互元素的空间位置，使交互坐标系满足实际交互的需要，交互坐标系用X轴、Y轴和Z轴表示。
所述步骤2）交互位姿计算，虚拟人与对象交互时，虚拟人位于相对于对象的合适位置并有一定的姿态，具体包括：（1）交互位置计算；（2）交互姿态计算；（3）交互位姿计算。
所述的（1）交互位置计算，虚拟人与对象交互时，所处的可能的交互位置区域称为交互域，而且往往偏好于一些比较确定的交互位置区域，称为较优交互域。在图2中，设虚拟人的臂长为L，允许的活动角度为θ，则交互域范围为扇形[(0, L),(0,θ)]，较优交互域为[(L 1,L 2),(θ 1,θ 2)]。交互位置可由长度L ’ 和角度θ ’ 确定，且有L ’ ∈(L 1,L 2)，θ ’ ∈(θ 1,θ 2)。虚拟人处在交互域的中心位置的概率较大，越偏离中心位置其概率越小。假设虚拟人的交互位置在较优交互域内呈正态分布，则可以通过正态分布随机数来计算交互位置点。设随机数U和V是（0，1）范围内的以0.5为中心的正态分布随机数，则交互位置长度L ’ 和角度θ ’ 的计算可表示为：
L ’ = L 1+U(L 2-L 1)
θ ’ =θ 1+V (θ 2-θ 1)
虚拟人交互位置的平面坐标矢量表示为： P=[- L ’ cos(θ ’ ), - L ’ sin(θ ’ )] T 。
所述的（2）交互姿态计算，采用基于规则的方法，只考虑交互对象高度（即Z坐标值）对虚拟人交互姿态的影响，根据对象高度h和虚拟人身高H之间的关系来计算姿态的方法如下：
<1>当0.45H＜ h ≤0.6H时，虚拟人弯腰30°；
<2>当0.4H＜ h ≤0.45H时，虚拟人弯腰50°；
<3>当0.3H＜ h ≤0.4H时，虚拟人蹲下；
<4>当h≤0.3H时，虚拟人蹲下并弯腰30°。
所述的（3）交互位姿计算，计算流程如下：
<1>基本参数设置：指定交互元素，定义虚拟人交互肢体（左手或右手）以及给定较优交互域；
<2>产生随机数：生成两个（0，1）范围内的以0.5为中心的正态分布随机数，用于计算虚拟人交互位置长度L ’ 和角度θ ’ ；
<3>计算交互位置：利用P=[- L ’ cos(θ ’ ), - L ’ sin(θ ’ )] T 来计算虚拟人交互位置的平面坐标矢量；
<4>计算交互姿态：根据对象高度h和虚拟人身高H之间的关系，采用基于规则的方法进行交互姿态计算；
<5>评价交互位姿：如果交互位姿不满足要求则转<1>，否则结束。
所述步骤3）抓取手型计算，包括：（1）对象与手掌间的相对位置；（2）手指与对象间的相对构型。
所述的（1）对象与手掌间的相对位置，根据对象的交互部位，通过交互坐标系与手掌的配合来确定手掌与对象之间的相对位置。
所述的（2）手指与对象间的相对构型，方法有：<1>基于几何元素；<2>基于干涉检测。其中：
<1>基于几何元素：根据交互元素的几何类型及其数学表达式，通过列约束方程组来计算；
<2>基于干涉检测：在某个初始位置让每个手指逐步拢住对象直到各个手指与对象发生干涉。
所述步骤4）对象动作分类定义，根据人机任务仿真需要，按运动方式对对象动作进行归类，见图3，主要有四类：（1）平移动作；（2）旋转动作；（3）插值动作；（4）混合动作。其它复杂的动作可通过这四类动作的组合来实现。
所述的（1）平移动作，对象或对象子部件沿指定方向作平移运动；平移动作属性包括平移部位、平移方向和距离（或移动的始末位置）、平移速度及加速度等，其中平移方向和距离通过交互元素定义。
所述的（2）旋转动作，对象或对象子部件绕指定的旋转轴线作旋转运动；旋转动作属性包括旋转部位、旋转轴线、旋转角度以及角速度、角加速度等，其中旋转轴线用线交互元素定义。
所述的（3）插值动作，给定动作对象的始末位姿，用线性插值计算对象在整个运动过程中的所有中间位姿，使得动作对象从初始位姿平滑运动到末态位姿；插值动作属性包括动作对象、对象的始末位姿，其中对象始末位姿由交互元素定义。
所述的（4）混合动作，由平移动作、旋转动作以及插值动作混合组成，用以描述较为复杂的对象动作。
所述步骤5）对象动作驱动实现，该方法的原理是由虚拟人运动引起的对象动作，可将对象理解为主动体而虚拟人作为从动体，即对象动作驱动虚拟人运动。具体实现流程如下：
<1>定义对象动作：根据需要在对象上定义对象动作，并设置对象动作属性；
<2>绑定虚拟人末端：将虚拟人的动作执行末端（如手、脚等）与定义在对象上的交互部位或交互元素进行绑定，让虚拟人末端位于对象交互部位上；
<3>执行对象动作：让对象根据定义的动作进行运动，由于对象的运动使得虚拟人末端与绑定的对象交互部位之间的相对位置发生变化；
<4>重新计算虚拟人姿态：根据对象交互部位的新位置，重新计算虚拟人姿态，使虚拟人末端重新位于对象交互部位上；
<5>判断对象动作是否结束：如果没有，则转<3>；否则结束。
本发明的有益效果：本发明采用上述提出的基于高级智能对象的交互特征建模方法，可以实现对象与对象之间、对象与虚拟人之间的交互特征统一定义，实现了基于交互元素的交互部位、交互位姿及抓取手型计算；通过对对象动作进行归纳分类，采用对象动作驱动实现的方法来实现动作过程生成，既减少了手工交互的工作量，又提高了仿真过程的生成速度，并且重用性好，为人机仿真提供了有效的交互特征建模方法。
附图说明
图1交互特征建模方法流程图
图2 交互位置计算示意图
图3 对象动作分类及其属性说明图
图4.a 点交互元素示意图
图4.b线交互元素示意图
图4.c面交互元素示意图
图4.d球体交互元素示意图
图4.e圆柱体交互元素示意图
图4.f长方体交互元素示意图。
具体实施方式
本发明是在人机任务仿真中，采用C++、OpenGL及MFC类库，在VC6.0中实现的基于高级智能对象的交互特征建模的一种方法。
下面结合附图对本发明的实施实例手工铆接进行说明，本实施实例是以发明技术方案为前提进行实施，给出了详细的实施方式和具体的实现过程，但是本发明的保护范围不限于下述实施实例。
本发明提出的基于高级智能对象的交互特征建模方法实现的具体流程，其实现步骤为：1）交互部位定义；2）交互位姿计算；3）抓取手型计算；4）对象动作分类定义；5）对象动作驱动实现。
步骤1）交互部位定义
定义交互部位用到6种交互元素，即点交互元素（见图4.a）、线交互元素（见图4.b）、面交互元素（见图4.c）、球体交互元素（见图4.d）、圆柱体交互元素（见图4.e）和长方体交互元素（见图4.f）；
定义铆枪为高级智能对象，在铆枪上定义了虚拟人的抓取和铆接配合两个交互部位，根据铆枪手柄外形尺寸大小，在铆枪的抓取部位用适当尺寸的圆柱体交互元素代替，铆接配合部位用线交互元素代替，在抓取部位和配合部位上定义了交互坐标系；
定义框零部件作为高级智能对象，在框零部件上定义了与铆接口进行配合的位置作为交互部位，用点元素代替，在配合部位上定义了坐标系；创建了虚拟人，采用百分位为90的男性人体模型（身高为1754mm）。
步骤2）交互位姿计算
以铆枪手柄上定义的交互元素为空间点（位置矢量为P=[-17, -89] T ），点交互元素离地面高度为1000mm，虚拟人抓取铆枪用右手，计算时的较优交互域为[(0.3 L,0.75 L),(-45°,-75°)]，其中虚拟人臂长L=520mm；经过交互位姿计算，虚拟人交互位置长度L ’ 和角度θ ’ 分别为255mm和17.1°，虚拟人弯腰角度为30°，这样虚拟人能抓到铆枪。
步骤3）抓取手型计算
（1）手掌与对象之间的相对位置，让手柄上的交互坐标系原点与手掌心重合，Z轴指向腕关节方向，X轴垂直于手掌正面，这样通过交互坐标系与手掌的配合可以唯一确定手掌与铆枪之间的相对位置；
（2）手指与对象之间的相对构型，在确定虚拟人手掌位置后，采用基于干涉检测的方法，在抓取点位置，让每个手指逐步拢住手柄，直至各个手指抓住手柄。
步骤4）对象动作分类定义
在铆枪上定义了平移动作和旋转动作。
步骤5）对象动作驱动实现
铆枪的动作驱动实现流程如下：
<1>对在铆枪上定义的平移动作和旋转动作，设置相应的属性，包括平移动作的平移方向、距离以及旋转动作的旋转轴线等；
<2>让虚拟人抓住铆枪手柄，将铆枪移到指定的高度并指向铆接孔位置；
<3>进行平移运动，对准铆接孔位置；
<4>调整虚拟人的位姿，使铆枪对准铆接孔进行铆接；
<5>判断铆接是否结束：如果没有则继续；否则结束。

Claims (1)

1.基于高级智能对象的交互特征建模方法，其特征在于：该方法实现的总体流程为：1)交互部位定义；2)交互位姿计算；3)抓取手型计算；4)对象动作分类定义；5)对象动作驱动实现；
所述步骤1)交互部位定义，利用交互元素来描述对象的交互部位，包括：(1)交互部位外形抽象化；(2)交互元素代替；(3)定义交互坐标系；
所述交互部位外形抽象化，外形分为接触、相切、同轴、距离约束，其中，接触为共点、共线、共面；
所述交互元素代替，交互元素包括点、线、面、球体、圆柱体和长方体；
所述定义交互坐标系，交互坐标系用X轴、Y轴和Z轴表示；
所述步骤2)交互位姿计算，计算流程如下：
(1)基本参数设置：指定交互元素，定义虚拟人交互肢体如左手或右手以及给定较优交互域；
(2)产生随机数：生成两个(0，1)范围内的以0.5为中心的正态分布随机数U和V，用于计算虚拟人交互位置长度L′和角度θ′；
(3)计算交互位置：交互位置长度L′和角度θ′的计算：L′＝L1+U(L2-L1)，θ′＝θ1+V(θ2-θ1)，其中，L为虚拟人臂长，θ为允许的活动角度；利用P＝[-L′cos(θ′),-L′sin(θ′)]T计算虚拟人交互位置的平面坐标矢量；
(4)计算交互姿态：根据交互对象高度h和虚拟人身高H之间关系，采用基于规则的方法计算姿态，方法如下：
<1>当0.45H＜h≤0.6H时，虚拟人弯腰30°；
<2>当0.4H＜h≤0.45H时，虚拟人弯腰50°；
<3>当0.3H＜h≤0.4H时，虚拟人蹲下；
<4>当h≤0.3H时，虚拟人蹲下并弯腰30°；
(5)评价交互位姿：如果得到的虚拟人交互位姿不满足要求则转(1)，否则计算结束；
所述步骤3)抓取手型计算，包括：(1)对象与手掌间的相对位置：根据对象的交互部位，通过交互坐标系与手掌的配合来确定手掌与对象之间的相对位置；(2)手指与对象间的相对构型：在某个初始位置让每个手指逐步拢住对象直到各个手指与对象发生干涉；
所述步骤4)对象动作分类定义，对象动作包括：(1)平移动作；(2)旋转动作；(3)插值动作；(4)混合动作；
所述平移动作，对象或对象子部件沿指定方向作平移运动；平移动作属性包括平移部位、平移方向和距离或移动的始末位置、平移速度及加速度，其中平移方向和距离通过交互元素定义；
所述旋转动作，对象或对象子部件绕指定的旋转轴线作旋转运动；旋转动作属性包括旋转部位、旋转轴线、旋转角度以及角速度、角加速度，其中旋转轴线用线交互元素定义；
所述插值动作，给定动作对象的始末位姿，用线性插值方法计算对象在整个运动过程中的所有中间位姿，使得动作对象从初始位姿平滑运动到末态位姿；插值动作属性包括动作对象、对象的始末位姿，其中对象始末位姿由交互元素定义；
所述混合动作，由平移动作、旋转动作以及插值动作混合组成，用以描述较为复杂的对象动作；
所述步骤5)对象动作驱动实现，实现流程如下：
(1)定义对象动作：根据需要在虚拟对象上定义对象动作，并设置对象动作属性；
(2)绑定虚拟人末端：将虚拟人的动作执行末端如手和脚与定义在对象上的交互部位或交互元素进行绑定，让虚拟人末端位于对象交互部位上；
(3)执行对象动作：让对象根据定义的动作进行运动，由于对象的运动使得虚拟人末端与绑定的对象交互部位之间的相对位置发生变化；
(4)重新计算虚拟人姿态：根据对象交互部位的新位置，重新计算虚拟人姿态，使虚拟人末端重新位于对象交互部位上；
(5)判断对象动作是否结束：如果没有，则转(3)；否则结束。
CN201811372896.0A 2018-11-19 2018-11-19 一种基于高级智能对象的交互特征建模方法 Expired - Fee Related CN110363273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811372896.0A CN110363273B (zh) 2018-11-19 2018-11-19 一种基于高级智能对象的交互特征建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811372896.0A CN110363273B (zh) 2018-11-19 2018-11-19 一种基于高级智能对象的交互特征建模方法

Publications (2)

Publication Number Publication Date
CN110363273A CN110363273A (zh) 2019-10-22
CN110363273B true CN110363273B (zh) 2022-07-22

Family

ID=68215119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811372896.0A Expired - Fee Related CN110363273B (zh) 2018-11-19 2018-11-19 一种基于高级智能对象的交互特征建模方法

Country Status (1)

Country Link
CN (1) CN110363273B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853319A (zh) * 2010-05-14 2010-10-06 中国人民解放军军械工程学院 一种支持虚拟维修仿真的维修动素集的建立方法
CN105160139A (zh) * 2015-10-16 2015-12-16 中国电子科技集团公司第三十八研究所 一种虚拟人维修动作混合驱动方法
CN108595012A (zh) * 2018-05-10 2018-09-28 北京光年无限科技有限公司 基于虚拟人的视觉交互方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016215481A1 (de) * 2016-08-18 2018-02-22 Technische Universität Dresden System und Verfahren zur haptischen Interaktion mit virtuellen Objekten

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853319A (zh) * 2010-05-14 2010-10-06 中国人民解放军军械工程学院 一种支持虚拟维修仿真的维修动素集的建立方法
CN105160139A (zh) * 2015-10-16 2015-12-16 中国电子科技集团公司第三十八研究所 一种虚拟人维修动作混合驱动方法
CN108595012A (zh) * 2018-05-10 2018-09-28 北京光年无限科技有限公司 基于虚拟人的视觉交互方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Designing and evaluating a workstation in real and virtual environment: toward virtual reality based ergonomic design sessions;Charles Pontonnier 等;《Journal on Multimodal User Interfaces》;20131213;第8卷;第199–208页 *
On singular values decomposition and patterns for human motion analysis and simulation;Adrien Datas 等;《2012 17th International Conference on Methods & Models in Automation & Robotics (MMAR)》;20121112;第33-39页 *
Parametric human body shape modeling framework for human-centered product design;Seung-YeobBaek 等;《Computer-Aided Design》;20120131;第44卷(第1期);第56-67页 *
基于船舶人机工程的虚拟人操作驱动建模仿真技术;邱世广 等;《上海交通大学学报》;20120928;第46卷(第9期);第1366-1370页 *
基于语义分解的人机任务快速规划及仿真自动生成方法;吴珍发 等;《图学学报》;20151015;第36卷(第5期);第795-801页 *

Also Published As

Publication number Publication date
CN110363273A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
US11687230B2 (en) Manipulating 3D virtual objects using hand-held controllers
Krupke et al. Comparison of multimodal heading and pointing gestures for co-located mixed reality human-robot interaction
CN102219051B (zh) 基于人机交互技术的四旋翼飞行器系统控制方法
Ganapathi et al. Learning dense visual correspondences in simulation to smooth and fold real fabrics
Chacko et al. An augmented reality interface for human-robot interaction in unconstrained environments
CN106041928B (zh) 一种基于工件模型的机器人作业任务生成方法
CN106003034B (zh) 一种主从式机器人控制系统及控制方法
CN104850699B (zh) 冲压线搬运机器人防碰撞控制方法
CN110815189B (zh) 基于混合现实的机器人快速示教系统及方法
CN104589356A (zh) 基于Kinect人手运动捕捉的灵巧手遥操作控制方法
CN110355754A (zh) 机器人手眼系统、控制方法、设备及存储介质
CN110421561B (zh) 一种使用协作机器人进行服装喷涂的方法
CN104570731A (zh) 一种基于Kinect的无标定人机交互控制系统及方法
CN109986564A (zh) 工业机械臂路径规划方法
CN103778301A (zh) 一种基于虚拟样机技术的机械臂仿真方法
CN106020494B (zh) 基于移动跟踪的三维手势识别方法
Rosales et al. GPAtlasRRT: A local tactile exploration planner for recovering the shape of novel objects
He et al. Kinematics analysis and numerical simulation of a manipulator based on virtual prototyping
Li et al. Hybrid trajectory replanning-based dynamic obstacle avoidance for physical human-robot interaction
CN110363273B (zh) 一种基于高级智能对象的交互特征建模方法
Li et al. A dexterous hand-arm teleoperation system based on hand pose estimation and active vision
Teke et al. Real-time and robust collaborative robot motion control with Microsoft Kinect® v2
Lo et al. Brush footprint acquisition and preliminary analysis for Chinese calligraphy using a robot drawing platform
Zhu et al. A robotic semantic grasping method for pick-and-place tasks
Hermann et al. Eye in hand: Towards gpu accelerated online grasp planning based on pointclouds from in-hand sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220722

CF01 Termination of patent right due to non-payment of annual fee