CN114926613A - 一种人体数据及空间定位的增强现实的方法及系统 - Google Patents
一种人体数据及空间定位的增强现实的方法及系统 Download PDFInfo
- Publication number
- CN114926613A CN114926613A CN202210694903.9A CN202210694903A CN114926613A CN 114926613 A CN114926613 A CN 114926613A CN 202210694903 A CN202210694903 A CN 202210694903A CN 114926613 A CN114926613 A CN 114926613A
- Authority
- CN
- China
- Prior art keywords
- module
- camera
- sensor
- augmented reality
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000002708 enhancing effect Effects 0.000 title 1
- 230000003993 interaction Effects 0.000 claims abstract description 54
- 230000003190 augmentative effect Effects 0.000 claims abstract description 35
- 238000009877 rendering Methods 0.000 claims abstract description 29
- 230000000007 visual effect Effects 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000010438 heat treatment Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了 一种人体数据及空间定位的增强现实的方法及系统，属于空间定位的增强现实技术领域，一种人体数据及空间定位的增强现实系统包括传感器输入模块，与所述传感器输入模块连接的三维注册模块，与所述三维注册模块连接的图像渲染模块，与所述图像渲染模块连接的虚拟信息模块和人机交互模块，以及与所述图像渲染模块连接的输出显示模块；通过摄像头或相机传感器输入模块获得信息后输入到三维注册信息模块进行三维空间等位，将输出的位置、位姿输入到图像渲染模块，预先设定好的虚拟信息将虚拟信息输出到显示屏幕上；通过三维注册模块进行空间定位，并且通过渲染模块进行虚实匹配进行增强现实的渲染。
Description
技术领域
本发明涉及 一种人体数据及空间定位的增强现实系统，具体是 一种人体数据及空间定位的增强现实的方法及系统。
背景技术
增强现实技术是当今科技发展的重要领域之一，其通过实时计算摄像机的位姿，将相应的预设信息叠加显示在摄像机采集的影像中，从而实现虚拟空间与真实空间的交互。目前增强现实技术已被广泛应用于教育、娱乐、医疗等多个领域。
增强现实系统主要是由增强现实定位引擎、展示模块以及交互模块所构成,其中定位引擎负责通过传感器采集到的数据对设备在三位空间中的位置进行定位，并输出位姿（位置与旋转角）；然后展示模块接受位姿并在指定的位置渲染出虚拟的信息；最后用户可以通过交互模块进行虚实交互。可以看到，定位引擎是增强现实系统的基础。
现有的实现诸如在视频图像上进行虚拟物挂账或者绘制，以达到增强现实效果的方式，主要是利用单个摄像头应用AR技术对单一人体的动作进行识别及跟踪，如此，对于多人同时需要进行行为分析互动的场景，由于摄像头在同一时刻只能聚焦到一个人体对象物体上，从而整体所能够实现的互动场景比较单一，且增强现实的效果也欠佳。
发明内容
发明目的： 一种人体数据及空间定位的增强现实的方法及系统，以解决现有技术存在的上述问题。
技术方案： 一种人体数据及空间定位的增强现实系统，包括传感器输入模块，与所述传感器输入模块连接的三维注册模块，与所述三维注册模块连接的图像渲染模块，与所述图像渲染模块连接的虚拟信息模块和人机交互模块，以及与所述图像渲染模块连接的输出显示模块；
通过摄像头或相机传感器输入模块获得信息后输入到三维注册信息模块进行三维空间等位，将输出的位置、位姿输入到图像渲染模块，预先设定好的虚拟信息将虚拟信息输出到显示屏幕上；
通过三维注册模块进行空间定位，并且通过渲染模块进行虚实匹配进行增强现实的渲染。
在进一步实例中，所述人机交互模块可以通过鼠标、键盘、数控板、手势识别、语音识别任一设备与真实场景下的虚拟模块或信息进行交互操作；
所述人机交互模块有至少三种模式，包括命令交互模式、空间交互模式和工具交互模式。
在进一步实例中，所述三维注册模块包括硬件传感器组件与所述硬件传感器组件连接的计算机视觉组件，与所述计算机视觉组件连接的混合跟踪组件。
在进一步实例中，所述计算机视觉组件包括人工标志物、自热标注物与同时定位与建图；通过图像估计相机或者摄像头在三维空间中的位姿。
在进一步实例中，所述混合跟踪组件通过视觉传感器与电磁式传感器结合，视觉传感器与惯性传感器结合以及视觉传感器与全球定位系统结合组合而成。
在进一步实例中，所述命令交互模式通过预先设定动作或者状态作为输入的命令，命令对应着虚拟物体的特定的操作，用户做出特定手势或者特定语音时，便可触发相应的命令；
所述空间交互模式通过精准定位对场景中所有虚拟物体在真实三维空间中的位置，通过三维空间点位置进行选点实现实时定位；
所述工具交互模式是通过硬件交互设备实现交互，通过识别工作的动作作为输入命令。
在进一步实例中，所述硬件传感器模块包括机械式传感器，与所述机械式传感器连接的全球定位系统，与所述全球定位系统连接的惯性传感器，与所述惯性传感器连接的电磁式传感器。
在进一步实例中，包括如下步骤；
步骤1、通过相机或者摄像头获取图像；
步骤2、提取中图像的特征成生相应的特征描述；然后前后连续的多张图像特征依次配准；
步骤3、识别出场景的特征点信息，并且通过图像的变化反向计算得到相机或者摄像头的运动；
步骤4、将获取的环境数据和特征信息，利用3D计算，将读入的深度图形转换为三维点云计算每一点的法向量；
步骤5、将带有法向量的点云和通过光线投影算法根据前一帧位置从模型投影出来的点云，利用 ICP 点云配准算法计算位置；
步骤6、根据相机的位置，将当前帧的点云融合到网格模型中去；
步骤7、利用当前图像计算出的相机位置，通过光线投影算法从模型投影得到当前视角下的点云并计算其法向量，用来对下一张图像的输入进行配准。
有益效果：本发明公开了 一种人体数据及空间定位的增强现实系统，采用三维跟踪模块，根据定位不同的类别采用不同的传感器器进行跟踪定位保证了系统的通用性。设计混合跟踪的方式通过多组传感器融合实现跟踪定位，同时结合硬件传感器和计算机视觉应该范围更广。
附图说明
图1为本发明的增加实现系统框架图；
图2为本发明的空间定位的流程图；
图3为本发明相邻图像的特征匹配示意图。
具体实施方式
本发明通过 一种人体数据及空间定位的增强现实的方法及系统，现有的实现诸如在视频图像上进行虚拟物挂账或者绘制，以达到增强现实效果的方式，主要是利用单个摄像头应用AR技术对单一人体的动作进行识别及跟踪，如此，对于多人同时需要进行行为分析互动的场景，由于摄像头在同一时刻只能聚焦到一个人体对象物体上，从而整体所能够实现的互动场景比较单一，且增强现实的效果也欠佳。下面通过实施例，并结合附图对本方案做进一步具体说明。
为了实现空间定位，需要解决一个“我在哪”的问题，也就是地图，主要通过硬件和基数视觉两种跟踪定位，具体的，本发明包括传感器输入模块，与所述传感器输入模块连接的三维注册模块，与所述三维注册模块连接的图像渲染模块，与所述图像渲染模块连接的虚拟信息模块和人机交互模块，以及与所述图像渲染模块连接的输出显示模块；
通过摄像头或相机传感器输入模块获得信息后输入到三维注册信息模块进行三维空间等位，将输出的位置、位姿输入到图像渲染模块，预先设定好的虚拟信息将虚拟信息输出到显示屏幕上；通过三维注册模块进行空间定位，并且通过渲染模块进行虚实匹配进行增强现实的渲染。整个系统通过相机、ＩＭＵ等传感器获取真实世界信息后输入到三维注册模块进行三维空间定位，然后将输出的位姿输入图形渲染模块，结合预先设置好的虚拟信息将虚拟信息输出显示到屏幕上，用户可以通过人机交互模块和虚拟信息进行实时的交互。
为了保证虚拟物体和真实世界融合的真实感，将真实世界的图像和虚拟对象渲染到预先设置好的渲染平面上，通过虚拟的渲染平面和虚拟相机模拟真实世界相机的成像，并通过同时渲染保证相机位姿数据和渲染顿率的一致性，即虚拟场景构建和同时渲染。具体的，人机交互技术在增强现实应用中反映为用户可以通过设备和真实场景下的虚拟模型或信息进行一定程度的操作，以此实现用户和设备的交互操作，实现人与虚拟物体的互动。人机交互技术能够大幅度提升用户对于增强现实的体验，扩展了增强现实应用的范畴，人机交互技术可以通过鼠标、键盘、触控板、手势识别、语音识别等方式实现交互，在增强现实应用中，人机交互的方式一般可以分为以下三种，所述人机交互模块有至少三种模式，包括命令交互模式、空间交互模式和工具交互模式，所述人机交互模块可以通过鼠标、键盘、数控板、手势识别、语音识别任一设备与真实场景下的虚拟模块或信息进行交互操作；例如移动、旋转等。这种命令方式也可以结合手势识别、语音识别等技术实现，用户做出特定手势或者说出特定语音时，便可触发相应的命令，实现人与虚拟物体的交互。
作为一个优先方案，所述三维注册模块包括硬件传感器组件与所述硬件传感器组件连接的计算机视觉组件，与所述计算机视觉组件连接的混合跟踪组件。通过传感器本身直接测量与估计自身的运动，根据定位不同的类别采用不同的传感器器进行跟踪定位保证了系统的通用性。通过将三维注册模块将虚拟环境下的物体注册到三维空间中，保证虚实换下的几何一致性。
作为一个优先方案，所述计算机视觉组件包括人工标志物、自热标注物与同时定位与建图；通过图像估计相机或者摄像头在三维空间中的位姿。通过计算机视觉跟踪人工标准物的对其跟踪，同时计算机视觉通过相机或者摄像头在三维空间中的位置，实现对相机或者摄像头的跟踪，保证人工标志物的稳定性，当需要定位自然标志物时，通过相机或摄像头采集图像估计三维中的运动并且建立地图，在没有环境信息情况下，对相机或者摄像头的运动估计和三维空间进行建模。
作为一个优先方案，所述混合跟踪组件通过视觉传感器与电磁式传感器结合，视觉传感器与惯性传感器结合以及视觉传感器与全球定位系统结合组合而成。
具体的，所述命令交互模式通过预先设定动作或者状态作为输入的命令，命令对应着虚拟物体的特定的操作，用户做出特定手势或者特定语音时，便可触发相应的命令；
具体的，所述空间交互模式通过精准定位对场景中所有虚拟物体在真实三维空间中的位置，通过三维空间点位置进行选点实现实时定位；通过对设备的实时精确定位，进而能够确定场景中所有虚拟物体在真实三维空间中的位置，这种通过三维空间点位置选择场景中虚拟对象的方式成为空间点选定法，利用这种方式实现人机交互的技术即为空间点交互方式。
所述工具交互模式是通过硬件交互设备实现交互，通过识别工作的动作作为输入命令。
作为一个优选方案，所述硬件传感器模块包括机械式传感器，与所述机械式传感器连接的全球定位系统，与所述全球定位系统连接的惯性传感器，与所述惯性传感器连接的电磁式传感器。
在进一步实例中，包括如下步骤；
步骤1、通过相机或者摄像头获取图像；
步骤2、提取中图像的特征成生相应的特征描述；然后前后连续的多张图像特征依次配准；
步骤3、识别出场景的特征点信息，并且通过图像的变化反向计算得到相机或者摄像头的运动；
步骤4、将获取的环境数据和特征信息，利用3D计算，将读入的深度图形转换为三维点云计算每一点的法向量；
步骤5、将带有法向量的点云和通过光线投影算法根据前一帧位置从模型投影出来的点云，利用 ICP 点云配准算法计算位置；
步骤6、根据相机的位置，将当前帧的点云融合到网格模型中去；
步骤7、利用当前图像计算出的相机位置，通过光线投影算法从模型投影得到当前视角下的点云并计算其法向量，用来对下一张图像的输入进行配准。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。
Claims (8)
1.一种人体数据及空间定位的增强现实系统，其特征在于：包括传感器输入模块，与所述传感器输入模块连接的三维注册模块，与所述三维注册模块连接的图像渲染模块，与所述图像渲染模块连接的虚拟信息模块和人机交互模块，以及与所述图像渲染模块连接的输出显示模块；
通过摄像头或相机传感器输入模块获得信息后输入到三维注册信息模块进行三维空间等位，将输出的位置、位姿输入到图像渲染模块，预先设定好的虚拟信息将虚拟信息输出到显示屏幕上；
通过三维注册模块进行空间定位，并且通过渲染模块进行虚实匹配进行增强现实的渲染。
2.根据权利要求1所述的 一种人体数据及空间定位的增强现实系统，其特征在于：所述人机交互模块可以通过鼠标、键盘、数控板、手势识别、语音识别任一设备与真实场景下的虚拟模块或信息进行交互操作；
所述人机交互模块有至少三种模式，包括命令交互模式、空间交互模式和工具交互模式。
3.根据权利要求1所述的 一种人体数据及空间定位的增强现实系统，其特征在于：所述三维注册模块包括硬件传感器组件与所述硬件传感器组件连接的计算机视觉组件，与所述计算机视觉组件连接的混合跟踪组件。
4.根据权利要求3所述的 一种人体数据及空间定位的增强现实系统，其特征在于：所述计算机视觉组件包括人工标志物、自热标注物与同时定位与建图；通过图像估计相机或者摄像头在三维空间中的位姿。
5.根据权利要求3所述的 一种人体数据及空间定位的增强现实系统，其特征在于：所述混合跟踪组件通过视觉传感器与电磁式传感器结合，视觉传感器与惯性传感器结合以及视觉传感器与全球定位系统结合组合而成。
6.根据权利要求2所述的 一种人体数据及空间定位的增强现实系统，其特征在于：所述命令交互模式通过预先设定动作或者状态作为输入的命令，命令对应着虚拟物体的特定的操作，用户做出特定手势或者特定语音时，便可触发相应的命令；
所述空间交互模式通过精准定位对场景中所有虚拟物体在真实三维空间中的位置，通过三维空间点位置进行选点实现实时定位；
所述工具交互模式是通过硬件交互设备实现交互，通过识别工作的动作作为输入命令。
7.根据权利要求3所述的 一种人体数据及空间定位的增强现实系统，其特征在于：所述硬件传感器模块包括机械式传感器，与所述机械式传感器连接的全球定位系统，与所述全球定位系统连接的惯性传感器，与所述惯性传感器连接的电磁式传感器。
8.一种根据权利要求7所述的 一种人体数据及空间定位的增强现实系统的方法；其特征在于：包括如下步骤；
步骤1、通过相机或者摄像头获取图像；
步骤2、提取中图像的特征成生相应的特征描述；然后前后连续的多张图像特征依次配准；
步骤3、识别出场景的特征点信息，并且通过图像的变化反向计算得到相机或者摄像头的运动；
步骤4、将获取的环境数据和特征信息，利用3D计算，将读入的深度图形转换为三维点云计算每一点的法向量；
步骤5、将带有法向量的点云和通过光线投影算法根据前一帧位置从模型投影出来的点云，利用 ICP 点云配准算法计算位置；
步骤6、根据相机的位置，将当前帧的点云融合到网格模型中去；
步骤7、利用当前图像计算出的相机位置，通过光线投影算法从模型投影得到当前视角下的点云并计算其法向量，用来对下一张图像的输入进行配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210694903.9A CN114926613A (zh) | 2022-06-20 | 2022-06-20 | 一种人体数据及空间定位的增强现实的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210694903.9A CN114926613A (zh) | 2022-06-20 | 2022-06-20 | 一种人体数据及空间定位的增强现实的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114926613A true CN114926613A (zh) | 2022-08-19 |
Family
ID=82815432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210694903.9A Withdrawn CN114926613A (zh) | 2022-06-20 | 2022-06-20 | 一种人体数据及空间定位的增强现实的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114926613A (zh) |
-
2022
- 2022-06-20 CN CN202210694903.9A patent/CN114926613A/zh not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113096252B (zh) | 一种混合增强教学场景中多移动机制融合方法 | |
| CN112509151B (zh) | 一种教学场景中虚拟对象的真实感生成方法 | |
| KR101687017B1 (ko) | 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템 | |
| Ueda et al. | A hand-pose estimation for vision-based human interfaces | |
| JP7337104B2 (ja) | 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体 | |
| CN104574267B (zh) | 引导方法和信息处理设备 | |
| JP4768196B2 (ja) | ３次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法 | |
| Tian et al. | Handling occlusions in augmented reality based on 3D reconstruction method | |
| CN110926334B (zh) | 测量方法、装置、电子设备及存储介质 | |
| CN108509026B (zh) | 基于增强交互方式的远程维修支持系统及方法 | |
| Jia et al. | 3D image reconstruction and human body tracking using stereo vision and Kinect technology | |
| CN105824417B (zh) | 一种采用虚拟现实技术的人与物的结合方法 | |
| Whitaker et al. | Object calibration for augmented reality | |
| Zou et al. | Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking | |
| JP3860550B2 (ja) | インタフェース方法、装置、およびプログラム | |
| CN110197531A (zh) | 基于深度学习的角色骨骼点映射技术 | |
| Kondori et al. | Direct hand pose estimation for immersive gestural interaction | |
| Valentini | Natural interface in augmented reality interactive simulations: This paper demonstrates that the use of a depth sensing camera that helps generate a three-dimensional scene and track user's motion could enhance the realism of the interactions between virtual and physical objects | |
| Jo et al. | Tracking and interaction based on hybrid sensing for virtual environments | |
| CN113842227B (zh) | 医疗辅助三维模型定位匹配方法、系统、设备及介质 | |
| CN114926613A (zh) | 一种人体数据及空间定位的增强现实的方法及系统 | |
| CN112181135A (zh) | 一种基于增强现实的6-dof视触觉交互方法 | |
| Shi et al. | Error elimination method in moving target tracking in real-time augmented reality | |
| Gope et al. | Interaction with Large Screen Display using Fingertip & Virtual Touch Screen | |
| CN116958450B (zh) | 一种面向二维数据的人体三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220819 |
|
| WW01 | Invention patent application withdrawn after publication |