CN113380088A - 一种交互式模拟培训保障系统 - Google Patents
一种交互式模拟培训保障系统 Download PDFInfo
- Publication number
- CN113380088A CN113380088A CN202110374313.3A CN202110374313A CN113380088A CN 113380088 A CN113380088 A CN 113380088A CN 202110374313 A CN202110374313 A CN 202110374313A CN 113380088 A CN113380088 A CN 113380088A
- Authority
- CN
- China
- Prior art keywords
- maintenance
- unit
- user
- gesture
- simulated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 73
- 238000012549 training Methods 0.000 title claims abstract description 64
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 32
- 238000012423 maintenance Methods 0.000 claims abstract description 247
- 238000013515 script Methods 0.000 claims abstract description 46
- 230000009471 action Effects 0.000 claims abstract description 39
- 230000003993 interaction Effects 0.000 claims abstract description 25
- 230000003190 augmentative effect Effects 0.000 claims abstract description 24
- 230000000875 corresponding effect Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 21
- 230000008439 repair process Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000011158 quantitative evaluation Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000013024 troubleshooting Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- FHQVHHIBKUMWTI-ZCXUNETKSA-N 1-palmitoyl-2-oleoyl phosphatidylethanolamine Chemical compound CCCCCCCCCCCCCCCC(=O)OCC(COP(O)(=O)OCCN)OC(=O)CCCCCCC\C=C/CCCCCCCC FHQVHHIBKUMWTI-ZCXUNETKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种交互式模拟培训保障系统，包括：注册跟踪模块，获取现实场景中的各装备的空间位姿信息，根据装备的空间位姿信息生成三维模型的增强现实虚拟场景并通过预设的三维引擎运行；模拟维修模块，预设一动作脚本库，用于跟踪并捕捉用户进行模拟维修时所产生的维修操作，并匹配于动作脚本生成对应的操作指令，进行人机交互模拟维修；维修辅助模块，预设有关联于所述维修设备的维修数据组成的维修数据库，用于根据操作指令查找维修数据库中的维修数据并生成对应的辅助维修信息对模拟维修提供辅助维修依据。本发明的有益效果为，提升培训效率，保障现场操作及维修的及时性与可靠性，提高装备保障能力。
Description
技术领域
本发明涉及一种人机交互领域技术，尤其涉及一种交互式模拟培训保障 系统。
背景技术
人机交互(Human–Machine Interaction，简称HMI)技术在舰船机电自 动化系统中的地位非常重要，操作人员通过人机交互界面与各系统进行信息 交流和控制操作，小如显控台上的按键，大至仪表板、或是集控室，简单的 区分为“输入”与“输出”两种。输入指的是由人来进行机电设备的操作， 控制指令的下达或数据的录入；而输出指的是由机械或设备发出来的通知， 如参数显示、故障、警告、操作说明提示等。在舰船自动化、信息化系统中， 好的人机界面会帮助使用者更直观、更全面地获得设备状态信息，更简单、 更正确、更迅速地进行设备操作，也能使设备发挥最大的性能并延长使用寿 命。尤其对于舰船故障诊断决策支持系统来说，人机交互接口是用户与数据 库管理、方法库、模型库之间信息交换的桥梁，是整个系统的核心组件之一。
目前现有的以鼠标、键盘、平面显示屏(触摸屏)等方式为主的人机交 互方式存在着很大的局限性，已成为影响舰船模拟培训保障系统整体性能的 主要瓶颈之一。基于增强现实眼镜和多源脑神经信息解析建模技术为上述问 题提供了有效的解决途径，同时也为实现舰船感知数据融合提供一个可行的 技术方案。目前人机交互方式在模拟培训保障系统中的主要问题具体表现在 以下几个方面：
(1)通过键盘、鼠标输入指令和录入数据响应速度慢、操作繁琐，造成 操作人员劳动强度大，难以实现海量的样本数据的直接录入；
(2)受平面显示屏固定视角和物理尺寸的限制，用户无法获得沉浸式的 体验，用户难以直观、全面地获得系统的状态信息，从而造成难以形成准确 快速的决策；
(3)现有键盘鼠标输入方式只能处理基于计算机的形式化语言，无法像 自然语言一样准确快速地，表达用户的意图，因此难以直接形成知识库。目 前现有的以鼠标、键盘、平面显示屏(触摸屏)等方式为主的人机交互方式 存在着很大的局限性，已成为影响舰船模拟培训保障系统整体性能的主要瓶 颈之一。
发明内容
针对现有技术中存在的上述问题，旨在提供一种交互式的模拟培训保障 系统，以更好地实现脑机融合与人机交互，实现水下无人航行器的交互式模 拟培训，提升培训效率，提高装备保障能力。
具体技术方案如下：
一种交互式的模拟培训保障系统，应用于水下无人航行器；所述模拟培 训保障系统采用预设的三维引擎运行一处理后形成的三维模型，所述三维模 型叠加在真实场景中以形成一增强现实虚拟场景，佩戴交互式头盔的用户在 所述增强现实虚拟场景中对所述水下无人航行器中的维修设备进行模拟维 修；则所述模拟培训保障系统包括：
一注册跟踪模块，用于在所述真实场景中根据用户的视角定位识别所述 维修设备并采集所述维修设备的空间位姿信息，并在一预设的初始三维模型 中对所述维修设备进行注册和更新，以形成处理后的所述三维模型并叠加在 所述真实场景中以形成所述增强现实虚拟场景；
一模拟维修模块，连接所述注册跟踪模块，预设一包括多个动作脚本组 成的动作脚本库，用于跟踪并捕捉用户在对所述维修设备进行模拟维修时所 产生的维修操作，并匹配于所述动作脚本生成对应的操作指令，根据所述操 作指令进行人机交互模拟维修；
一维修辅助模块，连接所述模拟维修模块，预设一包括多个关联于所述 维修设备的维修数据组成的维修数据库，用于根据所述操作指令查找所述维 修数据库中的所述维修数据并生成对应的辅助维修信息对模拟维修提供辅助 维修依据。
优选的，所述模拟培训保障系统还包括一用户登录模块，连接所述模拟 维修模块，预设一包括多条用户数据的用户数据库，用于在模拟维修前根据 所述用户数据匹配输入的用户登录信息并对所述模拟培训保障系统进行登录 操作，所述用户登录模块包括：
一第一采集单元，采集用户输入的所述用户登录信息；
一登录匹配单元，连接所述第一采集单元，用于根据所述用户数据匹配 所述用户登录信息并输出一匹配结果；
一登录反馈单元，连接所述登录匹配单元，用于根据所述匹配结果生成 一登录结果反馈至用户。
优选的，该交互式模拟培训保障系统中，所述注册跟踪模块包括：
一定位识别单元，用于根据一定位跟踪器定位用户的视角并识别所述维 修对象；
一第二采集单元，连接所述定位识别单元，用于根据一跟踪摄像机采集 所述真实场景中已经被定位识别的所述维修设备的空间位姿信息；
一第一处理单元，连接所述第二采集单元，用于将所述维修设备的空间 位姿信息转换处理成虚拟位姿信息并设置在一投影变换矩阵中；
一第二处理单元，连接所述第一处理单元，用于根据一虚拟摄像机将所 述投影变换矩阵进行3D转换处理并形成处理后的所述三维模型；
一第三处理单元，连接所述第二处理单元，用于将处理后的所述三维模 型叠加到所述真实场景以形成所述增强现实虚拟场景。
优选的，该交互式模拟培训保障系统中，所述维修操作包括由用户对所 述维修设备进行维修时产生的手势维修操作；
则所述模拟维修模块包括：
一第一模拟维修子模块，用于跟踪采集并捕捉用户在对所述维修设备进 行模拟维修时所产生的所述手势维修操作，并匹配于所述动作脚本生成对应 的手势维修操作指令；
所述第一模拟维修子模块包括：
一第三采集单元，用于根据一手势监视摄像机采集所述手势信息的 视频图像；
一第四处理单元，连接所述第三采集单元，用于对所述视频图像进 行帧分离，提取包含手势信息的图像帧并形成一图像帧序列；
一手势分割单元，连接所述第四处理单元，用于对所述图像帧序列 进行手势分割，形成包括有静态手势和动态手势的二值化图像序列；
一第一特征提取单元，连接所述手势分割单元，用于提取所述二值 化图像序列中对应于某一时刻点的所述静态手势的图像属性的特征作为第一 特征向量；
一第二特征提取单元，连接所述手势分割单元，用于提取所述二值 化图像序列中对应于某一时间段的所述动态手势的指尖运动轨迹，并对所述 指尖运动轨迹进行方向向量的量化编码作为第二特征向量；
一手势匹配单元，分别连接所述第一特征提取单元和所述第二特征 提取单元，用于根据所述第一特征向量和所述第二特征向量查询所述动作脚 本库并匹配对应的所述动作脚本；
一手势触发维修单元，连接所述手势匹配单元，根据匹配的所述动 作脚本生成对应的所述手势维修操作指令触发人机交互模拟维修。
优选的，该交互式模拟培训保障系统中，所述维修操作包括由用户对所 述维修设备进行维修时产生的语音维修操作；
则所述模拟维修模块包括：
一第二模拟维修子模块，用于采集并捕捉用户在对所述维修设备进行模 拟维修时所产生的所述语音维修操作，并匹配于所述动作脚本生成对应的语 音维修操作指令；
所述第二模拟维修子模块包括：
一第四采集单元，用于根据一麦克风采集用户发出的语音信息；
一语音分割单元，连接所述第三采集单元，用于将所述语音信息分 割成不同的子带的所述语音信息；
一第三特征提取单元，连接所述语音分割单元，用于将各所述子带 的所述语音信息进行训练和识别，并对所述语音信息进行筛选后合并；
一语音匹配单元，连接所述第三特征提取单元，用于根据合并后的 所述语音信息查询所述动作脚本库并匹配对应的所述动作脚本；
一语音触发维修单元，连接所述语音匹配单元，根据匹配的所述动 作脚本生成对应的所述语音维修操作指令触发人机交互模拟维修。
优选的，该交互式模拟培训保障系统中，所述维修数据库包括关联于所 述维修设备的零件图册、维修工艺和操作工艺中的至少一项。
优选的，该交互式模拟培训保障系统中，所述模拟培训保障系统还包括 一维修评价模块，连接所述模拟维修模块，在执行完模拟维修任务后，对所 述模拟维修任务的维修过程进行量化评价。
优选的，该交互式模拟培训保障系统中，所述维修评价模块采用李克特 量表进行所述量化评价。
本发明的技术方案的有益效果在于，以交互式模拟培训保障为典型的任 务场景，基于增强现实解析建模技术实现UUV技术资料、故障信息、备品 备件、工具耗材等培训信息的数据采集、关联显示和交互操作，提升培训效 率，降低排故时间，保障现场操作及维修的及时性与可靠性，提高装备保障 能力。
附图说明
图1为本发明一种较优的实施例中，一种交互式模拟培训保障系统的系 统结构示意图；
图2为本发明一种较优的实施例中，一种交互式模拟培训保障系统的用 户登录模块的结构示意图；
图3为本发明一种较优的实施例中，一种交互式模拟培训保障系统的注 册跟踪模块的结构示意图；
图4为本发明一种较优的实施例中，一种交互式模拟培训保障系统的第 一模拟维修子模块的结构示意图；
图5为本发明一种较优的实施例中，一种交互式模拟培训保障系统的第 二模拟维修子模块的结构示意图；
图6为本发明一种较优的实施例中，一种交互式模拟培训保障系统的维 修评价模块的评分示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作 出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特 征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的 限定。
如图1所示，本发明公开了一种交互式的模拟培训保障系统1，应用于 水下无人航行器；模拟培训保障系统采用预设的三维引擎运行一处理后形成 的三维模型，三维模型叠加在真实场景中以形成一增强现实虚拟场景，佩戴 交互式头盔的用户在增强现实虚拟场景中对水下无人航行器中的维修设备进 行模拟维修；则模拟培训保障系统1包括：
一注册跟踪模块11，用于在真实场景中根据用户的视角定位识别维修设 备并采集维修设备的空间位姿信息，并在一预设的初始三维模型中对维修设 备进行注册和更新，以形成处理后的三维模型并叠加在真实场景中以形成增 强现实虚拟场景；
一模拟维修模块12，连接注册跟踪模块11，预设一包括多个动作脚本组 成的动作脚本库，用于跟踪并捕捉用户在对维修设备进行模拟维修时所产生 的维修操作，并匹配于动作脚本生成对应的操作指令，根据操作指令进行人 机交互模拟维修；
一维修辅助模块13，连接模拟维修模块12，预设一包括多个关联于维修 设备的维修数据组成的维修数据库，用于根据操作指令查找维修数据库中的 维修数据并生成对应的辅助维修信息对模拟维修提供辅助维修依据。
本实施例中，交互式模拟培训保障系统1采用增强现实的“虚实结合” 的虚拟场景，为艇员提供了一种身临其境的“虚实结合”的增强现实虚拟场 景，注册跟踪模块11利用现实场景中操作及维修装备所对应的空间位姿信 息，得到计算机生成的虚拟信息需进行的投影变换矩阵，然后虚拟摄像机根 据此投影变换矩阵对3D模型进行投影变换，并将变换后的虚拟信息实时叠 加到真实场景中的各装备上，用户需戴上VR头盔，通过VR反馈系统显示 维修操作环境中维修设备的空间位置信息，一方面利用ORB(特征提取)算 法进行投影变换，输出投影，增强现实，另一方面根据VR反馈系统获得的 输出脑电、眼动信号，通过眼部驱动功能来驱动显示模拟维修模块12切换相 关维修任务场景内容。
具体的，模拟维修模块12设有动作脚本库，保存相关设备维修的动作脚 本以及对应的维修指令，根据手势监视摄像机进行跟踪并捕捉用户在对维修 设备进行模拟维修时所产生的维修操作，并提取相关动作的特征属性，匹配 于动作脚本库中的动作脚本以生成对应的操作指令，然后根据操作指令对该 维修设备进行人机交互模拟维修。
具体的，维修辅助模块13中，根据水下无人航行器的装备的数据信息和 层次关系来进行建模并形成一构造规则库，在和案例信息库共同构成维修数 据库。在增强现实虚拟场景中进行模拟操作维修，首先对装备的操作流程及 故障模式进行分析处理，通过预设的推理规则，在规则范围内查找维修数据 库中的维修辅助信息并反馈给用户；如在基于预设的推理规则上出现了难于 决策的损伤状况，可在维修数据库中寻找匹配的典型案例，利用相似案例作 为维修辅助依据反馈给用户。
如图2所示，一种较优的实施例中，模拟培训保障系统1还包括一用户 登录模块14，连接模拟维修模块12，预设一包括多条用户数据的用户数据库， 用于在模拟维修前根据用户数据匹配输入的用户登录信息并对模拟培训保障 系统进行登录操作，用户登录模块14包括：
一第一采集单元141，采集用户输入的用户登录信息；
一登录匹配单元142，连接第一采集单元141，用于根据用户数据匹配用 户登录信息并输出一匹配结果；
一登录反馈单元143，连接登录匹配单元142，用于根据匹配结果生成一 登录结果反馈至用户。
本实施例中，用户在使用交互式模拟培训保障系统1进行模拟维修训练 前，交互式模拟培训保障系统1弹出一登录窗口，用于用户登录。第一采集 单元141采集用户通过键盘或触摸屏等外接设备输入的用户登录信息，登录 匹配单元142在对应的用户数据库中查询该用户数据，如在用户数据库中查 询不到该用户数据，登录反馈单元143则提示用户进行注册，查询并匹配到 该用户数据，登录反馈单元143则提示用户进入系统，并显示相关的维修任 务或上一次未完成的维修任务展开训练。通过用户登录模块14，模拟培训保 障系统1会对每个用户根据其用户数据分别显示不同的维修任务并进行相关 考核，并在用户退出模拟维修训练后，保存相关维修任务便于下次登录后继 续模拟维修操作。
如图3所示，一种较优的实施例中，注册跟踪模块11包括：
一定位识别单元111，用于根据一定位跟踪器定位用户的视角并识别维 修对象；
一第二采集单元112，连接定位识别单元111，用于根据一跟踪摄像机采 集真实场景中已经被定位识别的维修设备的空间位姿信息；
一第一处理单元113，连接第二采集单元112，用于将维修设备的空间位 姿信息转换处理成虚拟位姿信息并设置在一投影变换矩阵中；
一第二处理单元114，连接第一处理单元113，用于根据一虚拟摄像机将 投影变换矩阵进行3D转换处理并形成处理后的三维模型；
一第三处理单元115，连接第二处理单元114，用于将处理后的三维模型 叠加到真实场景以形成增强现实虚拟场景。
本实施例中，用户需戴上VR头盔后，定位识别单元111通过定位跟踪 器定位用户的视角，并根据定位的视角识别维修对象，第二采集单元112跟 踪器定位识别现实场景中各装备所对应的空间位姿信息，通过第一计算单元 111得到生成虚拟信息需要进行的投影变换矩阵，然后投影变换单元112根 据此投影变换矩阵对3D模型进行投影变换，并将变换后的三维模型虚拟信 息通过场景叠加单元113实时叠加到真实场景中的各装备对象上，并形成增 强现实虚拟场景。该过程涉及摄像机获取到的装备的3D模型及各个空间坐 标系之间的转换关系，该转换关系一般是扫描到现实场景中各装备的特征点 数据是在极坐标中的，先把极坐标转换为直角坐标。然后利用ORB(特征提 取)算法得到操作及维修装备的位姿估计值，通过旋转矩阵中表示的姿态角 和位置数值，结合得到三维模型的坐标值，进而生成三维模型的增强现实虚 拟场景。
如图4所示，一种较优的实施例中，维修操作包括由用户对维修设备进 行维修时产生的手势维修操作；
则模拟维修模块12包括：
一第一模拟维修子模块120，用于跟踪采集并捕捉用户在对维修设备进 行模拟维修时所产生的手势维修操作，并匹配于动作脚本生成对应的手势维 修操作指令；
第一模拟维修子模块120包括：
一第三采集单元1201，用于根据一手势监视摄像机采集手势信息的 视频图像；
一第四处理单元1202，连接第三采集单元1201，用于对视频图像进 行帧分离，提取包含手势信息的图像帧并形成一图像帧序列；
一手势分割单元1203，连接第四处理单元1202，用于对图像帧序列 进行手势分割，形成包括有静态手势和动态手势的二值化图像序列；
一第一特征提取单元1204，连接手势分割单元1203，用于提取二值 化图像序列中对应于某一时刻点的静态手势的图像属性的特征作为第一特征 向量；
一第二特征提取单元1205，连接手势分割单元1203，用于提取二值 化图像序列中对应于某一时间段的动态手势的指尖运动轨迹，并对指尖运动 轨迹进行方向向量的量化编码作为第二特征向量；
一手势匹配单元1206，分别连接第一特征提取单元1204和第二特 征提取单元1205，用于根据第一特征向量和第二特征向量查询动作脚本库并 匹配对应的动作脚本；
一手势触发维修单元1207，连接手势匹配单元1206，根据匹配的动 作脚本生成对应的手势维修操作指令触发人机交互模拟维修。
本实施例中，第三采集单元1201通过手势监视摄像机跟踪采集并捕捉用 户在对维修设备进行模拟维修时所产生的手势信息的视频图像，第四处理单 元1202对其进行帧分离，使所有包含和未包含手势信息的图像帧从视频流中 分离出来，形成图像帧序列，手势分割单元1203采用预设的累计肤色模型方 法对图像帧序列进行手势分割得到手势区域的二值化图像序列。该图像序列 中隐含着手势的时变特征和空间特征等手势状态信息，分别对应着动态手势 和静态手势。第一特征提取单元1204对于静态手势，可提取到具有平移不变 性、缩放不变性和旋转不变性的图像属性特征作为第一特征向量。第二特征 提取单元1205对于动态手势，在利用指尖模板匹配方法提取指尖信息的基础 上，对指尖运动轨迹进行方向向量的量化编码，以此作为第二特征向量。最 后，手势控制单元155将获得的第一特征向量和第二特征向量作为支持向量， 利用SVM支持向量机算法进行判断识别，再将识别结果映射为相应的手势 动作脚本，手势匹配单元1206根据动作脚本库匹配该手势动作脚本并查找对 应的手势维修操作指令，手势触发维修单元1207根据该手势维修操作指令触 发人机交互用手势进行模拟维修，完成对维修设备的模拟维修训练。
如图5所示，一种较优的实施例中，维修操作包括由用户对维修设备进 行维修时产生的语音维修操作；
则模拟维修模块12包括：
一第二模拟维修子模块121，用于采集并捕捉用户在对维修设备进行模 拟维修时所产生的语音维修操作，并匹配于动作脚本生成对应的语音维修操 作指令；
第二模拟维修子模块121包括：
一第四采集单元1211，用于根据一麦克风采集用户发出的语音信 息；
一语音分割单元1212，连接第三采集单元1211，用于将语音信息分 割成不同的子带的语音信息；
一第三特征提取单元1213，连接语音分割单元1212，用于将各子带 的语音信息进行训练和识别，并对语音信息进行筛选后合并；
一语音匹配单元1214，连接第三特征提取单元1214，用于根据合并 后的语音信息查询动作脚本库并匹配对应的动作脚本；
一语音触发维修单元1215，连接语音匹配单元1214，根据匹配的动 作脚本生成对应的语音维修操作指令触发人机交互模拟维修。
本实施例中，第二模拟维修子模块121采用的语音识别和数据融合两部 分组成。其中，第四采集单元1211通过一麦克风采集用户在对维修设备进行 模拟维修时所产生的语音信息，语音分割单元1212将语音信号划分为不同的 子带，然后分别对各子带上的语音信号进行语音识别，第三特征提取单元 1213对各子带上的语音信号特征参数提取，并通过子带的HMM隐马尔可夫 模型进行训练与识别，对HMM隐马尔可夫模型组成的多子带系统输出矢量 进行分析、判断，然后将所提取的新的特征矢量在矢量空间上用BP神经网 络进行非线性映射，利用相关性对输入的特征矢量进行模式分类，去除错误 识别信息，保留正确的特征矢量，然后融合合并形成语音维修操作脚本输入 至语音匹配单元1214，语音匹配单元1214根据动作脚本库匹配该语音维修 操作脚本并查找对应的语音维修操作指令，语音触发维修单元1215根据该语 音维修操作指令触发人机交互用语音进行模拟维修，由于PSHMM/NN模型 充分发挥了HMM隐马尔可夫模型与BP神经网络的信息综合与描述能力， 所以基于该模型的语音识别系统能有效地提高系统的鲁棒性，可大大提高在 舱室噪声环境下的语音操作指令识别率。
一种较优的实施例中，维修数据库包括关联于维修设备的零件图册、维 修工艺和操作工艺中的至少一项。
本实施例中，维修数据库的数据来源为装备的操作使用手册、维修手册、 器材目录和设计部门已有的样机数据，这些数据来源不同，类型多样，所以 必须要按照艇-系统-子系统-设备-部件等五级关联关系来建立维修数据库中 存储关系和数据描述的层次模型。
如图1所示，一种较优的实施例中，模拟培训保障系统1还包括一维修 评价模块15，连接所述模拟维修模块14，在执行完模拟维修任务后，对所述 模拟维修任务的维修过程进行量化评价。
如图6所示，一种较优的实施例中，维修评价模块采用李克特量表进行 所述量化评价。
本实施例中，评价指标包括：满意度(CSD)、直观度(CID)、舒适 度(CCD)和故障排除时间。在用户实施模拟维修任务阶段，满意度指用户 的需求被满足后的愉悦感，是用户对产品的事前期望与实际使用后得到实际 感受的相对关系；直观度指用户通过具体的维修活动对产品的直接接触而获 得的感性认识的程度；舒适度指佩戴增强现实交互式头盔后头部及眼睛的舒 适程度；故障排除时间指用户为解决某种故障，从开始排除到排除结束所用 的时间。
具体的，评价分数通过采用李克特量表行评价得分，即分别对5级态度 “很满意、满意、一般、不满意、很不满意”分别赋予“5，4，3，2，1”的 分值。
综上所述，交互式模拟培训保障系统1采用增强现实的“虚实结合”的 虚拟场景，为艇员提供了一种身临其境的“虚实结合”的增强现实虚拟场景， 该增强现实虚拟场景由虚拟场景生成模块11搭建。模拟维修模块12中，用 户需戴上VR头盔，通过VR反馈系统显示操作维修环境中装备的空间位置 信息，根据VR反馈系统追踪捕捉到的眼动信号，通过眼动信号驱动显示虚 拟场景模拟维修模块2变更的相关维修任务场景内容。维修辅助模块13中， 在规则范围内查找构造维修数据库库中的维修决策或维修案例反馈给用户， 人机交互模块14包括的手势交互15子模块和语音交互子模块16分别获取用 户进行维修操作时的手势信息和语音信息，并通过匹配动作脚本库寻找相关 的控制指令，触发人机交互模拟维修训练。交互式模拟培训保障系统1还设 计了用户登录模块14和维修评价模块15，系统对登录的用户分别保存模拟 维修训练的操作过程和相关的维修任务进度，并进行量化评价得出相应的评 价分数。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及 保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书 及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含 在本发明的保护范围内。
Claims (8)
1.一种交互式的模拟培训保障系统，应用于水下无人航行器；其特征在于，所述模拟培训保障系统采用预设的三维引擎运行一处理后形成的三维模型，所述三维模型叠加在真实场景中以形成一增强现实虚拟场景，佩戴交互式头盔的用户在所述增强现实虚拟场景中对所述水下无人航行器中的维修设备进行模拟维修；则所述模拟培训保障系统包括：
一注册跟踪模块，用于在所述真实场景中根据用户的视角定位识别所述维修设备并采集所述维修设备的空间位姿信息，并在一预设的初始三维模型中对所述维修设备进行注册和更新，以形成处理后的所述三维模型并叠加在所述真实场景中以形成所述增强现实虚拟场景；
一模拟维修模块，连接所述注册跟踪模块，预设一包括多个动作脚本组成的动作脚本库，用于跟踪并捕捉用户在对所述维修设备进行模拟维修时所产生的维修操作，并匹配于所述动作脚本生成对应的操作指令，根据所述操作指令进行人机交互模拟维修；
一维修辅助模块，连接所述模拟维修模块，预设一包括多个关联于所述维修设备的维修数据组成的维修数据库，用于根据所述操作指令查找所述维修数据库中的所述维修数据并生成对应的辅助维修信息对模拟维修提供辅助维修依据。
2.根据权利要求1所述模拟培训保障系统，其特征在于，所述模拟培训保障系统还包括一用户登录模块，连接所述模拟维修模块，预设一包括多条用户数据的用户数据库，用于在模拟维修前根据所述用户数据匹配输入的用户登录信息并对所述模拟培训保障系统进行登录操作，所述用户登录模块包括：
一第一采集单元，采集用户输入的所述用户登录信息；
一登录匹配单元，连接所述第一采集单元，用于根据所述用户数据匹配所述用户登录信息并输出一匹配结果；
一登录反馈单元，连接所述登录匹配单元，用于根据所述匹配结果生成一登录结果反馈至用户。
3.根据权利要求1所述模拟培训保障系统，其特征在于，所述注册跟踪模块包括：
一定位识别单元，用于根据一定位跟踪器定位用户的视角并识别所述维修对象；
一第二采集单元，连接所述定位识别单元，用于根据一跟踪摄像机采集所述真实场景中已经被定位识别的所述维修设备的空间位姿信息；
一第一处理单元，连接所述第二采集单元，用于将所述维修设备的空间位姿信息转换处理成虚拟位姿信息并设置在一投影变换矩阵中；
一第二处理单元，连接所述第一处理单元，用于根据一虚拟摄像机将所述投影变换矩阵进行3D转换处理并形成处理后的所述三维模型；
一第三处理单元，连接所述第二处理单元，用于将处理后的所述三维模型叠加到所述真实场景以形成所述增强现实虚拟场景。
4.根据权利要求1所述模拟培训保障系统，其特征在于，所述维修操作包括由用户对所述维修设备进行维修时产生的手势维修操作；
则所述模拟维修模块包括：
一第一模拟维修子模块，用于跟踪采集并捕捉用户在对所述维修设备进行模拟维修时所产生的所述手势维修操作，并匹配于所述动作脚本生成对应的手势维修操作指令；
所述第一模拟维修子模块包括：
一第三采集单元，用于根据一手势监视摄像机采集所述手势信息的视频图像；
一第四处理单元，连接所述第三采集单元，用于对所述视频图像进行帧分离，提取包含手势信息的图像帧并形成一图像帧序列；
一手势分割单元，连接所述第四处理单元，用于对所述图像帧序列进行手势分割，形成包括有静态手势和动态手势的二值化图像序列；
一第一特征提取单元，连接所述手势分割单元，用于提取所述二值化图像序列中对应于某一时刻点的所述静态手势的图像属性的特征作为第一特征向量；
一第二特征提取单元，连接所述手势分割单元，用于提取所述二值化图像序列中对应于某一时间段的所述动态手势的指尖运动轨迹，并对所述指尖运动轨迹进行方向向量的量化编码作为第二特征向量；
一手势匹配单元，分别连接所述第一特征提取单元和所述第二特征提取单元，用于根据所述第一特征向量和所述第二特征向量查询所述动作脚本库并匹配对应的所述动作脚本；
一手势触发维修单元，连接所述手势匹配单元，根据匹配的所述动作脚本生成对应的所述手势维修操作指令触发人机交互模拟维修。
5.根据权利要求1所述模拟培训保障系统，其特征在于，所述维修操作包括由用户对所述维修设备进行维修时产生的语音维修操作；
则所述模拟维修模块包括：
一第二模拟维修子模块，用于采集并捕捉用户在对所述维修设备进行模拟维修时所产生的所述语音维修操作，并匹配于所述动作脚本生成对应的语音维修操作指令；
所述第二模拟维修子模块包括：
一第四采集单元，用于根据一麦克风采集用户发出的语音信息；
一语音分割单元，连接所述第三采集单元，用于将所述语音信息分割成不同的子带的所述语音信息；
一第三特征提取单元，连接所述语音分割单元，用于将各所述子带的所述语音信息进行训练和识别，并对所述语音信息进行筛选后合并；
一语音匹配单元，连接所述第三特征提取单元，用于根据合并后的所述语音信息查询所述动作脚本库并匹配对应的所述动作脚本；
一语音触发维修单元，连接所述语音匹配单元，根据匹配的所述动作脚本生成对应的所述语音维修操作指令触发人机交互模拟维修。
6.根据权利要求1所述模拟培训保障系统，其特征在于，所述维修数据库包括关联于所述维修设备的零件图册、维修工艺和操作工艺中的至少一项。
7.根据权利要求1所述模拟培训保障系统，其特征在于，所述模拟培训保障系统还包括一维修评价模块，连接所述模拟维修模块，在执行完模拟维修任务后，对所述模拟维修任务的维修过程进行量化评价。
8.根据权利要求7所述模拟培训保障系统，其特征在于，所述维修评价模块采用李克特量表进行所述量化评价。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110374313.3A CN113380088A (zh) | 2021-04-07 | 2021-04-07 | 一种交互式模拟培训保障系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110374313.3A CN113380088A (zh) | 2021-04-07 | 2021-04-07 | 一种交互式模拟培训保障系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113380088A true CN113380088A (zh) | 2021-09-10 |
Family
ID=77569811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110374313.3A Pending CN113380088A (zh) | 2021-04-07 | 2021-04-07 | 一种交互式模拟培训保障系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113380088A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937285A (zh) * | 2022-05-25 | 2022-08-23 | 兰州大学 | 动态手势识别方法、装置、设备及存储介质 |
| CN115437507A (zh) * | 2022-11-07 | 2022-12-06 | 中科航迈数控软件(深圳)有限公司 | 基于ar眼镜的设备维修指导方法、系统及相关设备 |
| CN117348773A (zh) * | 2023-11-10 | 2024-01-05 | 瑞丰宝丽(北京)科技有限公司 | 一种基于空间扫描的设备操作ar模拟考核系统 |
| CN117519487A (zh) * | 2024-01-05 | 2024-02-06 | 安徽建筑大学 | 一种基于视觉动捕的掘进机操控教学辅助培训系统 |
| CN117689507A (zh) * | 2023-12-15 | 2024-03-12 | 武汉蓝海科创技术有限公司 | 基于虚拟三维技术的装备维修训练模拟系统 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005209000A (ja) * | 2004-01-23 | 2005-08-04 | Sueo Sugimoto | 音声可視化方法及び該方法を記憶させた記録媒体 |
| CN102111562A (zh) * | 2009-12-25 | 2011-06-29 | 新奥特（北京）视频技术有限公司 | 三维模型的投影变换方法及装置 |
| CN102306088A (zh) * | 2011-06-23 | 2012-01-04 | 北京北方卓立科技有限公司 | 一种实体投影虚实配准装置及方法 |
| CN102945637A (zh) * | 2012-11-29 | 2013-02-27 | 河海大学 | 一种基于增强现实的嵌入式教学模型及其方法 |
| CN104898276A (zh) * | 2014-12-26 | 2015-09-09 | 成都理想境界科技有限公司 | 头戴式显示装置 |
| CN105488619A (zh) * | 2015-11-26 | 2016-04-13 | 江苏大学 | 一种建筑工人危险辨识能力测试系统及方法 |
| CN105915987A (zh) * | 2016-04-15 | 2016-08-31 | 济南大学 | 一种面向智能电视的隐式交互方法 |
| CN105955043A (zh) * | 2016-05-27 | 2016-09-21 | 浙江大学 | 一种增强现实型的可见即可控智能家居控制系统及方法 |
| CN105975934A (zh) * | 2016-05-05 | 2016-09-28 | 中国人民解放军63908部队 | 一种用于增强现实辅助维修的动态手势识别方法及系统 |
| CN106096857A (zh) * | 2016-06-23 | 2016-11-09 | 中国人民解放军63908部队 | 增强现实版交互式电子技术手册、内容构建及辅助维修/辅助操作流程的构建 |
| CN106210450A (zh) * | 2016-07-20 | 2016-12-07 | 罗轶 | 基于slam的影视人工智能 |
| JP2017027600A (ja) * | 2015-07-23 | 2017-02-02 | 株式会社リコー | 手振り識別方法と装置 |
| CN107331220A (zh) * | 2017-09-01 | 2017-11-07 | 国网辽宁省电力有限公司锦州供电公司 | 基于增强现实的变电设备运维仿真培训系统和方法 |
| CN107515674A (zh) * | 2017-08-08 | 2017-12-26 | 山东科技大学 | 一种基于虚拟现实与增强现实的采矿操作多交互实现方法 |
| CN108280523A (zh) * | 2018-03-20 | 2018-07-13 | 中国电子科技集团公司电子科学研究院 | 基于增强现实的设备检修与维护方法、装置及存储介质 |
| CN109144244A (zh) * | 2018-07-03 | 2019-01-04 | 世雅设计有限公司 | 一种增强现实辅助的方法、装置、系统及增强现实设备 |
| CN109448126A (zh) * | 2018-09-06 | 2019-03-08 | 国营芜湖机械厂 | 一种基于混合现实的航空装备修理辅助系统及其使用方法 |
| CN109919331A (zh) * | 2019-02-15 | 2019-06-21 | 华南理工大学 | 一种机载设备智能维修辅助系统及方法 |
| CN110349467A (zh) * | 2019-07-12 | 2019-10-18 | 中国民用航空飞行学院 | 一种基于增强现实的通航维修培训系统及方法 |
| CN110390728A (zh) * | 2018-04-17 | 2019-10-29 | 闵林 | 一种增强现实系统 |
-
2021
- 2021-04-07 CN CN202110374313.3A patent/CN113380088A/zh active Pending
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005209000A (ja) * | 2004-01-23 | 2005-08-04 | Sueo Sugimoto | 音声可視化方法及び該方法を記憶させた記録媒体 |
| CN102111562A (zh) * | 2009-12-25 | 2011-06-29 | 新奥特（北京）视频技术有限公司 | 三维模型的投影变换方法及装置 |
| CN102306088A (zh) * | 2011-06-23 | 2012-01-04 | 北京北方卓立科技有限公司 | 一种实体投影虚实配准装置及方法 |
| CN102945637A (zh) * | 2012-11-29 | 2013-02-27 | 河海大学 | 一种基于增强现实的嵌入式教学模型及其方法 |
| CN104898276A (zh) * | 2014-12-26 | 2015-09-09 | 成都理想境界科技有限公司 | 头戴式显示装置 |
| JP2017027600A (ja) * | 2015-07-23 | 2017-02-02 | 株式会社リコー | 手振り識別方法と装置 |
| CN105488619A (zh) * | 2015-11-26 | 2016-04-13 | 江苏大学 | 一种建筑工人危险辨识能力测试系统及方法 |
| CN105915987A (zh) * | 2016-04-15 | 2016-08-31 | 济南大学 | 一种面向智能电视的隐式交互方法 |
| CN105975934A (zh) * | 2016-05-05 | 2016-09-28 | 中国人民解放军63908部队 | 一种用于增强现实辅助维修的动态手势识别方法及系统 |
| CN105955043A (zh) * | 2016-05-27 | 2016-09-21 | 浙江大学 | 一种增强现实型的可见即可控智能家居控制系统及方法 |
| CN106096857A (zh) * | 2016-06-23 | 2016-11-09 | 中国人民解放军63908部队 | 增强现实版交互式电子技术手册、内容构建及辅助维修/辅助操作流程的构建 |
| CN106210450A (zh) * | 2016-07-20 | 2016-12-07 | 罗轶 | 基于slam的影视人工智能 |
| CN107515674A (zh) * | 2017-08-08 | 2017-12-26 | 山东科技大学 | 一种基于虚拟现实与增强现实的采矿操作多交互实现方法 |
| CN107331220A (zh) * | 2017-09-01 | 2017-11-07 | 国网辽宁省电力有限公司锦州供电公司 | 基于增强现实的变电设备运维仿真培训系统和方法 |
| CN108280523A (zh) * | 2018-03-20 | 2018-07-13 | 中国电子科技集团公司电子科学研究院 | 基于增强现实的设备检修与维护方法、装置及存储介质 |
| CN110390728A (zh) * | 2018-04-17 | 2019-10-29 | 闵林 | 一种增强现实系统 |
| CN109144244A (zh) * | 2018-07-03 | 2019-01-04 | 世雅设计有限公司 | 一种增强现实辅助的方法、装置、系统及增强现实设备 |
| CN109448126A (zh) * | 2018-09-06 | 2019-03-08 | 国营芜湖机械厂 | 一种基于混合现实的航空装备修理辅助系统及其使用方法 |
| CN109919331A (zh) * | 2019-02-15 | 2019-06-21 | 华南理工大学 | 一种机载设备智能维修辅助系统及方法 |
| CN110349467A (zh) * | 2019-07-12 | 2019-10-18 | 中国民用航空飞行学院 | 一种基于增强现实的通航维修培训系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| 吕钊: "噪声环境下的语音识别算法研究" * |
| 赵守伟等: "增强现实辅助维修系统的评价方法研究", 《火炮发射与控制学报》 * |
| 马艳荣: "复杂环境下的计算机辅助普通话测试系统设计" * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937285A (zh) * | 2022-05-25 | 2022-08-23 | 兰州大学 | 动态手势识别方法、装置、设备及存储介质 |
| CN114937285B (zh) * | 2022-05-25 | 2023-04-07 | 兰州大学 | 动态手势识别方法、装置、设备及存储介质 |
| CN115437507A (zh) * | 2022-11-07 | 2022-12-06 | 中科航迈数控软件(深圳)有限公司 | 基于ar眼镜的设备维修指导方法、系统及相关设备 |
| CN115437507B (zh) * | 2022-11-07 | 2023-04-07 | 中科航迈数控软件(深圳)有限公司 | 基于ar眼镜的设备维修指导方法、系统及相关设备 |
| CN117348773A (zh) * | 2023-11-10 | 2024-01-05 | 瑞丰宝丽(北京)科技有限公司 | 一种基于空间扫描的设备操作ar模拟考核系统 |
| CN117689507A (zh) * | 2023-12-15 | 2024-03-12 | 武汉蓝海科创技术有限公司 | 基于虚拟三维技术的装备维修训练模拟系统 |
| CN117519487A (zh) * | 2024-01-05 | 2024-02-06 | 安徽建筑大学 | 一种基于视觉动捕的掘进机操控教学辅助培训系统 |
| CN117519487B (zh) * | 2024-01-05 | 2024-03-22 | 安徽建筑大学 | 一种基于视觉动捕的掘进机操控教学辅助培训系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113380088A (zh) | 一种交互式模拟培训保障系统 | |
| CN110362210B (zh) | 虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置 | |
| Zhu et al. | AR-mentor: Augmented reality based mentoring system | |
| CN111104820A (zh) | 一种基于深度学习的手势识别方法 | |
| Zamora-Hernandez et al. | Deep learning-based visual control assistant for assembly in industry 4.0 | |
| CN105810129A (zh) | 一种工业设计展示平台 | |
| Wang et al. | Augmented reality in maintenance training for military equipment | |
| CN111274978B (zh) | 一种微表情识别方法及装置 | |
| CN103034851B (zh) | 自学习的基于肤色模型的手部跟踪装置及方法 | |
| Kratimenos et al. | Independent sign language recognition with 3d body, hands, and face reconstruction | |
| CN117032453A (zh) | 一种实现互识功能的虚拟现实交互系统 | |
| CN112417142A (zh) | 基于眼动跟踪的词义和摘要生成辅助方法及系统 | |
| Daoudi et al. | A new computational approach to identify human social intention in action | |
| CN113326713B (zh) | 一种动作识别方法、装置、设备及介质 | |
| CN113269107A (zh) | 一种基于深度学习的交互式智能拆解装配系统 | |
| Chavan et al. | Indian sign language to forecast text using leap motion sensor and RF classifier | |
| Rojas-Muñoz et al. | Magic: A fundamental framework for gesture representation, comparison and assessment | |
| Benoit et al. | Multimodal signal processing and interaction for a driving simulator: Component-based architecture | |
| CN116910302A (zh) | 一种多模态视频内容有效性反馈可视分析方法与系统 | |
| Sarma et al. | Real-Time Indian Sign Language Recognition System using YOLOv3 Model | |
| US20230077031A1 (en) | Case query apparatus and method and storage medium | |
| CN113807280A (zh) | 一种基于Kinect的虚拟船舶机舱系统与方法 | |
| Zhou et al. | Hierarchical home action understanding with implicit and explicit prior knowledge | |
| Simón et al. | The development of an advanced maintenance training programme utilizing augmented reality | |
| CN112308041A (zh) | 一种基于视觉的无人平台手势控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210910 |