CN109782905A - 一种适用于agv舵轮的增强现实装配引导方法及系统 - Google Patents
一种适用于agv舵轮的增强现实装配引导方法及系统 Download PDFInfo
- Publication number
- CN109782905A CN109782905A CN201811610575.XA CN201811610575A CN109782905A CN 109782905 A CN109782905 A CN 109782905A CN 201811610575 A CN201811610575 A CN 201811610575A CN 109782905 A CN109782905 A CN 109782905A
- Authority
- CN
- China
- Prior art keywords
- steering wheel
- dimensional
- point
- agv steering
- agv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种适用于AGV舵轮的增强现实装配引导方法及系统，佩戴在操作人员头上的AR眼镜获取实时影像后即可自动进行三维注册并播放预先准备好的三维装配动画，实现虚拟现实融合，操作人员可以根据三维装配动画中显示的影像逻辑步骤进行装配，提高装配过程中实物状态与数字模型的一致性与装配效率，降低了错误率，同时操作人员可以通过手势对动画的播放进行控制，提高了装配学习的自由度，相对于传统的通过图纸进行引导的方法，装配效率得到巨大的提高。
Description
技术领域
本发明涉及AGV舵轮装配领域，具体涉及一种适用于AGV舵轮的增强现实装配引导方法及系统。
背景技术
AGV是(Automated Guided Vehicle)的缩写，意即“自动导引运输车”，是指装备有电磁或光学等自动导引装置，它能够沿规定的导引路径行驶，具有安全保护以及各种移载功能的运输车，AGV属于轮式移动机器人(WMR—Wheeled Mobile Robot)的范畴。
常规的AGV舵轮的装配需要借助二维装配图纸通过工作人员的想象以及过往的经验进行装配，对装配的工作人员有一定的要求，也会出现一些由人为因素引起的装配步骤错误的情况，目前还没有一种很直观、高效的对装配过程进行指导的方法。若使用当前的装配方式对重载AGV小车驱动轮系进行装配，在装配时需要专业的工作人员根据装配图以及经验进行操作，不仅耗时、操作困难还容易出现人为的装配错误导致小车的轮系系统出现故障无法正常工作。
发明内容
为了克服上述技术缺陷，本发明提供一种适用于AGV舵轮的增强现实装配引导方法及系统，提高装配过程中实物状态与数字模型的一致性与装配效率，降低了错误率，提高了装配学习的自由度。
为了解决上述问题，本发明按以下技术方案予以实现的：
一种适用于AGV舵轮的增强现实装配引导方法，其步骤包括：
S1、获取实时影像；所述实时影像包含AGV小车与舵轮的装配点；
S2、使用三维注册算法，结合预设的AGV舵轮三维装配动画模型，对所述实时影像中的视频帧进行演算，得到所述实时影像的三维注册矩阵；
S3、使用Unity3D引擎，结合所述三维注册矩阵，播放所述AGV舵轮三维装配动画模型，实现虚拟融合；
S4、获取手势影像，使用手势识别模型识别出所述手势影像所对应的手势指令，根据所述手势指令控制所述AGV舵轮三维装配动画模型的播放。
进一步的，步骤S2包括：
S21、使用ORB算法提取所述实时影像中的一帧影像的多个特征点，并与所述AGV舵轮三维装配动画模型进行匹配得到多个点对；
S22、使用RANSAC方法根据概率公式筛选所述多个点对；
S23、使用卡尔曼滤波器对筛选后的所述点对进行平滑处理；
S24、使用PNP算法结合筛选后的所述点对求解出单应性矩阵；
S25、使用SVD分解算法分解求得所述三维注册矩阵。
进一步的，步骤S22包括：
S221、使用RANSAC方法根据以下公式求解出各个所述点对的概率：
其中Mt、Ma分别表示局内点的数量和数据集的数量，p表示迭代过程中选取的点集是局内点集的概率，n表示估计模型时选用的点个数，k表示迭代次数；
S222、计算所述多个点对中所述概率高于预设的概率阈值的点对的数目；
当所述数目大于数目阈值时，执行步骤S23；
当所述数目小于或等于数目阈值时，获取所述实时影像的下一帧影像并返回步骤S21。
进一步的，步骤S3包括：
S31、将所述AGV舵轮三维装配动画模型放置在所述Unity3D引擎的世界坐标系原点；
S32、将所述三维注册矩阵传入所述Unity3D引擎；
S33、所述Unity3D引擎根据所述三维注册矩阵播放所述AGV舵轮三维装配动画模型。
进一步的，步骤S4中，所述手势指令包括播放、暂停、回到主菜单。
本发明还对应公开了一种适用于AGV舵轮的增强现实装配引导系统，包括：
摄像模块，用于获取实时影像和手势影像；所述实时影像包含AGV小车与舵轮的装配点；
演算模块，用于使用三维注册算法，结合预设的AGV舵轮三维装配动画模型，对所述实时影像中的视频帧进行演算，得到所述实时影像的三维注册矩阵；
播放模块，用于使用Unity3D引擎，结合所述三维注册矩阵，播放所述AGV舵轮三维装配动画模型，实现虚拟融合；
手势识别模块，用于使用手势识别模型识别出所述手势影像所对应的手势指令，根据所述手势指令控制所述AGV舵轮三维装配动画模型的播放。
进一步的，所述演算模块包括：
匹配单元，用于使用ORB算法提取所述实时影像中的一帧影像的多个特征点，并与所述AGV舵轮三维装配动画模型进行匹配得到多个点对；
筛选单元，用于使用RANSAC方法根据概率公式筛选所述多个点对；
滤波单元，用于使用卡尔曼滤波器对筛选后的所述点对进行平滑处理；
求解单元，用于使用PNP算法结合筛选后的所述点对求解出单应性矩阵；
分解单元，用于使用SVD分解算法分解求得所述三维注册矩阵。
进一步的，所述筛选单元使用RANSAC方法根据以下公式求解出各个所述点对的概率：
其中Mt、Ma分别表示局内点的数量和数据集的数量，p表示迭代过程中选取的点集是局内点集的概率，n表示估计模型时选用的点个数，k表示迭代次数；
所述筛选单元计算所述多个点对中所述概率高于预设的概率阈值的点对的数目，并在当所述数目小于或等于数目阈值时，获取所述实时影像的下一帧影像。
进一步的，所述播放模块将所述AGV舵轮三维装配动画模型放置在所述Unity3D引擎的世界坐标系原点，再将所述三维注册矩阵传入所述Unity3D引擎；所述Unity3D引擎根据所述三维注册矩阵播放所述AGV舵轮三维装配动画模型。
进一步的，所述手势指令包括播放、暂停、回到主菜单。
相对于现有技术，本发明的有益效果为：
本发明公开了一种适用于AGV舵轮的增强现实装配引导方法及系统，佩戴在操作人员头上的AR眼镜获取实时影像后即可自动进行三维注册并播放预先准备好的三维装配动画，实现虚拟现实融合，操作人员可以根据三维装配动画中显示的影像逻辑步骤进行装配，提高装配过程中实物状态与数字模型的一致性与装配效率，降低了错误率，同时操作人员可以通过手势对动画的播放进行控制，提高了装配学习的自由度，相对于传统的通过图纸进行引导的方法，装配效率得到巨大的提高。
附图说明
图1是本发明实施例1所述的增强现实装配引导方法的步骤示意图；
图2是本发明实施例1所述的基于HoloLens眼镜的手势交互的指令示意图；
图3是本发明实施例2所述的增强现实装配引导系统的结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施方式公开了一种适用于AGV舵轮的增强现实装配引导方法，其步骤包括：
S1、获取实时影像；实时影像包含AGV小车与舵轮的装配点；
S2、使用三维注册算法，结合预设的AGV舵轮三维装配动画模型，对实时影像中的视频帧进行演算，得到实时影像的三维注册矩阵；
S3、使用Unity3D引擎，结合三维注册矩阵，播放AGV舵轮三维装配动画模型，实现虚拟融合；
S4、获取手势影像，使用手势识别模型识别出手势影像所对应的手势指令，根据手势指令控制AGV舵轮三维装配动画模型的播放。
通过上述公开增强现实装配引导方法，佩戴在操作人员头上的AR眼镜获取实时影像后即可自动进行三维注册并播放预先准备好的三维装配动画，实现虚拟现实融合，操作人员可以根据三维装配动画中显示的影像逻辑步骤进行装配，提高装配过程中实物状态与数字模型的一致性与装配效率，降低了错误率，同时操作人员可以通过手势对动画的播放进行控制，提高了装配学习的自由度，相对于传统的通过图纸进行引导的方法，装配效率得到巨大的提高。
进一步的，步骤S2包括：
S21、使用ORB算法提取实时影像中的一帧影像的多个特征点，并与AGV舵轮三维装配动画模型进行匹配得到多个点对；
S22、使用RANSAC方法根据概率公式筛选多个点对；
S23、使用卡尔曼滤波器对筛选后的点对进行平滑处理；
S24、使用PNP算法结合筛选后的点对求解出单应性矩阵；
S25、使用SVD分解算法分解求得三维注册矩阵。
通过ORB算法提取连接处自然特征点，进行训练，避免了使用标记破坏产品外形，更方便自然的将虚拟模型融合入视野空间中。
进一步的，步骤S22包括：
S221、使用RANSAC方法根据以下公式求解出各个点对的概率：
其中Mt、Ma分别表示局内点的数量和数据集的数量，p表示迭代过程中选取的点集是局内点集的概率，n表示估计模型时选用的点个数，k表示迭代次数；
S222、计算多个点对中概率高于预设的概率阈值的点对的数目；
当数目大于数目阈值时，执行步骤S23；
当数目小于或等于数目阈值时，获取实时影像的下一帧影像并返回步骤S21。
进一步的，步骤S3包括：
S31、将AGV舵轮三维装配动画模型放置在Unity3D引擎的世界坐标系原点；
S32、将三维注册矩阵传入Unity3D引擎；
S33、Unity3D引擎根据三维注册矩阵播放AGV舵轮三维装配动画模型。
具体的，将AGV舵轮三维装配动画模型放在unity3d引擎下的世界坐标系原点，将以步骤S21至S25为基础编写的算法导入unity3d中，当每次跟踪到真实空间中摄像机位姿也即三维注册矩阵时，将三维注册矩阵传给unity3d引擎中虚拟摄像机中，则虚拟摄像机即可观察到虚拟空间中三维物体，又因为虚拟摄像机与真实摄像机相对应，即在真实空间中可以观察出虚拟三维物体，达到虚拟融合的目的。
进一步的，步骤S4中，手势指令包括播放、暂停、回到主菜单。
具体的，步骤S4中的手势识别模型可采用现有的手势识别模型，通常来说对手势的检测有两种方法，分别是是基于数据手套和基于视觉的手势检测。
具体的，可采用基于HoloLens眼镜的手势交互，其指令示意如图2所示，手势操作主要模拟鼠标点击操作，设计点击确定手势，以大拇指与食指的按压与张开作为鼠标的按下与松开事件。
实施例2
如图3所示，本实施例对应于实施例1中的引导方法，公开了一种适用于AGV舵轮的增强现实装配引导系统，包括：
摄像模块1，用于获取实时影像和手势影像；实时影像包含AGV小车与舵轮的装配点；
演算模块2，用于使用三维注册算法，结合预设的AGV舵轮三维装配动画模型，对实时影像中的视频帧进行演算，得到实时影像的三维注册矩阵；
播放模块3，用于使用Unity3D引擎，结合三维注册矩阵，播放AGV舵轮三维装配动画模型，实现虚拟融合；
手势识别模块4，用于使用手势识别模型识别出手势影像所对应的手势指令，根据手势指令控制AGV舵轮三维装配动画模型的播放。
进一步的，演算模块2包括：
匹配单元21，用于使用ORB算法提取实时影像中的一帧影像的多个特征点，并与AGV舵轮三维装配动画模型进行匹配得到多个点对；
筛选单元22，用于使用RANSAC方法根据概率公式筛选多个点对；
滤波单元23，用于使用卡尔曼滤波器对筛选后的点对进行平滑处理；
求解单元24，用于使用PNP算法结合筛选后的点对求解出单应性矩阵；
分解单元25，用于使用SVD分解算法分解求得三维注册矩阵。
进一步的，筛选单元使用RANSAC方法根据以下公式求解出各个点对的概率：
其中Mt、Ma分别表示局内点的数量和数据集的数量，p表示迭代过程中选取的点集是局内点集的概率，n表示估计模型时选用的点个数，k表示迭代次数；
筛选单元计算多个点对中概率高于预设的概率阈值的点对的数目，并在当数目小于或等于数目阈值时，获取实时影像的下一帧影像。
进一步的，播放模块将AGV舵轮三维装配动画模型放置在Unity3D引擎的世界坐标系原点，再将三维注册矩阵传入Unity3D引擎；Unity3D引擎根据三维注册矩阵播放AGV舵轮三维装配动画模型。
进一步的，手势指令包括播放、暂停、回到主菜单。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，故凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (10)
1.一种适用于AGV舵轮的增强现实装配引导方法，其特征在于，其步骤包括：
S1、获取实时影像；所述实时影像包含AGV小车与舵轮的装配点；
S2、使用三维注册算法，结合预设的AGV舵轮三维装配动画模型，对所述实时影像中的视频帧进行演算，得到所述实时影像的三维注册矩阵；
S3、使用Unity3D引擎，结合所述三维注册矩阵，播放所述AGV舵轮三维装配动画模型，实现虚拟融合；
S4、获取手势影像，使用手势识别模型识别出所述手势影像所对应的手势指令，根据所述手势指令控制所述AGV舵轮三维装配动画模型的播放。
2.根据权利要求1所述的适用于AGV舵轮的增强现实装配引导方法，其特征在于，步骤S2包括：
S21、使用ORB算法提取所述实时影像中的一帧影像的多个特征点，并与所述AGV舵轮三维装配动画模型进行匹配得到多个点对；
S22、使用RANSAC方法根据概率公式筛选所述多个点对；
S23、使用卡尔曼滤波器对筛选后的所述点对进行平滑处理；
S24、使用PNP算法结合筛选后的所述点对求解出单应性矩阵；
S25、使用SVD分解算法分解求得所述三维注册矩阵。
3.根据权利要求2所述的适用于AGV舵轮的增强现实装配引导方法，其特征在于，步骤S22包括：
S221、使用RANSAC方法根据以下公式求解出各个所述点对的概率：
其中Mt、Ma分别表示局内点的数量和数据集的数量，p表示迭代过程中选取的点集是局内点集的概率，n表示估计模型时选用的点个数，k表示迭代次数；
S222、计算所述多个点对中所述概率高于预设的概率阈值的点对的数目；
当所述数目大于数目阈值时，执行步骤S23；
当所述数目小于或等于数目阈值时，获取所述实时影像的下一帧影像并返回步骤S21。
4.根据权利要求1所述的适用于AGV舵轮的增强现实装配引导方法，其特征在于，步骤S3包括：
S31、将所述AGV舵轮三维装配动画模型放置在所述Unity3D引擎的世界坐标系原点；
S32、将所述三维注册矩阵传入所述Unity3D引擎；
S33、所述Unity3D引擎根据所述三维注册矩阵播放所述AGV舵轮三维装配动画模型。
5.根据权利要求1所述的适用于AGV舵轮的增强现实装配引导方法，其特征在于，步骤S4中，所述手势指令包括播放、暂停、回到主菜单。
6.一种适用于AGV舵轮的增强现实装配引导系统，其特征在于，包括：
摄像模块，用于获取实时影像和手势影像；所述实时影像包含AGV小车与舵轮的装配点；
演算模块，用于使用三维注册算法，结合预设的AGV舵轮三维装配动画模型，对所述实时影像中的视频帧进行演算，得到所述实时影像的三维注册矩阵；
播放模块，用于使用Unity3D引擎，结合所述三维注册矩阵，播放所述AGV舵轮三维装配动画模型，实现虚拟融合；
手势识别模块，用于使用手势识别模型识别出所述手势影像所对应的手势指令，根据所述手势指令控制所述AGV舵轮三维装配动画模型的播放。
7.根据权利要求6所述的适用于AGV舵轮的增强现实装配引导系统，其特征在于，所述演算模块包括：
匹配单元，用于使用ORB算法提取所述实时影像中的一帧影像的多个特征点，并与所述AGV舵轮三维装配动画模型进行匹配得到多个点对；
筛选单元，用于使用RANSAC方法根据概率公式筛选所述多个点对；
滤波单元，用于使用卡尔曼滤波器对筛选后的所述点对进行平滑处理；
求解单元，用于使用PNP算法结合筛选后的所述点对求解出单应性矩阵；
分解单元，用于使用SVD分解算法分解求得所述三维注册矩阵。
8.根据权利要求7所述的适用于AGV舵轮的增强现实装配引导系统，其特征在于，所述筛选单元使用RANSAC方法根据以下公式求解出各个所述点对的概率：
其中Mt、Ma分别表示局内点的数量和数据集的数量，p表示迭代过程中选取的点集是局内点集的概率，n表示估计模型时选用的点个数，k表示迭代次数；
所述筛选单元计算所述多个点对中所述概率高于预设的概率阈值的点对的数目，并在当所述数目小于或等于数目阈值时，获取所述实时影像的下一帧影像。
9.根据权利要求6所述的适用于AGV舵轮的增强现实装配引导系统，其特征在于，所述播放模块将所述AGV舵轮三维装配动画模型放置在所述Unity3D引擎的世界坐标系原点，再将所述三维注册矩阵传入所述Unity3D引擎；所述Unity3D引擎根据所述三维注册矩阵播放所述AGV舵轮三维装配动画模型。
10.根据权利要求6所述的适用于AGV舵轮的增强现实装配引导系统，其特征在于，所述手势指令包括播放、暂停、回到主菜单。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811610575.XA CN109782905A (zh) | 2018-12-27 | 2018-12-27 | 一种适用于agv舵轮的增强现实装配引导方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811610575.XA CN109782905A (zh) | 2018-12-27 | 2018-12-27 | 一种适用于agv舵轮的增强现实装配引导方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109782905A true CN109782905A (zh) | 2019-05-21 |
Family
ID=66498588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811610575.XA Pending CN109782905A (zh) | 2018-12-27 | 2018-12-27 | 一种适用于agv舵轮的增强现实装配引导方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109782905A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110928418A (zh) * | 2019-12-11 | 2020-03-27 | 北京航空航天大学 | 一种基于mr的航空线缆辅助装配方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976464A (zh) * | 2010-11-03 | 2011-02-16 | 北京航空航天大学 | 基于单应性矩阵的多平面动态的增强现实注册的方法 |
| CN104484523A (zh) * | 2014-12-12 | 2015-04-01 | 西安交通大学 | 一种增强现实诱导维修系统的实现设备与方法 |
| CN105158927A (zh) * | 2015-09-28 | 2015-12-16 | 大连楼兰科技股份有限公司 | 智能眼镜在汽车维保过程中的零件拆卸的方法 |
| CN105528082A (zh) * | 2016-01-08 | 2016-04-27 | 北京暴风魔镜科技有限公司 | 三维空间及手势识别追踪交互方法、装置和系统 |
| CN106530293A (zh) * | 2016-11-07 | 2017-03-22 | 上海交通大学 | 手工装配视觉检测防错方法及系统 |
-
2018
- 2018-12-27 CN CN201811610575.XA patent/CN109782905A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976464A (zh) * | 2010-11-03 | 2011-02-16 | 北京航空航天大学 | 基于单应性矩阵的多平面动态的增强现实注册的方法 |
| CN104484523A (zh) * | 2014-12-12 | 2015-04-01 | 西安交通大学 | 一种增强现实诱导维修系统的实现设备与方法 |
| CN105158927A (zh) * | 2015-09-28 | 2015-12-16 | 大连楼兰科技股份有限公司 | 智能眼镜在汽车维保过程中的零件拆卸的方法 |
| CN105528082A (zh) * | 2016-01-08 | 2016-04-27 | 北京暴风魔镜科技有限公司 | 三维空间及手势识别追踪交互方法、装置和系统 |
| CN106530293A (zh) * | 2016-11-07 | 2017-03-22 | 上海交通大学 | 手工装配视觉检测防错方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 徐迟: "增强现实中的三维物体注册方法及其应用研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110928418A (zh) * | 2019-12-11 | 2020-03-27 | 北京航空航天大学 | 一种基于mr的航空线缆辅助装配方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021179399A1 (zh) | 一种基于混合现实的远程操作引导系统及方法 | |
| CN107309882B (zh) | 一种机器人示教编程系统及方法 | |
| Moon et al. | V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map | |
| CN106530293B (zh) | 手工装配视觉检测防错方法及系统 | |
| CN108701429A (zh) | 提供与手术机器人进行物理交互训练的虚拟和/或增强现实 | |
| Mohr et al. | Retargeting video tutorials showing tools with surface contact to augmented reality | |
| CN105528082A (zh) | 三维空间及手势识别追踪交互方法、装置和系统 | |
| CN111694428B (zh) | 基于Kinect的手势与轨迹远程控制机器人系统 | |
| CN107608507B (zh) | 弱光条件下机车部件的选定方法及机车辅助维修系统 | |
| CN110047150A (zh) | 一种基于增强现实的复杂设备操作运行在位仿真系统 | |
| CN109352658A (zh) | 工业机器人定位操控方法、系统及计算机可读存储介质 | |
| CN105488457A (zh) | 摄影机运动控制系统在电影拍摄中的虚拟仿真方法及系统 | |
| CN103207667A (zh) | 一种人机互动的控制方法及其运用 | |
| CN106621324A (zh) | Vr游戏的交互操作方法 | |
| CN110405775A (zh) | 一种基于增强现实技术的机器人示教系统及方法 | |
| CN103649967A (zh) | 动态手势识别方法和编辑系统 | |
| CN109782905A (zh) | 一种适用于agv舵轮的增强现实装配引导方法及系统 | |
| CN106502416B (zh) | 一种智能识别双手手势的模拟驾驶系统及其控制方法 | |
| Liang et al. | Bare-hand depth perception used in augmented reality assembly supporting | |
| CN113269107A (zh) | 一种基于深度学习的交互式智能拆解装配系统 | |
| Mayer et al. | Automation of manual tasks for minimally invasive surgery | |
| CN113689756A (zh) | 基于增强现实的座舱重构系统及实现方法 | |
| CN105955488B (zh) | 一种操控终端的方法和装置 | |
| CN104238418A (zh) | 一种交互现实系统和方法 | |
| CN106527720A (zh) | 一种沉浸式交互控制方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190521 |