CN103942384A - 基于头盔显示器的动态飞机装配场景实时立体可视化方法 - Google Patents
基于头盔显示器的动态飞机装配场景实时立体可视化方法 Download PDFInfo
- Publication number
- CN103942384A CN103942384A CN201410154177.7A CN201410154177A CN103942384A CN 103942384 A CN103942384 A CN 103942384A CN 201410154177 A CN201410154177 A CN 201410154177A CN 103942384 A CN103942384 A CN 103942384A
- Authority
- CN
- China
- Prior art keywords
- real
- time
- scene
- main control
- mounted display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
基于头盔显示器的动态飞机装配场景实时立体可视化方法，它有五大步骤：一、启动位置跟踪器、计算机网络集群中的主控机和受控机、无线路由器以及头盔显示器；二、用户戴上头盔显示器坐于主控机前方，打开主控机中的飞机装配场景实时立体可视化软件，软件运行过程中会实时获取位置跟踪器的数据，并向受控机发送数据；三、用户通过键盘控制视点的位置，通过头部的转动控制视角方向查看动态装配仿真场景；四、在主控机程序运行过程中，用户打开受控机上的可视化程序，该程序接收主控机发送过来的视点数据用以驱动视点模型，通过鼠标操作实现第三人称视角对飞机装配场景的实时查看；五、仿真过程结束，分别退出主控机和受控机中的可视化程序。
Description
技术领域
本发明涉及一种基于头盔显示器的动态飞机装配场景实时立体可视化方法，具体涉及一种虚拟现实（Virtual Reality,简称VR）领域的动态飞机装配场景建模方法以及基于头盔显示器和位置跟踪器的实时立体可视化方法，属于计算机辅助设计制造和计算机图形学可视化技术领域。
背景技术
随着计算机技术的发展，如硬件技术、软件技术和多媒体技术的发展，传统的视听、感觉和触觉不再能满足人们对世界的观察和认识，而是对此提出了更高的要求，虚拟现实技术应时而生。虚拟现实是由美国VPL公司创建人拉尼尔(Jaron Lanier)于上世纪80年代初提出的，是一种综合应用各种技术制造逼真的人工模拟环境，并能有效地模拟人在自然环境中的各种感知系统行为的人机交互技术。虚拟现实系统通过为用户提供视觉、听觉、触觉等多种直观、实时的感知交互的方法与手段，相当大程度的方便了用户的操作，减轻了用户的负担。
在大型飞机设计制造关键技术中，飞机装配技术是其中最重要的环节之一。飞机装配过程的所需的工作量大约占整个飞机制造过程的30～40%，而且质量要求较高，技术难度比较大，飞机装配的准确度直接决定着飞机制造的准确度，装配的质量、效率也影响着整个飞机的性能指标和生产成本。为了提高装配的质量和效率以及缩短生产周期，发达国家已普遍采用柔性数字化装配与数字仿真技术。如波音飞机公司在其波音777飞机的设计中，研制了一个名为“先进计算机图形交互应用系统”的虚拟环境，用VR技术在此环境中建立飞机的三维模型，戴上头盔显示器的人可以在虚拟环境中的飞机中遨游，检查“飞机”的各项性能，还可以检查各个设备的安装情况是否符合要求等，实际制造出来的飞机与设计方案相比，偏差小于千分之一，机翼和机身的结合一次成功，缩短了数千个小时的设计工作量，大大缩短了生产周期，降低了成本。
已有的相关研究存在一些问题：第一，只有静态场景模型的可视化，不能很好的模拟真实的装配场景；第二，系统对硬件要求较高，操作复杂，且不能实现多视角之间的切换。因此有必要开发一套通用、模拟逼真的飞机装配实时立体可视化系统。本发明所提出的装配场景模型为可以在普通计算机上实现的动态装配场景模型，可以逼真的模拟飞机制造过程中的装配现场环境。
发明内容
本发明的目的在于提供基于头盔显示器的动态飞机装配场景实时立体可视化方法，它是一种模拟飞机装配动态场景并基于头盔显示器实时立体可视化的方法，以解决现有模拟飞机装配场景系统中无法实现逼真的装配场景动态建模，对硬件要求高，操作复杂等问题。
本发明基于头盔显示器的动态飞机装配场景实时立体可视化方法，包括如下步骤：
步骤一：启动系统中的所有设备，包括位置跟踪器、计算机网络集群中的主控机和受控机、无线路由器以及头盔显示器。
步骤二：用户戴上头盔显示器坐于主控机前方，打开主控机中的飞机装配场景实时立体可视化软件，软件运行过程中会实时获取位置跟踪器的数据，并向受控机发送数据。
步骤三：用户通过键盘控制视点的位置，通过头部的转动控制视角方向查看动态装配仿真场景。
步骤四：在主控机程序运行过程中，用户可打开受控机上的可视化程序，该程序接收主控机发送过来的视点数据用以驱动视点模型，通过鼠标操作可以实现第三人称视角对飞机装配场景的实时查看。
步骤五：仿真过程结束，分别退出主控机和受控机中的可视化程序。
其中，在步骤一中所述的头盔显示器为目前主流的军用或民用的、支持三维立体显示的头戴式显示器。
其中，在步骤一中所述的位置跟踪器为至少能够提供动态实时方位数据的空间跟踪与定位装置。
其中，在步骤一中所述的无线路由器提供至少主控机和受控机数量总和的LAN接口，主控机和受控机通过这些接口进行互联。
其中，在步骤二中所述的主控机为与头盔显示器相连的主机。
其中，在步骤二中所述的主控机中的飞机装配场景实时立体可视化软件起到模拟动态装配场景和实时立体可视化的作用，其流程图如图3所示，其功能包括加载场景模型、离线加载人体动作数据文件并制作路径、实时收集位置跟踪器方位数据并向受控机发送数据、根据键盘的输入改变视点位置、对动态场景进行实时三维立体可视化。
其中，在步骤三中所述的通过头部的转动，主控机中的可视化软件可根据视点位置和方位信息实时更新需要显示的场景，并三维立体化显示。
其中，在步骤四中所述的受控机上的可视化程序，起到第三人称视角辅助观察的作用，功能包括加载场景模型、离线加载人体动作数据文件并制作路径、接收主控机上发送的数据并驱动视点模型、通过鼠标移动、旋转和缩放动态模型。
本发明基于头盔显示器的动态飞机装配场景实时立体可视化方法，其优点和功效在于：通过数据衣（数据衣是为采集人体动作信息而设计的人体动作采集装置，采集的动作数据至少包括人体23个主要骨骼的位置和方位信息）采集的动作数据驱动人体模型制作动态装配场景，可以更加逼真的模拟飞机制造过程中的装配现场环境；通过加载不同的动作数据即可控制场景中的人做出不同的动作，人的动作修改简单方便；实时三维立体显示的效果可以使用户完全沉浸到虚拟飞机装配场景中去，提供良好的用户体验。
附图说明
图1是本发明所提出的基于头盔显示器的动态飞机装配场景实时立体可视化系统的操作流程图。
图2是本发明所提出的基于头盔显示器的动态飞机装配场景实时立体可视化方法的系统组成示意图。
图3是本发明所提出的安装于主控机的飞机装配场景实时立体可视化软件流程图。
图4是本发明所提出的安装于受控机的飞机装配场景实时立体可视化软件流程图。
图1中具体标号如下：
1计算机集群网络中的主控机；
2计算机集群网络中的受控机（图中只画出了一台，可按需要增加）
3头盔显示器；4普通显示器；5无线路由器；6位置跟踪器；
7主控机和受控机通过网线接入计算机集群网络；
8、9、10连接线。
具体实施方式
本发明基于头盔显示器的动态飞机装配场景实时立体可视化方法，如图1所示，包括如下步骤：
步骤一：启动系统中的所有设备。本发明方法中使用的所有硬件设备如图2所示，包括：计算机（其中包括计算机集群网络中的主控机1和受控机2）、头盔显示器3、普通显示器4、无线路由器5、位置跟踪器6等，计算机（包括主控机1和受控机2）分别通过连接线8、9与头盔显示器3和普通显示器4相连，位置跟踪器6通过连接线10与主控机1相连。无线路由器5通过LAN接口7将主控机1和受控机2互联，满足它们之间实时快速信息交换的需求。
步骤二：用户戴上头盔显示器3坐于主控机1前方，打开主控机1中的飞机装配场景实时立体可视化软件，如图3所示，软件运行过程中会实时获取位置跟踪器6的数据，并向受控机2发送数据。
步骤三：用户通过键盘控制视点的位置，通过头部的转动控制视角方向查看动态装配仿真场景。
步骤四：在主控机1程序运行过程中，用户可打开受控机2上的可视化软件，如图4所示，该程序接收主控机1发送过来的视点数据用以驱动视点模型，通过鼠标操作可以实现第三人称视角对飞机装配场景的实时查看。
步骤五：仿真过程结束，分别退出主控机1和受控机2中的可视化程序。
其中，在步骤一中所述的头盔显示器3为目前主流的军用或民用的、支持三维立体显示的头戴式显示器。
其中，在步骤一中所述的位置跟踪器6为至少能够提供动态实时方位数据的空间跟踪与定位装置。
其中，在步骤一中所述的无线路由器5提供至少主控机1和受控机2数量总和的LAN接口，主控机1和受控机2通过这些接口进行互联。
其中，在步骤二中所述的主控机1为与头盔显示器3相连的主机。
其中，在步骤二中所述的主控机1中的飞机装配场景实时立体可视化软件起到模拟动态装配场景和实时立体可视化的作用，其流程图如图3所示，其功能包括加载场景模型、离线加载人体动作数据文件并制作路径、实时收集位置跟踪器6方位数据并向受控机2发送数据、根据键盘的输入改变视点位置、对动态场景进行实时三维立体可视化。
其中，在步骤三中所述的用户头部转动过程中，主控机1中的可视化软件可根据视点位置和方位信息实时更新需要显示的场景，并三维立体化显示。
其中，在步骤四中所述的受控机2上的可视化软件，起到第三人称视角辅助观察的作用，功能包括加载场景模型、离线加载人体动作数据文件并制作路径、接收主控机1上发送的数据并驱动视点模型、通过鼠标移动、旋转和缩放动态模型。
发明方法中使用的软件平台包括操作系统（Windows或者Linux操作系统）、网卡、显卡以及对应的驱动程序等已有通用软件技术平台和基于OSG自主开发的安装于每台计算机上的飞机装配场景实时立体可视化软件。
图1是本发明所提出的基于头盔显示器的动态飞机装配场景实时立体可视化方法的操作流程图。首先启动系统中的所有设备，包括位置跟踪器6、计算机网络集群中的主控机1、无线路由器5以及头盔显示器3；用户戴上头盔显示器3坐于主控机1前方；打开主控机1中的飞机装配场景实时立体可视化软件；通过键盘的操作和头部的运动控制视角的位置和方向浏览场景，直到仿真结束为止；如需第三人称视角浏览，打开受控机2中的机装配场景实时立体可视化软件；通过鼠标操作变换视角浏览场景，直到仿真结束；分别关闭主控机1和受控机2中的软件。
图2是本发明中基于头盔显示器的动态飞机装配场景实时立体可视化系统的系统组成示意图。图中主控机1和受控机2通过网线连接到无线路由器5，组成一个简单的计算机集群网络（受控机数量可按需要添加）。操作者通过连接到主控机1上的位置跟踪器6和键盘控制试点的位置和方位，从而实现视角的改变，在头盔显示器3中绘制立体显示的结果，完成一帧的绘制过程，同时主控机1中的程序将视角的数据传送到受控机2以驱动受控机2中的视点模型。
图3是本发明所提出的安装于主控机的飞机装配场景实时立体可视化软件流程图。首先启动系统中的所有设备，包括位置跟踪器6、计算机网络集群中的主控机1、无线路由器5以及头盔显示器3；然后加载飞机装配场景模型，根据读取的人体动作控制数据文件创建动态场景；加载视点模型，并根据位置跟踪器6采集的信息和键盘的控制设置视点的位置和方位；然后根据视点的设置绘制立体显示效果的动态场景并输出至头盔显示器3，直到用户手动退出程序为止。
图4是本发明所提出的安装于受控机2的飞机装配场景实时立体可视化软件流程图。首先检查受控机2与主控机1通讯是否正常，保证受控机2能接收主控机1发送的数据，并完成网络设置初始化；然后加载虚拟飞机装配场景模型，根据读取的人体动作控制数据文件创建动态场景；加载视点模型，接收主控机1发送的数据；然后根据接收到的视点数据驱动视点模型运动；根据鼠标的操作设置视角并绘制动态场景输出到普通显示器4，直到无法接收到主控机1发送的数据或用户手动退出程序为止。
本发明实现了基于头盔显示器3的动态飞机装配场景实时立体可视化，通过数据衣采集的动作数据驱动人体模型制作动态装配场景，可以更加逼真的模拟飞机制造过程中的装配现场环境；通过加载不同的动作数据即可控制场景中的人做出不同的动作，人的动作修改简单方便；实时三维立体显示的效果可以使用户完全沉浸到虚拟飞机装配场景中去，提供良好的用户体验。
Claims (8)
1.基于头盔显示器的动态飞机装配场景实时立体可视化方法，其特征在于：包括如下步骤：
步骤一：启动系统中的所有设备，包括位置跟踪器、计算机网络集群中的主控机和受控机、无线路由器以及头盔显示器；
步骤二：用户戴上头盔显示器坐于主控机前方，打开主控机中的飞机装配场景实时立体可视化软件，软件运行过程中会实时获取位置跟踪器的数据，并向受控机发送数据；
步骤三：用户通过键盘控制视点的位置，通过头部的转动控制视角方向查看动态装配仿真场景；
步骤四：在主控机程序运行过程中，用户打开受控机上的可视化程序，该程序接收主控机发送过来的视点数据用以驱动视点模型，通过鼠标操作实现第三人称视角对飞机装配场景的实时查看；
步骤五：仿真过程结束，分别退出主控机和受控机中的可视化程序。
2.根据权利要求1所述的基于头盔显示器的动态飞机装配场景实时立体可视化方法，其特征在于：在步骤一中所述的头盔显示器为军用或民用的支持三维立体显示的头戴式显示器。
3.根据权利要求1所述的基于头盔显示器的动态飞机装配场景实时立体可视化方法，其特征在于：在步骤一中所述的位置跟踪器为至少能够提供动态实时方位数据的空间跟踪与定位装置。
4.根据权利要求1所述的基于头盔显示器的动态飞机装配场景实时立体可视化方法，其特征在于：在步骤一中所述的无线路由器提供至少主控机和受控机数量总和的LAN接口，主控机和受控机通过这些接口进行互联。
5.根据权利要求1所述的基于头盔显示器的动态飞机装配场景实时立体可视化方法，其特征在于：在步骤二中所述的主控机为与头盔显示器相连的主机。
6.根据权利要求1所述的基于头盔显示器的动态飞机装配场景实时立体可视化方法，其特征在于：在步骤二中所述的主控机中的飞机装配场景实时立体可视化软件起到模拟动态装配场景和实时立体可视化的作用，其功能包括加载场景模型、离线加载人体动作数据文件并制作路径、实时收集位置跟踪器方位数据并向受控机发送数据、根据键盘的输入改变视点位置、对动态场景进行实时三维立体可视化。
7.根据权利要求1所述的基于头盔显示器的动态飞机装配场景实时立体可视化方法，其特征在于：在步骤三中所述的通过头部的转动，主控机中的可视化软件可根据视点位置和方位信息实时更新需要显示的场景，并三维立体化显示。
8.根据权利要求1所述的基于头盔显示器的动态飞机装配场景实时立体可视化方法，其特征在于：在步骤四中所述的受控机上的可视化程序，起到第三人称视角辅助观察的作用，功能包括加载场景模型、离线加载人体动作数据文件并制作路径、接收主控机上发送的数据并驱动视点模型、通过鼠标移动、旋转和缩放动态模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410154177.7A CN103942384A (zh) | 2014-04-17 | 2014-04-17 | 基于头盔显示器的动态飞机装配场景实时立体可视化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410154177.7A CN103942384A (zh) | 2014-04-17 | 2014-04-17 | 基于头盔显示器的动态飞机装配场景实时立体可视化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103942384A true CN103942384A (zh) | 2014-07-23 |
Family
ID=51190052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410154177.7A Pending CN103942384A (zh) | 2014-04-17 | 2014-04-17 | 基于头盔显示器的动态飞机装配场景实时立体可视化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103942384A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106484982A (zh) * | 2016-09-30 | 2017-03-08 | 理原车辆技术研发（苏州）有限公司 | 汽车产品开发过程中基于虚拟现实的设计方法及vr系统 |
| CN107632700A (zh) * | 2017-08-01 | 2018-01-26 | 中国农业大学 | 一种基于虚拟现实的农具展馆体验系统和方法 |
| WO2018129664A1 (zh) * | 2017-01-10 | 2018-07-19 | 深圳市柔宇科技有限公司 | 显示内容的调整方法、系统及头戴式显示设备 |
| WO2019037040A1 (zh) * | 2017-08-24 | 2019-02-28 | 腾讯科技（深圳）有限公司 | 基于虚拟现实应用录制视频的方法、终端设备及存储介质 |
| CN117311562A (zh) * | 2023-11-28 | 2023-12-29 | 北京蓝天航空科技股份有限公司 | 基于鼠标控制的航空模拟器视景视角实时控制方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040059550A1 (en) * | 2002-09-19 | 2004-03-25 | Lee Jae Yeol | Method for generating progressive solid models based on cellular topology |
| CN103164584A (zh) * | 2013-03-29 | 2013-06-19 | 江西洪都航空工业集团有限责任公司 | 基于关键特性的协调准确度计算方法 |
| CN103258086A (zh) * | 2013-04-27 | 2013-08-21 | 哈尔滨飞机工业集团有限责任公司 | 一种工装刚度分析方法 |
| CN103258078A (zh) * | 2013-04-02 | 2013-08-21 | 上海交通大学 | 融合Kinect设备和Delmia环境的人机交互虚拟装配系统 |
| CN103678737A (zh) * | 2012-09-07 | 2014-03-26 | 中国飞机强度研究所 | 一种杠杆系统虚拟装配方法 |
-
2014
- 2014-04-17 CN CN201410154177.7A patent/CN103942384A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040059550A1 (en) * | 2002-09-19 | 2004-03-25 | Lee Jae Yeol | Method for generating progressive solid models based on cellular topology |
| CN103678737A (zh) * | 2012-09-07 | 2014-03-26 | 中国飞机强度研究所 | 一种杠杆系统虚拟装配方法 |
| CN103164584A (zh) * | 2013-03-29 | 2013-06-19 | 江西洪都航空工业集团有限责任公司 | 基于关键特性的协调准确度计算方法 |
| CN103258078A (zh) * | 2013-04-02 | 2013-08-21 | 上海交通大学 | 融合Kinect设备和Delmia环境的人机交互虚拟装配系统 |
| CN103258086A (zh) * | 2013-04-27 | 2013-08-21 | 哈尔滨飞机工业集团有限责任公司 | 一种工装刚度分析方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王林林: "Virtools在飞机装配维修中的应用研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106484982A (zh) * | 2016-09-30 | 2017-03-08 | 理原车辆技术研发（苏州）有限公司 | 汽车产品开发过程中基于虚拟现实的设计方法及vr系统 |
| WO2018129664A1 (zh) * | 2017-01-10 | 2018-07-19 | 深圳市柔宇科技有限公司 | 显示内容的调整方法、系统及头戴式显示设备 |
| CN107632700A (zh) * | 2017-08-01 | 2018-01-26 | 中国农业大学 | 一种基于虚拟现实的农具展馆体验系统和方法 |
| WO2019037040A1 (zh) * | 2017-08-24 | 2019-02-28 | 腾讯科技（深圳）有限公司 | 基于虚拟现实应用录制视频的方法、终端设备及存储介质 |
| CN109952757A (zh) * | 2017-08-24 | 2019-06-28 | 腾讯科技（深圳）有限公司 | 基于虚拟现实应用录制视频的方法、终端设备及存储介质 |
| CN109952757B (zh) * | 2017-08-24 | 2020-06-05 | 腾讯科技（深圳）有限公司 | 基于虚拟现实应用录制视频的方法、终端设备及存储介质 |
| US11000766B2 (en) | 2017-08-24 | 2021-05-11 | Tencent Technology (Shenzhen) Company Limited | Video recording method based on virtual reality application, terminal device, and storage medium |
| CN117311562A (zh) * | 2023-11-28 | 2023-12-29 | 北京蓝天航空科技股份有限公司 | 基于鼠标控制的航空模拟器视景视角实时控制方法及装置 |
| CN117311562B (zh) * | 2023-11-28 | 2024-02-20 | 北京蓝天航空科技股份有限公司 | 基于鼠标控制的航空模拟器视景视角实时控制方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yavrucuk et al. | A low cost flight simulator using virtual reality tools | |
| CN103942384A (zh) | 基于头盔显示器的动态飞机装配场景实时立体可视化方法 | |
| US20160225188A1 (en) | Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment | |
| CN106600709A (zh) | 基于装修信息模型的vr虚拟装修方法 | |
| CN102651180B (zh) | 一种基于osg的电工电子虚拟实验仿真系统 | |
| CN106780421A (zh) | 基于全景平台的装修效果展示方法 | |
| CN102566441A (zh) | 用于无人机的可视仿真试验系统 | |
| CN111522254B (zh) | 水陆两栖灭火飞机半物理投汲水灭火仿真评估系统 | |
| CN106781809A (zh) | 一种针对直升机应急救援任务的训练方法和系统 | |
| CN102567922A (zh) | 基于bim网络技术的建筑工程管理系统平台及应用方法 | |
| Viertler et al. | Requirements and design challenges in rotorcraft flight simulations for research applications | |
| CN107464465A (zh) | 一种主动式应急撤离虚拟训练系统 | |
| CN204129662U (zh) | 一种基于背面投影的虚拟交互场景系统 | |
| CN103680248A (zh) | 船舶机舱虚拟现实仿真系统 | |
| CN102456281A (zh) | 一种飞机机务信息处理方法 | |
| CN104751692B (zh) | 一种虚实同步的装备训练模拟器 | |
| CN111369861A (zh) | 一种基于虚拟现实技术的模拟战斗机驾驶系统及方法 | |
| CN110321092A (zh) | 向单个显示频率同步视频输出 | |
| CN110827598B (zh) | 一种电子战装备虚拟操作训练系统及其训练方法 | |
| CN204066193U (zh) | 一种视景生成器 | |
| CN202838435U (zh) | 基于bim网络技术的建筑工程管理系统平台 | |
| Canadinc et al. | 3D-Model-Based Augmented Reality for Enhancing Physical Architectural Models | |
| Yili et al. | 3D scene simulation of UAVs formation flight based on FlightGear simulator | |
| WO2020124253A1 (en) | Dynamically adjusting image characteristics in real-time | |
| Xiyun et al. | Application of virtual reality technology in nuclear power plant control room simulator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140723 |
|
| RJ01 | Rejection of invention patent application after publication |