CN105447889A - 一种基于体感的远程虚拟歌剧指挥系统 - Google Patents

一种基于体感的远程虚拟歌剧指挥系统 Download PDF

Info

Publication number
CN105447889A
CN105447889A CN201510801902.XA CN201510801902A CN105447889A CN 105447889 A CN105447889 A CN 105447889A CN 201510801902 A CN201510801902 A CN 201510801902A CN 105447889 A CN105447889 A CN 105447889A
Authority
CN
China
Prior art keywords
bone
body sense
conductor
data
system based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510801902.XA
Other languages
English (en)
Inventor
李立杰
张龙飞
吴玉峰
丁刚毅
俞峰
杜锦
李鹏
陈洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201510801902.XA priority Critical patent/CN105447889A/zh
Publication of CN105447889A publication Critical patent/CN105447889A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于体感的远程虚拟歌剧指挥系统，在该项发明的体感模块采用骨骼追踪技术大大提高了动作数据捕捉的有效性和稳定性，指挥家可以更加简单快捷的与计算机进行交互，增强了体感感受；本发明基于三维仿真引擎的场景复现模块保证了虚拟模型的动作流畅度与准确度，其对动作数据解析的系统性和便利性有效地补偿了因网络传输过程带来的时间延迟问题，充分保证了该系统各模块动作的一致性；本发明与现有技术相比，在交互方式和交互水平上都提高到了一个新的层次，该方法及系统在未来的教育、医疗、展览等行业具有广泛的应用前景。

Description

一种基于体感的远程虚拟歌剧指挥系统
技术领域
本发明涉及动作捕捉和人机交互领域，尤其涉及一种基于体感的远程虚拟歌剧指挥系统。
背景技术
如今，体感装置在人们生活中逐渐普及开来，并且已经融入到了传统的人机交互领域，给传统的人机交互方式带来的全新的发展思路和想象空间。随着诸如Kinect等一大批新型动作捕捉设备的出现，人们能够更加方便、快捷的与虚拟空间产生交互行为。
然而，现有的歌剧指挥仍然延续了指挥家现场指挥演出的传统方式，这已经不能够满足当指挥家在客观因素制约下不能进行现场指挥的情境需求，这将大大影响歌剧的演出效果和观众的艺术体验。
发明内容
有鉴于此，本发明提供了一种基于体感的远程虚拟歌剧指挥系统，该远程虚拟歌剧指挥方法及系统通过RGBD动作捕捉设备对指挥家的指挥动作进行捕捉，并通过网络通信技术将指挥动作数据传输到歌剧演出现场，以达到指挥家异地实时指挥歌剧演出的功能。
为了解决上述技术问题，本发明是这样实现的：
本发明的一种基于体感的远程虚拟歌剧指挥系统，包括体感模块、数据传输模块和场景复现模块；
所述体感模块采用RGBD动作捕捉设备对指挥家身体上预先设定的骨骼节点的三维坐标按照设定的时间间隔分别进行捕捉，并将获取的各帧三维坐标数据送入数据传输模块；
所述数据传输模块采用Socket通信系统接收各骨骼节点的各帧三维坐标数据，并判断各骨骼节点的当前位置数据是否发生丢失或者畸形：如果否，将各骨骼节点三维坐标数据发送至所述场景复现模块；如果是，对该骨骼节点当前位置坐标进行纠正，并更新该骨骼节点的三维坐标后，将各骨骼节点三维坐标数据发送至所述场景复现模块；
所述场景复现模块构建三维仿真场景以及指挥家模型，并根据从数据传输模块接收的各骨骼节点三维坐标数据控制所述指挥家模型对应的骨骼节点移动到相应的位置，实现指挥动作的复现。
较佳的，所述RGBD动作捕捉设备可以为Kinect动作捕捉设备、Kinect2.0动作捕捉设备、AsusXtion动作捕捉设备或者IntelRealSense动作捕捉设备。
较佳的，所述确定的骨骼节点分布在头部、肩部、手部和四肢，所述骨骼节点的个数为20个。
较佳的，所述数据传输模块接收到体感模块的三维坐标数据后，首先将该三维坐标数据从所述指挥家所在的坐标系转换为指挥家模型所在的三维仿真场景坐标系下，再传输给所述场景复现模块。
较佳的，所述指挥家模型与所述指挥家的比例为1:1.
较佳的，所述三维仿真场景和指挥家模型采用LED屏幕或3D投影方式进行显示。
较佳的，所述数据传输模块根据骨骼节点三维坐标的数据传输率与所述数据捕捉的时间间隔之间的关系，判定是否出现数据丢失。
较佳的，所述数据传输模块根据接收各骨骼节点的各帧三维坐标数据形成各个骨骼节点的相互位置关系，然后基于该位置关系判断各骨骼节点的位置是否发生畸形。
较佳的，在骨骼节点坐标出现丢失或者畸形的情况下，数据传输模块对所述前、后两帧数据进行平滑并拟合，以实现对骨骼节点位置坐标的纠正。
较佳的，所述三维仿真场景和指挥家模型采用三维仿真引擎构建。
本发明具有如下有益效果：
(1)本发明提供了一种基于体感的远程虚拟歌剧指挥系统，在该项发明的体感模块采用骨骼追踪技术大大提高了动作数据捕捉的有效性和稳定性，指挥家可以更加简单快捷的与计算机进行交互，增强了体感感受；本发明基于三维仿真引擎的场景复现模块保证了虚拟模型的动作流畅度与准确度，其对动作数据解析的系统性和便利性有效地补偿了因网络传输过程带来的时间延迟问题，充分保证了该系统各模块动作的一致性；本发明与现有技术相比，在交互方式和交互水平上都提高到了一个新的层次，该方法及系统在未来的教育、医疗、展览等行业具有广泛的应用前景。
附图说明
图1为本发明的一种基于体感的远程虚拟歌剧指挥系统的原理框图。
图2为为Kinect设备可识别的人体骨骼捕捉节点示意图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种基于体感的远程虚拟歌剧指挥方法和系统，该系统的主要目的就是使指挥家能够异地实时指挥歌剧演出。如图1所示，包括：体感模块、数据传输模块和场景复现模块。
所述体感模块主要包括一个动作捕捉设备，捕捉并实时记录指挥家的指挥动作；所述数据传输模块是一个Socket通信系统，Socket通信系统将捕捉到的动作数据通过网络传输协议发送到歌剧演出现场的虚拟场景中；所述场景复现模块包括通信节点并构建三维仿真场景和虚拟的指挥家模型，指挥家本人与虚拟指挥家模型比例为1：1。通信节点接收动作数据并驱动虚拟场景中的指挥家模型，从而实现异地实时指挥演出的功能。
本发明基于RGBD动作捕捉设备完成体感交互，RGBD动作捕捉设备除了可以记录常规的RGB值，还可以记录深度数据的值，为一种深度摄像机设备。其中，动作捕捉设备可以为Kinect动作捕捉设备、Kinect2.0动作捕捉设备、AsusXtion动作捕捉设备或者IntelRealSense动作捕捉设备。动作捕捉设备完全摒弃了传统键盘鼠标的交互方式，可识别20个人体骨骼捕捉节点，利用骨骼追踪技术来建立人体各个关节的坐标，确定人体的头、手和四肢的位置，每个关节都会用相应的标识例如头部(Head)、肩部(Shoulder)等，并且使用三维空间坐标(X,Y,Z)来记录每个关节的空间位置。骨骼追踪技术为一套完整的骨骼建立骨骼追踪ID，当指挥家在动作捕捉过程中做出位移较大的动作时，骨骼追踪ID便会发挥重要作用，使动作连贯完整，从而避免丢失骨骼捕捉节点的位置信息，便于更加稳定地对指挥家的动作进行捕捉、分析和计算并将动作数据信息传输给计算机进行体感交互。
本发明在数据传输模块采用Socket通信系统，Socket通信系统将RGBD动作捕捉设备记录的骨骼动作数据传输给预先设计好的虚拟场景。Socket通信系统接收各骨骼节点的各帧三维坐标数据，并判断各骨骼节点的当前位置数据是否发生丢失或者畸形：如果否，将各骨骼节点三维坐标数据发送至所述场景复现模块；如果是，对该骨骼节点当前位置坐标进行纠正，并更新该骨骼节点的三维坐标后，将各骨骼节点三维坐标数据发送至所述场景复现模块；其中，数据传输模块根据骨骼节点三维坐标的数据传输率与所述数据捕捉的时间间隔之间的关系，当该关系出现突变，则可以判定出现数据丢失。数据传输模块根据接收各骨骼节点的各帧三维坐标数据形成各个骨骼节点的相互位置关系，由于骨骼节点的相互位置关系依赖于人体结构特征，如果不符合该特征，则可判断骨骼节点的位置发生畸形。
本发明在场景复现模块以三维仿真引擎为基础，在三位仿真引擎中编写通信节点，对Socket传输的动作数据进行解析并发布指令给虚拟指挥家模型，从而实现在虚拟场景中的指挥家动作复现。
RGBD动作捕捉设备不仅仅是一套硬件系统，同时它必须通过一套完善的软件支持来共同完成一套动作数据的顺利捕捉。当指挥家进入RGBD动作捕捉设备的捕捉视野范围内时，RGBD动作捕捉设备把指挥家人体上的20个骨骼捕捉节点的位置信息识别并记录下来，同时，骨骼追踪技术为指挥家的人体骨骼创建一套骨骼ID，保证了指挥家在做出一系列动作之后，RGBD动作捕捉设备仍然能够很好的识别和记录运动数据，避免骨骼捕捉节点信息的丢失。
eTrackingState字段描述骨骼数据状态，NUI_SKELETON_TRACKED字段描述所有骨骼捕捉节点的位置均被跟踪，Position字段描述每一个骨骼捕捉节点的中心位置，SkeletonPosition描述指挥家人体的20个捕捉节点的空间位置信息，每个节点使用X、Y、Z三个方向的值描述；SkeletonPositionTrackingState描述当前骨骼捕捉节点的跟踪状态，NUI_SKELETON_POSITION_TRACKED描述骨骼节点被成功跟踪，他的位置信息是通过当前捕捉帧计算得到的。
在场景复现模块，以三维仿真引擎作为开发基础，在虚拟模型创建的过程中建立与仿真引擎的交互机制。在三维建模软件中创建以Bip01为骨骼总节点的标准骨骼系统，编译人体角色模型chr文件，该文件包括了所有人物模型的骨骼与蒙皮信息。
根据三维仿真引擎的运行机制编译通信节点，通信节点中根据骨骼捕捉节点的个数设置输入端口数量，在该系统中设置20个输入端口intTHREAD_OPEN:intmy_open1至intmy_open20，相应的，在通信节点的输出端也有20个端口与虚拟模型的各个骨骼捕捉节点相互对应，OUT_OUTSTREAM:OUT_PX1至OUT_PX20。
通信节点在接收到动作数据之后按照各个骨骼捕捉节点的名称信息分发到虚拟模型“zhihuijia.chr”的每个骨骼节点，setSkeletonPosition、setSkeletonRotation描述重置骨骼位置信息，其相应坐标为仿真引擎中的各骨骼节点的Local坐标系。
骨骼捕捉节点收到setSkeletonPosition、setSkeletonRotation的指令，按照各个节点中心Local坐标完成相应的动作，实现场景复现。
图2所示为该系统中使用到的RGBD动作捕捉设备通过识别20个骨骼节点对指挥家动作进行捕捉，这20个节点涵盖了人体重要的运动关节，指挥家的各关节位置用(X、Y、Z)坐标表示，单位为米，坐标系为右手螺旋类型，RGBD动作捕捉设备感应器处于原点，Z方向坐标轴与Kinect感应器方向一致，Y方向是向上正方向，X方向是向左正方向。
在整个系统过程中，虚拟模型的骨骼比例、Socket通信系统的数据格式以及通信节点的指令收发对整套方法和系统起着至关重要的作用。
本发明的硬件组成部分包括：RGBD动作捕捉设备、中央处理平台、音视频输出设备。
所述中央处理平台采用Intel处理器，支持多线程技术，图形处理器采用独立显卡，组建了性能更加稳定的运行平台，满足了用户体感模块的功能需求。
所述音视频输出设备是位于场景复现模块的硬件需求，可以有LED屏幕和3D投影两种方式。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于体感的远程虚拟歌剧指挥系统，其特征在于，包括体感模块、数据传输模块和场景复现模块；
所述体感模块采用RGBD动作捕捉设备对指挥家身体上预先设定的骨骼节点的三维坐标按照设定的时间间隔分别进行捕捉，并将获取的各帧三维坐标数据送入数据传输模块；
所述数据传输模块采用Socket通信系统接收各骨骼节点的各帧三维坐标数据，并判断各骨骼节点的当前位置数据是否发生丢失或者畸形：如果否，将各骨骼节点三维坐标数据发送至所述场景复现模块；如果是，对该骨骼节点当前位置坐标进行纠正，并更新该骨骼节点的三维坐标后，将各骨骼节点三维坐标数据发送至所述场景复现模块；
所述场景复现模块构建三维仿真场景以及指挥家模型，并根据从数据传输模块接收的各骨骼节点三维坐标数据控制所述指挥家模型对应的骨骼节点移动到相应的位置，实现指挥动作的复现。
2.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述RGBD动作捕捉设备可以为Kinect动作捕捉设备、Kinect2.0动作捕捉设备、AsusXtion动作捕捉设备或者IntelRealSense动作捕捉设备。
3.如权利要求2所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述确定的骨骼节点分布在头部、肩部、手部和四肢，所述骨骼节点的个数为20个。
4.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述数据传输模块接收到体感模块的三维坐标数据后，首先将该三维坐标数据从所述指挥家所在的坐标系转换为指挥家模型所在的三维仿真场景坐标系下，再传输给所述场景复现模块。
5.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述指挥家模型与所述指挥家的比例为1:1。
6.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述三维仿真场景和指挥家模型采用LED屏幕或3D投影方式进行显示。
7.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述数据传输模块根据骨骼节点三维坐标的数据传输率与所述数据捕捉的时间间隔之间的关系，判定是否出现数据丢失。
8.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述数据传输模块根据接收各骨骼节点的各帧三维坐标数据形成各个骨骼节点的相互位置关系，然后基于该位置关系判断各骨骼节点的位置是否发生畸形。
9.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，在骨骼节点坐标出现丢失或者畸形的情况下，数据传输模块对所述前、后两帧数据进行平滑并拟合，以实现对骨骼节点位置坐标的纠正。
10.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述三维仿真场景和指挥家模型采用三维仿真引擎构建。
CN201510801902.XA 2015-11-19 2015-11-19 一种基于体感的远程虚拟歌剧指挥系统 Pending CN105447889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510801902.XA CN105447889A (zh) 2015-11-19 2015-11-19 一种基于体感的远程虚拟歌剧指挥系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510801902.XA CN105447889A (zh) 2015-11-19 2015-11-19 一种基于体感的远程虚拟歌剧指挥系统

Publications (1)

Publication Number Publication Date
CN105447889A true CN105447889A (zh) 2016-03-30

Family

ID=55558021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510801902.XA Pending CN105447889A (zh) 2015-11-19 2015-11-19 一种基于体感的远程虚拟歌剧指挥系统

Country Status (1)

Country Link
CN (1) CN105447889A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197501A (zh) * 2019-05-29 2019-09-03 海信集团有限公司 图像处理方法和设备
CN110647242A (zh) * 2019-09-18 2020-01-03 恒信东方文化股份有限公司 一种数据传输方法及其系统
CN113058258A (zh) * 2021-04-22 2021-07-02 杭州当贝网络科技有限公司 基于玩家游戏预期体感动作识别方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103543830A (zh) * 2013-10-28 2014-01-29 四川大学 一种人体骨骼点映射至立体显示中虚拟三维空间点的方法
CN103747196A (zh) * 2013-12-31 2014-04-23 北京理工大学 一种基于Kinect传感器的投影方法
CN103824326A (zh) * 2014-03-05 2014-05-28 北京工业大学 一种动态的人体三维建模方法
CN104771892A (zh) * 2015-04-02 2015-07-15 深圳市虚拟现实科技有限公司 基于虚拟现实的同步显示方法和系统
CN104933734A (zh) * 2015-06-26 2015-09-23 西安理工大学 一种基于多kinect的人体姿态数据融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103543830A (zh) * 2013-10-28 2014-01-29 四川大学 一种人体骨骼点映射至立体显示中虚拟三维空间点的方法
CN103747196A (zh) * 2013-12-31 2014-04-23 北京理工大学 一种基于Kinect传感器的投影方法
CN103824326A (zh) * 2014-03-05 2014-05-28 北京工业大学 一种动态的人体三维建模方法
CN104771892A (zh) * 2015-04-02 2015-07-15 深圳市虚拟现实科技有限公司 基于虚拟现实的同步显示方法和系统
CN104933734A (zh) * 2015-06-26 2015-09-23 西安理工大学 一种基于多kinect的人体姿态数据融合方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
余涛: "《Kinect应用开发实战 用最自然的方式与机器对话》", 31 January 2013 *
刘泳慷 等: "动态舞台数字仿真及控制系统的设计与实现", 《计算机仿真》 *
李敏: "基于Kinect体感技术的体育舞蹈互动教学开发", 《山西电子技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197501A (zh) * 2019-05-29 2019-09-03 海信集团有限公司 图像处理方法和设备
CN110197501B (zh) * 2019-05-29 2021-09-28 海信集团有限公司 图像处理方法和设备
CN110647242A (zh) * 2019-09-18 2020-01-03 恒信东方文化股份有限公司 一种数据传输方法及其系统
CN110647242B (zh) * 2019-09-18 2023-05-12 恒信东方文化股份有限公司 一种数据传输方法及其系统
CN113058258A (zh) * 2021-04-22 2021-07-02 杭州当贝网络科技有限公司 基于玩家游戏预期体感动作识别方法、系统及存储介质
CN113058258B (zh) * 2021-04-22 2024-04-19 杭州当贝网络科技有限公司 基于玩家游戏预期体感动作识别方法、系统及存储介质

Similar Documents

Publication Publication Date Title
JP7061694B2 (ja) 画像処理方法および装置、画像機器、ならびに記憶媒体
CN109003301B (zh) 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练系统
US20160225188A1 (en) Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment
CN207397530U (zh) 用于变电站培训的虚拟现实头盔式的沉浸式多人协同训练装置
CN102945564A (zh) 基于视频透视式增强现实的真三维建模系统和方法
CN105488457A (zh) 摄影机运动控制系统在电影拍摄中的虚拟仿真方法及系统
CN105617658A (zh) 基于真实室内环境的多人移动射击游戏系统
Tsai et al. Unity game engine: Interactive software design using digital glove for virtual reality baseball pitch training
CN105447889A (zh) 一种基于体感的远程虚拟歌剧指挥系统
Joslin et al. Trends in networked collaborative virtual environments
Novak-Marcincin et al. Application of virtual and augmented reality technology in education of manufacturing engineers
CN113689756A (zh) 基于增强现实的座舱重构系统及实现方法
Wang A Brief Analysis of the Development of Chinese Virtual Idol Industry Empowered by 5G+ Motion Capture Technology——Taking the Virtual Idol Group A-SOUL as an Example
CN203825856U (zh) 配电仿真训练系统
CN115222847A (zh) 一种基于神经网络的动画数据生成方法、装置及相关产品
Zeng et al. Research status of data application based on optical motion capture technology
Zhu et al. Design and Implementation of Digital Circuit Virtual Simulation Experimental System Based on Serious Games
Vellingiri et al. SCeVE: A component-based framework to author mixed reality tours
Shanmin et al. Motion control of virtual human based on optical motion capture in immersive virtual maintenance system
Northam et al. Rtfx: On-set previs with unrealengine3
Li et al. Anchor‐based crowd formation transformation
CN113633937A (zh) 虚拟现实上肢康复作业治疗系统
HanbyulJoo et al. Panoptic studio: A massively multiview system for social interaction capture
Zhu et al. Integrated Co-Designing Using Building Information Modeling and Mixed Reality with Erased Backgrounds for Stock Renovation
Yu et al. Application of kinect-based motion recognition algorithm in cultural tourism

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160330

WD01 Invention patent application deemed withdrawn after publication