CN108335364A - 一种基于全息投影的三维场景显示方法 - Google Patents

一种基于全息投影的三维场景显示方法 Download PDF

Info

Publication number
CN108335364A
CN108335364A CN201810063670.6A CN201810063670A CN108335364A CN 108335364 A CN108335364 A CN 108335364A CN 201810063670 A CN201810063670 A CN 201810063670A CN 108335364 A CN108335364 A CN 108335364A
Authority
CN
China
Prior art keywords
holographic projections
line holographic
human eye
metope
display methods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810063670.6A
Other languages
English (en)
Inventor
徐枫
陈建武
肖谋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yi Intelligent Technology Co Ltd
Original Assignee
Beijing Yi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yi Intelligent Technology Co Ltd filed Critical Beijing Yi Intelligent Technology Co Ltd
Priority to CN201810063670.6A priority Critical patent/CN108335364A/zh
Publication of CN108335364A publication Critical patent/CN108335364A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本发明公开一种基于全息投影的三维场景显示方法，涉及全息投影技术、数字图像处理技术以及人眼追踪技术领域，包括如下步骤：S1：计算人眼在投影的全息图像中的关注区域；S2：根据人眼关注区域生成新的全息图像；S3：在全息投影起墙面对新的全息图像重新进行投影；其中，S1中，所述的全息图像投影在全息投影墙面上，所述墙面分为多个区域，每一个区域对应一个投影设备；S3中，观看者需要佩戴矫正目镜，所述全息投影墙面包括墙面光源、光源形式调节器和空间光调制器SLM。本发明解决了现有的三维场景显示方法或者装置容易让人产生眩晕、与多人互动性差的问题。

Description

一种基于全息投影的三维场景显示方法
技术领域
本发明涉及全息投影技术、数字图像处理技术以及人眼追踪技术领域，尤其涉及一种基于全息投影的三维场景显示方法。
背景技术
全息投影技术(front-projected holographic display)是一种利用光线干涉原理记录全息照片并利用衍射原理再现真实物体影像的三维显示技术。随着低成本固体激光器的大规模发展和高速数字图像计算设备的普及，全息投影技术发展出了透射式全息投影、反射式全息投影、像面式全息投影以及彩虹式全息投影等几种不同技术门类。除了全息投影技术之外，目前应用到实际领域的其它三维显示技术有:
虚拟现实技术(virtual reality):这是一种使用头戴式显示设备在用户左右眼渲染不同图像产生三维效果的显示技术，目前有Oculus，Daydream等市场级的VR设备。但是，由于VR原理上仅仅在左右眼显示不同的平面图像而由人脑自动合成三维场景，因此会造成用户生理排斥反应等问题。
增强现实技术(augmented reality):是一种使用计算机合成方法或者光学透视器件将现实场景与虚拟世界信息集成的三维显示技术，目前有Google glass等市场级AR设备。但是由于目前的增强现实技术所依托的近眼投影设备尚不成熟，三维显示的画面细节以及视角范围(FOV)仍然有待提高。
基于以上三维显示装置的缺点，本专利提出一种基于全息投影技术的三维场景显示装置。该装置能够通过摄像头追踪人眼位置并确定人眼的关注区域，并采用计算全息成像方法，通过所需显示场景计算并在SLM(spatial light modulator空间式光调制器)墙面生成相应衍射光圈，并通过SLM墙面后的投影仪将三维光线信息投影到人眼处，用户通过近眼设备调整像差后进行观看。
发明内容
本发明的目的在于：为解决现有的三维场景显示方法或者装置容易让人产生眩晕、与多人互动性差的问题，本发明提供一种基于全息投影的三维场景显示方法。
本发明的技术方案如下：
一种基于全息投影的三维场景显示方法，包括如下步骤：
S1：计算人眼在投影的全息图像中的关注区域；
S2：根据人眼关注区域生成新的全息图像；
S3：在全息投影起墙面对新的全息图像重新进行投影；
其中，S1中，所述的全息图像投影在全息投影墙面上，所述墙面分为多个区域，每一个区域对应一个投影设备；
S3中，观看者需要佩戴矫正目镜，所述全息投影墙面包括墙面光源、光源形式调节器和空间光调制器SLM。
具体地，所述S1具体包括：
S11：对人脸位置进行检测；
S12：确定人脸位置后，再对人眼进行检测；
S13：对人眼进行追踪；
S14：确定人眼视线的方向；
S15:求解人眼的位置；
S16：确定人眼关注区域。
具体地，所述S11的具体过程为：用Adaboost算法将大量提取到的Harr特征整合，训练人脸分类器，再利用Adaboost算法得到的层叠分类器进行人脸检测。
具体地，所述S12的具体过程为：用Adaboost算法将大量提取到的Harr特征整合，训练人眼分类器，再利用Adaboost算法得到的层叠分类器进行人眼检测。
具体地，所述S13的具体步骤为：
S131：将眼睛的运动特征用位置和速度来表示，用Kalman的计算方法进行计算得到特征值；
S132：利用Kalman滤波计算出来的特征值作为Meanshift迭代运算的初始值，在当前帧搜索与人眼亮度分布最相似的潜在目标；这两者之间的亮度模板相似程度用Bhattacharyya距离来度量，
其中，Y为潜在目标的中心位置，u为颜色向量，qu为概率分布，pu(y)为位置y的潜在目标的特征概率分布。
具体地，所述S14的具体步骤为：
S141：通过头部的姿势和眼角与眼睛中心的“偏移量”计算得出眼球中心的位置；
S142：由眼球的半径以及眼球的位置，利用Hough变幻检测出虹膜的位置，确定其中心；
S143:根据眼球中心和虹膜中心的3D坐标，确定视线方向向量。
具体地，
所述S2包括如下步骤：
S21：采样计算，由计算机模拟所需展示场景在全息平面上的光场分布，对光场分布进行采样并转化为离散序列；
S22：数据编码；将每个采样值通过复值的形式耦合振幅以及相位信息，使用数据编码将复值函数编码为实值函数。
具体地，所述S3中，将编码后的全息图通过SLM墙面进行显示，具体的步骤为：
S31：采用墙面向外发射均匀散射光；
S32：通过光源形式调节器调节散射光光阑的大小，产生不同投影可视范围；
S33：空间光调制器接收S22中的编码数据，通过编程算法控制，生成实时变化的衍射纹样，进而完成投影墙面进行全息投影；
S34：使用者佩戴校正目镜收束离轴光线，并对视野边缘的成像像差进行校正。
采用上述方案后，本发明的有益效果如下：
(1)本发明向实际空间投影，能够让房间内所有人同时看到投影，因此可以在教学、科研、舞台、展览等多种情况下产生更好的演示效果，实现所有参与者的交互。
(2)本发明的算法能够计算出投影在真实空间中的尺寸，通过投影还原物体在实际空间位置的光线，相较于通过双眼视差产生立体感的VR/AR技术有着更高的真实性。
(3)基于本发明的投影原理，人在观察时视点在实际空间位置，而不是始终聚焦在距人眼极近的镜片上，并且这种投影并不会产生因镜片随人头部转动而移动造成的知觉差异，从而在根本原因上避免了眩晕。
附图说明
图1为本发明的流程图；
图2为本发明的人眼追踪部分的流程示意图；
具体实施方式
下面将结合附图与具体实施例，对本发明进行更加清楚完整的说明。
本发明提出一种基于全息投影技术的三维场景显示方法，能够通过摄像头追踪人眼位置并确定人眼的关注区域，并采用计算全息成像方法，通过所需显示场景计算并在SLM(spatial light modulator空间式光调制器)墙面生成相应衍射光圈，并通过SLM墙面后的投影仪将三维光线信息投影到人眼处，用户通过近眼设备调整像差后进行观看。
实施例1
本实施例的基于全息投影的三维场景显示方法，首先通过摄像头组确定人的视线方向，由视野宽度限制确定关注区域；再根据视线方向和关注区域渲染需要投影的三维图像；然后由三维图像计算衍射光圈，传递给全息墙面生成并进行投影，人眼通过校正镜片观察到全息图像包括如下步骤：
S1：计算人眼在投影的全息图像中的关注区域；通过对人眼追踪和人的位置求解(包括平面坐标和视点高度)，可以结合正常人的视野范围推算出使用者的关注区域，从而为计算期望图像提供依据。
所述的全息图像投影在全息投影墙面上，所述墙面分为多个区域，每一个区域对应一个投影设备；
S11：对人脸位置进行检测；用Adaboost算法将大量提取到的Harr特征整合，训练人脸分类器，再利用Adaboost算法得到的层叠分类器进行人脸检测。
S12：确定人脸位置后，再对人眼进行检测；用Adaboost算法将大量提取到的Harr特征整合，训练人眼分类器，再利用Adaboost算法得到的层叠分类器进行人眼检测。由于眼睛相对于人脸来说直接检测到的难度要更大一些，所以为了提高检测效率，采用先检测人脸再定位眼睛的方法。
S13：对人眼进行追踪；具体为：
S131：将眼睛的运动特征用位置和速度来表示，用Kalman的计算方法进行计算得到特征值；
S132：利用Kalman滤波计算出来的特征值作为Meanshift迭代运算的初始值，在当前帧搜索与人眼亮度分布最相似的潜在目标；这两者之间的亮度模板相似程度用Bhattacharyya距离来度量，
其中，Y为潜在目标的中心位置，u为颜色向量，qu为概率分布，pu(y)为位置y的潜在目标的特征概率分布。所述的全息图像投影在全息投影墙面上，所述墙面分为多个区域，每一个区域对应一个投影设备；
S14：确定人眼视线的方向；S141：通过头部的姿势和眼角与眼睛中心的“偏移量”计算得出眼球中心的位置；
S142：由眼球的半径以及眼球的位置，利用Hough变幻检测出虹膜的位置，确定其中心；
S143:根据眼球中心和虹膜中心的3D坐标，确定视线方向向量。
S15:求解人眼的位置；
S16：确定人眼关注区域。
S2：根据人眼关注区域生成新的全息图像；
S21：采样计算，由计算机模拟所需展示场景在全息平面上的光场分布，相当于模拟传统光学全息图制作过程中干涉记录波前的部分对光场分布，在此基础上进行采样并转化为离散序列；变换的方法可以为离散傅里叶变换，也可以为离散菲涅尔变换，本方法中由于使用SLM墙面进行全息投影因此选择离散菲涅尔变换进行离散化处理。采样过程需满足采样定理，并且通过实际展示场景的空间带宽积来确定采样模式。对于三维场景的采样计算需要进行三维化处理，其算法主要有以下两种：
(A)多视角投影法
(B)层析法
S22：数据编码；将每个采样值通过复值的形式耦合振幅以及相位信息，使用数据编码将复值函数编码为实值函数。经采样计算后，全息平面上的每个采样值是通过复值的形式耦合振幅以及相位信息，需要使用一定的编码格式将复值函数编码为实值函数。本发明使用目前在计算全息领域应用较为成熟的罗曼Ⅲ型迂回相位编码，即通过不规则光栅造成衍射光波相位差的方法对实际场景的光场函数进行编码。
S3：在全息投影起墙面对新的全息图像重新进行投影；S3中，观看者需要佩戴矫正目镜，所述全息投影墙面包括墙面光源、光源形式调节器和空间光调制器SLM。所述S3中，将编码后的全息图通过SLM墙面进行显示，具体的步骤为：
S31：采用墙面向外发射均匀散射光；
S32：通过光源形式调节器调节散射光光阑的大小，产生不同投影可视范围；
S33：空间光调制器接收S22中的编码数据，通过编程算法控制，生成实时变化的衍射纹样，进而完成投影墙面进行全息投影；
S34：使用者佩戴校正目镜收束离轴光线，并对视野边缘的成像像差进行校正。

Claims (7)

1.一种基于全息投影的三维场景显示方法，其特征在于，包括如下步骤：
S1：计算人眼在投影的全息图像中的关注区域；
S2：根据人眼关注区域生成新的全息图像；
S3：在全息投影起墙面对新的全息图像重新进行投影；
其中，S1中，所述的全息图像投影在全息投影墙面上，所述墙面分为多个区域，每一个区域对应一个投影设备；
S3中，观看者需要佩戴矫正目镜，所述全息投影墙面包括墙面光源、光源形式调节器和空间光调制器SLM。
所述S1具体包括：
S11：对人脸位置进行检测；
S12：确定人脸位置后，再对人眼进行检测；
S13：对人眼进行追踪；
S14：确定人眼视线的方向；
S15:求解人眼的位置；
S16：确定人眼关注区域。
2.根据权利要求1所述的一种基于全息投影的三维场景显示方法，其特征在于，所述S11的具体过程为：用Adaboost算法将大量提取到的Harr特征整合，训练人脸分类器，再利用Adaboost算法得到的层叠分类器进行人脸检测。
3.根据权利要求1所述的一种基于全息投影的三维场景显示方法，其特征在于，所述S12的具体过程为：用Adaboost算法将大量提取到的Harr特征整合，训练人眼分类器，再利用Adaboost算法得到的层叠分类器进行人眼检测。
4.根据权利要求1所述的一种基于全息投影的三维场景显示方法，其特征在于，所述S13的具体步骤为：
S131：将眼睛的运动特征用位置和速度来表示，用Kalman的计算方法进行计算得到特征值；
S132：利用Kalman滤波计算出来的特征值作为Meanshift迭代运算的初始值，在当前帧搜索与人眼亮度分布最相似的潜在目标；这两者之间的亮度模板相似程度用Bhattacharyya距离来度量，
其中，Y为潜在目标的中心位置，u为颜色向量，qu为概率分布，pu(y)为位置y的潜在目标的特征概率分布。
5.根据权利要求1所述的一种基于全息投影的三维场景显示方法，其特征在于，所述S14的具体步骤为：
S141：通过头部的姿势和眼角与眼睛中心的“偏移量”计算得出眼球中心的位置；
S142：由眼球的半径以及眼球的位置，利用Hough变幻检测出虹膜的位置，确定其中心；
S143:根据眼球中心和虹膜中心的3D坐标，确定视线方向向量。
6.根据权利要求1所述的一种基于全息投影的三维场景显示方法，其特征在于，
所述S2包括如下步骤：
S21：采样计算，由计算机模拟所需展示场景在全息平面上的光场分布，对光场分布进行采样并转化为离散序列；
S22：数据编码；将每个采样值通过复值的形式耦合振幅以及相位信息，使用数据编码将复值函数编码为实值函数。
7.根据权利要求6所述的一种基于全息投影的三维场景显示方法，其特征在于，
所述S3中，将编码后的全息图通过SLM墙面进行显示，具体的步骤为：
S31：采用墙面向外发射均匀散射光；
S32：通过光源形式调节器调节散射光光阑的大小，产生不同投影可视范围；
S33：空间光调制器接收S22中的编码数据，通过编程算法控制，生成实时变化的衍射纹样，进而完成投影墙面进行全息投影；
S34：使用者佩戴校正目镜收束离轴光线，并对视野边缘的成像像差进行校正。
CN201810063670.6A 2018-01-23 2018-01-23 一种基于全息投影的三维场景显示方法 Pending CN108335364A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810063670.6A CN108335364A (zh) 2018-01-23 2018-01-23 一种基于全息投影的三维场景显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810063670.6A CN108335364A (zh) 2018-01-23 2018-01-23 一种基于全息投影的三维场景显示方法

Publications (1)

Publication Number Publication Date
CN108335364A true CN108335364A (zh) 2018-07-27

Family

ID=62926699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810063670.6A Pending CN108335364A (zh) 2018-01-23 2018-01-23 一种基于全息投影的三维场景显示方法

Country Status (1)

Country Link
CN (1) CN108335364A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108957918A (zh) * 2018-08-08 2018-12-07 屏丽科技成都有限责任公司 一种基于反射器件和镜头的梯形矫正投影装置及方法
CN109634431A (zh) * 2019-01-22 2019-04-16 像航（上海）科技有限公司 无介质浮空投影视觉追踪互动系统
CN110286754A (zh) * 2019-06-11 2019-09-27 Oppo广东移动通信有限公司 基于眼球追踪的投射方法及相关设备
CN114063296A (zh) * 2020-08-05 2022-02-18 恩维世科斯有限公司 全息指纹
TWI815382B (zh) * 2022-03-30 2023-09-11 國立臺灣科技大學 產生全像影像的方法
CN109634431B (zh) * 2019-01-22 2024-04-26 像航（上海）科技有限公司 无介质浮空投影视觉追踪互动系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639939A (zh) * 2008-07-29 2010-02-03 株式会社日立制作所 图像信息处理方法及装置
US20110001790A1 (en) * 2007-12-19 2011-01-06 Gildas Marin Method of Simulating Blur in Digitally Processed Images
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN103942542A (zh) * 2014-04-18 2014-07-23 重庆卓美华视光电有限公司 人眼跟踪方法及装置
CN106227016A (zh) * 2016-07-28 2016-12-14 东南大学 一种非迭代复振幅调制全息投影方法
CN106292240A (zh) * 2016-09-05 2017-01-04 京东方科技集团股份有限公司 全息显示装置及其显示方法
CN106531073A (zh) * 2017-01-03 2017-03-22 京东方科技集团股份有限公司 显示屏的处理电路、显示方法及显示器件
CN106842575A (zh) * 2017-03-21 2017-06-13 东南大学 一种基于复振幅调制的增强现实全息显示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110001790A1 (en) * 2007-12-19 2011-01-06 Gildas Marin Method of Simulating Blur in Digitally Processed Images
CN101639939A (zh) * 2008-07-29 2010-02-03 株式会社日立制作所 图像信息处理方法及装置
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN103942542A (zh) * 2014-04-18 2014-07-23 重庆卓美华视光电有限公司 人眼跟踪方法及装置
CN106227016A (zh) * 2016-07-28 2016-12-14 东南大学 一种非迭代复振幅调制全息投影方法
CN106292240A (zh) * 2016-09-05 2017-01-04 京东方科技集团股份有限公司 全息显示装置及其显示方法
CN106531073A (zh) * 2017-01-03 2017-03-22 京东方科技集团股份有限公司 显示屏的处理电路、显示方法及显示器件
CN106842575A (zh) * 2017-03-21 2017-06-13 东南大学 一种基于复振幅调制的增强现实全息显示方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108957918A (zh) * 2018-08-08 2018-12-07 屏丽科技成都有限责任公司 一种基于反射器件和镜头的梯形矫正投影装置及方法
CN109634431A (zh) * 2019-01-22 2019-04-16 像航（上海）科技有限公司 无介质浮空投影视觉追踪互动系统
CN109634431B (zh) * 2019-01-22 2024-04-26 像航（上海）科技有限公司 无介质浮空投影视觉追踪互动系统
CN110286754A (zh) * 2019-06-11 2019-09-27 Oppo广东移动通信有限公司 基于眼球追踪的投射方法及相关设备
CN114063296A (zh) * 2020-08-05 2022-02-18 恩维世科斯有限公司 全息指纹
TWI815382B (zh) * 2022-03-30 2023-09-11 國立臺灣科技大學 產生全像影像的方法

Similar Documents

Publication Publication Date Title
US11495002B2 (en) Systems and methods for determining the scale of human anatomy from images
US20230034363A1 (en) Enhanced pose determination for display device
CN108335364A (zh) 一种基于全息投影的三维场景显示方法
EP1018691B1 (en) Ocular optical system and simulating method and simulating apparatus
US20050083248A1 (en) Mobile face capture and image processing system and method
US20030122828A1 (en) Projection of three-dimensional images
Murakami et al. Study on compact head-mounted display system using electro-holography for augmented reality
CA2709417A1 (en) Method of simulating blur in digitally processed images
Zhong et al. Reproducing reality with a high-dynamic-range multi-focal stereo display
Itoh et al. Gaussian light field: Estimation of viewpoint-dependent blur for optical see-through head-mounted displays
US11475592B2 (en) Systems and methods for determining an ear saddle point of a user to produce specifications to fit a wearable apparatus to the user's head
Yoo et al. Volumetric head-mounted display with locally adaptive focal blocks
Sun et al. A Novel Integrated Eye-Tracking System With Stereo Stimuli for 3-D Gaze Estimation
IL298986A (en) Eye tracking on close-to-eye displays
Schiffers et al. Stochastic Light Field Holography
Zhou Accurate depth based post-processing for perception enhancement in real time three-dimensional graphics
KR101767299B1 (ko) 홀로그래픽 복원 영상 재현 장치 및 방법
Gebel et al. Deep learning approach for creating the natural vergence-accommodation conditions in virtual and mixed reality systems
US20230239456A1 (en) Display system with machine learning (ml) based stereoscopic view synthesis over a wide field of view
D'Angelo et al. Development of a Low-Cost Augmented Reality Head-Mounted Display Prototype
Songnian et al. The representation of visual depth perception based on the plenoptic function in the retina and its neural computation in visual cortex V1
Tur et al. P‐27: ML‐Based Eye Tracking for Augmented Reality Heads‐Up Displays (AR HUDs)
Świrski Gaze estimation on glasses-based stereoscopic displays
US20240135707A1 (en) Enhanced pose determination for display device
Liu Plenoptic Modeling and Measurements of Novel Displays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180727

RJ01 Rejection of invention patent application after publication