CN106454251A - 一种基于深度图像的实时全息图像获取、投影装置与方法 - Google Patents

一种基于深度图像的实时全息图像获取、投影装置与方法 Download PDF

Info

Publication number
CN106454251A
CN106454251A CN201610943977.6A CN201610943977A CN106454251A CN 106454251 A CN106454251 A CN 106454251A CN 201610943977 A CN201610943977 A CN 201610943977A CN 106454251 A CN106454251 A CN 106454251A
Authority
CN
China
Prior art keywords
video
depth image
holographic
collecting device
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610943977.6A
Other languages
English (en)
Inventor
吕石磊
刘东昌
郭宇智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qinhuangdao Zhongke Honcap Mdt Infotech Ltd
Original Assignee
Qinhuangdao Zhongke Honcap Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qinhuangdao Zhongke Honcap Mdt Infotech Ltd filed Critical Qinhuangdao Zhongke Honcap Mdt Infotech Ltd
Priority to CN201610943977.6A priority Critical patent/CN106454251A/zh
Publication of CN106454251A publication Critical patent/CN106454251A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Holo Graphy (AREA)

Abstract

本发明是一种基于深度图像的实时全息图像获取、投影装置与方法,所述实时全息图像获取装置包括视频抠图模组与深度图像采集设备组相连,视频拼接合成服务器与视频抠图模组相连。所述实时全息投影装置包括投影幕位于投影设备、棱锥分光镜之间;视频抠图模组与深度图像采集设备组相连;视频拼接合成服务器与视频抠图模组相连;投影设备与视频拼接合成服务器相连。该方法包括采集要展示物体的视频流:检测输入视频流的路数;利用深度信息,从视频中要展示内容抠出多路前景;将多路前景拼接合成一幅图全息视频:背景开关为开启状态,则将多路背景加入全息视频中;背景开关为关闭状态,获得实时全息投影并播放音频流。

Description

一种基于深度图像的实时全息图像获取、投影装置与方法
技术领域
本发明属于全息投影技术领域,是一种结合深度图像处理与视频合成技术的实时全息图像获取、投影装置与方法。
背景技术
随着科学技术的迅猛发展,人们对投影艺术视觉效果的要求高涨。全息投影技术是近年来兴起的一种高科技技术,向世人展示了高科技的魅力。它正以一种全新的方式改变着人们对那些传统舞台的声光电技术的审美态度。该技术可将三维画面悬浮在实景的半空中成像,营造了亦幻亦真的氛围,效果奇特,具有强烈的纵深感,真假难辩。使人从四个角度多方位观赏画面,相较二维画面更加详细,真实。该技术应用广泛,展馆、舞台等场合,教育、销售等行业均有应用。
传统的全息投影都是播放固定的事先制作好的视频,这就限制了其应用的范围,并且与人的互动性不强,从录制到播放时间较长,过程繁琐,影响了使用者的体验。如果在全息投影的基础上,加上深度图像采集设备进行视频采集,并利用深度图像处理技术,将采集到的视频去掉背景,只留下我们想要的前景,再将几路视频加以拼接,则可以实现实时的全息投影。但实时的全息投影如今在技术上依旧有一定的难度,所以现在市面上鲜有实时的全息投影技术。
发明内容
(一)本发明要解决的技术问题
本发明针对目前全息投影的上述缺陷,本发明的目的是利用深度图像处理技术,将视频的背景去掉,保留前景,并将几路视频合成到一起,提出一种基于深度图像的实时全息图像获取、投影装置与方法。
(二)本发明的技术方案
为达成所述目的,本发明的第一方面,提供一种基于深度图像的实时全息图像获取装置的技术方案包括:深度图像采集设备组、视频抠图模组、视频拼接合成服务器,其中:
深度图像采集设备组,用于采集要展示物体的多路视频流:
视频抠图模组与深度图像采集设备组相连,利用深度信息从多路视频中抠出要展示内容的多路前景;
视频拼接合成服务器与视频抠图模组相连,将要展示内容的多路前景拼接合成一幅全息图像。
为达成所述目的,本发明的第二方面,提供一种基于深度图像的实时全息投影装置的技术方案包括:投影设备、棱锥分光镜、投影幕、深度图像采集设备组、视频抠图模组、视频拼接合成服务器,其中:
投影幕位于投影设备、棱锥分光镜之间;
深度图像采集设备组,用于采集要展示物体的多路视频流:
视频抠图模组与深度图像采集设备组相连,利用深度信息从多路视频中抠出要展示内容的多路前景;
视频拼接合成服务器与视频抠图模组相连,将要展示内容的多路前景拼接合成一幅全息视频;
投影设备与视频拼接合成服务器相连,投影设备通过棱锥分光镜将全息视频投影到投影幕上。
为达成所述目的,本发明的第三方面,提供一种基于深度图像的实时全息投影装置的实时全息投影方法,该方法包括以下步骤:
步骤S1:采集要展示物体的视频流;
步骤S2:检测输入视频流的路数;
步骤S3:利用深度信息,从视频中要展示内容抠出多路前景;
步骤S4:将多路前景拼接合成一幅图全息视频:
步骤S5:判断背景开关为开启状态,则将多路背景加入全息视频中;判断背景开关为关闭状态,则对多路全息视频进行投影,获得实时全息投影并播放音频流。
本发明的有益效果:
1、本发明利用深度图像采集设备组和图像处理技术,将人物自动从背景中提取出来,无需人为干预,并可以加上其他背景,实时的投影到全息投影设备中。
2、本发明实时生成的全息投影克服了传统上要先录制视频,再进行全息投影的繁琐过程,获得了更好的用户体验并且大大地扩展了其应用范围。
3、本发明应用广泛,可以应用于全息可视电话、全息可视会议、展览馆厅等。
附图说明
图1是本发明基于深度图像的实时全息图像获取装置的工作原理示意图;
图2是本发明基于深度图像的实时全息投影装置的工作原理示意图;
图3是本发明基于深度图像的实时全息投影装置的实时全息投方法的流程图。
具体实施方式
下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是,所描述的实例仅旨在便于对本发明的理解,而对其不起任何限定作用。
请参阅图1示出本发明基于深度图像的实时全息投影装置的工作原理示意图;本发明提供的一种基于深度图像的实时全息图像获取装置的技术方案包括:视频拼接合成服务器4、视频抠图模组5、深度图像采集设备组5,其中:
深度图像采集设备组6,用于采集要展示物体的多路视频流:
视频抠图模组5与深度图像采集设备组6相连,利用深度信息从多路视频中抠出要展示内容的多路前景;
视频拼接合成服务器4与视频抠图模组5相连,将要展示内容的多路前景拼接合成一幅全息图像。
本发明基于深度图像的实时全息图像获取装置,利用深度图像采集设备组和图像处理技术,将要展示内容的多路前景拼接合成一幅全息图像,将人物自动从背景中提取出来,无需人为干预。
请参阅图2所示本发明异型投影的基于深度图像的实时全息投影装置的工作原理示意图,该装置可以实时进行前景人物的提取并叠加新背景,并将处理后的视频投影到全息投影机上;本发明所述基于深度图像的实时全息投影装置的技术方案包括:投影设备1、投影幕2、棱锥分光镜3、视频拼接合成服务器4、视频抠图模块5、深度图像采集设备6;其中:
投影幕2位于投影设备1、棱锥分光镜3之间;
深度图像采集设备组6,用于采集要展示物体的多路视频流:
视频抠图模组5与深度图像采集设备组6相连,利用深度信息从多路视频中抠出要展示内容的多路前景;
视频拼接合成服务器4与视频抠图模组5相连,将要展示内容的多路前景拼接合成一幅全息视频;
投影设备1与视频拼接合成服务器4相连,投影设备1通过棱锥分光镜3将全息视频投影到投影幕2上。
本发明基于深度图像的实时全息投影装置,实时生成的全息投影解决了现有技术全息投影的繁琐的技术问题,大大地扩展了其应用范围。本发明的全息投影可以加上其他背景,实时的投影到全息投影设备中。
续请参阅图1和图2其中,深度图像采集设备6为使用双目摄像头或Kinect的深度图像采集设备采集视频。其中,所述深度图像采集设备组6为多台深度图像采集设备组成;所述深度图像采集设备组6由1-4台深度图像采集设备中的任意台数的组合。其中,所述视频抠图模组5为多个视频抠图模块组成,所述视频抠图模组5使用1-4个视频抠图模块中的任意台数的组合。所述深度图像采集设备组6和所述视频抠图模组5数量的其他实施例可根据实际需要选择,在此不再赘述
所述深度图像采集设备组6的一实施例,本实施例包含四台深度采集设备和四个视频抠图模块;每台深度图像采集设备与对应的视频抠图模块连接。
每个深度图像采集设备面对被采集对象的正面,其余三个深度图像采集设备分别面对被采集对象的侧面和后面,四个深度图像采集设备依次呈顺时针90度排列。
四个视频抠图模块5输出端都与视频拼接合成服务器4的输入端相连接;
所述深度图像采集设备6,可以实时采集四路视频,对应全息投影展示物体的前后左右四面。
所述深度图像采集设备6基于双目成像或主动深度成像原理进行视频采集。
四个所述视频抠图模块5,分别将与其对应相连的深度图像采集设备6的视频中要展示的内容利用深度信息不同抠出,并送入视频拼接合成服务器4。所述视频拼接合成服务器4将抠出的图像合成视频,最终输出给投影设备1。
续请参阅图2述所述投影设备1根据需要可以只合成抠出模块抠出的图像,还可以在合成视频抠出模块5抠出的图像基础上加入一些背景合成最终的投影图像。所述投影设备1、投影幕2及棱锥分光镜3共同构成全息投影系统。
请参阅图3示出本发明一种基于深度图像的实时全息投影装置的实时全息投影方法,该方法包括以下步骤:
步骤S1:采集要展示物体的视频流;使用基于但不限于双目摄像头或Kinect的深度图像采集设备进行视频采集;
深度图像采集设备选择四台Kinect2.0,Kinect2.0参数为: 1080p彩色摄像头30Hz(低光照下15Hz),深度图像传感器512*484,30Hz,FOV:70*60,一个模式:0.5 m -4.5m。摄像设备1记录彩色视频,输出一个二维数组,二维数组在每一帧中包含来自被映射物体的RGB值。深度图像传感器输出的每一帧都是视野内物体与相机的距离,由此计算出对应的彩色摄像头的每帧图像的每个像素点与相机的距离。
步骤S2:检测输入视频流的路数;判断输入视频的路数:本发明基于深度图像的实时全息投影装置输入视频可以是1路、2路、3路或者4路,深度图像采集设备、视频抠图模块、视频拼接合成服务器都会根据输入视频路数的不同自动进行输出的调整;
步骤S3:抠图处理:由深度信息分辨前景和背景进行抠图;利用深度信息,从视频中要展示内容抠出多路前景;
S3-1、根据深度信息对前景人像进行提取,将距离大于50cm且小于2米的像素提取出来,其它像素设置为黑色;
S3-2、对于前景边缘进行处理,先用canny算法检测出图像的边缘,再对边缘进行高斯滤波从而平滑边缘
步骤S4:拼接合成:将多路前景拼接合成一幅图全息视频:
步骤S5:判断背景开关是否开启:判断背景开关为开启状态,则将多路背景加入全息视频中;判断背景开关为关闭状态,则对多路全息视频进行n路投影,获得实时全息投影并播放音频流。
S5-2、在本发明的一个实施例中,背景开关为关,则不加入背景,直接对全息视频进行投影。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于深度图像的实时全息图像获取装置,其特征在于包括:深度图像采集设备组、视频抠图模组、视频拼接合成服务器,其中:
深度图像采集设备组,用于采集要展示物体的多路视频流:
视频抠图模组与深度图像采集设备组相连,利用深度信息从多路视频中抠出要展示内容的多路前景;
视频拼接合成服务器与视频抠图模组相连,将要展示内容的多路前景拼接合成一幅全息图像。
2.一种基于深度图像的实时全息投影装置,其特征在于包括:投影设备、棱锥分光镜、投影幕、深度图像采集设备组、视频抠图模组、视频拼接合成服务器,其中:
投影幕位于投影设备、棱锥分光镜之间;
深度图像采集设备组,用于采集要展示物体的多路视频流:
视频抠图模组与深度图像采集设备组相连,利用深度信息从多路视频中抠出要展示内容的多路前景;
视频拼接合成服务器与视频抠图模组相连,将要展示内容的多路前景拼接合成一幅全息视频;
投影设备与视频拼接合成服务器相连,投影设备通过棱锥分光镜将全息视频投影到投影幕上。
3.根据权利要求1-2任一项所述的投影装置,其特征在于:深度图像采集设备为使用双目摄像头或Kinect的深度图像采集设备采集视频。
4.根据权利要求1-2任一项所述的装置,其特征在于:所述深度图像采集设备组为多台深度图像采集设备组成。
5.根据权利要求1-2任一项所述的装置,其特征在于:所述视频抠图模组为多个视频抠图模块组成。
6.根据权利要求2所述的装置,其特征在于:所述所述投影设备根据需要还可以在合成视频抠出模块抠出的图像基础上加入一些背景合成最终的投影图像。
7.根据权利要求2所述的装置,其特征在于:所述投影设备、棱锥分光镜及投影幕共同构成全息投影系统。
8.一种使用权利要求2-7任一项所述基于深度图像的实时全息投影装置的实时全息投影方法,其特征在于,该方法包括以下步骤:
步骤S1:采集要展示物体的视频流:
步骤S2:检测输入视频流的路数;
步骤S3:利用深度信息,从视频中要展示内容抠出多路前景;
步骤S4:将多路前景拼接合成一幅图全息视频:
步骤S5:判断背景开关为开启状态,则将多路背景加入全息视频中;判断背景开关为关闭状态,则对多路全息视频进行投影,获得实时全息投影并播放音频流。
9.根据权利要求8所述的基于深度图像的实时全息投影方法,其特征在于,根据深度信息提取前景;对于前景边缘再通过平滑算法进行优化。
10.根据权利要求8所述的基于深度图像的实时全息投影方法,其特征在于,采集视频为基于双目成像或主动深度成像原理。
CN201610943977.6A 2016-10-26 2016-10-26 一种基于深度图像的实时全息图像获取、投影装置与方法 Pending CN106454251A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610943977.6A CN106454251A (zh) 2016-10-26 2016-10-26 一种基于深度图像的实时全息图像获取、投影装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610943977.6A CN106454251A (zh) 2016-10-26 2016-10-26 一种基于深度图像的实时全息图像获取、投影装置与方法

Publications (1)

Publication Number Publication Date
CN106454251A true CN106454251A (zh) 2017-02-22

Family

ID=58177500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610943977.6A Pending CN106454251A (zh) 2016-10-26 2016-10-26 一种基于深度图像的实时全息图像获取、投影装置与方法

Country Status (1)

Country Link
CN (1) CN106454251A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180238A (zh) * 2017-07-27 2017-09-19 深圳市泰衡诺科技有限公司 一种智能终端的图像预览装置及方法
CN108629779A (zh) * 2017-03-24 2018-10-09 上海传英信息技术有限公司 智能抠图的方法和移动终端
CN109240631A (zh) * 2018-09-17 2019-01-18 北京唐冠天朗科技开发有限公司 一种基于人工智能的展示平台和展示方法
CN109274921A (zh) * 2018-07-27 2019-01-25 像航(上海)科技有限公司 视频会议系统
CN109729311A (zh) * 2018-12-18 2019-05-07 航天时代电子技术股份有限公司 视频信息采集处理系统、方法和人体随动遥操作机器人
CN111800623A (zh) * 2020-07-28 2020-10-20 核桃智能科技(常州)有限公司 一种使用空气成像透镜的全息通讯装置及方法
CN112019771A (zh) * 2020-08-20 2020-12-01 新华智云科技有限公司 基于实时抠像的全息云会议系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689036A (zh) * 2007-05-16 2010-03-31 视瑞尔技术公司 一种用于实时渲染和生成彩色视频全息图的方法
CN102043250A (zh) * 2009-10-21 2011-05-04 陕西金合泰克信息科技发展有限公司 光影衍射全息影像系统及其成像方法
US20140300941A1 (en) * 2013-04-05 2014-10-09 Electronics And Telecommunications Research Institute Method and apparatus for generating hologram based on multi-view image
CN104883557A (zh) * 2015-05-27 2015-09-02 世优(北京)科技有限公司 实时全息投影方法、装置及系统
CN105139446A (zh) * 2015-08-07 2015-12-09 河海大学常州校区 一种基于kinect的全息虚拟试衣系统
CN105869160A (zh) * 2016-03-28 2016-08-17 武汉理工大学 利用Kinect实现三维建模和全息显示的方法及系统
CN105912999A (zh) * 2016-04-05 2016-08-31 中国民航大学 基于深度信息的人体行为识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689036A (zh) * 2007-05-16 2010-03-31 视瑞尔技术公司 一种用于实时渲染和生成彩色视频全息图的方法
CN102043250A (zh) * 2009-10-21 2011-05-04 陕西金合泰克信息科技发展有限公司 光影衍射全息影像系统及其成像方法
US20140300941A1 (en) * 2013-04-05 2014-10-09 Electronics And Telecommunications Research Institute Method and apparatus for generating hologram based on multi-view image
CN104883557A (zh) * 2015-05-27 2015-09-02 世优(北京)科技有限公司 实时全息投影方法、装置及系统
CN105139446A (zh) * 2015-08-07 2015-12-09 河海大学常州校区 一种基于kinect的全息虚拟试衣系统
CN105869160A (zh) * 2016-03-28 2016-08-17 武汉理工大学 利用Kinect实现三维建模和全息显示的方法及系统
CN105912999A (zh) * 2016-04-05 2016-08-31 中国民航大学 基于深度信息的人体行为识别方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629779A (zh) * 2017-03-24 2018-10-09 上海传英信息技术有限公司 智能抠图的方法和移动终端
CN107180238A (zh) * 2017-07-27 2017-09-19 深圳市泰衡诺科技有限公司 一种智能终端的图像预览装置及方法
CN109274921A (zh) * 2018-07-27 2019-01-25 像航(上海)科技有限公司 视频会议系统
CN109240631A (zh) * 2018-09-17 2019-01-18 北京唐冠天朗科技开发有限公司 一种基于人工智能的展示平台和展示方法
CN109729311A (zh) * 2018-12-18 2019-05-07 航天时代电子技术股份有限公司 视频信息采集处理系统、方法和人体随动遥操作机器人
CN109729311B (zh) * 2018-12-18 2021-03-12 航天时代电子技术股份有限公司 视频信息采集处理系统、方法和人体随动遥操作机器人
CN111800623A (zh) * 2020-07-28 2020-10-20 核桃智能科技(常州)有限公司 一种使用空气成像透镜的全息通讯装置及方法
CN112019771A (zh) * 2020-08-20 2020-12-01 新华智云科技有限公司 基于实时抠像的全息云会议系统

Similar Documents

Publication Publication Date Title
CN106454251A (zh) 一种基于深度图像的实时全息图像获取、投影装置与方法
CN101950550B (zh) 基于观看者视角显示不同角度画面的显示装置
Matsuyama et al. 3D video and its applications
CN105654471B (zh) 应用于互联网视频直播的增强现实ar系统及方法
CN102393970B (zh) 一种物体三维建模与渲染系统及三维模型生成、渲染方法
US8922718B2 (en) Key generation through spatial detection of dynamic objects
CN104461006A (zh) 一种基于自然用户界面的互联网智能镜
JP7447077B2 (ja) 映像ストリームにおける動的画像コンテンツ置換のための方法およびシステム
CN110866978A (zh) 一种实时混合现实视频拍摄中的相机同步方法
CN105306862A (zh) 一种基于3d虚拟合成技术的情景视频录制系统、方法及情景实训学习方法
CN104010179B (zh) 基于立体多画的多用户聚类与视点计算系统及方法
KR20160048178A (ko) 영상 프로덕션을 만들기 위한 방법 및 그 시스템
CN106331521A (zh) 一种网络虚拟现实技术与实拍结合影视制作系统
CN106412459A (zh) 一种图像显示系统及方法
KR101269900B1 (ko) 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치
CN107862718A (zh) 4d全息视频捕捉方法
CN103841299A (zh) 虚拟演播室系统
CN106657719A (zh) 一种智能虚拟演播室系统
CN208609055U (zh) 一种模拟自然环境的照明系统
CN107172415B (zh) 一种vr全息一体同步交互展示系统及其控制方法
Schreer et al. Advanced volumetric capture and processing
CN106454295A (zh) 一种基于纯色背景的实时全息投影装置与方法
Inamoto et al. Free viewpoint video synthesis and presentation from multiple sporting videos
CN103474009B (zh) 智慧媒体系统及交互方法
CN105204284A (zh) 基于全景环拍技术的3维立体回放系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170222