CN103996215A - 一种实现虚拟视图转立体视图的方法及装置 - Google Patents

一种实现虚拟视图转立体视图的方法及装置 Download PDF

Info

Publication number
CN103996215A
CN103996215A CN201310542642.XA CN201310542642A CN103996215A CN 103996215 A CN103996215 A CN 103996215A CN 201310542642 A CN201310542642 A CN 201310542642A CN 103996215 A CN103996215 A CN 103996215A
Authority
CN
China
Prior art keywords
viewpoint
view
screen
scene
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310542642.XA
Other languages
English (en)
Inventor
刘美鸿
高炜
徐万良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN CLOUDCUBE INFORMATION TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN CLOUDCUBE INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN CLOUDCUBE INFORMATION TECHNOLOGY Co Ltd filed Critical SHENZHEN CLOUDCUBE INFORMATION TECHNOLOGY Co Ltd
Priority to CN201310542642.XA priority Critical patent/CN103996215A/zh
Priority to US14/417,557 priority patent/US9704287B2/en
Priority to PCT/CN2014/082831 priority patent/WO2015067071A1/zh
Priority to EP14814675.6A priority patent/EP3067866A4/en
Priority to JP2015545662A priority patent/JP2015536010A/ja
Publication of CN103996215A publication Critical patent/CN103996215A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/60Rotation of a whole image or part thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Abstract

本发明提供了一种实现虚拟视图转立体视图的方法及装置,其中,所述方法包括:S1、利用人眼追踪模块捕捉人眼位置坐标;S2、利用第一图像处理模块根据人眼位置坐标以及投影显示模块的屏幕中心坐标确定虚拟场景的旋转角度,按照旋转角度旋转虚拟场景获得虚拟全息立体视图矩阵;S3、利用第二图像处理模块根据虚拟场景中心、场景中观察者的位置、各视点的坐标确定各视点的错切角度,进而生成与各视点一一对应的错切矩阵,错切矩阵右乘与之对应的视点模型矩阵生成左右视图;S4、利用投影显示模块对各视点的左右视图进行投影。通过上述方式,本发明提供的实现虚拟视图转立体视图的方法及装置,可达到全息立体显示的目的。

Description

一种实现虚拟视图转立体视图的方法及装置
技术领域
本发明涉及3D显示技术领域,特别是涉及一种实现虚拟视图转立体视图的方法及装置。
背景技术
现有的2D转3D技术是把现有的2D视频通过视图转换方法转换为3D视频,但是因为技术的不够成熟、以及转换很费时导致成本很高,另外转换得到的3D效果不够理想,从而影响了3D产业的发展。
为解决上述技术问题,本发明提供一种实现虚拟视图转立体视图的方法及装置,以使得用户可以通过对3D效果进行调整进而获得较好的全息3D视觉体验。
发明内容
本发明提供一种实现虚拟视图转立体视图的方法及装置,通过追踪人眼动态坐标确定虚拟场景的旋转角度,进而对虚拟场景进行旋转获得虚拟全息立体视图矩阵,进而利用错切矩阵右乘各视点模型矩阵,投影后得到各视点的图像,并根据用户的3D效果体验,调整场景中观察者的位置以及错切角度最终获得较好的3D效果体验。
为解决上述技术问题,本发明提供的第一个技术方案为提供一种实现虚拟视图转立体视图的方法,包括步骤:
S1、利用人眼追踪模块捕捉人眼位置坐标;
S2、利用第一图像处理模块根据人眼位置坐标以及投影显示模块的屏幕中心坐标确定虚拟场景的旋转角度,按照旋转角度旋转虚拟场景获得虚拟全息立体视图矩阵;
S3、利用第二图像处理模块根据虚拟场景中心、场景中观察者的位置、各视点的坐标确定各视点的错切角度,进而生成与各视点一一对应的错切矩阵,错切矩阵右乘与之对应的视点模型矩阵生成左右视图;
S4、利用投影显示模块对各视点的左右视图进行投影。
其中,若旋转之前的虚拟场景视图矩阵用A表示,虚拟全息立体视图矩阵用A`表示,
则A`=M1*M2*A,
M 1 = cos a , 0 , - sin a , 0 0,1,0,0 sin a , 0 , cos a , 0 0,0,0,1 , M 2 = 1,0,0,0 0 , cos b , sin b , 0 1 , - sin b , cos a , 0 0,0,0,1 , 立体视图A右乘M1,M2得到旋转后的视图A`,
其中,在旋转之前的空间直角坐标系O-XYZ中,屏幕中心位于坐标系O-XYZ的原点,人眼到屏幕中心的连线在XOZ平面的投影与z轴正半轴的夹角为α,人眼到屏幕中心的连线在YOZ平面的投影与z轴正半轴的夹角为β,X轴方向由屏幕左边中点指向屏幕的右边中点,Y轴方向由屏幕上边中点指向屏幕的下边中点,
根据角度α、β、人眼到屏幕的距离L,场景中心到屏幕的距离Z,可以确定场景绕Y轴旋转的角度以及场景绕X轴旋转的角度 b = arctan L · tan β L + Z .
其中,旋转后的新坐标系用O`-X`Y`Z`表示,原点O`与原坐标系中视点的中心位置重合,Z`轴的正方向沿着原坐标系中观察者的坐标指向视点中心坐标,所述的错切变换是指视点的y`和z`不变,x`值以z`轴为依赖轴呈线性变换,设错切角度θ是指视点坐标与z`轴正方向夹角,错切之后的任一视点的坐标用(x``,y``,z``)表示,则位于X`轴正半轴视点的错切表达式均为:
x ′ ′ = x ′ + ( z ′ - z G ) tan θ y ′ ′ = y ′ z ′ ′ = z ′ ,
对应的错切矩阵均为:
1,0 , tan θ , - z G tan θ 0,1,0,0 0,0,1,0 0,0,0,1 ,
位于X`轴负半轴的视点的错切表达式均为:
x ′ ′ = x ′ - ( z ′ - z G ) tan θ y ′ ′ = y ′ z ′ ′ = z ′
对应的错切矩阵均为:
1,0 , - tan θ , z G tan θ 0,1,0,0 0,0,1,0 0,0,0,1 .
其中,根据上述任意一项所述方法进一步包括步骤:
S5、用户根据体验到的3D效果调整第二图像处理模块的错切角度以及场景中观察者的位置坐标,进而实现改善投影3D图像的3D效果。
为解决上述技术问题,本发明提供的第二个技术方案是提供一种实现虚拟视图转立体视图的装置,包括:
人眼追踪模块,用于捕捉人眼位置坐标;
第一图像处理模块,与所述人眼追踪模块电连接,用于根据人眼位置坐标以及投影显示模块的屏幕中心坐标确定虚拟场景的旋转角度,按照旋转角度旋转虚拟场景获得虚拟全息立体视图矩阵;
第二图像处理模块,与所述第一图像处理模块电连接,用于根据虚拟场景中心、场景中观察者的位置、各视点的坐标确定各视点的错切角度,进而生成与各视点一一对应的错切矩阵,错切矩阵右乘与之对应的视点模型矩阵生成左右视图;
投影显示模块,与所述第二图像处理模块电连接,用于对各视点的左右视图进行投影。
其中,若所述旋转之前的虚拟场景视图矩阵用A表示,虚拟全息立体视图矩阵用A`表示,
则A`=M1*M2*A,
M 1 = cos α , 0 , - sin α , 0 0,1,0,0 sin α , 0 , cos α , 0 0,0,0,1 , M 2 = 1,0,0,0 0 , cos β , sin β , 0 1 , - sin β , cos a , 0 0,0,0,1 , 立体视图A右乘M1,M2得到旋转后的视图A’,
其中,旋转之前的空间直角坐标系用表示O-XYZ中,屏幕中心位于坐标系O-XYZ的原点,人眼到屏幕中心的连线在XOZ平面的投影与z轴正半轴的夹角为α,人眼到屏幕中心的连线在YOZ平面的投影与z轴正半轴的夹角为β,X轴由屏幕左边中点指向屏幕的右边中点,Y轴由屏幕上边中点指向屏幕的下边中点,
根据角度α、β、人眼到屏幕的距离L,场景中心到屏幕的距离Z,可以确定场景绕Y轴旋转的角度以及场景绕X轴旋转的角度 b = arctan L · tan β L + Z .
其中,旋转后的新坐标系用O`-X`Y`Z`表示,其中,原点O`与原坐标系中视点的中心位置重合,Z`轴的正方向沿着原坐标系中观察者的坐标指向视点中心坐标,所述的错切变换是指视点的y`和z`不变,x`值以z`轴为依赖轴呈线性变换,设错切角度θ是指视点坐标与z`轴正方向夹角,错切之后的视点的坐标用(x``,y``,z``)表示,则位于X`轴正半轴视点的错切表达式均为:
x ′ ′ = x ′ + ( z ′ - z G ) tan θ y ′ ′ = y ′ z ′ ′ = z ′ ,
对应的视点的错切矩阵均为:
1,0 , tan θ , - z G tan θ 0,1,0,0 0,0,1,0 0,0,0,1 ,
位于X`轴负半轴的视点的错切表达式均为:
x ′ ′ = x ′ - ( z ′ - z G ) tan θ y ′ ′ = y ′ z ′ ′ = z ′
对应的错切矩阵均为:
1,0 , - tan θ , z G tan θ 0,1,0,0 0,0,1,0 0,0,0,1 .
其中,根据上述任意一项所述的装置,第二图像处理模块进一步用于根据用户的输入改变错切角度以及场景中观察者的位置坐标,进而实现改善投影获得的立体图像的立体效果。
本发明的有益效果是:区别于现有技术的情况,本发明提供的一种实现虚拟视图转立体视图的方法及装置,通过追踪人眼动态坐标确定虚拟场景的旋转角度,进而对虚拟场景进行旋转获得虚拟全息立体视图矩阵,进而利用错切矩阵右乘各视点模型矩阵,投影后得到各视点的图像,并根据用户的3D效果体验,调整场景中观察者的位置以及错切角度最终获得较好的3D效果体验。
附图说明
图1是本发明的实现虚拟视图转立体视图的方法的一实施例的流程示意图;
图2是图1所示的实施例中人眼位置坐标与屏幕的夹角示意图;
图3是图1所示的实施例中是虚拟场景绕Y轴旋转角度与人眼位置、场景中心以及屏幕的位置关系示意图。
图4是图1所示的实施例中错切角度与场景中观察者的位置、视点中心坐标以及视点位置的关系示意图;
图5是本发明的实现虚拟视图转立体视图的装置的一实施例的结构示意图。
具体实施方式
本发明的第一技术方案是提供一种实现虚拟视图转立体视图的方法,请参见图1,图1是本发明的实现虚拟视图转立体视图的方法的一实施例的流程示意图。如图1所示,本实施例的实现虚拟视图转立体视图的流程包括步骤:
S1、利用人眼追踪模块捕捉人眼位置坐标,
利用人眼追踪模块实时追踪人眼所处的位置,请参见图2,图2是图1所示的实施例中人眼位置坐标与屏幕的夹角示意图,如图2所示,在对虚拟场景进行旋转之前,采用的空间直角坐标系O-XYZ中,屏幕中心位于坐标系O-XYZ的原点O,人眼到屏幕中心O的连线在XOZ平面的投影与z轴正半轴的夹角为α,人眼到屏幕中心O的连线在YOZ平面的投影与z轴正半轴的夹角为β,X轴方向由屏幕左边中点指向屏幕的右边中点,Y轴方向由屏幕上边中点指向屏幕的下边中点,本实施例中,通过使用人眼追踪模块可以使得人眼处于不同位置时,看到的投影图像随之改变,使得用户在移动的过程中仍能体验到较好的3D效果;
S2、利用第一图像处理模块根据人眼位置坐标以及投影显示模块的屏幕中心坐标确定虚拟场景的旋转角度,按照旋转角度旋转虚拟场景获得虚拟全息立体视图矩阵,
本发明的实现虚拟视图转立体视图的方法中所述的对图像的旋转步骤的优选方案可参见图3,图3是图1所示的实施例中虚拟场景绕Y轴旋转角度与人眼位置、场景中心以及屏幕的位置关系示意图,如图3所示,人眼在平面XOZ上的投影到屏幕的距离为L,虚拟场景中心到屏幕的距离为Z中心,其中,角度a表示场景绕Y轴旋转的角度同理可以得到场景绕X轴旋转的角度原虚拟场景绕Y轴旋转角度a,然后再绕X轴旋转角度b,获得虚拟全息立体视图矩阵,若旋转之前的虚拟场景视图矩阵用A表示,虚拟全息立体视图矩阵用A`表示,
则A`=M1*M2*A,
M 1 = cos a , 0 , - sin a , 0 0,1,0,0 sin a , 0 , cos a , 0 0,0,0,1 , M 2 = 1,0,0,0 0 , cos b , sin b , 0 1 , - sin b , cos a , 0 0,0,0,1 , 立体视图A右乘M1,M2得到旋转后的视图A`;
S3、利用第二图像处理模块根据虚拟场景中心、场景中观察者的位置、各视点的坐标确定各视点的错切角度,进而生成与各视点一一对应的错切矩阵,错切矩阵右乘与之对应的视点模型矩阵生成左右视图,
本实施例中对全息虚拟立体视图进行错切的角度的确定请参见图4,图4是图1所示的实施例中错切角度与场景中观察者的位置、视点中心坐标以及视点位置的关系示意图,如图4所示,旋转后的新坐标系用O`-X`Y`Z`表示,原点O`与原坐标系中视点的中心位置重合,Z`轴的正方向沿着原坐标系中观察者的坐标zG指向视点中心坐标,所述的错切变换是指视点的y`和z`不变,x`值以z`轴为依赖轴呈线性变换,设错切角度θ是指视点坐标与z`轴正方向夹角,图4示出了4个视点包括视点1、视点2、视点3和视点4,其中,视点1和视点4是分别是左视图和右视图对应的一对视点,视点2和视点3分别是左视图和右视图对应的一对视点,图4中的视点3与Z`轴的正方向的夹角为θ,错切之后的任一视点的坐标用(x``,y``,z``)表示,则位于X`轴负半轴视点2的错切表达式均为:
x ′ ′ = x ′ + ( z ′ - z G ) tan θ y ′ ′ = y ′ z ′ ′ = z ′ ,
对应的错切矩阵均为:
1,0 , tan θ , - z G tan θ 0,1,0,0 0,0,1,0 0,0,0,1 ,
位于X`轴正半轴的视点2的错切表达式均为:
x ′ ′ = x ′ - ( z ′ - z G ) tan θ y ′ ′ = y ′ z ′ ′ = z ′
对应的错切矩阵均为:
1,0 , - tan θ , z G tan θ 0,1,0,0 0,0,1,0 0,0,0,1
在本发明的实现虚拟视图转立体视图的方法的优选实施例中,图1所示的方法流程进一步包括步骤:
S5、用户根据体验到的3D效果调整第二图像处理模块的错切角度以及场景中观察者的位置坐标,进而实现改善投影3D图像的3D效果。具体地,当场景中的任意一点的z`大于观察者的坐标zG时,错切时该点向x`轴负方向移动,z`小于观察者的坐标zG时,错切时该点向x`轴正方向移动,视点2和视点3的错切方向不同,错切角度相同,
其中,直角坐标系O-XYZ中,视图的任意一点A(x,y,z)经旋转得到直角坐标系O`-X`Y`Z`中的A`(x`,y`,z`)。A`错切变换后得到A``(x``,y``,z``),因此,由A到A``的对应关系为A``=M1*M2*A*M3;
S4、利用投影显示模块对各视点的左右视图进行投影,
投影显示模块通过将错切后的视图进行投影,使得用户可以体验到全息立体视图。
在本发明实现虚拟视图转立体视图的一优选实施例中,用户根据自己的体验,可以调整第二图像处理模块的错切角度以及场景中观察者的位置,进,进而改善投影视图的3D效果。
具体地,用户通过改变zG和θ的大小,进而改善投影图像的立体效果:
当增大zG时,z-zG减小,立体效果减弱,反之,则立体效果增强;
当增大θ时(),tanθ就增大,投影图像的立体效果增强,反之,则立体效果减弱。
因此,本发明的实现虚拟视图转立体视图的方法可以通过适当的修改zG和θ,实现较好的3D立体效果体验,另外本发明的实施例中采用的动态追踪人眼位置坐标使得用户在移动过程中可以观看到较好的全息立体视图,避免了用户只有在某几个固定点上才能体验到较好的全息立体视图带来的不便。
本发明提供的第二个技术方案是提供一种实现虚拟视图转立体视图的装置。请参见图5,图5是本发明的实现虚拟视图转立体视图的装置的一实施例的结构示意图。如图5所示,本实施例的实现虚拟视图转立体视图的装置20包括:人眼追踪模块21,用于捕捉人眼位置坐标;第一图像处理模块22,与所述人眼追踪模块21电连接,用于根据人眼位置坐标以及投影显示模块24的屏幕中心坐标确定虚拟场景的旋转角度,按照旋转角度旋转虚拟场景获得虚拟全息立体视图矩阵;第二图像处理模块23,与所述第一图像处理模块22电连接,用于根据虚拟场景中心、场景中观察者的位置、各视点的坐标确定各视点的错切角度,进而生成与各视点一一对应的错切矩阵,错切矩阵右乘与之对应的视点模型矩阵生成左右视图;投影显示模块24,与所述第二图像处理模块23电连接,用于对各视点的左右视图进行投影。
在本实施例中,人眼追踪模块21可实时追踪人眼所处的位置,请参见图2,图2表示了人眼位置坐标与屏幕的夹角示意图,如图2所示,在对虚拟场景进行旋转之前,采用的空间直角坐标系O-XYZ,其中,屏幕中心位于坐标系O-XYZ的原点O,人眼到屏幕中心O的连线在XOZ平面的投影与z轴正半轴的夹角为α,人眼到屏幕中心O的连线在YOZ平面的投影与z轴正半轴的夹角为β,X轴方向由屏幕左边中点指向屏幕的右边中点,Y轴方向由屏幕上边中点指向屏幕的下边中点。本实施例中,通过使用人眼追踪模块21使得用户在移动的过程中能够观看到随人眼位置改变而改变的全息立体视图,从而避免了用户只能在某几个固定点上才能观看到全息立体视图带来的不便。
在本实施例一优选方案可参见图3,图3是图1所示的实施例中是虚拟场景绕Y轴旋转角度与人眼位置、场景中心以及屏幕的位置关系示意图,如图3所示,人眼在平面XOZ上的投影到屏幕的距离为L,虚拟场景中心到屏幕的距离为Z中心,其中,角度a表示场景绕Y轴旋转的角度同理,可以得到场景绕X轴旋转的角度原虚拟场景绕Y轴旋转角度a,然后再绕X轴旋转角度b,获得虚拟全息立体视图矩阵,若旋转之前的虚拟场景视图矩阵用A表示,虚拟全息立体视图矩阵用A`表示,
则A`=M1*M2*A,
M 1 = cos a , 0 , - sin a , 0 0,1,0,0 sin a , 0 , cos a , 0 0,0,0,1 , M 2 = 1,0,0,0 0 , cos b , sin b , 0 1 , - sin b , cos a , 0 0,0,0,1 , 立体视图A右乘M1,M2得到旋转后的视图A`。
本实施例中对全息虚拟立体视图进行错切的角度的确定请参见图4,图4是图1所示的实施例中错切角度与场景中观察者的位置、视点中心坐标以及视点位置的关系示意图,如图4所示,旋转后的新坐标系用O`-X`Y`Z`表示,原点O`与原坐标系中视点的中心位置重合,Z`轴的正方向沿着原坐标系中观察者的坐标zG指向视点中心坐标,所述的错切变换是指视点的y`和z`不变,x`值以z`轴为依赖轴呈线性变换,设错切角度θ是指视点坐标与z`轴正方向夹角,如图4示出了4个视点包括视点1、视点2、视点3和视点4,其中,视点1和视点4是分别是左视图和右视图对应的一对视点,视点2和视点3分别是左视图和右视图对应的一对视点,如图4所示,视点3与Z`轴的正方向的夹角为θ,错切之后的任一视点的坐标用(x``,y``,z``)表示,则位于X`轴负半轴视点2的错切表达式均为:
x ′ ′ = x ′ + ( z ′ - z G ) tan θ y ′ ′ = y ′ z ′ ′ = z ′ ,
对应的错切矩阵均为:
1,0 , tan θ , - z G tan θ 0,1,0,0 0,0,1,0 0,0,0,1 ,
位于X`轴正半轴的视点3的错切表达式均为:
x ′ ′ = x ′ - ( z ′ - z G ) tan θ y ′ ′ = y ′ z ′ ′ = z ′
对应的错切矩阵均为:
1,0 , - tan θ , z G tan θ 0,1,0,0 0,0,1,0 0,0,0,1
在本实施例的优选方案中,第二图像处理模块23进一步用于根据用户的输入改变错切角度以及场景中观察者的位置坐标,进而实现改善投影获得的立体图像的立体效果。具体地,当场景中的任意一点的z`大于观察者的坐标zG时,错切时该点向x`轴负方向移动,z`小于观察者的坐标zG时,错切时该点向x`轴正方向移动。,视点2和视点3的错切方向不同,错切角度相同。
其中,直角坐标系O-XYZ中,视图的任意一点A(x,y,z)经旋转得到直角坐标系O`-X`Y`Z`中的A`(x`,y`,z`)。A`错切变换后得到A``(x``,y``,z``),因此,由A到A``的对应关系为A``=M1*M2*A*M3。
投影显示模块24通过将错切后的视图进行投影,使得用户可以体验到全息立体视图。
在本发明实现虚拟视图转立体视图的一优选实施例中,用户根据自己的体验,可以调整第二图像处理模块的错切角度以及场景中观察者的位置,进,进而改善投影视图的3D效果。
具体地,用户通过改变zG和θ的大小,进而改善投影图像的立体效果:
当增大zG时,z-zG减小,立体效果减弱,反之,则立体效果增强;
当增大θ时(),tanθ就增大,投影图像的立体效果增强,反之,则立体效果减弱。
通过上述方式,本发明提供的一种实现虚拟视图转立体视图的方法及装置,通过追踪人眼动态坐标确定虚拟场景的旋转角度,进而对虚拟场景进行旋转获得虚拟全息立体视图矩阵,进而利用错切矩阵右乘各视点模型矩阵,投影后得到各视点的图像,并根据用户的3D效果体验,调整场景中观察者的位置以及错切角度最终获得较好的3D效果体验。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种实现虚拟视图转立体视图的方法,其特征在于,所述方法包括步骤: 
S1、利用人眼追踪模块捕捉人眼位置坐标; 
S2、利用第一图像处理模块根据人眼位置坐标以及投影显示模块的屏幕中心坐标确定虚拟场景的旋转角度,按照旋转角度旋转虚拟场景获得虚拟全息立体视图矩阵; 
S3、利用第二图像处理模块根据虚拟场景中心、场景中观察者的位置、各视点的坐标确定各视点的错切角度,进而生成与各视点一一对应的错切矩阵,错切矩阵右乘与之对应的视点模型矩阵生成左右视图; 
S4、利用投影显示模块对各视点的左右视图进行投影。 
2.根据权利要求1所述的方法,其特征在于,若旋转之前的虚拟场景视图矩阵用A表示,虚拟全息立体视图矩阵用A`表示, 
则A`=M1*M2*A, 
立体视图A右乘M1,M2得到旋转后的视图A`, 
其中,在旋转之前的空间直角坐标系O-XYZ中,屏幕中心位于坐标系O-XYZ的原点,人眼到屏幕中心的连线在XOZ平面的投影与z轴正半轴的夹角为α,人眼到屏幕中心的连线在YOZ平面的投影与z轴正半轴的夹角为β,X轴方向由屏幕左边中点指向屏幕的右边中点,Y轴方向由屏幕上边中点指向屏幕的下边中点, 
根据角度α、β、人眼到屏幕的距离L,场景中心到屏幕的距离Z,可以确定场景绕Y轴旋转的角度以及场景绕X轴旋转的角度
3.根据权利要求2所述的方法,其特征在于,旋转后的新坐标系用O`-X`Y`Z`表示,原点O`与原坐标系中视点的中心位置重合,Z`轴的正方向沿着原坐标系中观察者的坐标指向视点中心坐标,所述的错切变换是指视点的y`和z`不变,x`值以z`轴为依赖轴呈线性变换,设错切角度θ是指视点坐标与z`轴正方向夹角,错切之后的任一视点的坐标用(x``,y``,z``)表示,则位于X`轴负半轴视点的错切表达式均为: 
对应的错切矩阵均为: 
位于X`轴正半轴的视点的错切表达式均为: 
对应的错切矩阵均为: 
4.根据权利要求1-3任意一项所述的方法,其特征在于,所述方法进一步包括步骤: 
S5、用户根据体验到的3D效果调整第二图像处理模块的错切角度以及场景中观察者的位置坐标,进而实现改善投影3D图像的3D效果。 
5.一种实现虚拟视图转立体视图的装置,其特征在于,所述装置包括: 
人眼追踪模块,用于捕捉人眼位置坐标; 
第一图像处理模块,与所述人眼追踪模块电连接,用于根据人眼位置坐标以及投影显示模块的屏幕中心坐标确定虚拟场景的旋转角度,按照旋转角度旋转虚拟场景获得虚拟全息立体视图矩阵; 
第二图像处理模块,与所述第一图像处理模块电连接,用于根据虚拟场景中心、场景中观察者的位置、各视点的坐标确定各视点的错切角度,进而生成与各视点一一对应的错切矩阵,错切矩阵右乘与之对应的视点模型矩阵生成左右视图; 
投影显示模块,与所述第二图像处理模块电连接,用于对各视点的左右视图进行投影。 
6.根据权利要求5所述的装置,其特征在于,若所述旋转之前的虚拟场景视图矩阵用A表示,虚拟全息立体视图矩阵用A`表示, 
则A`=M1*M2*A, 
立体视图A右乘M1,M2得到旋转后的视图A`, 
其中,旋转之前的空间直角坐标系用表示O-XYZ中,屏幕中心位于坐标系O-XYZ的原点,人眼到屏幕中心的连线在XOZ平面的投影与z轴正半轴的夹角为α,人眼到屏幕中心的连线在YOZ平面的投影与z轴正半轴的夹角为β,X轴由屏幕左边中点指向屏幕的右边中点,Y轴由屏幕上边中点指向屏幕的下边中点, 
根据角度α、β、人眼到屏幕的距离L,场景中心到屏幕的距离Z,可以确定场景绕Y轴旋转的角度以及场景绕X轴旋 转的角度
7.根据权利要求6所述的装置,其特征在于,旋转后的新坐标系用O`-X`Y`Z`表示,其中,原点O`与原坐标系中视点的中心位置重合,Z`轴的正方向沿着原坐标系中观察者的坐标指向视点中心坐标,所述的错切变换是指视点的y`和z`不变,x`值以z`轴为依赖轴呈线性变换,设错切角度θ是指视点坐标与z`轴正方向夹角,错切之后的视点的坐标用(x``,y``,z``)表示,则位于X`轴负半轴视点的错切表达式均为: 
对应的视点的错切矩阵均为: 
位于X`轴正半轴的视点的错切表达式均为: 
对应的错切矩阵均为: 
8.根据权利要求5-7任意一项所述的装置,其特征在于,第二图像处理模块进一步用于根据用户的输入改变错切角度以及场景中观察 者的位置坐标,进而实现改善投影获得的立体图像的立体效果。 
CN201310542642.XA 2013-11-05 2013-11-05 一种实现虚拟视图转立体视图的方法及装置 Pending CN103996215A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201310542642.XA CN103996215A (zh) 2013-11-05 2013-11-05 一种实现虚拟视图转立体视图的方法及装置
US14/417,557 US9704287B2 (en) 2013-11-05 2014-07-23 Method and apparatus for achieving transformation of a virtual view into a three-dimensional view
PCT/CN2014/082831 WO2015067071A1 (zh) 2013-11-05 2014-07-23 一种实现虚拟视图转立体视图的方法及装置
EP14814675.6A EP3067866A4 (en) 2013-11-05 2014-07-23 Method and device for converting virtual view into stereoscopic view
JP2015545662A JP2015536010A (ja) 2013-11-05 2014-07-23 仮想ビューから立体ビューへの変換を実現する方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310542642.XA CN103996215A (zh) 2013-11-05 2013-11-05 一种实现虚拟视图转立体视图的方法及装置

Publications (1)

Publication Number Publication Date
CN103996215A true CN103996215A (zh) 2014-08-20

Family

ID=51310368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310542642.XA Pending CN103996215A (zh) 2013-11-05 2013-11-05 一种实现虚拟视图转立体视图的方法及装置

Country Status (5)

Country Link
US (1) US9704287B2 (zh)
EP (1) EP3067866A4 (zh)
JP (1) JP2015536010A (zh)
CN (1) CN103996215A (zh)
WO (1) WO2015067071A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015067071A1 (zh) * 2013-11-05 2015-05-14 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
CN106454315A (zh) * 2016-10-26 2017-02-22 深圳市魔眼科技有限公司 一种自适应虚拟视图转立体视图的方法、装置及显示设备
CN107027015A (zh) * 2017-04-28 2017-08-08 广景视睿科技(深圳)有限公司 基于增强现实的3d动向投影系统以及用于该系统的投影方法
CN107193372A (zh) * 2017-05-15 2017-09-22 杭州隅千象科技有限公司 从多个任意位置矩形平面到可变投影中心的投影方法
CN109189302A (zh) * 2018-08-29 2019-01-11 百度在线网络技术(北京)有限公司 Ar虚拟模型的控制方法及装置
WO2019128109A1 (zh) * 2017-12-26 2019-07-04 广景视睿科技(深圳)有限公司 一种基于人脸追踪的动向投影方法、装置及电子设备
CN110913200A (zh) * 2019-10-29 2020-03-24 北京邮电大学 一种多屏拼接同步的多视点图像生成系统及方法
CN111031298A (zh) * 2019-11-12 2020-04-17 广景视睿科技(深圳)有限公司 控制投影模块投影的方法、装置和投影系统
CN112235562A (zh) * 2020-10-12 2021-01-15 聚好看科技股份有限公司 一种3d显示终端、控制器及图像处理方法
CN113379897A (zh) * 2021-06-15 2021-09-10 广东未来科技有限公司 应用于3d游戏渲染引擎的自适应虚拟视图转立体视图的方法及装置
CN116819925A (zh) * 2023-08-29 2023-09-29 廊坊市珍圭谷科技有限公司 一种基于全息投影的互动娱乐系统及方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666959B1 (ko) * 2015-03-25 2016-10-18 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN106961592B (zh) * 2017-03-01 2020-02-14 深圳市魔眼科技有限公司 3d视频的vr显示方法及系统
US10672311B2 (en) * 2017-05-04 2020-06-02 Pure Depth, Inc. Head tracking based depth fusion
CN110324601A (zh) * 2018-03-27 2019-10-11 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
CN111050145B (zh) * 2018-10-11 2022-07-01 上海云绅智能科技有限公司 一种多屏融合成像的方法、智能设备及系统
CN111131801B (zh) * 2018-11-01 2023-04-28 华勤技术股份有限公司 投影仪校正系统、方法及投影仪
CN111182278B (zh) * 2018-11-09 2022-06-14 上海云绅智能科技有限公司 一种投影展示管理方法及系统
AT522012A1 (de) * 2018-12-19 2020-07-15 Viewpointsystem Gmbh Verfahren zur Anpassung eines optischen Systems an einen individuellen Benutzer
CN112672139A (zh) * 2021-03-16 2021-04-16 深圳市火乐科技发展有限公司 投影显示方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100085423A1 (en) * 2004-09-30 2010-04-08 Eric Belk Lange Stereoscopic imaging
CN102509334A (zh) * 2011-09-21 2012-06-20 北京捷成世纪科技股份有限公司 一种将虚拟3d场景转换为立体视图的方法
CN102520970A (zh) * 2011-12-28 2012-06-27 Tcl集团股份有限公司 一种立体用户界面的生成方法及装置

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8706348D0 (en) * 1987-03-17 1987-04-23 Quantel Ltd Electronic image processing systems
JP2812254B2 (ja) * 1995-05-31 1998-10-22 日本電気株式会社 視点追従型立体映像表示装置
US5850225A (en) * 1996-01-24 1998-12-15 Evans & Sutherland Computer Corp. Image mapping system and process using panel shear transforms
US6108440A (en) * 1996-06-28 2000-08-22 Sony Corporation Image data converting method
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
US6640018B1 (en) * 1999-06-08 2003-10-28 Siemens Aktiengesellschaft Method for rotating image records with non-isotropic topical resolution
EP1264281A4 (en) * 2000-02-25 2007-07-11 Univ New York State Res Found ARRANGEMENT AND METHOD FOR PROCESSING AND PLAYING A VOLUME
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
US7003175B2 (en) * 2001-03-28 2006-02-21 Siemens Corporate Research, Inc. Object-order multi-planar reformatting
WO2002099739A1 (en) 2001-06-05 2002-12-12 Matrox Electronic Systems Ltd. Model-based recognition of objects using a calibrated image system
US7043073B1 (en) * 2001-10-19 2006-05-09 Zebra Imaging, Inc. Distortion correcting rendering techniques for autostereoscopic displays
JP3805231B2 (ja) * 2001-10-26 2006-08-02 キヤノン株式会社 画像表示装置及びその方法並びに記憶媒体
US7565004B2 (en) * 2003-06-23 2009-07-21 Shoestring Research, Llc Fiducial designs and pose estimation for augmented reality
DE602004016185D1 (de) * 2003-10-03 2008-10-09 Automotive Systems Lab Insassenerfassungssystem
GB0410551D0 (en) * 2004-05-12 2004-06-16 Ller Christian M 3d autostereoscopic display
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
AU2005286823B2 (en) * 2004-09-17 2009-10-01 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
AU2004240229B2 (en) * 2004-12-20 2011-04-07 Canon Kabushiki Kaisha A radial, three-dimensional, hierarchical file system view
US20070127787A1 (en) * 2005-10-24 2007-06-07 Castleman Kenneth R Face recognition system and method
JP4375325B2 (ja) * 2005-11-18 2009-12-02 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US8548265B2 (en) * 2006-01-05 2013-10-01 Fastvdo, Llc Fast multiplierless integer invertible transforms
GB0716776D0 (en) * 2007-08-29 2007-10-10 Setred As Rendering improvement for 3D display
DE102007056528B3 (de) * 2007-11-16 2009-04-02 Seereal Technologies S.A. Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren
US20100110069A1 (en) * 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
TWI398796B (zh) * 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
JP2011165068A (ja) * 2010-02-12 2011-08-25 Nec System Technologies Ltd 画像生成装置、画像表示システム、画像生成方法、及びプログラム
EP2549762B1 (en) * 2010-03-19 2017-05-03 Panasonic Intellectual Property Management Co., Ltd. Stereovision-image position matching apparatus, stereovision-image position matching method, and program therefor
JP5872185B2 (ja) * 2010-05-27 2016-03-01 任天堂株式会社 携帯型電子機器
CN101853518B (zh) 2010-05-28 2012-01-11 电子科技大学 基于各向异性体数据的错切变形体绘制方法
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
JP4869430B1 (ja) * 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US8896631B2 (en) * 2010-10-25 2014-11-25 Hewlett-Packard Development Company, L.P. Hyper parallax transformation matrix based on user eye positions
TWI433530B (zh) * 2010-11-01 2014-04-01 Ind Tech Res Inst 具有立體影像攝影引導的攝影系統與方法及自動調整方法
CN102812497B (zh) * 2011-03-03 2016-06-08 松下知识产权经营株式会社 能够提供随后体验影像的影像提供装置、影像提供方法
CN103026388A (zh) * 2011-04-28 2013-04-03 松下电器产业株式会社 图像生成装置
JP5978695B2 (ja) * 2011-05-27 2016-08-24 株式会社Jvcケンウッド 裸眼立体ディスプレイ装置及び視点調整方法
KR101779423B1 (ko) * 2011-06-10 2017-10-10 엘지전자 주식회사 영상처리방법 및 영상처리장치
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
KR101315303B1 (ko) * 2011-07-11 2013-10-14 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
JP2013128181A (ja) * 2011-12-16 2013-06-27 Fujitsu Ltd 表示装置、表示方法および表示プログラム
JP2013150249A (ja) * 2012-01-23 2013-08-01 Sony Corp 画像処理装置と画像処理方法およびプログラム
US20140002443A1 (en) * 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
US9092897B2 (en) * 2012-08-10 2015-07-28 Here Global B.V. Method and apparatus for displaying interface elements
WO2014045289A1 (en) * 2012-09-24 2014-03-27 Simhoni Noa Adding objects to digital photographs
KR101416378B1 (ko) * 2012-11-27 2014-07-09 현대자동차 주식회사 영상 이동이 가능한 디스플레이 장치 및 방법
US9225969B2 (en) * 2013-02-11 2015-12-29 EchoPixel, Inc. Graphical system with enhanced stereopsis
KR102040653B1 (ko) * 2013-04-08 2019-11-06 엘지디스플레이 주식회사 홀로그래피 입체 영상 표시장치
US9264702B2 (en) * 2013-08-19 2016-02-16 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
CN103996215A (zh) 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100085423A1 (en) * 2004-09-30 2010-04-08 Eric Belk Lange Stereoscopic imaging
CN102509334A (zh) * 2011-09-21 2012-06-20 北京捷成世纪科技股份有限公司 一种将虚拟3d场景转换为立体视图的方法
CN102520970A (zh) * 2011-12-28 2012-06-27 Tcl集团股份有限公司 一种立体用户界面的生成方法及装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9704287B2 (en) 2013-11-05 2017-07-11 Shenzhen Cloud Cube Information Tech Co., Ltd. Method and apparatus for achieving transformation of a virtual view into a three-dimensional view
WO2015067071A1 (zh) * 2013-11-05 2015-05-14 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
CN106454315A (zh) * 2016-10-26 2017-02-22 深圳市魔眼科技有限公司 一种自适应虚拟视图转立体视图的方法、装置及显示设备
CN107027015A (zh) * 2017-04-28 2017-08-08 广景视睿科技(深圳)有限公司 基于增强现实的3d动向投影系统以及用于该系统的投影方法
WO2018196070A1 (zh) * 2017-04-28 2018-11-01 广景视睿科技(深圳)有限公司 基于增强现实的3d动向投影系统以及用于该系统的投影方法
CN107193372B (zh) * 2017-05-15 2020-06-19 杭州一隅千象科技有限公司 从多个任意位置矩形平面到可变投影中心的投影方法
CN107193372A (zh) * 2017-05-15 2017-09-22 杭州隅千象科技有限公司 从多个任意位置矩形平面到可变投影中心的投影方法
WO2019128109A1 (zh) * 2017-12-26 2019-07-04 广景视睿科技(深圳)有限公司 一种基于人脸追踪的动向投影方法、装置及电子设备
CN109189302A (zh) * 2018-08-29 2019-01-11 百度在线网络技术(北京)有限公司 Ar虚拟模型的控制方法及装置
CN110913200A (zh) * 2019-10-29 2020-03-24 北京邮电大学 一种多屏拼接同步的多视点图像生成系统及方法
CN110913200B (zh) * 2019-10-29 2021-09-28 北京邮电大学 一种多屏拼接同步的多视点图像生成系统及方法
CN111031298A (zh) * 2019-11-12 2020-04-17 广景视睿科技(深圳)有限公司 控制投影模块投影的方法、装置和投影系统
CN112235562A (zh) * 2020-10-12 2021-01-15 聚好看科技股份有限公司 一种3d显示终端、控制器及图像处理方法
CN112235562B (zh) * 2020-10-12 2023-09-15 聚好看科技股份有限公司 一种3d显示终端、控制器及图像处理方法
CN113379897A (zh) * 2021-06-15 2021-09-10 广东未来科技有限公司 应用于3d游戏渲染引擎的自适应虚拟视图转立体视图的方法及装置
CN116819925A (zh) * 2023-08-29 2023-09-29 廊坊市珍圭谷科技有限公司 一种基于全息投影的互动娱乐系统及方法
CN116819925B (zh) * 2023-08-29 2023-11-14 廊坊市珍圭谷科技有限公司 一种基于全息投影的互动娱乐系统及方法

Also Published As

Publication number Publication date
EP3067866A1 (en) 2016-09-14
WO2015067071A1 (zh) 2015-05-14
JP2015536010A (ja) 2015-12-17
EP3067866A4 (en) 2017-03-29
US20150339844A1 (en) 2015-11-26
US9704287B2 (en) 2017-07-11

Similar Documents

Publication Publication Date Title
CN103996215A (zh) 一种实现虚拟视图转立体视图的方法及装置
CN103686107B (zh) 一种基于投影图像的处理方法及装置
DE112016004216T5 (de) Allgemeine Sphärische Erfassungsverfahren
CN105678693A (zh) 全景视频浏览播放方法
CN105704468A (zh) 用于虚拟和现实场景的立体显示方法、装置及电子设备
CN102176755A (zh) 基于眼动三维显示角度的控制方法及装置
EP3376762A1 (en) Depth image composition method and apparatus
CN104618706A (zh) 一种分时实现多人多角度全息立体显示的移动终端及方法
CA3101222C (en) Image processing method and device, and three-dimensional imaging system
CN104463959A (zh) 一种生成立方体环境贴图的方法
CN106454315A (zh) 一种自适应虚拟视图转立体视图的方法、装置及显示设备
CN103269430A (zh) 基于bim的三维场景生成方法
CN104216533B (zh) 一种基于DirectX9的头戴式虚拟现实显示器
CN105915877A (zh) 一种三维视频的自由观影方法及设备
CN115868158A (zh) 一种显示调节方法、装置、设备及介质
CN104159099B (zh) 一种3d立体影视制作中双目立体摄像机的设置方法
US10264238B2 (en) Stereoscopic mapping
CN106251323A (zh) 一种裸眼立体跟踪的方法、装置及电子设备
CN104915373A (zh) 一种三维网页设计方法及装置
CN104216202A (zh) 一种结合惯性陀螺仪的摄像机视觉实时定位系统及定位方法
CN105072433A (zh) 应用于头跟踪虚拟现实系统的感知深度映射方法
CN106303493A (zh) 图像处理方法及装置
CN107635132A (zh) 裸眼3d显示终端的显示控制方法、装置及显示终端
CN106648365A (zh) 一种三维图像的屏幕防抖方法与装置
CN206331183U (zh) 一种增强现实与虚拟现实两用显示设备和可穿戴设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140820