CN102289841A - 一种立体图像观众感知深度的调节方法 - Google Patents
一种立体图像观众感知深度的调节方法 Download PDFInfo
- Publication number
- CN102289841A CN102289841A CN2011102302750A CN201110230275A CN102289841A CN 102289841 A CN102289841 A CN 102289841A CN 2011102302750 A CN2011102302750 A CN 2011102302750A CN 201110230275 A CN201110230275 A CN 201110230275A CN 102289841 A CN102289841 A CN 102289841A
- Authority
- CN
- China
- Prior art keywords
- centerdot
- spectators
- parallax
- horizontal
- perceived depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种立体图像观众感知深度的调节方法,在三维电视系统中使用平行摄像机设置来生成目标图像,然后将参考图像和目标图像同时向它们连线的中心点水平平移,得到摄像机空间的水平传感视差,再根据三维电视系统显示的几何原理,确定了一种用水平屏幕视差表示观众感知深度的方法,最后依据水平传感视差和水平屏幕视差的关系,将观众感知深度转换为摄像机空间的参数,这样,观众可以通过调节水平平移、基线距离和焦距参数来重新生成目标图像从而调节观众感知深度。通过实验,本发明的方法,可以产生观众要求的不同感知深度的立体图像。
Description
技术领域
本发明属于深度图像绘制技术领域,更为具体地讲,涉及基于深度图像绘制技术(depth-image-based rendering,简称DIBR)的一种立体图像观众感知深度的调节方法。
背景技术
基于深度图像绘制(depth-image-based rendering,简称DIBR)技术是根据参考图像(reference image)及其对应的深度图像(depth image)来生成一幅新的虚拟视点图像,即目标图像(destination image)。与利用左右两路平面视频合成三维影像即传统三维视频格式相比,采用DIBR技术之后仅需要传递一路视频及其深度图像序列就可合成三维影像,而且可以很方便的实现二维和三维的切换,同时避免了由传统视图生成方法所带来的三维空间变换的计算复杂性。正因为如此,DIBR技术在3D电视合成三维影像中中得到了广泛应用,它也引起了人们愈来愈浓厚的兴趣。
然而,当观看环境或显示器发生变化时三维内容的逼真度和舒适度会发生畸变,此外,不同人群的深度感受能力也不同。所以,让观众根据自己情况调节图像感知深度是很有必要的。
发明内容
本发明的目的在于克服现有技术的不足,提供一种立体图像观众感知深度的调节方法,使观众根据自己情况调节立体图像感知深度。
为实现上述目的,本发明立体图像观众感知深度的调节方法,其特征在于,包括以下步骤:
①、在三维电视系统中使用平行摄像机设置来生成目标图像
式(1)中,ul,vl分别为参考图像Il中像素点ul的横坐标和纵坐标,ur,vr分别为目标图像Ir中生成的对应像素点ur的横坐标和纵坐标;f为参考图像Il对应的摄像机焦距,B为参考图像Il对应的摄像机的视点Cl、目标图像Ir对应的摄像机的视点Cr之间的距离,即基线距离,sx为图像物理坐标系向图像像素坐标系转换时在横轴,即X轴方向上每单位物理长度对应的像素的个数,zl表示像素点ul(ul,vl)对应的深度值;
②、将参考图像Il和目标图像Ir相向水平移动h个像素点,得到摄像机空间的水平传感视差Dc:
③、将摄像机空间的水平传感视差Dc转换为观众空间的水平屏幕视差Ds:
式(3)中,Ws为观众空间对应的图像宽度,单位为实际的宽度值;Wi为摄像机空间对应的图像宽度,单位为像素;
④、确定观众感知深度d为:
式(4)中,V为观看距离,tx为眼睛瞳孔距离;
⑤、将观众感知深度d转换为摄像机空间的参数,得到观众感知深度d:
⑥、观众通过调节水平移动h、基线距离B或焦距f来调节观众感知深度d。
本发明的发明目的是这样实现的:
本发明立体图像观众感知深度的调节方法,在三维电视系统中使用平行摄像机设置来生成目标图像,然后将参考图像和目标图像同时向它们连线的中心点水平平移,得到摄像机空间的水平传感视差,再根据三维电视系统显示的几何原理,确定了一种用水平屏幕视差表示观众感知深度的方法,最后依据水平传感视差和水平屏幕视差的关系,将观众感知深度转换为摄像机空间的参数,这样,观众可以通过调节水平平移、基线距离和焦距参数重新生成目标图像来调节观众感知深度。通过实验,本发明的方法,可以产生观众要求的不同感知深度的立体图像。
附图说明
图1是通过平行摄像机设置来生成目标图像的原理图;
图2是传感变换摄像机设置的原理图;
图3是传感变换的原理图;
图4是摄像机空间的水平传感视差与观众空间的水平屏幕视差的关系图;
图5是三维电视系统显示的几何原理图;
图6是观众感知深度与其他参数的关系图;
图7是观众感知深度与水平屏幕视差的关系图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
图1是通过平行摄像机设置来生成目标图像的原理图。
如图1所示,Il为参考图像,其宽度为Wi(像素),Ir为与参考图像Il图像大小相同的目标图像。像素点ul是参考图像Il上的点,其在图像像素坐标系的标准化齐次坐标为[ul,vl,1]T,场景点U是像素点ul投影到三维空间中的点,其在世界坐标系的标准化齐次坐标为[xw yw zw 1]T,场景点U投影到目标图像Ir上对应的像素点ur,其标准化齐次坐标为[ur,vr,1]T。设世界坐标系xwywzw与参考图像,即左视图对应的左摄像机的摄像机坐标系一致。
如图1所示,在三维电视系统中,通过使用平行摄像机设置来生成目标图像Ir,在本实施例中,即右视图对应的右摄像机的视点Cr通过参考图像Il,在本实例中,即左视图对应的左摄像机的视点Cl水平平移基线距离B得到。左右视图的中心点ol、or分别在坐标系中的zw、zr坐标轴上。左右摄像机的内部参数矩阵满足Kl=Kr=K,旋转变换矩阵满足Rl=Rr=I,I为单位矩阵。
B为参考图像Il对应的摄像机的视点Cl、目标图像Ir对应的摄像机的视点Cr连接构成的基线的距离,即左右摄像机光心间的距离,由于成人眼睛瞳孔距离一般为65mm,所以我们通常设用来捕捉立体图像对的两摄像机的光心距离即基线距离B值为65mm。由于在世界坐标系xwywzw中,视点Cl和Cr的坐标分别为[0 0 0]T和[B 0 0]T,所以有:
zlul=K[xw yw zw]T (6)
其中,zl表示像素点ul(ul,vl)对应的深度值,zr表示像素点ur(ur,vr)对应的深度值。
由于目标图像Ir的摄像机坐标系是世界坐标系xwywzw的水平平移,所以像素点ur(ur,vr)对应的深度值zr=zl=zw。
左右摄像机的内部参数矩阵为:
其中f为参考图像Il对应摄像机的焦距,(ox,oy)为图像像素坐标系xoy的中心点。sx和sy分别为X轴和Y轴每单位长度(毫米)的像素数。将公式(8)代入公式(7)得到公式(1):
图2是传感变换摄像机设置的原理图。
为了产生正、负视差,在平行摄像机设置中引入传感变换。如图3所示,参考图像Il和目标图像Ir分别从初始位置相向水平移动h个像素点,且h≥0。这将使中心点ol和or分别移动到or′。总之,光轴和Cr or′将交于点zc,zc称为零视差点。参考图像Il和目标图像Ir置于摄像机光心之前,这种特殊设置使公式(1)的数学形式得到简化但公式的使用范围不变。经过传感变换,平行摄像机设置变为传感变换(shift-sensor)摄像机设置。
图3是传感变换的原理图。
传感变换可用图像中心点ol和or的位移公式来表示,除非参考图像、目标图像平面的中心移动,也可以说为两图像像素坐标系移动,否则针孔摄像机模型不会发生改变。传感变换后的左右摄像机的内部参数与原左右摄像机内部参数是对应的,只是各自的中心点ol和or相向水平平移,移动后,左右摄像机的内部参数矩阵为:
参考图像中心点ol在水平平移后新的图像像素坐标系x′o′y′中的水平坐标比在原来的图像像素坐标系xoy中的水平坐标减少了h,即在公式(9)中使用“-h”,相反的,在公式(10)中,我们使用“h”。
从公式(9)和(10)知:
与公式(6)、(7)相似,有:
zlul=Kl[xw yw zw]T (12)
将公式(11)、(12)代入(13)中,则有:
由于zr=zl=zw,所以公式(14)变为:
得到摄像机空间的水平传感视差Dc:
在公式(2)中,如果水平传感视差Dc=0,那么有zl=f·sx·B/(2h),这刚好是ZPS(zero-parallax setting)平面,零视差点zc一定在ZPS平面上,即zc=f·sx·B/2h。由于在传感变换shift-sensor摄像机设置中f,sx和B通常是常数,所以ZPS平面的选择通常取决于h值的设置。由于zw>f>0,所以有f·sx·B/2h>f,即h<sx·B/2。总之,h值的取值范围在0到sx·B/2之间。
若水平传感视差Dc>0,即视差为正,那么zw>f·sx·B/(2h)。由于ur-ul的绝对值小于图像宽度Wi,所以Dc≤Wi。
若水平传感视差Dc<0,即视差为负,那么zw<f·sx·B/(2h)。
表1定性说明了参数f、h、B对传感视差Dc的影响。
表1
图4是摄像机空间的水平传感视差与观众空间的水平屏幕视差的关系图。
如图4所示,水平传感视差Dc和水平屏幕视差Ds属于不同空间,即分别属于摄像机空间和观众空间。水平传感视差Dc的单位为像素,水平屏幕视差Ds的单位为长度值,一般以毫米(mm)表示。在摄像机空间,图像宽度为Wi(单位:像素),在观众空间,图像宽度为Ws(单位:mm)。右视图的边缘为虚线,也就是说它是由DIBR技术绘制的虚拟图像。
现阶段流行的支持高清图像(full high definition,简称FHD)的3D显示屏幕的分辨率为1920×1080。为了显示立体图像,通过线性转换算法将左视图和右视图转换至FHD的分辨率,所以屏幕放大因数为1920/Wi,水平传感视差Dc变为Dc×1920/Wi(单位:像素)。将图像放映到屏幕上时,图像宽度Wi等于1920像素,所以我们有:
公式(16)与屏幕的分辨率无关,它适用于不同的屏幕分辨率。从公式(16)可知,因为Wi/Ws>0,所以Dc和Ds的符号相同,并且他们的变化趋势也相同。
图5是三维电视系统显示的几何原理图。
如图5所示,在观众空间的所有对象均位于世界坐标系xyz中,其单位长度为毫米(mm)。设世界坐标系的z轴经过屏幕的中心,观众的左眼位置在el=[-tx/20 0]T,右眼位置在er=[tx/2 0 0]T(tx>0)。在此观察环境下,原点o位于两眼的中心。在图5中,使用了如下参数:
Ws:屏宽,即屏幕的水平尺寸;
Hs:屏高,即屏幕的垂直尺寸;
V:观看距离,为正数,即从观众的眼睛到3D电视屏幕的距离;
tx:眼睛瞳孔距离,为正数。
令W=[xi,yi,zi]T表示观众空间的一个虚拟点,此点为观众在立体图像显示时观察到的立体点。在如图5所示的观察环境下,zi满足zi>0,因为观众无法看到其背后的物体。
左右眼分别通过el和er观察点W,我们在屏幕上得到立体图像对xl、xr,如图5显示的是一个正视差情况。xl、xr的坐标的计算公式如下:
图6是观众感知深度与其他参数的关系图。
如图6所示,立体图像对xl、xr的水平坐标的关系,水平屏幕视差Ds为:
明显地xr-xl的绝对值不大于屏幕宽度Ws,即水平屏幕视差Ds≥-Ws。并且,xr-xl的值小于tx,,否则,观众的视线将不能会聚。因此,-Ws≤Ds<tx。
公式(20)说明水平屏幕视差Ds只与zi和V有关,因为tx通常为显示配置的一个常数。
如图6所示,令观众感知深度d=zi-V,这样观众感知深度d直接反映观众眼睛感受到的深度感,此深度感由水平屏幕视差Ds产生。由于zi>0,V>0,所以观众感知深度d的理论取值范围为-V到+∞。
公式(20)变形为表示观众感知深度d和水平屏幕视差Ds关系的等式:
整理公式(21),确定观众感知深度d为:
从公式(4)可以看出,观众感知深度d仍依赖与水平屏幕视差Ds。
图7是观众感知深度与水平屏幕视差的关系图。
如图7所示,水平屏幕视差Ds和观众感知深度d的关系是非线性的,当水平屏幕视差Ds趋于-Ws时,曲线变得平直;当水平屏幕视差Ds趋于tx时,曲线值急升,这可能导致错误的观众感知深度,仅当水平屏幕视差Ds位于0附近时,曲线变化近似为线性,因此,水平屏幕视差Ds不能趋于-Ws或趋于tx,以正确调节观众感知深度d。
最后,将公式(2)代入公式(3),再将公式(3)代入公式(4),将观众感知深度d转换为摄像机空间的参数,得到观众感知深度d:
从公式(5)知,观众空间的感知深度可通过摄像机空间的参数计算出来。在特定的观察和显示环境,观众空间的参数Ws,V和tx是不能调节的。因此,只有在摄像机空间的基于深度图像的绘制(DIBR)过程中改变参数的值能真正实现深度调节。这也是基于深度图像的3D视频比传统3D视频更容易提供安全和舒适的3D体验的原因。
观众感知深度d取决于参数水平移动h、基线距离B、焦距f的综合作用,在实际应用中我们可以通过改变这3个参数的值来获得可靠和舒适的3D体验。但是,由于捕捉立体图像对的两摄像机的光心距离即基线距离B值取决于眼睛瞳孔距离,基线距离B通常是常数,通常取65mm,参考图像Il对应的摄像机焦距f通常也是确定的值,这样在具体实现时,只通过调节水平移动h的值来观众调节感知深度d而保持其他2个参数不变。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (3)
1.一种立体图像观众感知深度的调节方法,其特征在于,包括以下步骤:
①、在三维电视系统中使用平行摄像机设置来生成目标图像
式(1)中,ul,vl分别为参考图像Il中像素点ul的横坐标和纵坐标,ur,vr分别为目标图像Ir中生成的对应像素点ur的横坐标和纵坐标;f为参考图像Il对应的摄像机焦距,B为参考图像Il对应的摄像机的视点Cl、目标图像Ir对应的摄像机的视点Cr之间的距离,即基线距离,sx为图像物理坐标系向图像像素坐标系转换时在横轴,即X轴方向上每单位物理长度对应的像素的个数,zl表示像素点ul(ul,vl)对应的深度值;
②、将参考图像Il和目标图像Ir相向水平移动h个像素点,得到摄像机空间的水平传感视差Dc:
③、将摄像机空间的水平传感视差Dc转换为观众空间的水平屏幕视差Ds:
式(3)中,Ws为观众空间对应的图像宽度,单位为实际的宽度值;Wi为摄像机空间对应的图像宽度,单位为像素;
④、确定观众感知深度d为:
式(4)中,V为观看距离,tx为眼睛瞳孔距离;
⑤、将观众感知深度d转换为摄像机空间的参数,得到观众感知深度d:
⑥、观众通过调节水平移动h、基线距离B或焦距f重新生成目标图像来调节观众感知深度d。
2.根据权利要求1所述的立体图像观众感知深度的调节方法,其特征在于,步骤⑥中只通过调节水平移动h的值来调节观众感知深度d而保持其他基线距离B或焦距f不变。
3.根据权利要求1所述的立体图像观众感知深度的调节方法,其特征在于,步骤②中调节水平移动h得到摄像机空间的水平传感视差Dc转换到观众空间的水平屏幕视差Ds位于0附近,不能趋于-Ws或趋于tx,以正确调节观众感知深度d。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110230275 CN102289841B (zh) | 2011-08-11 | 2011-08-11 | 一种立体图像观众感知深度的调节方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110230275 CN102289841B (zh) | 2011-08-11 | 2011-08-11 | 一种立体图像观众感知深度的调节方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102289841A true CN102289841A (zh) | 2011-12-21 |
CN102289841B CN102289841B (zh) | 2013-01-16 |
Family
ID=45336227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110230275 Expired - Fee Related CN102289841B (zh) | 2011-08-11 | 2011-08-11 | 一种立体图像观众感知深度的调节方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102289841B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930550A (zh) * | 2012-11-20 | 2013-02-13 | 天津理工大学 | 立体图像绘制时虚拟相机分离距离的确定方法 |
CN105163104A (zh) * | 2015-08-31 | 2015-12-16 | 四川虹微技术有限公司 | 一种不产生空洞的中间视图合成方法 |
CN105611278A (zh) * | 2016-02-01 | 2016-05-25 | 欧洲电子有限公司 | 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备 |
CN106170086A (zh) * | 2016-08-19 | 2016-11-30 | 深圳奥比中光科技有限公司 | 绘制三维图像的方法及其装置、系统 |
CN115665398A (zh) * | 2022-11-15 | 2023-01-31 | 龙旗电子(惠州)有限公司 | 基于虚拟现实技术的图像调整方法、装置、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101404777A (zh) * | 2008-11-06 | 2009-04-08 | 四川虹微技术有限公司 | 一种基于深度图像的绘制的视图合成方法 |
US20100080448A1 (en) * | 2007-04-03 | 2010-04-01 | Wa James Tam | Method and graphical user interface for modifying depth maps |
CN101938669A (zh) * | 2010-09-13 | 2011-01-05 | 福州瑞芯微电子有限公司 | 一种2d转3d的自适应视频转换系统 |
US20110115886A1 (en) * | 2009-11-18 | 2011-05-19 | The Board Of Trustees Of The University Of Illinois | System for executing 3d propagation for depth image-based rendering |
-
2011
- 2011-08-11 CN CN 201110230275 patent/CN102289841B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100080448A1 (en) * | 2007-04-03 | 2010-04-01 | Wa James Tam | Method and graphical user interface for modifying depth maps |
CN101404777A (zh) * | 2008-11-06 | 2009-04-08 | 四川虹微技术有限公司 | 一种基于深度图像的绘制的视图合成方法 |
US20110115886A1 (en) * | 2009-11-18 | 2011-05-19 | The Board Of Trustees Of The University Of Illinois | System for executing 3d propagation for depth image-based rendering |
CN101938669A (zh) * | 2010-09-13 | 2011-01-05 | 福州瑞芯微电子有限公司 | 一种2d转3d的自适应视频转换系统 |
Non-Patent Citations (1)
Title |
---|
XIAOHUI YANG ET AL: "DIBR based view synthesis for free-viewpoint television", 《3DTV CONFERENCE: THE TRUE VISION-CAPTURE, TRANSMISSION AND DISPLAY OF 3D VIDEO》, 18 May 2011 (2011-05-18), pages 1 - 4, XP031993735, DOI: doi:10.1109/3DTV.2011.5877165 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930550A (zh) * | 2012-11-20 | 2013-02-13 | 天津理工大学 | 立体图像绘制时虚拟相机分离距离的确定方法 |
CN105163104A (zh) * | 2015-08-31 | 2015-12-16 | 四川虹微技术有限公司 | 一种不产生空洞的中间视图合成方法 |
CN105163104B (zh) * | 2015-08-31 | 2017-03-01 | 四川虹微技术有限公司 | 一种不产生空洞的中间视图合成方法 |
CN105611278A (zh) * | 2016-02-01 | 2016-05-25 | 欧洲电子有限公司 | 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备 |
CN105611278B (zh) * | 2016-02-01 | 2018-10-02 | 欧洲电子有限公司 | 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备 |
CN106170086A (zh) * | 2016-08-19 | 2016-11-30 | 深圳奥比中光科技有限公司 | 绘制三维图像的方法及其装置、系统 |
CN115665398A (zh) * | 2022-11-15 | 2023-01-31 | 龙旗电子(惠州)有限公司 | 基于虚拟现实技术的图像调整方法、装置、设备及介质 |
CN115665398B (zh) * | 2022-11-15 | 2023-03-21 | 龙旗电子(惠州)有限公司 | 基于虚拟现实技术的图像调整方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102289841B (zh) | 2013-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9280951B2 (en) | Stereoscopic image display device, image processing device, and stereoscopic image processing method | |
EP2693760A2 (en) | Stereoscopic image display device, image processing device, and stereoscopic image processing method | |
US8094148B2 (en) | Texture processing apparatus, method and program | |
US20150022631A1 (en) | Content-aware display adaptation methods and editing interfaces and methods for stereoscopic images | |
US20160337640A1 (en) | Method and system for determining parameters of an off-axis virtual camera | |
AU2018249563B2 (en) | System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display | |
US9049435B2 (en) | Image providing apparatus and image providing method based on user's location | |
CN102289841B (zh) | 一种立体图像观众感知深度的调节方法 | |
US9154765B2 (en) | Image processing device and method, and stereoscopic image display device | |
TWI531212B (zh) | 呈現立體影像之系統及方法 | |
Jung et al. | Visual comfort improvement in stereoscopic 3D displays using perceptually plausible assessment metric of visual comfort | |
JP2012079291A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
CN102340678B (zh) | 一种景深可调的立体显示装置及其景深调整方法 | |
CN110381305B (zh) | 裸眼3d的去串扰方法、系统、存储介质及电子设备 | |
KR101947372B1 (ko) | Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd | |
US20140063206A1 (en) | System and method of viewer centric depth adjustment | |
WO2017085803A1 (ja) | 映像表示装置及び映像表示方法 | |
JP2012105172A (ja) | 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体 | |
CN103969836A (zh) | 一种用于多视点自由立体显示器的视角扩展方法 | |
Smith et al. | Perception of size and shape in stereoscopic 3d imagery | |
US9547933B2 (en) | Display apparatus and display method thereof | |
Wei et al. | A real-time 2d to 3d video conversion algorithm based on image shear transformation | |
Chen et al. | A View-Dependent Stereoscopic System Using Depth-Image-Based Tracking | |
KR101157049B1 (ko) | 3차원영상 제작시스템 | |
JP2023162320A (ja) | 視聴者に合わせて調整された立体画像表示 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130116 Termination date: 20170811 |
|
CF01 | Termination of patent right due to non-payment of annual fee |