CN1267699C - 基于相移的光栅投影式三维轮廓测量装置及测量方法 - Google Patents

基于相移的光栅投影式三维轮廓测量装置及测量方法 Download PDF

Info

Publication number
CN1267699C
CN1267699C CN 200410026180 CN200410026180A CN1267699C CN 1267699 C CN1267699 C CN 1267699C CN 200410026180 CN200410026180 CN 200410026180 CN 200410026180 A CN200410026180 A CN 200410026180A CN 1267699 C CN1267699 C CN 1267699C
Authority
CN
China
Prior art keywords
projection
imaging
reference surface
photocentre
computing machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 200410026180
Other languages
English (en)
Other versions
CN1584499A (zh
Inventor
蒋庄德
田爱玲
黄梦涛
李兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN 200410026180 priority Critical patent/CN1267699C/zh
Publication of CN1584499A publication Critical patent/CN1584499A/zh
Application granted granted Critical
Publication of CN1267699C publication Critical patent/CN1267699C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

基于相移的光栅投影式三维轮廓测量装置及测量方法,包括支架以及设置在支架上的平台,在平台上设置有投影系统一和成像系统二,在投影系统一和成像系统二前端设置有参考面,成像系统二包括成像镜头和CCD相机,CCD相机通过图像采集卡与计算机相连接,投影系统一包括照明系统和设置在照明光路中的空间光调制器及投影镜头,空间光调制器通过视频分配器和图像卡与计算机相连接;本发明把具有正弦分布的光栅图形用可控制的投影仪投影到被测物体上,由计算机控制投影条纹完成相移过程,用CCD摄象机、图像采集卡和计算机采集并处理得到的系列变形光栅像,求出物体的三维面形。

Description

基于相移的光栅投影式三维轮廓测量装置及测量方法
技术领域
本发明属于三维传感和测量领域,特别涉及一种基于相移的光栅投影式三维轮廓测量装置及测量方法。
背景技术
三维物体表面轮廓测量技术是目前国内外三维传感与测量研究的热点之一,它广泛应用于航空航天、在线检测与质量控制、机械制造、医疗诊断、计算机辅助设计/制造、机器人视觉系统等领域。目前主要有以下几种测量方法:1、激光单点测量法,由于此方法一次只能测量一个点,虽然测量精度高,但效率极低;2、激光线扫描法(简称光切法),这种方法是单线扫描,与单点测量比较效率较高,测量精度较高,工程实现简便,是目前比较成熟的方法,但此方法对被测物体实现全场扫描测量时,必须借助三坐标测量机的运动方能实现;3、莫尔条纹法,此方法是将变形栅像与周期相同的参考光栅叠加,利用观察到的图样描绘出物体的等高线,它属于全场测量,可以测量动态物体,但测量精度不高,装置复杂,离实际应用尚有一段距离;4、光栅投影法,它也是一种全场测量,一般要求投影镜头光心和摄像机镜头光心的连线平行于参考平面,在实际测量时这个条件很难满足,另外相移功能由机械运动完成,精度不高;最重要的是传统的光栅投影方法在得到物体相位信息后,必须对整个系统进行相位到高度的对应坐标的标定,这种标定过程非常复杂,而且标定精度直接影响测量精度。
发明内容
本发明的目的在于提供一种测量效率高,测量精度可靠,工程实现简便的基于相移的光栅投影式三维轮廓测量装置及测量方法。
为达到上述目的,本发明的装置包括支架以及设置在支架上的平台,在平台上设置有投影系统一和成像系统二,在投影系统一和成像系统二前端设置有参考面,其特点是,成像系统二包括成像镜头和CCD相机,CCD相机通过图像采集卡与计算机相连接,投影系统一包括照明系统和设置在照明光路中的空间光调制器及投影镜头,空间光调制器通过视频分配器和图像卡与计算机相连接;图像卡为双通道图像卡,监视器通过此双通道图像卡与计算机相连接;成像系统二通过固定件和平台上的导轨连接,成像系统可以沿导轨平移且可绕固定件转动;支架为可升降支架。
本发明采用的测量方法为:
1)首先用计算机生成三个标定图形即十字交叉,一个一定长度s的横线段,一个任意长度的纵条纹,用于标定投影系统一和成像系统二的参数;
2)用计算机控制投影系统一投影特定的标定图形即十字交叉图形到参考面上,调整投影系统一使其投影到参考面上的投影图案对称,确定十字交叉点的位置;
3)用计算机控制投影系统一投影特定的标定图形即一定长度为s的线段到参考面上,测量该线段投影到参考面上的长度,记为A1B1,由几何关系,可得到方程 d p D p = s A 1 B 1 - - - ( 1 ) ;
其中:dp为投影镜头光心到空间光调制器的距离;Dp是投影镜头光心到参考面的距离;
4)在参考面上放置高度为h的标有毫米刻度的矩形标定块,用投影系统一投影长度为s的线段到标定块上,长度为s的线段投影到该标定块上的长度A2B2,利用几何关系,可得到方程 d p D p - h = s A 2 B 2 - - - ( 2 ) ;
5)联立公式(1)和(2),得到dp,Dp,则得到投影镜头的光心P点的坐标;
6)在参考面上放置高度为h的标有毫米刻度的矩形标定块,投影标定图形即单个条纹,条纹方向垂直于投影系统一的光心和成像系统二光心的连线,利用CCD相机、图像采集卡和计算机采集并记录图像数据,得到条纹的偏移量e,由几何关系得 h sin θ e = l - h cos θ l ′ - - - ( 3 ) ;
其中l是参考面中心到成像镜头光心的距离;l′是成像镜头光心到CCD相机的距离,θ是投影系统光轴和成像系统光轴的夹角;
7)在参考面上放置高度为H的标有毫米刻度的矩形标定块,投影标定图形即单个条纹到标定块上,偏移量为e′,由几何关系得到 H sin θ e ′ = l - H cos θ l ′ - - - ( 4 ) ;
8)成像系统的焦距已知,则有 l ′ = l × f l - f - - - ( 5 ) , f为成像镜头的焦距;
9)联立公式(3)、(4)、(5),得l,l′,θ,即得到成像镜头的光心C点的坐标;
10)由计算机控制投影系统一依次投射具有正弦分布的四步相移条纹图到被测物体上,利用CCD摄像机、图像采集卡获取图像数据并存储到计算机内;
11)用四步相移算法求出像面上条纹的相位φ(x,y),由相位值求出像面上条纹的偏移量,根据成像面和投影面的相位对应关系,也可以得到对应投影条纹在空间光调制器上的位置,因此就可以确定被检测点Q在CCD摄相机[8]的成像点Q′和对应被检测点Q在空间光调制器上的投影点Qp的坐标;
12)有了投影镜头的光心点P、摄像镜头的光心C、被检测点Q在CCD摄相机的成像点Q′和对应被检测点Q在空间光调制器上的投投影点Qp的坐标,可以得到投影直线和成像直线,它们的交点就是物体上任意点的坐标。
由于本发明把具有正弦分布的光栅图形用可控制的投影仪投影到被测物体上,由计算机控制投影条纹完成相移过程,用CCD摄象机、图像采集卡和计算机采集并处理得到的系列变形光栅像,求出物体的三维面形。此系统不要求投影光源镜头光心和摄像机镜头光心的连线平行于参考面,且不需要标定相位和物体坐标的对应关系,直接由相位得到对应像素点在像面上和空间光调制器上的位置,利用几何关系,求出物体的高度。
附图说明
图1是本发明的测量装置正视图;
图2是本发明的测量装置的结构原理图;
图3是本发明标定块的结构示意图,其中图3(a)为标定块18的结构示意图,图3(b)为标定块19的结构示意图;
图4是本发明测量原理示意图;
图5是本发明系统参数标定原理图;其中图2a为成像系统参数标定图;图2b为投影系统参数标定图;
图6是本发明数字图像处理及重构程序流程图;
图7是本发明从相位到物体高度转换的程序流程图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
参见图1,2,本发明包括可升降支架17以及设置在可升降支架17上的平台14,在平台14上设置有成像系统二和投影系统一,成像系统一通过导轨15安装在平台14上,成像系统二包括成像镜头9和CCD相机8,CCD相机8通过图像采集卡4与计算机6相连接,投影系统一包括照明系统13和设置在照明光路中的空间光调制器12及投影镜头7,空间光调制器12通过视频分配器3和双通道图像卡5与计算机6相连接,监视器1通过双通道图像卡5与计算机6相连接,监视器2通过双通道图象卡和视频分配器和计算机6相连,在成像系统二和投影系统一的前端设置有参考面10。由照明系统二发出的光照射空间光调制器12,其中空间光调制器12由计算机6控制,投影光栅由计算机6产生并显示到空间光调制器12上,然后经过投影镜头7,将投影图案投射到被测物体11上,其中被测物体11放在参考面10上;由被测物体11调制的光栅投影图案经成像镜头9和CCD相机8成像,经图像采集卡4和计算机6采集并存储到计算机6内,其中图像采集卡4和双头图象卡5在计算机6内,采集过程由计算机6控制;CCD相机8通过信号线和计算机6相连;计算机6通过双通道图像卡5控制监视器2和空间光调制器12,其中监视器2和空间光调制器12是通过视频分配器3和双通道图像卡5相连。投影系统一和成像系统二分别是一个整体,成像系统二通过导轨15和固紧螺丝18被固定到平台14上,调整固紧螺丝18可以改变成像系统二与投影系统一的夹角;投影系统一与平台14用固定螺丝16连接在一起,平台14通过可升降支架17可以上下调节。注:固定螺丝16和固紧螺丝18在图中没有显示出来。
参见图3,标定块19、20为一个长方形的矩形块,其高度分别为h和H,且在其表面标有以毫米为单位的刻度。
参见图4,其中X、Y、Z是三个坐标轴,点P和点C分别为投影镜头7和摄像镜头9的光心,点O,A分别为投影系统一光轴与参考面10和被测物体11的交点,点O′,A′分别为点O,A在CCD相机8上的成像点,点Q是被测物体11上的任意点,称投射点,点Q′为点Q在CCD相机8的成像点,点Qp是对应点Q在空间光调制器12上的投出点。
参见图5(a),其中X、Y、Z,点O为投影系统一光轴与成像系统二光轴的交点,θ为两光轴的夹角,点C为成像系统二的光心,点A为投影系统一光轴与被测物体11的交点,点O′是成像光轴与CCD相机8的交点,点A′为点A的成像点,点B为点A对直线OO′的垂足。
参见图5(b)其中X、Y、Z,点P为投影系统一的光心,SOM为空间光调制器12,β为投影光束的半发散角。
本发明的测量方法为:
1)首先用计算机6生成三个标定图形,用于标定投影系统和成像系统参数;
2)用计算机6控制投影系统一投影特定的标定图形1即十字交叉图形到参考面10上,调整投影系统一使其投影到参考面10上的投影图案基本对称,确定十字交叉点的位置;
3)用计算机6控制投影系统一投影特定的标定图形2即一定长度s的线段到参考面10上,测量该线段投影到参考面10上的长度,记为A1B1,由图2(b)的几何关系,可得到方程 d p D p = s A 1 B 1 - - - ( 1 ) ;
4)参见图3(a),在参考面10上放置高度为h的标有毫米刻度的矩形标定块19,用投影系统一投影标定图形2即一定长度s的线段到标定块19上,长度为s的线段投影到该标定块19上的长度A2B2,由几何关系可得到方程
d p D p - h = s A 2 B 2 - - - ( 2 ) ;
5)联立公式(1)和(2),得到dp,Dp,则得到投影镜头[7]的光心P点的坐标;
6)在参考面10上放置高度为h的标有毫米刻度的矩形标定块19,投影标定图形3即单个条纹,条纹方向垂直于投影系统一光心和成像系统二光心的连线,利用CCD相机8、图像采集卡3和计算机6采集并记录图像数据,得到条纹的偏移量e,由图2(a)的几何关系,有关系式 h sin θ e = l - h cos θ l ′ - - - ( 3 ) ;
7)参见图3(b),在参考面10上放置高度为H的标有毫米刻度的矩形标定块20,投影标定图形单个条纹到标定块20上,偏移量为e′,由几何关系得
H sin θ e ′ = l - H cos θ l ′ - - - ( 4 ) ;
8)成像系统二的焦距已知,则有 l ′ = l × f l - f - - - ( 5 ) , f为成像镜头的焦距;
9)联立公式(3)、(4)、(5),可以得到l,l′,θ,即得到成像镜头[9]的光心C点的坐标;
10)如图6所示,首先输入要产生条纹的周期和要产生条纹图的图形大小,然后用正弦函数生成具有正弦分布的条纹图,这是条纹图的初相位为0。改变条纹的初相位分别到π/2,π,3π/2,共得到四幅相移条纹图,程序运行完毕。由计算机6控制投影系统一依次投射具有正弦分布的四步相移条纹图到被测物体上,利用CCD相机8、图像采集卡4获取图像数据并存储到计算机6内;
11)参见图7,首先读入四幅相移的四幅条纹图,用四步相移法求解条纹的相位,然后做解包裹处理,以得到真实的相位值。)用四步相移算法求出像面上条纹的相位φ(x,y),由相位值求出像面上条纹的偏移量,根据成像面和投影面(SOM)的相位对应关系,也可以得到对应投影条纹在SOM上的位置,因此就可以确定因此就可以确定被检测点Q在CCD相机[8]的成像点Q′和对应被检测点Q在空间光调制器[12]上的投投影点Qp的坐标;
12)投影镜头[7]的光心点P、摄像镜头[9]的光心C、被检测点Q在CCD相机[8]的成像点Q′和对应被检测点Q在空间光调制器[12]上的投投影点Qp的坐标,可以得到投影直线和成像直线,它们的交点就是物体上任意点的坐标。
本发明大大简化了测量装置,测量过程中没有机械运动,能够实现精确相移,操作方法简单。该系统能够实现全场、快速、自动化,高精度测量。

Claims (5)

1、基于相移的光栅投影式三维轮廓测量装置,包括支架[17]以及设置在支架[17]上的平台[14],在平台[14]上设置有投影系统一和成像系统二,在投影系统一和成像系统二前端设置有参考面[10],其特征在于:成像系统二包括成像镜头[9]和CCD相机[8],CCD相机[8]通过图像采集卡[4]与计算机[6]相连接,投影系统一包括照明系统[13]和设置在照明光路中的空间光调制器[12]及投影镜头[7],空间光调制器[12]通过视频分配器[3]和图像卡[5]与计算机[6]相连接。
2、根据权利要求1所述的基于相移的光栅投影式三维轮廓测量装置,其特征在于:所说的图像卡[5]为双通道图像卡,监视器[2]通过此双通道图像卡[5]与计算机[6]相连接。
3、根据权利要求1所述的基于相移的光栅投影式三维轮廓测量装置,其特征在于:所说的成像系统二通过固定件[18]和平台[14]上的导轨[15]连接,成像系统可以沿导轨平移且可绕固定件[18]转动。
4、根据权利要求1所述的基于相移的光栅投影式三维轮廓测量装置,其特征在于:所说的支架[17]为可升降支架。
5、一种基于权利要求1所述的基于相移的光栅投影式三维轮廓测量方法,其特征在于:
1)首先用计算机[6]生成三个标定图形即十字交叉,一个一定长度s的横线段,一个任意长度的纵条纹,用于标定投影系统一和成像系统二的参数;
2)用计算机[6]控制投影系统一投影特定的标定图形即十字交叉图形到参考面[10]上,调整投影系统一使其投影到参考面[10]上的投影图案对称,确定十字交叉点的位置;
3)用计算机[6]控制投影系统一投影特定的标定图形即一定长度为s的线段到参考面[10]上,测量该线段投影到参考面[10]上的长度,记为A1B1,由几何关系,可得到方程 d p D p = s A 1 B 1 - - - ( 1 ) ;
其中:dp为投影镜头[7]光心到空间光调制器[12]的距离;Dp是投影镜头[7]光心到参考面[10]的距离;
4)在参考面上放置高度为h的标有毫米刻度的矩形标定块[19],用投影系统一投影长度为s的线段到标定块[19]上,长度为s的线段投影到该标定块上的长度A2B2,利用几何关系,可得到方程 d p D p - h = s A 2 B 2 - - - ( 2 ) ;
5)联立公式(1)和(2),得到dp,Dp,则得到投影镜头[7]的光心P点的坐标;
6)在参考面[10]上放置高度为h的标有毫米刻度的矩形标定块[19],投影标定图形即单个条纹,条纹方向垂直于投影系统一的光心和成像系统二光心的连线,利用CCD相机[8]、图像采集卡[4]和计算机[6]采集并记录图像数据,得到条纹的偏移量e,由几何关系得 h sin θ e = l - h cos θ l ′ - - - ( 3 ) ;
其中l是参考面中心到成像镜头[9]光心的距离;l′是成像镜头[9]光心到CCD相机[8]的距离,θ是投影系统光轴和成像系统光轴的夹角;
7)在参考面[10]上放置高度为H的标有毫米刻度的矩形标定块[20],投影标定图形[3]即单个条纹到标定块[20]上,偏移量为e′,由几何关系得到 H sin θ e ′ = l - H cos θ l ′ - - - ( 4 ) ;
8)成像系统的焦距已知,则有 l ′ = l × f l - f - - - ( 5 ) , f为成像镜头的焦距;
9)联立公式(3)、(4)、(5),得l,l′,θ,即得到成像镜头[9]的光心C点的坐标;
10)由计算机[6]控制投影系统一依次投射具有正弦分布的四步相移条纹图到被测物体[11]上,利用CCD摄像机[8]、图像采集卡[4]获取图像数据并存储到计算机[6]内;
11)用四步相移算法求出像面上条纹的相位φ(x,y),由相位值求出像面上条纹的偏移量,根据成像面和投影面的相位对应关系,也可以得到对应投影条纹在空间光调制器[12]上的位置,因此就可以确定被检测点Q在CCD摄相机[8]的成像点Q′和对应被检测点Q在空间光调制器[12]上的投投影点Qp的坐标;
12)有了投影镜头[7]的光心点P、成像镜头[9]的光心C、被检测点Q在CCD摄相机[8]的成像点Q′和对应被检测点Q在空间光调制器[12]上的投影点Qp的坐标,可以得到投影直线和成像直线,它们的交点就是物体上任意点的坐标。
CN 200410026180 2004-05-27 2004-05-27 基于相移的光栅投影式三维轮廓测量装置及测量方法 Expired - Fee Related CN1267699C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200410026180 CN1267699C (zh) 2004-05-27 2004-05-27 基于相移的光栅投影式三维轮廓测量装置及测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200410026180 CN1267699C (zh) 2004-05-27 2004-05-27 基于相移的光栅投影式三维轮廓测量装置及测量方法

Publications (2)

Publication Number Publication Date
CN1584499A CN1584499A (zh) 2005-02-23
CN1267699C true CN1267699C (zh) 2006-08-02

Family

ID=34601232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200410026180 Expired - Fee Related CN1267699C (zh) 2004-05-27 2004-05-27 基于相移的光栅投影式三维轮廓测量装置及测量方法

Country Status (1)

Country Link
CN (1) CN1267699C (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127923B (zh) * 2007-09-18 2010-05-19 深圳大学 嵌入式三维数字成像装置及其方法
CN102042815B (zh) * 2010-10-12 2012-07-25 深圳大学 超高速实时三维测量系统
CN102564348A (zh) * 2012-01-03 2012-07-11 四川大学 条纹反射三维测量的系统几何标定方法
CN102607465B (zh) * 2012-03-13 2015-01-21 西安交通大学 一种基于彩色相移条纹二次编码的相位去包裹方法
CN102622950B (zh) * 2012-04-23 2014-10-22 江苏省计量科学研究院 一种医用显示器均匀性的检测方法及装置
CN103385709B (zh) * 2012-05-10 2015-08-05 赵平 一种用于面部的投影栅测量与图像处理装置
CN103385710B (zh) * 2012-05-10 2015-08-05 赵平 一种用于乳房的投影栅测量与图像处理装置
CN103226005B (zh) * 2013-03-22 2015-06-10 中国计量学院 一种采用网状面结构光测量堆放物重量的系统及方法
CN105608449B (zh) * 2016-02-25 2021-06-22 四川大学 基于相位轮廓术的相位和反射率的人脸识别装置及方法
CN105839505B (zh) * 2016-03-18 2017-09-29 交通运输部科学研究院 一种三维可视化的路面破损信息的检测方法及检测装置
CN107941168B (zh) * 2018-01-17 2019-11-05 杨佳苗 基于散斑位置标定的反射式条纹面形测量方法与装置
CN108789155A (zh) * 2018-06-29 2018-11-13 华南理工大学 一种摆线齿轮磨床在机非接触式工件轮廓检测系统与方法
CN110487214A (zh) * 2019-08-26 2019-11-22 中国计量大学 一种基于光度立体技术和结构光技术相结合的产品合格率的检测系统及其检测方法
CN110849268B (zh) * 2019-12-10 2021-07-06 南昌航空大学 一种快速的相位-高度映射标定方法
CN111562089B (zh) * 2020-05-09 2022-05-20 西安工业大学 一种微光学元件透射相位的检测方法
CN112284295B (zh) * 2020-10-28 2022-05-10 东南大学 用于轮廓测量的相机和投影仪的调节方法
CN113670229A (zh) * 2021-08-10 2021-11-19 南京中车浦镇城轨车辆有限责任公司 一种轨道车辆车体底架曲面面型检测系统及其检测方法
CN113834446B (zh) * 2021-11-25 2022-02-15 南京万生华态科技有限公司 一种条纹投影图像的采集装置及采集方法

Also Published As

Publication number Publication date
CN1584499A (zh) 2005-02-23

Similar Documents

Publication Publication Date Title
CN1267699C (zh) 基于相移的光栅投影式三维轮廓测量装置及测量方法
US6611344B1 (en) Apparatus and method to measure three dimensional data
CN101308012B (zh) 双单目白光三维测量系统标定方法
US5838428A (en) System and method for high resolution range imaging with split light source and pattern mask
JP5375201B2 (ja) 三次元形状測定方法及び三次元形状測定装置
US6549288B1 (en) Structured-light, triangulation-based three-dimensional digitizer
US6424735B1 (en) High precision three dimensional mapping camera
CN1155799C (zh) 激光线扫描三维测量双光刀虚拟网格映射标定方法及装置
CN102519390B (zh) 三编码周期灰度梯形相移结构光三维信息获取方法
CN100338434C (zh) 三维图像测量装置
JP7386185B2 (ja) 共焦点カメラにおいて動的投影パターンを生成するための装置、方法、およびシステム
CN110500970B (zh) 一种多频率结构光三维测量方法
CN110672037A (zh) 基于相移法的线性光源光栅投影三维测量系统及方法
CN1256414A (zh) 表面三维形貌检测方法和装置
CN110672035A (zh) 一种视觉测量方法和装置
CN116718133A (zh) 近距离单点结构光三维测量方法
CN112714311B (zh) Tdi相机的行频校准方法及校正系统
JP5956296B2 (ja) 形状計測装置及び形状計測方法
CN1617009A (zh) 基于空间点阵投影的三维数字成像方法
JP2012237613A (ja) 形状計測装置及び形状計測方法
CN102519396B (zh) 三个灰度对称线性编码周期的采样点三维信息获取方法
JP2009216702A (ja) 光学的計測装置
CN110095075A (zh) 圆柱直径测量装置及方法
CN102494638B (zh) 三个编码周期的三基色三角形相移三维信息获取方法
RU164082U1 (ru) Устройство контроля линейных размеров трехмерных объектов

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060802

Termination date: 20130527