CN102073848A - 一种基于智能优化的道路识别系统与方法 - Google Patents

一种基于智能优化的道路识别系统与方法 Download PDF

Info

Publication number
CN102073848A
CN102073848A CN 201010616857 CN201010616857A CN102073848A CN 102073848 A CN102073848 A CN 102073848A CN 201010616857 CN201010616857 CN 201010616857 CN 201010616857 A CN201010616857 A CN 201010616857A CN 102073848 A CN102073848 A CN 102073848A
Authority
CN
China
Prior art keywords
image
road
intelligent
module
straight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 201010616857
Other languages
English (en)
Inventor
石磊
戚建淮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN RONGDA ELECTRONICS CO Ltd
Original Assignee
SHENZHEN RONGDA ELECTRONICS CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN RONGDA ELECTRONICS CO Ltd filed Critical SHENZHEN RONGDA ELECTRONICS CO Ltd
Priority to CN 201010616857 priority Critical patent/CN102073848A/zh
Publication of CN102073848A publication Critical patent/CN102073848A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于智能优化的道路识别系统与方法,所述基于智能优化的道路识别系统包括顺次通讯连接的用于分割输入图像的图像分割模块、用于将彩色图像进行灰度化的图像特征提取模块、智能搜索单元和道路识别输出模块,以及与所述智能搜索单元通讯连接的用于描述缺省的道路参数的辅助知识库模块;所述智能搜索单元包括顺次通讯连接的匹配度计算模块和用于搜索参数空间的最佳匹配模板的智能搜索模块。所述基于智能优化的道路识别系统利用了直线变形模板的匹配方法为基础,在梯度特征信息的辅助下,设计了道路图像与直线变形模板的匹配似然概率方法,并且在参数空间中通过智能算法进行寻找的方法来获得道路识别的效果。

Description

一种基于智能优化的道路识别系统与方法
技术领域
本发明涉及一种道路识别系统,尤其涉及一种基于智能优化的道路识别系统与方法。
背景技术
道路的路面识别是图像理解分析的重要组成部分,也是智能车辆系统进行自主式驾驶的重要研究方向,道路环境相对复杂,存在很多非道路的因素,因此,根据道路的特征描述方法也较多。道路环境可以根据其特征,大致划分为结构化环境与非结构化环境。目前,道路的识别方法直线或曲线为基础的道路直接检测方法,针对特征比较模糊、或干扰较多的环境的色彩聚类、分水岭算法等。
在众多的道路识别与检测方法中,基于行道线特征进行直接检测的道路识别方法主要利用对图像进行特征提取与特征聚合等手段,分析这些特征进行图像分割,然后根据分割效果组成直观的道路表达。这种方法涉及对图像的底层处理技术,较简单,容易实现,但路面条件、天气等外界环境对其影响也较大,稳定性较差;并且由于道路环境的复杂性,例如存在着树木、杂草、光照阴影等众多不确定性的干扰因素,上述算法还存在着适应度较小、识别准确度较低等问题。
发明内容
本发明目的在于提供一种能够在干扰较多的环境中保持道路识别准确性的基于智能优化的道路识别系统与方法。
为实现上述目的,所述基于智能优化的道路识别系统的特点在于包括顺次通讯连接的用于分割输入图像的图像分割模块、用于将彩色图像进行灰度化的图像特征提取模块、智能搜索单元和道路识别输出模块,以及与所述智能搜索单元通讯连接的用于描述缺省的道路参数的辅助知识库模块;所述智能搜索单元包括顺次通讯连接的匹配度计算模块和用于搜索参数空间的最佳匹配模板的智能搜索模块。
优选地,所述基于智能优化的道路识别方法包括以下步骤:
步骤S1:所述图像分割模块对图像进行预处理,提取图像中的友谊区域;所述图像特征提取模块基于知识对图像进行灰度化;
步骤S2:所述图像特征提取模块通过低阈值的Sobel算子方法,进行边缘梯度信息的提取,获得描述梯度信息的灰度幅度值图像与表示垂直和水平方向梯度比率的灰度方向图;
步骤S3:从所述辅助知识库模块的知识库中,选取进行智能优化搜索的初始值;如果不是第一次访问,则提取缺省的值进行计算;
步骤S4:所述匹配度计算模块定义了用于描述道路结构的直线变形模型,并且利用直线变形模型与匹配似然函数计算图像与道路结构模板的匹配度,定义期望匹配似然值作为理想的模板匹配条件;
步骤S5:所述智能搜索模块利用智能优化算法在参数空间中进行搜索;
步骤S6:判断迭代次数是否已满,如果已满并且没有取得较为满意的道路图像模型,转向步骤S3,否则进行步骤S7;
步骤S7:判断匹配似然值是否达到期望匹配似然值,如果匹配似然值没有达到期望匹配似然值,则继续步骤S5的搜索过程;否则进行步骤S8;
步骤S8:根据所得的最优道路直线变形模型,标示三角形的道路区域,以达到对于道路的识别;最后,结束。
优选地,所述步骤S1中友谊区域的选取方法为,针对具体的道路场景采用一次性人工选定方法,选择离摄像头附近的道路区域作为友谊区域。
优选地,所述步骤S2中使用的边缘梯度信息的提取方法还包括Roberts、Canny和Laplacian算子方法。
优选地,所述步骤S4中直线变形模型的定义方法为,所述直线变形模型满足公式d1,2(u,v)=|ρ1,2-u cosθ1,2-vsinθ1,2|,其中d1(u,v),d2(u,v)分别为图像内点(u,v)到左右两条直线模型的距离,ρ1,2=xcosθ1,2+ysinθ1,2
步骤S4中所述图像与直线变形模板的匹配度的概率似然函数满足公式
Figure BSA00000404708600031
其中分别表示边缘梯度图像方向与两条直线模型之间的夹角;gm(u,v)表示由所述步骤2所得到的处理后图像的灰度幅度值图像;f(d1,2(u,v))是一个与距离相关的权重函数,满足公式
f ( d 1,2 ( u , v ) ) = λ / ( λ + d 1,2 ( u , v ) ) 0 ≤ d 1,2 ( u , v ) ≤ R 0 else ,
其中,λ与环境相关,R表示最大影响的半径范围,所述f(d1,2(u,v))函数在[0,R]范围内单调递减;用于减少图像中较远处的其他物体以及某些非直线特征所产生的干扰的权重系数h(u,v)满足公式
Figure BSA00000404708600034
其中IH表示道路图像的高度,b0为权重系数参数,且满足公式
Figure BSA00000404708600035
h0∈(0,1)。
优选地,所述步骤S5中所述智能搜索模块中采用的智能算法为粒子群智能优化算法,对道路图像直线变形模板的参数进行搜索。
本发明的有益效果在于,所述基于智能优化的道路识别系统利用了直线变形模板的匹配方法为基础,在梯度特征信息的辅助下,设计了道路图像与直线变形模板的匹配似然概率方法,并且在参数空间中通过智能算法进行寻找的方法来获得道路识别的效果。由此,本发明能够在较多干扰的环境中保持对于道路识别的准确性,提高了智能化的实用价值。
附图说明
图1示出了基于智能优化的道路识别系统的结构示意图。
图2示出了基于智能优化的道路识别方法的流程图。
图3示出了直线变形模型的建模原理示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
图1示出了基于智能优化的道路识别系统的结构示意图。所述基于智能优化的道路识别系统包括顺次通讯连接的用于分割输入图像的图像分割模块、用于将彩色图像进行灰度化的图像特征提取模块、智能搜索单元和道路识别输出模块,以及与所述智能搜索单元通讯连接的用于描述缺省的道路参数的辅助知识库模块;所述智能搜索单元包括顺次通讯连接的匹配度计算模块和用于搜索参数空间的最佳匹配模板的智能搜索模块。
所述图像分割模块对于输入图像进行分割,减少部分非道路因素的复杂度,将感兴趣的道路区域进行提取。这里,对于友谊区域的选取,可以针对具体的道路场景采用一次性人工选定方法,由于摄像头角度相对固定,选择离摄像头附近的区域作为友谊区域,这样可以去除建筑物等非道路特征的干扰,同时也避免了由于远方道路在图像中弯曲的情况。一般情况下,自主式车辆沿道路运行,道路区域偏离图像正中位置在一定的范围之内,也保证了友谊区域设定的有效性。
所述图像特征提取模块需要对从摄像机采集到的彩色图像进行灰度化:道路的颜色往往呈中性灰略偏蓝色,道路阴影部分一般更偏蓝一些,而非道路的如泥土、植物等往往是偏绿、偏红或偏黄。为了使得道路区域特征更为明显,应限制其中的红色和绿色分量,增加蓝色分量的比重。其次,再灰度化的基础上,利用边缘检测方法对图像特征进行提取,可以利用Sobel、Canny、Roberts等算子进行处理,这里设计为低阈值提取方法,确保图像信息较大的保留。
另外,所述图像特征提取模块通过计算图像的梯度信息,得到处理后图像的灰度幅度值图像gm(u,v)与表示垂直和水平方向梯度幅度比率的灰度方向图gd(u,v)。
匹配度计算模块,用于计算道路图像与直线变形模板相匹配的概率似然值。
智能搜索模块,主要利用智能优化算法搜索参数空间的最佳匹配模板,这里采用了粒子群优化算法的方法进行该步骤。所述智能优化算法还可以选择随机投点、遗传算法、禁忌搜索、模拟退火等非确定性的算法,用于全局最优值的寻找,但这些方法存在着不足,如遗传算法和模拟退火算法收敛较慢,效率较低,获得全局最优的概率也较低。
辅助知识库模块,主要利用缺省的道路参数进行描述,这些参数是某些先验知识下的直线道路模型。该模块与匹配度计算模块与道路识别模块进行通信,在道路识别较差的情况下,对搜索过程进行恢复,或者提供较优的道路模型。
道路识别输出模块,对本发明搜索到最优道路模型的图像进行标示,即利用得到的直线模型标记道路区域,该区域为两条直线组成三角形道路区域。
图2示出了基于智能优化的道路识别方法的流程图。所述工作方法包括以下步骤:
步骤S1:图像分割模块对图像进行预处理,提取图像中的友谊区域;所述图像特征提取模块基于知识对图像进行灰度化,
步骤S2:所述图像特征提取模块通过低阈值的Sobel算子方法,进行边缘梯度信息的提取,获得描述梯度信息的灰度幅度值图像与表示垂直和水平方向梯度比率的灰度方向图,
步骤S3:从所述辅助知识库模块的知识库中,选取进行智能优化搜索的初始值,如果不是第一次访问,则提取缺省的值进行计算,
步骤S4:所述匹配度计算模块定义了用于描述道路结构的直线变形模型,并且利用直线变形模型与匹配似然函数计算图像与道路结构模板的匹配度,定义期望匹配似然值作为理想的模板匹配条件,
步骤S5:所述智能搜索模块利用智能优化算法在参数空间中进行搜索,
步骤S6:判断迭代次数是否已满,如果已满并且没有取得较为满意的道路图像模型,转向步骤S3,否则进行步骤S7,
步骤S7:判断匹配似然值是否达到期望匹配似然值,如果匹配似然值没有达到期望匹配似然值,则继续步骤S5的搜索过程;否则进行步骤S8,
步骤S8:根据所得的最优道路直线模型,标示三角形的道路区域,以达到对于道路的识别;最后,结束。
图3示出了直线变形模型的建模原理示意图。图XOY坐标中,两条相交于点V的实线表示道路边缘模型,oo′分别表示道路边缘的直线法线方向;d1(u,v),d2(u,v)分别为图像内点(u,v)到左右两条直线模型的距离,这里由直线方程的参数可以得到d1,2(u,v)=|ρ1,2-ucosθ1,2-vsinθ1,2|,其中ρ1,2=xcosθ1,2+ysinθ1,2,模型中,用这样一个四元参数来描述直线变形模型ψ=[ρ1,ρ2,θ1,θ2]。
优选地,所述图像与直线变形模板的匹配度的概率似然函数满足公式
Figure BSA00000404708600061
其中
Figure BSA00000404708600062
分别表示边缘梯度图像方向与两条直线模型之间的夹角;f(d1,2(u,v))是一个与距离相关的权重函数,满足公式
f ( d 1,2 ( u , v ) ) = λ / ( λ + d 1,2 ( u , v ) ) 0 ≤ d 1,2 ( u , v ) ≤ R 0 else ,
其中,λ与环境相关,R表示最大影响的半径范围,所述f(d1,2(u,v))函数在[0,R]范围内单调递减;用于减少图像中较远处的其他物体以及某些非直线特征所产生的干扰的权重系数h(u,v)满足公式
h ( u , v ) = e - ( v - I H ) 2 / b 0 2 ,
其中IH表示道路图像的高度,b0为权重系数参数,且满足公式
Figure BSA00000404708600065
h0∈(0,1)
以上设计的图像与直线变形模板的匹配度的似然函数L(z|ψ)不仅反映了图像像素梯度的幅度值与直线变形模型相关性,而且结合了图像中方向的特征信息。对于给定的ψ,道路图像中的一个像素对于似然函数的贡献是该像素在所处位置的梯度幅度值、空间匹配权重函数的乘积。随着该像素在梯度方向上离边缘模型法线方向越远,似然函数值变小。因而似然函数越大,则道路图像与边缘几何模型匹配度也越高,也就越相似。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于智能优化的道路识别系统,其特征在于:包括顺次通讯连接的用于分割输入图像的图像分割模块、用于将彩色图像进行灰度化的图像特征提取模块、智能搜索单元和道路识别输出模块,以及与所述智能搜索单元通讯连接的用于描述缺省的道路参数的辅助知识库模块;所述智能搜索单元包括顺次通讯连接的匹配度计算模块和用于搜索参数空间的最佳匹配模板的智能搜索模块。
2.根据权利要求1所述基于智能优化的道路识别方法,其特征在于,包括以下步骤:
步骤S1:所述图像分割模块对图像进行预处理,提取图像中的友谊区域;所述图像特征提取模块基于知识对图像进行灰度化;
步骤S2:所述图像特征提取模块通过低阈值的Sobel算子方法,进行边缘梯度信息的提取,获得描述梯度信息的灰度幅度值图像与表示垂直和水平方向梯度比率的灰度方向图;
步骤S3:从所述辅助知识库模块的知识库中,选取进行智能优化搜索的初始值;如果不是第一次访问,则提取缺省的值进行计算;
步骤S4:所述匹配度计算模块定义了用于描述道路结构的直线变形模型,并且利用直线变形模型与匹配似然函数计算图像与道路结构模板的匹配度,定义期望匹配似然值作为理想的模板匹配条件;
步骤S5:所述智能搜索模块利用智能优化算法在参数空间中进行搜索;
步骤S6:判断迭代次数是否已满,如果已满并且没有取得较为满意的道路图像模型,转向步骤S3,否则进行步骤S7;
步骤S7:判断匹配似然值是否达到期望匹配似然值,如果匹配似然值没有达到期望匹配似然值,则继续步骤S5的搜索过程;否则进行步骤S8;
步骤S8:根据所得的最优道路直线变形模型,标示三角形的道路区域,以达到对于道路的识别;最后,结束。
3.根据权利要求2所述基于智能优化的道路识别方法,其特征在于:所述步骤S1中友谊区域的选取方法为,针对具体的道路场景采用一次性人工选定方法,选择离摄像头附近的道路区域作为友谊区域。
4.根据权利要求2所述基于智能优化的道路识别方法,其特征在于:所述步骤S2中使用的边缘梯度信息的提取方法还包括Roberts、Canny和Laplacian算子方法。
5.根据权利要求2所述基于智能优化的道路识别方法,其特征在于:
所述步骤S4中直线变形模型的定义方法为,所述直线变形模型满足公式d1,2(u,v)=|ρ1,2-ucosθ1,2-vsinθ1,2|,其中d1(u,v),d2(u,v)分别为图像内点(u,v)到左右两条直线模型的距离,ρ1,2=xcosθ1,2+ysinθ1,2
所述步骤S4中所述图像与直线变形模板的匹配度的概率似然函数满足公式
Figure FSA00000404708500021
其中分别表示边缘梯度图像方向与两条直线模型之间的夹角;gm(u,v)表示由所述步骤2所得到的处理后图像的灰度幅度值图像;f(d1,2(u,v))是一个与距离相关的权重函数,满足公式
f ( d 1,2 ( u , v ) ) = λ / ( λ + d 1,2 ( u , v ) ) 0 ≤ d 1,2 ( u , v ) ≤ R 0 else ,
其中,λ与环境相关,R表示最大影响的半径范围,所述f(d1,2(u,v))函数在[0,R]范围内单调递减;用于减少图像中较远处的其他物体以及某些非直线特征所产生的干扰的权重系数h(u,v)满足公式
h ( u , v ) = e - ( v - I H ) 2 / b 0 2 ,
其中IH表示道路图像的高度,b0为权重系数参数,满足公式
Figure FSA00000404708500025
h0∈(0,1)。
6.根据权利要求2所述基于智能优化的道路识别方法,其特征在于:步骤S5中所述智能搜索模块中采用的智能算法为粒子群智能优化算法,对道路图像直线变形模板的参数进行搜索。
CN 201010616857 2010-12-31 2010-12-31 一种基于智能优化的道路识别系统与方法 Pending CN102073848A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010616857 CN102073848A (zh) 2010-12-31 2010-12-31 一种基于智能优化的道路识别系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010616857 CN102073848A (zh) 2010-12-31 2010-12-31 一种基于智能优化的道路识别系统与方法

Publications (1)

Publication Number Publication Date
CN102073848A true CN102073848A (zh) 2011-05-25

Family

ID=44032382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010616857 Pending CN102073848A (zh) 2010-12-31 2010-12-31 一种基于智能优化的道路识别系统与方法

Country Status (1)

Country Link
CN (1) CN102073848A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150337A (zh) * 2013-02-04 2013-06-12 北京航空航天大学 一种基于Bézier曲线的车道线重构方法
CN106372618A (zh) * 2016-09-20 2017-02-01 哈尔滨工业大学深圳研究生院 一种基于svm与遗传算法的道路提取方法及系统
CN106740471A (zh) * 2016-09-21 2017-05-31 同济大学 一种信息采集系统及一种车辆
CN109345547A (zh) * 2018-10-19 2019-02-15 天津天地伟业投资管理有限公司 基于深度学习多任务网络的交通车道线检测方法及装置
CN110967028A (zh) * 2019-11-26 2020-04-07 深圳优地科技有限公司 导航地图构建方法、装置、机器人及存储介质
CN111203877A (zh) * 2020-01-13 2020-05-29 广州大学 爬坡建筑废弃物分拣机器人系统及控制方法、装置、介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060034484A1 (en) * 2004-08-16 2006-02-16 Claus Bahlmann Method for traffic sign detection
CN101608924A (zh) * 2009-05-20 2009-12-23 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
CN101763512A (zh) * 2009-12-11 2010-06-30 西安电子科技大学 高分辨率遥感图像中道路目标的半自动检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060034484A1 (en) * 2004-08-16 2006-02-16 Claus Bahlmann Method for traffic sign detection
CN101608924A (zh) * 2009-05-20 2009-12-23 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
CN101763512A (zh) * 2009-12-11 2010-06-30 西安电子科技大学 高分辨率遥感图像中道路目标的半自动检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《中国优秀博士学位论文全文数据库》 20100815 石磊 自主式车辆环境感知技术研究 第26页第7段,第31页第6段,第32页第6段至第33页第1段,第50页第6段,第55页第5段,第60页第3-5段,第62页第6、12段,第35页第2段,第61页第2段至第62页第3段,图4.4 1-6 , *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150337A (zh) * 2013-02-04 2013-06-12 北京航空航天大学 一种基于Bézier曲线的车道线重构方法
CN103150337B (zh) * 2013-02-04 2016-09-21 北京航空航天大学 一种基于Bézier曲线的车道线重构方法
CN106372618A (zh) * 2016-09-20 2017-02-01 哈尔滨工业大学深圳研究生院 一种基于svm与遗传算法的道路提取方法及系统
CN106740471A (zh) * 2016-09-21 2017-05-31 同济大学 一种信息采集系统及一种车辆
CN109345547A (zh) * 2018-10-19 2019-02-15 天津天地伟业投资管理有限公司 基于深度学习多任务网络的交通车道线检测方法及装置
CN109345547B (zh) * 2018-10-19 2021-08-24 天津天地伟业投资管理有限公司 基于深度学习多任务网络的交通车道线检测方法及装置
CN110967028A (zh) * 2019-11-26 2020-04-07 深圳优地科技有限公司 导航地图构建方法、装置、机器人及存储介质
CN110967028B (zh) * 2019-11-26 2022-04-12 深圳优地科技有限公司 导航地图构建方法、装置、机器人及存储介质
CN111203877A (zh) * 2020-01-13 2020-05-29 广州大学 爬坡建筑废弃物分拣机器人系统及控制方法、装置、介质

Similar Documents

Publication Publication Date Title
CN112801022B (zh) 一种无人驾驶矿卡作业区道路边界快速检测更新的方法
CN105866790B (zh) 一种考虑激光发射强度的激光雷达障碍物识别方法及系统
CN101901343B (zh) 基于立体约束的遥感影像道路提取方法
CN104520732B (zh) 定位传感器的方法以及相关设备
CN101701818B (zh) 远距离障碍的检测方法
CN106780524A (zh) 一种三维点云道路边界自动提取方法
CN103714538B (zh) 道路边缘检测方法、装置及车辆
EP3076367A1 (en) Method for road detection from one image
CN102073848A (zh) 一种基于智能优化的道路识别系统与方法
CN104008387A (zh) 一种基于特征点分段线性拟合的车道线检测方法
CN108062517A (zh) 基于车载激光点云的非结构化道路边界线自动提取方法
CN104134209A (zh) 一种视觉导航中的特征提取与匹配方法及系统
CN104536009A (zh) 一种激光红外复合的地面建筑物识别及导航方法
CN104050682A (zh) 一种融合颜色和深度信息的图像分割方法
CN103646249A (zh) 一种温室智能移动机器人视觉导航路径识别方法
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
CN103996031A (zh) 一种自适应阈值分割的车道线检测系统及其方法
CN109241855B (zh) 基于立体视觉的智能车辆可行驶区域探测方法
Li et al. A new 3D LIDAR-based lane markings recognition approach
Quackenbush et al. Road extraction: A review of LiDAR-focused studies
Wang et al. A multi-step curved lane detection algorithm based on hyperbola-pair model
Jiang et al. Object-oriented building extraction by DSM and very highresolution orthoimages
Choe et al. Geometric-featured voxel maps for 3D mapping in urban environments
Qu et al. Free space estimation on nonflat plane based on v-disparity
Liu et al. Notice of retraction: Sharp curve lane detection for autonomous driving

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110525