CN102609949A - 一种基于三焦点张量像素点转移的目标定位方法 - Google Patents

一种基于三焦点张量像素点转移的目标定位方法 Download PDF

Info

Publication number
CN102609949A
CN102609949A CN2012100348025A CN201210034802A CN102609949A CN 102609949 A CN102609949 A CN 102609949A CN 2012100348025 A CN2012100348025 A CN 2012100348025A CN 201210034802 A CN201210034802 A CN 201210034802A CN 102609949 A CN102609949 A CN 102609949A
Authority
CN
China
Prior art keywords
trifocal tensor
width
target
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100348025A
Other languages
English (en)
Inventor
刘峰
韩蔚蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN2012100348025A priority Critical patent/CN102609949A/zh
Publication of CN102609949A publication Critical patent/CN102609949A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

一种基于三焦点张量像素点转移的目标定位方法。从二维视图恢复物体的三维结构是计算机视觉的一个重要研究方向。本发明通过研究不同摄像机对同一场景拍摄的三幅图像之间的几何关系,以及三焦点张量仅依赖于摄像机间的相对位置和摄像机内参数的性质,提出了一种基于三焦点张量像素点转移的目标定位方法,该方法在目标出现前,通过对地面上的两个摄像机对同一场景拍摄的图像以及由实际测量处理后得到的虚拟顶视图输入计算机进行处理,然后通过随机采样一致性算法计算得到三焦点张量;在目标出现后,利用三焦点张量恢复目标在虚拟顶视图上的像素点投影坐标,最后对投影坐标按比例放大得到目标的实际方位,该发明对于复杂遮挡环境下的目标定位有重要的理论意义和实际应用价值。

Description

一种基于三焦点张量像素点转移的目标定位方法
技术领域
本发明涉及室内有遮挡环境下的目标定位技术领域,尤其涉及一种基于三焦点张量像素点转移的目标定位方法。
背景技术
随着物联网的发展,传感器技术的应用也越来越广泛,由传感器构成的无线传感网络可连接物理世界和信息世界。目前国际上已经有研究工作将其应用于环境监测和保护,以用来及时发现和定位事故源,也被用在军事目标的定位与跟踪、航空航天的落点控制等方面。在各种应用中,位置信息对物联网的检测活动至关重要,可以通过全球定位系统实现定位或者无线传感网实现目标定位,但是这些定位技术均需要在目标身上放置节点,通过节点发送数据包以获得目标的具体位置方位,且全球定位系统的用户节点通常能耗高、体积大、成本较高,还需要固定的基础设施,并且定位不够精确;而无线传感网的定位技术虽然体积小、能量消耗低、价格低廉,但定位结果也不甚稳定。若是未知目标出现,如何检测及定位仍然没有得到解决。
发明内容
技术问题:鉴于以上技术的缺陷,本发明要解决的技术问题是提出一种在室内有遮挡情况下的目标精确定位的技术,该发明仅需要几台手持数码相机、标尺和普通个人计算机。
技术方案:本发明公开了一种基于三焦点张量的于三焦点张量像素点转移的目标精确定位方法,
现场的摄像机对同一场景以不同角度拍摄的视野有重叠的两幅图像及该场景的虚拟顶视图,三者之间存在不依赖于景物结构的射影几何关系,这种射影几何关系由三焦点张量来描述,而三焦点张量由从三幅图像中所提取的信息得到,也同样能由其中两幅图像中的信息和三焦点张量得到第三幅图像中的信息;
目标出现前,现场的两个摄像机对同一场景拍摄的视野有重叠的两幅图像和虚拟顶视图组成已知的三幅图像,利用三幅图像输入计算机通过随机采样一致性算法RANSAC计算得到三焦点张量;
目标出现后,现场的摄像机对目标进行拍摄,将图像输入计算机,对图像进行特征提取得到目标的中心点坐标,利用三焦点张量像素点转移公式得到目标在虚拟顶视图中的坐标,坐标按比例放大得到目标的实际位置。
所述的现场的摄像机包括不少于两个不同方位的摄像机,若目标有遮挡,用多个摄像机找到对目标无遮挡的两幅图像。
所述的虚拟顶视图是由假想的无穷远摄像机拍摄所得,而无穷远摄像机指的是摄像机中心在无穷远处的摄像机。
所述的虚拟顶视图是由测量后的现实中的场景方位按比例缩放得到的。
所述的三焦点张量通过以下方法获得:目标出现前,由虚拟顶视图和现实中的两个摄像机拍摄的图像组成的三个一组的图像组,提取图像信息由随机采样一致算法RANSAC,即,计算得到。
所述的目标出现后,由三焦点张量和已知的两幅视图结合像素点转移公式,即
Figure BDA0000136100110000021
其中xl″为第三幅图像上第l维的像素点坐标值,xi′为第二幅图像上的第i维像素点坐标值,xk为第一幅图像上的第k维像素点坐标值,
Figure BDA0000136100110000022
为三焦点张量,i,j,l=1,2,3。利用此公式恢复目标在虚拟顶视图中图像像素点坐标。
本发明具体包括以下步骤:
步骤一:让室内两个或两个以上摄像机对室内某一场景进行拍摄,将拍摄所得两幅或者两幅以上的图像读入计算机;
步骤二:将实际室内场景按比例缩放得到和步骤一中图像大小一致的图像;
步骤三:将步骤一和步骤二得到的图像组,利用下述方法计算三幅图像之间的三焦点张量:
(1)提取出三幅图像的匹配特征点对其中x、x′、x″分别代表第一、第二和第三幅图像上对应的像素点坐标;
(2)计算三焦点张量的初始值;
三焦点张量和对应特征点坐标之间满足如下式(1)所示的点-点-点关系式:
[ x ′ ] × ( Σ i x i T i ) [ x ′ ′ ] × = 0 3 × 3 - - - ( 1 )
其中[x′]×为对应于第二幅图像像素点坐标x′的反对称矩阵,同样,[x″]×为对应于第三幅图像像素点坐标x″的反对称矩阵,xi为第一幅图像像素点的第i维坐标,Ti为第i幅图像的三焦点张量。利用此关系式可以计算得到三焦点张量的直接线性估计值。
(3)最小化代价函数 d ⊥ = 1 N Σ i d 2 ( x i , x ^ i ) + d 2 ( x i ′ , x ^ i ′ ) + d 2 ( x i ′ , x ^ i ′ ′ ) ;
其中
Figure BDA0000136100110000031
Figure BDA0000136100110000032
Figure BDA0000136100110000033
分别表示第一、第二、第三幅图像提取出的第i对图像点与估计值之间的欧氏距离,其中
Figure BDA0000136100110000034
Figure BDA0000136100110000035
Figure BDA0000136100110000036
为精确满足点-点-点关系式的与初始三焦点张量相容的估计点坐标,N为匹配点对的个数。
以T作为模型计算每一组假设对应到T所相容的代数簇的距离d:设定阈值t,若d该大于该阈值为外点,小于该阈值为内点,选定具有内点数最多的那一组点集(最大一致抽样点集)的组合中的三焦点张量即为所求。
步骤四:目标出现后,根据下面的像素点转移公式计算目标在虚拟顶视图中的坐标。
x l ′ ′ = x i ′ Σ k = 1 3 x k T k jl - x j ′ Σ k = 1 3 x k T k il 其中i,j,l=1,2,3   (2)
其中xl″为第三幅图像上第l维的像素点坐标值,xi′为第二幅图像上的第i维像素点坐标值,xk为第一幅图像上的第k维像素点坐标值,
Figure BDA0000136100110000038
为三焦点张量,i,j,l=1,2,3。利用此公式恢复目标在虚拟顶视图中图像像素点坐标。
步骤五:根据目标在虚拟顶视图中的坐标,按照比例放大即可得到目标在现实世界中的真实方位信息。
有益效果:
1、本发明的计算精度高,三焦点张量是精确反映三幅图像之间不依赖于景物结构的射影几何关系的高级几何量,它仅与摄像机的内部参数和摄像机之间的相对位置有关,利用三焦点张量计算出的目标的真实空间坐标相对于其他的定位方法更为准确有效。
2、本发明实施方式简单、便于操作,仅需要对场景一次测量和放置不少于2台摄像机并在目标出现前后对同一场景拍摄两次即可定位出目标。
3、本发明成本较低,仅需要不少于2台数码摄像机、一般标尺和常用个人计算机,不需要昂贵的节点设备。
附图说明
图1是本发明的总体流程图,
图2是ransac算法计算三焦点张量的流程图。
具体实施方式
在实施本发明之前需进行以下准备工作:
准备两台或者两台以上的数码相机,一台普通个人计算机,一把标尺。下面结合附图和具体实施方式对本发明做进一步描述。
如图1所示为本发明的总体流程图包括以下几个步骤:
步骤一:目标出现前,利用两个或两个以上的摄像机对场景进行拍摄,所的图像读入计算机,假设该图像大小为m×n(像素值);
步骤二:目标出现前,利用标尺标记步骤一摄像机所拍摄的场景的主要特征点的实际尺寸坐标,得到二维矩阵,测量场景的实际大小(长和宽)M×N,并按比例缩放至m×n,得到像素点坐标的二维矩阵;
步骤三:将步骤一和步骤二所得图像读入计算机,对步骤一所得图像进行harris角点提取,利用相关函数法,匹配特征点,手动匹配前两幅图像的特征点与第三幅图像所标记的特征点,得到三维数组;
步骤四:如图3所示,利用ransac算法计算三幅图像的三焦点张量。其中初始值设定TrialCount=0;最大采样次数MaxTrialCount=1000;阈值t=0.05;每一次计算开始内点个数count=0。
(1)首先,对每幅图像中特征点坐标进行归一化处理,使得每幅图像中的特征点坐标的形心在原点,到原点的距离为
Figure BDA0000136100110000041
求得适应于这三幅图像的变换矩阵H,H′,H″。利用三焦点张量满足的点-点-点三线性关系,如下公式所示,线性计算得到三焦点张量的初始估计。
[ x ′ ] × ( Σ i x i T i ) [ x ′ ′ ] × = 0 3 × 3
其中[x′]×为对应于第二幅图像像素点坐标x′的反对称矩阵,同样,[x″]×为对应于第三幅图像像素点坐标x″的反对称矩阵,xi为第一幅图像像素点的第i维坐标,Ti为3×3矩阵,表示第i幅图像的三焦点张量。
(2)计算与三焦点张量相容的点坐标,即点坐标
Figure BDA0000136100110000043
Figure BDA0000136100110000045
完全满足点-点-点三线性关系。
首先,计算三个摄像机投影矩阵,用给定矩阵[T1,T2,T3]表示三焦点张量,共分两步计算得到摄像机投影矩阵;
第一,求出对极点e、e″。
令ui和vi分别是Ti的左和右零矢量,即
Figure BDA0000136100110000046
Tivi=0。对极点可以通过求下面所示的3×3矩阵的零矢量获得:
e′T[u1,u2,u3]=0Th和e″T[v1,v2,v3]=0Th      (3)
第二,把对极点归一化为单位范数,那么摄像机投影矩阵为
P′=[[T1,T2,T3]e′|e″]P″=[(e″e″T-I)[T1 T,T2 T,T3 T]e′|e″]    (4)
其中将虚拟顶视图的摄像机投影矩阵看作参考矩阵,将无穷远摄像机所在的坐标系看作标准坐标系,即P=[I|0]。
其次,由线性三角形法可以计算得到世界坐标X。
P 1 x 1 P 2 x 2 P 3 x 3 X - k 1 - k 2 - k 3 = 0 - - - ( 5 )
由X重新投影到三个平面即可计算得到与三焦点张量相容的估计点坐标。
x ^ 1 = P 1 X x ^ 2 = P 2 X x ^ 3 = P 3 X - - - ( 6 )
(3)计算一致点集的大小,按如下公式对匹配点组的每一组计算距离d,设定阈值t(通常设定为0.05个像素)。
d ⊥ = d 2 ( x , x ^ ) + d 2 ( x ′ , x ^ ′ ) + d 2 ( x ′ ′ , x ^ ′ ′ ) - - - ( 7 )
其中
Figure BDA0000136100110000056
Figure BDA0000136100110000057
分别表示第一、第二、第三幅图像提取出的图像点与估计值之间的欧氏距离,其中
Figure BDA0000136100110000059
Figure BDA00001361001100000510
Figure BDA00001361001100000511
为精确满足点-点-点关系式的与初始三焦点张量相容的估计点坐标。
若d<t,则判定此组点为内点,否则记为外点,记录下一次计算三焦点张量的内点总数,即为一致集的大小。
(4)在采样次数达到预设采样次数时,寻找具有最大一致集的那一次计算所得的三焦点张量即为所求,对三焦点张量按照公式(7)进行反归一化处理。
T i jk = H i r ( H ′ - 1 ) s j ( H ′ ′ - 1 ) T ^ r st - - - ( 8 )
其中H,H′,H″为(1)中所求得的变换矩阵,为矩阵H的第r行第i列的元素,H′-1为矩阵H的逆矩阵,H″-1为矩阵H″的逆矩阵,
Figure BDA00001361001100000514
为三焦点张量的初始线性估计值。
步骤五:目标出现之后,由两个或两个以上摄像机对目标进行拍摄(保证无遮挡),得到目标中心在两幅图像中的图像坐标,利用像素点转移公式计算目标在虚拟顶视图中的坐标。
x l ′ ′ = x i ′ Σ k = 1 3 x k T k jl - x j ′ Σ k = 1 3 x k T k il 其中i,j,l=1,2,3    (9)
其中xl″为第三幅图像上第l维的像素点坐标值,xi′为第二幅图像上的第i维像素点坐标值,xk为第一幅图像上的第k维像素点坐标值,
Figure BDA0000136100110000062
为三焦点张量,i,j,l=1,2,3。
步骤六:如图1所示,虚拟顶视图中的坐标按比例放大即可得到目标在真实场景中的实际位置坐标。
本技术为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围内。

Claims (6)

1.一种基于三焦点张量像素点转移的目标定位方法,其特征在于该方法为:
现场的摄像机对同一场景以不同角度拍摄的视野有重叠的两幅图像及该场景的虚拟顶视图,该三幅图像之间存在不依赖于景物结构的射影几何关系,这种射影几何关系由三焦点张量来描述,而三焦点张量由从三幅图像中所提取的信息得到,也同样能由其中两幅图像中的信息和三焦点张量得到第三幅图像中的信息;
目标出现前,现场的两个摄像机对同一场景拍摄的视野有重叠的两幅图像和虚拟顶视图组成已知的三幅图像,利用三幅图像输入计算机通过随机采样一致性算法RANSAC计算得到三焦点张量;
目标出现后,现场的摄像机对目标进行拍摄,将图像输入计算机,对图像进行特征提取得到目标的中心点坐标,利用三焦点张量像素点转移公式得到目标在虚拟顶视图中的坐标,坐标按比例放大得到目标的实际位置。
2.根据权利要求1所述的一种基于三焦点张量像素点转移的目标定位方法,其特征在于,所述的现场的摄像机包括不少于两个不同方位的摄像机,若目标有遮挡,用多个摄像机找到对目标无遮挡的两幅图像。
3.根据权利要求1所述的一种基于三焦点张量像素点转移的目标定位方法,其特征在于,所述的虚拟顶视图是由假想的无穷远摄像机拍摄所得,而无穷远摄像机指的是摄像机中心在无穷远处的摄像机。
4.根据权利要求1所述的一种基于三焦点张量像素点转移的目标定位方法,其特征在于,所述的虚拟顶视图是由测量后的现实中的场景方位按比例缩放得到的。
5.根据权利要求1所述的一种基于三焦点张量像素点转移的目标定位方法,其特征在于所述的三焦点张量通过以下方法获得:目标出现前,由虚拟顶视图和现实中的两个摄像机拍摄的图像组成的三个一组的图像组,提取图像信息由随机采样一致算法即RANSAC算法,计算得到。
6.根据权利要求1所述的一种基于三焦点张量像素点转移的目标定位方法,其特征在于,所述的目标出现后,由三焦点张量和已知的两幅视图结合像素点转移公式,即 x l ′ ′ = x i ′ Σ k = 1 3 x k T k jl - x j ′ Σ k = 1 3 x k T k il , 其中xl″为第三幅图像上第l维的像素点坐标值,xi′为第二幅图像上的第i维像素点坐标值,xk为第一幅图像上的第k维像素点坐标值,代表三焦点张量,i,j,l=1,2,3,利用此公式恢复目标在虚拟顶视图中图像像素点坐标。
CN2012100348025A 2012-02-16 2012-02-16 一种基于三焦点张量像素点转移的目标定位方法 Pending CN102609949A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100348025A CN102609949A (zh) 2012-02-16 2012-02-16 一种基于三焦点张量像素点转移的目标定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100348025A CN102609949A (zh) 2012-02-16 2012-02-16 一种基于三焦点张量像素点转移的目标定位方法

Publications (1)

Publication Number Publication Date
CN102609949A true CN102609949A (zh) 2012-07-25

Family

ID=46527295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100348025A Pending CN102609949A (zh) 2012-02-16 2012-02-16 一种基于三焦点张量像素点转移的目标定位方法

Country Status (1)

Country Link
CN (1) CN102609949A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679735A (zh) * 2013-12-26 2014-03-26 苏州盛景空间信息技术有限公司 一种基于三视图几何中三点线性关系的任意点匹配算法
CN105867428A (zh) * 2016-05-18 2016-08-17 南京航空航天大学 基于多运动模态多视点几何的多机器人系统队形变换方法
CN109146936A (zh) * 2018-07-17 2019-01-04 湖南云顶智能科技有限公司 一种图像匹配方法、装置、定位方法及系统
CN109584275A (zh) * 2018-11-30 2019-04-05 哈尔滨理工大学 一种目标跟踪方法、装置、设备和存储介质
CN110503692A (zh) * 2019-07-31 2019-11-26 武汉大学 基于小范围定标场的单线阵光学卫星几何定标方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1063614A2 (en) * 1999-06-22 2000-12-27 The One Infinite Inc. Apparatus for using a plurality of facial images from different viewpoints to generate a facial image from a new viewpoint, method thereof, application apparatus and storage medium
CN101144716A (zh) * 2007-10-15 2008-03-19 清华大学 一种多视角运动目标检测、定位与对应方法
CN101673403A (zh) * 2009-10-10 2010-03-17 安防制造(中国)有限公司 复杂干扰场景下的目标跟踪方法
CN101750029A (zh) * 2008-12-10 2010-06-23 中国科学院沈阳自动化研究所 基于三焦点张量的特征点三维重建方法
CN101916437A (zh) * 2010-06-18 2010-12-15 中国科学院计算技术研究所 一种基于多视觉信息的目标定位方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1063614A2 (en) * 1999-06-22 2000-12-27 The One Infinite Inc. Apparatus for using a plurality of facial images from different viewpoints to generate a facial image from a new viewpoint, method thereof, application apparatus and storage medium
CN101144716A (zh) * 2007-10-15 2008-03-19 清华大学 一种多视角运动目标检测、定位与对应方法
CN101750029A (zh) * 2008-12-10 2010-06-23 中国科学院沈阳自动化研究所 基于三焦点张量的特征点三维重建方法
CN101673403A (zh) * 2009-10-10 2010-03-17 安防制造(中国)有限公司 复杂干扰场景下的目标跟踪方法
CN101916437A (zh) * 2010-06-18 2010-12-15 中国科学院计算技术研究所 一种基于多视觉信息的目标定位方法和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
G.LOPEZ-NICOLAS ET AL: "Visual control through the trifocal tensor for nonholonomic robots", 《ROBOTICS AND AUTONOMOUS SYSTEMS》 *
李海滨 等: "基于同一场景3张影像的相机自标定算法", 《测绘科学技术学报》 *
梁华 等: "基于三焦点张量点转移的多摄像机协同", 《软件学报》 *
梁华: "多摄像机视频监控中运动目标检测与跟踪", 《中国博士学位论文全文数据库》 *
陆丽娜: "基于三焦点张量的多视图目标三维重建", 《中国优秀硕士学位论文全文数据库》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679735A (zh) * 2013-12-26 2014-03-26 苏州盛景空间信息技术有限公司 一种基于三视图几何中三点线性关系的任意点匹配算法
CN103679735B (zh) * 2013-12-26 2017-02-15 苏州盛景空间信息技术有限公司 一种基于三视图几何中三点线性关系的任意点匹配方法
CN105867428A (zh) * 2016-05-18 2016-08-17 南京航空航天大学 基于多运动模态多视点几何的多机器人系统队形变换方法
CN109146936A (zh) * 2018-07-17 2019-01-04 湖南云顶智能科技有限公司 一种图像匹配方法、装置、定位方法及系统
CN109584275A (zh) * 2018-11-30 2019-04-05 哈尔滨理工大学 一种目标跟踪方法、装置、设备和存储介质
CN110503692A (zh) * 2019-07-31 2019-11-26 武汉大学 基于小范围定标场的单线阵光学卫星几何定标方法及系统

Similar Documents

Publication Publication Date Title
CN105469405B (zh) 基于视觉测程的同时定位与地图构建方法
CN102646275B (zh) 通过跟踪和定位算法实现虚拟三维叠加的方法
CN102252653B (zh) 基于tof无扫描三维成像的位姿测量方法
CN104596502A (zh) 一种基于cad模型与单目视觉的物体位姿测量方法
Kuang et al. Pose estimation with unknown focal length using points, directions and lines
Saurer et al. Homography based visual odometry with known vertical direction and weak manhattan world assumption
Xia et al. Global calibration of non-overlapping cameras: State of the art
CN103971378A (zh) 一种混合视觉系统中全景图像的三维重建方法
CN107886547A (zh) 一种鱼眼相机标定方法及系统
CN102609949A (zh) 一种基于三焦点张量像素点转移的目标定位方法
Hansen et al. Online continuous stereo extrinsic parameter estimation
CN106295512A (zh) 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
CN109425348A (zh) 一种同时定位与建图的方法和装置
CN101865656B (zh) 一种使用少数共面点精确定位多摄像头系统位姿的方法
CN104484868A (zh) 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法
CN106991705A (zh) 一种基于p3p算法的位置参数估计方法
CN103994765A (zh) 一种惯性传感器的定位方法
CN108053445A (zh) 特征融合的rgb-d相机运动估计方法
JP2017096813A (ja) キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
Horanyi et al. Generalized pose estimation from line correspondences with known vertical direction
CN113487726B (zh) 动作捕捉系统和方法
CN105678833A (zh) 一种基于多视点图像三维建模的点云几何数据的自动拼接算法
Muffert et al. The estimation of spatial positions by using an omnidirectional camera system
CN117095002A (zh) 轮毂缺陷的检测方法及装置、存储介质
CN103489165A (zh) 一种面向视频拼接的小数查找表生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120725