CN101738599A - 定位追踪方法及相关装置 - Google Patents

定位追踪方法及相关装置 Download PDF

Info

Publication number
CN101738599A
CN101738599A CN200810174829A CN200810174829A CN101738599A CN 101738599 A CN101738599 A CN 101738599A CN 200810174829 A CN200810174829 A CN 200810174829A CN 200810174829 A CN200810174829 A CN 200810174829A CN 101738599 A CN101738599 A CN 101738599A
Authority
CN
China
Prior art keywords
mentioned
optical signal
signal source
location tracking
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200810174829A
Other languages
English (en)
Inventor
何岳升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asustek Computer Inc
Original Assignee
Asustek Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asustek Computer Inc filed Critical Asustek Computer Inc
Priority to CN200810174829A priority Critical patent/CN101738599A/zh
Publication of CN101738599A publication Critical patent/CN101738599A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

定位追踪方法及相关装置,包含有多个位置设置多个光学信号源,该多个光学信号源根据多个编码序列产生多个明灭情况;侦测该多个光学信号源的明灭情况,以产生一侦测结果;根据该侦测结果,判断该多个光学信号源的相对位置;以及根据该多个光学信号源的相对位置,判断该物体的空间位置变化。

Description

定位追踪方法及相关装置
技术领域
本发明指一种定位追踪方法及相关装置,尤指一种可利用光学信号源判断空间位置变化的定位追踪方法及相关装置。
背景技术
光学影像感测元件可用来作为将光转换为电子信号的光学集成电路元件,目前已广泛地被应用在光电产品,例如数字相机或具有照相功能的电子装置等等照相功能的应用;而在其它方面的应用也有许多的应用,像是使用光发射源(例如红外线信号源)搭配光学影像感测元件的侦测感应装置,可以反应出所欲侦测对象。然而,传统的技术中,影像感测元件对于红外线信号源的辨识能力不足,无法分辨侦测范围内的信号差异,因此,当有其它的红外线信号源进入侦测范围时,不免会造成影像感测元件的错误判读,甚至影响到正确的运算。简单的说,当有其它多余的红外线信号源出现在侦测范围内时,对于影像感测元件的运算上将被视为杂讯干扰值,而妨碍正确的辨识。
此外,定位追踪装置通常利用具空间动作感测能力的感测元件,将受测者的动作转换成信号以提供运用,传统上必须利用陀螺仪或加速仪等装置来达到此目的,但其制造成本相对昂贵且占用较大的产品体积。
发明内容
因此,本发明的主要在于提供一种定位追踪方法及相关装置。
本发明揭露一种定位追踪方法,包含有多个位置设置多个光学信号源,该多个光学信号源根据多个编码序列产生多个明灭情况;侦测该多个光学信号源的明灭情况,以产生一侦测结果;根据该侦测结果,判断该多个光学信号源的相对位置;以及根据该多个光学信号源的相对位置,判断该物体的空间位置变化。
本发明另揭露一种定位追踪装置,包含有多个光学信号源、一驱动单元、一影像感测单元、一第一判断单元及一第二判断单元;该多个光学信号源,用以提供多个光学信号;该驱动单元,耦接于该多个光学信号源,用来根据多个编码序列,控制多个明灭情况;该影像感测单元,用来侦测该多个光学信号源的明灭情况,以产生一侦测结果;该第一判断单元,耦接于该影像感测单元,用来根据该侦测结果,判断该多个光学信号源的相对位置;以及该第二判断单元,耦接于该第一判断单元,用来根据该多个光学信号源的相对位置,判断该物体的空间位置变化。
本发明定位追踪方法及相关装置根据编码序列控制物体上的光学信号源的明灭情况,再通过影像感测单元依所侦测到光学信号源的明灭情况,可轻易且正确地判断出光学信号源,则当有多个光学信号源在影像感测单元的侦测范围内时,将不会发生错误判读光学信号源的情况。
附图说明
图1为本发明实施例的一定位追踪装置的示意图。
图2为本发明的一定位追踪流程的示意图。
图3为本发明实施例的另一定位追踪装置的示意图。
图4为本发明的另一定位追踪流程的示意图。
图5为本发明实施例的光学信号源起始相对位置的示意图。
图6为本发明实施例的光学信号源辨识的示意图。
图7为本发明另一实施例的光学信号源辨识的示意图。
具体实施方式
请参考图1,图1为本发明实施例的一定位追踪装置10的示意图。定位追踪装置10包含有光学信号源A1~An、一驱动单元102、一影像感测单元104、一第一判断单元106及一第二判断单元108。光学信号源A1~An设置于一物体OB(未绘于图1)上,用以提供n个不同形式的光学信号。驱动单元102耦接于光学信号源A1~An,用来根据编码序列C1[i]~Cn[i](i表示位序数),控制明灭情况Z1~Zn。影像感测单元104用来侦测光学信号源A1~An的明灭情况,以产生一侦测结果DCT。第一判断单元106耦接于影像感测单元104,用来根据侦测结果DCT,判断光学信号源A1~An的相对位置,而第二判断单元108则根据光学信号源A1~An的相对位置,判断物体OB的空间位置变化。
简言之,本发明实施例根据编码序列C1[i]~Cn[i]控制光学信号源A1~An的明灭情况,再通过影像感测单元104依所侦测到的明灭情况,辨识出光学信号源A1~An的相对位置,以判断物体OB的空间位置变化。由于光学信号源A1~An是根据编码序列C1[i]~Cn[i]产生不同的光学信号,因此,影像感测单元104可正确辨识出光学信号源A1~An,而不会发生错误判读的情况。如此一来,第一判断单元106可根据影像感测单元104的感测结果DCT,判断出光学信号源A1~An的相对位置,使得第二判断单元108可比对出物体OB的空间位置变化,以精确地追踪物体OB的位置及动作,因而不需利用陀螺仪或加速仪等装置,可降低生产成本及缩小产品体积。
请参考图2,图2为本发明的一定位追踪流程20的示意图。定位追踪流程20适用于定位追踪装置10的操作流程,其包含有下列步骤:
步骤200:开始。
步骤202:于物体OB的n个位置设置光学信号源A1~An,光学信号源A1~An根据编码序列C1[i]~Cn[i]产生明灭情况Z1~Zn。
步骤204:侦测光学信号源A1~An的明灭情况,以产生侦测结果DCT。
步骤206:根据侦测结果DCT,判断光学信号源A1~An的相对位置。
步骤208:根据光学信号源A1~An的相对位置,判断物体OB的空间位置变化。
步骤210:结束。
通过流程20,本发明实施例于物体OB的n个位置设置光学信号源A1~An。光学信号源A1~An根据编码序列C1[i]~Cn[i],产生明灭情况Z1~Zn。当物体OB进入影像感测单元104的侦测范围时,影像感测单元104会侦测出光学信号源A1~An的明灭情况,以产生侦测结果DCT。根据侦测结果DCT,第一判断单元106可判断光学信号源A1~An的相对位置。然后,第二判断单元108再根据第一判断单元106所判断的光学信号源A1~An的相对位置,判断出物体OB的空间位置变化。
本发明实施例根据编码序列控制物体上的光学信号源的明灭情况,再通过影像感测单元依所侦测到光学信号源的明灭情况,轻易且正确地辨识出光学信号源。因此,当有多个光学信号源在影像感测单元的侦测范围内时,不会发生错误判读光学信号源的情况。同时,本发明实施例可通过所判断出光学信号源的相对位置来比对出物体OB的空间位置变化,可精确地追踪对象的位置及动作。
此外,本发明实施例进一步将光学信号源运用在多物体辨识的情况,请参考图3,图3为本发明实施例的另一定位追踪装置30的示意图。定位追踪装置30包含有光学信号源A1~An、驱动单元D1~Dn、一影像感测单元304及一判断单元306。光学信号源A1~An分别设置于多个物体OB1~OBn(未绘于图3)上,用以提供n个不同形式的光学信号。驱动单元D1~Dn分别耦接于光学信号源A1~An,用来根据编码序列C1[i]~Cn[i](i表示位序数),控制明灭情况Z1~Zn。影像感测单元304用来侦测光学信号源A1~An的明灭情况,以产生一侦测结果DCT。判断单元306耦接于影像感测单元304,用来根据侦测结果DCT,判断出光学信号源A1~An对应的多个物体OB1~OBn。较佳地,可判断出多个物体OB1~OBn的相对位置。
简言之,本发明实施例根据编码序列C1[i]~Cn[i]控制光学信号源A1~An的明灭情况,再通过影像感测单元304依所侦测到的明灭情况,辨识出光学信号源A1~An以及其相对位置,再藉此判断出物体OB1~OBn。由于光学信号源A1~An是根据编码序列C1[i]~Cn[i]产生不同的光学信号,因此,影像感测单元304可正确辨识出光学信号源A1~An,而不会发生错误判读的情况。如此一来,判断单元306可根据影像感测单元304的感测结果DCT,判断出光学信号源A1~An以及其相对位置,使得本发明实施例针对多个物体的情况下,可以在侦测范围内,精确地辨识出物体OB1~OBn以及其相对位置,可有效提升辨识的能力。
请参考图4,图4为本发明的一定位追踪流程40的示意图。定位追踪流程40适用于定位追踪装置30的操作流程,其包含有下列步骤:
步骤400:开始。
步骤402:于物体OB1~OBn上分别设置光学信号源A1~An,光学信号源A1~An根据编码序列C1[i]~Cn[i]产生明灭情况Z1~Zn。
步骤404:侦测光学信号源A1~An的明灭情况,以产生侦测结果DCT。
步骤406:根据侦测结果DCT,判断多个物体OB1~OBn。
步骤408:结束。
通过流程40,本发明实施例于物体OB1~OBn上分别设置光学信号源A1~An。光学信号源A1~An根据编码序列C1[i]~Cn[i],产生明灭情况Z1~Zn。当物体OB进入影像感测单元304的侦测范围时,影像感测单元304会侦测出光学信号源A1~An的明灭情况,以产生侦测结果DCT。根据侦测结果DCT,判断单元306可判断出多个物体OB1~OBn。
本发明实施例根据编码序列控制物体上的光学信号源的明灭情况,再通过影像感测单元依所侦测到光学信号源的明灭情况,轻易且正确地辨识出光学信号源,以分辨出物体OB1~OBn,及判断出其相对位置。因此,本发明实施例针对多个物体的情况下,可以在侦测范围内,精确地辨识出物体OB1~OBn以及其相对位置,可有效提升辨识的能力。
值得注意的是,定位追踪装置10及定位追踪装置30为本发明的实施例,本领域具通常知识者当可据以做不同的变化,而不限于此。举例来说,光学信号源A1~An可以是可见光信号源或不可见光信号源,较佳地,亦可以是红外线信号源。此外,由于发光二极管拥有快速的明灭反应特性,运作频率高,适合用来如本发明实施例的调整明灭情况来实现编码序列。在此情况下,光学信号源A1~An较佳地可以是n个红外线发光二极管。另一方面,本发明实施例所述的影像感测单元104及304不拘于特定装置,只要是能正确感测光学信号源A1~An所发出的信号者即可,举例来说,较佳地为一互补金属氧化半导体影像感测元件。此外,定位追踪装置10及定位追踪装置10较佳地另包含一编码序列产生单元,用来产生多个编码序列C1[i]~Cn[i]。再者,图1,第一判断单元106与第二判断单元108分别用来判断光学信号源A1~An的相对位置及判断物体OB的空间位置变化,实际上,第一判断单元106与第二判断单元108亦可整合于同一判断装置或芯片中,其皆属本发明的范畴。
进一步地说明本发明实施例的运作方式,首先,以n=8为例,说明通过编码序列C1[i]~C8[i]辨识光学信号源A1~A8及定位追踪物体OB的运作方式。请参考图5及图6,图5为本发明实施例的光学信号源A1~A8起始相对位置的示意图,图6为本发明实施例的光学信号源A1~A8辨识的示意图。首先,驱动单元102根据编码序列C1[i]~C8[i]来控制光学信号源A1~A8;例如,若编码0表示“灭”,而编码1表示“明”,则当编码序列C1[i]=0101时,表示光学信号源A1依序切换“灭、明、灭、明”,即明灭情况Z1。同样的,若编码序列C2[i]=1010,则表示光学信号源A2依序切换“明、灭、明、灭”,即明灭情况Z2。以此类推,光学信号源A1~A8可产生明灭情况Z1~Z8。在此情形下,若光学信号源A1~A8进入影像感测单元104的侦测范围时,影像感测单元104会侦测到光学信号源A1~A8的明灭情况Z1~Z8,以比对明灭情况Z1~Z8与编码序列C1[i]~C8[i],从而经由明灭情况Z1~Z8辨识出光学信号源A1~A8,以产生对应的侦测结果DCT。如此一来,第一判断单元106可依据侦测结果DCT,判断光学信号源A1~A8的相对位置,而第二判断单元108则根据第一判断单元106所判断的光学信号源A1~A8的相对位置,判断出物体OB的空间位置变化。在定位追踪物体OB之时,较佳地,第二判断单元108可比对光学信号源A1~A8的相对位置与一参考信息,如启始位置信息,以判断物体OB的空间位置变化。此外,本发明实施例亦不需侦测到所有光学信号源A1~An,即可以判断出物体OB的空间位置变化,如图6所示,仅需得知A1、A3、A4、A7与图5的启始位置信息比对,即可知物体OB经历了90度逆时钟方向的翻转变化。
接着,说明通过编码序列C1[i]~C3[i]辨识光学信号源A1~A3来分辨物体OB1~OB3的运作方式。请参考图7,图7为本发明实施例的光学信号源A1~A3辨识的示意图。首先,假设目前存在5个物体(物体OB1~OB5),每一物体上分别设有一光学信号源A1~A5,驱动单元D1~D5根据编码序列C1[i]~C5[i]来控制光学信号源A1~A5;如前所述的编码序列运作规则,在此不再赘述,以此类推,光学信号源A1~A5可产生明灭情况Z1~Z5。如图7所示,若光学信号源A1~A3进入影像感测单元304的侦测范围SA时(光学信号源A4及A5位于侦测范围SA之外),影像感测单元304会侦测到光学信号源A1~A3的明灭情况Z1~Z3,以比对明灭情况Z1~Z3与编码序列C1[i]~C3[i],从而经由明灭情况Z1~Z3辨识出光学信号源A1~A3,以产生对应的侦测结果DCT。如此一来,判断单元306可依据侦测结果DCT,判断出光学信号源A1~A3及其相对位置,藉此可辨识出物体OB1~OB3。
综上所述,本发明实施例根据编码序列控制物体上的光学信号源的明灭情况,再通过影像感测单元依所侦测到光学信号源的明灭情况,可轻易且正确地判断出光学信号源,则当有多个光学信号源在影像感测单元的侦测范围内时,将不会发生错误判读光学信号源的情况。如此一来,本发明实施例除了可通过所判断出的光学信号源来辨识出物体,还可根据光学信号源的相对位置来比对出物体的空间位置变化,以提升影像感测的辨识能力,并精确地追踪对象的位置及动作,同时降低生产成本及缩小产品体积。
以上所述仅为本发明的较佳实施例,凡依本发明权利要求书所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (19)

1.一种定位追踪方法,其特征是,上述定位追踪方法包含有:
于多个位置设置多个光学信号源,上述这些光学信号源根据多个编码序列产生多个明灭情况;
侦测上述这些光学信号源的明灭情况,以产生侦测结果;
根据上述侦测结果,判断上述这些光学信号源的相对位置;以及
根据上述这些光学信号源的相对位置,判断上述物体的空间位置变化。
2.根据权利要求1所述的定位追踪方法,其特征是,其中上述这些位置设置于物体上。
3.根据权利要求1所述的定位追踪方法,其特征是,其中上述这些位置设置于多个物体上。
4.根据权利要求1所述的定位追踪方法,其特征是,其中上述这些光学信号源为多个可见光信号源。
5.根据权利要求1所述的定位追踪方法,其特征是,其中上述这些光学信号源为多个不可见光信号源。
6.根据权利要求1所述的定位追踪方法,其特征是,其中侦测上述这些光学信号源的明灭情况以产生上述侦测结果,是侦测上述这些光学信号源的明灭情况,以根据上述这些光学信号源的明灭情况,比对上述这些编码序列,进而产生上述侦测结果。
7.根据权利要求1所述的定位追踪方法,其特征是,其中根据上述这些光学信号源的相对位置判断上述物体的空间位置变化,包含比对上述这些光学信号源的相对位置与参考信息,以判断上述物体的空间位置变化。
8.根据权利要求5所述的定位追踪方法,其特征是,其中上述参考信息为上述这些光学信号源的启始位置信息。
9.根据权利要求1所述的定位追踪方法,其特征是,其中由互补式金氧半导体影像感测元件侦测上述这些光学信号源的明灭情况。
10.一种定位追踪装置,其特征是,上述定位追踪装置包含有:
多个光学信号源,用以提供多个光学信号;
驱动单元,耦接于上述这些光学信号源,用来根据多个编码序列,控制多个明灭情况;
影像感测单元,用来侦测上述这些光学信号源的明灭情况,以产生侦测结果;
第一判断单元,耦接于上述影像感测单元,用来根据上述侦测结果,判断上述这些光学信号源的相对位置;以及
第二判断单元,耦接于上述第一判断单元,用来根据上述这些光学信号源的相对位置,判断上述物体的空间位置变化。
11.根据权利要求10所述的定位追踪装置,其特征是,其中上述这些位置设置于物体上。
12.根据权利要求10所述的定位追踪装置,其特征是,其中上述这些位置设置于多个物体上。
13.根据权利要求10所述的定位追踪装置,其特征是,上述定位追踪装置另包含编码序列产生单元,用来产生上述这些编码序列。
14.根据权利要求10所述的定位追踪装置,其特征是,其中上述这些光学信号源为多个可见光信号源。
15.根据权利要求10所述的定位追踪装置,其特征是,其中上述这些光学信号源为多个不可见光信号源。
16.根据权利要求10所述的定位追踪装置,其特征是,其中上述影像感测单元用来侦测上述这些光学信号源的明灭情况,以根据上述这些光学信号源的明灭情况,比对上述这些编码序列,进而产生上述侦测结果。
17.根据权利要求10所述的定位追踪装置,其特征是,其中上述第二判断单元是比对上述这些光学信号源的相对位置与参考信息,以判断上述物体的空间位置变化。
18.根据权利要求10所述的定位追踪装置,其特征是,其中上述参考信息为上述这些光学信号源的启始位置信息。
19.根据权利要求10所述的定位追踪装置,其特征是,其中上述影像感测单元为互补式金氧半导体影像感测元件。
CN200810174829A 2008-11-05 2008-11-05 定位追踪方法及相关装置 Pending CN101738599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200810174829A CN101738599A (zh) 2008-11-05 2008-11-05 定位追踪方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810174829A CN101738599A (zh) 2008-11-05 2008-11-05 定位追踪方法及相关装置

Publications (1)

Publication Number Publication Date
CN101738599A true CN101738599A (zh) 2010-06-16

Family

ID=42462320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810174829A Pending CN101738599A (zh) 2008-11-05 2008-11-05 定位追踪方法及相关装置

Country Status (1)

Country Link
CN (1) CN101738599A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520394A (zh) * 2011-12-09 2012-06-27 南京大学 利用照明系统实现室内定位的方法
CN102749072A (zh) * 2012-06-15 2012-10-24 易程科技股份有限公司 室内定位方法、装置及系统
CN102901947A (zh) * 2012-11-05 2013-01-30 北京半导体照明科技促进中心 定位系统及方法
CN102901512A (zh) * 2012-11-05 2013-01-30 北京半导体照明科技促进中心 导航装置及系统
CN102901946A (zh) * 2012-11-05 2013-01-30 北京半导体照明科技促进中心 矿井中的定位系统及方法
CN102901948A (zh) * 2012-11-05 2013-01-30 北京半导体照明科技促进中心 室内定位装置及系统
CN105740791A (zh) * 2016-01-26 2016-07-06 哈尔滨工业大学 一种基于视觉的运动物体多关节位置识别的靶标系统
CN107831469A (zh) * 2017-10-26 2018-03-23 张斌 光信号定位装置、方法及系统
CN108303676A (zh) * 2018-01-31 2018-07-20 张斌 光信号定位装置、方法及系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520394A (zh) * 2011-12-09 2012-06-27 南京大学 利用照明系统实现室内定位的方法
CN102749072A (zh) * 2012-06-15 2012-10-24 易程科技股份有限公司 室内定位方法、装置及系统
CN102749072B (zh) * 2012-06-15 2014-11-05 易程科技股份有限公司 室内定位方法、装置及系统
CN102901512A (zh) * 2012-11-05 2013-01-30 北京半导体照明科技促进中心 导航装置及系统
CN102901946A (zh) * 2012-11-05 2013-01-30 北京半导体照明科技促进中心 矿井中的定位系统及方法
CN102901948A (zh) * 2012-11-05 2013-01-30 北京半导体照明科技促进中心 室内定位装置及系统
CN102901947A (zh) * 2012-11-05 2013-01-30 北京半导体照明科技促进中心 定位系统及方法
CN102901947B (zh) * 2012-11-05 2015-07-01 珠海横琴华策光通信科技有限公司 定位系统及方法
CN102901948B (zh) * 2012-11-05 2016-08-03 珠海横琴华策光通信科技有限公司 室内定位装置及系统
CN102901512B (zh) * 2012-11-05 2016-12-21 珠海横琴华策光通信科技有限公司 导航装置及系统
CN105740791A (zh) * 2016-01-26 2016-07-06 哈尔滨工业大学 一种基于视觉的运动物体多关节位置识别的靶标系统
CN107831469A (zh) * 2017-10-26 2018-03-23 张斌 光信号定位装置、方法及系统
CN108303676A (zh) * 2018-01-31 2018-07-20 张斌 光信号定位装置、方法及系统

Similar Documents

Publication Publication Date Title
CN101738599A (zh) 定位追踪方法及相关装置
CN103207669B (zh) 基于环境光的姿势检测
US20100207872A1 (en) Optical displacement detecting device and operating method thereof
CN101853109A (zh) 用于光学邻近度感测和触摸输入控制的设备和方法
CN104898893B (zh) 光学触控装置与光学触控方法
CN101093246A (zh) 智能化发光二极管车灯照明质量在线检测系统
CN102033660B (zh) 触控系统及其触碰检测方法
TWI460396B (zh) 利用超音波之物體偵測方法
CN1635541A (zh) 一种用于计算机触摸屏的光电检测定位系统和方法
CN102541303A (zh) 具有运动检测能力的接近传感器
US9363444B2 (en) Background model update method for image process
CN102667689B (zh) 交互式显示器
CN101784144B (zh) 一种使用加速度传感器的灯具控制器及其控制方法
US7088338B2 (en) Optical mouse and method for preventing an erroneous operation thereof
JP5629766B2 (ja) マーカー検出システム、検出方法、プログラム及び該プログラムを格納したコンピュータ可読媒体
CN103517517A (zh) 照明系统
KR20180092033A (ko) 부품 등록기
CN104634788A (zh) 影像定位方法及装置
CN104951076A (zh) 手势方向识别系统及识别方法
KR100827233B1 (ko) 외부 노이즈에 강인한 포인팅 디바이스 및 이를 이용한사용자 인터페이스 구현 방법
CN103309517A (zh) 光学式输入装置及其输入检测方法
US8310547B2 (en) Device for recognizing motion and method of recognizing motion using the same
CN101414224B (zh) 定义书写位置的装置及方法
CN103870009B (zh) 光学导航装置及光学导航方法
CN103092365B (zh) 点击检测装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100616