CN102203694A - 具有附接到框架的照相机的对象定位系统 - Google Patents

具有附接到框架的照相机的对象定位系统 Download PDF

Info

Publication number
CN102203694A
CN102203694A CN200880131790XA CN200880131790A CN102203694A CN 102203694 A CN102203694 A CN 102203694A CN 200880131790X A CN200880131790X A CN 200880131790XA CN 200880131790 A CN200880131790 A CN 200880131790A CN 102203694 A CN102203694 A CN 102203694A
Authority
CN
China
Prior art keywords
camera
framework
luminophor
assembly
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880131790XA
Other languages
English (en)
Inventor
J·J·布里登
K·H·金
J·P·麦卡锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN102203694A publication Critical patent/CN102203694A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

成像系统包括具有回射边框的框架和直接附接到该框架的照相机。

Description

具有附接到框架的照相机的对象定位系统
背景技术
“触摸屏”是可以检测并定位触摸显示屏的诸如手指之类的对象的显示器。触摸屏能力可以通过大量技术实现,包括电阻式的、表面声波、电容式的、红外、应变计、漫射激光成像、光学成像、色散信号技术和声学脉冲识别。触摸屏允许用户输入而不需要诸如鼠标或轨迹板之类的单独的设备。与那些设备不同,触摸屏使得用户能够在屏上与所显示的内容直接交互而不是间接地交互,在所述屏上显示所述内容。
为了利用与制造非触摸屏LCD显示器相关的规模经济,通过向传统的LCD显示器添加触摸屏附加物(add-on)来制造一些触摸屏显示器。例如,传统的LCD屏可以被用包括在其拐角上安装有照相机的玻璃板的组件所覆盖。照相机对准是关键的并且必须小心防止在制造期间和在使用期间在显示屏和玻璃覆盖物之间形成雾化。要求严格的容差以及净室组装线,并且这占据了触摸屏显示器的大部分成本。即使在制造期间进行了小心的照相机对准,当玻璃在触摸的压力下变形时照相机的移动也可能损害功能。
附图说明
作为结合以下附图对本发明的优选实施例的详细描述的结果,之后将更清楚地理解本发明的特征和优点以及其附加的特征和优点,其中:
图1是根据本发明的实施例的触摸屏显示器系统的示意性的透视图。
图2是用在图1的显示器系统中的金属框架触摸屏组件的触摸屏附加物的示意性的透视图。
图3是图2的附加物的右上角的详细视图,示出了用于照相机发光体(camera-emitter)组件的壳体。
图4是图2的触摸屏附加物的右上角的示意性的剖面图。
图5是图2的触摸屏附加物的右上角的示意性的剖面图。
图6是本发明的第二实施例的触摸屏附加物的右上角的示意性的剖面图。
图7是本发明的第三实施例的触摸屏附加物的右上角的示意性的剖面图。
图8是本发明的第四实施例的触摸屏附加物的右上角的示意性的剖面图。
图9是根据本发明的实施例的方法的流程图。
具体实施方式
这里描述的实施例提供一种预先附接有照相机发光体组件的金属框架。不存在覆盖显示屏的玻璃面板;而是,显示屏本身可以充当触摸表面。与基于玻璃的触摸屏附加物相比,所得的触摸屏附加物更轻并且需要更少的材料。更重要的是,显示屏上方的区域没有被覆盖,因此不存在在制造期间或制造之后在显示屏和覆盖的玻璃板之间形成雾化的问题。此外,由于照相机组件附接到金属框架,因此当触摸使得显示器表面变形时它们也不会移位。
根据本发明的实施例的显示器系统AP1在图1示出。显示器系统AP1包括显示器11和触摸屏附加物13。显示器11包括显示器壳体15和用户可以在其上观看呈现图像19的显示屏17。
单独在图2中示出的触摸屏附加物13包括矩形框架21,其定义矩形观看孔径23,通过该观看孔径23用户可以观看显示屏17及其呈现图像19(图1)。触摸屏附加物13不包括玻璃板,因此观看孔径23是“空的”。实施例提供其它形状的框架和孔径,但是因为大多数 LED显示屏具有矩形性质,所以观看孔径23也是矩形的以便与屏15同延。框架21由刚性金属(例如铝)片形成。框架21包括形成的特征,所述特征包括壳体25和边框(bezel)27,所述边框围绕观看孔径23的周界29的三个边延伸。回射(retroreflective)材料31已经应用于边框27的内(面向孔径23)侧以使它回射。图3更详细地示出一个壳体25和部分边框27。
如图4中对于一个壳体所示的,壳体25包围照相机发光体组件33。照相机发光体组件33通过螺钉35附接到壳体25,以及因而附接到框架21。如图4所示,组件33与显示屏17齐平。但是,照相机发光体组件33除了通过在框架21通过胶37或其它粘合剂附接到显示器11时它们到框架21的附接之外并不直接附接到显示器11。因而,如果显示屏17由于触摸而被压下,照相机发光体组件33也不会随它移动。壳体25在它们的与观看孔径23相对的侧面上包括布线孔径38,以允许导线离开壳体25,从而用于照相机发光体组件33的功率和数据连接性。
如图5所示,螺纹螺钉35延伸通过壳体25以及因此框架21的无螺纹孔39,并且延伸到照相机发光体组件33的螺纹孔41中。其它的实施例提供将照相机发光体组件附接到壳体的其它手段。例如,图6表示触摸屏显示器系统AP2,其中照相机发光体组件201使用螺钉205附接到框架203,螺钉205延伸通过照相机发光体组件201的无螺纹孔207并且延伸到框架203的螺纹孔211中。在图7所示的触摸屏显示器系统AP3中,照相机发光体组件301使用胶305附接到框架303。在图8所示的触摸屏显示器系统AP4中,本发明提供使用双面胶带405附接到框架403的照相机发光体组件401。
图5 - 8的照相机发光体组件33、201、301和401每个都包括照相机43和发光体45。每个照相机43可以包括透镜和阵列检测器。该阵列可以是线性或二维的。每个发光体可以是红外发光二极管(LED)。每个照相机可以包括可见光和紫外光过滤器以提高信噪比。
在使用中,每个发光体45将IR光47从它的壳体25引导向边框27的相对侧,如图1所示。这意味着框架21的至少一部分在照相机43的相应视场49内(图4)。由于使得边框27回射,因此从壳体25到达的IR光47被反射以产生反射的IR光51,其沿着朝向源壳体25的路径被引导回去,如图1所示。如果手指53或其它对象阻挡发射的光47和/或反射的光51,则每个照相机43(图4)将从它的视点将该手指的一维位置检测为它的位置图像中的暗带。图像处理电路或软件可以组合来自于不同的照相机的位置图像以确定对象相对于显示屏15的二维位置。在可替换的实施例中,驻留于矩形框架的全部四个拐角处的四个照相机用来产生在多触摸系统中使用的多个对象的位置。
这里描述的技术提供一种方法ME1,流程如图8所示。在步骤S1,形成刚性金属片的框架。在金属片中,例如在由该框架限定的观看孔径的相对顶部拐角或全部拐角处形成照相机发光体组件壳体。围绕观看孔径的周界形成边框。
在步骤S2,照相机发光体组件被附接到该框架。螺钉可以延伸通过照相机发光体组件或该框架中的无螺纹孔并且延伸到另一部件中的螺纹孔中。可替换地,照相机发光体组件可以使用胶或双面胶带附接到壳体,以及因而附接到该框架。此外,回射材料可以被应用于边框,以使其回射。步骤S21的结果是触摸屏附加物组件。
在步骤S3,触摸屏附加物组件被附接到显示器,例如使用胶37(图4)将附加物13附接到LCD显示器11。当然,显示器技术正在快速发展,并且本发明可以应用于现有和未来的显示器二者。在示出的实施例中,附加物组件可以粘到显示器上。步骤S3的结果是触摸屏显示器。
在步骤S4,在显示器的显示屏上呈现视频或静态的呈现图像。呈现图像可以例如由计算机提供。该计算机可以是单独的实体。可替换地,显示器系统可以是一体式计算机,其中使用内置到显示器壳体的背部的计算机部件执行数据和图像处理。
在步骤S5,用户通过使得一个或多个对象(例如手指)与显示屏接触或与之充分接近以使得该对象阻止发射和/或反射的光被照相机检测到来控制呈现图像。可以分析(来自于多个照相机的)所得的图像以确定对象位置和姿势。此解释可以例如由操作系统或应用程序用来控制呈现图像。
这里,“成像系统”是产生、捕获和/或显示图像的系统。“对象定位系统”是定位给定区域或体积(诸如框架内靠近显示屏的体积)内的对象的系统(诸如触摸屏附加物13)。“框架”用于在视觉上区分由该框架限定且围绕的孔径限定的观看区域。典型的框架通常是平坦且矩形的并且具有矩形的观看孔径。但是,框架和它们的孔径可以具有各种二维形状,包括没有拐角的圆形、卵形、椭圆形,以及任何多边形形状。
“边框”通常是对孔径或凹槽划界的低宽高比的壁。在目前的情况下,边框通常与框架的主体正交地延伸,不过边框也可以以其它角度延伸。“回射”是沿着光来自的方向向回反射光的材料或表面的性质。反射镜仅仅对于正交于该反射镜到达的光具有此性质。回射材料或表面对于一定范围的非正交的入射角具有此性质。
“周界”是封闭的外边界。在目前的情况下,由该框架限定的孔径的周界作为回射边框的位置被关注。“照相机”是捕获一、二、或更多空间维度的图像的设备;这里讨论的照相机是“摄像机”,因为它们可以产生表示在时间维度上的运动的一系列图像。典型的照相机包括阵列传感器,其具有线性或二维阵列的检测器,例如CCD或CMOS传感器。照相机通常也将包括用于将输入的光聚焦到传感器上的透镜或透镜组件。
“图像”是亮度以及在一些情况下颜色的图案。在目前的情况下,光源基本上是单色的,因此图像是亮度的一维或二维的空间分布。静态图像可用于检测对象的位置,而移动图像可用于检测姿势。“光”这里涵盖可见光、紫外光和红外光。
“发光体”是发射光的设备。例如,红外LED可以充当发光体。在示出的实施例中,发光体朝着回射边框发射红外光。照相机发光体组件包括照相机和发光体二者。在示出的实施例中,发光体朝着回射边框引导光,回射边框朝着几乎处于相同位置的照相机将入射光反射回去。位于框架孔径中的对象可以阻止发射的光到达边框以及阻止反射的光回到照相机。这导致空间光分布形式的图像(静态图像)或空间和时间光分布形式的图像(视频图像),可以对它们进行分析以定位对象或识别姿势。
“附接”这里意味着直接固定。如果A被固定到B且1)A与B接触,或2)A和B都与用于将A固定到B的粘合材料(胶或双面胶带)接触,则对象A附接到对象B。A“刚性耦合”到B是指A的位置相对于B是固定的。A可以刚性耦合到B而不附接到B,例如在它们都附接到插入结构构件的情况下。例如,一旦本发明的框架附接到显示器,照相机组件就刚性耦合到该显示器,因为二者都附接到且固定到该框架。但是,照相机发光体组件不附接到显示器。
“显示屏”是其上呈现图像的显示器的一部分。显示器是包括显示屏的设备。显示器可以具有附加功能,诸如从集成的扬声器输出的声音或用于接通和关断电源的开关。“同延”意思是它们在空间中的正交投影基本上是重合的。在这个上下文中,为了给“基本上”赋一个值,每个投影的至少90%应该与另一个投影相交。如果显示器和孔径的正交投影重叠,则它们被“对准”。
“触摸屏”是指检测和定位正在触摸显示屏或覆盖显示屏的窗口的对象的显示器及用于其的附加物。触摸屏不需要依靠触摸来触发检测,并且可以不需要实际的触摸;由于该原因,本发明可以被认为是针对“对象定位系统”。根据本发明的触摸屏或对象定位系统提供了检测邻近于显示屏但不触摸显示屏的对象。
为了解释的目的,已经参考特定的实施例描述了以上说明。但是,说明性的讨论不意欲是穷举的或将本发明限制到公开的精确形式。鉴于公开的教导,许多修改和变化是可能的。选择和描述实施例以便最佳地解释本发明的原理和它的实际应用,从而使得本领域其他技术人员能够最佳地利用本发明和具有适合于预期的特定使用的各种修改的各种实施例。

Claims (15)

1. 一种对象定位系统,包括:
框架,其限定具有周界的孔径,所述框架在所述周界的至少大部分周围具有回射边框;和 
多个照相机,其直接附接到所述框架。
2. 如权利要求1所述的对象定位系统,还包括照相机发光体组件,所述照相机发光体组件的每一个包括所述照相机中的至少一个。
3. 如权利要求2所述的对象定位系统,其中所述框架具有拐角并且所述照相机发光体组件位于所述拐角中的至少两个处。
4. 如权利要求2所述的对象定位系统,还包括显示器,所述显示器具有显示屏,所述框架附接到所述显示器以使得所述孔径基本上与所述显示屏同延。
5. 如权利要求4所述的对象定位系统,其中所述照相机发光体组件通过所述框架刚性连接到所述显示器并且不直接附接到所述显示器。
6. 如权利要求5所述的对象定位系统,其中所述照相机发光体组件与所述显示屏齐平。
7. 如权利要求3所述的对象定位系统,其中所述照相机发光体组件被利用螺钉附接到所述框架。
8. 如权利要求7所述的对象定位系统,其中所述照相机具有无螺纹孔,并且所述框架具有螺纹孔,所述螺钉穿过所述无螺纹孔并且穿到所述螺纹孔中。
9. 如权利要求7所述的对象定位系统,其中所述照相机发光体组件具有螺纹孔,并且所述框架具有无螺纹孔,所述螺钉穿过所述无螺纹孔并且穿到所述螺纹孔中。
10. 如权利要求7所述的对象定位系统,其中所述照相机发光体组件被利用接触所述照相机和所述框架的胶附接到所述框架。
11. 一种方法,包括:
形成限定具有周界的孔径的框架和在所述周界的至少大部分周围的边框;以及
将照相机发光体组件附接到所述框架并且将回射材料应用于所述边框。
12. 如权利要求11所述的方法,还包括,在将所述组件附接到所述框架之后,将所述框架附接到具有显示屏的显示器以使得用所述显示屏照亮所述孔径。
13. 如权利要求12所述的方法,还包括,在将所述框架附接到所述显示器之后,在所述显示器上呈现图像。
14. 如权利要求13所述的方法,还包括,通过选择性地阻止由所述照相机发光体组件朝着所述边框发射的光被所述照相机发光体组件检测到来控制所述图像。
15. 如权利要求14所述的方法,其中所述光是红外光。
CN200880131790XA 2008-10-30 2008-10-30 具有附接到框架的照相机的对象定位系统 Pending CN102203694A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2008/081673 WO2010050945A1 (en) 2008-10-30 2008-10-30 Object locating system with cameras attached to frame

Publications (1)

Publication Number Publication Date
CN102203694A true CN102203694A (zh) 2011-09-28

Family

ID=42129102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880131790XA Pending CN102203694A (zh) 2008-10-30 2008-10-30 具有附接到框架的照相机的对象定位系统

Country Status (6)

Country Link
US (1) US20110199339A1 (zh)
CN (1) CN102203694A (zh)
DE (1) DE112008004062T5 (zh)
GB (1) GB2476440B (zh)
TW (2) TWI486828B (zh)
WO (1) WO2010050945A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9703398B2 (en) * 2009-06-16 2017-07-11 Microsoft Technology Licensing, Llc Pointing device using proximity sensing
TWI408588B (zh) * 2010-07-23 2013-09-11 Lecc Technology Co Ltd 光源發射器定位方法與光學式觸控裝置
TWI494824B (zh) * 2010-08-24 2015-08-01 Quanta Comp Inc 光學觸控系統及方法
US8736773B1 (en) 2012-08-13 2014-05-27 Nongqiang Fan Interacting with television screen with remote control having viewing screen
WO2015183232A1 (en) * 2014-05-26 2015-12-03 Nongqiang Fan Method and apparatus for interacting with display screen
CN104326318A (zh) * 2014-11-18 2015-02-04 森赫电梯股份有限公司 智能触摸型电梯操纵箱
CN107735756B (zh) * 2015-07-17 2020-10-30 富士电机株式会社 光学式触摸面板和自动售货机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002007051A (ja) * 2000-06-26 2002-01-11 Newcom:Kk 光デジタイザ
US20040095318A1 (en) * 2002-11-15 2004-05-20 Gerald Morrison Size/scale and orientation determination of a pointer in a camera-based touch system
US20080111797A1 (en) * 2006-11-15 2008-05-15 Yu-Sheop Lee Touch screen
CN101201252A (zh) * 2006-12-14 2008-06-18 英业达股份有限公司 导航系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4675569A (en) * 1986-08-04 1987-06-23 International Business Machines Corporation Touch screen mounting assembly
US5162783A (en) * 1990-07-23 1992-11-10 Akzo N.V. Infrared touch screen device for a video monitor
US5342054A (en) * 1993-03-25 1994-08-30 Timecap, Inc. Gold practice apparatus
US5748269A (en) * 1996-11-21 1998-05-05 Westinghouse Air Brake Company Environmentally-sealed, convectively-cooled active matrix liquid crystal display (LCD)
DE19744503A1 (de) * 1997-10-09 1999-04-15 Schloemann Siemag Ag Vorrichtung und Verfahren zur Beeinflussung der Reibungsverhältnisse zwischen einer oberen und einer unteren Walze eines Walzgerüstes
JP4033582B2 (ja) * 1998-06-09 2008-01-16 株式会社リコー 座標入力/検出装置および電子黒板システム
US6335724B1 (en) * 1999-01-29 2002-01-01 Ricoh Company, Ltd. Method and device for inputting coordinate-position and a display board system
JP2001282445A (ja) * 2000-03-31 2001-10-12 Ricoh Co Ltd 座標入力/検出装置および情報表示入力装置
US20080026699A1 (en) * 2006-07-26 2008-01-31 Smith Richard C Push-to-talk switch
US7760193B2 (en) * 2005-08-15 2010-07-20 Microsoft Corporation Durable top surface for interactive display
TWI315843B (en) * 2006-07-03 2009-10-11 Egalax Empia Technology Inc Position detecting apparatus
KR20080089115A (ko) * 2007-03-31 2008-10-06 윤주영 시엠오에스어레이를 이용한 터치스크린
US9007309B2 (en) * 2007-04-05 2015-04-14 Japan Display Inc. Input device, and electro-optical device
US20090309853A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Electronic whiteboard system and assembly with optical detection elements

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002007051A (ja) * 2000-06-26 2002-01-11 Newcom:Kk 光デジタイザ
US20040095318A1 (en) * 2002-11-15 2004-05-20 Gerald Morrison Size/scale and orientation determination of a pointer in a camera-based touch system
US20080111797A1 (en) * 2006-11-15 2008-05-15 Yu-Sheop Lee Touch screen
CN101201252A (zh) * 2006-12-14 2008-06-18 英业达股份有限公司 导航系统

Also Published As

Publication number Publication date
WO2010050945A1 (en) 2010-05-06
TWI486828B (zh) 2015-06-01
TW201546678A (zh) 2015-12-16
DE112008004062T5 (de) 2013-03-21
GB201106731D0 (en) 2011-06-01
TW201019187A (en) 2010-05-16
GB2476440A (en) 2011-06-22
US20110199339A1 (en) 2011-08-18
GB2476440B (en) 2013-03-13

Similar Documents

Publication Publication Date Title
US8847924B2 (en) Reflecting light
US8395588B2 (en) Touch panel
US6100538A (en) Optical digitizer and display means for providing display of indicated position
US9185277B2 (en) Panel camera, and optical touch screen and display apparatus employing the panel camera
US7781722B2 (en) Optical touch screen assembly
CN102203694A (zh) 具有附接到框架的照相机的对象定位系统
TWI571769B (zh) 非接觸輸入裝置及方法
WO2010122762A1 (en) Optical position detection apparatus
US20080062149A1 (en) Optical coordinate input device comprising few elements
WO2010137277A1 (en) Optical position detection apparatus
US20110187678A1 (en) Touch system using optical components to image multiple fields of view on an image sensor
KR20080044017A (ko) 터치 스크린
US20100177052A1 (en) Touch screen
JP5515280B2 (ja) 位置検出装置及び電気光学装置
US20110084938A1 (en) Touch detection apparatus and touch point detection method
JP2011090604A (ja) 光学式位置検出装置および位置検出機能付き表示装置
US20150015545A1 (en) Pointing input system having sheet-like light beam layer
US20100134446A1 (en) Optical output device
US8194052B2 (en) Optical operating apparatus
KR100860158B1 (ko) 펜 형의 위치 입력 장치
JP6663736B2 (ja) 非接触表示入力装置及び方法
KR20170021665A (ko) 광학식 터치스크린 기능을 갖는 디스플레이 장치
US20100295825A1 (en) Pointing input device having sheet-like light beam layer
JP3782983B2 (ja) ポインティングデバイス
JP2009238167A (ja) 位置検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110928