CN102937811A - 一种小型机器人的单目视觉与双目视觉转换装置 - Google Patents

一种小型机器人的单目视觉与双目视觉转换装置 Download PDF

Info

Publication number
CN102937811A
CN102937811A CN2012104022602A CN201210402260A CN102937811A CN 102937811 A CN102937811 A CN 102937811A CN 2012104022602 A CN2012104022602 A CN 2012104022602A CN 201210402260 A CN201210402260 A CN 201210402260A CN 102937811 A CN102937811 A CN 102937811A
Authority
CN
China
Prior art keywords
path
electromagnetic relay
control
component
switch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012104022602A
Other languages
English (en)
Inventor
于薇薇
乔静
王森
陈亚胜
罗巍
冯华山
王润孝
谭小群
李树军
白晶
赵妮
翟明敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN2012104022602A priority Critical patent/CN102937811A/zh
Publication of CN102937811A publication Critical patent/CN102937811A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明提出了一种小型机器人的单目视觉与双目视觉转换装置,由无线通讯摄像头、传动组件、动力组件和控制组件组成;传动组件由回转运动转直线运动组件和导轨组成,相机固定板固定在传动组件的直线运动部件上,传动组件两侧有挡板、挡板上安装有控制组件的触发开关,传动组件的回转运动部件两端通过轴承与挡板连接,回转运动部件一端穿过挡板通过联轴器与动力组件连接;控制组件包括控制电路板和分别安装在传动组件两侧挡板上的第一通路触发开关及第二通路触发开关。本发明实现小型机器人上单目双目的相互转换,从而使小型机器人的应用将更加广泛;并且双目间基线距离可调,通过调节基线距离可以获得更好的重建效果。

Description

一种小型机器人的单目视觉与双目视觉转换装置
技术领域
本发明涉及机器人视觉技术领域,具体为一种小型机器人的单目视觉与双目视觉转换装置。
背景技术
机器视觉研究的目的是使机器具有通过二维图像信息来认知三维环境信息的能力,这种能力不仅使机器能感知三维环境中物体的几何信息(如形状、位置、姿态运动等),而且能进一步对它们进行描述、存储、识别与理解。目前,机器视觉主要用以三维重建和距离计算。在视觉研究中,多分为单目立体视觉、双目和多目立体视觉,且目前多采用双目或单目相机。
单目视觉方法是使用一台摄像机进行三维重建的方法。常采用以下两个方法:1、通过单视点的单幅或多幅图像的二维特征推导出深度信息通常要求的条件比较理想化,实际应用情况不是很理想,重建效果也一般。2、通过多视点的多幅图像匹配不同图像中的相同特征点,利用这些匹配约束求取空间三维点坐标信息,从而实现三维重建,可以实现重建过程中的摄像机自标定,能够满足大规模场景三维重建的需求,且在图像资源丰富的情况下重建效果比较好;不足之处是运算量比较大,重建时间较长。
双目视觉方法是一种将双目视差信息转换为深度信息的方法,这种方法使用两台摄像机从两个(通常是左右平行对齐的,也可以是上下竖直对齐的)视点观测同一物体,获取在物体不同视角下的感知图像,通过三角测量的方法将匹配点的视差信息转换为深度。该方法在摄像机标定和校正方面要求比较宽松,降低了运算量,但由于无法获得较准确的稠密立体匹配,信息量大,处理速度比较慢,其重建效果不如单目的方法。
在一篇名为《基于单目转双目的立体视觉技术研究》的硕士毕业论文中(田浩鹏,哈理工),提到一种利用单摄像机双置立体视觉系统,立足于立体视觉法,其结构由一台CCD摄像机和两组对称的光学反射镜组成。工作原理是:先进行光路设计,然后将一个摄像机的有效视场分解成对称的两个区域,分别虚拟两个摄像机成像,摄像机C通过左右对称的两组光学反射镜后,形成了相互对称的两虚拟摄像机2LC和2RC,反射镜组1LM和1RM把摄像机像面平分为“左”、“右”两个像面,使得摄像机的“左”像面只能接受左反射光路所成的像,摄像机的“右”像面只能接受右反射光路所成的像。被摄物体通过左右两反射光路,分别成像在摄像机的左、右像面上。测量时,视场内被测三维空间上的信息点在左右两台虚拟摄像机2LC和2RC的视场中分别成像,形成一定的虚拟立体视差,利用空间点在两虚拟摄像机平面上的透视成像点坐标来求取空间点的三维坐标,就相当于用两台摄像机同时拍摄一幅图像不同位置的效果,从而能就可以完成单目转双目的效果。但其存在以下几个缺点:1、物体和其影像所成的像发生重叠,给后期图像处理带来麻烦;2、两组反射镜的摆放角度改变时易引起基线距的增大而导致增加立体视觉系统的体积;3、基线距小时,测量精度低。
在一篇名为《3D Motion parameters determination based on binocular sequenceimages》的文章中(作者为ZHANG jianqing,Geo-spatial Information Science,Volume 9,Issue 1,March 2006),提到采用双目视觉进行三维运动的匹配,其采用的双目结构有两个(有线)视觉摄像头,其结构采用一个支架,在支架上架一导轨,两个相机固定在导轨上的两个滑块上,两个相机间的可调距离是500毫米,其机构共包括两个运动自由度的伺服平台,图像传输和系统控制等部分。该机构采用两个相机,成本高,安装维护麻烦,同时由于重量和体积较大,无法在小机器人上使用。
发明内容
要解决的技术问题
为解决现有技术中缺少适用于小型机器人的将单目视觉转换为双目视觉的微型轻质机构,本发明提出了一种小型机器人的单目视觉与双目视觉转换装置。使小型机器人可以在非结构环境中活动更自如,有更广泛的应用空间,并可以减小算法复杂度,提高计算速度。
技术方案
本发明的技术方案为:
所述一种小型机器人的单目视觉与双目视觉转换装置,其特征在于:由无线通讯摄像头、传动组件、动力组件和控制组件组成;无线通讯摄像头固定在相机固定板上;传动组件由回转运动转直线运动组件和导轨组成,相机固定板固定在传动组件的直线运动部件上,直线运动部件由导轨支撑,传动组件两侧有挡板、挡板上安装有控制组件的触发开关,传动组件的回转运动部件两端通过轴承与挡板连接,回转运动部件一端穿过挡板通过联轴器与动力组件连接;传动组件、动力组件和控制组件通过底部固定板固定安装在小型机器人上;
控制组件包括控制电路板和分别安装在传动组件两侧挡板上的第一通路触发开关及第二通路触发开关;通过输入外部控制信号,控制组件控制动力组件正转或反转,当直线运动部件触碰传动组件两侧挡板上的触发开关,控制组件控制动力组件停传。
所述一种小型机器人的单目视觉与双目视觉转换装置,其特征在于:传动组件的回转运动部件为螺杆、直线运动部件为滑块;滑块中部有螺纹通孔,螺杆两端为光杆,中部为螺纹杆,螺杆中部螺纹杆与滑块中部螺纹通孔配合形成螺纹副。
所述一种小型机器人的单目视觉与双目视觉转换装置,其特征在于:控制电路板包括第一通路控制电磁继电器及其对应的常开开关、第二通路延时控制电磁继电器及其对应的常开开关、第一通路电磁继电器及其对应的常开开关和常闭开关、第二通路电磁继电器及其对应的常开开关和常闭开关;第一通路控制电磁继电器和第二通路延时控制电磁继电器分别形成两条控制通路,通过外部输入方波控制信号控制第一通路控制电磁继电器和第二通路延时控制电磁继电器工作,其中第二通路延时控制电磁继电器比第一通路控制电磁继电器延时工作;第一通路控制电磁继电器常开开关与第一通路电磁继电器常开开关并联后,与第二通路电磁继电器常闭开关、第一通路电磁继电器、第一通路触发开关串联形成第一通路;第一通路控制电磁继电器常开开关与第二通路电磁继电器常开开关并联后,与第一通路电磁继电器常闭开关、第二通路电磁继电器、第二通路触发开关、第二通路延时控制电磁继电器常开开关串联形成第二通路;所述第一通路触发开关和第二通路触发开关为常闭开关;第一通路电磁继电器常开开关和第二通路电磁继电器常开开关分别接动力组件形成两条动力组件供电通路。
有益效果
本发明提出的小型机器人的单目视觉与双目视觉转换装置具有如下优点:
1、本专利采用一种转换单目视觉为双目视觉的装置,使其既有单目视觉方法的高可靠性,又有双目视觉方法的算法简单性。
2、实现小型机器人上单目双目的相互转换,实现双目视觉在小型机器人的应用,从而使小型机器人的应用将更加广泛;
3、通过调节挡板间距,使双目间基线距离可调,通过调节基线距离可以获得更好的重建效果。
4、无线摄像机的使用使小型机器人在复杂环境中可以运动更灵敏。
5、无线双目相机的模拟应用现为首例,可以使算法简单的同时又适用于室外环境的应用。
6、必要时,可以实现单目、双目、多目相机之间的相互转换。
附图说明
图1:本发明的结构示意图;
图2:相机固定板示意图;
图3:控制组件电路原理图;
图4:传动组件、动力组件示意图;
其中:1、无线通讯摄像头;2、导轨;3、螺杆前端挡板;4、微型联轴器;5、微型电机;6、电机支座;7、底部固定板;8、第一通路触发开关;9、滑块;10、小型机器人;11、螺杆;12、螺杆尾端挡板;13、第二通路触发开关;14、相机固定板。
QS、总开关;SB1、过载保护开关;KM3、第一通路控制电磁继电器及其对应的常开开关;KM4、第二通路延时控制电磁继电器及其对应的常开开关;KM1、第一通路电磁继电器及其对应的常开开关和常闭开关;KM2:第二通路电磁继电器及其对应的常开开关和常闭开关;M、微型电机;SB2、第一通路触发开关;SB3、第二通路触发开关。
具体实施方式
下面结合具体实施例描述本发明:
本实施例是用于小型机器人上的单目视觉与双目视觉转换装置,由无线通讯摄像头1、传动组件、动力组件和控制组件组成。
参照附1和附图2,无线通讯摄像头通过底部的螺纹孔与相机固定板14中部的螺钉连接,并通过相机固定板四周的卡片约束无线通讯摄像头的移动,从而将无线通讯摄像头固定在相机固定板上。
传动组件由回转运动转直线运动组件和导轨组成,本实施例中传动组件的回转运动部件为螺杆11、直线运动部件为滑块9,滑块中部有螺纹通孔,螺杆两端为光杆,中部为螺纹杆,螺杆中部螺纹杆与滑块中部螺纹通孔配合形成螺纹副。
相机固定板固定在滑块上,滑块由导轨2支撑,并沿导轨滑动。传动组件两侧有挡板、挡板上安装有控制组件的触发开关。螺杆两端光杆部分通过轴承与挡板连接,螺杆由轴承与挡板支撑,其中螺杆一端光杆穿过挡板后,通过微型联轴器4与动力组件连接,本实施例中动力组件为一个普通两相微型电机5,微型电机的动力通过微型联轴器传送给螺杆,然后由螺杆将回转运动转化为滑块的直线运动,从而实现相机位置的改变而达到双目视觉的效果。
传动组件、动力组件和控制组件通过底部固定板固定安装在小型机器人10上;底部固定板7通过螺钉和磁铁与小型机器人10相固连;导轨底部通过螺钉与底部固定板连接,挡板通过十字沉头螺钉与导轨连接。微型电机由电机支座6支撑,电机支座与底部固定板7通过螺钉固连。
控制组件包括控制电路板和分别安装在传动组件两侧挡板上的第一通路触发开关及第二通路触发开关;通过输入外部控制信号,控制组件控制动力组件正转或反转,当直线运动部件触碰传动组件两侧挡板上的触发开关,控制组件控制动力组件停传。
所述一种小型机器人的单目视觉与双目视觉转换装置,其特征在于:控制电路板包括第一通路控制电磁继电器及其对应的常开开关KM3、第二通路延时控制电磁继电器及其对应的常开开关KM4、第一通路电磁继电器及其对应的常开开关和常闭开关KM1、第二通路电磁继电器及其对应的常开开关和常闭开关KM2;第一通路控制电磁继电器和第二通路延时控制电磁继电器分别形成两条控制通路,通过外部输入方波控制信号控制第一通路控制电磁继电器和第二通路延时控制电磁继电器工作,其中第二通路延时控制电磁继电器比第一通路控制电磁继电器延时0.2s工作;第一通路控制电磁继电器常开开关KM3与第一通路电磁继电器常开开关KM1并联后,与第二通路电磁继电器常闭开关KM2、第一通路电磁继电器KM1、第一通路触发开关SB2串联形成第一通路;第一通路控制电磁继电器常开开关KM3与第二通路电磁继电器常开开关KM2并联后,与第一通路电磁继电器常闭开关KM1、第二通路电磁继电器KM2、第二通路触发开关SB3、第二通路延时控制电磁继电器常开开关KM4串联形成第二通路;所述第一通路触发开关SB2和第二通路触发开关SB3为常闭开关;第一通路电磁继电器常开开关KM1和第二通路电磁继电器常开开关KM2分别接动力组件形成两条动力组件供电通路。
当需要无线通讯摄像头移动时,外部控制器提供0.5s的方波信号,第一通路控制电磁继电器KM3工作,第二通路延时控制电磁继电器KM4延时0.2s 工作,保证了第二通路与第一通路不会同时接通。第一通路控制电磁继电器KM3工作,使得第一通路接通,第一通路电磁继电器常开开关KM1闭合,电机启动,无线通讯摄像头开始运动,当无线通讯摄像头运动至相应位置,与第一通路触发开关SB2碰触,使得第一通路断开,无线通讯摄像头停止移动。(当方波信号消失后,第一通路控制电磁继电器KM3停止工作)
当需要无线通讯摄像头向相反方向移动时,外部控制器再次提供信号,由于此时第一通路触发开关SB2被触发,第一通路不接通,而第二通路接通,第二通路电磁继电器常开开关KM2闭合,电机启动,无线通讯摄像头向相反方向运动,当无线通讯摄像头运动至相应位置,与第二通路触发开关SB3碰触,使得第二通路断开,无线通讯摄像头停止移动。

Claims (3)

1.一种小型机器人的单目视觉与双目视觉转换装置,其特征在于:由无线通讯摄像头、传动组件、动力组件和控制组件组成;无线通讯摄像头固定在相机固定板上;传动组件由回转运动转直线运动组件和导轨组成,相机固定板固定在传动组件的直线运动部件上,直线运动部件由导轨支撑,传动组件两侧有挡板、挡板上安装有控制组件的触发开关,传动组件的回转运动部件两端通过轴承与挡板连接,回转运动部件一端穿过挡板通过联轴器与动力组件连接;传动组件、动力组件和控制组件通过底部固定板固定安装在小型机器人上;
控制组件包括控制电路板和分别安装在传动组件两侧挡板上的第一通路触发开关及第二通路触发开关;通过输入外部控制信号,控制组件控制动力组件正转或反转,当直线运动部件触碰传动组件两侧挡板上的触发开关,控制组件控制动力组件停传。
2.根据权利要求1所述的一种小型机器人的单目视觉与双目视觉转换装置,其特征在于:传动组件的回转运动部件为螺杆、直线运动部件为滑块;滑块中部有螺纹通孔,螺杆两端为光杆,中部为螺纹杆,螺杆中部螺纹杆与滑块中部螺纹通孔配合形成螺纹副。
3.根据权利要求1或2所述的一种小型机器人的单目视觉与双目视觉转换装置,其特征在于:控制电路板包括第一通路控制电磁继电器及其对应的常开开关、第二通路延时控制电磁继电器及其对应的常开开关、第一通路电磁继电器及其对应的常开开关和常闭开关、第二通路电磁继电器及其对应的常开开关和常闭开关;第一通路控制电磁继电器和第二通路延时控制电磁继电器分别形成两条控制通路,通过外部输入方波控制信号控制第一通路控制电磁继电器和第二通路延时控制电磁继电器工作,其中第二通路延时控制电磁继电器比第一通路控制电磁继电器延时工作;第一通路控制电磁继电器常开开关与第一通路电磁继电器常开开关并联后,与第二通路电磁继电器常闭开关、第一通路电磁继电器、第一通路触发开关串联形成第一通路;第一通路控制电磁继电器常开开关与第二通路电磁继电器常开开关并联后,与第一通路电磁继电器常闭开关、第二通路电磁继电器、第二通路触发开关、第二通路延时控制电磁继电器常开开关串联形成第二通路;所述第一通路触发开关和第二通路触发开关为常闭开关;第一通路电磁继电器常开开关和第二通路电磁继电器常开开关分别接动力组件形成两条动力组件供电通路。
CN2012104022602A 2012-10-22 2012-10-22 一种小型机器人的单目视觉与双目视觉转换装置 Pending CN102937811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012104022602A CN102937811A (zh) 2012-10-22 2012-10-22 一种小型机器人的单目视觉与双目视觉转换装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012104022602A CN102937811A (zh) 2012-10-22 2012-10-22 一种小型机器人的单目视觉与双目视觉转换装置

Publications (1)

Publication Number Publication Date
CN102937811A true CN102937811A (zh) 2013-02-20

Family

ID=47696711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012104022602A Pending CN102937811A (zh) 2012-10-22 2012-10-22 一种小型机器人的单目视觉与双目视觉转换装置

Country Status (1)

Country Link
CN (1) CN102937811A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729622A (zh) * 2013-12-24 2014-04-16 小米科技有限责任公司 一种手指静脉三维点云获取方法、装置及一种终端
CN104637048A (zh) * 2013-11-13 2015-05-20 沈阳新松机器人自动化股份有限公司 一种单摄像头模拟双目视觉系统及方法
CN105806316A (zh) * 2014-12-31 2016-07-27 上海新跃仪表厂 用于微纳卫星的三目视觉敏感器及其测量方法
CN106225676A (zh) * 2016-09-05 2016-12-14 凌云光技术集团有限责任公司 三维测量方法、装置及系统
CN107065920A (zh) * 2016-12-26 2017-08-18 歌尔科技有限公司 避障控制方法、装置及无人机
CN111025137A (zh) * 2019-12-13 2020-04-17 苏州华电电气股份有限公司 敞开式隔离开关状态感知装置
CN111829489A (zh) * 2019-04-16 2020-10-27 杭州海康机器人技术有限公司 一种视觉定位的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997018523A2 (en) * 1995-11-14 1997-05-22 Moshe Razon Computer stereo vision system and method
DE202005014072U1 (de) * 2005-09-06 2005-11-24 Maier, Florian Vorrichtung zur automatischen fotografischen Aufnahme von Objekten aus verschiedenen Perspektiven
CN101464615A (zh) * 2008-12-17 2009-06-24 顾金昌 一种立体图像弧形拍摄轨道装置及其拍摄方法
CN101504797A (zh) * 2009-03-06 2009-08-12 胡立业 一种转换装置
CN201440708U (zh) * 2009-09-01 2010-04-21 深圳超多维光电子有限公司 立体显示装置
CN202886989U (zh) * 2012-10-22 2013-04-17 西北工业大学 一种小型机器人的单目视觉与双目视觉转换装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997018523A2 (en) * 1995-11-14 1997-05-22 Moshe Razon Computer stereo vision system and method
CN1202239A (zh) * 1995-11-14 1998-12-16 摩西·拉宗 计算机立体图像系统和方法
DE202005014072U1 (de) * 2005-09-06 2005-11-24 Maier, Florian Vorrichtung zur automatischen fotografischen Aufnahme von Objekten aus verschiedenen Perspektiven
CN101464615A (zh) * 2008-12-17 2009-06-24 顾金昌 一种立体图像弧形拍摄轨道装置及其拍摄方法
CN101504797A (zh) * 2009-03-06 2009-08-12 胡立业 一种转换装置
CN201440708U (zh) * 2009-09-01 2010-04-21 深圳超多维光电子有限公司 立体显示装置
CN202886989U (zh) * 2012-10-22 2013-04-17 西北工业大学 一种小型机器人的单目视觉与双目视觉转换装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104637048A (zh) * 2013-11-13 2015-05-20 沈阳新松机器人自动化股份有限公司 一种单摄像头模拟双目视觉系统及方法
CN103729622A (zh) * 2013-12-24 2014-04-16 小米科技有限责任公司 一种手指静脉三维点云获取方法、装置及一种终端
CN103729622B (zh) * 2013-12-24 2017-09-22 小米科技有限责任公司 一种手指静脉三维点云获取方法、装置及一种终端
CN105806316A (zh) * 2014-12-31 2016-07-27 上海新跃仪表厂 用于微纳卫星的三目视觉敏感器及其测量方法
CN105806316B (zh) * 2014-12-31 2018-11-06 上海新跃仪表厂 用于微纳卫星的三目视觉敏感器及其测量方法
CN106225676A (zh) * 2016-09-05 2016-12-14 凌云光技术集团有限责任公司 三维测量方法、装置及系统
CN106225676B (zh) * 2016-09-05 2018-10-23 凌云光技术集团有限责任公司 三维测量方法、装置及系统
CN107065920A (zh) * 2016-12-26 2017-08-18 歌尔科技有限公司 避障控制方法、装置及无人机
CN111829489A (zh) * 2019-04-16 2020-10-27 杭州海康机器人技术有限公司 一种视觉定位的方法及装置
CN111829489B (zh) * 2019-04-16 2022-05-13 杭州海康机器人技术有限公司 一种视觉定位的方法及装置
CN111025137A (zh) * 2019-12-13 2020-04-17 苏州华电电气股份有限公司 敞开式隔离开关状态感知装置

Similar Documents

Publication Publication Date Title
CN102937811A (zh) 一种小型机器人的单目视觉与双目视觉转换装置
CN103115613B (zh) 一种空间三维定位方法
US10282594B2 (en) Electronic device, face recognition and tracking method and three-dimensional display method
CN106447705B (zh) 应用于室内场景虚拟现实直播的多目立体视觉系统及方法
CN105068659A (zh) 一种增强现实系统
CN104539931A (zh) 一种多目相机系统、装置及同步方法
CN103543830A (zh) 一种人体骨骼点映射至立体显示中虚拟三维空间点的方法
SG168453A1 (en) Method and system for presenting content
CN105423913A (zh) 基于线结构光扫描的三维坐标测量方法
CN204990186U (zh) 一种桌面式立体显示交互系统
CN110500959A (zh) 一种单摄像头口内三维扫描系统
CN101819025A (zh) 手持式靶标三目摄像机三维坐标测量系统
EP2485496A3 (en) Stereoscopic imaging apparatus
CN202886989U (zh) 一种小型机器人的单目视觉与双目视觉转换装置
CN103134444A (zh) 双视场可变焦三维测量系统
CN106507090A (zh) 一种主从遥视系统
CN201072403Y (zh) 测量气固两相流中固体颗粒三维浓度场、速度场的装置
CN101833759A (zh) 一种基于连续视频的机器人场景深度判别方法
CN212694437U (zh) 一种深度图像采集装置和设备
CN203909847U (zh) 一种相机标定装置
CN101945300A (zh) 可选择性区域三维显示的双向背光与图像信号处理装置
CN102447929B (zh) 一种显示控制芯片及立体显示设备
CN205621077U (zh) 一种基于深度图像的双目视觉重构装置
CN205160636U (zh) 成像装置
Chen et al. Improving the accuracy of depth estimation in binocular vision for robotic applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130220