CN104102220A - 用于监测人体位置的导览机器人及其控制方法 - Google Patents

用于监测人体位置的导览机器人及其控制方法 Download PDF

Info

Publication number
CN104102220A
CN104102220A CN201410330534.0A CN201410330534A CN104102220A CN 104102220 A CN104102220 A CN 104102220A CN 201410330534 A CN201410330534 A CN 201410330534A CN 104102220 A CN104102220 A CN 104102220A
Authority
CN
China
Prior art keywords
robot
human body
human
guide
visitors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410330534.0A
Other languages
English (en)
Inventor
李静安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI YUSHAN INFORMATION TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI YUSHAN INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI YUSHAN INFORMATION TECHNOLOGY Co Ltd filed Critical SHANGHAI YUSHAN INFORMATION TECHNOLOGY Co Ltd
Priority to CN201410330534.0A priority Critical patent/CN104102220A/zh
Publication of CN104102220A publication Critical patent/CN104102220A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了一种用于监测人体位置的导览机器人及其控制方法,所述机器人包括体感装置、红外线监测模块及拍摄模块,所述红外线监测模块用于获取人体和所述机器人之间的距离,所述拍摄模块用于拍摄人体动态骨架和人体骨架姿势;计算机,其包括USB通讯模块;底部动力平台,其设置于所述机器人的底部;以及双直流马达控制模组,其通过所述USB通讯模块和所述计算机连接。本发明提供的导览机器人及其控制方法,导览机器人依人体手势指令移动,不论前进或转弯可持续追踪人体位置,并依据人体身高,调整导览机器人之屏幕角度,使屏幕达到最佳使用位置。

Description

用于监测人体位置的导览机器人及其控制方法
技术领域
本发明涉及一种机器人及其控制方法,尤其涉及一种用于监测人体位置的导览机器人及其控制方法。
背景技术
以体感装置而言,目前商业市场上使用之体感装置大多是Microsoft的Kinect或ASUS的Xtion二种,不论哪一家生产之体感装置,都只是提供CCD影像、红外线的三维深度,至于要做何种商业运用,得自行开发软件了。
以动力轮装置而言,任何移动平台,包括机器人,都可依据不同的载重公斤数,安装大小不同的动力轮,但动力轮本身不会执行何时该正转何时反转的判断。因此有必要提供一种通过体感装置来控制动力轮装置的导览机器人,能够实时跟踪人体位置并依人体手势指令移动,并能方便地调整屏幕使用位置。
发明内容
本发明所要解决的技术问题是提供一种用于监测人体位置的导览机器人及其控制方法,导览机器人依人体手势指令移动,不论前进或转弯可持续追踪人体位置,并依据人体身高,调整导览机器人之屏幕角度,使屏幕达到最佳使用位置。
本发明为解决上述技术问题而采用的技术方案是提供一种用于监测人体位置的导览机器人,所述机器人包括体感装置,其设置于所述机器人的头部,包括红外线监测模块及拍摄模块,所述红外线监测模块用于获取人体和所述机器人之间的距离,所述拍摄模块用于拍摄人体动态骨架和人体骨架姿势;计算机,其包括USB通讯模块,所述计算机和所述体感装置连接,所述计算机用于预设人体骨架姿势并实时接收体感装置获取的人体和所述机器人之间的距离;底部动力平台,其设置于所述机器人的底部,包括两个动力轮和两个非动力万向轮;以及双直流马达控制模组,其通过所述USB通讯模块和所述计算机连接,所述双直流马达控制模组用于控制底部动力平台的追踪或停止。
进一步地,所述体感装置还用于获取人体的身高及所述机器人和人体的距离及角度;所述机器人还包括伺服马达和屏幕,所述伺服马达通过USB通讯模块和计算机连接,所述屏幕设置有转轴,根据所述获取的人体的身高,通过伺服马达调整所述屏幕的旋转角度。
进一步地,所述屏幕的旋转角度为60度~120度。
进一步地,当所述人体骨架为多人时,以正中间的人体骨架为监测对象。
进一步地,还包括人体骨架姿势比较模块,其设置于计算机中,所述人体骨架姿势比较模块的输入端用于获取所述拍摄模块获取的人体骨架姿势,通过比较预设的人体骨架姿势和拍摄模块获取的人体骨架姿势,所述人体骨架姿势比较模块输出比较结果给所述计算机。
进一步地,所述计算机根据所述人体骨架姿势比较模块输出的比较结果生成输出指令,所述机器人根据所述输出指令向人体方向移动或持续追踪人体位置。
进一步地,所述计算机根据所述机器人和人体的距离及角度输出指令,所述机器人根据所述输出指令向人体方向移动、持续追踪人体位置或停止。
进一步地,所述底部动力平台上的两个动力轮左右对称设置,所述机器人通过控制两个动力轮的不同速度向人体方向直行、左转或右转。
本发明为解决上述技术问题而采用的另一技术方案是提供一种上述导览机器人的控制方法,其中,包括以下步骤:S11、在计算机中预设人体骨架姿势;S12、通过体感装置获取人体骨架姿势;S13、通过人体骨架姿势比较模块比较获取的人体骨架姿势和预设的骨架姿势,输出指令;S14、所述计算机根据输出指令,通过双直流马达控制模组控制底部动力平台移动。
进一步地,还包括以下步骤:S21、实时获取机器人和人体的距离;S22、若距离大于预设阈值,则控制机器人向人体方向直行、左转或右转;直至机器人和人体的距离小于预设阈值;S23、在机器人停止追踪人体位置之后,实时获取人体的高度;S24、调整屏幕的旋转角度,所述旋转角度为60度~120度。
本发明对比现有技术有如下的有益效果:本发明提供的导览机器人,在计算机中预设人体骨架姿势,通过体感装置获取人体骨架姿势,从而导览机器人可以根据人体骨架姿势移动,可以向人体方向移动、持续追踪人体位置或停止,当范围内有多人时,以正中间的一人为监测对象,其余人体可忽略,并且可以通过获取的人体高度,调整屏幕的旋转角度,使得屏幕达到最佳使用位置。
附图说明
图1为本发明的导览机器人向前移动的示意图;
图2为本发明的导览机器人追踪移动示意图;
图3为本发明的导览机器人屏幕角度调整示意图;
图4为本发明的导览机器人的结构示意图;
图5为本发明的导览机器人屏幕角度分为五个角度的调整示意图;
图6为本发明的导览机器人控制流程图。
图中:
41体感装置           42屏幕                   43伺服马达
44计算机             45双直流马达控制模组     46底部动力平台
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
图4为本发明的导览机器人的结构示意图。
请参见图4,本发明提供的用于监测人体位置的导览机器人,包括:
体感装置41,其设置于所述机器人的头部,包括红外线监测模块及拍摄模块,所述红外线监测模块用于获取人体和所述机器人之间的距离,所述拍摄模块用于拍摄人体动态骨架和人体骨架姿势;
计算机44,其包括USB通讯模块,所述计算机44和所述体感装置41连接,所述计算机44用于预设一组以上的人体骨架姿势,每一种骨架手势代表一种指令,例如前进、后退、停止、左转、右转、屏幕上转、屏幕下转等多种指令定义,并实时接收体感装置41获取的人体和所述机器人之间的距离,体感装置41按固定频率拍摄前方七公尺以内之人体骨架手势;
底部动力平台46,其设置于所述机器人的底部,包括两个动力轮和两个非动力万向轮;以及双直流马达控制模组45,其通过所述USB通讯模块和所述计算机44连接,所述双直流马达控制模组45用于控制底部动力平台46的追踪或停止。
本发明提供的用于监测人体位置的导览机器人,所述体感装置41还用于获取人体的身高及所述机器人和人体的距离及角度;以及包括伺服马达43和屏幕42,所述伺服马达43通过USB通讯模块和计算机44连接,所述屏幕42设置有转轴,根据所述获取的人体的身高,通过伺服马达43调整所述屏幕42的旋转角度,如图3。所述屏幕42的旋转角度为60度~120度。所述旋转角度优选为五种角度,分别是60度、75度、90度、105度和120度,如图5所示。
当所述人体骨架为多人时,以正中间的人体骨架为监测对象。具体判断过程如下:
1、首先获取体感装置41中拍摄模块视频,然后运用opencv技术,检测出人脸位置,再通过体感装置41过去人体骨架,检测人体头部位置,双重判断后,确认人脸位置。
2、判断出人脸位置后,通过体感装置41的深度图像功能,获取当前人脸的中心点距离体感装置41有多少距离。
3、程序先去判断,当前体感装置41前面一米范围内是否有其他物体(如人,障碍物等),如果有,这个即时有人走过来,荧幕42也不调整角度,这样做的目的,是防止有人在使用荧幕时,荧幕转动。
4、如果体感装置41前面一米范围内没有任何障碍物,这时有人进入,则程序会通过判断人脸的中心点出现在视频中的位置,发送信息给计算机44。
5、计算机44收到信号后,转成脉冲信号,控制双直流马达控制模组45转动到指定位置。
本发明提供的用于监测人体位置的导览机器人,还包括人体骨架姿势比较模块,其设置于计算机44中,所述人体骨架姿势比较模块的输入端用于获取所述拍摄模块获取的人体骨架姿势,通过比较预设的人体骨架姿势和拍摄模块获取的人体骨架姿势,所述人体骨架姿势比较模块输出比较结果给所述计算机44,当人体骨架手势与计算机44预先设定的骨架手势相同时,由计算机44判断该骨架手势是何种指令,导览机器人依指计算机移动动作。
所述计算机44根据所述人体骨架姿势比较模块输出的比较结果生成输出指令,根据所述输出指令,所述机器人向人体方向移动或持续追踪人体位置。
所述计算机44根据所述机器人和人体的距离及角度输出指令,根据所述输出指令,所述机器人向人体方向移动、持续追踪人体位置或停止。所述机器人向人体方向移动包括直行、左转或右转。
图6为本发明的导览机器人控制流程图。
请参见图6,本发明还提供一种上述导览机器人的控制方法,包括以下步骤:
S11、在计算机44中预设人体骨架姿势;
S12、通过体感装置41获取人体骨架姿势;
S13、通过人体骨架姿势比较模块比较获取的人体骨架姿势和预设的骨架姿势,输出指令;
S14、根据输出指令,机器人移动。
S21、实时获取机器人和人体的距离;
S22、若距离大于预设阈值,则控制机器人向人体方向移动或持续追踪人体位置,所述移动包括直行、左转或右转;直至距离小于预设阈值,则控制机器人停止追踪人体位置;
S23、在机器人停止追踪人体位置之后,实时获取人体的高度;
S24、调整屏幕的旋转角度,所述旋转角度为60度~120度。所述旋转角度优选为五种角度,分别是60度、75度、90度、105度和120度。
本发明提供的用于监测人体位置的导览机器人,具体的工作方式有以下两种:
如图1所示,第一种动作是导览机器人收到骨架手势指令向前移动,体感装置41的红外线侦测导览机器人与人体之间距离,依固定频率实时传送至计算机44判断,当导览机器人与人体之间距离小于一公尺时,导览机器人即停止移动;当人体在导览机器人正前方时,计算机44透过USB通讯模块通知双直流马达控制模块45,双直流马达控制模块45控制底部动力平台46,底部动力平台由两个动力轮及两个非动力万向轮组成,如果人体在导览机器人正前方时,两个动力轮同时按等速度前进,如果人体在导览机器人正前方偏右时,两个动力轮将左快右慢前进,形成导览机器人右转之动作,如果人体在导览机器人正前方偏左时,两个动力轮将左慢右快前进,形成导览机器人左转之动作,直到导览机器人与人体之间距离小于一公尺时,导览机器人即停止移动。
如图2所示,第二种动作是导览机器人收到骨架手势指令向前追踪人体,体感装置41的红外线侦测导览机器人与人体之间距离,依固定频率实时传送至计算机44判断,当导览机器人与人体之间距离小于一公尺时,导览机器人即停止移动,当人体继续移动,距离大于一公尺时,导览机器人会自动继续前进追踪人体,
本发明对比现有技术有如下的有益效果:本发明提供的导览机器人,在计算机中预设人体骨架姿势,通过体感装置获取人体骨架姿势,从而导览机器人可以根据人体骨架姿势移动,可以向人体方向移动、持续追踪人体位置或停止,当范围内有多人时,以正中间的一人为监测对象,其余人体可忽略,,并且可以通过获取的人体高度,调整屏幕的旋转角度,使得屏幕达到最佳使用位置。
虽然本发明已以较佳实施例揭示如上,然其并非用以限定本发明,任何本领域技术人员,在不脱离本发明的精神和范围内,当可作些许的修改和完善,因此本发明的保护范围当以权利要求书所界定的为准。

Claims (10)

1.一种用于监测人体位置的导览机器人,其特征在于,所述机器人包括:
体感装置(41),其设置于所述机器人的头部,包括红外线监测模块及拍摄模块,所述红外线监测模块用于获取人体和所述机器人之间的距离,所述拍摄模块用于拍摄人体动态骨架和人体骨架姿势;
计算机(44),其包括USB通讯模块,所述计算机(44)和所述体感装置(41)连接,所述计算机(44)用于预设人体骨架姿势并实时接收体感装置(41)获取的人体和所述机器人之间的距离;
底部动力平台(46),其设置于所述机器人的底部,包括两个动力轮和两个非动力万向轮;以及
双直流马达控制模组(45),其通过所述USB通讯模块和所述计算机(44)连接,所述双直流马达控制模组(45)用于控制底部动力平台(46)的追踪或停止。
2.如权利要求1所述的导览机器人,其特征在于,所述体感装置(41)还用于获取人体的身高及所述机器人和人体的距离及角度;
所述机器人还包括伺服马达(43)和屏幕(42),所述伺服马达(43)通过USB通讯模块和计算机(44)连接,所述屏幕(42)设置有转轴,并根据所获取的人体的身高,通过伺服马达(43)调整所述屏幕(42)的旋转角度。
3.如权利要求2所述的导览机器人,其特征在于,所述屏幕(42)的旋转角度为60度~120度。
4.如权利要求1所述的导览机器人,其特征在于,当所述人体骨架为多人时,以正中间的人体骨架为监测对象。
5.如权利要求1所述的导览机器人,其特征在于,还包括人体骨架姿势比较模块,其设置于计算机(44)中,所述人体骨架姿势比较模块的输入端用于获取所述拍摄模块获取的人体骨架姿势,通过比较预设的人体骨架姿势和拍摄模块获取的人体骨架姿势,所述人体骨架姿势比较模块输出比较结果给所述计算机(44)。
6.如权利要求5所述的导览机器人,其特征在于,所述计算机(44)根据所述人体骨架姿势比较模块输出的比较结果生成输出指令,所述机器人根据所述输出指令向人体方向移动或持续追踪人体位置。
7.如权利要求5所述的导览机器人,其特征在于,所述计算机(44)根据所述机器人和人体的距离及角度输出指令,所述机器人根据所述输出指令向人体方向移动、持续追踪人体位置或停止。
8.如权利要求7所述的导览机器人,其特征在于,所述底部动力平台(46)上的两个动力轮左右对称设置,所述机器人通过控制两个动力轮的不同速度向人体方向直行、左转或右转。
9.一种如权利要求1至8任一项所述的导览机器人的控制方法,其特征在于,包括以下步骤:
S11、在计算机(44)中预设人体骨架姿势;
S12、通过体感装置(41)获取人体骨架姿势;
S13、通过人体骨架姿势比较模块比较获取的人体骨架姿势和预设的骨架姿势,输出指令;
S14、所述计算机(44)根据输出指令,通过双直流马达控制模组(45)控制底部动力平台(46)移动。
10.如权利要求9所述的导览机器人的控制方法,其特征在于,还包括以下步骤:
S21、实时获取机器人和人体的距离;
S22、若距离大于预设阈值,则控制机器人向人体方向直行、左转或右转;直至机器人和人体的距离小于预设阈值;
S23、在机器人停止追踪人体位置之后,实时获取人体的高度;
S24、根据人体的高度调整屏幕的旋转角度,所述旋转角度为60度~120度。
CN201410330534.0A 2014-07-11 2014-07-11 用于监测人体位置的导览机器人及其控制方法 Pending CN104102220A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410330534.0A CN104102220A (zh) 2014-07-11 2014-07-11 用于监测人体位置的导览机器人及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410330534.0A CN104102220A (zh) 2014-07-11 2014-07-11 用于监测人体位置的导览机器人及其控制方法

Publications (1)

Publication Number Publication Date
CN104102220A true CN104102220A (zh) 2014-10-15

Family

ID=51670441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410330534.0A Pending CN104102220A (zh) 2014-07-11 2014-07-11 用于监测人体位置的导览机器人及其控制方法

Country Status (1)

Country Link
CN (1) CN104102220A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104977934A (zh) * 2015-07-09 2015-10-14 深圳中科智酷机器人科技有限公司 一种机器人系统及基于机器人系统的人体探测和跟踪方法
CN105425806A (zh) * 2015-12-25 2016-03-23 深圳先进技术研究院 移动机器人的人体探测与跟踪方法及装置
CN105643590A (zh) * 2016-03-31 2016-06-08 河北工业大学 一种手势控制的轮式移动机器人及其操作方法
CN106238909A (zh) * 2016-08-24 2016-12-21 慈溪市附海舟晗电器厂 一种多功能激光剥线机系统
CN106982499A (zh) * 2017-03-10 2017-07-25 北京工业大学 一种基于多点光源的体感智能照明系统和方法
CN107639624A (zh) * 2016-07-20 2018-01-30 腾讯科技(深圳)有限公司 一种可调节机构和智能机器人
CN107984477A (zh) * 2017-11-28 2018-05-04 宁波高新区锦众信息科技有限公司 一种用于监测人体位置的智能导览系统及控制方法
CN113052065A (zh) * 2021-03-23 2021-06-29 苏州银翼智能科技有限公司 显示屏角度的调整方法和装置、存储介质、电子装置
US20220063096A1 (en) * 2019-01-03 2022-03-03 Samsung Electronics Co., Ltd. Mobile robot and driving method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330539A (ja) * 2002-05-13 2003-11-21 Sanyo Electric Co Ltd 自律移動ロボットおよびその自律移動方法
JP2008149399A (ja) * 2006-12-15 2008-07-03 Advanced Telecommunication Research Institute International 移動ロボットおよび移動速度推定方法
CN102169348A (zh) * 2011-01-22 2011-08-31 浙江大学 用视线控制服务机器人的方法
CN102955563A (zh) * 2011-08-25 2013-03-06 鸿富锦精密工业(深圳)有限公司 机器人控制系统及方法
CN103049007A (zh) * 2012-12-29 2013-04-17 安科智慧城市技术(中国)有限公司 一种基于操控员头部动作操控移动平台的系统和方法
CN203092551U (zh) * 2013-03-15 2013-07-31 西北师范大学 一种基于Kinect和FPGA的家庭服务机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330539A (ja) * 2002-05-13 2003-11-21 Sanyo Electric Co Ltd 自律移動ロボットおよびその自律移動方法
JP2008149399A (ja) * 2006-12-15 2008-07-03 Advanced Telecommunication Research Institute International 移動ロボットおよび移動速度推定方法
CN102169348A (zh) * 2011-01-22 2011-08-31 浙江大学 用视线控制服务机器人的方法
CN102955563A (zh) * 2011-08-25 2013-03-06 鸿富锦精密工业(深圳)有限公司 机器人控制系统及方法
CN103049007A (zh) * 2012-12-29 2013-04-17 安科智慧城市技术(中国)有限公司 一种基于操控员头部动作操控移动平台的系统和方法
CN203092551U (zh) * 2013-03-15 2013-07-31 西北师范大学 一种基于Kinect和FPGA的家庭服务机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZBHROBOT: "《安娜智能服务机器人与迎宾导览机器人》", 《百度文库》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104977934A (zh) * 2015-07-09 2015-10-14 深圳中科智酷机器人科技有限公司 一种机器人系统及基于机器人系统的人体探测和跟踪方法
CN104977934B (zh) * 2015-07-09 2018-07-17 夏鹏 一种机器人系统及基于机器人系统的人体探测和跟踪方法
CN105425806A (zh) * 2015-12-25 2016-03-23 深圳先进技术研究院 移动机器人的人体探测与跟踪方法及装置
CN105643590A (zh) * 2016-03-31 2016-06-08 河北工业大学 一种手势控制的轮式移动机器人及其操作方法
CN107639624A (zh) * 2016-07-20 2018-01-30 腾讯科技(深圳)有限公司 一种可调节机构和智能机器人
CN106238909A (zh) * 2016-08-24 2016-12-21 慈溪市附海舟晗电器厂 一种多功能激光剥线机系统
CN106982499A (zh) * 2017-03-10 2017-07-25 北京工业大学 一种基于多点光源的体感智能照明系统和方法
CN107984477A (zh) * 2017-11-28 2018-05-04 宁波高新区锦众信息科技有限公司 一种用于监测人体位置的智能导览系统及控制方法
US20220063096A1 (en) * 2019-01-03 2022-03-03 Samsung Electronics Co., Ltd. Mobile robot and driving method thereof
US11801602B2 (en) * 2019-01-03 2023-10-31 Samsung Electronics Co., Ltd. Mobile robot and driving method thereof
CN113052065A (zh) * 2021-03-23 2021-06-29 苏州银翼智能科技有限公司 显示屏角度的调整方法和装置、存储介质、电子装置

Similar Documents

Publication Publication Date Title
CN104102220A (zh) 用于监测人体位置的导览机器人及其控制方法
KR102032070B1 (ko) 깊이 맵 샘플링을 위한 시스템 및 방법
US11407116B2 (en) Robot and operation method therefor
CN110216674B (zh) 一种冗余自由度机械臂视觉伺服避障系统
WO2019128070A1 (zh) 目标跟踪方法及装置、移动设备及存储介质
CN105242533B (zh) 一种融合多信息的变导纳遥操作控制方法
CN104049634A (zh) 基于Camshift算法的智能体模糊动态避障方法
CN110825076B (zh) 基于视线和力反馈的移动机器人编队导航半自主控制方法
CN205139699U (zh) 机器人避障系统
CN109120883B (zh) 基于远近景的视频监控方法、装置及计算机可读存储介质
CN103398702A (zh) 一种移动机器人远程操控装置及其操控技术
US10042366B2 (en) Control method and system for adjusting relative position of mobile household device with respect to human
WO2017166767A1 (zh) 一种信息处理方法和移动装置、计算机存储介质
CN105425806A (zh) 移动机器人的人体探测与跟踪方法及装置
CN106863324A (zh) 一种基于视觉的服务机器人平台
CN110480644A (zh) 一种基于uwb定位的猪场巡检机器人
CN106293042B (zh) 一种信息处理方法及电子设备
CN104456474A (zh) 智能追光机器及其追光系统
CN103862476B (zh) 一种六自由度机械手的位置逆解方法
US20220350342A1 (en) Moving target following method, robot and computer-readable storage medium
CN203480308U (zh) 一种自主轮式移动机器人控制系统
Doisy et al. Spatially unconstrained, gesture-based human-robot interaction
CN103365292A (zh) 基于视觉识别和多传感器数据融合的捡球方法
CN107756406A (zh) 一种排爆机器人控制系统
CN107168058B (zh) 一种基于合作控制机制的机器人滚动优化控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141015