CN109145697A - 一种语音召唤智能居家康护机器人的方法 - Google Patents

一种语音召唤智能居家康护机器人的方法 Download PDF

Info

Publication number
CN109145697A
CN109145697A CN201710678164.3A CN201710678164A CN109145697A CN 109145697 A CN109145697 A CN 109145697A CN 201710678164 A CN201710678164 A CN 201710678164A CN 109145697 A CN109145697 A CN 109145697A
Authority
CN
China
Prior art keywords
robot
navigation
camera
human body
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710678164.3A
Other languages
English (en)
Inventor
罗哲
李旺
邓辉峰
康博
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Super Robot Technology Co Ltd
Original Assignee
Hunan Super Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Super Robot Technology Co Ltd filed Critical Hunan Super Robot Technology Co Ltd
Priority to CN201710678164.3A priority Critical patent/CN109145697A/zh
Publication of CN109145697A publication Critical patent/CN109145697A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • B25J11/009Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/24Speech recognition using non-acoustical features
    • G10L15/25Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Nursing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种语音召唤智能家居康护机器人的方法,在机器人上体安装RGB‑D相机及头部安装多个语音传感器;获取RGB‑D相机深度图像和彩色图像;识别RGB‑D相机深度图像和彩色图像中是否有人体轮廓;获得人体轮廓中心位置相对于RGB‑D相机的位置关系;计算出人体轮廓中心在map坐标系中的位置;发布所述人体轮廓中心在map坐标系中的位置到机器人导航模块,导航模块判断该位置是否有效,若有效则导航到该点,并在导航的过程中寻找一条最优路径去导航点,并在机器人到达导航点的时候退出语音传感器召唤状态;若无效则判定导航失败,重新进行语音传感器召唤。本发明无需借助第三方设备进行召唤,操作和携带方便;能准确地把机器人召唤到用户面前,定位精度高。

Description

一种语音召唤智能居家康护机器人的方法
技术领域
本发明涉及机器视觉领域,特别是一种语音召唤智能家居康护机器人的方法。
背景技术
现有的机器人召唤系统大多是借助第三方设备对人进行定位,例如手机、手环、智能手表等,这不仅携带不便,且不能对人进行精确定位,且误差较大,从而导致机器人不能准确的移动召唤人的面前进行人机交互。只能在室外进行定位,在室内没有信号,要想能在室内进行定位,必须购买价格昂贵的定位设备,且定位精度也不高。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提供一种语音召唤智能家居康护机器人的方法。
为解决上述技术问题,本发明所采用的技术方案是:一种语音召唤智能家居康护机器人的方法,包括以下步骤:
1)在机器人上体安装RGB-D相机及头部安装多个语音传感器;
2)获取RGB-D相机正前方视野范围内的深度图像和彩色图像;
3)识别RGB-D相机深度图像和彩色图像是否有人体轮廓;若有,进入步骤 3);否则,结束;
4)获得人体轮廓中心位置相对于RGB-D相机的位置关系;
5)计算人体轮廓中心在map坐标系中的位置,所述map为机器人导航所构建的地图;
6)发布所述人体轮廓中心在map坐标系中的位置到机器人导航模块,导航模块对该位置进行判断,判断该位置是否有效,若有效则导航到该点,并在导航的过程中寻找一条最优路径去导航点,并在机器人到达导航点的时候退出语音传感器召唤状态;若无效则判定导航失败,返回步骤2),重新进行语音传感器召唤。
所述语音传感器数量为16个,该16个语音传感器均匀安装在机器人头部,且16个语音传感器的中点均在圆形的周边上,相邻两个语音传感器的中心点到圆心连线的夹角为22.5°。
步骤2)中,若检测到RGB-D相机深度图像和彩色图像中有骨骼数据,则认为所述RGB-D相机深度图像和彩色图像中有人体轮廓。
利用骨骼识别库nite提供的UserTracker进行骨骼数据检测和识别。
计算人体轮廓中心到map坐标系中的位置的公式为:
其中为人体轮廓中心在相机坐标中的位置,为旋转矩阵,R00,R01,...,R22为旋转矩阵的内部参数(相机坐标系到Map坐标系的变换分为相机坐标到机器人坐标变换,机器人坐标到map坐标变换两个部分,其中相机坐标到机器人坐标变换旋转平移参数可以根据相机安装在机器人的上位置直接获取,是固定的。机器人坐标到map坐标变换旋转平移参数可以通过机器人马盘实时获取,是时刻变化的,再把这两部分参数合起来就可以得到相机到map旋转平移参数);为平移矩阵,TX,TY,TZ分别为x,y,z方向的相机坐标系到map坐标系的平移值,为人在map坐标系中的位置。
步骤6)中,导航模块对该位置进行判断,判断该位置是否有效的方法为:先对导航的场景进行建图,对每个场景建好的图进行封闭,当要导航的位置在该封闭范围内,则判定该位置有效,若不在该封闭范围内,则判定为无效。
与现有技术相比,本发明所具有的有益效果为:本发明无需借助第三方设备进行召唤,操作和携带方便;能准确地把机器人召唤到用户面前,定位精度高;在室内和室外均可进行召唤操作,使用范围广。
附图说明
图1为本发明视觉检测流程图;
图2为本发明方法流程图。
具体实施方式
本发明提出了一种基于RGB-D相机的机器人语音智能召唤系统,其过程是召唤人通过特定词汇唤醒机器人,这时机器人上的头部的传感器会获得一个召唤人相对于机器人的角度信息,在获得角度信息后,机器人会旋转到正对着召唤人的方向,开始视觉检测召唤人的算法,获得召唤人的位置信息,然后控制机器人导航到召唤人的位置,完成召唤。整个系统共分为以下几个模块:语音模块、视觉模块,导航模块及控制模块。语音模块主要是通过装在机器人头部的六麦传感器,可以远距离的识别特定词汇,例如“小安、小安”,可以唤醒语音麦克并对声源进行方向定位,获得声源相对于机器人正面的角度信息,其误差在5-20度以内;视觉模块主要是通过RGB-D首先对召唤人进行识别,计算出人在图像中的位置,结合RGB-D相机提供的深度信息从而计算出人相对于相机的准备位置,再转换为导航人在map(地图)位置。导航模块具有两个功能:1.对召唤场景进行绘制地图(map);2.根据视觉模块提供的位置是机器人导航到该点。控制模块主要是控制机器人召唤的整个流程。
语音模块是用来识别召唤词并获得召唤人相对于机器人的角度,在获得角度后会通过串口发送给控制模块;视觉模块主要是对人的识别,当只要识别到人,就会计算人的位置,并在指定的ros的topic(话题)发布出位置;导航模块主要是实现机器人对点的导航,当导航模块接受到一个位置时,首先会判断该点是否有效,如有效导航到该点,如无效取消导航;控制模块主要是对各个模块的数据进行处理,并控制机器人做相应的工作。例如在召唤过程中,控制模块会一直来监测语音模块是否发角度过来,一旦监测到有角度信息,就会控制机器人旋转到该角度,然后在指定的topic上订阅视觉模块发布的人位置信息,当订阅到人的位置消息,就会把位置发送给导航模块,导航模块接受的位置就会导航到该点,完成召唤。
语音模块:安装在机器人头部的六麦传感器,识别召唤词并获取召唤人相对于机器人的角度信息,六麦传感器工作原理为:将六麦传感器的声音分为六个区域,每个区域为60度,当有声音来时,先判断是在这六个区域的某个区域,然后在这个区域根据声音的来源进一步判断声音的来源方向。设置有16语音识别传感器,相邻两个之间的角度为22.5度,正下方的语音传感器的位置为0度,然后每个传感器的角度位置以22.5度递增,当逆时针旋转的正下方的声音传感器的位置刚好为360度。因此六麦传感器能够识别来之16个不同方向的声音,其误差在12度以内。
视觉模块:订阅RGB-D相机的深度图像和彩色图像,利用彩色图像来检测图像中是否有人,若有人计算出人的中心在图像中的位置,再订阅该位置的深度信息,再结合相机模型计算出人的中心在相机坐标系中的位置,再结合导航发布的相机到Map坐标系的转换关系,把相机坐标系中人的位置转换为在Map中的位置,在通过ROS消息发布出去。
视觉模块主要是实现对人的识别,并获取人的位置信息:
首先获取RGB-D相机深度和彩色图像序列,然后通过人体骨骼识别技术来实现对人的检测并获得人相机坐标系的位置,将获得的位置通过一系列的坐标转换将人在相机坐标系位置转换到导航模块能识别的map坐标系位置,并将位置信息通过ROS消息发布出去,其具体实现过程如下:
(1)订阅RGB-D相机深度和彩色图像:现今的RGB-D深度相机生产商都会发布 ROS驱动包,在用ROS包驱动深度相机,会获得关于深度图像和彩色图像topic (话题),要想获取深度和彩色图像数据,只需要订阅这项topic,例如: /camera/rgb/image_rec_color(彩色图像),/camera/depth/image_image_rect(深度信息)。在订阅彩色和深度图像数据是,需要注意是由于RGB-D相机发布的消息不是同步的,所以必须对topic的时间戳进行分析,进行同步。
(2)检测图像中是否有人:主要是用nite(骨骼识别)库提供的UserTracker,这个可以对人的骨架进行进行识别和跟踪,最多同时可以对六个人进行跟踪,且对不同的人都会有不同的ID(标签),方便管理和对数据的处理,当识别到图像中有骨骼数据,则认为在图像中检测到有人出现。
(3)获得人体轮廓中心位置相对于RGB-D相机的位置关系:由于nite库可以检测出人体20个骨骼点的数据,取位置相对在人体中的骨骼点作为人体的中心,然后读取这个骨骼点数据,既可以获得人体轮廓中心在相机坐标系中的位置。
(4)计算人体轮廓中心在map坐标系中位置:要想通过导航让机器人到目标点,其目标点必须为map坐标系下的位置,其中map是机器人导航时所构建的地图。要把相机坐标系中的一个点转化为map坐标系的中一个点,必须要知道相机坐标系到map坐标系转换关系,而相机坐标系到map坐标系转换关系不能直接得到,要先得到相机坐标系到机器人坐标系转换关系,再得到机器人坐标到map坐标系到转换关系。其中相机坐标系和机器人坐标系是可以根据相机安装在机器人上位置可以直接得到的,是固定不变的。而机器人坐标系和map坐标系的转换关系,是时刻在变化的,需要同读取机器人码盘数据获得,通过这两个步骤可以获得相机坐标系到map坐标系的转换关系。假设Pc(XC,YC,ZC)为相机坐标的一点,R和T 为相机坐标系到map坐标系旋转矩阵和平移矩阵,则可以得到Pc转换到map坐标系的一个点M(X,Y,Z):
其中为人在相机坐标中的位置,为旋转矩阵,R00,R01,...,R22位旋转矩阵的内部参数,平移矩阵,TX,TY,TZ分别为x,y,z方向的平移值,为人在map坐标系中的位置。
(5)发布位置消息:利用ros发布消息的机制,发布位置信息到指定的topic,方便主控模块在该topic上订阅位置消息。
导航模块根据视觉模块计算出的人在map中的位置,对该位置进行判断,判断该位置是否有效,若有效则导航到该点,并在导航的过程中能够实时避障,寻找一条最优路径去导航点,若无效侧判定导航失败。
控制模块,控制机器人召唤的整个流程,其具体流程如下:首先判定是否有人召唤,若有人召唤,获取召唤人角度信息,并控制机器人旋转到该角度,如果召唤人发现该角度不对可以重新召唤。在机器人调整角度后,开始检测机器人正前方的召唤人,若检测到人,将位置发送给导航,没有则语音提醒召唤人换个位置重新召唤。在导航接收数据后,会对位置进行判断,判断无效语音播报“你在的位置我去不了”,判断有效则语音播报“我这就过来了”,当机器人导航到该位置后,退出召唤状态。

Claims (6)

1.一种语音召唤智能家居康护机器人的方法,其特征在于,包括以下步骤:
1)在机器人上体安装RGB-D相机及头部安装多个语音传感器;
2)获取RGB-D相机正前方视野范围内的深度图像和彩色图像;
3)识别RGB-D相机深度图像和彩色图像中是否有人体轮廓;若有,进入步骤4);否则,结束;
4)获得人体轮廓中心位置相对于RGB-D相机的位置关系;
5)计算人体轮廓中心在map坐标系中的位置,所述map为机器人导航所构建的地图;
6)发布所述人体轮廓中心在map坐标系中的位置到机器人导航模块,导航模块对该位置进行判断,判断该位置是否有效,若有效则导航到该点,并在导航的过程中寻找一条最优路径去导航点,并在机器人到达导航点的时候退出语音传感器召唤状态;若无效则判定导航失败,返回步骤2),重新进行语音传感器召唤。
2.根据权利要求1所述的语音召唤智能家居康护机器人的方法,其特征在于,所述语音传感器数量为16个,该16个语音传感器均匀安装在机器人头部,且16个语音传感器的中点均在圆形的周边上,相邻两个语音传感器的中心点到圆心连线的夹角为22.5°。
3.根据权利要求1所述的语音召唤智能家居康护机器人的方法,其特征在于,步骤2)中,若检测到RGB-D相机深度图像和彩色图像中有骨骼数据,则认为所述RGB-D相机深度图像和彩色图像中有人体轮廓。
4.根据权利要求3所述的语音召唤智能家居康护机器人的方法,其特征在于,利用骨骼识别库nite提供的UserTracker进行骨骼数据检测和识别。
5.根据权利要求1所述的语音召唤智能家居康护机器人的方法,其特征在于,计算人体轮廓中心到map坐标系中的位置的公式为:
其中为人体轮廓中心在相机坐标中的位置,为旋转矩阵,R00,R01,...,R22为旋转矩阵的内部参数;为平移矩阵,
TX,TY,TZ分别为x,y,z方向的相机坐标系到map坐标系的平移值,为人在map坐标系中的位置。
6.根据权利要求1所述的语音召唤智能家居康护机器人的方法,其特征在于,步骤6)中,导航模块对该位置进行判断,判断该位置是否有效的方法为:先对导航的场景进行建图,对每个场景建好的图进行封闭,当要导航的位置在该封闭范围内,则判定该位置有效,若不在该封闭范围内,则判定为无效。
CN201710678164.3A 2017-08-10 2017-08-10 一种语音召唤智能居家康护机器人的方法 Pending CN109145697A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710678164.3A CN109145697A (zh) 2017-08-10 2017-08-10 一种语音召唤智能居家康护机器人的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710678164.3A CN109145697A (zh) 2017-08-10 2017-08-10 一种语音召唤智能居家康护机器人的方法

Publications (1)

Publication Number Publication Date
CN109145697A true CN109145697A (zh) 2019-01-04

Family

ID=64803250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710678164.3A Pending CN109145697A (zh) 2017-08-10 2017-08-10 一种语音召唤智能居家康护机器人的方法

Country Status (1)

Country Link
CN (1) CN109145697A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032156A (zh) * 2019-04-19 2019-07-19 维沃移动通信有限公司 家居设备的控制和调整方法、终端及家居设备
CN111055288A (zh) * 2020-01-14 2020-04-24 弗徕威智能机器人科技(上海)有限公司 一种随叫随到的机器人控制方法、存储介质及机器人
CN111857114A (zh) * 2019-04-17 2020-10-30 顺丰科技有限公司 一种机器人编队移动方法、系统、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104833360A (zh) * 2014-02-08 2015-08-12 无锡维森智能传感技术有限公司 一种二维坐标到三维坐标的转换方法
CN105785989A (zh) * 2016-02-24 2016-07-20 中国科学院自动化研究所 利用行进中机器人标定分布式网络摄像机的系统和相关方法
CN105930795A (zh) * 2016-04-20 2016-09-07 东北大学 一种基于人体骨骼关节点间空间向量的行走状态识别方法
WO2016204740A1 (en) * 2015-06-17 2016-12-22 United Technologies Corporation System and method for processing captured images
CN106548231A (zh) * 2016-11-24 2017-03-29 北京地平线机器人技术研发有限公司 移动控制装置、可移动机器人和移动到最佳交互点的方法
CN106584472A (zh) * 2016-11-30 2017-04-26 北京贝虎机器人技术有限公司 用于控制自主移动式设备的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104833360A (zh) * 2014-02-08 2015-08-12 无锡维森智能传感技术有限公司 一种二维坐标到三维坐标的转换方法
WO2016204740A1 (en) * 2015-06-17 2016-12-22 United Technologies Corporation System and method for processing captured images
CN105785989A (zh) * 2016-02-24 2016-07-20 中国科学院自动化研究所 利用行进中机器人标定分布式网络摄像机的系统和相关方法
CN105930795A (zh) * 2016-04-20 2016-09-07 东北大学 一种基于人体骨骼关节点间空间向量的行走状态识别方法
CN106548231A (zh) * 2016-11-24 2017-03-29 北京地平线机器人技术研发有限公司 移动控制装置、可移动机器人和移动到最佳交互点的方法
CN106584472A (zh) * 2016-11-30 2017-04-26 北京贝虎机器人技术有限公司 用于控制自主移动式设备的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857114A (zh) * 2019-04-17 2020-10-30 顺丰科技有限公司 一种机器人编队移动方法、系统、设备和存储介质
CN110032156A (zh) * 2019-04-19 2019-07-19 维沃移动通信有限公司 家居设备的控制和调整方法、终端及家居设备
CN111055288A (zh) * 2020-01-14 2020-04-24 弗徕威智能机器人科技(上海)有限公司 一种随叫随到的机器人控制方法、存储介质及机器人
CN111055288B (zh) * 2020-01-14 2021-04-13 弗徕威智能机器人科技(上海)有限公司 一种随叫随到的机器人控制方法、存储介质及机器人

Similar Documents

Publication Publication Date Title
US6967455B2 (en) Robot audiovisual system
US9517559B2 (en) Robot control system, robot control method and output control method
CN100369487C (zh) 物体检测装置、物体检测服务器以及物体检测方法
WO2017133453A1 (zh) 一种运动人体跟踪方法和系统
KR100790860B1 (ko) 사람 추적 장치 및 방법, 그 방법을 수행하기 위한프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형전자기기
CN109145697A (zh) 一种语音召唤智能居家康护机器人的方法
CN109571499A (zh) 一种智能导航引领机器人及其实现方法
US20030055532A1 (en) Autonomous action robot
US20010019620A1 (en) Face recognition apparatus
JP2000352761A (ja) 映像投射装置及び方法並びに映像投射制御装置
CN109318243A (zh) 一种视觉机器人的声源跟踪系统、方法和清洁机器人
CN110045823A (zh) 一种基于动作捕捉的动作指导方法和装置
TW201423295A (zh) 電子裝置及其導航方法
JP6588413B2 (ja) 監視装置および監視方法
JP2007221300A (ja) ロボット及びロボットの制御方法
CN102857695A (zh) 单摄像头人脸自动跟踪系统及其工作方法
CN106695849A (zh) 迎宾安保服务机器人感知、控制及执行系统
CN111367320A (zh) 一种室内移动机器人的管理方法及管理系统
JP2007098555A (ja) 位置指示方法とこの方法を実現するための指示装置及びプログラム
CN105759650A (zh) 一种用于智能机器人系统实时跟踪人脸的方法
CN107390175A (zh) 一种以机器人为载体的声源定位导航装置
CN111596776B (zh) 电子白板书写笔及其教学系统
CN108919328A (zh) 一种室内外无缝定位系统及定位方法
EP1862813A1 (en) A method for estimating the position of a sound source for online calibration of auditory cue to location transformations
CN201899668U (zh) 一种智能手机导盲器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104

RJ01 Rejection of invention patent application after publication