CN110368275A - 一种导盲机器人及导盲系统、导盲方法 - Google Patents

一种导盲机器人及导盲系统、导盲方法 Download PDF

Info

Publication number
CN110368275A
CN110368275A CN201910737930.8A CN201910737930A CN110368275A CN 110368275 A CN110368275 A CN 110368275A CN 201910737930 A CN201910737930 A CN 201910737930A CN 110368275 A CN110368275 A CN 110368275A
Authority
CN
China
Prior art keywords
blind
guidance robot
image
control module
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910737930.8A
Other languages
English (en)
Inventor
伍冯洁
詹逸
郑振勤
杜俊杰
邓柏锋
屈建人
朱国柱
黄成浩
陈江涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN201910737930.8A priority Critical patent/CN110368275A/zh
Publication of CN110368275A publication Critical patent/CN110368275A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/026—Acoustical sensing devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Acoustics & Sound (AREA)
  • Rehabilitation Therapy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种导盲机器人及导盲系统、导盲方法。所述导盲机器人包括承载移动部分和牵引部分；所述导盲机器人承载移动部分安装有控制模块、与控制模块相连的超声波避障模块，所述超声波避障模块包括舵机和超声波扫描仪，在所述导盲机器人前进时，扫描前方障碍物，并判断距离是否低于预设的阈值，低于阈值时控制模块控制舵机转动一定角度并再次扫描判断距离，直至转动的角度对应的距离为安全距离为止，将安全距离对应的转动角度反馈给控制模块，控制模块控制导盲机器人转弯行驶。本发明可主动监测盲人前方障碍物，实时测距和调整角度以检测障碍物并引导盲人，机械结构简单高效。同时可通过设置多套舵机和超声波扫描仪，提升检测精度。

Description

一种导盲机器人及导盲系统、导盲方法
技术领域
本发明涉及机器人导盲技术领域，特别涉及一种导盲机器人及导盲系统、导盲方法。
背景技术
我国目前有上千万盲人，数量居世界第一，是残疾人中不可忽视的一大群体。因为生理上的缺陷，给盲人生活带来了巨大不便，目前为盲人提供最大帮助的主要是人工服务与导盲犬，随着机器人技术的兴起和发展，在市场上也陆续出现了导盲犬式机器人、穿戴式导盲设备、导盲手杖等导盲辅助设备。
目前，市场上的导盲设备中导盲杖的数量居多。电子导盲杖上的传感器可以检测周围是否存在障碍物，盲人使用导盲杖可以在一定程度上探测盲人前方路况。但是导盲杖的检测障碍物能力有限，导盲距离局限于导盲杖的长度范围内或适当延长的范围内探测，在盲人行走时只预判小范围内的路况的导盲方式属于被动导盲方式，并不能主动引导盲人行动。
市场上出现有导盲眼镜，导盲背心，导盲头盔等穿戴式导盲设备。这些导盲设备上装有距离传感器和摄像头，可以检测盲人前方的障碍物。不过穿戴式的导盲设备也同样存在着功能单一，检测障碍物的范围、方位等的局限性较大，容易造成无法向盲人提供足够准确的信息。目前也存在分别对盲人行走路上的路线、障碍物、交通灯等的识别方法，但均未考虑到便携性对导盲设备的限制，巨大的计算量往往需要大型的设备方可支持，因此识别方法越复杂、计算量越大，在设备的限制下反而会降低计算速度和精度。
另外，盲人由于生理缺陷的特殊性，当导盲设备倾覆歪斜时难以如常人一样及时校正、寻求他人帮助也较为困难(看不见可以寻求帮助的人)，同时导盲设备携带的传感器、摄像头等电子元器件也对导盲设备的稳定运行提出了要求，因此需要导盲设备本身具有良好的减震效果；同时，盲人在现实的行走过程中无法实现同常人一样，在遇见熟人的情况下正常社交，目前的导盲设备未能更人性化地实现导盲。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种导盲机器人及导盲系统、导盲方法，此机器人、系统及方法可实现主动监测盲人前方障碍物，实时测距和调整角度以检测障碍物并引导盲人，机械结构简单高效。
本发明的目的通过以下的技术方案实现：
一种导盲机器人，包括承载移动部分和牵引部分；所述牵引部分包括牵引手柄，手柄一端固定于承载移动部分，盲人握住牵引手柄即可跟着导盲机器人移动；
所述导盲机器人承载移动部分安装有控制模块、与控制模块相连的超声波避障模块，所述超声波避障模块包括舵机和超声波扫描仪，所述舵机和超声波扫描仪在控制模块的控制下，用于扫描判断与障碍物的距离，在所述导盲机器人前进时，扫描前方障碍物，并判断距离是否低于预设的阈值，低于阈值时控制模块控制舵机转动一定角度并再次扫描判断距离，直至转动的角度对应的距离为安全距离(即不会碰到障碍物的距离)为止，将安全距离对应的转动角度反馈给控制模块，控制模块控制导盲机器人转弯行驶。
优选的，所述超声波避障模块至少包括两套舵机和超声波扫描仪，对称安装于承载移动部分，通过相互校正避免因转弯角度不精确而碰到障碍物。
优选的，所述导盲系统还包括红外避障模块，安装于下层板，连接控制模块，用以判断高度较低的障碍物进行紧急避障。
优选的，所述承载移动部分还包括底盘架构和减震结构；
所述底盘架构包括上层板、下层板、减震柱，减震柱连接上层板和下层板，使得上下层板间形成一个空间，实际导盲过程中，将导盲机器人的各类电子元器件固定于该空间中，保护元器件不受行走过程中的震动而损坏、掉落；
所述减震结构包括车轮、弹簧减震器、电机，弹簧减震器一端与电机相对固定、另一端与底盘架构相对固定，电机与底盘架构相对固定，电机连接并驱动车轮转动，进而使导盲机器人移动，通过弹簧减震器将行走时变动的力转化为弹簧的伸缩，保证小车车身的平稳，减少震动，使得安装在底盘架构上的元器件抖动减小，不易损坏。
优选的，所述导盲机器人包括四个车轮、四个电机、四个弹簧减震器，配套设置在底盘架构的四周，使得减震结构与底盘架构形成一个平稳的承载移动部分。
优选的，所述牵引手柄上安装有摄像头架，可安装摄像头并获取盲人行走时的视野图像。
更进一步的，所述牵引手柄为可伸缩、折叠的结构，盲人可以根据自己的身高调整牵引手柄的长度和角度，达到自己舒适的位置，折叠的结构可减少占用空间，方便储存和携带。
一种导盲系统，包括报警模块和上述导盲机器人；所述报警模块具体包括触发单元、存储单元、获取单元、执行单元，所述触发单元为牵引手柄上设置的按钮；存储单元存储有号码；获取单元用于获取系统定位；执行单元接收触发单元信息并生成带有定位的短信发送给所述存储的号码。可根据需要存储家属号码或报警电话等。
优选的，所述导盲系统还包括蓝牙通信模块及APP；
所述蓝牙通信模块与控制模块连接，所述APP安装于智能手机上并获取手机地图软件的地理编码、手机语音识别信息，待语音识别与地理编码匹配后将导航信息通过无线传输至蓝牙通信模块，并进一步传输至控制模块。
一种导盲方法，包括如下步骤：
获取盲人行走方向前方的道路图像；
将图像的RGB颜色模型转为HSV颜色模型，HSV颜色空间更加倾向于人类视觉的直观效果，使用HSV更便于分离出人眼可分辨的特征，其中模型中颜色的参数分别是：色调(H)，饱和度(S)，亮度(V)；
基于HSV颜色模型对图像进行盲道与其他区域颜色分割并分类；
设定盲道颜色分割阈值，根据盲道和普通道路的色差，提取阈值范围内的部分为盲道；
根据阈值范围提取的图像为大致的识别图，图中通常还会因树木、房屋等造成的面积较小的点状噪声，运用中值滤波去除图像噪声，将数字图像或数字序列中的一点的值用该点的邻域中各点值的中值代替；
基于区域生长算法，识别图像中像素面积较大的区域为盲道；
向盲人发送方向提示，完成导盲。
优选的，所述经过中值滤波后的图像，由于图像中可能盲道区域颜色不纯，或者由于摄像头本身限制产生部分的马赛克像素，在盲道区域中还是有一些区域没有被分割出来，呈现孔洞状，为了将这些孔洞去除，将盲道变成一个完整的联通区域，对经过中值滤波后的图像进行先膨胀后腐蚀(即闭运算)处理。
优选的，所述导盲方法还包括红绿灯灯识别，包括步骤：
将图像转为HSV颜色模型后，
设置红绿灯颜色阈值，获取图像中红绿黄三变量面积占比；
取面积占比最大的颜色信号为识别结果。所述交通灯识别的方法计算量较小，对设备的计算性能要求低，更适应导盲过程中对设备便携性的要求。
优选的，所述导盲方法还包括行人识别，包括步骤：
获取视野图像，并将图像灰度化，输入图像往往是有三个颜色通道的图像，如RGB三通道，但由于在行人识别技术中，并不依靠颜色来辨别人脸信息，而是使用图像的梯度来进行相关的分析识别，因此，将彩色图像灰度化，可以将图像的三维信息降维，可以进一步降低运算量，提升计算速度；
提取灰度图像HOG特征，并根据HOG特征提取人脸区域；
提取人脸区域中的人脸特征点，由于人脸有不同的方向，为了消除角度的影响，需要提取出若干人脸数据点，使人脸的五官等特征都尽可能标准化，进一步提高脸部识别的准确率；
使用分类算法识别人脸。
更进一步的，所述提取灰度图像HOG特征，并根据HOG特征提取人脸区域的步骤为：
计算图像横纵坐标的梯度，并计算像素点的梯度幅值与梯度；
将图像划分为若干不重叠的单元，并计算各像素点在单元的幅值；
通过累加各单元中像素点梯度，计算各单元特征；
组合单元成区域块，并串联单元特征向量，得到该区域块的HOG特征，不同区域块之间可能相互重叠，可有效地利用局部邻域信息；
将HOG特征数据与模型数据进行对比，相似度最高的部分即为人脸区域。
所述提取人脸特征点的步骤为：
选取人脸普遍存在的若干个特征点(包括下巴的顶部、每只眼睛的外部轮廓、每条眉毛的内部轮廓等)；
利用ERT(基于回归树的人脸对齐)算法学习每个特征点的局部二值特征；
由于人脸有不同方向，为了消除角度的影响，需要提取出若干个人脸数据点，构建人脸数据模型，使得五官等特征都尽可能标准化，进一步提高脸部识别的准确率。使用基于回归树的人脸对齐算法(Ensemble of Regression Tress)：
Shape是理想预测形状，表示当前预测的形状，rt表示第t级回归器计算出来的更新量，I指输入的训练图像；
使用GBDT(梯度提升决策树)更新模型；
使用的人脸数据集中有N幅图像，起始的形状使用所有的数据集的平均形状，定义每一次训练后的形状与理想形状的损失函数为：
从而使一层层决策树慢慢最小化对损失函数求偏导，可得：
其中，i表示第i层决策树对应的形状数据,直至建立的树足够多，以最后的当前形状表示真实形状，GBDT建立完成；
获得面部特征图；
根据相对平行的基本图像变换(如旋转、缩放等初级变换)将特征值代表的五官居中，使得识别结果更准确。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明的导盲机器人可主动监测盲人前方障碍物，实时测距和调整角度以检测障碍物并引导盲人，机械结构简单高效。同时可通过设置多套舵机和超声波扫描仪，提升检测精度。
2、本发明导盲系统一键报警/求助的方式，提升安全出行体验。
3、本发明导盲方法简化识别步骤、精简识别数据的计算量，从而减轻导盲机器人、导盲设备的计算负担，在不降低计算速度和精度的前提下更好地适应便携要求下对设备小体积的要求。
附图说明
图1是本发明实施例1导盲机器人机械结构示意图；
图2是本发明实施例1导盲机器人机械结构俯视图；
图3是本发明实施例1导盲机器人部分机械结构正视图；
图4是本发明实施例2导盲系统总体框图；
图5是本发明实施例1超声波避障模块超声波时序图；
图6是本发明实施例3中人脸识别时的直方图；
图7是本发明实施例3中图像人脸区域及HOG特征图像对比图；
图8是本发明实施例3人脸识别的面部特征图；
图9是本发明实施例3中红绿灯识别结果示意图；
图10是本发明实施例3中将红绿灯图像转为HSV颜色模型后的面积占比示意图；
图11是本发明实施例3中盲道分割效果示意图；
图12是本发明实施例3中中值滤波去除图像噪声效果示意图；
图13是本发明实施例3中先膨胀后腐蚀处理效果示意图；
图14时本发明实施例3中区域生长后识别出的盲道效果示意图；
其中，5、6为红外避障模块安装位置；1、2、3、4为超声波避障模块安装位置；800—牵引部分；801—牵引手柄；802—摄像头架；900—承载移动部分；901—上层板；902—下层板；903—减震柱；904—车轮；905—弹簧减震器；906—电机。
具体实施方式
为了更好的理解本发明的技术方案，下面结合附图详细描述本发明提供的实施例，但本发明的实施方式不限于此。
实施例1
如图1所示，本实施例公开了一种导盲机器人，包括承载移动部分900和牵引部分800；所述牵引部分包括可伸缩、折叠的牵引手柄801，手柄一端固定于承载移动部分，盲人握住牵引手柄即可跟着导盲机器人移动；牵引手柄上安装有摄像头架802，安装摄像头并获取盲人行走时的视野图像。
所述导盲机器人承载移动部分安装有控制模块、与控制模块相连的四套超声波避障模块、红外避障模块，所述超声波避障模块包括舵机和超声波扫描仪，成对安装于承载移动部分的前方、两侧，如图2所示，在所述导盲机器人前进时，扫描前方障碍物，并判断距离是否低于预设的阈值，低于阈值时控制模块控制舵机转动一定角度并再次扫描判断距离，直至转动的角度对应的距离为安全距离(即不会碰到障碍物的距离)为止，将安全距离对应的转动角度反馈给控制模块，控制模块控制导盲机器人转弯行驶。所述红外避障模块安装于下层板，连接控制模块，用以判断高度较低的障碍物进行紧急避障。
控制模块选用STM32单片机。STM32为32位的单片机，主频为72M，运行速度远远高于AVR单片机，可以满足数据处理的速度要求。而且，STM32有多达11个定时器，13个通信接口，可以满足多个模块直接的通信。超声波避障模块、红外避障模块和舵机，三者通过GPIO口与单片机相连，这三个模块的地线与单片机的地线连接在一起(即四者共地)。对于超声波避障模块，采用IO口TRIG触发测距，给最少10us的高电平信号，此时模块自动发送8个40khz的方波，自动检测是否有信号返回，当有信号返回，通过IO口ECHO输出一个高电平，高电平持续的时间就是超声波从发射到返回的时间。测试距离＝(高电平时间*声速(340M/S))/2。超声波时序图如图6所示。
而对于红外避障模块来说，输出端口OUT直接与单片机IO口连接，连接方式：VCC-VCC；GND-GND；OUT-IO4、比较器采用LM393，工作稳定。当电源接通时，红色电源指示灯点亮,当模块检测到前方障碍物信号时，绿色指示灯被点亮，同时OUT端口持续输出低电平信号，单片机通过电平检测判断前方是否有障碍物。
在舵机方面，通过单片机PWM输出一个20ms左右的时基脉冲，舵机内部有一个基准电路，产生周期为20ms，宽度为1.5ms的基准信号，将获得的直流偏置电压与电位器的电压比较，获得电压差输出。通过电压差决定舵机所转动的角度，对应控制关系：0.5ms--0度，1.0ms--45度，1.5ms--90度，2.0ms--135度，2.5ms--180度。
所述承载移动部分还包括底盘架构和减震结构；
所述底盘架构包括上层板901、下层板902、减震柱903，减震柱连接上层板和下层板，使得上下层板间形成一个空间，实际导盲过程中，将导盲机器人的各类电子元器件固定于该空间中，保护元器件不受行走过程中的震动而损坏、掉落；
所述减震结构包括四个车轮904、四个弹簧减震器905、四个电机906，配套设置在底盘架构的四周，使得减震结构与底盘架构形成一个平稳的承载移动部分。弹簧减震器一端与电机相对固定、另一端与底盘架构相对固定，电机与底盘架构相对固定，电机连接并驱动车轮转动，进而使导盲机器人移动，通过弹簧减震器将行走时变动的力转化为弹簧的伸缩，保证小车车身的平稳，减少震动。
实施例2
一种导盲系统，包括报警模块和实施例1中的导盲机器人；所述报警模块具体包括触发单元、存储单元、获取单元、执行单元，所述触发单元为牵引手柄上设置的按钮；存储单元存储有号码；获取单元用于获取系统定位；执行单元接收触发单元信息并生成带有定位的短信发送给所述存储的号码。可根据需要存储家属号码或报警电话等。
所述导盲系统还包括蓝牙通信模块及APP；
所述蓝牙通信模块与控制模块连接，所述APP安装于智能手机上并获取手机地图软件的地理编码、手机语音识别信息，待语音识别与地理编码匹配后将导航信息通过无线传输至蓝牙通信模块，并进一步传输至控制模块。
其紧急报警和语音播报的功能具体由以下方式实现：
①紧急报警
首先，结合获取单元的GPRS，在导盲机器人的牵引手柄上面设置一个“紧急报警按钮”,按下去后即控制STM32407发送“ATD+家属手机号码”，即可拨打家属手机号码求助，随后电话自动挂断。紧接着通过短信发送经纬度到亲属手机中，短信中的信息为超链接，亲属在手机联网状态下点击后即可直接跳转至高德地图APP，就可以显示出导盲机器人使用者在高德地图上的具体位置。
其次，导盲机器人杆子上还设置一个蜂鸣器报警按钮，按下后即可控制STM32F407单片机控制蜂鸣器发出高分贝声音，以便附近的人听到后及时赶来帮助导盲机器人使用者。再次按下按钮后即可停止蜂鸣器声音。
②语音播报
另外，导盲系统增加语音播报模块实现语音播报功能。语音播报模块内置内存卡，内存卡存放具有相应编号的MP3文件(通过文字转换语音软件制作MP3文件)，可以通过单片机去控制播放对应编号的MP3文件。当手机APP导航结束时，即为到达目的地，会通过蓝牙回传一个信号给STM32F407单片机，单片机从而控制语音播报模块播报相应语音。导盲机器人还具备开始使用欢迎语句播报、导航语音等播报。结合语音播报模块可以实现发送信息功能。盲人到达目的地后，机器人向盲人家属或者朋友发送信息，告知他们盲人已经到达目的地。
其定位和导航功能具体由以下方式实现：
①语音识别功能
功能实现通过调用讯飞API，首先要登录讯飞开放平台网站，申请APPID，并且需在Android Studio中添加所需要的权限。通过语句mAsr.setParameter(SpeechConstant.ENGINE_TYPE,engineType)设置引擎类型，并且初始化相关资源。
其次，通过建立按键监听器让使用者触碰屏幕时启动语音识别，说话完成后则通过调用parseIatResult()方法中return ret.toString()得到识别的结果并且赋值给导航功能中的name变量，若回调接口onPoiSearched解析返回1000则地理编码成功，将会语音播报“识别成功”，若返回其他数字则为失败，会语音播报“识别失败”，提醒用户重新进行语音识别。
②定位功能
第一步：在上述项目中集成高德定位SDK，调用mMapView.onCreate(savedInstanceState)在activity执行onDestroy时执行mMapView.onDestroy()实现地图生命周期管理，调用AMap.setLocationSource(this)和AMap.setMylocationEnabled(true)来设置定位资源并显示定位图层。
第二步：通过调用mLocationOpton.setLocationMode(AMapLocationClientOption.AMapLocationMod e.Hight_Accuracy)设置为高精度定位模式。高精度定位模式会同时使用网络定位和GPS定位，优先返回最高精度的定位结果，以及对应的地址描述信息。
③导航功能
第一步：利用地理编码，GeocodeQuery query＝new GeocodeQuery(name,"010")，其中name为上述语音所识别的文字，010表示所查询到的城市，鉴于使用地区主要为广州，所以软件中设置为”020”,通过回调接口onGeocodeSearched解析返回的结果，结果为name中地址对应的经纬度，通过putExtra把经纬度信息传递到所需要的导航信息中。
第二步：结合定位出所在位置的经纬度和目的地的经纬度进行步行路线规划。使用WalkRouteOverlay画出步行路线图层，包括起终点和转弯点。发送请求和接收数据，使用类RouteSearch的calculateWalkRouteAsyn(WalkRouteQuery query)方法，得到路径的规划方案。返回的信息中可以获得路段的距离、步行的预计时间、步行路段的坐标点、步行路段的道路名称、导航主要操作等信息。
第三步：获取并通过蓝牙传输下一导航动作的名称和距下一导航动作的距离的信息到STM32F407芯片。
本实施例导盲系统的使用方法：
①导盲机器人在行走过程中，遇到障碍物时，可通过超声波与红外线等多种传感器实现避障功能；
②导盲机器人通上电与完成系统初始化后，使用者打开用户移动端导盲助手APP，APP即自动播报当前的天气情况，以提醒盲人出行前穿戴合适衣服，及携带必需的出行工具(例如雨伞、帽子等)；
③导盲助手APP通过语音输入所要到达的目的地，在接收到目的地地址后，通过调用第三方导航工具(例如高德、百度导航软件等)，自动生成与选择最优导航路径，并生成使用者实时位置的经纬度坐标值；
④导盲助手APP将从第三方导航工具获得的用户实时位置信息，通过蓝牙实时传输给导盲机器人，导盲机器人收到相关指令后自主地移动，引导盲人到达预定目的地。
实施例3
一种导盲方法，包括如下步骤：
1、基于盲道识别的导盲
S1.1、获取盲人行走方向前方的道路图像；
S1.2、将图像的RGB颜色模型转为HSV颜色模型，HSV颜色空间更加倾向于人类视觉的直观效果，使用HSV更便于分离出人眼可分辨的特征，其中模型中颜色的参数分别是：色调(H)，饱和度(S)，亮度(V)；
HSV颜色模型原理：
HSV颜色空间更加倾向于人类视觉的直观效果，使用HSV更便于分离出人眼可分辨的特征。先将识别图像转为HSV，公式如下：
if H＜0thenH＝H+360
我们希望使用人类视觉效果的角度去辨别盲道以及红绿灯，因此希望先将RGB模型转换为HSV颜色模型，会便于我们进行颜色分割。
S1.3、基于HSV颜色模型对图像进行盲道与其他区域颜色分割并分类；
基于HSV模型的颜色分割本质上为阈值分割，通过确定H、S、V三个分量的范围来判断某个像素为什么颜色。H为该点像素的H分量，S为该点像素S分量,V为该点像素V分量。
Hmin＜IH＜Hmax，Smin＜IS＜Smax，Vmin＜IV＜Vmax，IH、IS、IV本分别表示图像I中各像素点的H分量、S分量、V分量；本实施例中的交通灯状态识别、盲道识别都适用HSV模型颜色分割的方法进行分类、识别；
S1.4、设定盲道颜色分割阈值，本例使用(30,60,60)作为HSV下限,(60,255,255)作为HSV上限，可以很好配合使用的摄像头分割出盲道区域，根据盲道和普通道路的色差，提取阈值范围内的部分为盲道；根据盲道和普通道路的色差，提取阈值范围内的部分为盲道；
S1.5、根据阈值范围提取的图像为大致的识别图，图中通常还会因树木、房屋等造成的面积较小的点状噪声，运用中值滤波去除图像噪声，将数字图像或数字序列中的一点的值用该点的邻域中各点值的中值代替，g(x,y)＝Med{f(x-k,y-l)}k,l∈W，其中，f(x,y)，g(x,y)分别为原始图像像素点和处理后图像像素点，x、y为像素点坐标，k、l代表二维模板W中的像素，二维模板通常为3*3、5*5像素区域；
S1.6、由于经过中值滤波后的图像中可能盲道区域颜色不纯，或者由于摄像头本身限制产生部分的马赛克像素，在盲道区域中还是有一些区域没有被分割出来，呈现孔洞状，为了将这些孔洞去除，将盲道变成一个完整的联通区域，对经过中值滤波后的图像进行先膨胀后腐蚀(即闭运算)处理；
膨胀的数学公式可以写为：
腐蚀的数学公式可以写为
其中A是代操作的图像，B是结构元素(通常为九宫格、十六宫格等)b是图像B的元素的像素。
S1.7、基于区域生长算法，识别图像中像素面积较大的区域为盲道；
S1.8、向盲人发送方向提示，完成导盲；
所述识别图像中像素面积较大的区域为盲道的具体步骤为：
S1.7.1、随机选择盲道种子像素点c(x,y)；
S1.7.2、以选取的种子点为遍历起点，递归遍历邻域像素点；
S1.7.3、根据邻域像素点N(x′,y′)灰度值与中心值的差值判定中心点，本实施例中，判定邻域像素点灰度值与中心值的差绝对值是否在20以内；
S1.7.4、如果过程S1.7.3判定为真，则设此邻域像素点为新的中心点，进入步骤2，如果为假，则检测下一个邻域。
S1.7.5将所有被判定为中心点的像素点归为一类，完成区域生长。
2、红绿灯识别
S2.1将图像转为HSV颜色模型后，设置红绿灯颜色阈值，我们使用一个共有1187张图片的数据集来进行阈值提取，其中，723张红色交通灯图片，429张绿色交通灯图片，35张黄色交通灯图片。计算数据集中的HSV三个分量的平均值作为颜色分割的阈值，即可完成训练。此例中使用红色阈值为：[150,S,140],[180,255,255],绿色阈值为[70,S,140],[100,255,255]，黄色阈值为[10,S,140],[60,255,255]，其中S为输入图像中的亮度平均值*1.3；获取图像中红绿黄三变量面积占比；
S2.2取面积占比最大的颜色信号为识别结果。所述交通灯识别的方法计算量较小，对设备的计算性能要求低，更适应导盲过程中对设备便携性的要求。
结合本实施例的导盲方法，导盲系统的使用方法为：
⑤导盲机器人在行走过程中，自动识别盲道，并牵引盲人沿着盲道行走；
⑥导盲机器人在行走过程中，自动识别出行标识信息(如红绿灯)，并语言提示，可以帮助盲人掌握目前所处的环境及获取更多的外界信息(如检测到红灯，将提示盲人原地等待；如检测到绿灯，将提示盲人在斑马线上通过；如检测到路牌，将提示盲人目前所处的具体位置等)；
⑦导盲机器人在行走中或静止状态，自动识别进入摄像头采集区域的人脸图像，并与导盲机器人已有的人脸数据库匹配，快速识别出该人物的身份信息并通过语音提醒盲人，从而帮助盲人辨别身边的人物身份及进行正常的人际交流(如是第一次采集某人物的人脸图像，导盲机器人将把该图像保存到系统数据库，以方面下次自动识别该人物身份)。
3、人脸识别
S3.1、获取视野图像，并将图像灰度化，输入图像往往是有三个颜色通道的图像，如RGB三通道，但由于在行人识别技术中，并不依靠颜色来辨别人脸信息，而是使用图像的梯度来进行相关的分析识别，因此，将彩色图像灰度化，可以将图像的三维信息降维，可以进一步降低运算量，提升计算速度；
S3.2、提取灰度图像HOG特征，并根据HOG特征提取人脸区域；
S3.3、提取人脸区域中的人脸特征点，由于人脸有不同的方向，为了消除角度的影响，需要提取出若干人脸数据点，使人脸的五官等特征都尽可能标准化，进一步提高脸部识别的准确率；
S3.4、使用分类算法识别人脸。
所述将图像灰度化的方法为：
Y(x，y)＝0.229×R(x，y)+0.587×G(x，y)+0.114×B(x，y)
其中，Y(x，y)为像素点(z，y)的灰度值，R(x，y)、G(x，y)和B(x，y)为(z，y)位置像素RGB颜色的红、绿、蓝分量。
所述提取灰度图像HOG特征，并根据HOG特征提取人脸区域的步骤为：
S3.2.1、计算图像横纵坐标的梯度：
Gx(x，y)＝I(x+1，y)-I(x-1，y)
Gy(x，y)＝I(x，y++1)-I(x，y-1)
Gx(x，y)、Gy(x，y)为图像中像素点I(x，y)处水平以及垂直方向的梯度，那么像素点(x，y)处的梯度幅值和梯度θ(x，y)可以表示为：
θ(x，y)＝arctan(Gy(x，y)/Gx(x，y))；
S3.2.2、将图像划分成若干个单元(bin)，8*8＝64个像素为一个单元，相邻的单元之间互不重叠；在每个单元内统计梯度直方图，将所有梯度方向分为n个扇形区块，每个区块包含(360/n)。本实施例中使用的n＝9，即40°一个单元。
那么各个像素在单元(bin)幅值Bk：
其中，α(x，y)为单元内的像素点；
S3.2.3、将各个单元中所有的像素点对应上述公式计算的梯度进行累加和，即为该单元的特征。
S3.2.4、将多个单元组合成区域块(block)，将块里所有的单元特征向量串联起来便得到该块的HOG特征。不同block之间可能相互重叠，可以有效地利用局部邻域信息。
S3.2.5、将HOG特征数据与模型数据进行对比，相似度最高的部分即为人脸区域。
所述提取人脸特征点的步骤为：
S3.3.1、选取人脸普遍存在的若干个特征点(包括下巴的顶部、每只眼睛的外部轮廓、每条眉毛的内部轮廓等)；
S3.3.2、利用ERT(基于回归树的人脸对齐)算法学习每个特征点的局部二值特征，局部二值模式是一种考验用作描述局部纹理特征的算子，定义一个3*3的像素窗口，以窗口中心像素为判定阈值，将中心像素相邻的八个元素灰度值进行比较，如果周围的像素值大雨中心像素值，则此像素值记录为1，反之则为0。
S3.3.3、由于人脸有不同方向，为了消除角度的影响，需要提取出若干个人脸数据点，构建人脸数据模型，使得五官等特征都尽可能标准化，进一步提高脸部识别的准确率。算法的基本思路是找到68个人脸上普遍存在的特征点——包括下巴的顶部、每只眼睛的外部轮廓、每条眉毛的内部轮廓等。本实施例使用基于回归树的人脸对齐算法(Ensemble ofRegression Tress)。
人脸特征点提取主要有两个目标：
形状：人脸上特征的位置；
特征点：形状由这些特征点组成。基本的原理公式如下：
ShapeS是理想预测形状，表示当前预测的形状，rt表示第t级回归器计算出来的更新量，I指输入的训练图像。
S3.3.4、训练的过程是使用GBDT(梯度提升决策树)来进行更新模型。
S3.3.5、使用的人脸数据集中有N幅图像，起始的形状使用所有的数据集的平均形状，定义每一次训练后的形状与理想形状的损失函数为：
从而使一层层决策树慢慢最小化对损失函数求偏导，可得：
其中，Ii表示图像I中第i层决策树对应的形状数据，直至建立的树足够多，可以最后的当前形状表示真实形状，那么这一个GBDT也就建立完成了。
获得面部特征图；
S3.3.6、再根据相对平行的基本图像变换(如旋转、缩放等初级变换)将特征值代表的五官居中，使得识别结果更准确。
由于人脸特征识别是在图像的局部方格单元上操作，它对图像几何的和光学的形变都能保持很好的不变性；该方法在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下，可以容许脸部有部分遮挡，在行人识别这种随机性较高的场景，可以很大程度上提升识别率。在使用人脸对齐算法后，对于非极端的非正面的脸部识别，也能有较好的识别率。同样适用于行人识别的场景。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种导盲机器人，其特征在于，包括承载移动部分和牵引部分；所述牵引部分包括牵引手柄，手柄一端固定于承载移动部分；
所述导盲机器人承载移动部分安装有控制模块、与控制模块相连的超声波避障模块，所述超声波避障模块安装于承载移动部分，包括舵机和超声波扫描仪，所述舵机和超声波扫描仪在控制模块的控制下，用于扫描判断与障碍物的距离，在所述导盲机器人前进时，扫描前方障碍物，并判断距离是否低于预设的阈值，低于阈值时控制模块控制舵机转动一定角度并再次扫描判断距离，直至转动的角度对应的距离为安全距离为止，将安全距离对应的转动角度反馈给控制模块，控制模块控制导盲机器人转弯行驶。
2.根据权利要求1所述的导盲机器人，其特征在于，所述超声波避障模块至少包括两套舵机和超声波扫描仪，对称安装于承载移动部分。
3.根据权利要求1所述的导盲机器人，其特征在于，所述导盲系统还包括红外避障模块，安装于下层板，连接控制模块。
4.根据权利要求1所述的导盲机器人，其特征在于，所述承载移动部分还包括底盘架构和减震结构；
所述底盘架构包括上层板、下层板、减震柱，减震柱连接上层板和下层板，使得上下层板间形成一个空间，实际导盲过程中，将导盲机器人的各类电子元器件固定于该空间中；
所述减震结构包括车轮、弹簧减震器、电机，弹簧减震器一端与电机相对固定、另一端与底盘架构相对固定，电机与底盘架构相对固定，电机连接并驱动车轮转动，进而使导盲机器人移动。
5.根据权利要求1所述的导盲机器人，其特征在于，所述牵引手柄为可伸缩、折叠的结构，手柄上安装有摄像头架。
6.一种导盲系统，其特征在于，包括报警模块和权利要求1-5任一项所述的导盲机器人；所述报警模块具体包括触发单元、存储单元、获取单元、执行单元，所述触发单元为牵引手柄上设置的按钮；存储单元存储有号码；获取单元用于获取系统定位；执行单元接收触发单元信息并生成带有定位的短信发送给所述存储的号码。可根据需要存储家属号码或报警电话等。
7.根据权利要求6所述的导盲系统，其特征在于，所述导盲系统还包括蓝牙模块及APP；
所述蓝牙模块与控制模块连接，所述APP安装于智能手机上并获取手机地图软件的地理编码、手机语音识别信息，待语音识别与地理编码匹配后将导航信息通过无线传输至蓝牙模块，并进一步传输至控制模块。
8.一种导盲方法，其特征在于，包括如下步骤：
获取盲人行走方向前方的道路图像；
将图像的RGB颜色模型转为HSV颜色模型；
基于HSV颜色模型对图像进行盲道与其他区域颜色分割并分类；
设定盲道颜色分割阈值，根据盲道和普通道路的色差，提取阈值范围内的部分为盲道；
运用中值滤波去除图像噪声，将数字图像或数字序列中的一点的值用该点的邻域中各点值的中值代替；
基于区域生长算法，识别图像中像素面积较大的区域为盲道；
向盲人发送方向提示，完成导盲。
9.根据权利要求8所述的导盲方法，其特征在于，所述导盲方法还包括红绿灯灯识别，包括步骤：
将图像转为HSV颜色模型后，
设置红绿灯颜色阈值，获取图像中红绿黄三变量面积占比；
取面积占比最大的颜色信号为识别结果。
10.根据权利要求8所述的导盲方法，其特征在于，所述导盲方法还包括行人识别，包括步骤：
获取视野图像，并将图像灰度化；
提取灰度图像HOG特征，并根据HOG特征提取人脸区域；
提取人脸区域中的人脸特征点；
使用分类算法识别人脸。
CN201910737930.8A 2019-08-12 2019-08-12 一种导盲机器人及导盲系统、导盲方法 Withdrawn CN110368275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910737930.8A CN110368275A (zh) 2019-08-12 2019-08-12 一种导盲机器人及导盲系统、导盲方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910737930.8A CN110368275A (zh) 2019-08-12 2019-08-12 一种导盲机器人及导盲系统、导盲方法

Publications (1)

Publication Number Publication Date
CN110368275A true CN110368275A (zh) 2019-10-25

Family

ID=68258881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910737930.8A Withdrawn CN110368275A (zh) 2019-08-12 2019-08-12 一种导盲机器人及导盲系统、导盲方法

Country Status (1)

Country Link
CN (1) CN110368275A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111142536A (zh) * 2020-01-06 2020-05-12 华南师范大学 一种室内导盲机器人
CN111329196A (zh) * 2020-04-29 2020-06-26 合肥工业大学 一种自动伸缩式智能拐杖及其智能避障方法
CN111609851A (zh) * 2020-05-28 2020-09-01 北京理工大学 一种移动型导盲机器人系统及导盲方法
CN112274399A (zh) * 2020-10-25 2021-01-29 贵州大学 一种智能感知机器导盲控制方法、存储介质、系统、装置
CN112311986A (zh) * 2020-10-26 2021-02-02 航天科工智能机器人有限责任公司 基于观察杆的机器人视野扩展结构
CN113311819A (zh) * 2021-03-25 2021-08-27 华南理工大学广州学院 一种由机器狗导盲的方法及机器狗控制系统
WO2021168969A1 (zh) * 2020-02-26 2021-09-02 五邑大学 导盲机器人
CN113370225A (zh) * 2021-05-31 2021-09-10 山东新一代信息产业技术研究院有限公司 一种盲人引导服务机器人系统
CN113807118A (zh) * 2020-05-29 2021-12-17 苏州科瓴精密机械科技有限公司 机器人沿边工作方法、系统，机器人及可读存储介质
CN113813146A (zh) * 2021-09-30 2021-12-21 紫清智行科技(北京)有限公司 一种基于导航与盲道循迹结合的室外导盲方法和系统
CN113899382A (zh) * 2021-09-30 2022-01-07 紫清智行科技(北京)有限公司 一种基于导航系统的导盲车辆路径生成方法和装置
CN113908023A (zh) * 2021-09-30 2022-01-11 北京理工大学 一种导盲车和人车协同的导盲车控制方法
EP4060448A1 (en) * 2021-03-15 2022-09-21 Blue Ocean Robotics Aps Methods of controlling a mobile robot device to follow or guide a person
WO2023049976A1 (pt) * 2021-10-02 2023-04-06 N De Araujo Sellin Desenvolvimento De Sistemas Ltda Cão guia robô para auxílio a locomoção de pessoas com deficiência visuais ou com mobilidade reduzida e processo de mapeamento e compartilhamento de trajetos
CN116076387A (zh) * 2023-02-09 2023-05-09 深圳市爱丰达盛科技有限公司 一种导盲犬训练导航智能管理系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111142536A (zh) * 2020-01-06 2020-05-12 华南师范大学 一种室内导盲机器人
WO2021168969A1 (zh) * 2020-02-26 2021-09-02 五邑大学 导盲机器人
CN111329196A (zh) * 2020-04-29 2020-06-26 合肥工业大学 一种自动伸缩式智能拐杖及其智能避障方法
CN111329196B (zh) * 2020-04-29 2021-07-27 合肥工业大学 一种自动伸缩式智能拐杖及其智能避障方法
CN111609851A (zh) * 2020-05-28 2020-09-01 北京理工大学 一种移动型导盲机器人系统及导盲方法
CN111609851B (zh) * 2020-05-28 2021-09-24 北京理工大学 一种移动型导盲机器人系统及导盲方法
CN113807118A (zh) * 2020-05-29 2021-12-17 苏州科瓴精密机械科技有限公司 机器人沿边工作方法、系统，机器人及可读存储介质
CN113807118B (zh) * 2020-05-29 2024-03-08 苏州科瓴精密机械科技有限公司 机器人沿边工作方法、系统，机器人及可读存储介质
CN112274399B (zh) * 2020-10-25 2023-04-07 贵州大学 一种智能感知机器导盲控制方法、存储介质、系统、装置
CN112274399A (zh) * 2020-10-25 2021-01-29 贵州大学 一种智能感知机器导盲控制方法、存储介质、系统、装置
CN112311986A (zh) * 2020-10-26 2021-02-02 航天科工智能机器人有限责任公司 基于观察杆的机器人视野扩展结构
EP4060448A1 (en) * 2021-03-15 2022-09-21 Blue Ocean Robotics Aps Methods of controlling a mobile robot device to follow or guide a person
CN113311819A (zh) * 2021-03-25 2021-08-27 华南理工大学广州学院 一种由机器狗导盲的方法及机器狗控制系统
CN113370225A (zh) * 2021-05-31 2021-09-10 山东新一代信息产业技术研究院有限公司 一种盲人引导服务机器人系统
CN113899382A (zh) * 2021-09-30 2022-01-07 紫清智行科技(北京)有限公司 一种基于导航系统的导盲车辆路径生成方法和装置
CN113908023A (zh) * 2021-09-30 2022-01-11 北京理工大学 一种导盲车和人车协同的导盲车控制方法
CN113899382B (zh) * 2021-09-30 2022-05-24 紫清智行科技(北京)有限公司 一种基于导航系统的导盲车辆路径生成方法和装置
CN113908023B (zh) * 2021-09-30 2022-07-08 北京理工大学 一种导盲车和人车协同的导盲车控制方法
CN113813146A (zh) * 2021-09-30 2021-12-21 紫清智行科技(北京)有限公司 一种基于导航与盲道循迹结合的室外导盲方法和系统
WO2023049976A1 (pt) * 2021-10-02 2023-04-06 N De Araujo Sellin Desenvolvimento De Sistemas Ltda Cão guia robô para auxílio a locomoção de pessoas com deficiência visuais ou com mobilidade reduzida e processo de mapeamento e compartilhamento de trajetos
CN116076387A (zh) * 2023-02-09 2023-05-09 深圳市爱丰达盛科技有限公司 一种导盲犬训练导航智能管理系统
CN116076387B (zh) * 2023-02-09 2023-07-28 深圳市爱丰达盛科技有限公司 一种导盲犬训练导航智能管理系统

Similar Documents

Publication Publication Date Title
CN110368275A (zh) 一种导盲机器人及导盲系统、导盲方法
CN109902562B (zh) 一种基于强化学习的驾驶员异常姿态监测方法
CN109803207A (zh) 对周围声音中的音频信号的标识以及响应于该标识的对自主交通工具的引导
CN105632049B (zh) 一种基于可穿戴设备的预警方法和装置
CN106504751A (zh) 自适应唇语交互方法以及交互装置
CN106020227A (zh) 无人机的控制方法、装置
CN110147738B (zh) 一种驾驶员疲劳监测预警方法及系统
CN109646258A (zh) 一种导盲杖、导盲系统及导盲方法
CN110443898A (zh) 一种基于深度学习的ar智能终端目标识别系统及方法
CN107168320A (zh) 一种导游服务机器人
CN106214436A (zh) 一种基于手机端的智能导盲系统及其导盲方法
CN104700576A (zh) 一种水上快速救援系统及其方法
US20040190753A1 (en) Image transmission system for a mobile robot
CN204972147U (zh) 基于Kinect的盲人导航系统
CN106965675A (zh) 一种货车集群智能安全作业系统
CN109000655B (zh) 机器人仿生室内定位导航方法
US20040190754A1 (en) Image transmission system for a mobile robot
CN110522617A (zh) 盲人智慧眼镜
CN107909772A (zh) 一种智能化车载疲劳监测方法
Mahendran et al. Computer vision-based assistance system for the visually impaired using mobile edge artificial intelligence
CN109031306A (zh) 一种用于视障人群的导航方法及系统
CN108670747A (zh) 一种盲人智能辅助出行方法及系统
CN106529502A (zh) 唇语识别方法以及装置
CN107806876A (zh) 一种基于orb算法的认知地图构建方法
CN108670745A (zh) 一种基于语音识别准入的盲人导航方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191025