CN113311819B - 一种由机器狗导盲的方法及机器狗控制系统 - Google Patents

一种由机器狗导盲的方法及机器狗控制系统 Download PDF

Info

Publication number
CN113311819B
CN113311819B CN202110320413.8A CN202110320413A CN113311819B CN 113311819 B CN113311819 B CN 113311819B CN 202110320413 A CN202110320413 A CN 202110320413A CN 113311819 B CN113311819 B CN 113311819B
Authority
CN
China
Prior art keywords
user
traffic light
voice
camera
main control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110320413.8A
Other languages
English (en)
Other versions
CN113311819A (zh
Inventor
缪文南
陈永杰
郑兴强
龙浚玉
刘贻兴
周政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou College of South China University of Technology
Original Assignee
Guangzhou College of South China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou College of South China University of Technology filed Critical Guangzhou College of South China University of Technology
Priority to CN202110320413.8A priority Critical patent/CN113311819B/zh
Publication of CN113311819A publication Critical patent/CN113311819A/zh
Application granted granted Critical
Publication of CN113311819B publication Critical patent/CN113311819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种由机器狗导盲的方法及机器狗控制系统，涉及机器人技术领域。一种由机器狗导盲的方法，包括以下步骤：接收用户发出的语音唤醒信号后应答用户，通过摄像头获取用户的位置信息以及通过雷达测量当前空间信息，构建当前空间的地图，并规划出到达用户所在位置的路线，按照到达用户所在位置的路线移动至用户身边；接收用户发出的目标位置信息，根据目标位置信息规划出目的地路线；依据目的地路线行走，并通过语音实时指引用户到达目的地。在本发明中，通过采用语音唤醒，实现尽管机器狗不在用户附近仍能启动机器狗，同时，通过自动追踪用户，避免用户自己去找机器狗，方便用户使用机器狗导航，大大提高机器狗的实用性。

Description

一种由机器狗导盲的方法及机器狗控制系统
技术领域
本发明涉及机器人技术领域，尤其涉及一种由机器狗导盲的方法及机器狗控制系统。
背景技术
盲人出行一直都是社会关注的热门话题，虽然在城市建设方面为盲人提供了不少的帮助，例如设置盲道，盲文指示牌等等，但是实际应用效果并不理想。为此，可通过导盲犬辅助盲人出行，使盲人出行更加方便自由。然而，导盲犬的训练困难、训练周期长、训练成本高，导致能够实际投入使用的导盲犬数量非常有限，而且价格高昂，不能满足大部分盲人的使用要求。随着机器人的研发，现有不少机器人应用在导盲领域中，但仍在初步阶段，尚有不少技术问题尚未解决，例如由于盲人用户难以寻找到机器狗，存在盲人用户难以启动机器人导航，该技术问题的存在导致机器狗实用性不足，难以满足用户正常使用。
发明内容
本发明的目的在于提出一种由机器狗导盲的方法及机器狗控制系统，以解决上述问题。
为达此目的，本发明采用以下技术方案：
一种由机器狗导盲的方法，包括以下步骤：
接收用户发出的语音唤醒信号后应答用户，通过摄像头获取用户的位置信息以及通过雷达测量当前空间信息，构建当前空间的地图，并规划出到达用户所在位置的路线，按照到达用户所在位置的路线移动至用户身边；
接收用户发出的目标位置信息，根据目标位置信息规划出目的地路线；
依据目的地路线行走，并通过语音实时指引用户到达目的地。
进一步，指引用户到达目的地的过程中，包括识别交通灯引导过马路的方法：
识别周围物体的形状，直至找到与记忆中交通灯形状相符合的交通灯实物；
计算交通灯实物的形状范围内的颜色平均阈值，并与记忆中的交通灯颜色平均阈值相比较，若比较结果在误差范围内，则进入下一步，若比较结果不在误差范围内，则忽略该物体，继续识别周围物体的形状；
根据交通灯实物的形状和颜色平均阈值，确定此时交通灯实物在摄像头中所占的像素点；
根据交通灯实物的形状以及所占的像素点，计算交通灯实物的中心点在摄像头中的坐标点；
根据记忆交通灯时放置的距离、记忆中交通灯在摄像头中所占的像素点以及当前交通灯实物在摄像头中所占的像素点，计算得出当前交通灯实物到摄像头的距离；
当交通灯为红色时，且当前交通灯实物到摄像头的距离小于第一预设值时，后退且发出语音告知用户后退；
当交通灯为绿色时，且当前交通灯实物到摄像头的距离大于第二预设值时，前进并发出语音告知用户前进；
穿过马路过程中，若交通灯实物的中心点相对摄像头的中轴线偏移量大于第三预设值，则朝交通灯实物的中心点方向修正行走方向，同时发出语音纠正用户的行走方向。
进一步，指引用户到达目的地的过程中，包括语音引导用户绕开障碍物的方法：
通过雷达实时测量当前场景的空间信息，获知当前场景的地形；
当目的地路线上出现障碍物时，暂停前进并发出语音告知用户暂定行走；
若在预设时间内，障碍物消失，则继续按照目的地路线行走，并发出语音引导用户继续行走；
若在预设时间内，障碍物没有消失，则根据当前场景的地形，规划出绕开障碍物的路线，所述绕开障碍物的路线终点在目的地路线上，发出语音引导用户继续行走。
进一步，指引用户到达目的地的过程中，通过运动传感器获取当前姿态信息，并基于步态算法和PID算法调整自身平衡。
本发明还提供一种机器狗控制系统，包括摄像头、雷达、语音接收模块、语音播放模块、目的地信息录入模块、主控芯片和机械腿驱动电机；
所述语音接收模块用于接收用户发出的语音唤醒信号，并将语音唤醒信号发送至所述主控芯片；
所述主控芯片用于接收到语音唤醒信号后，控制所述语音播放模块应答用户，并启动所述摄像头和所述雷达工作；
所述摄像头用于从周围环境中识别出用户和测出到用户的距离，得到用户的位置信息，并将用户的位置信息反馈至主控芯片；
所述雷达用于测量出当前空间信息，并将当前空间信息反馈至所述主控芯片；
所述主控芯片用于依据当前空间信息和用户的位置信息规划出到达用户所在位置的路径，并根据到达用户所在位置的路径控制所述机械腿驱动电机的输出量，移动到用户身边；
所述目的地录入模块用于接收用户发出的目标位置信息，并将目标位置信息发送至所述主控芯片；
所述主控芯片用于接收到目标位置信息后，规划出目的地路线；
所述主控芯片用于根据所述目的地路线，控制所述机械腿驱动电机的输出量，移动到目标位置；
所述主控芯片用于根据所述目的地路线，控制所述语音播放模块发出导航信息；
所述语音播放模块用于播放语音应答用户和引导用户到达目的地。
进一步，所述摄像头具有记忆模块、识别模块、颜色平均阈值计算模块、对比模块、所占像素点计算模块、实际距离计算模块和坐标点计算模块；
所述记忆模块用于记忆交通灯形状、交通灯颜色平均阈值、记忆交通灯时放置的距离、记忆交通灯时在摄像头中所占的像素点；
所述识别模块用于识别周围物体的形状，直至找到与记忆中交通灯形状相符合的交通灯实物；
所述颜色平均阈值计算模块用于计算交通灯实物的形状范围内的颜色平均阈值；
所述对比模块用于将交通灯实物的颜色平均阈值与记忆中的交通灯颜色平均阈值相比较，若比较结果在误差范围内，则进入下一步，若比较结果不在误差范围内，则忽略该物体，所述识别模块继续识别周围物体的形状；
所述所占像素点计算模块用于根据交通灯实物的形状和颜色平均阈值，计算出此时此时交通灯实物在摄像头中所占的像素点；
所述坐标点计算模块用于根据交通灯实物的形状以及所占的像素点，计算出交通灯实物的中心点在摄像头中的坐标点；
所述实际距离计算模块用于根据记忆交通灯时放置的距离、记忆中交通灯在摄像头中所占的像素点以及当前交通灯实物在摄像头中所占的像素点，计算得出当前交通灯实物到摄像头的距离；
当交通灯为红色时，且当前交通灯实物到摄像头的距离小于第一预设值时，所述主控芯片控制所述机械腿驱动电机的输出量实现后退，同时控制语音播放模块发出语音告知用户后退；
当交通灯为绿色时，且当前交通灯实物到摄像头的距离大于第二预设值时，所述主控芯片控制所述机械腿驱动电机的输出量实现前进，同时控制语音播放模块发出语音告知用户前进；
穿过马路过程中，若交通灯实物的中心点相对摄像头的中轴线偏移量大于第三预设值，则主控芯片控制所述机械腿驱动电机的输出量，使机器狗朝交通灯实物的中心点方向修正行走方向，同时控制语音播放模块发出语音纠正用户的行走方向。
进一步，所述雷达还用于在指引用户到达目的地的过程中，实时测量当前场景的空间信息，获知当前场景的地形；
当目的地路线上出现障碍物时，所述主控芯片控制所述机械腿驱动电机停止输出，实现后暂停前进，并控制语音播放模块发出语音告知用户暂定行走；
若在预设时间内，障碍物消失，则所述主控芯片控制所述机械腿驱动电机的输出量继续按照目的地路线行走，并控制语音播放模块发出语音引导用户继续行走；
若在预设时间内，障碍物没有消失，则所述主控芯片根据当前场景的地形，规划出绕开障碍物的路线，所述绕开障碍物的路线终点在目的地路线上，所述主控芯片控制所述机械腿驱动电机的输出量按照绕开障碍物的路线行走，并控制语音播放模块发出语音引导用户继续行走。
进一步，还包括运动传感器，所述运动传感器用于实时获取当前的姿态信息，并将当前的姿态信息发送至主控芯片，所述主控芯片根据姿态信息，并基于步态算法和PID算法控制所述机械腿驱动电机的输出量。
在本发明中，用户通过语音呼喊机器狗，以唤醒机器狗。机器狗被唤醒后，先应答用户，告知用户已接收到语音唤醒信号，以提高用户的使用体验。然后获取用户的位置信息以及当前空间信息，构建出当前空间的地图，并规划出到达用户所在位置的路线，按照到达用户所在位置的路线移动至用户身边，使机器狗自动移动至用户身边，实现追踪用户。当机器狗移动到用户身边后，用户向机器狗输入目标位置信息，机器狗规划出目的地路线，然后根据目的地路线引导用户到达目的地，以完成导航任务。本发明提供的一种由机器狗导盲的方法，通过采用语音唤醒，实现尽管机器狗不在用户附近仍能启动机器狗，同时，通过自动追踪用户，避免用户自己去找机器狗，方便用户使用机器狗导航，大大提高机器狗的实用性。
附图说明
附图对本发明做进一步说明，但附图中的内容不构成对本发明的任何限制。
图1是本发明其中一个实施例的流程示意图；
图2是本发明中一个实施例的雷达检测到障碍的示意图；
图3是本发明中一个实施例的雷达没有检测到障碍的示意图；
图4是本发明中一个实施例的爬坡算法的分析示意图；
图5是本发明中一个实施例的PID算法的流程示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
本实施例的一种由机器狗导盲的方法，包括以下步骤：
接收用户发出的语音唤醒信号后应答用户，通过摄像头获取用户的位置信息以及通过雷达测量当前空间信息，构建当前空间的地图，并规划出到达用户所在位置的路线，按照到达用户所在位置的路线移动至用户身边；
接收用户发出的目标位置信息，根据目标位置信息规划出目的地路线；
依据目的地路线行走，并通过语音实时指引用户到达目的地。
在本发明中，用户通过语音呼喊机器狗，以唤醒机器狗。机器狗被唤醒后，先应答用户，告知用户已接收到语音唤醒信号，以提高用户的使用体验。然后获取用户的位置信息以及当前空间信息，构建出当前空间的地图，并规划出到达用户所在位置的路线，按照到达用户所在位置的路线移动至用户身边，使机器狗自动移动至用户身边，实现追踪用户。当机器狗移动到用户身边后，用户向机器狗输入目标位置信息，机器狗规划出目的地路线，然后根据目的地路线引导用户到达目的地，以完成导航任务。本发明提供的一种由机器狗导盲的方法，通过采用语音唤醒，实现尽管机器狗不在用户附近仍能启动机器狗，同时，通过自动追踪用户，避免用户自己去找机器狗，方便用户使用机器狗导航，大大提高机器狗的实用性。
值得说明的是，指引用户到达目的地的过程中，包括识别交通灯引导过马路的方法：
识别周围物体的形状，直至找到与记忆中交通灯形状相符合的交通灯实物；
计算交通灯实物的形状范围内的颜色平均阈值，并与记忆中的交通灯颜色平均阈值相比较，若比较结果在误差范围内，则进入下一步，若比较结果不在误差范围内，则忽略该物体，继续识别周围物体的形状；
根据交通灯实物的形状和颜色平均阈值，确定此时交通灯实物在摄像头中所占的像素点；
根据交通灯实物的形状以及所占的像素点，计算交通灯实物的中心点在摄像头中的坐标点；
根据记忆交通灯时放置的距离、记忆中交通灯在摄像头中所占的像素点以及当前交通灯实物在摄像头中所占的像素点，计算得出当前交通灯实物到摄像头的距离；具体地，当前交通灯实物到摄像头的距离＝记忆交通灯时放置的距离*当前交通灯实物在摄像头中所占的像素点/记忆中交通灯在摄像头中所占的像素点。
当交通灯为红色时，且当前交通灯实物到摄像头的距离小于第一预设值时，后退且发出语音告知用户后退；
当交通灯为绿色时，且当前交通灯实物到摄像头的距离大于第二预设值时，前进并发出语音告知用户前进；
穿过马路过程中，若交通灯实物的中心点相对摄像头的中轴线偏移量大于第三预设值，则朝交通灯实物的中心点方向修正行走方向，同时发出语音纠正用户的行走方向。避免用户偏离人行道，同时利于实现用户能通过斜向设置的路口。
如此，通过摄像头识别交通灯，再判断交通灯到摄像头的实际距离，从而获知用户当前到交通灯的距离。通过颜色平均阈值即可获知当前交通灯的颜色是红色还是绿色。当交通灯为红色时，且当前交通灯实物到摄像头的距离小于第一预设值时，则机器狗后退并发出语音告知用户后退，使用户退回安全距离。当交通灯为绿色时，且当前交通灯实物到摄像头的距离大于第二预设值时，说明当前路口可通行，则机器狗前进并发出语音告知用户前进，实现引导用户过马路。其中第一预设值、第二预设值、第三预设值可根据路口长度以及实际情况设定即可，例如第一预设值为路口长度值，第二预设值为0-0.5m，第三预设值为30-45°。
进一步，指引用户到达目的地的过程中，包括语音引导用户绕开障碍物的方法：
通过雷达实时测量当前场景的空间信息，获知当前场景的地形；
当目的地路线上出现障碍物时，暂停前进并发出语音告知用户暂定行走；
若在预设时间内，障碍物消失，则继续按照目的地路线行走，并发出语音引导用户继续行走；
若在预设时间内，障碍物没有消失，则根据当前场景的地形，规划出绕开障碍物的路线，所述绕开障碍物的路线终点在目的地路线上，发出语音引导用户继续行走。
具体地，本发明优选的实施例，雷达旋转测量一圈，平均分为16帧上报扫描信息帧，所以得到16帧的每帧起始角度分别是0°、22.5°、45°、67.5°、90°…270°、292.5°、315、337.5°、360°。16帧数据加起来是完整一圈，一圈的总点数＝16*每帧的点数；每帧的总点数根据扫描信息帧计算距离个数可以得到(距离个数＝总点数)。每帧数据点的信息(角度和距离)：一帧中第N个点的距离是扫描信息帧中N距离值，那一帧中第N个点距离对应的角度＝此帧起始角度+(N-1)*22.5/(每帧的总点数)，这样一帧点信息所包含的角度和距离都有了，从而测出当前场景的地形，同理扫描测出当前空间信息也是如此。因此，若机器狗引导用户行走过程中，突然有障碍物如车辆冲出时，对比图2和图3，可以观察到，图2中雷达本应测得清晰的地形被遮挡，能及时地反映，暂停前进并发出语音告知用户暂停行走。若在预设时间内，障碍物消失，则说明该障碍物不是固定地，则继续按照目的地路线行走，并引导用户行走。若预设时间内，障碍物没有消失，则说明有固定的障碍物，需要绕开。为此根据当前场景的地形，规划出绕开障碍物的路线，并使绕开障碍物的路线终点在目的地路线上，实现引导用户绕开障碍物后回到目的地路线上，以克服复杂的地形条件。进而实现分辨障碍物是否固定，选择出对应方案解决障碍物阻挡前行的问题。其中，预设时间可按实际需求设定，例如30秒-1分钟。
具体地，指引用户到达目的地的过程中，通过运动传感器获取当前姿态信息，并基于步态算法和PID算法调整自身平衡。
其中，步态算法根据机械腿的轨迹得到下面的数学模型：
其中，T为步态周期，λ为支撑相占空比，通过时间参数t求得在X方向上，Y方向上的目标端点，目标端点，把两个参数输出给电机即可实现基于步态算法基本运动系统。
值得说明的是，步态算法还包括爬坡算法，参照图4所示，以解算P1坐标为例介绍爬坡算法，首先计算主架目标位置变换的RPY航海角变换矩阵，其中R代表滚转角(Roll)，P代表仰俯角(Pitch)，Y代表偏航角(Yaw)。可得到变换矩阵A，经过RPY航海角变换矩阵变化得到/>引入机器狗的身长l以及宽w，可以求得O'Q；
其中，cR表示cosR，sR表示sinR，cP表示cosP，sP表示sinP，cY表示cosY，sY表示为sinY。
具体计算过程如下：
所以可以得到：
此时的是在世界坐标系下的值，而得到机身坐标系只需再左乘矩阵A，其中，用Δx,Δy,Δz对应代替x1'-x'，y1'-y'，z1'-z'，可得：
由于其他机械腿的逆解过程与此相同，在此不再赘述，将求解出的机身坐标系下的足末端坐标，代入足端逆解公式即公式可求解出电机的控制角度。
进一步，本实施例调节各个电机的方法是使用PID调节，由于考虑参数选定的简单性，使用纯P调节，通过多次仿真实验，发现补偿系数为0.2时调节效果较好。因此有如下公式：
其中Rimu、Pimu为IMU(惯性检测单元)测量得到的机身与地面的横滚角与俯仰角差值，每次检测都补偿差值的0.2倍。
其中，PID算法因其简单的结构、较高的稳定性和便于调整的特性，得到了广泛的应用。图5为PID控制示意图，r(t)为输入量；e(t)为稳态误差量；u(t)为PID输出量；c(t)为实际输出量。PID的输入e(t)与输出u(t)的等式为：
在上式中，Kp为比例系数；T1为积分系数；TD为微分系数。
PID调节器原理简单、适应性强，实现自平平衡机器人的控制方案是完全可行的。在本系统中，Uk代表机器人的实时倾斜角；U代表机器人站立时的倾斜角；ek为实时倾斜角度值与期望值的误差；Kp、Ki和Kd分别为比例、积分和微分环节的系数；Pp、Pi和Pd分别为比例环节、积分环节和微分环节增益量；P为PID输出量，用来控制PWM波的占空比，实现电机的转速控制。
以计算X轴所需速度为例介绍PID控制算法：
VX_Need＝Kp*e(k)+Ki*∑e(k)+Kd[e(k)-e(k-1)]；
其中本次偏差e(k)＝VX_Balance-VX_Nowe(k-1)为上次偏差，k为大于0的整数Kp、Ki、Kd为系数，需根据实际情况而定。这样一来，通过PID控制算法计算出机器人此刻保持平衡所需的VX_Need、VY_Need、VZ_Need，然后代入逆运动学公式即可得到VA、VB、VC，最后由主控芯片根据VA、VB、VC的值输出至电机的PWM。如此，实现调整自身平衡，提高机器狗行走的稳定性，利于机器狗在复杂的环境中行走。
本发明还提供一种机器狗控制系统，包括摄像头、雷达、语音接收模块、语音播放模块、目的地信息录入模块、主控芯片和机械腿驱动电机；
所述语音接收模块用于接收用户发出的语音唤醒信号，并将语音唤醒信号发送至所述主控芯片；
所述主控芯片用于接收到语音唤醒信号后，控制所述语音播放模块应答用户，并启动所述摄像头和所述雷达工作；
所述摄像头用于从周围环境中识别出用户和测出到用户的距离，得到用户的位置信息，并将用户的位置信息反馈至主控芯片；
所述雷达用于测量出当前空间信息，并将当前空间信息反馈至所述主控芯片；
所述主控芯片用于依据当前空间信息和用户的位置信息规划出到达用户所在位置的路径，并根据到达用户所在位置的路径控制所述机械腿驱动电机的输出量，移动到用户身边；
所述目的地录入模块用于接收用户发出的目标位置信息，并将目标位置信息发送至所述主控芯片；
所述主控芯片用于接收到目标位置信息后，规划出目的地路线；
所述主控芯片用于根据所述目的地路线，控制所述机械腿驱动电机的输出量，移动到目标位置；
所述主控芯片用于根据所述目的地路线，控制所述语音播放模块发出导航信息；
所述语音播放模块用于播放语音应答用户和引导用户到达目的地。
在本控制系统中，当用户通过呼喊机器狗，语音接收模块接收到呼喊后，反馈给主控芯片，实现唤醒机器狗，同时主控芯片控制语音播放模块应答用户，告知用户机器狗已被唤醒。然后主控芯片启动摄像头获取用户的位置信息，同时启动雷达扫描测出当前空间信息，得到用户的位置信息和当前空间信息。主控芯片依据当前空间信息和目标物体的位置信息规划出到达用户的路径。接着，并根据到达用户的路径控制所述机械腿驱动电机的输出量，使机器狗自动移动至用户身边，实现追踪用户。当机器狗移动到用户身边后，目的地录入模块接收用户输入目标位置信息并发送至主控芯片。主控芯片根据目标位置信息规划出目的地路线，然后根据目的地路线控制所述机械腿驱动电机的输出量，移动到目标位置，同时控制语音播放模块播放导航信息以引导用户到达目的地，完成导航任务。本发明提供的一种机器狗控制系统，通过采用语音唤醒，实现尽管机器狗不在用户附近仍能启动机器狗，同时，通过自动追踪用户，避免用户自己去找机器狗，方便用户使用机器狗导航，大大提高机器狗的实用性。
具体地，所述主控芯片由STM32405单片机芯片和STM32103单片机芯片组成。由于STM32系列的单片机芯片的运算速度快，技术成熟，普及面广，采用两个STM32系列的芯片配合构成主控芯片控制，利于智能仿生狗及时反映变化的情况，保持行走的稳定性，且方便技术人员调控维修，降低维修成本。
所述摄像头为支持Python的机器视觉模块。如此，可在摄像头本身内置一些图像处理算法完成嵌入式的视觉识别与图像处理。例如基于April Tag标记跟踪追踪，因此，若标记贴在目标物体，如盲人用户身上时，摄像头既能识别出用户并测出到用户的实际距离，得出目标物体的位置信息。当标记转换成红色色块、绿色色块时，既能使摄像头识别出交通灯并测出到交通灯的距离。具体地，本发明优选的实施例，摄像头采用Open MV摄像头，该款摄像头低价，可扩展，支持Python的机器视觉模块，是一个可编程的摄像头，通过MicroPython语言，可以实现逻辑算法。通过搭载Micro Python解释器，这允许在嵌入式上使用Python来编程(Python 3to be precise)。比如，直接调用find_blobs()方法，就可以获得一个列表，包含所有色块的信息。
进一步，所述摄像头具有记忆模块、识别模块、颜色平均阈值计算模块、对比模块、所占像素点计算模块、实际距离计算模块和坐标点计算模块；
所述记忆模块用于记忆交通灯形状、交通灯颜色平均阈值、记忆交通灯时放置的距离、记忆交通灯时在摄像头中所占的像素点；
所述识别模块用于识别周围物体的形状，直至找到与记忆中交通灯形状相符合的交通灯实物；
所述颜色平均阈值计算模块用于计算交通灯实物的形状范围内的颜色平均阈值；
所述对比模块用于将交通灯实物的颜色平均阈值与记忆中的交通灯颜色平均阈值相比较，若比较结果在误差范围内，则进入下一步，若比较结果不在误差范围内，则忽略该物体，所述识别模块继续识别周围物体的形状；
所述所占像素点计算模块用于根据交通灯实物的形状和颜色平均阈值，计算出此时此时交通灯实物在摄像头中所占的像素点；
所述坐标点计算模块用于根据交通灯实物的形状以及所占的像素点，计算出交通灯实物的中心点在摄像头中的坐标点；
所述实际距离计算模块用于根据记忆交通灯时放置的距离、记忆中交通灯在摄像头中所占的像素点以及当前交通灯实物在摄像头中所占的像素点，计算得出当前交通灯实物到摄像头的距离；
当交通灯为红色时，且当前交通灯实物到摄像头的距离小于第一预设值时，所述主控芯片控制所述机械腿驱动电机的输出量实现后退，同时控制语音播放模块发出语音告知用户后退；
当交通灯为绿色时，且当前交通灯实物到摄像头的距离大于第二预设值时，所述主控芯片控制所述机械腿驱动电机的输出量实现前进，同时控制语音播放模块发出语音告知用户前进；
穿过马路过程中，若交通灯实物的中心点相对摄像头的中轴线偏移量大于第三预设值，则主控芯片控制所述机械腿驱动电机的输出量，使机器狗朝交通灯实物的中心点方向修正行走方向，同时控制语音播放模块发出语音纠正用户的行走方向。以避免用户偏离人行道，同时利于实现用户能通过斜向设置的路口。
如此，通过摄像头识别交通灯，再判断交通灯到摄像头的实际距离，从而获知用户当前到交通灯的距离。通过颜色平均阈值即可获知当前交通灯的颜色是红色还是绿色。当交通灯为红色时，且当前交通灯实物到摄像头的距离小于第一预设值时，则机器狗后退并发出语音告知用户后退，使用户退回安全距离。当交通灯为绿色时，且当前交通灯实物到摄像头的距离大于第二预设值时，说明当前路口可通行，则机器狗前进并发出语音告知用户前进，实现引导用户过马路。其中第一预设值、第二预设值和第三预设值可根据路口长度以及实际情况设定即可，例如第一预设值为路口长度值，第二预设值为0-0.5m、，第三预设值为30-45°。
进一步，所述雷达还用于在指引用户到达目的地的过程中，实时测量当前场景的空间信息，获知当前场景的地形；
当目的地路线上出现障碍物时，所述主控芯片控制所述机械腿驱动电机停止输出，实现后暂停前进，并控制语音播放模块发出语音告知用户暂定行走；
若在预设时间内，障碍物消失，则所述主控芯片控制所述机械腿驱动电机的输出量继续按照目的地路线行走，并控制语音播放模块发出语音引导用户继续行走；
若在预设时间内，障碍物没有消失，则所述主控芯片根据当前场景的地形，规划出绕开障碍物的路线，所述绕开障碍物的路线终点在目的地路线上，所述主控芯片控制所述机械腿驱动电机的输出量按照绕开障碍物的路线行走，并控制语音播放模块发出语音引导用户继续行走。
如此，若机器狗引导用户行走过程中，突然有障碍物如车辆冲出时，雷达能及时地将障碍物的出现反映至主控芯片，使控制所述机械腿驱动电机停止输出，实现暂停前进，并控制语音播放模块发出语音告知用户暂停行走。若在预设时间内，障碍物消失，则说明该障碍物不是固定地，主控芯片控制机械腿驱动电机的输出量继续按照目的地路线行走，并控制语音播放模块发出语音引导用户继续行走。若在预设时间内障碍物没有消失，则说明有固定的障碍物，需要绕开。为此主控芯片根据当前场景的地形，规划出绕开障碍物的路线，并使绕开障碍物的路线终点在目的地路线上，然后主控芯片控制所述机械腿驱动电机的输出量按照绕开障碍物的路线行走，并控制语音播放模块发出语音引导用户继续行走，实现引导用户绕开障碍物后回到目的地路线上，以克服复杂的地形条件。进而实现分辨障碍物是否固定，选择出对应方案解决障碍物阻挡前行的问题。其中，预设时间可按实际需求设定，例如30秒-1分钟。
具体地，所述机器狗控制系统中还包括运动传感器，所述运动传感器用于实时获取当前的姿态信息，并将当前的姿态信息发送至主控芯片，所述主控芯片根据姿态信息，并基于步态算法和PID算法控制所述机械腿驱动电机的输出量。如此，实现调整自身平衡，提高机器狗行走的稳定性，利于机器狗在复杂的环境中行走。优选地，所述运动传感器为MPU-6050。MPU-6050集成了三轴MEMS陀螺仪、三轴MEMS加速度计以及一个可扩展的数字运动处理器，免除了组合陀螺仪与加速器时间轴之差的问题，减少了大量的封装空间。
根据本发明实施例的一种由机器狗导盲的方法及机器狗控制系统的其他构成等以及操作对于本领域普通技术人员而言都是已知的，这里不再详细描述。
在本说明书的描述中，参考术语“实施例”、“示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种由机器狗导盲的方法，其特征在于：包括以下步骤：
接收用户发出的语音唤醒信号后应答用户，通过摄像头获取用户的位置信息以及通过雷达测量当前空间信息，构建当前空间的地图，并规划出到达用户所在位置的路线，按照到达用户所在位置的路线移动至用户身边；
接收用户发出的目标位置信息，根据目标位置信息规划出目的地路线；
依据目的地路线行走，并通过语音实时指引用户到达目的地；
指引用户到达目的地的过程中，包括识别交通灯引导过马路的方法：
识别周围物体的形状，直至找到与记忆中交通灯形状相符合的交通灯实物；
计算交通灯实物的形状范围内的颜色平均阈值，并与记忆中的交通灯颜色平均阈值相比较，若比较结果在误差范围内，则进入下一步，若比较结果不在误差范围内，则忽略该物体，继续识别周围物体的形状；
根据交通灯实物的形状和颜色平均阈值，确定此时交通灯实物在摄像头中所占的像素点；
根据交通灯实物的形状以及所占的像素点，计算交通灯实物的中心点在摄像头中的坐标点；
根据记忆交通灯时放置的距离、记忆中交通灯在摄像头中所占的像素点以及当前交通灯实物在摄像头中所占的像素点，计算得出当前交通灯实物到摄像头的距离；
当交通灯为红色时，且当前交通灯实物到摄像头的距离小于第一预设值时，后退且发出语音告知用户后退；
当交通灯为绿色时，且当前交通灯实物到摄像头的距离大于第二预设值时，前进并发出语音告知用户前进；
穿过马路过程中，若交通灯实物的中心点相对摄像头的中轴线偏移量大于第三预设值，则朝交通灯实物的中心点方向修正行走方向，同时发出语音纠正用户的行走方向；
指引用户到达目的地的过程中，包括语音引导用户绕开障碍物的方法：
通过雷达实时测量当前场景的空间信息，获知当前场景的地形；
当目的地路线上出现障碍物时，暂停前进并发出语音告知用户暂停行走；
若在预设时间内，障碍物消失，则继续按照目的地路线行走，并发出语音引导用户继续行走；
若在预设时间内，障碍物没有消失，则根据当前场景的地形，规划出绕开障碍物的路线，所述绕开障碍物的路线终点在目的地路线上，发出语音引导用户继续行走。
2.根据权利要求1所述的一种由机器狗导盲的方法，其特征在于：指引用户到达目的地的过程中，通过运动传感器获取当前姿态信息，并基于步态算法和PID算法调整自身平衡。
3.一种机器狗控制系统，其特征在于：应用权利要求1至2任意一项所述的一种由机器狗导盲的方法；包括摄像头、雷达、语音接收模块、语音播放模块、目的地信息录入模块、主控芯片和机械腿驱动电机；
所述语音接收模块用于接收用户发出的语音唤醒信号，并将语音唤醒信号发送至所述主控芯片；
所述主控芯片用于接收到语音唤醒信号后，控制所述语音播放模块应答用户，并启动所述摄像头和所述雷达工作；
所述摄像头用于从周围环境中识别出用户和测出到用户的距离，得到用户的位置信息，并将用户的位置信息反馈至主控芯片；
所述雷达用于测量出当前空间信息，并将当前空间信息反馈至所述主控芯片；
所述主控芯片用于依据当前空间信息和用户的位置信息规划出到达用户所在位置的路径，并根据到达用户所在位置的路径控制所述机械腿驱动电机的输出量，移动到用户身边；
所述目的地录入模块用于接收用户发出的目标位置信息，并将目标位置信息发送至所述主控芯片；
所述主控芯片用于接收到目标位置信息后，规划出目的地路线；
所述主控芯片用于根据所述目的地路线，控制所述机械腿驱动电机的输出量，移动到目标位置；
所述主控芯片用于根据所述目的地路线，控制所述语音播放模块发出导航信息；
所述语音播放模块用于播放语音应答用户和引导用户到达目的地。
4.根据权利要求3所述的一种机器狗控制系统，其特征在于：所述摄像头具有记忆模块、识别模块、颜色平均阈值计算模块、对比模块、所占像素点计算模块、实际距离计算模块和坐标点计算模块；
所述记忆模块用于记忆交通灯形状、交通灯颜色平均阈值、记忆交通灯时放置的距离、记忆交通灯时在摄像头中所占的像素点；
所述识别模块用于识别周围物体的形状，直至找到与记忆中交通灯形状相符合的交通灯实物；
所述颜色平均阈值计算模块用于计算交通灯实物的形状范围内的颜色平均阈值；
所述对比模块用于将交通灯实物的颜色平均阈值与记忆中的交通灯颜色平均阈值相比较，若比较结果在误差范围内，则进入下一步，若比较结果不在误差范围内，则忽略该物体，所述识别模块继续识别周围物体的形状；
所述所占像素点计算模块用于根据交通灯实物的形状和颜色平均阈值，计算出此时交通灯实物在摄像头中所占的像素点；
所述坐标点计算模块用于根据交通灯实物的形状以及所占的像素点，计算出交通灯实物的中心点在摄像头中的坐标点；
所述实际距离计算模块用于根据记忆交通灯时放置的距离、记忆中交通灯在摄像头中所占的像素点以及当前交通灯实物在摄像头中所占的像素点，计算得出当前交通灯实物到摄像头的距离；
当交通灯为红色时，且当前交通灯实物到摄像头的距离小于第一预设值时，所述主控芯片控制所述机械腿驱动电机的输出量实现后退，同时控制语音播放模块发出语音告知用户后退；
当交通灯为绿色时，且当前交通灯实物到摄像头的距离大于第二预设值时，所述主控芯片控制所述机械腿驱动电机的输出量实现前进，同时控制语音播放模块发出语音告知用户前进；
穿过马路过程中，若交通灯实物的中心点相对摄像头的中轴线偏移量大于第三预设值，则主控芯片控制所述机械腿驱动电机的输出量，使机器狗朝交通灯实物的中心点方向修正行走方向，同时控制语音播放模块发出语音纠正用户的行走方向。
5.根据权利要求3所述的一种机器狗控制系统，其特征在于：
所述雷达还用于在指引用户到达目的地的过程中，实时测量当前场景的空间信息，获知当前场景的地形；
当目的地路线上出现障碍物时，所述主控芯片控制所述机械腿驱动电机停止输出，实现暂停前进，并控制语音播放模块发出语音告知用户暂停行走；
若在预设时间内，障碍物消失，则所述主控芯片控制所述机械腿驱动电机的输出量继续按照目的地路线行走，并控制语音播放模块发出语音引导用户继续行走；
若在预设时间内，障碍物没有消失，则所述主控芯片根据当前场景的地形，规划出绕开障碍物的路线，所述绕开障碍物的路线终点在目的地路线上，所述主控芯片控制所述机械腿驱动电机的输出量按照绕开障碍物的路线行走，并控制语音播放模块发出语音引导用户继续行走。
6.根据权利要求3所述的一种机器狗控制系统，其特征在于：还包括运动传感器，所述运动传感器用于实时获取当前的姿态信息，并将当前的姿态信息发送至主控芯片，所述主控芯片根据姿态信息，并基于步态算法和PID算法控制所述机械腿驱动电机的输出量。
CN202110320413.8A 2021-03-25 2021-03-25 一种由机器狗导盲的方法及机器狗控制系统 Active CN113311819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110320413.8A CN113311819B (zh) 2021-03-25 2021-03-25 一种由机器狗导盲的方法及机器狗控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110320413.8A CN113311819B (zh) 2021-03-25 2021-03-25 一种由机器狗导盲的方法及机器狗控制系统

Publications (2)

Publication Number Publication Date
CN113311819A CN113311819A (zh) 2021-08-27
CN113311819B true CN113311819B (zh) 2024-05-31

Family

ID=77372110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110320413.8A Active CN113311819B (zh) 2021-03-25 2021-03-25 一种由机器狗导盲的方法及机器狗控制系统

Country Status (1)

Country Link
CN (1) CN113311819B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885704B (zh) * 2021-09-30 2022-04-05 紫清智行科技(北京)有限公司 一种用于导盲车的人机交互方法和系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117094A (ja) * 2002-09-25 2004-04-15 Nec Fielding Ltd 個人ナビゲーションシステム
CN101273948A (zh) * 2007-03-30 2008-10-01 上海市杨浦区控江二村小学 导盲机器狗
CN102048612A (zh) * 2011-01-07 2011-05-11 东华大学 一种基于机器视觉的导盲机器人
CN104766071A (zh) * 2015-04-28 2015-07-08 重庆邮电大学 一种应用于无人驾驶汽车的交通灯快速检测算法
CN105167967A (zh) * 2015-09-14 2015-12-23 深圳市冠旭电子有限公司 一种导盲方法及系统
CN106328132A (zh) * 2016-08-15 2017-01-11 歌尔股份有限公司 一种智能设备的语音交互控制方法和装置
CN107440891A (zh) * 2017-09-11 2017-12-08 太仓迭世信息科技有限公司 一种基于数据分析的智能共享导盲机器人及其工作方法
CN109598244A (zh) * 2018-12-07 2019-04-09 吉林大学 一种交通信号灯识别系统及其识别方法
KR20190060967A (ko) * 2019-05-27 2019-06-04 (주)아이로보테크 로봇 견에 의한 시각 장애인의 이동 유도 방법
CN110368275A (zh) * 2019-08-12 2019-10-25 广州大学 一种导盲机器人及导盲系统、导盲方法
CN112130570A (zh) * 2020-09-27 2020-12-25 重庆大学 一种基于强化学习的最优输出反馈控制器的导盲机器人

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117094A (ja) * 2002-09-25 2004-04-15 Nec Fielding Ltd 個人ナビゲーションシステム
CN101273948A (zh) * 2007-03-30 2008-10-01 上海市杨浦区控江二村小学 导盲机器狗
CN102048612A (zh) * 2011-01-07 2011-05-11 东华大学 一种基于机器视觉的导盲机器人
CN104766071A (zh) * 2015-04-28 2015-07-08 重庆邮电大学 一种应用于无人驾驶汽车的交通灯快速检测算法
CN105167967A (zh) * 2015-09-14 2015-12-23 深圳市冠旭电子有限公司 一种导盲方法及系统
CN106328132A (zh) * 2016-08-15 2017-01-11 歌尔股份有限公司 一种智能设备的语音交互控制方法和装置
CN107440891A (zh) * 2017-09-11 2017-12-08 太仓迭世信息科技有限公司 一种基于数据分析的智能共享导盲机器人及其工作方法
CN109598244A (zh) * 2018-12-07 2019-04-09 吉林大学 一种交通信号灯识别系统及其识别方法
KR20190060967A (ko) * 2019-05-27 2019-06-04 (주)아이로보테크 로봇 견에 의한 시각 장애인의 이동 유도 방법
CN110368275A (zh) * 2019-08-12 2019-10-25 广州大学 一种导盲机器人及导盲系统、导盲方法
CN112130570A (zh) * 2020-09-27 2020-12-25 重庆大学 一种基于强化学习的最优输出反馈控制器的导盲机器人

Also Published As

Publication number Publication date
CN113311819A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN110414365B (zh) 基于社会力模型的过街行人轨迹预测方法、系统及介质
US10696301B2 (en) Vehicle control device
CN111578940B (zh) 一种基于跨传感器迁移学习的室内单目导航方法及系统
CN106909145B (zh) 无人航道测量船障碍物实时感知避障系统与方法
Ziegler et al. Making bertha drive—an autonomous journey on a historic route
CN107600067A (zh) 一种基于多视觉惯导融合的自主泊车系统及方法
CN102171084B (zh) 配置有用于辅助系统操作员的辅助控制器的系统、控制操作辅助装置、控制操作辅助方法、驾驶操作辅助装置和驾驶操作辅助方法
CN109318890A (zh) 一种基于动态窗口及障碍物势能场的无人车动态避障方法
CN107065870A (zh) 移动机器人自主导航系统及方法
CN109813305B (zh) 基于激光slam的无人叉车
CN101573257A (zh) 停车辅助装置、停车辅助装置部件、停车辅助方法、停车辅助程序、行车参数的计算方法和计算程序、行车参数计算装置以及行车参数计算装置部件
CN113071518B (zh) 一种自动无人驾驶方法、小巴、电子设备以及存储介质
CN105892461A (zh) 一种机器人所处环境与地图的匹配识别方法及系统
CN112068574A (zh) 一种无人车在动态复杂环境中的控制方法及系统
CN112092825B (zh) 一种基于机器学习的车道保持方法
CN113311819B (zh) 一种由机器狗导盲的方法及机器狗控制系统
CN103743394A (zh) 一种基于光流的移动机器人避障方法
Funk et al. Autonomous electric race car design
US11926038B2 (en) Information processing apparatus and information processing method
CN112849297A (zh) 一种智能仿生狗
Dickmanns et al. Scene recognition and navigation capabilities for lane changes and turns in vision-based vehicle guidance
CN214451424U (zh) 一种智能仿生狗
Maeyama et al. Outdoor landmark map generation through human route teaching for mobile robot navigation
Maeyama et al. Long distance outdoor navigation of an autonomous mobile robot by playback of perceived route map
Park et al. Implementation of Autonomous Driving Vehicle at an Intersection with Traffic Light Recognition and Vehicle Controls.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant