CN110844402B - 一种智能召唤垃圾桶系统 - Google Patents

一种智能召唤垃圾桶系统 Download PDF

Info

Publication number
CN110844402B
CN110844402B CN201911060884.9A CN201911060884A CN110844402B CN 110844402 B CN110844402 B CN 110844402B CN 201911060884 A CN201911060884 A CN 201911060884A CN 110844402 B CN110844402 B CN 110844402B
Authority
CN
China
Prior art keywords
sound source
module
garbage
navigation
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911060884.9A
Other languages
English (en)
Other versions
CN110844402A (zh
Inventor
刘宇红
张显坤
李丝绦
蔡乾宏
徐翔
杨宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou University
Original Assignee
Guizhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou University filed Critical Guizhou University
Priority to CN201911060884.9A priority Critical patent/CN110844402B/zh
Publication of CN110844402A publication Critical patent/CN110844402A/zh
Application granted granted Critical
Publication of CN110844402B publication Critical patent/CN110844402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/14—Other constructional features; Accessories
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/128—Data transmitting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/176—Sorting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/184—Weighing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种智能召唤垃圾桶系统。包括自主避障导航模块，麦克风阵列声源定位模块，人体识别及测距模块和AI语音交互模块；所述的自主避障导航模块，用于实现自主避障导航；所述的麦克风阵列声源定位模块，用于对特定唤醒词进行语义识别，并对所述唤醒词的声源发出点的角度进行判别实现声源角度定位，让垃圾桶能够准确旋转到声源发出点所在的角度；所述的人体识别及测距模块，用于对人体骨架识别，并获取声源发出点的深度值，从而获得导航点目标；所述的AI语音交互模块，用于实现垃圾分类询问、语音命令自主回归触点式充电的AI语音交互。本发明实现了室内垃圾桶“随叫随到”的功能，方便了人们对垃圾的投放，同时实现了垃圾分类询问的功能。

Description

一种智能召唤垃圾桶系统
技术领域
本发明涉及智能家居产品，特别是一种智能召唤垃圾桶系统。
背景技术
在生活节奏不断加快的今天，人们常常无暇或者不愿意脱身出门走一公里去签收包裹，如何解决快递“最后一公里”的问题，引起了社会的广泛关注，所幸科技的快速发展已经能让我们及时捕捉并提出相应方案来跟进处理此类生活中的窘境，诸如无人送货机器人、外卖配送机器人等科技产品如雨后春笋般出现。
场景转到室内，也出现了类似“最后一公里”的问题，在居家生活、日常办公等场所中，“最后几步”的需求广泛存在：在家或者办公室，忙碌的人们有时候为了扔一个垃圾不得不动身走到垃圾桶旁边；对于行动不便的老人、残疾人，扔垃圾更加变成了一个费时费力的问题；如果在室内每个角落都放置一个垃圾桶，又会让室内空间显得脏乱繁杂。基于此，设计一种能够方便人们投放垃圾的垃圾桶具有重要意义。
发明内容
本发明的目的在于，提供一种智能召唤垃圾桶系统。本发明实现了室内垃圾桶“随叫随到”的功能，方便了人们对垃圾的投放，同时实现了垃圾分类询问的功能，对垃圾分类的工作起到了积极作用。
本发明的技术方案：一种智能召唤垃圾桶系统，包括自主避障导航模块，麦克风阵列声源定位模块，人体识别及测距模块和AI语音交互模块；
所述的自主避障导航模块，用于实现自主避障导航；
所述的麦克风阵列声源定位模块，用于对特定唤醒词进行语义识别，并对所述唤醒词的声源发出点的角度进行判别实现声源角度定位，让垃圾桶能够准确旋转到声源发出点所在的角度；
所述的人体识别及测距模块，用于对人体骨架识别，并获取声源发出点的深度值，从而获得导航点目标；
所述的AI语音交互模块，用于实现垃圾分类询问、语音命令自主回归触点式充电的AI语音交互。
前述的智能召唤垃圾桶系统中，所述的自主避障导航具体为：在ROS框架下，基于激光雷达思岚A1的SLAM建图技术，通过cartographer建图算法包对室内环境进行实时构建地图；之后在地图上定位导航点目标坐标，再通过自主导航算法让垃圾桶自主导航到目标点。
前述的智能召唤垃圾桶系统中，系统的自主避障导航具体为：系统主线程调度各模块，一方面接收各模块发出的话题，另一方面与ROS的move_base移动框架通信，实现自主导航；所述的自主导航分为两部分：
第一个部分用于声源角度定位值和人体测距值的接收，该部分定义两个回调函数，第一个回调函数接收声源角度定位值，基于机器人的base_link坐标系与move_base通信，让垃圾桶旋转相应的角度，第二个回调函数接收人体测距值，并将该测距值作由base_link坐标系到map坐标系的坐标转换，从而定下在SLAM地图中的导航点目标，之后与move_base通信让垃圾桶进行自主导航；
第二个部分用于接收定点自主回归充电命令，一旦接收到语音控制节点发出的充电命令，就会与move_base通信自主导航去往设置好的目标点进行充电。
前述的智能召唤垃圾桶系统中，所述的麦克风阵列声源定位模块的麦克风阵列具体为4麦克风阵列；
对特定唤醒词进行语义识别的方法为：利用神经网路训练好唤醒词的语素信息并保存至本地，麦克风实时监测外界声音，并将外界声音与语素信息进行比对识别；
声源角度定位的方法为：当识别到唤醒词后，麦克风阵列利用声源定位算法返回所述唤醒词对应的声源角度；所述的声源定位算法为：4个麦克风中以对角2个为一组，计算声波到达2个麦克风上的时间差，再把这个时间差与0°或180°时所造成的时间差的最大值进行比较，经过三角运算测出声源发出点相对这2个麦克风的角度；再把声源发出点相对另一组2个麦克风的角度综合比较、换算，最终得到声源角度。
前述的智能召唤垃圾桶系统中，所述的人体识别及测距模块是基于kinect深度摄像头的人体识别及测距技术的模块；所述的人体骨架识别的方法为：深度摄像头实现目标检测与分割、图像的噪声处理、人体骨架提取、关节点定位以及实时获取并返回人体骨骼深度值；所述的深度值的获取为：通过标记人体的20个关节点，并且对这20个关节点的位置进行实时跟踪，每一个关节点由三维空间坐标系X、Y、Z表示，其Z值即为深度值。
前述的智能召唤垃圾桶系统中，所述的AI语音交互模块，是基于ASR自动语音识别引擎、NLU自然语言理解、TTS语音合成技术的语音交互模块；AI语音交互模块的交互方法为：通过特定唤醒词唤醒以后，用户的语音命令先经过 ASR自动语音识别引擎进行 ASR 识别成文本；然后对文本进行NLU自然语言理解解析，再将解析结果进行技能匹配，交给适合处理该命令的技能插件去处理；插件处理完成后，得到的结果再交给 TTS语音合成技术引擎合成语音，播放给用户。
有益效果
与现有技术相比，本发明整合了激光雷达SLAM、自主避障导航、语音识别、麦克风阵列声源定位、人体识别及测距等技术，实现了在室内环境下，呼唤一声就可让垃圾桶来到身边的功能，方便了人们对垃圾的投放；同时其基于ASR自动语音识别引擎、NLU自然语言理解、TTS语音合成技术的垃圾分类询问、语音命令自主归位充电等AI语音交互功能让垃圾桶变得更为智能化，也对垃圾分类的工作起到了积极作用。
附图说明
图1是系统的的硬件构架图；
图2声源角度定位的工作流程图；
图3是声源定位测试图；
图4是kinect深度摄像头人体骨骼识别示意图；
图5是人体识别及测距算法框架图；
图6是人体识别及测距测试图；
图7是自主导航实现过程图；
图8是蒙特卡洛步骤；
图9是蒙特卡洛过程中位姿估计的过程；
图10是主程序第一部分框架图；
图11是语音交互垃圾分类测试图；
图12是语音交互自主归位测试图；
图13是PID控制结构图；
图14是PID控制算法流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例1。一种智能召唤垃圾桶系统,包括自主避障导航模块，麦克风阵列声源定位模块，人体识别及测距模块和AI语音交互模块；
所述的自主避障导航模块，用于实现自主避障导航；
所述的麦克风阵列声源定位模块，用于对特定唤醒词进行语义识别，并对所述唤醒词的声源发出点的角度进行判别实现声源角度定位，让垃圾桶能够准确旋转到声源发出点所在的角度；
所述的人体识别及测距模块，用于对人体骨架识别，并获取声源发出点的深度值，从而获得导航点目标；
所述的AI语音交互模块，用于实现垃圾分类询问、语音命令自主回归触点式充电的AI语音交互。
所述智能召唤垃圾桶系统的硬件构架如图1所示，整个系统分为三层，由下至上分别是底盘硬件层、系统层及交互层。系统层以nanopc作为主控，在该层ROS框架下整合激光雷达、Kinect、Respeaker 等模块；底层的控制模块、传感器通等过串口与系统层通信，可以保证控制系统的实时性；交互层则通过无线网络与系统层通信。
前述的自主避障导航具体为：在ROS框架下，基于激光雷达思岚A1的SLAM建图技术，通过cartographer建图算法包对室内环境进行实时构建地图，为垃圾桶的自主导航提供基本条件；之后在地图上定位导航点目标坐标，再通过自主导航算法让垃圾桶自主导航到目标点。在给定环境中，要实现机器人从当前位置移动到指定目的地的功能,自主导航是必不可少的一个部分。本发明设计的移动垃圾桶利用SLAM算法所构建的网格占用地图(Occupancy Grid Map)，再结合硬件上的齿轮编码器、惯性传感器和距离传感器等来实现自主导航，实现过程如图7所示，其中：
感知（sensing）：
机器人利用编码器和惯性传感器（IMU传感器）更新其测位（odometry）信息，并测量从距离传感器的位置到障碍物的距离。
姿态估计（localization/pose estimation）：
从感知阶段获取到周围环境及机器人自身的数据后，机器人需要估计其位于地图中的姿态。姿态估计采用自适应蒙特卡罗定位算法实现。图8是蒙特卡罗的算法步骤，自适应蒙特卡罗是通过减少蒙特卡罗中使用的样本来提高实时性能，减少执行时间。图9是从t1到t4的变化过程中，位姿估计的收敛过程示意图：在t时刻，机器人利用距离传感器到t时刻为止获取的距离信息序列、编码器到t时刻为止获得的机器人的运动信息序列，通过贝叶斯后验概率来计算机器人在t时刻位于某位置的概率p；为消除硬件可能存在的误差，机器人利用实现建立的机器人移动模型及传感器模型来对第一步的位置概率p分别进行预测与更新校正；然后通过SIR（Sampling Importance weighting Re-sampling）生成N个粒子来估计位置。SIR过程会同时移动粒子，并不断提高机器人位置估计的准确度。
路径规划：
在本阶段会创建一个从当前位置到地图上指定的目标点的轨迹，在对整个地图进行全局路径规划的同时以机器人为中心对局部地区进行路径规划。
移动躲避障碍物（move/collision avoidance）：
一旦按照在运动规划中创建的移动轨迹向机器人发出速度命令，机器人便可根据移动轨迹移动到目的地。在这一阶段，我们使用动态窗口避障算法(Dynamic WindowApproach)来实现避障，该算法可保证机器人对环境的感知、位置估计和运动规划等功能在移动时仍被执行，因而 采用该算法的机器人可避开突然出现的障碍。则按照上述步骤执行后，机器人能够从Start点自主移动到指定的Goal点。
进一步地，系统的自主避障导航具体为：系统主线程调度各模块，一方面接收各模块发出的话题，另一方面与ROS的move_base移动框架通信，实现自主导航；所述的自主导航分为两部分：
第一个部分用于声源角度定位值和人体测距值的接收，该部分定义两个回调函数，第一个回调函数接收声源角度定位值，基于机器人的base_link坐标系与move_base通信，让垃圾桶旋转相应的角度，第二个回调函数接收人体测距值，并将该测距值作由base_link坐标系到map坐标系的坐标转换，从而定下在SLAM地图中的导航点目标，之后与move_base通信让垃圾桶进行自主导航；
第一部分构架框图参见图10；语音召唤是第一个部分的核心功能，第一部分主要负责语音召唤功能的线程调度，收到召唤指令后，机器人需要确定目标点，目标点的确定通过声源角度定位和人体识别及测距来实现，因此在这个部分主要的是实现角度的接收和人体距离的接收。系统对于角度和距离的接收是采用话题的机制，而将角度和距离值与自主导航框架move_base通信又是通过动作的机制来实现的，因为与move_base的通信需要实时反馈垃圾桶的运动状况。
这一段的程序一共分为两个大的部分：主函数部分、类的定义部分。
在主函数中，因为需要在整个程序中订阅两个话题，所以需要通过MultiThreadedSpinners函数来定义双线程以满足接收两个话题的要求；类实现对消息属性和接收处理方法的封装，在类里封装了两个接收方法和两个回调方法。
两个接收方法sub_1和sub_2，一旦接收到有数据，就马上进入相对应的回调函数。两个回调函数，分别是callback1和callback2，第一个回调函数用来接收角度，一旦接收到角度 angle 值，就将这个angle值与move_base进行动作通信，请求机器人在base_link的坐标系下进行相关角度的旋转；第二个回调函数用来接收人体测距返回的距离值distance，而distance是一个浮点值，在回调函数callback2中将调用一个自定义函数baselink_to_map，在该函数中将调用ROS自带的tf坐标变换功能包中的 lookupTransform和transformPoint函数，将函数输入值distance（base_link坐标系下）转变为map坐标系下的向量位置并作为目标点在地图中的位置，通过动作通信发送给move_base，请求move_base按照该目标点规划路径并前往。
第二个部分用于接收定点自主回归充电命令，一旦接收到语音控制节点发出的充电命令，就会与move_base通信自主导航去往设置好的目标点进行充电。
前述的麦克风阵列声源定位模块的麦克风阵列具体为4麦克风阵列；其工作流程参见图2，具体为：
对特定唤醒词进行语义识别的方法为：利用神经网路训练好唤醒词的语素信息并保存至本地，麦克风实时监测外界声音，并将外界声音与语素信息进行比对识别；
声源角度定位的方法为：当识别到唤醒词后，麦克风阵列利用声源定位算法返回所述唤醒词对应的声源角度；所述的声源定位算法为：4个麦克风中以对角2个为一组，计算声波到达2个麦克风上的时间差，再把这个时间差与0°或180°时所造成的时间差的最大值进行比较，经过三角运算测出声源发出点相对这2个麦克风的角度；再把声源发出点相对另一组2个麦克风的角度综合比较、换算，最终得到声源角度(即声源角度定位值)，声源角度出测试结果参见图3；声源角度定位值作为话题发布到ROS系统中，供系统调用。
前述的人体识别及测距模块是基于kinect深度摄像头的人体识别及测距技术的模块；所述的人体骨架识别的方法参见图5，具体为：深度摄像头实现目标检测与分割、图像的噪声处理、人体骨架提取、关节点定位以及实时获取并返回人体骨骼深度值，测试过程参见图6；所述的深度值的获取为：通过标记人体的20个关节点(参见图4)，并且对这20个关节点的位置进行实时跟踪，该方式能够实时的返回摄像头距离人体的距离，且该方式能够识别坐姿和站姿且只能对人体或类似于人体的物体进行识别，该方案也不会受到环境因素的影响，所以很大程度上的降低了复杂环境中对人体的识别误差。其中，每一个关节点由三维空间坐标系X、Y、Z表示，Z 轴表示红外摄像头光轴与图像平面垂直，也即是说Z值坐标为深度值。深度值作为要发布节点消息的内容发布到ROS系统中，供系统调用。
深度摄像头实现目标检测与分割：kinect采用的是光编码（ligth coding）技术，这种技术利用了和人眼识别物体远近相似的方法，Kinect采用的是一个散色片，红外光束通过散色片后，整个散色片都向外发射角度随机的红外光，通过红外光束产生的光斑图案不同来区别距离的远近。由于深度摄像机记录了其到物体的距离，在实际使用中只要人体前没有障碍物就可以将人体与背景分割开来。
图像的噪声处理使用了膨胀、开操作的形态学操作和高斯滤波，达到了去除图像中噪声的目的。
人体骨架提取：骨架是一种图形的几何特征，是一种图形描述的手段。骨架的大小可能有细微的差别，但是骨架应该具有以下几种特征：骨架应该尽量保持物体原来的特征、骨架的像素宽度应该保持不变、以骨架中心为中轴线骨架点两侧应该保持尽量对称，并且具有连通性、骨架不会随着我物体的位置、方向的改变而发生改变。Kinect可以通过调用相关的 API 接口来主动获取人体的骨架数据。
关节点定位：先将两个端点中离肩关节比较靠近的节点判定为臂膀的点，距离较远的则是手。再将骨架线上所有点的实际空间的坐标计算出来。然后在骨架线上寻找一个点，使 得该点和手、肩实际的三维空间中确定的三角形面积大，那么可以认为这个点是手的骨架先上的转折点，就是肘关节。如果面积很小，那么就取骨架线的中点为肘关节。身体其他部位的关节点也可以这样确定。
当身体其他部分的关节点确定后用直线连接起来就可以形成比较符合人体的骨架结构。然后把确定好的各个部位的关节点连接就形成了人体深度骨架图，通过代码返回骨架的 Z 值即为摄像头到人体的距离值。
前述的AI语音交互模块，是基于ASR自动语音识别引擎、NLU自然语言理解、TTS语音合成技术的语音交互模块；AI语音交互模块的交互方法为：通过特定唤醒词唤醒以后，用户的语音命令先经过 ASR自动语音识别引擎进行 ASR 识别成文本；然后对文本进行NLU自然语言理解解析，再将解析结果进行技能匹配，交给适合处理该命令的技能插件去处理；插件处理完成后，得到的结果再交给 TTS语音合成技术引擎合成语音，播放给用户。在ASR到NLU的过程中，会根据识别到的不同的语音作对应的技能处理。如：在识别到“充电”命令时，会通过ROS节点发布一个固定话题，系统端接收到该话题以后会让垃圾桶自主导航到SLAM地图上的指定点进行充电操作；又如：在识别到“垃圾询问”命令时，就会通过技能匹配给出相应的答案并由扬声器播放，便可以方便的把垃圾扔到垃圾桶对应的分类隔层里面，进而实现垃圾分类。图11是语音交互垃圾分类功能的测试图。通过对垃圾桶询问的方式可以让垃圾桶说出某种垃圾所属的垃圾类别。图12是语音交互自主归位测试图，垃圾桶接收到用户发出的充电指令以后自主导航到指定地点进行触点式充电。
图13为所用PID调节的结构图。对于电机驱动程序的设计，在本发明中电机调速系统由编码器和直流电机组成，其中编码器负责速度采集，将电机本次采样的速度与上次采样的速度进行比较，通过偏差进行 PID运算。对小车采用闭环控制中常用的PID控制算法来维持其速度控制的精确度。在代码中设定一个参考速度值，PID控制器将实测速度不断逼近设定的参考速度。先计算参考速度和实测 速度的差值，也就是误差，将误差进行比例控制，即乘以一个比例常数KP，得到的结果用于校正电机PWM控制信号的占空比，再用校正后的PWM信号驱动电机旋转。
如图14所示为PID控制的算法流程图。PID控制环路将不断调整电机转速使实际速度趋近参考速度，对左右电机用同样的控制环路分别控制，将使小车能前进、后退、转弯、加减速，从而提高系统可靠性。在实际PID算法设计中，需要对参数进行先比例，后积分，再微分的整体步骤。实际顺序如下，首先整定比例部分，如果调节比例调节器参数，系统控制的结果达不到设计要求时，则需要引进积分环节，若同时使用上述比例和积分部分，能消除静差，但动态过程中经反复调试后仍不达要求，这时候必须加入微分环节。调速程序中采用的是增量式PID算法，具有结构简单、控制效果好、使用灵活等特点。

Claims (4)

1.一种智能召唤垃圾桶系统，其特征在于，包括自主避障导航模块，麦克风阵列声源定位模块，人体识别及测距模块和AI语音交互模块；
所述的自主避障导航模块，用于实现自主避障导航；
所述的麦克风阵列声源定位模块，用于对特定唤醒词进行语义识别，并对所述唤醒词的声源发出点的角度进行判别实现声源角度定位，让垃圾桶能够准确旋转到声源发出点所在的角度；
所述的人体识别及测距模块，用于对人体骨架识别，并获取声源发出点的深度值，从而获得导航点目标；
所述的AI语音交互模块，用于实现垃圾分类询问、语音命令自主回归触点式充电的AI语音交互；
所述的自主避障导航具体为：在ROS框架下，基于激光雷达思岚A1的SLAM建图技术，通过cartographer建图算法包对室内环境进行实时构建地图；之后在地图上定位导航点目标坐标，再通过自主导航算法让垃圾桶自主导航到目标点；
系统的自主避障导航具体为：系统主线程调度各模块，一方面接收各模块发出的话题，另一方面与ROS的move_base移动框架通信，实现自主导航；所述的自主导航分为两部分：
第一个部分用于声源角度定位值和人体测距值的接收，该部分定义两个回调函数，第一个回调函数接收声源角度定位值，基于机器人的base_link坐标系与move_base通信，让垃圾桶旋转相应的角度，第二个回调函数接收人体测距值，并将该测距值作由base_link坐标系到map坐标系的坐标转换，从而定下在SLAM地图中的导航点目标，之后与move_base通信让垃圾桶进行自主导航；
第二个部分用于接收定点自主回归充电命令，一旦接收到语音控制节点发出的充电命令，就会与move_base通信自主导航去往设置好的目标点进行充电。
2.根据权利要求1所述的智能召唤垃圾桶系统，其特征在于：所述的麦克风阵列声源定位模块的麦克风阵列具体为4麦克风阵列；
对特定唤醒词进行语义识别的方法为：利用神经网路训练好唤醒词的语素信息并保存至本地，麦克风实时监测外界声音，并将外界声音与语素信息进行比对识别；
声源角度定位的方法为：当识别到唤醒词后，麦克风阵列利用声源定位算法返回所述唤醒词对应的声源角度；所述的声源定位算法为：4个麦克风中以对角2个为一组，计算声波到达2个麦克风上的时间差，再把这个时间差与0°或180°时所造成的时间差的最大值进行比较，经过三角运算测出声源发出点相对这2个麦克风的角度；再把声源发出点相对另一组2个麦克风的角度综合比较、换算，最终得到声源角度。
3.根据权利要求1所述的智能召唤垃圾桶系统，其特征在于：所述的人体识别及测距模块是基于kinect深度摄像头的人体识别及测距技术的模块；所述的人体骨架识别的方法为：深度摄像头实现目标检测与分割、图像的噪声处理、人体骨架提取、关节点定位以及实时获取并返回人体骨骼深度值；所述的深度值的获取为：通过标记人体的20个关节点，并且对这20个关节点的位置进行实时跟踪，每一个关节点由三维空间坐标系X、Y、Z表示，其Z值即为深度值。
4.根据权利要求1所述的智能召唤垃圾桶系统，其特征在于：所述的AI语音交互模块，是基于ASR自动语音识别引擎、NLU自然语言理解、TTS语音合成技术的语音交互模块；AI语音交互模块的交互方法为：通过特定唤醒词唤醒以后，用户的语音命令先经过ASR自动语音识别引擎进行ASR识别成文本；然后对文本进行NLU自然语言理解解析，再将解析结果进行技能匹配，交给适合处理该命令的技能插件去处理；插件处理完成后，得到的结果再交给TTS语音合成技术引擎合成语音，播放给用户。
CN201911060884.9A 2019-11-01 2019-11-01 一种智能召唤垃圾桶系统 Active CN110844402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911060884.9A CN110844402B (zh) 2019-11-01 2019-11-01 一种智能召唤垃圾桶系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911060884.9A CN110844402B (zh) 2019-11-01 2019-11-01 一种智能召唤垃圾桶系统

Publications (2)

Publication Number Publication Date
CN110844402A CN110844402A (zh) 2020-02-28
CN110844402B true CN110844402B (zh) 2022-05-17

Family

ID=69599358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911060884.9A Active CN110844402B (zh) 2019-11-01 2019-11-01 一种智能召唤垃圾桶系统

Country Status (1)

Country Link
CN (1) CN110844402B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112099500A (zh) * 2020-09-11 2020-12-18 南京创维信息技术研究院有限公司 一种基于语音控制的家用智能垃圾桶、系统及其控制方法
CN112757291A (zh) * 2020-12-24 2021-05-07 北方工业大学 一种水下设施表面攀爬机器人通信系统及其控制方法
CN113173351A (zh) * 2021-03-23 2021-07-27 江汉大学 一种智能垃圾桶及其控制方法
CN113387073A (zh) * 2021-05-27 2021-09-14 中山大学 一种分类垃圾桶及其控制方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1331490A1 (en) * 2000-10-02 2003-07-30 Chubu Electric Power Co., Inc. Sound source probing system
CN101767702A (zh) * 2010-01-07 2010-07-07 北京理工大学 一种垃圾智能分类收取装置及方法
CN203889420U (zh) * 2014-06-10 2014-10-22 深圳市宏泰智能家居科技有限公司 一种智能垃圾桶
CN104512662A (zh) * 2013-09-30 2015-04-15 大连民族学院 一种基于声音定位的智能垃圾桶装置
CN105954711A (zh) * 2016-06-15 2016-09-21 广州尚云在线科技有限公司 一种基于声强差效应的实时声源定向方法
CN206357252U (zh) * 2017-01-09 2017-07-28 广东大仓机器人科技有限公司 采用四个声音接收器确定声源方位的机器人
CN107284544A (zh) * 2017-07-30 2017-10-24 福州大学 一种多功能的通用移动机器人底盘及其应用方法
CN107329469A (zh) * 2017-04-21 2017-11-07 南京邮电大学 一种自主机器人的乱架图书管理系统
CN108750482A (zh) * 2018-06-26 2018-11-06 桂林电子科技大学 一种新型智能移动垃圾桶
CN109665242A (zh) * 2018-12-20 2019-04-23 珠海格力电器股份有限公司 垃圾桶及其控制方法、装置和存储介质
CN109755995A (zh) * 2018-12-14 2019-05-14 华南理工大学 基于ros机器人操作系统的机器人自动充电对接方法
CN109822596A (zh) * 2019-04-02 2019-05-31 成都信息工程大学 一种服务机器人及其控制系统
CN110116414A (zh) * 2019-05-22 2019-08-13 汤佳利 一种4s店智能综合服务机器人及其系统
CN110136704A (zh) * 2019-04-03 2019-08-16 北京石头世纪科技股份有限公司 机器人语音控制方法、装置、机器人和介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1331490A1 (en) * 2000-10-02 2003-07-30 Chubu Electric Power Co., Inc. Sound source probing system
CN101767702A (zh) * 2010-01-07 2010-07-07 北京理工大学 一种垃圾智能分类收取装置及方法
CN104512662A (zh) * 2013-09-30 2015-04-15 大连民族学院 一种基于声音定位的智能垃圾桶装置
CN203889420U (zh) * 2014-06-10 2014-10-22 深圳市宏泰智能家居科技有限公司 一种智能垃圾桶
CN105954711A (zh) * 2016-06-15 2016-09-21 广州尚云在线科技有限公司 一种基于声强差效应的实时声源定向方法
CN206357252U (zh) * 2017-01-09 2017-07-28 广东大仓机器人科技有限公司 采用四个声音接收器确定声源方位的机器人
CN107329469A (zh) * 2017-04-21 2017-11-07 南京邮电大学 一种自主机器人的乱架图书管理系统
CN107284544A (zh) * 2017-07-30 2017-10-24 福州大学 一种多功能的通用移动机器人底盘及其应用方法
CN108750482A (zh) * 2018-06-26 2018-11-06 桂林电子科技大学 一种新型智能移动垃圾桶
CN109755995A (zh) * 2018-12-14 2019-05-14 华南理工大学 基于ros机器人操作系统的机器人自动充电对接方法
CN109665242A (zh) * 2018-12-20 2019-04-23 珠海格力电器股份有限公司 垃圾桶及其控制方法、装置和存储介质
CN109822596A (zh) * 2019-04-02 2019-05-31 成都信息工程大学 一种服务机器人及其控制系统
CN110136704A (zh) * 2019-04-03 2019-08-16 北京石头世纪科技股份有限公司 机器人语音控制方法、装置、机器人和介质
CN110116414A (zh) * 2019-05-22 2019-08-13 汤佳利 一种4s店智能综合服务机器人及其系统

Also Published As

Publication number Publication date
CN110844402A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110844402B (zh) 一种智能召唤垃圾桶系统
US11363929B2 (en) Apparatus and methods for programming and training of robotic household appliances
US11561544B2 (en) Indoor monocular navigation method based on cross-sensor transfer learning and system thereof
WO2017133453A1 (zh) 一种运动人体跟踪方法和系统
CN112136141A (zh) 基于自由形式自然语言输入控制机器人
CN109352654A (zh) 一种基于ros的智能机器人跟随系统及方法
Kästner et al. Deep-reinforcement-learning-based semantic navigation of mobile robots in dynamic environments
CN111319044A (zh) 物品抓取方法、装置、可读存储介质及抓取机器人
CN109557920A (zh) 一种自动导航建图机器人及控制方法
Steckel et al. Acoustic flow-based control of a mobile platform using a 3D sonar sensor
Lee et al. Fast perception, planning, and execution for a robotic butler: Wheeled humanoid m-hubo
Lim et al. Evolution of a reliable and extensible high-level control system for an autonomous car
CN117549310A (zh) 一种具身智能机器人的通用系统、构建方法及使用方法
Xu et al. Avoidance of manual labeling in robotic autonomous navigation through multi-sensory semi-supervised learning
US11986959B2 (en) Information processing device, action decision method and program
CN208048905U (zh) 一种智能轮椅
Luo et al. Topological map generation for intrinsic visual navigation of an intelligent service robot
Cao et al. An autonomous service mobile robot for indoor environments
CN112947426A (zh) 基于多传感融合的清洁机器人运动控制系统及方法
Vassallo et al. Using motor representations for topological mapping and navigation
Fabre et al. CATIE Robotics@ Home 2019 Team Description Paper
Hing et al. Smart elderly care robot
CN214348036U (zh) 智能垃圾分拣机器人
Gebellí Guinjoan et al. A multi-modal AI approach for intuitively instructable autonomous systems
CN111627064B (zh) 一种行人交互友好型的单目避障方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant