CN113580170A

CN113580170A - 基于Kinect的多功能家庭机器人

Info

Publication number: CN113580170A
Application number: CN202110993347.0A
Authority: CN
Inventors: 孙腾阔; 施赵杰; 姜鹏飞; 宗臻; 金厚羽; 李思哲; 杨世龙
Original assignee: Individual
Current assignee: Individual
Priority date: 2021-08-27
Filing date: 2021-08-27
Publication date: 2021-11-02

Abstract

本发明公开了基于Kinect的多功能家庭机器人，包括机器人外壳、Kinect深度相机、摄像机、深度传感器、Kinect阵列麦克风、小型麦克风、孔径雷达、WIFI收发模块、方向传感器、电机、车轮，所述机器人外壳前端设有Kinect深度相机，所述Kinect深度相机内部设有摄像机、深度传感器、Kinect阵列麦克风、方向传感器，所述机器人外壳内部设有WIFI收发模块、孔径雷达，所述Kinect阵列麦克风内部设有小型麦克风多个，所述机器人外壳底部设有电机、车轮。本发明通过Kinect深度相机的人体动作识别与预测技术；动作识别准确率达到90％以上，避免动作相互干扰，做到实时控制，数据发送频率10HZ以上，深度学习与识别手语：开发程序算法，学习简单手语，并进行深度学习，达到能与聋哑人士做到无障碍沟通。

Description

基于Kinect的多功能家庭机器人

技术领域

本发明涉及家庭机器人装置技术领域，具体来说，涉及基于Kinect的多功能家庭机器人。

背景技术

现有家庭机器人的主要通过多指令控制，复杂模块接收，整体来看较为复杂，对于智能机器人来说，绝大部分专利作品单一通过语音识别，或者视觉识别来实现其功能，整体而言，适合于大众使用，但对于聋哑人士等残疾人士不适用。针对此现象，我们发明专利主要撰写关于针对于聋哑家庭可以使用的智能家居机器人，主要从其Kinect人体关节识别，对人体动作的数据转换，以及WIFI收发模块控制智能家居三个方面来撰写。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

本发明的目的在于提供基于Kinect的多功能家庭机器人，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于Kinect的多功能家庭机器人，包括机器人外壳、Kinect深度相机、摄像机、深度传感器、Kinect阵列麦克风、小型麦克风、孔径雷达、WIFI收发模块、方向传感器、电机、车轮，所述机器人外壳前端设有Kinect深度相机，所述Kinect深度相机内部设有摄像机、深度传感器、Kinect阵列麦克风、方向传感器，所述机器人外壳内部设有WIFI收发模块、孔径雷达，所述Kinect阵列麦克风内部设有小型麦克风多个，所述机器人外壳底部设有电机、车轮。

进一步的，所述机器人外壳前端与Kinect深度相机电性连接，所述Kinect深度相机主要依据人体节点信号生成人体节点数据，通过对人体主要节点的识别来确定人体动作，通过在虚拟环境中三维坐标系的建立，将人体节点的信号转变为三维坐标信号，通过三维坐标信号之间的差值，或者存在一些函数关系，来确定人体的动作行为。

进一步的，所述Kinect深度相机内部与摄像机、深度传感器、Kinect阵列麦克风、方向传感器电性连接，所述深度传感器基于人体D骨架动作识别，现在主要有三种方法，一是用LSTM进行时序上的记忆，二是将骨架坐标转换成特殊的图片，用卷积网络进行特征提取以及记忆，三是将LSTM和CNN网络的结果进行融合，通过Kinect深度相机进行图像和声音的收集识别对目标做定位处理，继而通过所述孔径雷达扫描对周围环境状况建立完整数学模型，生成雷达图，全面分析出障碍分布情况。在已知障碍分布的情况下，通过程序算法进行进准计算，生成最为准确的拟合路径，再将此信号传达至控制系统，从而做到自动跟踪功能。

进一步的，所述机器人外壳内部与WIFI收发模块、孔径雷达电性连接，所述合成孔径雷达安装在机器人内部，利用孔径雷达与目标间的相对运动，将孔径雷达在每个不同位置上接收到的目标回波信号进行相干处理，这样小孔径天线就能获得大孔径天线的探测效果，具有很高的目标方位分辨率，再加上应用脉冲压缩技术又能获得很高的距离分辨率。通过扫描将数据转换为空间三维模型，对房间具体结构便有一个精确的分析。

进一步的，所述Kinect阵列麦克风内部与小型麦克风电性连接,所述Kinect阵列麦克风包含四个相互独立的小型麦克风，每个设备之间相距数厘米，其排列呈线形，捕捉多声道立体声，通过数字信号处理(DSP)等组件，根据所述Kinect阵列麦克风听声音的时间差来判断声源方向，所述Kinect阵列麦克风包含有效的噪声消除和回波抑制算法，同时采用波束成形技术，通过每个独立设备的响应时间确定音源位置，并尽可能避免环境噪声的影响。

进一步的，所述机器人外壳底部与电机、车轮电性连接，所述控制系统便将电子信号传输至机器人底部电机，电机驱动车轮机器人跟踪使用者。

与现有技术相比，本发明具有以下有益效果：

(1)熟练应用相关技术：Kinect深度相机的人体动作识别与预测技术，卡尔曼滤波器的数据处理技术，卷积神经网络算法的数据处理分析技术；

(2)开关量动作识别准确率达到90％以上，避免动作相互干扰。

(3)做到实时控制，数据发送频率10HZ以上。

(4)深度学习与识别手语：开发程序算法，学习简单手语，并进行深度学习，达到能与聋哑人士做到无障碍沟通。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的基于Kinect的多功能家庭机器人的结构示意图。

图2是根据本发明实施例的基于Kinect的多功能家庭机器人的第一结构示意图。

图3是根据本发明实施例的基于Kinect的多功能家庭机器人的第二结构示意图。

图4是根据本发明实施例的基于Kinect的多功能家庭机器人的爆炸结构示意图。

图5是根据本发明实施例的基于Kinect的多功能家庭机器人的流程图。

附图标记

1、机器人外壳；2、Kinect深度相机；3、摄像机；4、深度传感器；5、Kinect阵列麦克风；6、小型麦克风；7、孔径雷达；8、WIFI收发模块；9、方向传感器；10、电机；11、车轮。

具体实施方式

下面，结合附图以及具体实施方式，对发明做出进一步的描述：

在本发明的描述中，需要说明的是，术语“顶部”、“底部”、“一侧”、“另一侧”、“前面”、“后面”、“中间部位”、“内部”、“顶端”、“底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性；此外，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参阅图1-5，根据本发明实施例的基于Kinect的多功能家庭机器人,包括机器人外壳1、Kinect深度相机2、摄像机3、深度传感器4、Kinect阵列麦克风5、小型麦克风6、孔径雷达7、WIFI收发模块8、方向传感器9、电机10、车轮11，所述机器人外壳1前端设有Kinect深度相机2，所述Kinect深度相机2内部设有摄像机3、深度传感器4、Kinect阵列麦克风5、方向传感器9，所述机器人外壳1内部设有WIFI收发模块8、孔径雷达7，所述Kinect阵列麦克风5内部设有小型麦克风6多个，所述机器人外壳1底部设有电机10、车轮11。

通过本发明的上述方案，所述机器人外壳1前端与Kinect深度相机2电性连接，所述Kinect深度相机2主要依据人体节点信号生成人体节点数据，通过对人体主要节点的识别来确定人体动作，通过在虚拟环境中三维坐标系的建立，将人体节点的信号转变为三维坐标信号，通过三维坐标信号之间的差值，或者存在一些函数关系，来确定人体的动作行为。

通过本发明的上述方案，所述Kinect深度相机2内部与摄像机3、深度传感器4、Kinect阵列麦克风5、方向传感器9电性连接，所述深度传感器4基于人体3D骨架动作识别，现在主要有三种方法，一是用LSTM进行时序上的记忆，二是将骨架坐标转换成特殊的图片，用卷积网络进行特征提取以及记忆，三是将LSTM和CNN网络的结果进行融合，通过Kinect深度相机2进行图像和声音的收集识别对目标做定位处理，继而通过所述孔径雷达7扫描对周围环境状况建立完整数学模型，生成雷达图，全面分析出障碍分布情况。在已知障碍分布的情况下，通过程序算法进行进准计算，生成最为准确的拟合路径，再将此信号传达至控制系统，从而做到自动跟踪功能。

通过本发明的上述方案，所述机器人外壳1内部与WIFI收发模块8、孔径雷达7电性连接，所述合成孔径雷达7安装在机器人内部，利用孔径雷达7与目标间的相对运动，将孔径雷达7在每个不同位置上接收到的目标回波信号进行相干处理，这样小孔径天线就能获得大孔径天线的探测效果，具有很高的目标方位分辨率，再加上应用脉冲压缩技术又能获得很高的距离分辨率。通过扫描将数据转换为空间三维模型，对房间具体结构便有一个精确的分析。

通过本发明的上述方案，所述Kinect阵列麦克风5内部与小型麦克风6电性连接,所述Kinect阵列麦克风5包含四个相互独立的小型麦克风6，每个设备之间相距数厘米，其排列呈线形，捕捉多声道立体声，通过数字信号处理(DSP)等组件，根据所述Kinect阵列麦克风5听声音的时间差来判断声源方向，所述Kinect阵列麦克风5包含有效的噪声消除和回波抑制算法，同时采用波束成形技术，通过每个独立设备的响应时间确定音源位置，并尽可能避免环境噪声的影响。

通过本发明的上述方案，所述机器人外壳1底部与电机10、车轮11电性连接，所述控制系统便将电子信号传输至机器人底部电机10，电机10驱动车轮11机器人跟踪使用者。

在具体应用时，由Kinect深度相机2向电脑传输视觉信息，通过电脑对接收的数据进行处理。电脑将处理结果通过串口的方式传输到单片机中，再由单片机中的WIFI收发模块8传输到要进行操控的家具中。跟踪系统主要由kinect阵列麦克风5进行声音定位，识别出目标位置后，继而通过孔径雷达7扫描分析，对环境建立模型，从而通过程序算法生成最优路径，通过电机10驱动启动机器人进而对使用者自动跟踪。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限定本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.基于Kinect的多功能家庭机器人，其特征在于，包括机器人外壳(1)、Kinect深度相机(2)、摄像机(3)、深度传感器(4)、Kinect阵列麦克风(5)、小型麦克风(6)、孔径雷达(7)、WIFI收发模块(8)、方向传感器(9)、电机(10)、车轮(11)，所述机器人外壳(1)前端设有Kinect深度相机(2)，所述Kinect深度相机(2)内部设有摄像机(3)、深度传感器(4)、Kinect阵列麦克风(5)、方向传感器(9)，所述机器人外壳(1)内部设有WIFI收发模块(8)、孔径雷达(7)，所述Kinect阵列麦克风(5)内部设有小型麦克风(6)多个，所述机器人外壳(1)底部设有电机(10)、车轮(11)。

2.根据权利要求1所述的基于Kinect的多功能家庭机器人，其特征在于，所述机器人外壳(1)前端与Kinect深度相机(2)电性连接。

3.根据权利要求1所述的基于Kinect的多功能家庭机器人，其特征在于，所述Kinect深度相机(2)内部与摄像机(3)、深度传感器(4)、Kinect阵列麦克风(5)、方向传感器(9)电性连接。

4.根据权利要求1所述的基于Kinect的多功能家庭机器人，其特征在于，所述机器人外壳(1)内部与WIFI收发模块(8)、孔径雷达(7)电性连接。

5.根据权利要求1所述的基于Kinect的多功能家庭机器人，其特征在于，所述Kinect阵列麦克风(5)内部与小型麦克风(6)电性连接。

6.根据权利要求1所述的基于Kinect的多功能家庭机器人，其特征在于，所述机器人外壳(1)底部与电机(10)、车轮(11)电性连接。