CN109820493A - 一种基于智能红外感知的桌面伴侣系统及其控制方法 - Google Patents
一种基于智能红外感知的桌面伴侣系统及其控制方法 Download PDFInfo
- Publication number
- CN109820493A CN109820493A CN201910222611.3A CN201910222611A CN109820493A CN 109820493 A CN109820493 A CN 109820493A CN 201910222611 A CN201910222611 A CN 201910222611A CN 109820493 A CN109820493 A CN 109820493A
- Authority
- CN
- China
- Prior art keywords
- module
- intelligent
- desktop
- data
- body temperature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 title claims description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 40
- 230000036760 body temperature Effects 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000012546 transfer Methods 0.000 claims abstract description 3
- 238000004891 communication Methods 0.000 claims description 18
- 238000001931 thermography Methods 0.000 claims description 16
- 238000013136 deep learning model Methods 0.000 claims description 10
- 230000036651 mood Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 206010027940 Mood altered Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000007510 mood change Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及一种基于智能红外感知的桌面伴侣系统,其特征在于：所述系统包括数据检测模块、智能分析模块和执行模块；所述数据检测模块采集用户人体温度数据，并将数据传送至智能分析模块；所述智能分析模块根据人体温度数据，通过智能分析得到用户状态，并根据人体状态控制执行模块动作。本发明根据人体体温数据进行智能分析，并进行相应的反馈，有助于调剂用户工作状态。
Description
技术领域
本发明涉及机器人领域，涉及一种基于智能红外感知的桌面伴侣系统及其控制方法。
背景技术
随着人工智能时代的到来，机器人广泛应用于各个领域。工业，农业，教育，服务业等均能看到机器人的身影。使用机器人帮助人类更好的进行生产，生活，是机器人出现的初衷。桌面机器人作为服务类机器人，是以更好的为用户提供人性化服务为目的。目前的桌面服务类机器人，拥有孩童般的稚嫩声音和一些拟人化动作，还可以表达一定的情感。能够实现语音交互，进行简单的人机互动问答；实现人脸识别和追踪，智能家居等设备的语音操控；拥有播放儿歌、英语、报天气等功能。虽然功能多样，但是仅是以多种多样的功能实现对用户的陪伴，满足用户娱乐需求，并不能智能感知用户的潜在需求而主动做出交互反应，从而缓解用户的情绪及状态。当用户未提出某种需求时，桌面机器人就仅仅是桌面上的摆件。只是在用户通过语音或按键提出用户需求后才做出交互反应，因此现有桌面机器人仍未能实现深入的人机交互。
发明内容
有鉴于此，本发明的目的在于提供一种基于智能红外感知的桌面伴侣系统及其控制方法。
为实现上述目的，本发明采用如下技术方案：
一种基于智能红外感知的桌面伴侣系统,所述系统包括数据检测模块、智能分析模块和执行模块；所述数据检测模块采集用户人体温度数据，并将数据传送至智能分析模块；所述智能分析模块根据人体温度数据，通过智能分析得到用户状态，并根据人体状态控制执行模块动作。
进一步的，所述数据检测模块包括低分辨率红外热成像传感器、MCU最小系统、供电模块和通信模块；所述MCU最小系统与低分辨率红外热成像传感器、通信模块和供电模块分别连接。
进一步的，所述数据检测模块采用堆叠式设计，第一层为低分辨率红外热成像传感器和MCU最小系统；第二层为电源模块，第三层为通信模块，三层PCB之间使用一组插接端子连接。所述的低分辨率红外热成像传感器的实时数据感知用户体温，对用户身体健康状况进行检测。
进一步的，所述通信模块采用基于ZigBee自组网技术的通信模块。
进一步的，所述执行模块包括USB可调速风扇，语音装置和音乐播放装置。
一种基于智能红外感知的桌面伴侣系统的控制方法，包括以下步骤：
步骤S1:通过低分辨率红外热成像传感器采集人体的体温分布数据，并通过通信模块传输至智能分析模块；
步骤S2:智能分析模块通过深度学习模型对人体的体温分布数据进行分析，得到用户状态；
步骤S3:智能分析系统根据分析得到的用户状态，控制USB可调速风扇，语音装置和音乐播放装置进行动作。
进一步的，所述用户状态包括体温状况、身体舒适度、工作效率和心情状况。所述的智能分析模块通过深度学习模型分析感知用户身体舒适度，调节风扇转速；所述的智能分析系统通过深度学习模型分析感知用户工作效率，通过语音装置对久坐和低效进行提醒。
本发明与现有技术相比具有以下有益效果：
本发明堆叠式设计的数据检测模块利用低分辨率红外传感器对人体进行近距离深度感知，并通过深度学习模型进行智能分析，以贴合用户需求为宗旨与用户进行人机交互。
附图说明
图1是本发明系统结构示意图；
图2是本发明一实施例中数据检测模块示意图；
图3是本发明一实施例中深度学习方法实现图；
图4是本发明一实施例中数据集标签示意图；
图5是本发明一实施例中数据格式转换图；
图6是本发明一实施例中深度学习模型结构图；
图7是本发明一实施例中部分检测项准确率；
图8是本发明一实施例中机器人工作示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于智能红外感知的桌面伴侣系统,所述系统包括数据检测模块、智能分析模块和执行模块；所述数据检测模块采集用户人体温度数据，并将数据传送至智能分析模块；所述智能分析模块根据人体温度数据，通过智能分析得到用户状态，并根据人体状态控制执行模块动作，所述数据检测模块包括低分辨率红外热成像传感器、MCU最小系统、供电模块和通信模块；所述MCU最小系统与低分辨率红外热成像传感器、通信模块和供电模块分别连接。
在本实施例中，所述数据检测模块采用堆叠式设计，第一层为低分辨率红外热成像传感器和MCU最小系统；第二层为电源模块，第三层为通信模块，三层PCB之间使用一组插接端子连接。所述的低分辨率红外热成像传感器的实时数据感知用户体温，对用户身体健康状况进行检测。所述通信模块采用基于ZigBee自组网技术的通信模块。
在本实施例中，所述执行模块包括USB可调速风扇，语音装置和音乐播放装置。
一种基于智能红外感知的桌面伴侣系统的控制方法，包括以下步骤：
步骤S1:通过低分辨率红外热成像传感器采集人体的体温分布数据，并通过通信模块传输至智能分析模块；
步骤S2:智能分析模块通过深度学习模型对人体的体温分布数据进行分析，得到用户状态；
步骤S3:智能分析系统根据分析得到的用户状态，控制USB可调速风扇，语音装置和音乐播放装置进行动作。所述用户状态包括体温状况、身体舒适度、工作效率和心情状况。所述的智能分析模块通过深度学习模型分析感知用户身体舒适度，调节风扇转速；所述的智能分析系统通过深度学习模型分析感知用户工作效率，通过语音装置对久坐和低效进行提醒。
本实施例通过低分辨率红外热成像传感器以非接触式方式测量人体的体温分布情况，主要是人体头部的温度分布情况。利用深度学习方法通过神经网络模型对人体温度的变化特征和各种状态心情状况，工作状态等做匹配学习。根据不同状态下的温度分布特征对用户状态进行分类，分类为高效或低效，心情偏好或心情偏差，舒适或不适……如图3：深度学习方法实现图。
步骤01：初始数据收集。即通过低分辨率红外热成像传感器测量实时数据，传给上位机，并保存为文本文件。MCU最小系统使用IIC接口与低分辨率红外传感器通讯，读取其测得的数据，通过ZigBee自组网模块实现数据传输，上位机部分通过串口与ZigBee自组网模块通信。上位机接收数据，得到性别不同，身材不同，年龄不同的对象在不同天气，不同办公环境下不同心情，不同工作状态的样本数据，并保存为文本文件。数据收集过程中要求被收集对象为不同年龄不同性别，并处于不同心情不同工作状态下。根据数据收集对象的心情状态，工作状态等对数据文件分类并分别放入不同文件夹中。针对五个检测项——是否有人在桌面前，体温状况（正常与偏离正常），身体舒适度（舒适与不适），工作效率（高效与低效），心情状况的种类对文件夹下的子文件夹分别命名。如图4：数据集标签示意图，对数据集标注例如图中所示的数据标签。
步骤02：数据格式转换，建立温度数据库。将文本文件中的各个txt文件中的温度数据转换为[样本数，64]的矩阵，并生成对应的标签，及独热（one_hot）标签。如图5：数据格式转换图。该图为工作效率文件夹经过数据格式转换后的数据信息，可知在该数据集中共有10572个样本。
步骤03：数据集生成。将所有图像与其对应的标签文件合成一个用于训练的、可以进行高效读取的TF_Record文件,最终5类数据集——是否有人在桌面前，体温状况，身体舒适度，工作效率，心情状况分别得到2个TF_Record文件：训练集，测试集。
步骤04：建立深度学习初始模型。根据所实现的功能特点采用不同深度学习模型实现分类判断。是否有人在桌面前办公，体温状况（正常与偏离正常）及身体舒适度（舒适与不适）及工作效率（高效与低效）及心情状况（心情偏好与心情偏差）的判断均为二分类问题，均采用适合以单通道灰度图为输入的CNN网络Lenet5，由此建立5个模型分别对应训练是否有人在桌面前办公，体温状况，身体舒适度，工作效率，心情状况文件下所对应的温度数据图像库。模型最大执行步数均为50000，初始学习率为0.001，学习率衰减参数为0.99，参数的二次正则化超参数为0.0001，批次大小为50。如图6：深度学习模型结构图。
步骤05：训练初始模型，得到目标模型。上述步骤建立的5个初始模型通过前向-反向传播算法分别在对应的温度数据库上进行训练，得到最终的目标模型。5个目标模型分别对应具有检测是否有人在桌面前，体温状况，身体舒适度，工作效率，心情状况的温度特征知识。
步骤06：固化模型用于实时检测。模型性能随迭代次数上升，每隔300s保存一次训练模型，并用测试集验证测试效果，观察模型性能变化，当模型性能达到稳定时，将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置的常量，将待检测的温度数据灰度图像输入到固化后的目标模型中输出置信度得分。如图7：部分检测项准确率，为检测项是否有人在桌面前和工作效率的准确率。
步骤07：模型嵌入，实时应用。将目标模型嵌入至系统的智能分析模块中，当系统运行时，低分辨率红外热成像传感器采集到新数据，通过IIC接口与MCU最小系统通信输入到智能分析模块，通过前向传播算法计算结果，得到判断结果。首先初步判断——每隔10min检测是否有人开始在桌面前办公，如果检测到没有人在桌面前办公，机器人处于低功耗休眠状况；否则机器人开始工作进行深度判断，即得到体温状况，身体舒适度，工作效率，心情状况的分类判断，根据结果控制机器人作出相应的反应。当用户心情发生变化时，便基于用户情绪进行语音交互；对用户身体健康状况进行监测，当用户体温异常时，发出提醒；当用户工作效率较低时，对久坐和低效工作进行提醒；根据用户身体舒适度调节风扇转速；当用户心情发生微妙变化时，配合心情不同播放不同的音乐。过程如图8 ：机器人工作示意图。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (7)
1.一种基于智能红外感知的桌面伴侣系统,其特征在于：所述系统包括数据检测模块、智能分析模块和执行模块；所述数据检测模块采集用户人体温度数据，并将数据传送至智能分析模块；所述智能分析模块根据人体温度数据，通过智能分析得到用户状态，并根据人体状态控制执行模块动作。
2.根据权利要求1所述的一种基于智能红外感知的桌面伴侣系统,其特征在于：所述数据检测模块包括低分辨率红外热成像传感器、MCU最小系统、供电模块和通信模块；所述MCU最小系统与低分辨率红外热成像传感器、通信模块和供电模块分别连接。
3.根据权利要求2所述的种基于智能红外感知的桌面伴侣系统,其特征在于：所述数据检测模块采用堆叠式设计，第一层为低分辨率红外热成像传感器和MCU最小系统；第二层为电源模块，第三层为通信模块，三层PCB之间使用一组插接端子连接。
4.根据权利要求2所述的一种基于智能红外感知的桌面伴侣系统,其特征在于：所述通信模块采用基于ZigBee自组网技术的通信模块。
5.根据权利要求2所述的一种基于智能红外感知的桌面伴侣系统,其特征在于：所述执行模块包括USB可调速风扇，语音装置和音乐播放装置。
6.根据权利要求5所述的一种基于智能红外感知的桌面伴侣系统的控制方法,其特征在于，包括以下步骤：
步骤S1:通过低分辨率红外热成像传感器采集人体的体温分布数据，并通过通信模块传输至智能分析模块；
步骤S2:智能分析模块通过深度学习模型对人体的体温分布数据进行分析，得到用户状态；
步骤S3:智能分析系统根据分析得到的用户状态，控制USB可调速风扇，语音装置和音乐播放装置进行动作。
7.根据权利要求6所述的一种基于智能红外感知的桌面伴侣系统的控制方法,其特征在于：所述用户状态包括体温状况、身体舒适度、工作效率和心情状况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910222611.3A CN109820493A (zh) | 2019-03-22 | 2019-03-22 | 一种基于智能红外感知的桌面伴侣系统及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910222611.3A CN109820493A (zh) | 2019-03-22 | 2019-03-22 | 一种基于智能红外感知的桌面伴侣系统及其控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109820493A true CN109820493A (zh) | 2019-05-31 |
Family
ID=66871092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910222611.3A Pending CN109820493A (zh) | 2019-03-22 | 2019-03-22 | 一种基于智能红外感知的桌面伴侣系统及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109820493A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170098621A (ko) * | 2016-02-22 | 2017-08-30 | (주)아이오텍 | 사물인터넷 기반의 반려동물 친구로봇 및 이를 이용한 반려동물 관리시스템 |
| CN108346324A (zh) * | 2018-03-27 | 2018-07-31 | 江苏数加数据科技有限责任公司 | 一种提高学习效率的智能伴读系统 |
| CN108769224A (zh) * | 2018-05-23 | 2018-11-06 | 厦门波耐模型设计有限责任公司 | 伺寝机器人物联网系统 |
| CN109106351A (zh) * | 2018-09-25 | 2019-01-01 | 齐鲁工业大学 | 一种基于物联网感知的人体疲劳检测与缓释系统及方法 |
| CN210472133U (zh) * | 2019-03-22 | 2020-05-08 | 福州大学 | 一种基于智能红外感知的桌面伴侣系统 |
-
2019
- 2019-03-22 CN CN201910222611.3A patent/CN109820493A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170098621A (ko) * | 2016-02-22 | 2017-08-30 | (주)아이오텍 | 사물인터넷 기반의 반려동물 친구로봇 및 이를 이용한 반려동물 관리시스템 |
| CN108346324A (zh) * | 2018-03-27 | 2018-07-31 | 江苏数加数据科技有限责任公司 | 一种提高学习效率的智能伴读系统 |
| CN108769224A (zh) * | 2018-05-23 | 2018-11-06 | 厦门波耐模型设计有限责任公司 | 伺寝机器人物联网系统 |
| CN109106351A (zh) * | 2018-09-25 | 2019-01-01 | 齐鲁工业大学 | 一种基于物联网感知的人体疲劳检测与缓释系统及方法 |
| CN210472133U (zh) * | 2019-03-22 | 2020-05-08 | 福州大学 | 一种基于智能红外感知的桌面伴侣系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105511608B (zh) | 基于智能机器人的交互方法及装置、智能机器人 | |
| US10959667B2 (en) | Intelligent sleep system, and user side system and cloud side system thereof | |
| CN101795831B (zh) | 机器人控制系统、机器人 | |
| CN108413588B (zh) | 一种基于热成像及bp神经网络的个性化空调控制系统及方法 | |
| CN109920544A (zh) | 基于体感信息的实时自适应智能楼宇系统 | |
| EP3373525A2 (en) | Electronic device and method using machine learning for identifying characteristics of users located within a specific space | |
| CN108510049B (zh) | 基于情感-时空信息的机器人服务自主认知方法及机器人 | |
| CN112113317B (zh) | 一种室内热环境控制系统及方法 | |
| CN113034322B (zh) | 一种基于互联网的线上教育监督系统及方法 | |
| US20150047119A1 (en) | Sleep Cycle Bed | |
| KR20220119237A (ko) | 인공지능 로봇을 활용한 사용자 심리 상태를 평가하는 방법 및 장치 | |
| CN210472133U (zh) | 一种基于智能红外感知的桌面伴侣系统 | |
| Feng et al. | Alert-based wearable sensing system for individualized thermal preference prediction | |
| CN105759677A (zh) | 一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法 | |
| KR20190098099A (ko) | 안마 기구 | |
| CN109820493A (zh) | 一种基于智能红外感知的桌面伴侣系统及其控制方法 | |
| CN109129467B (zh) | 一种基于认知的机器人交互方法及系统 | |
| CN213119453U (zh) | 一种室内热环境控制系统 | |
| JP7147942B1 (ja) | データ収集装置、データ収集システム、データ収集方法 | |
| CN106778040B (zh) | 一种功能评估与干预系统 | |
| Ma et al. | Activity level assessment of wheelchair users using smart cushion | |
| CN113270187A (zh) | 一种智能远程自闭症康复训练系统 | |
| CN112084814A (zh) | 一种学习辅助方法和智能装置 | |
| Gonzalez-Cely et al. | Real-time posture identification system for wheelchair users preventing the generation of pressure ulcers | |
| Naeem et al. | Voice controlled humanoid robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |