CN112990067A - 一种面向独居人群的机器人智能情绪识别治愈方法 - Google Patents
一种面向独居人群的机器人智能情绪识别治愈方法 Download PDFInfo
- Publication number
- CN112990067A CN112990067A CN202110346010.0A CN202110346010A CN112990067A CN 112990067 A CN112990067 A CN 112990067A CN 202110346010 A CN202110346010 A CN 202110346010A CN 112990067 A CN112990067 A CN 112990067A
- Authority
- CN
- China
- Prior art keywords
- user
- value
- characteristic index
- emotion
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 20
- 230000008451 emotion Effects 0.000 claims description 76
- 230000014509 gene expression Effects 0.000 claims description 38
- 230000035876 healing Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 20
- 210000001508 eye Anatomy 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 15
- 230000001815 facial effect Effects 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 14
- 239000000203 mixture Substances 0.000 claims description 11
- 230000008921 facial expression Effects 0.000 claims description 9
- 210000003128 head Anatomy 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000009432 framing Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000013139 quantization Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000009825 accumulation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000036651 mood Effects 0.000 description 4
- 238000009395 breeding Methods 0.000 description 3
- 230000001488 breeding effect Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 206010040954 Skin wrinkling Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种面向独居人群的机器人智能情绪识别治愈方法，解决了独居人群缺少陪伴，养宠物或者宠物机器人都难以做到陪伴和智能便捷两全的问题，其技术方案要点是通过情绪特征指标采集监测进行情绪初步判断，再通过机器人本体进行使用者表情识别算法进行情绪类型进一步确认，并根据确认情绪类型作出对应交互动作对使用者进行治愈陪伴，本发明的一种面向独居人群的机器人智能情绪识别治愈方法，能智能地对使用者进行情绪监测，可直接进行交互治愈陪伴，更加智能、实用。
Description
技术领域
本发明涉及宠物机器人，特别涉及一种面向独居人群的机器人智能情绪识别治愈方法。
背景技术
随着社会的发展，现如今空巢老人与独居青年人数持续上涨，独居人群长时间缺少照顾和陪伴，易感到孤独，也可能出现多种心理问题；而养宠物虽然能给人们陪伴感，但也存在太多限制，随着生活节奏的加快和生活方式的改变，养宠物反而可能成为一种负担。随着科技的发展，电子宠物机器人也逐步应运而生，但目前智能电子宠物大多停留在人机交互层面，交互生硬，给使用者带来的陪伴感不强，用户体验不佳，还有待改进的空间。
发明内容
本发明的目的是提供一种面向独居人群的机器人智能情绪识别治愈方法，能智能地对使用者进行情绪监测，可直接进行交互治愈陪伴，更加智能、实用。
本发明的上述技术目的是通过以下技术方案得以实现的：
一种面向独居人群的机器人智能情绪识别治愈方法，包括有以下步骤：
S1、使用者佩戴手环，手环的生理特征检测模块实时采集获取使用者的脉搏信号，并根据脉搏信号计算设定的特征指标；
S2、手环进行实时采集监测，当检测到使用者脉搏信号中设定特征指标超出平静状态下基准阈值时，通过特征指标分析子算法获取使用者初步判断情绪类型，并发送初步判断情绪类型信息和情绪检测请求信号至机器人本体；
S3、机器人本体的本体主控模块接收获取手环发送的情绪检测请求信号，启动机器人本体寻找使用者并通过摄像头抓取拍摄使用者面部图片，进行表情识别算法，根据表情识别结果匹配设定的识别情绪类型，并结合初步判断情绪类型信息确认使用者当前情绪类型；
S4、机器人本体根据确认的使用者当前情绪类型，调用并执行对应治愈动作；
S5、间隔设定时长周期性进行特征指标分析判断，若判定情绪类型维持，则持续执行治愈动作；若判定的情绪类型变化，则重新进行表情识别算法并切换执行对应治愈动作；若检测到使用者恢复平静状态时，机器人恢复至初始状态，以等待下一次表情识别及执行对应治愈动作。
作为优选，综上所述，本发明具有以下有益效果：
通过手环实时对使用者的脉搏信号进行采集监测，能及时对使用者的情绪进行初步判断，并且在检测到情绪出现非平静状态时，能及时的再次通过机器人本体对使用者情绪类型进行二次识别确认；机器人本体能寻找跟随使用者并通过表情识别算法确认情绪后，能智能的进行交互陪伴，执行对应治愈动作，实现智能、自动的检测及交互，无需使用者发出指令后进行才可交互，能增强陪伴感和体验感。
附图说明
图1为本方法的流程示意框图；
图2为检测确认使用者情绪类型的具体流程示意图；
图3为人形轮廓宽度变化趋势示意图；
图4为人形轮廓判别流程图；
图5为机器人本体寻找跟随使用者的运动流程示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
根据一个或多个实施例，公开了一种面向独居人群的机器人智能情绪识别治愈方法，如图1所示，包括有以下步骤：
S1、使用者佩戴手环，手环的生理特征检测模块实时采集获取使用者的脉搏信号，并根据脉搏信号计算设定的特征指标；
S2、手环进行实时采集监测，当检测到使用者脉搏信号中设定特征指标超出平静状态下基准阈值时，通过特征指标分析子算法获取使用者初步判断情绪类型，并发送初步判断情绪类型信息和情绪检测请求信号至机器人本体；
S3、机器人本体的本体主控模块接收获取手环发送的情绪检测请求信号，启动机器人本体寻找使用者并通过摄像头抓取拍摄使用者面部图片，进行表情识别算法，根据表情识别结果匹配设定的识别情绪类型，并结合初步判断情绪类型信息确认使用者当前情绪类型；
S4、机器人本体根据确认的使用者当前情绪类型，调用并执行对应治愈动作；
S5、间隔设定时长周期性进行特征指标分析判断，若判定情绪类型维持，则持续执行治愈动作；若判定的情绪类型变化，则重新进行表情识别算法并切换执行对应治愈动作；若检测到使用者恢复平静状态时，机器人恢复至初始状态，以等待下一次表情识别及执行对应治愈动作。
其中，步骤S1中，佩戴的手环持续采集获取使用者PPG波形，为带有噪声的脉搏信号，需要对采集带噪脉搏信号进行去噪处理。
对采集到的脉搏PPG波形使用bior3.5作为小波基进行离散小波变换，将脉搏PPG波形做8层分解后获得含有噪声的小波系数ω；
在高频小波系数中设λ为阈值进行量化，若高频小波系数大于λ，则将该小波系数缩小一个单位，对于小于λ的小波系数将其归零；
其中N为数据长度，σ为噪声标准差；
将量化后的小波系数逆小波变化得到去噪后的波形，得到去噪后的脉搏信号。
PPG波形中一阶差分信号表现为过零点，二阶差分信号表现为极小值。设f(n)为脉搏信号序列，s1(n),s2(n)分别是PPG信号的一阶、二阶差分序列。
根据去噪获取的脉搏信号，计算求取脉搏信号的一阶和二阶的差分序列，根据波峰一阶差分过零点和二阶差分极小值的出现相对应的特点，再满足两次波峰之间的时间差大于450ms，小于1150ms与相邻波峰的两个波峰的峰值，后者的电压变化量不能大于前一个波峰峰值的50％的条件，确定有效波峰。
设定一个波段的P-P间期序列为T＝[t1,t2,t3,...,tN],N为序列中元素的个数，ti为时间序列的第i个元素；该波段的波峰电压值序列为V＝[v1,v1,v3,...,vN]，N为序列中元素的个数，vi为序列中第i个波峰的电压值；规定一个波段的P-P间期序列含60个波峰，N＝60。
计算对应特征指标，特征指标包括有：
P-P区间的平均值MEAN、波段平均心率H_R、电压序列均值V_Mean、电压序列最大值V_Max、电压序列最小值V_Min、电压序列中值V_Middle、电压序列标准差V_SDNN；
具体计算公式如下：
P-P区间的平均值：
波段平均心率：
电压序列均值：
电压序列最大值：V_Max＝MAX(V)；
电压序列最小值：V_Min＝MIN(V)；
电压序列中值：V_Middle＝MIDDLE(V)；
电压序列标准差：
使用者佩戴手环可实时采集脉搏信号进而可计算获得对应实时特征指标。
具体的，步骤S2中，对通过特征指标分析子算法获取使用者初步判断情绪类型，根据每个使用者的基准特征指标数值的差异，需要根据使用者进行基准的设定，通过手环在使用者平静状态下进行采集并将平静状态下计算获取的特征指标作为使用者的基准特征指标，进行存储后，用于后续的分析。
若某一时间段监测到使用者的特征指标MEAN>平静状态下的MEAN数值，且特征指标H_R<平静状态下的H_R数值,则执行特征指标情绪分析子算法。
特征指标分析子算法通过对比实时特征指标与基准特征指标，进行使用者情绪的初步判断：
若实时特征指标电压序列均值V_Mean小于基准特征指标的V_Mean数值，实时特征指标V_Min小于基准特征指标的V_Min数值，实时特征指标V_Middle小于基准特征指标的V_Middle数值，则初步判断情绪类型为高兴；
若实时特征指标电压序列均值V_Mean大于基准特征指标的V_Mean数值，实时特征指标V_Min大于基准特征指标的V_Min数值，实时特征指标V_Middle大于基准特征指标的V_Middle数值，实时特征指标V_Max大于基准特征指标的V_Max数值，实时特征指标V_SDNN大于基准特征指标的V_SDNN数值，则初步判断情绪类型为悲伤；
若实时特征指标电压序列均值V_Mean大于基准特征指标的V_Mean数值，实时特征指标V_Min大于基准特征指标的V_Min数值，实时特征指标V_Middle大于基准特征指标的V_Middle数值，实时特征指标V_Max大于基准特征指标的V_Max数值，实时特征指标V_SDNN小于基准特征指标的V_SDNN数值，则初步判断情绪类型为恐惧。
如图2所示，当手环采集初判出对应情绪类型时，输出初步判断情绪类型信息，并且同时发送情绪检测请求信号至机器人本体上，以请求机器人本体对使用者当前情绪进行进一步检测确认，以便于进行对应治愈陪伴。
机器人本体接收到情绪检测请求信号后，启动机器人本体进行寻找使用者并进行表情识别算法进行二次检测分析使用者情绪。
机器人本体通过摄像头拍摄获取使用者面部图片，通过卷积神经网络模型训练获取面部表情识别机对使用者面部图片进行情绪识别分类，面部表情是由五官以及肌肉的变化所引起的，根据Hess、Blais、Eisenbarth等人的研究实验表明：眼部和嘴部在面部表情识别中占有主导性的作用，并且在不同表情中所起的作用不同，因此对每一张有表情标签的图像分别获取不同焦点数据，构建卷积神经网络模型，采用面部区域、眼部区域、嘴部区域三个渠道将不同焦点图像分别输入网络进行特征提取和表情识别，最后，采用基于决策层的融合技术将三个渠道的识别结果进行相对多数投票决策，获取整体最优识别率。
面部识别：对给定图片进行扫描，判断是否存在面部，框选图片中提取面部区域，再次提取眼部区域与嘴部区域，剔除非人脸区域；
眼部表情特征识别：根据眼部ROI比例因子进行识别判断，分别为包括有Xeye与Yeye，分别表示眼部矩形区域的左上角坐标；Wface与Hface，分别为面部区域的宽与高；Weye与Heye，分别表示眼部区域的宽与高；眼部表情运动特征具体表现型：
开心：1.眉毛略微下弯；2.下眼睑出现皱纹，外眼角出现鱼尾纹并向外扩张；
恐惧：1.眉毛抬起并皱起；2.上眼睑抬起，下眼睑拉紧；
沮丧：1.眉毛内角周期并向上抬；2.眼内角上眼皮抬高；
眼部ROI比例因子：
嘴部表情特征识别：根据嘴部ROI比例因子进行识别判断，分别为包括有Xmouth与Ymouth分别表示嘴部矩形区域的左上角坐标；Wface与Hface分别为面部区域的宽与高；Wmouth与Hmouth分别表示嘴部区域的宽与高；嘴部表情运动特征具体表现型：
开心：嘴巴可能张开并露出牙齿，唇角向后拉并上抬；
恐惧：嘴巴张开，嘴唇向后拉；
沮丧：嘴角下拉；
嘴部ROI比例因子：
建立除了输入层，网络深度为15层的神经网络，其中包括6层卷积层、3层池化层，2层shortcut层，1层可分离卷积层，2层全连接层和1层分类层。为了增强不同表情类间的差异性，同时最小化相同类内的距离，网络模型采用softmax loss与center loss联合的损失函数，最后采用多数投票集成法来获得最后的判别结果。
机器人本体通过表情识别算法获取识表情别结果，并匹配对应的识别情绪类型，将使用者识别情绪类型与接收到的初步判断情绪类型进行比对，当对比属于同一类型情绪时，机器人本体进行对应动作以对使用者进行治愈。当情绪类型不一致时，则再次进行初步判断情绪类型及识别情绪类型的获取分析。
若确认的情绪类型为高兴，机器人本体执行高兴子算法，像素眼显示开心表情，并摇动机械尾巴，通过语音识别模块与使用者进行交互对话；
若确认的情绪类型为恐惧，机器人本体执行恐惧子算法，跟随使用者并缩短跟随距离至0.5m，同时选取若干句设定中用于恐惧治愈的语音并发声，并于语音发声结束后播放对应存储用于放松的歌曲；
若确认的情绪类型为悲伤，机器人本体执行悲伤子算法，跟随使用者并缩短跟随距离至0.5m，同时选取若干句设定中用于悲伤治愈的语音并发声，并于语音发声结束后播放对应存储用于舒缓的歌曲，并在歌曲结束后播放选取的若干段笑话；
每间隔0.5s通过检测使用者实时特征指标，进行判断，若判定情绪保持，机器人本体维持治愈动作；若使用者情绪恢复至平静状态，则终止表情识别算法并停止当前治愈动作。
同时，机器人本体通过语音识别模块实时接收使用者语音指令信息，当接收到使用者拒绝治愈或拒绝接近指令时，机器人本体停止运动，同时停止表情识别及治愈动作，恢复至初始状态。
具体的，机器人本体接收到情绪检测请求信号时：
当机器人本体处于跟随使用者状态时，可通过发声吸引使用者转向朝向机器人本体以抓取拍摄使用者面部图片，也可通过机器人本体通过人像识别算法结合运动模块，移动至使用者面部前方，拍摄使用者面部图片，再对面部图片进行表情识别算法。
当机器人本体处于待机状态时，机器人本体通过手环定位确定使用者方位并移动靠近，红外热释传感器实时检测周围环境，云台带动机器人本体旋转搜索使用者，摄像头实时拍摄，通过人形轮廓分析提取算法进行人像识别确认使用者，直至处于跟随或靠近使用者状态，再进行面部图片抓取及表情识别。
机器人本体在进行情绪治愈时寻找跟随使用者，在待机状态下也进行检测，以在检测到使用者时跟随并陪伴使用者。面对独居人群，机器人本体通过智能跟随进行陪伴。具体操作如下：
语音识别模块实时检测使用者语音指令，并在接收到使用者召唤语音指令时，启动红外热释传感器进行检测判断使用者是否在周围设定范围内；红外热释传感器安装有四个，分别安装在机器人本体的四周，能对机器人本体四周环境实时或周期性进行检测。
待机状态下红外热释传感器周期性检测周围环境，优选设置为每间隔10秒检测一次周围环境，且检测范围为2-3米范围内。待机状态时，摄像头关闭。
当红外热释传感器启动并检测到设定检测范围内存在使用者时，启动摄像头模块，并通过PID算法控制云台带动摄像头旋转以寻找并确定使用者方位；云台设置于机器人本体的脖子处，可周向旋转360度，通过PID算法控制云台并带动机器人本体旋转360度以进行人像识别搜索。
PID控制算法为：在PID算法中要明确设定值与实际值，然后计算出偏差err＝设定值-实际值。通过偏差得到补偿量，即实际值加上补偿量就会接近设定值。补偿量的计算方法有很多，一般有位置式，增量式。这里采用位置式的计算方法
PID_return＝kP*errP+kI*errI+kD*errD
其中errP＝err,errI+＝err,errD＝err-err_last。err_last为上一次的误差。
由于errI是误差的累加，为了防止溢出一般来讲是需要限幅。限幅采用的方法是超限削弱积分法。限制积分的上限为某一恒定值，当误差累加超过上限值时使得errI不再增加。在程序中，设定值为Openmv屏幕中心的横坐标160(假定像素320*240)，实际值为人的中心的横坐标记为px，误差值为err＝160-px。然后根据PID计算公式得出补偿量，实现PID控制。
通过人像识别法识别使用者，并通过避障算法向使用者方向前行，直至移动到预定位置后进行设定距离的跟随。
其中，机器人本体的前端的左右两侧设置有激光测量传感器，实现实时测距及智能避障。摄像头模块执行人像识别算法后找到使用者的方向，宠物机器人转向摄像头所指的方向并前行。当前方激光测量传感器与摄像头模块检测到前方存在非人障碍物时，比较左右激光测量传感器所测量的数据，通过PID方法，若左侧激光测量传感器返回值较大，则宠物左转，若右侧激光测量传感器返回值较大，则宠物右转。待绕过非人障碍物后，继续执行人像识别算法跟踪使用者的位置与方向，直到移动到距使用者1-1.5m的预定位置。
当机器人本体接收到使用者发出的拒绝跟随语音指令时，停止跟随并退后超出检测范围并进入待机状态。
其中，人像识别算法通过人形轮廓分析提取算法进行人像识别，基于CNN(卷积神经网络)网络库进行人像识别，既可以检测人的背影也可以识别人脸以及人的侧影。保证了摄影头稳定的跟踪使用者，防止丢失使用者的位置信息。
人像识别采用改进的高斯混合背景模型(Gaussian Mixture Model,GMM)的人型轮廓分析提取算法。可以实现在多种典型的家居场景下准确有效地寻找到人像。
高斯模型的理论基础是高斯分布。其公式如下
其中，x为随机变量，μ为均值，σ为方差。对于每帧图像，每个像素点的像素值在一段时间内的分布服从高斯分布。然而在实际家居生活中，存在各种各样的噪声干扰，例如光线变化和风扇的旋转等，一个高斯分布无法准确的描述背景信息。高斯混合背景模型使用多个高斯分布对动态变化的背景进行建模，用多个模型来描述背景信息，以达到更加准确提取背景的效果。在高斯混合模型中，假设每个像素点之间相互独立。背景图像的每一个像素分别用K个高斯分布构成的高斯混合模型来建模，即
其中，xj表示像素j在t时刻的取值，
表示t时刻高斯混合模型中第i个高斯分布的全值系数的估计值
表示t时刻高斯混合模型中第i个高斯分布的均值向量和协方差矩阵，η为高斯分布概率密度函数，K的取值一般为3～7。
进行背景的训练与前景提取：
使用前几帧图像进行背景训练，建立高斯模型，同时背景发生改变时对背景进行实时更新。得到背景信息后即可进行前景提取。将背景训练得到的高斯模型按照
从小到大排序，按照如下公式选取前B个模型来描述背景：
其中，T为阈值，1≤b≤K。
将采集到的图像的每个像素点的灰度值与B个高斯模型进行比较，若满足
则该像素属于背景，否则属于前景。
在家居环境下，除了行人，还存在很多运动目标，例如，猫、狗和滚动的皮球等等，这些运动目标都会被高斯混合模型提取出来，需对前景信息进行区分，采用基于宽度直方图的轮廓判别法。将前景信息区域的像素按照竖直方向建立宽度直方图。对于人形轮廓其宽度变化趋势见图3所示。曲线的第一个峰值区域对于人的头部，由于脖颈的宽度小于头部的宽度，曲线下降，接着去先开始快速上升，达到第二个峰值，这对于着肩部的宽度，并且大于头部的宽度，然后去先开始下降速度由快变慢，再变快。
按照如下步骤进行人型轮廓判别，如图4所示。
(1)绘制轮廓宽度直方图；
(2)计算宽度直方图的驻点，若驻点小于4，则判定为非人形轮廓；否则，选取对应人的头部轮廓，颈部轮廓，肩部轮廓和腿部轮廓的驻点，分别记为y驻点1，y驻点2，y驻点3和y驻点4，其中y驻点3对应宽度直方图宽度最大的点，y驻点2为y驻点3左侧宽度最小的点，y驻点1为y驻点3左侧宽度最大的点，y驻点4为y驻点3右侧宽度最大的点。
(3)比较四个驻点的大小。若y驻点2＜y驻点1，y驻点4＜y驻点3。则转入步骤(4)；否则，判为非人形轮廓；
(4)计算头部宽度于肩部宽度的比值
若λ的大小满足th1≤λ≤th2,则判为人形轮廓；否则，为非人形轮廓。其中th1和th2为实验所的阈值，行人正对摄像机对应阈值th1，行人侧对摄像机对应阈值th2。
最后，将得到的前景信息取平均值，计算出平均的横坐标，作为Openmv的当前目标位置(记为px)。至此完成对于人像识别。
摄像头模块执行人像识别算法后找到使用者的方向，宠物机器人转向摄像头所指的方向并前行。如图5所示，当前方激光测量传感器与摄像头模块检测到前方存在非人障碍物时，比较左右激光测量传感器所测量的数据，通过PID方法，若左侧激光测量传感器返回值较大，则宠物左转，若右侧激光测量传感器返回值较大，则宠物右转。待绕过非人障碍物后，继续执行人像识别算法跟踪使用者的位置与方向，直到移动到距使用者1-1.5m的预定位置。
其中，PID控制算法为：在PID算法中要明确设定值与实际值，然后计算出偏差err＝设定值-实际值。通过偏差得到补偿量，即实际值加上补偿量就会接近设定值。补偿量的计算方法有很多，一般有位置式，增量式。这里采用位置式的计算方法
PID_return＝kP*errP+kI*errI+kD*errD
其中errP＝err,errI+＝err,errD＝err-err_last。err_last为上一次的误差。
由于errI是误差的累加，为了防止溢出一般来讲是需要限幅。限幅采用的方法是超限削弱积分法。限制积分的上限为某一恒定值，当误差累加超过上限值时使得errI不再增加。在程序中，设定值为Openmv屏幕中心的横坐标160(假定像素320*240)，实际值为人的中心的横坐标记为px，误差值为err＝160-px。然后根据PID计算公式得出补偿量，实现PID控制。
手环及机器人本体相互配合进行二次检测，先通过手环实时进行检测采集初步判断使用者情绪类型，并在判断出现非平静状态情绪时通过机器人本体进行面部表情识别，进而进行二次判断，以使得对使用者情绪的识别把握更加准确，机器人本体对应使用者情绪作出相对应动作，可实时掌握使用者的情绪状态来变换不同的陪绑模式，能给使用者带来一定程度的治愈效果。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
Claims (10)
1.一种面向独居人群的机器人智能情绪识别治愈方法，其特征是，包括有以下步骤：
S1、使用者佩戴手环，手环的生理特征检测模块实时采集获取使用者的脉搏信号，并根据脉搏信号计算设定的特征指标；
S2、手环进行实时采集监测，当检测到使用者脉搏信号中设定特征指标超出平静状态下基准阈值时，通过特征指标分析子算法获取使用者初步判断情绪类型，并发送初步判断情绪类型信息和情绪检测请求信号至机器人本体；
S3、机器人本体的本体主控模块接收获取手环发送的情绪检测请求信号，启动机器人本体跟随或寻找使用者并通过摄像头抓取拍摄使用者面部图片，进行表情识别算法，根据表情识别结果匹配设定的识别情绪类型，并结合初步判断情绪类型信息确认使用者当前情绪类型；
S4、机器人本体根据确认的使用者当前情绪类型，调用并执行对应治愈动作；
S5、间隔设定时长周期性进行特征指标分析判断，若判定情绪类型维持，则持续执行治愈动作；若判定的情绪类型变化，则重新进行表情识别算法并切换执行对应治愈动作；若检测到使用者恢复平静状态时，机器人恢复至初始状态，以等待下一次表情识别及执行对应治愈动作。
2.根据权利要求1所述的面向独居人群的机器人智能情绪识别治愈方法，其特征是，手环进行采集初判的步骤包括有：
S11、于使用者平静状态下采集脉搏PPG波形，计算获取并保存使用者的各基准特征指标；实时持续采集使用者脉搏PPG波形，通过去噪算法将采集的脉搏PPG波形进行去噪获得脉搏信号；带噪的脉搏信号为f(t)＝s(t)+n(t)，其中，s(t)为脉搏信号，n(t)为噪声，f(t)为带噪脉搏信号；
S12、根据脉搏信号，计算求取脉搏信号的一阶和二阶的差分序列并确定有效波峰，计算对应特征指标；特征指标包括有P-P区间的平均值MEAN、波段平均心率H_R、电压序列均值V_Mean、电压序列最大值V_Max、电压序列最小值V_Min、电压序列中值V_Middle、电压序列标准差V_SDNN；
S21、对比实时采集的特征指标与基准特征指标，若判定在设定时长内监测到使用者实时特征指标P-P区间的平均值MEAN大于基准特征指标的MEAN数值，且实时特征指标的波段平均心率H_R小于基准特征指标的H_R数值，则执行特征指标分析子算法；
S22、进行特征指标分析子算法，根据对应特征指标确定初步判断情绪类型，并通过蓝牙发送发送初步判断情绪类型信息及情绪检测请求信号至机器人本体。
3.根据权利要求2所述的面向独居人群的机器人智能情绪识别治愈方法，其特征是：通过去噪算法获得脉搏信号具体为：
对采集到的脉搏PPG波形进行使用bior3.5作为小波基进行离散小波变换，将脉搏PPG波形做8层分解后获得含有噪声的小波系数ω；
在高频小波系数中设λ为阈值进行量化，若高频小波系数大于λ，则将该小波系数缩小一个单位，对于小于λ的小波系数将其归零；
其中N为数据长度，σ为噪声标准差；
将量化后的小波系数逆小波变化得到去噪后的波形，得到去噪后的脉搏信号。
4.根据权利要求3所述的面向独居人群的机器人智能情绪识别治愈方法，其特征是，各特征指标的计算获取具体为：
对去噪处理后的脉搏信号，求取一阶和二阶的差分序列，根据波峰一阶差分过零点和二阶差分极小值的出现相对应的特点，满足两次波峰之间的时间差大于450ms，小于1150ms与相邻波峰的两个波峰的峰值，后者的电压变化量不能大于前一个波峰峰值的50％的条件，找到有效波峰；
设f(n)为脉搏信号序列，s1(n),s2(n)分别是PPG信号的一阶、二阶差分序列；
设定一个波段的P-P间期序列为T＝[t1,t2,t3,...,tN],N为序列中元素的个数，ti为时间序列的第i个元素；该波段的波峰电压值序列为V＝[v1,v1,v3,...,vN]，N为序列中元素的个数，vi为序列中第i个波峰的电压值；规定一个波段的P-P间期序列含60个波峰，N＝60；
P-P区间的平均值：
波段平均心率：
电压序列均值：
电压序列最大值：V_Max＝MAX(V)；
电压序列最小值：V_Min＝MIN(V)；
电压序列中值：V_Middle＝MIDDLE(V)；
电压序列标准差：
5.根据权利要求4所述的面向独居人群的机器人智能情绪识别治愈方法，其特征是，特征指标分析子算法具体包括有：
若实时特征指标电压序列均值V_Mean小于基准特征指标的V_Mean数值，实时特征指标V_Min小于基准特征指标的V_Min数值，实时特征指标V_Middle小于基准特征指标的V_Middle数值，则初步判断情绪类型为高兴；
若实时特征指标电压序列均值V_Mean大于基准特征指标的V_Mean数值，实时特征指标V_Min大于基准特征指标的V_Min数值，实时特征指标V_Middle大于基准特征指标的V_Middle数值，实时特征指标V_Max大于基准特征指标的V_Max数值，实时特征指标V_SDNN大于基准特征指标的V_SDNN数值，则初步判断情绪类型为悲伤；
若实时特征指标电压序列均值V_Mean大于基准特征指标的V_Mean数值，实时特征指标V_Min大于基准特征指标的V_Min数值，实时特征指标V_Middle大于基准特征指标的V_Middle数值，实时特征指标V_Max大于基准特征指标的V_Max数值，实时特征指标V_SDNN小于基准特征指标的V_SDNN数值，则初步判断情绪类型为恐惧。
6.根据权利要求1所述的面向独居人群的机器人智能情绪识别治愈方法，其特征是，表情识别算法具体为：
机器人本体通过摄像头拍摄获取使用者面部图片，通过卷积神经网络模型训练获取面部表情识别机对使用者面部图片进行情绪识别分类，分别包括有
面部识别：对给定图片进行扫描，判断是否存在面部，框选图片中提取面部区域，再次提取眼部区域与嘴部区域，并剔除非人脸区域；
眼部表情特征识别：根据眼部ROI比例因子进行识别判断，分别为包括有Xeye与Yeye，分别表示眼部矩形区域的左上角坐标；Wface与Hface，分别为面部区域的宽与高；Weye与Heye，分别表示眼部区域的宽与高；
嘴部表情特征识别：根据嘴部ROI比例因子进行识别判断，分别为包括有Xmouth与Ymouth分别表示嘴部矩形区域的左上角坐标；Wface与Hface分别为面部区域的宽与高；Wmouth与Hmouth分别表示嘴部区域的宽与高；
根据眼部ROI比例因子和嘴部ROI比例因子在不同类型情绪中的作用数值，采用基于决策层的融合技术将三个区域的识别结果进行相对多数投票决策，获取整体最优识别率。
7.根据权利要求6所述的面向独居人群的机器人智能情绪识别治愈方法，其特征是，确认使用者当前情绪并执行治愈具体为：
将表情识别算法识别获取的情绪类型与获取的初步判断情绪类型进行比对，判断是否一致，若一致则执行相对应治愈动作；若不一致则停止表情识别；
若确认为高兴，机器人本体的像素眼显示开心表情，并摇动机械尾巴，通过语音识别模块与使用者进行交互对话；
若确认为恐惧，机器人本体跟随使用者并缩短跟随距离至0.5m，同时选取若干句设定中用于恐惧治愈的语音并发声，并于语音发声结束后播放对应存储用于放松的歌曲；
若确认为悲伤，机器人本体跟随使用者并缩短跟随距离至0.5m，同时选取若干句设定中用于悲伤治愈的语音并发声，并于语音发声结束后播放对应存储用于舒缓的歌曲，并在歌曲结束后播放选取的若干段笑话；
每间隔0.5s通过检测使用者实时特征指标，进行判断，若判定情绪保持，机器人本体维持治愈动作；若使用者情绪恢复至平静状态，则终止表情识别算法并停止当前治愈动作；所述机器人本体实时接收使用者语音指令信息，当接收到使用者拒绝治愈或拒绝接近指令时，所述机器人本体停止运动，同时停止表情识别及治愈动作。
8.根据权利要求1所述的面向独居人群的机器人智能情绪识别治愈方法，其特征是，机器人寻找并拍摄获取使用者面部图片具体为：
机器人本体响应于情绪检测请求信号，当机器人本体处于待机状态时，机器人本体通过手环定位确定使用者方位并移动靠近，红外热释传感器实时检测周围环境，云台带动机器人本体旋转搜索使用者，摄像头实时拍摄，通过人形轮廓分析提取算法进行人像识别确认使用者；
机器人本体处于跟随状态或移动靠近使用者时，对使用者进行面部图像拍摄获取并进行表情识别；
当位于使用者前方识别获取到使用者面部图像时，进行面部表情识别；
当未识别到使用者面部图像时，通过发声引导使用者转向，并抓取拍摄获取面部图片，进行面部表情识别。
9.根据权利要求8所述的面向独居人群的机器人智能情绪识别治愈方法，其特征是，机器人本体跟随寻找使用者具体为：
语音识别模块实时检测使用者语音指令，并在接收到使用者召唤语音指令时，启动红外热释传感器进行检测判断使用者是否在周围设定范围内；
待机状态下红外热释传感器周期性检测周围环境；当红外热释传感器启动并检测到设定范围内存在使用者时，启动摄像头模块并通过PID算法控制云台带动摄像头旋转以寻找并确定使用者方位；
通过人像识别法识别使用者，并通过避障算法向使用者方向前行，直至移动到预定位置后进行设定距离的跟随。
10.根据权利要求9所述的面向独居人群的机器人智能情绪识别治愈方法，其特征是，人像识别确认使用者具体为：
采用多个高斯分布对动态变化背景建立高斯混合背景模型，设每个像素点之间相互独立，背景图像的每一个像素分别用K个高斯分布构成的高斯混合模型来建模，即
其中，xj表示像素j在t时刻的取值，
表示t时刻高斯混合模型中第i个高斯分布的全值系数的估计值
表示t时刻高斯混合模型中第i个高斯分布的均值向量和协方差矩阵，η为高斯分布概率密度函数，K的取值一般为3～7；
使用前若干帧图像进行背景训练，建立高斯模型，同时背景发生改变时对背景进行实时更新，得到背景信息后进行前景提取，将背景训练得到的高斯模型按照
从小到大排序，按照如下公式选取前B个模型来描述背景：
其中，T为阈值，1≤b≤K。
将采集到的图像的每个像素点的灰度值与B个高斯模型进行比较，若满足
则该像素属于背景，否则属于前景；
通过基于宽度直方图的轮廓识别法对前景信息进行区分，将前景信息区域的像素按照竖直方向建立宽度直方图；
计算宽度直方图的驻点，若驻点小于4，则判定为非人形轮廓；否则，选取对应人的头部轮廓，颈部轮廓，肩部轮廓和腿部轮廓的驻点，分别记为y驻点1，y驻点2，y驻点3和y驻点4，其中y驻点3对应宽度直方图宽度最大的点，y驻点2为y驻点3左侧宽度最小的点，y驻点1为y驻点3左侧宽度最大的点，y驻点4为y驻点3右侧宽度最大的点；
比较四个驻点的大小，若y驻点2<y驻点1，y驻点4<y驻点3，则进行下一步计算；反之，判为非人形轮廓；
计算头部宽度于肩部宽度的比值
若λ的大小满足th1≤λ≤th2,则判为人形轮廓；反之，为非人形轮廓，其中th1和th2为阈值，行人正对摄像机对应阈值th1，行人侧对摄像机对应阈值th2；
将得到的前景信息取平均值，计算出平均的横坐标，作为当前目标位置，完成人像识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110346010.0A CN112990067A (zh) | 2021-03-31 | 2021-03-31 | 一种面向独居人群的机器人智能情绪识别治愈方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110346010.0A CN112990067A (zh) | 2021-03-31 | 2021-03-31 | 一种面向独居人群的机器人智能情绪识别治愈方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112990067A true CN112990067A (zh) | 2021-06-18 |
Family
ID=76338585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110346010.0A Pending CN112990067A (zh) | 2021-03-31 | 2021-03-31 | 一种面向独居人群的机器人智能情绪识别治愈方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112990067A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114869284A (zh) * | 2022-05-11 | 2022-08-09 | 吉林大学 | 一种驾驶员驾驶情绪状态及驾驶姿势的监测系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105082150A (zh) * | 2015-08-25 | 2015-11-25 | 国家康复辅具研究中心 | 一种基于用户情绪及意图识别的机器人人机交互方法 |
| CN107066956A (zh) * | 2017-03-24 | 2017-08-18 | 北京科技大学 | 一种基于体域网的多源情感识别机器人 |
| CN110587621A (zh) * | 2019-08-30 | 2019-12-20 | 深圳智慧林网络科技有限公司 | 机器人、基于机器人的病人看护方法和可读存储介质 |
| CN111300443A (zh) * | 2020-02-29 | 2020-06-19 | 重庆百事得大牛机器人有限公司 | 基于法律咨询机器人的情绪安抚方法 |
-
2021
- 2021-03-31 CN CN202110346010.0A patent/CN112990067A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105082150A (zh) * | 2015-08-25 | 2015-11-25 | 国家康复辅具研究中心 | 一种基于用户情绪及意图识别的机器人人机交互方法 |
| CN107066956A (zh) * | 2017-03-24 | 2017-08-18 | 北京科技大学 | 一种基于体域网的多源情感识别机器人 |
| CN110587621A (zh) * | 2019-08-30 | 2019-12-20 | 深圳智慧林网络科技有限公司 | 机器人、基于机器人的病人看护方法和可读存储介质 |
| CN111300443A (zh) * | 2020-02-29 | 2020-06-19 | 重庆百事得大牛机器人有限公司 | 基于法律咨询机器人的情绪安抚方法 |
Non-Patent Citations (3)
| Title |
|---|
| 吕曼: "基于卷积神经网络的静态面部表情识别研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 吴坤: "基于脉搏信号的可穿戴社交情绪分析系统", 《中国优秀硕士学位论文全文数据库哲学与人文科学辑》 * |
| 赵前龙: "面向家居场景的跌倒行为分析技术研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114869284A (zh) * | 2022-05-11 | 2022-08-09 | 吉林大学 | 一种驾驶员驾驶情绪状态及驾驶姿势的监测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104077579B (zh) | 基于专家系统的人脸表情图像识别方法 | |
| KR100903348B1 (ko) | 특징 융합 기반 감정인식 방법 및 시스템 | |
| JP7146247B2 (ja) | 動作認識方法及び装置 | |
| JP4590717B2 (ja) | 顔識別装置及び顔識別方法 | |
| CN107220591A (zh) | 多模态智能情绪感知系统 | |
| Abobakr et al. | Rgb-d fall detection via deep residual convolutional lstm networks | |
| Szwoch et al. | Emotion recognition for affect aware video games | |
| JP2018538631A (ja) | シーン内のオブジェクトのアクションを検出する方法及びシステム | |
| Kumar et al. | Yoga pose detection and classification using deep learning | |
| KR101697476B1 (ko) | 로봇의 표정 기반 연속적 정서 인식 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| WO2002099545A1 (en) | Man-machine interface unit control method, robot apparatus, and its action control method | |
| JPH11143849A (ja) | 行動生成装置、行動生成方法及び行動生成プログラム記録媒体 | |
| CN110956141B (zh) | 一种基于局部识别的人体连续动作快速分析方法 | |
| CN113920568A (zh) | 基于视频图像的人脸和人体姿态情绪识别方法 | |
| Orrite et al. | Automatic segmentation and recognition of human actions in monocular sequences | |
| CN112990067A (zh) | 一种面向独居人群的机器人智能情绪识别治愈方法 | |
| Liu et al. | Optimized facial emotion recognition technique for assessing user experience | |
| Abedi et al. | Modification of deep learning technique for face expressions and body postures recognitions | |
| CN108416325B (zh) | 一种结合视角转换模型与隐马尔可夫模型的步态识别方法 | |
| Zhang et al. | A posture recognition system for rat cyborg automated navigation | |
| Pantic et al. | Facial gesture recognition in face image sequences: A study on facial gestures typical for speech articulation | |
| Wei et al. | 3D facial expression recognition based on Kinect | |
| Rusydi et al. | Facial Features Extraction Based on Distance and Area of Points for Expression Recognition | |
| CN116682168B (zh) | 一种多模态表情识别方法、介质及系统 | |
| CN113780158B (zh) | 一种智能专注力的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210618 |
|
| RJ01 | Rejection of invention patent application after publication |