CN103996155A - 智能交互及心理慰藉机器人服务系统 - Google Patents

Abstract

本发明申请提供一种智能交互、智能健康服务和心理慰藉的机器人系统，所述的智能交互及心理慰藉机器人服务系统，包括医学服务模块、仿声服务模块、图像和视频模块、心理咨询和心理慰藉模块、娱乐服务模块、个性化诊疗服务模块、定制化服务模块、信息存储模块和人工智能服务模块。该系统一方面能够提高服务效率、服务水平和降低服务成本，另一方面则有利于健康管理和健康服务的规范化、系统化和科学化的发展。

Description

智能交互及心理慰藉机器人服务系统

技术领域

本发明申请涉及一种智能机器人服务系统，特别涉及一种可以实现人机交互智能服务、情感需求和心理慰藉的机器人服务系统。 

背景技术

随着我国国民经济的快速发展，人民生活水平的提高，我国人口老龄化逐步加深，社会的发展导致当今社会竞争的加剧，亚健康人群也快速增加，老龄人口增长、平均寿命延长也促使了亚健康人群、慢性病人群的增长，随着我国人口老龄化的进一步加深，空巢老人和独居老人人口也呈上升趋势。 

为了应对我国以上社会形势，迫切需要一种针对亚健康、慢性病和中老年人群，能够提供健康、医疗、服务、娱乐和心理慰藉等方面服务的综合健康管理和健康服务系统。而目前医学检测领域的一般产品仅提供某一项身体检查和检测，无法进行全面的、持续的身体健康服务，且无法提供中老年人的心理和情感需求服务。本智能交互及心理慰藉机器人服务系统通过机器人技术、仿声技术、图像识别技术、人工智能技术、医学技术等为亚健康、慢性病和中老年人群提供服务。 

发明内容

本发明申请即是针对上述存在的问题，提供一种智能交互、智能健康服务和心理慰藉的机器人系统，该系统一方面能够提高服务效率、服务水平和降低服务成本，另一方面则有利于健康管理和健康服务的规范化、系统化和科学化的发展。 

具体来说，本发明申请所述的智能交互及心理慰藉机器人服务系统，包括： 

-医学服务模块：用于对亚健康、慢性病和中老年人群进行医学服务； 

-仿声服务模块：用于对亚健康、慢性病和中老年人群进行信息交流和语言 服务； 

-图像和视频模块：用于对亚健康、慢性病和中老年人群进行信息交流和视频服务； 

-心理咨询和心理慰藉模块：用于对亚健康、慢性病和中老年人群进行心理咨询和心理慰藉服务； 

-娱乐服务模块：用于对亚健康、慢性病和中老年人群进行娱乐服务； 

-个性化诊疗服务模块：用于对亚健康、慢性病和中老年人群进行个性化诊疗服务； 

-定制化服务模块：用于对亚健康、慢性病和中老年人群进行定制化服务； 

-信息存储模块：用于亚健康、慢性病和中老年人群服务过程中产生的数据和信息的存储； 

-人工智能服务模块：用于对亚健康、慢性病和中老年人群进行人工智能服务。 

进一步的，所述的医学服务模块具有以下特征： 

a、该医学服务模块能够为亚健康人群、慢性病人群和中老年人群提供饮食处方、运动保健处方和中医理疗处方； 

b、该医学服务模块能够为亚健康人群、慢性病人群和中老年人群提供预防保健、医疗协助和康复护理咨询服务； 

c、该医学服务模块能够为亚健康人群、慢性病人群和中老年人群提供聊天、情感沟通交流及心理慰藉和疏导服务； 

d、该医学服务模块能够为亚健康人群、慢性病人群和中老年人群提供居家安全知识、居家安全隐患检查和个人安全风险及防患常识咨询服务； 

e、该医学服务模块能够为亚健康人群、慢性病人群和中老年人群提供区域内文化、体育、娱乐和学习教育资讯服务； 

f、该医学服务模块能够为亚健康人群、慢性病人群和中老年人群提供法律、权益维护咨询服务； 

g、该医学服务模块能够为亚健康人群、慢性病人群和中老年人群提供自我救治、自我救助和志愿者服务信息咨询服务。 

进一步的，所述的仿声服务模块，能够模仿所服务对象的亲人或朋友的声音、动作、表情特征，该仿声服务模块通过对被模拟人的声音的频率、振幅以及音色这3个要素进行模拟和仿真，该仿声服务模块能够对被模拟人的声音特征跟踪、记忆、识别、存储、传输，该仿声服务模块具有对被服务人的声音进行自动识别的功能，该仿声服务模块具有人工智能服务功能，能够准确理解被服务者的谈话意图和目的并能够作出相应回应及服务行为，所述的仿声服务模块具有语音拾取单元，该语音拾取单元能够对外界输入声音进行数字化转换，能够进行声音数字化分析、比对、处理、存储和传输，所述的仿声服务模块，所述的仿声服务模块有自然语音理解单元，该自然语音理解单元，能够准确理解外界所输入语音含义，所述的仿声服务模块有中文分词单元，该中文分词单元能够把一段语句准确分成若干词组或词汇单元，所述的仿声服务模块有语音合成单元，该语音合成单元能够合成仿声语音。 

进一步的，所述的图像和视频模块能够与所服务对象进行视频服务与交流或图像、图片信息交流与服务，所述图像和视频模块通过互联网、移动互联网、物联网或有限、无线电视网进行图像和视频传播，所述图像和视频传播的载体为手机、电脑、服务器、电视和网络会议系统进行传播，所述图像和视频模块具有图像识别功能，能够识别所服务的对象，该图像和视频模块具有记忆功能，能够记 忆所服务对象的图像特征，该图像和视频模块具有人类脸部特征抓取功能，它能够抓取人类脸部图像特征，该图像和视频模块具有对人类脸部特征信息进行跟踪、识别、理解、分析、记忆、存储和传输功能，该图像和视频模块具有人类脸部表情信息特征抓取功能，该图像和视频模块具有对人类脸部表情特征进行跟踪、识别、理解、分析、记忆、存储和传输功能，该图像和视频模块具有人类眼瞳识别功能，该图像和视频模块具有人类指纹识别功能。 

进一步的，所述心理咨询和心理慰藉模块能够对所服务对象，通过语音、文字、图像或视频信息对被服务者进行心理健康咨询、心理健康辅导和心理慰藉等心理健康服务。 

进一步的，所述娱乐服务模块用于对亚健康、慢性病和中老年人群进行娱乐节目服务，能够进行语言类、戏曲类和音乐类娱乐服务节目点播服务。 

进一步的，所述个性化诊疗服务模块用于对亚健康、慢性病和中老年人群进行个性化诊疗服务、导医服务和中医理疗服务，个性化诊疗服务的依据为采集到的被服务者个人成长史、个人疾病史和家族史信息以及被服务者的身体检查数据：体温测量值、血压测量值、血糖测量值、血氧测量值、心电图测量结果、血常规检查结果、尿常规检查结果、X线检查结果、B超检查结果、核磁共振检查结果、基因组检测结果中的一种或者两种以上的组合。 

进一步的，所述定制化服务模块能够根据被服务者的实际需要进行定制特性化服务。 

进一步的，所述的人工智能服务模块，用于为亚健康、慢性病和中老年人群提供人工智能服务，该人工智能服务模块有自动识别功能，能够自动识别所服务的对象，该人工智能服务模块有文字、语言和图像与视频的理解能力、记忆能力和分析能力，它能够理解、记忆和分析被服务对象所提供的文字、语言和图像与 视频信息，该人工智能服务模块能够与被服务对象进行语言、文字和视频交流。 

进一步的，所述的智能交互及心理慰藉机器人服务系统包括MCU和与MCU连接的电源、晶体振荡器、输入/输出设备、接口和存储设备。 

更进一步的，所述的输入设备包括触摸屏、摄像头、扬声器、麦克风（mic）、控制按钮；存储设备包ROM、闪存（FLASH），接口包括USB接口、MAX232接口和网络接口。 

MAX232芯片是为RS-232标准串口设计的单电源电平转换芯片，使用5v的单电源供电。 

本发明所述的智能交互及心理慰藉机器人服务系统，与现有技术相比，本发明具有以下特点： 

1、本智能交互和心理抚慰机器人健康服务系统能通过文字、仿声语言与语音、人工智能的图像与图片及视频，为被服务者提供健康咨询、情感交流、医学协助、娱乐节目点播、亲人仿声模拟、心理抚慰和疏导等服务； 

2、它通过人工智能和机器人技术为健康、医疗、养老等行业提供一种新的服务模式，能够提高行业工作效率和服务质量与水平，能够降低行业的服务成本，能够促使我国的健康服务、医疗保健和养老产业引领世界潮流，开拓行业世界创新新服务、新模式、新方法，为人类的健康、医疗和养老事业造福； 

3、该机器人服务系统是针对亚健康人群、慢性病人群和中老年人群进行健康服务的机器人服务系统，该机器人服务系统能够进行一台机器人同时服务多个被服务对象的在线服务。 

附图说明

图1是智能交互及心理慰藉机器人服务系统的组织结构图； 

图2是智能交互及心理慰藉机器人服务系统的硬件结构图； 

图3是仿声模块示意图； 

图4是图像与视频模块示意图； 

图5是DTW模板匹配流程图。 

具体实施方式

以下结合附图，对本发明申请所述的智能交互及心理慰藉机器人服务系统进行描述，目的是为了公众更好地理解所述技术内容，而并非对技术方案的限制。 

如图1所示，本发明申请所述的智能交互及心理慰藉机器人服务系统，包括医学服务模块：用于对亚健康、慢性病和中老年人群进行医学服务；仿声服务模块：用于对亚健康、慢性病和中老年人群进行信息交流和语言服务；图像和视频模块：用于对亚健康、慢性病和中老年人群进行信息交流和视频服务；心理咨询和心理慰藉模块：用于对亚健康、慢性病和中老年人群进行心理咨询和心理慰藉服务；娱乐服务模块：用于对亚健康、慢性病和中老年人群进行娱乐服务；个性化诊疗服务模块：用于对亚健康、慢性病和中老年人群进行个性化诊疗服务；定制化服务模块：用于对亚健康、慢性病和中老年人群进行定制化服务；信息存储模块：用于亚健康、慢性病和中老年人群服务过程中产生的数据和信息的存储；人工智能服务模块：用于对亚健康、慢性病和中老年人群进行人工智能服务。 

本发明所述的智能交互及心理慰藉机器人服务系统，其硬件设置如图2所述，由电源管理系统、MCU、FLASH、ROM、触摸屏、以太网、MAX232、MIC、USB、摄像头、扬声器、按键等组成，通过MIC和摄像头采集语音和图像信号，处理后经 以太网和后台进行通信，为用户提供所需服务。 

以下对本发明申请所述的智能交互及心理慰藉机器人服务系统的各个功能模块进行详细的描述： 

一、医学服务模块： 

医学服务模块是通过机器人的自动交互功能，它能够实现以下服务：a、为被服务对象提供饮食处方、运动处方和理疗处方；机器人系统对被服务对象进行人体体征参数测量和信息采集，所采集的人体体征参数有：人体体温、心率、血压、血糖、血脂、肥胖BMI指数等等信息，并对这些参数进行分析、处理和诊断，最后得到人体健康诊断处方，这些处方有以下几个类别：饮食处方、运动处方和理疗处方，健康管理和健康服务所关注的是人们生活习惯的改变，通过建立良好的生活习惯，增加身体的抗疾病的能力，建立科学的运动模式和合适的运动量，保持良好的中医理疗和家庭理疗的生活习惯和氛围，提高人们的健康水平。 

b、为被服务对象提供疾病预防保健、医疗协助、康复理疗护理的咨询服务；本机器人系统具有强大的数据处理能力和巨大的资料库，它能够为被服务对象提供各种疾病预防保健、医疗协助、康复理疗护理的咨询服务。 

c、为被服务者提供语音或文字聊天、沟通交流及心理疏导服务，本机器人服务系统能够与被服务者进行语言或文字聊天、沟通交流及心理疏导服务； 

d、为中老年被服务者提供居家安全知识、安全隐患检查常识等咨询服务，本机器人服务系统能够对被服务者的居家环境进行检测和检查，能够为中老年被服务者提供居家安全知识、安全隐患检查常识等咨询服务； 

e、为中老年被服务者提供法律、权益维护等咨询服务，本机器人服务系统能够利用其内部强大的资料库为被服务者提供法律、权益维护等咨询服务； 

f、为中老年被服务者提供救助服务和志愿者信息咨询服务，本机器人服务系统能够利用其内部强大的资料库为被服务者提供当地救助服务机构资料和联系方式，也可以提供被服务者当地志愿者服务机构资料和联系方式。 

二、仿声服务模块 

（1）语音拾取模块 

通过MIC拾取语音信号并转换成数字信号后进行语音识别。 

（2）语音识别模块 

语音识别模块主要包括预处理、特征提取、模板匹配和识别输出四个部分。 

语音识别技术是将人类语音信号中的话语内容转换为计算机可读的输入，比如按键、二进制码、或者字符串等，识别或确认发出语音的个体和其中所包含的话语内容。待识别的语音通过MIC接口输入，通过芯片转换成数字信号后作为语音识别系统的输入端，先通过预处理过程，预处理主要包括语音信号采样、放大和增益控制、反混叠滤波、语音信号的数字化，对提高语音识别的准确度有重要意义。 

特征提取，是用来提取反映本质特征的声学参数，常用的特征主要有短时平均能量或幅度、短时自相关函数、短时平均过零率、清浊音标志、基音频率、线性预测系数、短时傅里叶变换、倒谱、共振峰等。语音信号的特征提取分别包括对时域特征的提取和频域特征的提取。首先进行语音信号采样，假设得到了K个采样点，再把已经得到的采样点进行分割运算成前后迭代的音频帧（两相邻帧之间的迭加率为30％-50％左右）。 

过零率是指在一个短时帧内，通过采样得到的离散信号值由正负相互变换的的次数。过零率能有效地表示不同的音频信号。其定义公式为： 

$\mathrm{ZCR}\left(t\right)=\frac{1}{2}\underset{n}{\overset{N}{\mathrm{\Σ}}}\left|\sin (f_t\left(n\right)-\sin \left(f_t(n-1)\right))\right|$

其中， 

$\sin \left(f_t\left(n\right)\right)=\left\{\begin{array}{c}1,x\left(n\right)\&GreaterEqual;0\\ -1,x\left(n\right)<0\end{array}\right.$

短时平均能量则表示一个短时音频帧采样点所聚集的能量，整个时间段内幅度的变化情况可快速的表达出来。其定义为： 

$\mathrm{STB}\left(t\right)=\frac{1}{N}\underset{n}{\overset{N}{\mathrm{\&Sigma;}}}{\left|f_t\left(n\right)\right|}^2$

短时平均能量可以在有声和静音检测过程中得到应用，如果在某一短时帧的平均能量高于某一个预先设定的阙值，则为有声，否则为静音状态。 

在语音信号中，清音信号的过零率高，而浊音信号的过零率低。在整个语音信号的过程中，开始和结束的位置一般大量集中了清音信号，所以在语音信号中，开始和结束的过零率都会明显地处于升高的状态，因此可以通过应用过零率区分清音和浊音来实现检测语音信号的开始和结束位置。 

把待分析的信号用一个模型表达出来，信号是这个模型的输出，构成这个模型的参数是这个信号的重要特征，称为线性预测系数。参数的确定是根据均方误差最小而得到的。 

频域特征提取为把语音信号先进行傅里叶变换到频域，再进行信号的特征分析。频域特征主要有Mel系数和LPC倒谱系数。对短时音频帧上的采样点进行傅里叶变换，得到这个短时音频帧在每个频率上的能量，将整个频率分为n个就形成MFCC（Mel系数）。如果对提取出来的Mel系数再计算其对应的倒谱系数，就是Mel倒谱系数。用数字滤波器对音频帧所包含的采样点进行加重处理，对预加重处理后的音频帧内信号加窗函数，然后对它进行自相关分析，把这个结果施以 P阶线性预测计算，得到长度为P的序列X（p），得到音频帧的LPC倒谱系数为LPC倒谱系数的提取过程。LPC倒谱系数主要用来区分语音信号和非语音信号。训练过程一般是在识别之前完成，通过多次重复语音录入，从语音信号中去除冗余信息后得到语音样本，保留关键数据，再按规则对数据加以聚类和筛选，形成模式库。根据一定的准则、专家知识库内容和计算机输入特征与库存模式之间的相似度，判断出输入语音的语义信息，其中模式匹配是整个语音系统的核心。 

①DTW算法： 

DTW(Dynamic Time Warping,动态时间规正)是语音识别中一种较为经典的算法：它寻找一个规整函数，将测试矢量的时间轴i非线性的映射到参考模板的时间轴j上并使该函数满足： 

$D={\min }_{\mathrm{\&Phi;}\left(i_n\right)}\underset{i_n}{\overset{N}{\mathrm{\&Sigma;}}}d(T\left(i_n\right),R\left(\mathrm{\&Phi;}\left(i_n\right)\right))$

D是处于最优时间规整情况下两矢量的距离。由于DTW不断的计算两矢量的距离以寻找最优的匹配路径，所以得到的两矢量匹配时积累距离最小所对应的规整函数，这就保证了他们之间存在的最大声学相似性。 

动态时间规正法的原理： 

（1）时间伸缩函数F 

F＝{c1,c2,...,ck} 

ck＝（ik，jk） 

（2）F的累加距离D(F) 

$D\left(F\right)=\frac{{\mathrm{\&Sigma;}}_k\left\{d\left(\mathrm{ck}\right)\mathrm{wk}\right\}}{{\mathrm{\&Sigma;}}_k\mathrm{wk}}$

d(ck)＝d(ik,jk) 

（3）最佳匹配失真测度D(T,R) 

$D(T,R)=\underset{F}{\min }\left\{D\left(F\right)\right\}$

动态时间规正法的具体解法（部分优化法）： 

$G\left(\mathrm{ck}\right)=g(\mathrm{ik},\mathrm{jk})=g(i,j)=\min =\left\{\begin{array}{c}g(i-1,j)+d(i,j)\\ g(i-1,j-1)+2d(i,j)\\ g(i,j-1)+(i,j)\end{array}\right\}$

D(T,R)＝g(I,J)/(I+J) 

②HMM模型：HMM(Hidden Markov Model，隐马尔克夫模型)是一个离散时域有限状态自动机，对于语音识别系统，输出值通常就是从各个帧计算而得的声学特征参数。这一模型的内部状态是外界不可见的，外部只能得到输出值。用HMM模型表达语音信号需要作出两个假设，一个是内部状态的转移只与上一状态有关，另一个则是输出值只与当前状态或当前的状态转移有关，这两个假设大大降低了模型的复杂度。HMM的解码和训练对应的算法是前向算法、Viterbi算法和前向后向算法。语音识别中使用HMM模型一般是从左向右单向、带自环、带跨越的拓扑结构来对识别基元进行建模过程，三到五个状态的HMM构成一个音素，一个词就是由构成词的多个音素的HMM串行起来组成的HMM，而连续语音识别的整个模型就是通过词和静音组合起来的HMM模型。 

（3）自然语言理解 

自然语言理解通常称为为人机对话，是研究如何让电脑理解人类语言的技术，用计算机模拟人的语言交际过程，使计算机能够理解和运用人类的自然语言实现人机之间的自然语音通信，以代替人的部分脑力功能，包括查询资料、解答问题、 摘录文献、汇编资料以及一切有关自然语言信息的加工处理。 

（4）知识库系统 

面对我们的智能交互及心理慰藉机器人服务系统，知识库系统主要包括常用的医学常识、饮食处方、运动处方、理疗处方和针对性的心理疏导。知识库（Knowledge Base）是一个知识工程中结构化、易操作、易利用，全面有组织的知识集群的概念，主要针对某一（或某些）领域问题求解的需要，采用某种知识表示方式在计算机存储器中存储、组织、管理和使用的互相联系的知识片集合。 

（5）语义网络知识表示 

语义网络是自然语言理解及认知科学领域研究中的一个概念。语义网络是一种实体及其语义关系来表达知识的有向图，其中结点代表实体，例如各种事物、概念、情况、属性、状态、事件、动作等；弧代表语义关系，表示它所连接的两个结点之间的联系，语义网络中一个最基本的语义单元为语义基元，可用三元组表示为：（结点1，弧，结点2）。它把各结点之间的关系以明确、简洁的方式表达出来，通过与某一结点连接的弧可以很容易的找出与该结点有关的信息，而不必查找这个知识库，这种自索引能力有效的避免搜索时遇到的需要遍历整个知识库的问题，并且着重强调事物间的语义联系，体现了人类的联系思维过程。 

（6）仿声模块 

仿声模块是指语音合成（Speech Synthesis）过程，而语音合成技术从方式上讲可分为波形编辑合成、参数分析合成以及规则合成三种，它是人机语音通信的一个重要部分，下面我们主要来介绍一下三种合成方式。 

波形编辑合成是以语句、短语、词或音节为合成单元，这些合成单元被分别录音后直接进行数字编码和适当的数据压缩，组成了一个合成语音库。在重放过 程中，根据待输出的信息，在语料库中取出相对应单元的波形数据，编辑或者串接起来，经解码后得出语音。该合成方式主要特点为合成单元越大，合成的自然度越好，系统结构简单，价格低廉，但合成语音的数码率较大，导致存储量较大，因此合成词汇量比较有限。 

参数分析合成方式多以半音节、音节或者音素为合成单元。按照语音理论，对所有合成单元的语音进行分析，提取相关的语音参数，得到的相关参数经过编码后将会组成一个合成语音库；而输出时，根据待合成的语音信息，结合从语音库中取出相应的合成参数，经编辑和连接，顺序地送入语音合成器中，通过合成器中的合成参数的控制，便可以将语音波形重新还原出来。 

规则合成的方式是通过语音学规则来产生需要的目标语音。当输入字母符号时，合成系统利用规则自动地将它们转换成连续的语音波形，这一部分的处理比较方便。规则合成系统存储的是以较小的语音单位的声学参数（音素、双音素、半音节或音节）等规则，和由音素组成音节、再由音节组成词或句子的各种规则。由于在发音中存在语音协同发音效应，单独存在的元音和辅音与连续发音中的元音和辅音存在差异，所以合成规则也不同。合成规则是通过分析每一个语音单元出现在不同环境中的协同发音效应以后，进行归纳其规律而制定的如时长规则、共振峰频率规则、声调和语调等规则。另外还有语句中的轻重音，也要归纳出语音减缩规则。 

现在进行着大量研究和采用的合成方式是文语转换系统(Text-To-Speech System，TTS System)是一种以文字串为输入的语音合成系统，其输入信号是通常的文本字串。首先，系统中的文本分析器根据发音字典，将输入的文字串分解为带有属性标记的词及其读音符号，再根据语义规则和语音规则，为每一个音节、每一个词确定重音等级和语句结构及语调，以及各种停顿等。这样文字串就转变 为符号代码串。根据前面分析的结果，生成目标语音的韵律特征，采用前面介绍的合成技术的一种或者是几种的结合，合成输出语音。 

另外，通过眼瞳识别或者指纹识别能直接识别出用户，无须用户手动输入身份。 

三、图像和视频模块 

(1)人脸识别 

①图像预处理 

预处理主要包括图像去噪和增强对比度，在图像采集过程中，人脸和采集装置的相对运动，或采集装置的抖动都会是图像变的模糊，图像是直接以数字信号的方式获取，将不可避免的引入噪声，也会使图像变的模糊不清。由于噪声的引入，将不可避免的造成识别率的下降。对图像噪声的消除可以通过两个途径：空间域滤波或频率域滤波。消除噪声的方法很多，对于不同的噪声应该采用不同的除噪方法。主要的方法是：线性滤波、中值滤波、维纳滤波以及小波去噪等。 

②人脸检测与定位 

人脸自动识别系统包括两个主要技术环节：人脸检测与定位和特征提取与人脸识别。 

人脸检测与定位是指检测图像中是否有人脸，若有，将其从背景中分割出来，并确定其在图像中的位置。 

在某些可以控制拍摄条件的场合，如警察拍罪犯照片时将人脸限定在标尺内，此时人脸的定位很简单。证件照背景简单，定位也比较容易。在另一些情况下，人脸在图像中的位置预先是未知的，比如在复杂背景下拍摄的照片，这时人脸的检测与定位将受到以下因素的影响：人脸在图像中的位置、角度及人物的姿势， 图像中人脸区域的不固定尺度，光照的影响。 

轮廓和肤色是人脸的重要信息，具有相对的稳定性并且和大多数背景物体的颜色相区别。因此可以针对彩色图片利用肤色特征进行快速的人脸检测。基于特征检测方法的基本思想是：首先建立并利用肤色模型检测出肤色像素，然后根据肤色像素在色度上的相似性和空间上的相关性分割出可能的人脸区域，最后利用其他特征进行验证。 

由于眼睛在人脸中相对位置固定，而且与周围面部区域灰度差别较大，所以在各个人脸候选区域中，指定眼睛可能存在的位置范围，并在该范围内用一系列阙值进行二值化处理，看能否搜索到代表瞳孔所在位置的两个黑色区域。如找到，则判为人脸。进一步的确定可再进行唇部检测，因为唇部一般位于人脸的下三分之一处，所以人脸位置初步确定后，可在下三分之一位置搜索唇形，使用方法是排除红色法。此技术也称基于眼唇定位技术。 

③特征提取与人脸识别 

人脸特征提取是人脸识别中的核心步骤，直接影响识别精度。由于人脸是多维弹性体，易受表情、光照等因素影响，提取特征的困难较大。特征提取的任务就是针对这些干扰因素，提取出具有稳定性、有效性的信息用于识别。 

人脸特征是识别的重要依据之一。检测定位过程中也会用到人脸特征。其中统计特征和灰度特征是在人脸定位和特征提取过程中常用到的两类特征： 

a)统计特征 

统计特征即用统计的方法对目标对象的肤色、光照变化等因素建模。基于肤色特征的识别方法简单且能够快速定位人脸。人脸肤色不依赖于细节特征且和大多背景色相区别。但肤色的确定对光照和图像采集设备特性较敏感。不同的光照 下脸部色彩复杂。这给统一建模造成了一定难度。该方法通常作为其他统计模型的辅助方法使用，适于粗定位或对运行时间有较高要求的应用。 

使用人脸灰度图像的水平和垂直方向的像素灰度均值来描述人脸特征。通过分别对灰度图像各行和各列中的像素灰度值进行求和，获得水平方向与垂直方向的灰度均值轮廓，以此来描述人脸特征。 

b)灰度特征 

灰度特征包括轮廓特征、灰度分布特征(直方图特征、镶嵌图特征等)、结构特征、模板特征等。由于人脸五官位置相对固定，灰度分布呈一定规律性，因此，可利用灰度特征来进行人脸识别。通常采用统计的方法或特征空间变换的方法进行灰度特征的提取，使用傅立叶变换得到人脸图片的频域信息，通过选取适当的遮盖模板，提取其中的频谱信息来描述人脸的特征。 

(3)人脸跟踪 

人脸跟踪是在视频或图像序列中确定某个人脸的运动轨迹及大小变化的过程。它是进行动态人脸信息处理的第一个环节。由于人脸本身属于复杂多变的非刚性模型，在运动过程中，其大小和形状都会发生变化，因此实现可靠而稳定的人脸跟踪并识别有一定的困难性。对于人脸跟踪来说，视频序列图像中包含有很多不需要的信息，在人脸检测与跟踪之前，对图像进行预处理，初步定位出可能得人脸区域，将对系统的运行速度有较大的提升。在得到预处理结果之后，再使用检测算法来检测人脸。 

人脸跟踪阶段要对已检测到的人脸进行跟踪。在每次检测新帧之后，要对检测结果进行判断，如果检测结果中包含有新的人脸，则为新人脸目标构造一个跟踪器；如果检测结果中包含有新的人脸，则更新滤波器；如果检测结果不包含已 跟踪人脸，则认为人脸暂时失跟。 

a）新建跟踪器。 

如果检测结果中包含新的人脸，则为该目标构造新的跟踪器。每个跟踪器应该基本包含的变量可以用C++的结构体表示如下： 

由于并不能保证检测算法所得出的结果一定都是人脸，即也可能是误检产生的，因此，在对新的人脸构造跟踪器之前都要判断该目标是否确实是人脸。 

b)人脸跟踪器更新：如果检测结果中包含已跟踪人脸目标。需要对跟踪器进行更新，即用当前目标的中心，宽度和高度更新跟踪器中的center,width,height以及kalman中的各个变量。 

c)人脸跟踪器发生失跟：如果由于人脸目标的旋转或者人脸目标离开视频范围，使得检测结果与跟踪器中的目标不相匹配，那么就认为跟踪器暂时失跟，对暂时失跟的，可以保持原有的数据，直到再次检测到目标或者目标完全消失。 

（3）表情识别 

从表情识别的过程来看，表情识别可分为三部分：人脸图像的获取与预处理、表情特征提取和表情分类，可根据上述中人脸识别得到的预处理图像开始进行表情特征提取。表情特征提取是将点阵转化成更高级别图像表述，如形状、运动、颜色、纹理、空间结构等,在尽可能保证稳定性和识别率的前提下，对庞大的图 像数据进行降维处理。特征提取的主要方法有：提取几何特征、统计特征、频率域特征和运动特征等。 

①采用几何特征进行特征提取主要是对人脸表情的显著特征,如眼睛、眉毛、嘴巴等的位置变化进行定位、测量,确定其大小、距离、形状及相互比例等特征,进行表情识别； 

②基于整体统计特征的方法主要强调尽可能多的保留原始人脸表情图像中的信息,并允许分类器发现表情图像中相关特征,通过对整幅人脸表情图像进行变换,获取特征进行识别； 

③基于频率域特征提取:是将图像从空间域转换到频率域提取其特征（较低层次的特征）。主要方法有Gabor小波变换，小波变换能够通过定义不同的核频率、带宽和方向对图像进行多分辨率分析，能有效提取不同方向不同细节程度的图像特征并相对稳定，但作为低层次的特征，不易直接用于匹配和识别，常与ANN或SVM分类器结合使用，提高表情识别的准确率。 

④基于运动特征的提取：提取动态图像序列的运动特征，主要方法有光流法。光流法是指亮度模式引起的表观运动，是景物中可见点的三维速度矢量在成像平面上的投影，它表示景物表面上的点在图像中位置的瞬时变化，同时光流场携带了有关运动和结构的丰富信息，光流模型是处理运动图像的有效方法，其基本思想是将运动图像函数f(x,y,t)作为基本函数，根据图像强度守恒原理建立光流约束方程，通过求解约束方程，计算运动参数。 

表情分类主要包括主要有以下方法：用线性分类器、神经网络分类器、支持向量机、隐马尔可夫模型等分类识别方法。 

①线性分类器：假设不同类别的模式空间线性可分，引起可分的主要原因是 不同表情之间的差异。 

②神经网络分类器：人工神经网络(Artificial Neural Network,ANN)是一种模拟人脑神经元细胞的网络结构，它是由大量简单的基本元件—神经元，相互连接成的自适应非线性动态系统。将人脸特征的坐标位置和其相应的灰度值作为神经网络的输入，ANN可以提供很难想象的复杂的类间分界面。 

③支持向量机(SVM)分类算法：泛化能力很强、解决小样本、非线性及高维模式识别问题方面表、新的研究热点基本思想：对于非线性可分样本，首先通过非线性变换将输入空间变换到一个高维空间，然后在这个新空间中求取最优线性分界面。这种非线性变换通过定义适当的内积函数实现，常用的三种内积函数为:多项式内积函数、径向基内积函数、Sigmoid内积函数。 

④隐马尔可夫模型(Hidden Markov Models,HMM)：特点：统计模型、健壮的数学结构，适用于动态过程时间序列建模，具有强大的模式分类能力，理论上可处理任意长度的时序，应用范围非常广泛。 

四、心理咨询和心理慰藉模块 

情感心理慰藉及人工智能模块，是本发明的核心组成部分，它具有以下功能： 

a、能够对被服务者进行语言、文字、图像与视频的沟通和交流，它能够准确的接收被服务者的文字、语言与语音、表情和动作的含义或信息，并能够对这些含义或信息进行识别、跟踪、理解、分析和归纳总结，并作出适当回应和引导，它有强大的信息资料库，通过资料库能够及时对被服务者给出适当和合理的意见和建议。 

b、本情感心理慰藉及人工智能模块能够对被服务者进行心理慰藉，一方面能够通过文字、语言、视频等沟通与交流，本模块能够准确的输入被服务者的心理 障碍和心理疾病信息；另一方面它能够准确的理解、分析和诊断被服务者的心理障碍和心理疾病的起因、发生和发展的境况，同时它还能够找到解决这些问题的方法和办法，从而能够疏导和解决被服务者的心理和情感障碍，能够对被服务者进行心理慰藉服务。 

c、本情感心理慰藉及人工智能模块，能够为中老年被服务者或空槽独居老人提供仿声服务，它能够从大量信息中抽取被服务者要模拟的亲人语言、表情和动作等信息特征，并能够对这些信息特征进行识别、跟踪、理解和分析，对以上的信息能够进行人工智能模仿，如模仿被服务者亲人的语音、音色与语调、动作与肢体、表情等行为特征，和被服务者进行语言交流、情感聊天和心灵沟通等。 

五、娱乐服务模块 

娱乐点播模块能够为被服务者提供娱乐节目点播服务，如语言类节目在线点播，它能够应被服务者的要求和指令，为被服务者进行快板书、品书、小品与相声等传统娱乐的节目点播服务；又如音乐类节目点播，它能够应被服务者的要求和指令，为被服务者提供轻音乐、古典乐曲、歌曲与戏曲等节目点播服务。充实和改善被服务人群的业余和文化生活。它还能够为被服务者提供一些怀旧照片、老电影与回忆录等怀旧服务。 

六、个性化诊疗服务模块 

个性化诊疗服务模块用于对亚健康、慢性病和中老年人群进行个性化诊疗服务、导医服务和中医理疗服务，个性化诊疗服务所采用的依据为：针对被服务者所进行的特性化采集数据，如被服务者个人成长史、个人疾病史和家族史信息；另一方面是被服务者的身体检查数据，如体温测量值、血压测量值、血糖测量值、血氧测量值、心电图测量结果、血常规检查结果、尿常规检查结果、X线检查结果、B超检查结果、核磁共振检查结果、基因组检测结果中的一种或者两种以上 的组合。该模块能够为亚健康、慢性病和中老年人群提供特性化的服务。 

七、定制化服务模块 

定制化服务模块可以为亚健康、慢性病和中老年人群提供定制化的服务，可以实现的定制化的服务有：慢性病定制服务、吃药提醒定制服务、健康运动定制服务、饮食提醒定制服务、娱乐定制服务、聊天定制服务、日常生活定制服务等。定制化服务模块可以为亚健康、慢性病和中老年人群提供日常生活所需要的各种服务。 

八、信息存储模块 

信息存储模块一方面能够把存储的资料和信息输出到被服务客户，另一方面能够把服务过程中产生的语言、文字、图像、图片、视频等资料和信息存储到存储模块中，供以后的服务进行资料记忆和调取、资料比对、资料的归纳和总结等功能的顺利实现提供资料的基本准备和技术条件。 

九、人工智能服务模块 

该机器人能够通过语音模块采集用户语音信号，语义分析和自然语言理解单元得出用户的输入信息，再通过后台知识库系统得到正确的反馈信息，配合上仿声系统，能够准确理解被服务者的谈话意图和目的并能够作出相应回应和服务行为，即可实现人机实时的语音通话、需求交互功能。另外，该机器人服务系统含的图像和视频模块能够与所服务对象进行短信交流、视频服务与交流或图像、图片等信息交流与服务。 

应该理解的是，上述的说明，包括附图，仅仅是本发明申请的具体实施方式，事实上，凡以相同或近似的原理，对所述技术方案进行的修改、改进，以及替换，以实现基本相同的技术目的，则都在本发明申请所要求保护的技术方案之内。 

Claims (10)

1.一种智能交互及心理慰藉机器人服务系统，其特征在于，包括：

-医学服务模块：用于对亚健康、慢性病和中老年人群进行医学服务；

-仿声服务模块：用于对亚健康、慢性病和中老年人群进行信息交流和语言服务；

-图像和视频模块：用于对亚健康、慢性病和中老年人群进行信息交流和视频服务；

-心理咨询和心理慰藉模块：用于对亚健康、慢性病和中老年人群进行心理咨询和心理慰藉服务；

-娱乐服务模块：用于对亚健康、慢性病和中老年人群进行娱乐服务；

-个性化诊疗服务模块：用于对亚健康、慢性病和中老年人群进行个性化诊疗服务；

-定制化服务模块：用于对亚健康、慢性病和中老年人群进行定制化服务；

-信息存储模块：用于亚健康、慢性病和中老年人群服务过程中产生的数据和信息的存储；

-人工智能服务模块：用于对亚健康、慢性病和中老年人群进行人工智能服务。

2.根据权利要求1所述的智能交互及心理慰藉机器人服务系统，其特征在于，所述的医学服务模块具有以下特征：

a、该医学服务模块能够为亚健康人群、慢性病人群和中老年人群提供饮食处方、运动保健处方和中医理疗处方；

b、该医学服务模块能够为亚健康人群、慢性病人群和中老年人群提供预防保健、医疗协助和康复护理咨询服务；

c、该医学服务模块能够为亚健康人群、慢性病人群和中老年人群提供聊天、情感沟通交流及心理慰藉和疏导服务；

d、该医学服务模块能够为亚健康人群、慢性病人群和中老年人群提供居家安全知识、居家安全隐患检查和个人安全风险及防患常识咨询服务；

e、该医学服务模块能够为亚健康人群、慢性病人群和中老年人群提供区域内文化、体育、娱乐和学习教育资讯服务；

f、该医学服务模块能够为亚健康人群、慢性病人群和中老年人群提供法律、权益维护咨询服务；

g、该医学服务模块能够为亚健康人群、慢性病人群和中老年人群提供自我救治、自我救助和志愿者服务信息咨询服务。

3.根据权利要求1或2所述的智能交互及心理慰藉机器人服务系统，其特征在于：所述的仿声服务模块，能够模仿所服务对象的亲人或朋友的声音、动作、表情特征，该仿声服务模块通过对被模拟人的声音的频率、振幅以及音色这3个要素进行模拟和仿真，该仿声服务模块能够对被模拟人的声音特征跟踪、记忆、识别、存储、传输，该仿声服务模块具有对被服务人的声音进行自动识别的功能，该仿声服务模块具有人工智能服务功能，能够准确理解被服务者的谈话意图和目的并能够作出相应回应及服务行为，所述的仿声服务模块具有语音拾取单元，该语音拾取单元能够对外界输入声音进行数字化转换，能够进行声音数字化分析、比对、处理、存储和传输，所述的仿声服务模块，所述的仿声服务模块有自然语音理解单元，该自然语音理解单元，能够准确理解外界所输入语音含义，所述的仿声服务模块有中文分词单元，该中文分词单元能够把一段语句准确分成若干词组或词汇单元，所述的仿声服务模块有语音合成单元，该语音合成单元能够合成仿声语音。

4.根据权利要求1或2所述的智能交互及心理慰藉机器人服务系统，其特征在于：所述的图像和视频模块能够与所服务对象进行视频服务与交流或图像、图片信息交流与服务，所述图像和视频模块通过互联网、移动互联网、物联网或有线、无线电视网进行图像和视频传播，所述图像和视频传播的载体为手机、电脑、服务器、电视和网络会议系统进行传播，所述图像和视频模块具有图像识别功能，能够识别所服务的对象，该图像和视频模块具有记忆功能，能够记忆所服务对象的图像特征，该图像和视频模块具有人类脸部特征抓取功能，它能够抓取人类脸部图像特征，该图像和视频模块具有对人类脸部特征信息进行跟踪、识别、理解、分析、记忆、存储和传输功能，该图像和视频模块具有人类脸部表情信息特征抓取功能，该图像和视频模块具有对人类脸部表情特征进行跟踪、识别、理解、分析、记忆、存储和传输功能，该图像和视频模块具有人类眼瞳识别功能，该图像和视频模块具有人类指纹识别功能。

5.根据权利要求1或2所述的智能交互及心理慰藉机器人服务系统，其特征在于：所述心理咨询和心理慰藉模块能够对所服务对象，通过语音、文字、图像或视频信息对被服务者进行心理健康咨询、心理健康辅导和心理慰藉等心理健康服务。

6.根据权利要求1或2所述的智能交互及心理慰藉机器人服务系统，其特征在于：所述娱乐服务模块用于对亚健康、慢性病和中老年人群进行娱乐节目服务，能够进行语言类、戏曲类和音乐类娱乐服务节目点播服务。

7.根据权利要求1或2所述的智能交互及心理慰藉机器人服务系统，其特征在于：所述个性化诊疗服务模块用于对亚健康、慢性病和中老年人群进行个性化诊疗服务、导医服务和中医理疗服务，个性化诊疗服务的依据为采集到的被服务者个人成长史、个人疾病史和家族史信息以及被服务者的身体检查数据：体温测量值、血压测量值、血糖测量值、血氧测量值、心电图测量结果、血常规检查结果、尿常规检查结果、X线检查结果、B超检查结果、核磁共振检查结果、基因组检测结果中的一种或者两种以上的组合。

8.根据权利要求1或2所述的智能交互及心理慰藉机器人服务系统，其特征在于：所述定制化服务模块能够根据被服务者的实际需要进行定制特性化服务。

9.根据权利要求1或2所述的智能交互及心理慰藉机器人服务系统，其特征在于：所述的人工智能服务模块，用于为亚健康、慢性病和中老年人群提供人工智能服务，该人工智能服务模块有自动识别功能，能够自动识别所服务的对象，该人工智能服务模块有文字、语言和图像与视频的理解能力、记忆能力和分析能力，它能够理解、记忆和分析被服务对象所提供的文字、语言和图像与视频信息，该人工智能服务模块能够与被服务对象进行语言、文字和视频交流。

10.权利要求所述的智能交互及心理慰藉机器人服务系统，其特征在于：所述的智能交互及心理慰藉机器人服务系统包括MCU和与MCU连接的电源、晶体振荡器、输入/输出设备、接口和存储设备。