CN109318236A - 老人伴护智能系统 - Google Patents

老人伴护智能系统 Download PDF

Info

Publication number
CN109318236A
CN109318236A CN201710646252.5A CN201710646252A CN109318236A CN 109318236 A CN109318236 A CN 109318236A CN 201710646252 A CN201710646252 A CN 201710646252A CN 109318236 A CN109318236 A CN 109318236A
Authority
CN
China
Prior art keywords
module
slave
host
chaperons
service object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710646252.5A
Other languages
English (en)
Inventor
阮岗侠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ankang City Hanbin District Yi Chi Network Technology Co Ltd
Original Assignee
Ankang City Hanbin District Yi Chi Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ankang City Hanbin District Yi Chi Network Technology Co Ltd filed Critical Ankang City Hanbin District Yi Chi Network Technology Co Ltd
Priority to CN201710646252.5A priority Critical patent/CN109318236A/zh
Publication of CN109318236A publication Critical patent/CN109318236A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • B25J11/009Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/22Interactive procedures; Man-machine interfaces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/26Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Abstract

一种老人伴护智能系统,包括智能伴护机器人部分、手环辅助部分、主机伺服部分,三者通过互联网互传信息,智能伴护机器人伴护在老人附近,陪老人聊天,给老人讲述新闻和趣事,帮助老人交话费、水电费、网购,提醒老人服药、休息,检测环境安全和老人身体异常,在遇到难以确定或者紧急情况,主机伺服响应介入,调取求救前一刻音频和视屏记录,接通远程视屏,弄清发生情况,采取相应对策,解决救助问题,并通过智能伴护机器人表达出来。使接受服务的老人更有安全保障,更有幸福感和安全感。此系统特别适合居家的高龄老人伴护,也适合老年公寓伴护,以及病残人士的护理和小孩的监护。

Description

老人伴护智能系统
技术领域
本发明涉及机器人技术领域,尤其涉及陪护机器人及系统。
背景技术
虽然当今科技迅猛发展,中文语音识别技术有了很大提高,但研发的机器人技术在语音精度识别、理解语义,处理应对未经训练发音不标准,特别是老年人智能服务方面,才处于刚刚起步,起码在近10年或者更长时间难以实用化,而世界范围的老龄化越来越严重,特别是中国老龄化问题已到了迫在眉睫,刻不容缓的时候。
发明内容
本发明公开一种老人伴护智能系统,包括智能伴护机器人部分、手环辅助部分、主机伺服部分,三者可通过互联网互传信息,智能伴护机器人伴护在老人附近,陪老人聊天,给老人讲述新闻和趣事,帮助老人网购,提醒老人服药、休息,检测环境安全和老人身体异常,在遇到难以确定或者紧急情况,主机伺服响应介入,调取求救前一刻音频和视屏记录,接通远程视屏,弄清发生情况,采取相应对策,解决救助问题,并通过智能伴护机器人表达出来。使接受服务的老人更有安全保障,更有幸福感和安全感。此系统特别适合居家的高龄老人伴护,也适合老年公寓伴护,以及病残人士的护理和小孩的监护。
老人伴护智能系统,包括智能伴护机器人部分、手环辅助部分、主机伺服部分,分别简称副机、子机、主机,其特征是副机、子机、主机都有各自电源,分离运行,工作时主机直接连接互联网,副机和子机通过WiFi无线局域网或者蓝牙互传信息,也可直接通过移动运营商连接互联网,一台副机可以带一台子机,也可以带20台以下的子机工作,一台主机可以带一台副机,也可以带100台以下的副机工作;三者可以互传信息,共同完成老人等服务服务对象的陪伴交流、看护服务工作;副机和子机都有不同的编号,以便识别和联系。
所述智能伴护机器人部分有无线连网GPS定位模块,视频识别存储模块,语音识别分析模块,智能应对播放模块,肢体表情表现模块和电源驱动避障模块,各模块协作,可以自主移动,陪伴在服务对象附近,完成一般的老人智能伴护任务,副机外形,可以设计成人形,也可以设计成狗、猫、兔子、熊猫、鹦鹉等宠物或动物外形,或者是长江7号、熊猫大侠等艺术造型的外形。
所述语音识别分析模块运用声纹识别技术,分离出服务服务对象的声波,放大并识别;对多人说话,启用多任务进行识别;同时根据所述视频识别存储模块,分析服务对象面部特征点的组成类型及变化,取得服务对象的情绪类别编号值,处理实现语音识别、语义解析,得到服务对象语音的文字信息,由智能应答播放模块自主应答;视屏信息自动按每五分钟一段以编号为名存储,24小时循环保存,即同一时段覆盖前一天或前某一天此时段视屏内容,存储视屏信息可以被主机通过WiFi调取,用以甄别和备案。
所述智能应答播放模块包含编序的分类常用语句集合,词语短句数据库,择句及词库组句模块,网搜智配语句模块以及组句择优学习模块,和语音合成播放模块;所述择句词库组词模块,根据任务需要,或者识别服务对象所提问题的含义,参照服务对象的情绪分类等级,选择出合适的分类常用语句作为询问、应答、交流语句播出,或者匹配组合出合适的应答语句,并和网络搜索得到的应答语句比较,筛选出最后的应答语句文字信息,再由语音播放语句模块,根据服务对象的情绪分类等级,确定副机应答的情绪分类等级,调用语音合成播放模块,控制语速、声调和音量,通过喇叭播放出来,完成对话;组词自主学习模块运用TensorFlow技术深度学习,在选择组词以及回答后服务对象反应自主学习,不断提高应对的合理性,当选择的应答语句合理性数值低于阈值,或者当辨识到服务对象对交流语句不满意或者恼怒时,向伺服主机发出信号求助信号,同时启动异常求助求救模块模块,获得主机帮助应对异常问题。
所述手环辅助部分,即子机,有健康信息处理模块和报警提示播放模块,所述健康信息处理模块,可采集体温、脉搏信息,通过光电容积脉搏波描记法(PhotoPlethysmoGraphy),即PPG,来监测心率信息;所述报警提示播放模块,定时向副机发送GPS位置信息,当和副机联络中断,向主机发送告急信息及GPS位置信息;分析体温和心率信息,当其超过阈值,向智能伴护机器人发送信息及数据;收到副机和主机发来预先设定信息代码,播放报警铃声及提示语句。
所述主机伺服部分有信息分析存储模块、新闻趣闻推送模块和人工干预处理模块,可监视各副机机器人部分工作,子机和副机位置和编号可在主机显示屏的地图上显示出来;当副机宕机或子机脱管报急,值班人员可与服务对象,或服务对象监护人、服务人员联系了解解决问题;每天的新闻和分类趣事按设定的数量有主机采集定时向各副机推送;超出定额的部分和即时发生的新闻、趣事按约定的规律编序更名,便于副机随时根据服务对象要求,调取相应内容播放。
所述语音识别分析模块中设置有循环录音截取模块,对话筒拾取的音频信号,进行1分钟循环录音,即复读机功能;所述智能应对播放模块中设置的异常求助求救模块,当向主机发送求助或求救信号时,同时传送N(5≤N≤20)秒和1分钟录音音频信息,方便迅速甄别和应对;所述人工干预处理模块,当接到求助信号或求救信号,立即自动用设定的语音或铃声提醒值班人员进入工作状态,同时打开N(5≤N≤20)秒复读录音、1分钟复读录音,并接通副机远程视屏共享直接观察,远程视屏通讯设置成单向,伺服主机工作室对外屏蔽,同时通过此刻时间自动换算并调取最近5分钟视屏,当接受完5分钟视频自动打开,弄清前后发生的情况,作出应急应对处理;主机人工干预时,向副机机器人发送编序的分类常用语句集合的编号,或者语音输入,或者直接输入文字传送至副机;副机机器人通过编号调取预定的语句,或者直接传送来的语句,以语音形式播放出来。
所述智能伴护机器人部分还有环境异常检测模块,管理用于感应环境光线变化的光电传感器、用于感应环境温度的的热敏传感器、用于检测环境中煤气浓度的煤气检测传感器,和用于检测环境湿度的湿度传感器,当环境各类检测值超过预定的阈值时,主动向服务对象以预先设定的语句播放告急,在环境检测指标继续恶化,直接向主机发出求助信号,调用异常求助求救模块,方便迅速甄别和应对。
当服务服务对象提出网购要求,副机智能应对播放模块包含的网购确认处理模块工作,由语音合成播放模块重复购物要求得到确认时,主动向主机发出求购信息,所述主机的人工干预处理模块,包含任务确认网购模块,在服务对象的购物信用等级金额内完成网购付款时,向副机发出信息,购物信息由机器人读出并要求最后确认,得到确认后信息反馈到所述任务确认网购模块,付款完成购物,并将确认时录音存储作为授权购物证据,对收到购物的服务对象对购物的认可情况,自动将购物信用进行等级的提升和降低。
所述视频识别存储模块还包含形态异常识别模块,当检测到服务对象由站姿或其它姿势变换为卧姿的时间值小于阈值,或者识别出服务对象痛苦表情,或者接收到所述手环辅助部分发送的服务对象生理数据超过正常阈值,由所述智能应对播放模块选择询问安慰语句播放,同时向主机发出求救信号,由所述异常求助求救模块传送相关信息,应对突发或紧急情况。
所述智能伴护机器人部分还包含电源驱动避障模块和肢体表情表现模块,所述电源驱动避障模块管理内装的锂电池组,电力驱动副机移动,当智能伴护机器人外形是人形,两足行走,其它或者四肢行走,或者轮子、履带移动,陪伴服务对象左右,或者跟随其后,并能在运行时根据红外线检测运动方向,遇到不能安全越过的障碍绕行;所述肢体表情表现模块管理,使副机机器人通常情况下头部朝向服务对象,当有别的声响或者其它方向有人说话是,头部转动声源,3秒后仍然转向服务对象,还能根据所配或外形外表,通过外形的头、面部及肢体动作,做出欢愉、关注、顺从、委屈、愤怒表情。
老人伴护智能系统,甚至智能伴护机器人部分往往就需要几个模块工作才能实现一项功能或者解决一个问题。
一些重要模块的主要原理和实现方法如下:
1_1、无线连网GPS定位模块:定位自己和服务服务对象位置,正常时5分钟存储一次坐标,当遇到障碍和不能自主解决的问题,立即给伺服主机发送报急信息,并发送两者gps坐标,此后半小时内每1分钟发送一次,直至接到伺服主机停止发送的指令。
1_2、视频识别存储模块辨识对象信息模块:分析并储存服务对象的形体和面部体征信息,和1-3共同识别和存储服务对象的声纹特征信息;情绪表情辨析模块,将服务对象的情绪表情按祥和、高兴、愉悦、焦躁、不满、愤怒、痛苦等分成7-20个类别,每个类别按程度分为5个级别,作为服务对象的情绪代码,工作时进行观察和深度学习服务对象的视频及截图的面部表情和肢体动作,识别并确定服务对象的情绪代码;将情绪按照分类的编号,传送给1-3和1-4,便于进一步确定语义和应对;对愤怒和痛苦优先处理。
视屏分段存储模块,将视频按每5分钟一个片段储存,覆盖前一天或若干天同一时段的视屏,只保留最近24小时视屏片段集合,节省存储空间。视屏片段存储名字为本智能伴护机器人的编号代码+HHMM,及HH时MM分,存储信息可由主机调用;形态异常识别模块,当检测到服务对象由站姿或其它姿势变换为卧姿的时间值小于阈值,或者识别出服务对象痛苦表情(二级以上),或者接收到所述手环辅助部分发送的服务对象生理数据超过正常阈值,由所述智能应对播放模块选择询问安慰语句(如哪里不舒服,要不要看医生)播放,同时向主机发出求救信号,由所述异常求助求救模块传送相关信息,应对突发或紧急情况。
1_3、语音识别分析模块:多任务声纹识别模块,运用声纹识别技术,分离出服务服务对象的声波,并放大;对多人说话,启用多任务进行识别;特殊语义处理模块,如果识别服务对象话语有谩骂、指责、警告、制止,呼救的语义,结合1_2辨识的情绪代码值确认后,转到1_4向主机求助;对其他人说话,所识别出谩骂、指责、警告、制止,呼救的语义,和服务对象语义相同,或情绪代码相同或相近的,情绪代码级别加1,并优先转到1_4向主机求助;循环录音截取模块,对话筒拾取的音频信号,进行1分钟循环录音,即复读机功能;当向主机发送求助或求救信号时,可调用此刻1分钟循环录音和N(5≤N≤20)秒片段,协助迅速弄清发生的情况和问题。
1_4、智能应对播放模块:分类常用语句集合,保存有编有序号的分类常用语句集合,内容以及语句增减和主机内容一致,其编号和语句一一对应,只要传送编号,即可提取出相应语句,用语音合成播放模块播放出来,可大大提高反应和应对速度。
词语短句数据库,将各类词语、短语存入相应数据库,等待调用。
择句及词库组句模块,在服务对象服药和就诊时间到了,优先提醒;否则预约事情时间到了,及时提醒;锻炼和活动时间到了,及时提醒;结合服务对象的情绪代码,同一状态时间设定时间初值,如下棋1小时,看书半小时,看电视1.5小时等,然后由服务对象确定,确定后重复一遍,
并将确认时最近5分钟复读记录音频以任务时间代码为文件名储存;
同一状态时间超过设定时间,提醒;
根据需要应答的问题,或者直接在分类常用语句集合筛选,或者运用MicrosoftConcept Graph 和 Microsoft Concept Tagging等技术匹配词语短
句数据库组句。
网搜智配语句模块,遇到较难问句,网络搜索筛选结果,提供选用。
组句择优学习模块,结合服务对象的情绪代码,参照问题的语义,选择出较好的对话播放。自主学习TF模块
语音合成播放模块,选用语音合成技术,运用日趋成熟的机器朗读技术。结合情绪以相应的语速语调朗读出来。
异常求助求救模块,当向主机发送求助或求救信号时,开启和主机共享副机摄像头及视频信息功能,同时传送N(5≤N≤20)秒和1分钟录音音频信息,方便迅速甄别和应对。
网购确认处理模块,由语音合成播放模块重复购物要求得到确认时,主动向主机发出求购信息,所述主机的人工干预处理模块,包含任务确认网购模块,在服务对象的购物信用等级金额内完成网购付款时,向副机发出信息,购物信息由机器人读出并要求最后确认,得到确认后信息反馈到所述任务确认网购模块,付款完成购物,并将确认时录音存储作为授权购物证据,对收到购物的服务对象对购物的认可情况,自动将购物信用进行等级的提升和降低。
1_5、肢体表情表现模块:根据所配外形外表,通过外形的头、面部及肢体动作,做出欢愉、关注、顺从、委屈、愤怒;只有当服务对象受到威胁或威胁没有解除时表现愤怒表情,同时把相配外形的头部转向来自威胁的地方。
1_6、电源驱动避障模块:内部装有锂电池组,电力驱动,当智能伴护机器人外形是人形,两足行走,其它或者四肢行走,轮子、履带行走,陪伴服务对象左右,或者跟随其后,头部朝向服务对象,当有别的声响或者其它方向有人说话是,头部转动声源,3秒后仍然转向服务对象。
行动时启动红外线,遇到不能安全越过的障碍绕行。
管理锂电池,通常在服务对象休息时充电,电量不足时若服务对象没有休息,向服务对象发出语音告知,得到允许,自动返回充电基座充电,并向伺服主机发送返回充电信息。
手环辅助系统:
2_1健康信息处理模块:采集体温、脉搏信息,通过光电容积脉搏波描记法(PhotoPlethysmoGraphy),即PPG,来监测心率信息。
2_2报警提示播放模块:定时向副机发送GPS位置信息,当和副机联络中断,向主机发送告急信息及GPS位置信息;分析体温和心率信息,当其超过阈值,向智能伴护机器人发送信息及数据;收到副机和主机发来约定信息代码,播放报警铃声及提示语句。
主机伺服系统:
伺服主机为专为的计算机服务器,由负有保密责任的普通话标准的有经验工作人员值守,可同时服务和监控多个智能伴护机器人,可放大其中一个重点监测处理。
3_1信息分析存储模块:分析智能伴护机器人发送的对话文字信息,调取相应时段的视屏记录,分析自主应答的合理性,统计准确率,提出改进语音识别和应答模块的方案。
对个案的问题,特别是方言语调的识别,反馈矫正方案。例如“噻”尾音,可能识别为赛,和前面其它词语可能组成其它意思,并回答不相及的对话。...
3_2新闻趣闻推送模块:每天定时将新闻和趣事分类梳理,并推送到至服务端,即每个智能伴护机器人若有即时新闻和趣事,分类统计数加1,将前边信息编号名称的分类统计数+序号的前部分更换为最新,新加的一条编号名称为分类统计数+分类统计数如体育新闻第一条,编号为T01-01,又有一条时,两条编号名称为T02-01,T02-02;当第14条信息出来时,第一、第二及第十四条信息的编号为T14-01、T14-04和T14-14。
当智能伴护机器人向服务对象播放到第七条及时信息时,会在相应变量下tj下保存7,再当服务对象询问有无新的体育新闻,会提取分类统计数14,自动向服务对象播放T14-08、T14-09...T14-14;播放完,tj下保存14,以此类推。
3_3人工干预处理模块:
救助情况甄别模块,接到求助信号或求救信号,立即自动用设定的语音或铃声提醒值班人员进入工作状态,同时打开N(5≤N≤20)秒复读录音、一分钟复读录音,和接通远程视屏直接观察,远程视屏通讯设置成单向,伺服主机工作室对外屏蔽;
同时通过此刻时间自动换算并调取最近5分钟视屏,当接受完5分钟视频自动打开,弄清前后发生的情况。
并点选不同情形话语集,选择相应的处理及语句,自动发送语句代码,使该智能伴护机器人系统根据应急反应代码,调用主机命令集合中相应语句,播放音频;必要时处理同时自动连接报警、抢救及有关部门电话,第一时间做出应急反应;或者通知服务对象家属、老年公寓工作人员协助处理。
对于有些预先未纳入应急的语句,启用语音识别模块,输入话语,自动识别成文字信息,通过WiFi传送到该智能伴护机器人系统直接播出。
由于视屏、音频都是单向传输,所有发声都是由智能伴护机器人所带喇叭或扩音器发出,给服务者的感觉更神奇。加之由于人工干预,机器智能在处
理此类服务和应急方面,三十年之类不可能超过人的智慧和应变能力,可以给老人和伤残智障人士提供大众化的超前服务。
任务确认网购模块,在服务对象的购物信用等级金额内完成网购、水电费话费付款时,向副机发出信息,购物信息由机器人读出并要求最后确认,得到确认后信息反馈到所述任务确认网购模块,付款完成购物,并将确认时录音存储作为授权购物证据,对收到购物的服务对象对购物的认可情况,自动将购物信用进行等级的提升和降低。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,
图 1 示出了本发明老人伴护智能系统三部分的结构示意图 ;
图 2 示出了本发明智能伴护机器人部分的结构示意图 ;
图 3 示出了本发明主机伺服部分的结构示意图 ;
图 4 示出了本发明实施例需要救助传送音频信息的结构示意图。
具体实施方式
假如发生服务对象老人在家走路时被小凳子绊着跌倒情况,陪伴在老人附近的智能伴护机器人,由于其视频识别存储模块中有形态异常识别模块,老人跌倒时由站姿变换为卧姿的时间值小于阈值1.5秒,(这时服务对象痛苦表情会高于2级;心率也会突然加快),
智能伴护机器人部分的语音识别分析模块中设置有循环录音截取模块,对话筒拾取的音频信号,进行1分钟循环录音,智能应对播放模块中设置的异常求助求救模块,会调用分类常用语句集合预设的求救代码,向主机发送求救dd02信号,同时传送15(N=15)秒和1分钟录音音频信息,方便迅速甄别和应对;同时调取分类常用语句集合中有关跌倒的询问语句,由语音合成播放模块发出“您摔的很痛吗,要不要叫救护车”的询问。
人工干预处理模块,当接到求救信号dd02,立即自动用设定的语音或铃声提醒值班人员进入工作状态,同时打开15秒复读录音和1分钟复读录音,并接通副机远程视屏共享直接观察,远程视屏通讯设置成单向,伺服主机工作室对外屏蔽,同时通过此刻时间自动换算并调取最近5分钟视屏,当接受完5分钟视频自动打开,
通过音频,视频弄清老人如何跌倒的情况,如远程视屏观察到老人并没有受伤,已站起来走到桌子边椅子坐下,输入“刚才多危险呀,您走路慢一点,别让小凳子绊着”,传送给伴护机器人,由语音合成播放模块直接播出,然后给预留号码的老人监护人手机发送信息,告知老人刚才被小凳子绊倒,需要家人关注是否去看医生;如果远程视屏观察到老人跌的很重,已经受伤,主机工作人员立即拨打120电话或者医院专线电话,告知老人预留地址,请前往救治;同时,向副机机器人发送编序的分类常用语句集合的编号jj120;副机机器人通过编号jj120,调取预定的语句“120正在赶来路上,您现在不要轻易移动,避免再次受伤”,通过语音合成播放模块让喇叭播放出来,安抚老人;主机工作人员然后给预留号码的老人监护人手机发送信息通知老人跌倒受伤,120正赶往救治,随后将事故发生前后视频存储备案,……。

Claims (10)

1.一种老人伴护智能系统,包括智能伴护机器人部分、手环辅助部分、主机伺服部分,分别简称副机、子机、主机,其特征是副机、子机、主机都有各自电源,分离运行,工作时主机直接连接互联网,副机和子机通过WiFi无线局域网或者蓝牙互传信息,也可直接通过移动运营商连接互联网,一台副机可以带一台子机,也可以带20台以下的子机工作,一台主机可以带一台副机,也可以带100台以下的副机工作;三者可以互传信息,共同完成老人等服务服务对象的陪伴交流、看护服务工作。
2.权利要求1所述老人伴护智能系统,其特征是:所述智能伴护机器人部分有无线连网GPS定位模块,视频识别存储模块,语音识别分析模块,智能应对播放模块,肢体表情表现模块和电源驱动避障模块,各模块协作,可以自主移动,陪伴在服务对象附近,完成一般的老人智能伴护任务,副机外形,可以设计成人形,也可以设计成狗、猫、兔子、熊猫、鹦鹉等宠物或动物外形,或者是长江7号、熊猫大侠等艺术造型的外形。
3.权利要求1或2所述老人伴护智能系统,其特征是:所述语音识别分析模块运用声纹识别技术,分离出服务服务对象的声波,放大并识别;对多人说话,启用多任务进行识别;同时根据所述视频识别存储模块,分析服务对象面部特征点的组成类型及变化,取得服务对象的情绪类别编号值,处理实现语音识别、语义解析,得到服务对象语音的文字信息,由智能应答播放模块自主应答;视屏信息自动按每五分钟一段以编号为名存储,24小时循环保存,即同一时段覆盖前一天或前某一天此时段视屏内容,存储视屏信息可以被主机通过WiFi调取,用以甄别和备案。
4.权利要求1-3所述老人伴护智能系统,其特征是:所述智能应答播放模块包含编序的分类常用语句集合,词语短句数据库,择句及词库组句模块,网搜智配语句模块以及组句择优学习模块,和语音合成播放模块;所述择句词库组词模块,根据任务需要,或者识别服务对象所提问题的含义,参照服务对象的情绪分类等级,选择出合适的分类常用语句作为询问、应答、交流语句播出,或者匹配组合出合适的应答语句,并和网络搜索得到的应答语句比较,筛选出最后的应答语句文字信息,再由语音播放语句模块,根据服务对象的情绪分类等级,确定副机应答的情绪分类等级,调用语音合成播放模块,控制语速、声调和音量,通过喇叭播放出来,完成对话;组词自主学习模块运用TensorFlow技术深度学习,在选择组词以及回答后服务对象反应自主学习,不断提高应对的合理性,当选择的应答语句合理性数值低于阈值,或者当辨识到服务对象对交流语句不满意或者恼怒时,向伺服主机发出信号求助信号,同时启动异常求助求救模块模块,获得主机帮助应对异常问题。
5.权利要求1-4所述老人伴护智能系统,其特征是:所述手环辅助部分,即子机,有健康信息处理模块和报警提示播放模块,所述健康信息处理模块,可采集体温、脉搏信息,通过光电容积脉搏波描记法(PhotoPlethysmoGraphy),即PPG,来监测心率信息;所述报警提示播放模块,定时向副机发送GPS位置信息,当和副机联络中断,向主机发送告急信息及GPS位置信息;分析体温和心率信息,当其超过阈值,向智能伴护机器人发送信息及数据;收到副机和主机发来预先设定信息代码,播放报警铃声及提示语句。
6.权利要求1-5所述老人伴护智能系统,其特征是:所述主机伺服部分有信息分析存储模块、新闻趣闻推送模块和人工干预处理模块,可监视各副机机器人部分工作,子机和副机位置和编号可在主机显示屏的地图上显示出来;当副机宕机或子机脱管报急,值班人员可与服务对象,或服务对象监护人、服务人员联系了解解决问题;每天的新闻和分类趣事按设定的数量有主机采集定时向各副机推送;超出定额的部分和即时发生的新闻、趣事按约定的规律编序更名,便于副机随时根据服务对象要求,调取相应内容播放。
7.权利要求1-6所述老人伴护智能系统,其特征是:所述语音识别分析模块中设置有循环录音截取模块,对话筒拾取的音频信号,进行1分钟循环录音,即复读机功能;所述智能应对播放模块中设置的异常求助求救模块,当向主机发送求助或求救信号时,同时传送N(5≤N≤20)秒和1分钟录音音频信息,方便迅速甄别和应对;所述人工干预处理模块,当接到求助信号或求救信号,立即自动用设定的语音或铃声提醒值班人员进入工作状态,同时打开N(5≤N≤20)秒复读录音、1分钟复读录音,并接通副机远程视屏共享直接观察,远程视屏通讯设置成单向,伺服主机工作室对外屏蔽,同时通过此刻时间自动换算并调取最近5分钟视屏,当接受完5分钟视频自动打开,弄清前后发生的情况,作出应急应对处理;主机人工干预时,向副机机器人发送编序的分类常用语句集合的编号,或者语音输入,或者直接输入文字传送至副机;副机机器人通过编号调取预定的语句,或者直接传送来的语句,以语音形式播放出来。
8.权利要求1-7所述老人伴护智能系统,其特征是:所述智能伴护机器人部分还有环境异常检测模块,管理用于感应环境光线变化的光电传感器、用于感应环境温度的的热敏传感器、用于检测环境中煤气浓度的煤气检测传感器,和用于检测环境湿度的湿度传感器,当环境各类检测值超过预定的阈值时,主动向服务对象以预先设定的语句播放告急,在环境检测指标继续恶化,直接向主机发出求助信号,调用异常求助求救模块,方便迅速甄别和应对。
9.权利要求1-8所述老人伴护智能系统,其特征是:当服务服务对象提出网购要求,副机智能应对播放模块包含的网购确认处理模块工作,由语音合成播放模块重复购物要求得到确认时,主动向主机发出求购信息,所述主机的人工干预处理模块,包含任务确认网购模块,在服务对象的购物信用等级金额内完成网购付款时,向副机发出信息,购物信息由机器人读出并要求最后确认,得到确认后信息反馈到所述任务确认网购模块,付款完成购物,并将确认时录音存储作为授权购物证据,对收到购物的服务对象对购物的认可情况,自动将购物信用进行等级的提升和降低。
10.权利要求1-9所述老人伴护智能系统,其特征是:所述视频识别存储模块还包含形态异常识别模块,当检测到服务对象由站姿或其它姿势变换为卧姿的时间值小于阈值,或者识别出服务对象痛苦表情,或者接收到所述手环辅助部分发送的服务对象生理数据超过正常阈值,由所述智能应对播放模块选择询问安慰语句播放,同时向主机发出求救信号,由所述异常求助求救模块传送相关信息,应对突发或紧急情况;所述智能伴护机器人部分还包含电源驱动避障模块和肢体表情表现模块,所述电源驱动避障模块管理内装的锂电池组,电力驱动副机移动,当智能伴护机器人外形是人形,两足行走,其它或者四肢行走,或者轮子、履带移动,陪伴服务对象左右,或者跟随其后,并能在运行时根据红外线检测运动方向,遇到不能安全越过的障碍绕行;所述肢体表情表现模块管理,使副机机器人通常情况下头部朝向服务对象,当有别的声响或者其它方向有人说话是,头部转动声源,3秒后仍然转向服务对象,还能根据所配或外形外表,通过外形的头、面部及肢体动作,做出欢愉、关注、顺从、委屈、愤怒表情。
CN201710646252.5A 2017-08-01 2017-08-01 老人伴护智能系统 Pending CN109318236A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710646252.5A CN109318236A (zh) 2017-08-01 2017-08-01 老人伴护智能系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710646252.5A CN109318236A (zh) 2017-08-01 2017-08-01 老人伴护智能系统

Publications (1)

Publication Number Publication Date
CN109318236A true CN109318236A (zh) 2019-02-12

Family

ID=65245131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710646252.5A Pending CN109318236A (zh) 2017-08-01 2017-08-01 老人伴护智能系统

Country Status (1)

Country Link
CN (1) CN109318236A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109920425A (zh) * 2019-04-03 2019-06-21 北京石头世纪科技股份有限公司 机器人语音控制方法、装置、机器人和介质
CN110033772A (zh) * 2019-04-28 2019-07-19 中国科学院上海高等研究院 基于ppg信号的非声学语音信息检测装置
CN110491089A (zh) * 2019-08-12 2019-11-22 首都医科大学 一种基于神经反射的老人照护系统
CN111975772A (zh) * 2020-07-31 2020-11-24 深圳追一科技有限公司 机器人控制方法、装置、电子设备及存储介质
CN112530543A (zh) * 2021-01-27 2021-03-19 张强 药品管理系统
CN112669567A (zh) * 2020-12-18 2021-04-16 广东智源信达工程有限公司 养老监护报警与视频监控的联动控制方法及系统
CN113364843A (zh) * 2021-05-31 2021-09-07 哈尔滨工程大学 一种老年人室内独自发生意外的及时救援系统
CN113524218A (zh) * 2021-07-26 2021-10-22 浙江齐步智能科技有限公司 一种基于面部表情的老年陪护机器人的报警系统
CN114466257A (zh) * 2022-01-27 2022-05-10 南京宝登智能科技有限公司 一种监管病房智慧防控一体机
CN115268281A (zh) * 2022-06-27 2022-11-01 青岛海尔科技有限公司 控制指令的发送方法、装置、存储介质及电子装置
CN115376276A (zh) * 2022-07-25 2022-11-22 苏州智瞳威视科技有限公司 一种采用人工智能语音交互方式的老人跌倒监测装置
CN116021250A (zh) * 2023-03-29 2023-04-28 清华大学 智能装配系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109920425B (zh) * 2019-04-03 2021-11-12 北京石头世纪科技股份有限公司 机器人语音控制方法、装置、机器人和介质
CN109920425A (zh) * 2019-04-03 2019-06-21 北京石头世纪科技股份有限公司 机器人语音控制方法、装置、机器人和介质
CN110033772A (zh) * 2019-04-28 2019-07-19 中国科学院上海高等研究院 基于ppg信号的非声学语音信息检测装置
CN110491089A (zh) * 2019-08-12 2019-11-22 首都医科大学 一种基于神经反射的老人照护系统
CN110491089B (zh) * 2019-08-12 2021-08-13 首都医科大学 一种基于神经反射的老人照护系统
CN111975772A (zh) * 2020-07-31 2020-11-24 深圳追一科技有限公司 机器人控制方法、装置、电子设备及存储介质
CN112669567A (zh) * 2020-12-18 2021-04-16 广东智源信达工程有限公司 养老监护报警与视频监控的联动控制方法及系统
CN112530543A (zh) * 2021-01-27 2021-03-19 张强 药品管理系统
CN113364843A (zh) * 2021-05-31 2021-09-07 哈尔滨工程大学 一种老年人室内独自发生意外的及时救援系统
CN113524218A (zh) * 2021-07-26 2021-10-22 浙江齐步智能科技有限公司 一种基于面部表情的老年陪护机器人的报警系统
CN113524218B (zh) * 2021-07-26 2022-11-22 深圳万普瑞邦技术有限公司 一种基于面部表情的老年陪护机器人的报警系统
CN114466257A (zh) * 2022-01-27 2022-05-10 南京宝登智能科技有限公司 一种监管病房智慧防控一体机
CN115268281A (zh) * 2022-06-27 2022-11-01 青岛海尔科技有限公司 控制指令的发送方法、装置、存储介质及电子装置
CN115376276A (zh) * 2022-07-25 2022-11-22 苏州智瞳威视科技有限公司 一种采用人工智能语音交互方式的老人跌倒监测装置
CN116021250A (zh) * 2023-03-29 2023-04-28 清华大学 智能装配系统
CN116021250B (zh) * 2023-03-29 2023-06-06 清华大学 智能装配系统

Similar Documents

Publication Publication Date Title
CN109318236A (zh) 老人伴护智能系统
US11488590B2 (en) Methods and systems for processing, storing, and publishing data collected by an in-ear device
US9814993B2 (en) Interactive toy plaything having wireless communication of interaction-related information with remote entities
Mawson et al. Violence and Asperger's syndrome: A case study
CN105468145B (zh) 一种基于手势和语音识别的机器人人机交互方法和装置
US9691018B2 (en) Interface apparatus and method for providing interaction of a user with network entities
CN102752577B (zh) 个人携带式移动监控及家庭服务平台
JP2021061057A (ja) ロボット、制御方法及びプログラム
CN103282906A (zh) 用于锻炼和个人安全的系统、方法、设备或计算机程序产品
US20020169583A1 (en) Automatic system for monitoring person requiring care and his/her caretaker
CN103561652A (zh) 用于辅助患者的方法和系统
JP6900058B2 (ja) パーソナルアシスタント制御システム
CN105234947A (zh) 一种面向独居老人的陪护和紧急救助型机器人
US11003894B2 (en) Information processing system, storage medium, and information processing method to make a response to a user on a basis of an episode constructed from an interaction with a user
CN111531552A (zh) 一种心理陪伴机器人及情绪支援方法
Lewis An adult's guide to childhood trauma: understanding traumatised children in South Africa
Woo et al. Robot partner system for elderly people care by using sensor network
Huang et al. Toward a memory assistant companion for the individuals with mild memory impairment
JP2003108362A (ja) コミュニケーション支援装置およびコミュニケーション支援システム
TWI342746B (en) Method and system for vocal recognition and interaction with pets
JP2004193932A (ja) ロボットと、それを首周辺部に固定する機構を備えたネックコミュニケーション装置
CN207503636U (zh) 儿童成长教育智能长命锁
TWM591308U (zh) 寵物監控裝置
CN210348929U (zh) 一种智能手套及用户交流智能辅助系统
JP6900089B2 (ja) パーソナルアシスタント制御システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190212

WD01 Invention patent application deemed withdrawn after publication