CN107658016A - 用于老年保健陪伴的Nounou智能监护系统 - Google Patents

Abstract

本发明提供了一种老年保健陪伴的Nounou智能监护系统，包括智能监护装置，感应装置，信息处理装置，信息接收装置，信息传输装置以及信息存储装置。所述智能监护装置包括主体和能够相对于所述主体转动的基座，所述主体具有主处理板、显示器、触控屏面、触摸按键、音像感应元件并且可配有佩戴式检测或感应元件。所述智能监护装置能够通过信息处理装置进行信息融合和信息分裂处理，并通过神经网络对被监护者的行为状态进行智能化的深度学习。所述智能监护系统不但能够有效地监视被监护老人的身心状态，还能进一步提供与老人的实时陪护沟通、与相关人员或设施的通讯联系以及对被监护者的及时建议和帮助。

Description

用于老年保健陪伴的Nounou智能监护系统

技术领域

本发明涉及人工智能领域，尤其涉及老年家庭陪伴的智能监护装置及系统，能够用来对家居老人的身体、健康和安全状况进行跟踪和监控。

背景技术

本世纪以来老龄化现象日趋严重，许多老人常常会有远离社会的孤独感，另外还可能存在日常护理和医疗保障方面的问题。这些问题在很大程度上是由于有效监护手段的相对缺失、监护设备及服务费用过于昂贵以及监护设备的操作过于复杂。通常的监护设备缺乏智能机制，不能有效地监视到被监护者的包括行为举止、身体状况和情绪表征的身心特征，例如不能够有效地监测到被监护者的比如忧郁和焦虑等等有关健康状况的重要表征和信息。

发明内容

本发明提供的老年家庭保健陪伴的智能监护系统不但能够有效地监视被监护者有关行为举止、身体状况和情绪表征等方面的身心特征，还能根据所述身心特征进一步提供实时的与被监护者的陪护沟通、与相关人员或设施的通讯联系以及对被监护者的及时建议和帮助。

本发明提供了一种用于老年保健陪伴的Nounou智能监护系统，包括：

智能监护装置，用来检测被监护者包括行为举止、生理指标和情绪表征的状况，所述监护装置包括：

身体姿态监测单元，能够对被监护者的身体姿态的图像进行识别和监测；

行为动作监测单元，能够对被监护者的行为动作进行识别和监测；

情绪表征监测单元，能够对被监护者的情绪表征进行识别和监测；

生理指标监测单元，能够对被监护者的生理指标进行识别和监测；

感应元件，包括用于被监护者的可佩戴心脏监护器、可佩戴腕带，其中所述感应元件能够用来从所述被监护者获得感应信息并且能够向所述智能监护装置传送所述感应信息；

信息接收装置，包括监护服务者使用的无线传感器；

信息处理装置，包括云端计算单元，用来对所述感应信息进行处理，包括信息的识别、融合和分裂；

信息传输装置，用来将所述感应元件所获取的所述感应信息传输到所述信息处理装置，并且进一步将所述信息处理装置处理后的处理信息传输到所述信息接收装置；

信息存储装置，包括储存卡和云端储存单元，用来储存所述感应元件所获取的所述感应信息以及所述信息处理装置处理后的处理信息。

根据所述智能监护系统的一种实施方式，所述智能监护装置包括：

主体，包括主处理板、显示器、正向摄像元件、后向摄像元件、触控屏面、多个触摸按键、连接器、电池单元以及电源插座；以及

基座，所述主体被设置在所述主体上并且利用步进电机能够相对于所述主体进行转动。

根据所述智能监护系统的一种实施方式，所述智能监护装置的主体相对于所述基座的转动利用滑动环由所述基座向可转动的所述主体提供表观自然的连续转动的能量使得所述智能监护装置能够对被监护者进行密切跟踪而不受转动限制。

根据所述智能监护系统的一种实施方式，所述智能监护装置的所述步进电机是由内置的控制器并通过所述主处理板来进行控制，能够提供优化的转动速率和转矩。

根据所述智能监护系统的一种实施方式，所述智能监护装置的所述正向摄像元件设置于所述监视装置前部玻璃表面之内，为广角摄像元件，利用广角镜头包括了175度的水平视角以及高达90度的垂直视角；所述后向摄像元件包括两部分，分别设置在靠近左右两角部位，包括了高达90度的水平视角以及高达45度的垂直视角；从而，所述正向摄像元件和所述后向摄像元件能够提供对周围环境的全时的连续的全方位视觉。

根据所述智能监护系统的一种实施方式，所述智能监护装置的所述触控屏面为电容式触屏，被设置在所述主体正面的中间部位；所述多个按键为两个电容式按键，被分别设置在所述主体正面所述触控屏面的两侧位置，从而，所述被监护者能够方便地通过触觉动作与所述智能监护装置进行互动。

根据所述智能监护系统的一种实施方式，所述智能监护系统进一步包括监护电子系统，包括与所述主处理板连接的多种外围电子设备，触控面板、液晶显示器、SD卡接口、传声器、扬声器、微控制器和摄像分线板；其中所述微控制器能够进行实时编程，以实现实时控制，所述摄像分线板采用多路技术用以实现全景视觉。

根据所述智能监护系统的一种实施方式，其中所述感应信息的融合利用深度学习的神经网络，其能够定期地对使用者提供学习序列的提示，其中，针对具体感应信息存在设定次数连续的错误解读后，或者当没有足够的数据能够对所述感应信息进行恰当解读时，所述学习序列就会启动，从而，所述智能监护装置能够通过所述神经网络对各个感应信息对应的所述被监护者的表现形态进行智能化的学习并且能够配合所述被监护者提供准确的解读；其中所述学习序列包括视觉学习序列和听觉学习序列。

根据所述智能监护系统的一种实施方式，所述信息处理装置具有信息融合功能和信息分裂功能。

所述的智能监护系统包括数据融合处理器，具有信息融合功能，其中所有所述感应信息都能够被传到所述数据融合处理器进行信息融合；针对所述感应信息中具有概率性特征的信息采用Kalman过滤器，用来接收特定传感器的读取信息并且将与其它传感器的读取信息融合起来形成具有高可信度的被监护者模式，从而所述监护装置能够在任何时间持续地对所述被监护者的状态进行高概率评估。

所述信息分裂功能使得所述智能监护系统能够输出所述智能监护装置与所述被监视者之间的互动作用信息，从而能够在所述信息融合的基础上对所述被监护者和所述监护服务者分别提供与监护相关的建议或信息。

所述家庭保健陪伴的智能监护系统能够对被监护者的行为举止、生理指标和情绪表征进行实时检测，能够与被监护者进行实时的陪护沟通，并且还能够建立被监护者与包括亲朋好友、保健人员、理疗机构等方面的实时联系和交流。从而，本发明提供了一种针对被监护者的智能陪伴、状态跟踪、特情快报、危急求助等方面的技术方案。

附图说明

有关本发明的上述简要介绍以及下述的详细描述，结合附图会得到更好的理解。

图1描述了根据本发明一种具体实施方式用于家庭保健陪伴的智能监护系统的监护装置。

图2为描述图1所示监护装置的基座和可转动部件的分解示意图。

图3A和3B描述了图1所示监护装置的前屏上触摸、按键、拍照和显示功能部位布置的一种实施例。

图4描述了根据本发明一种具体实施方式用于家庭保健陪伴的智能监护系统的系统构架。

图5描述了根据本发明一种具体实施方式用于家庭保健陪伴的智能监护系统的电子连接关系。

图6描述了根据本发明一种具体实施方式用于家庭保健陪伴的智能监护系统的摄像元件的连接关系。

图7描述了根据本发明一种具体实施方式用于家庭保健陪伴的智能监护系统的感应单元的信息融合(fusion)和分裂(fission)机制。

图8描述了根据本发明一种具体实施方式用于家庭保健陪伴的智能监护系统的视觉学习序列。

图9描述了根据本发明一种具体实施方式用于家庭保健陪伴的智能监护系统的自然语言学习序列。

图10描述了根据本发明一种具体实施方式用于家庭保健陪伴的智能监护系统的追踪被监护者以进行抉择的使用者模式。

图11为根据本发明的一种具体实施方式用于家庭保健陪伴的智能监护系统的系统构架示意图。

图12根据所述用于家庭保健陪伴的智能监护系统的紧急情况监测流程图。

图13为用于家庭保健陪伴的智能监护系统的ARTIK Cloud方案示意图。

图14描述了根据所述用于家庭保健陪伴的智能监护系统的电子连接关系。

图15为描述所述用于家庭保健陪伴的智能监护系统的USB设备树关系图。

图16为描述所述用于家庭保健陪伴的智能监护系统的包含功率分配的功率树关系图。

图17为描述所述用于家庭保健陪伴的智能监护系统的软件结构图。

图18为描述所述用于家庭保健陪伴的智能监护系统的人工神经网络基于的前馈信息关系示意图。

图19为描述所述用于家庭保健陪伴的智能监护系统的人工神经网络基于的发散-汇集关系示意图。

图20为描述所述用于家庭保健陪伴的智能监护系统的人工神经网络所包含的信息反复关系示意图。

图21为描述所述用于家庭保健陪伴的智能监护系统利用信息融合和分裂机制用来结合音频和图像输入/输出的多方式构造。

图22A-22D描述了根据本发明一种具体实施方式用于家庭保健陪伴的智能监护系统的基于安卓系统的适于被监护者使用的使用者界面。

图23描述了根据本发明一种具体实施方式用于家庭保健陪伴的智能监护系统的监护装置正面的动画脸型。

图24描述了如图23所述动画脸型上对应于不同情绪的面部动画表达。

具体实施方式

根据本发明一种具体实施方式，如图1和图2所示，用于家庭保健陪伴的智能监护系统的监护装置100，或称为遥控陪护装置，包括正面广角摄像元件、后向摄像元件、触控屏面、两侧按键、RJ45连接器、电池框架以及电源插座。

所述监护装置100可以分为两个部分，如图1所示，即菱形斜式可转动上部主体110和圆形基座120。所述基座120可以设计为较为稳重并且利用NEMA步进电机(steppermotor)102使得安装在上方的较轻的主体部分110能够进行相对于基座120的转动。所述步进电机102是由内置的电机控制器103并通过主处理板104来进行控制。所述转动机制利用了滑动环由基座170向可转动上部主体110提供表观自然的连续转动的能量。从而，所述监护装置100能够对被监护者进行密切跟踪而不受转动限制。

所述步进电机102能够通过一系列的正齿轮(spur gears)将转矩传送到所述基座120从而提供优化的转动速率和转矩，如图1所示。从而，借助于所述转动机制就能够提供针对被监护者的表观自然的跟踪。所述步进电机102被整体安置在与所述基座120连接的塑料框壳之内。所述步进电机102能够由闭环反馈控制器(closed loop feedback control)所取代，所述控制器包括点位器(potentiometer)和有刷电机(brushed motor)或连续转动伺服器。

所述正向摄像元件106利用广角镜头包括了175度的水平视角以及高达90度的垂直视角。所述广角镜头被设置于所述监视装置100前部玻璃表面101之内。所述后向摄像元件107被分别设置在靠近左右两角的部位。如此，这些摄像元件就能够提供对周遭环境的全时的连续视觉，亦即通常称作的全方位视觉。所述后向摄影元件包括了高达90度的水平视角以及高达45度的垂直视角。这些摄影元件被设置在所述上部主体的塑料框壳之内，只有镜头从表面露出。触屏板108被设置在所述监视装置前部玻璃表面之内的中间部位。另外，还可设置后述的扬声器109等元件。

所述监护装置100可以采用电池和电源插座进行操作。电池能够提供远距使用以及临时使用，在全充电状态下能够维持3小时的使用时间。电池盒被设置在可转动上部主体110的后侧部位，并带有便于拆装的面板。在兼有插座和电池的情形，可将插座设为默认设置。例如，在一个实施例中，由电池或插座提供的电源是3安培12伏特。为了灵活起见，所述电源插座可采用图1所示的标准便携式电脑插座。具体地，所述监护装置可以是由内置电池或外部插座提供电源的。在采用电池或插座的情形，当电流传输到所述监护装置时都进行电源调制。

图3A和3B描述了所述监护装置110或遥控陪护装置的触觉互动作用及相应元件。所述触觉交互作用是通过遥控装置正面的电容式触屏105A以及侧面设置的电容式按键105B、105C、105D实现的。这样，被监护者就能够方便地仅仅通过触觉动作与遥控装置进行互动。在另外的一种具体实施方式中，所述触屏是电阻式的。所述触屏105A和按键105B、105C、105D均被设置在监护装置100正面玻璃面板101下面。

所述触屏105设置在面板的中间部位，处于所述可转动上部主体110的前方侧面的两个按键105B、105C之间。正向摄像元件106设置在所述触屏105A的上方，与所述触屏105A朝向相同。

图4描述了根据一种具体实施方式的Nounou智能监护系统400的系统构架。所述监护系统包括Nounou监护装置410，其配置有可佩戴的心脏监护器421和可佩戴的腕带422。其它的具体实施方式还可包括无线扬声器、夹式传声器或监控摄像机。遥控监护装置410本身还提供系统的智能机制，能够与无线设备进行交流以及通过因特网与云端431连接进行云计算和储存。这样，被监护者，比如老年人，就能够通过单一的管理系统平台连接其它的感应设备或可佩戴装置。相关信息通过所述遥控设备被储存、分析以致学习，从而进一步增加或丰富将来的互动经验。

具体来说，无线感应元件可利用Bluetooth 4.0和IEEE 802.11n的标准与所述遥控监护装置进行连接。物联网(IoT)装置可以通过有线因特网或无线因特网与所述Nounou监护装置410进行连接。在一种具体实施方式中，还使用了蓝牙兼容的腕带，因特网控制的长期演进(LTE)全球定位系统(GPS)的项圈，以及5GHz睡眠心率监测器。

所述腕带可以是物联网(IoT)元件，能够通过诸如蓝牙的无线连接技术与监护装置410连接，并且还能够连接到各种其他的装置，比如手机、笔记本电脑或台式电脑。由此，所述腕带可以具有但不限于下述功能：显示和传输诸如时间、热量消耗、距离和方位、睡眠状态、步程计数、心跳速率等监测信息；通过外接或内置的SIM卡或SD卡接收或储存资料；连接到神经网络并上传有关使用者资料等信息；通过外接或内置的扩音器或扬声器等元件接受或发出音频信息，例如进行通话或呼叫；帮助进行网络搜索；具有摄像、视频显示、诸如电话号码等数据显示、游戏等功能；产生振动以对佩戴者发出提醒、警报或提醒等信号；在所述监护装置处于非正常工作状态的情况下能够接收或发出信号。

蓝牙元件是通过触屏导航上的用户界面选择与安卓操作系统进行连接。局域无线2.4GHz或5GHz装置的连接可以通过下载交配应用程序或者相应装置的IP地址的简单搜索进行。专用装置会提供定制软件，开放装置具有相应的软件支持。所述软件连接到所述装置的IP地址和端口号并且获取实时数据用来进行操作和分析。被监护者，例如老人，就能够从遥控监护装置410上看到所述数据。物联网装置利用因特网连接与上述装置进行匹配。外部IP地址和端口号的提供配有安全密码。所述物联网装置可以设置在世界的任何地方，通过无线连接到因特网，而因特网的服务提供商对两者的连接并无限制。

所述遥控监护装置410还可选择性地将相关数据储存在SD卡441上，或者通过因特网上传到云端431。如此，被监护者就能够方便地选择通过因特网或SD卡与医生、医护机构或亲友共享信息。在一种具体实施方式中，被监视对象可以将相关信息传到云端431，然后可以通过移动通讯设备451(例如手机)与陪护机构或人员读取信息，也可以将将信息存入SD卡然后将其交给医生或医护机构452。

相关数据可以通过带有利用C++和Java软件的安卓操作系统存入SD卡441，而所述数据能够通过云端服务商提供的应用程序接口(API)上传到云端431。当没有云端连接时，可将数据暂缓存储于SD卡441，然后，当连接恢复之后，遥控监护装置就能进行同步过程。所述同步过程对云端服务和局域存储的数据分别有时间标记和验证码。

图5描述了监护装置中的电子系统的组成。对于主处理板501，有各种外围设备分接出来。所述外围设备包括触控面板511、液晶显示器(LCD)512、SD卡513、传声器514、扬声器515、微控制器521和摄像元件525分线板。所述摄像元件525带有正向摄像元件、后左向摄像元件和后右向摄像元件。所述微控制器521对诸如步进电机522、LED及按键等要求实时操作的其它外围设备进行控制。

所述主处理板501可以是任何运行安卓操作系统的小型处理器。在一种实施例中，主处理器是由Inforce 6309电路板装配的APQ 8016。总的来说，所述主处理板501可以包括任何外围设备和计算单元，只要至少能够控制图5所示的外围设备。所述主处理板501本身是从第三方获得，不属于本发明的范围。

实时控制是被卸载到微控制器，而微控制器能够进行实时编程。在一种实施例中，使用的微控制器是ATMega 328。所述微控制器实施对步进电机控制器、触摸按键和LED的控制。所述微控制器发出较高和较低的信号以控制LED，经由传统的有回弹按键电路从触摸按键的输入取样，并且向步进电机控制器发出脉冲。

在另外的具体实施方式中，可能具有电位计和马达而不是步进电机，或者具有伺服器。在具有电位计和马达的情形，微控制器可以与马达控制器交流，从电位计读取模拟水平以关闭反馈环路。在具有伺服器情形，会讲脉冲串发送到马达。所述马达的电力是有电池或插座的未经调节电源提供。在另外的具体实施方式中，所述马达可以是由经过调节的电源提供电力。

触控屏面和液晶显示器可以连接到主板，其中经由高清媒体接口(HDMI)进行显示以及经由通用串行总线(USB)进行触摸支持。在一个实施例中，触控屏面是经由低压差分信号(LVDS)显示接口和触控屏面接口连接到主板的。所述触控屏面可以具有任何尺寸以适应图3所示布局的比例。所述LCD显示器可以采用LED显示器替代。这样，所述遥控监护装置具有高分辨率显示器，并带有应答触摸界面。

扬声器和传声器被封装在遥控监护装置内部，并且能够经由模拟信号或数字信号进行连接。可用的数字连接包括无线蓝牙标准、IEEE 802.11x标准、USB或HDMI音频针。在本实施例中，模拟信号从主处理器将音频提供到传声器，而从扬声器到主处理器接受模拟信号。

为了同时支持多路，例如3路，摄像数据流，图6描述了具有摄像串行接口(CSI-2)标准的视频多路技术的摄像电路板。在本实施例中，包括3路CSI多路器601，采用51针的接头作为双CSI接口602，其一为4-通道，另一为2通道。所述电路板包括2-通道电路板对三个2通道CSI接口，带有由主处理板上通用IO控制的多路器。这样，被监护者就能够监控所有三个摄像机的全部信息，而开关速率在1微秒以下。所述多路技术的硬件是本发明的一部分，用以支持全景视觉从而改善被监护者的监护条件和环境传输。

所有外围设备使用从主处理板的总线驱动架构，除了步进电机之外。USB将能量传送到微控制器，CSI将能量传送到摄像机，而LVDS将能量传送到显示器和触摸面板。转动电机是分别由未经调节的电源提供能量用以防止因较高感应负载引起的高电气噪音。

图7描述了根据本发明一种具体实施方式用于家庭保健陪伴的智能监护装置系统的传感器融合算法，涉及智能监护装置系统的感应单元的信息融合(fusion)和分裂(fission)机制。传感器包括提取现实环境样本并将其转化为电信号的装置。在本实施方式中，所述传感器包括触控屏面711、触控按键、无线模块712、摄像机713和扬声器714等传感元件。所述无线模块712包括与所述遥控监护装置连接的任何无线传感器。所述传感器可以包括外部IoT元件，来自与所述遥控监护装置通过网络连接的不同环境、地区或国家。所述网络为例如因特网。

每个传感元件的原始数据是通过各自的连接方式获取的，所述连接方式包括但不限于无线Bluetooth，无线IEEE 802.11x，有线网络，USB或模拟输入。这样，所述遥控监护装置能够从现实环境中的被监护者获取信息样本，从而能够在所述遥控监护装置的信息分析处理器710中进行信息融合710a以及进一步的信息分裂710b处理。

传感器的信息融合包括用于深度学习的神经网络，利用经过融合处理的例如触觉分析、数据汇集分析、电脑视觉、自然语言处理和情绪识别等方面的信息，通过Nounou智能系统的深度学习720做进一步分析处理。所述深度学习提供了一种将传感器读取信息与被监护者例如老人的自然表现或行为进行调配的方法。从而，所述传感器能够适应并配合老人的不同行为、身体特征、声音、种族背景和动作姿势。所述神经网络是监督式深度学习的一种应用，能够定期地对使用者提供学习序列的提示，例如，通过包括云端储存725、安卓软件727、步进电机和传声器727、图像显示728和用户资料SD卡729等途径提供给使用者、相关人员和机构以及后续处理系统。当针对某个感应读取信息存在5次连续的错误解读后，或者当没有足够的数据能够对感应读取信息进行恰当解读时，所述学习序列就会启动。这样，所述遥控监护装置就能够通过神经网络对各个感应读取信息对应的表现进行智能化的学习并且能够配合使用者提供准确的解读。

所述学习序列提供了需要的监督学习，并且对于各类传感器是独特的。所述学习序列包括视觉学习序列和听觉学习序列。由于与遥控监护装置连接的可佩戴设备存在未知的选择情形，本实施例采用无监督学习。所述遥控监护装置可以与在软件开发期间市场上没有的可佩戴设备。这样，所述遥控监护装置就能够针对从不确定来源获得的数据进行监测和学习。

图8描述了关于视觉学习序列的一种具体实施方式，例如，包括步骤801-810。所述学习是在具有优化的全方位环境光源良好照明的房间里开始的。随后就是，被监护者，例如被监护的老人，直接站在所述遥控监护装置的前方并在广角摄像机的中间位置。在这个时间点，前方显示器会显示出监护装置所看到的图像，从而老人根据显示屏上的图像调整自己站立的左右方位和前后距离。下一步就是根据几个姿势要求展示臂膀伸展的程度。所要求的姿势轮廓也会在显示屏上呈现出来。这样，使用者就只要按照姿势轮廓进行调整而不必跟听声音对监护装置做出指示。所述视觉学习的下一步是摆出不同的姿势，包括坐下和躺下。这是很重要的，由于监护装置能够当老人因不正常动作或姿势而摔倒或受伤时能够通过模式识别而监测到。下一步就是行走动作以正确地判断老人行走的方式。这样，当监测到非预料的快速动作，监护装置就会开始注意可能发生的跌倒或受伤。针对这种运动速度，能够对目标追踪算法设定一定的阈值以剔除异常情形。

在任何的时间点，当使用者想要删去或略过某个学习步骤时，使用者就能够这样做，只需按一下左边的触摸按键。任何被略过的过程可能导致较差的学习，但是能够通过后续的连续学习中进行改正。被监护老人需要跟随的连续的轮廓还伴有声音提示。这样，被监护的老人，即使有听觉或视觉障碍，也能够跟随学习序列。

面部识别是一个细致的过程，也是学习序列的一部分。面部识别属于所述监护装置的重要特征，用于正确的识别在房间里的老人，以及对使用者进行鉴别。所述学习序列要求有朝着广角摄像机的近距离笑脸，从而面部特征被记录和学习。这样，所述监护装置就能够对房间里的人进行鉴别，包括识别老人的笑脸和身份。

用于深度学习的神经网络采用向前和向后传播方法与监督学习。为了避免统购神经层初始学习时的繁重计算负担，网络原先的状态被储存在SD卡并且在下次需要学习的时候再恢复。这样，使用者在监护装置中所有神经网络的状况就能够被输出，并且在电力中断或设备转移或维修的情况下也能够被保存下来。

图9描述了有关自然语言的学习序列的一种具体实施方式，例如包括步骤901-905。被监护的老人首先必须对其想用的语言。下一步就是由老人从预先设定的文字段落向监护装置读出来。所述监护装置就会利用监督学习对使用者模式进行评价。过些时间当老人向监护装置读出了更多的文字段落，学习系统就能达到对老人语音理解的一定的，比如至少90％或95％的正确率。在任何时间点，老人可以选择在当时学习序列的准确程度下略过这一步骤。这样，监护装置就能适应老人的特殊声音，对于任何种类语言的准确率可达到90％以上。经过每个文字段落，老人就能够从显示器上发现由神经网络中使用者模式对哪些词语的估判是不正确的。

当传感器数据是通过图7所示的数据融合处理器操作的时候，采用从来自非预期传感器数据的非监督学习。老人可以选择免除传感器融合步骤，从而数据就不会再被引到数据融合处理器。在这种情形，所述数据就会在安卓操作系统之内被局域储存。

电脑视觉神经网络可以配合有图像处理算法，具体为基本过滤、特征检测、目标分类以及目标追踪算法。这样，所述监护装置能够针对被监护者进行图像智能处置和识别。

这样，所述监护装置对于使用者意图的识别是基于概率性的判断，然而常规技术是基于二态判断。通过统计分析的概率性判断所提供的自然反应很像人与人之间的反应。由此，所述监护装置能够很好地适应监护对象，人的行为习性。

为了进一步支持上述功能，所述监护系统还包括了情绪检测引擎。与监护装置上的其它信号处理引擎类似，情绪检测利用神经网络通过非监督学习在一定时间内学习或了解使用者的行为动作。

所有的感应信息都被传到数据融合处理器，融合到一起。根据除了触摸按键和触控屏面之外所有传感器传来的信息的概率性特征，采用了Kalman过滤器。所述Kalman过滤器接收特定传感器所读取信息的概率特征并且将所述读取信息与其它传感器的读取信息融合起来用来形成具有尽可能高可信度的最终使用者模式。

在一个实施方式中，传感器融合处理器将视觉过程和自然语言检测都进行融合从而监测到紧急健康状况。这样，所述监护装置就能够利用各种连接起来的传感器形成可信的使用者模式用以监测出使用者的状态，包括健康状况。

由Kalman过滤器所预报、更新和输出的状态就是使用者模式。所述使用者模式如图10所示。使用者模式体现使用者，即监护对象如老人的情绪、姿态、与监护装置之间的距离、是否说话、是否做手势、健康状况、活动以及是否在房间里。所述使用者模式按时被评估并储存，并且通过Kalman过滤器对每一时间段落当时新的传感器读出信息进行更新。Kalman过滤器是广为采用的算法，其应用成为本发明的一部分。这样，所述监护装置能够在任何时间持续地对使用者的状态进行高概率评估。

在另外的具体实施方式中，所述监护装置采用一种不同的数据融合算法，其包括有序加权平均过滤器，Bayesian方法或Dempster Shafer方法。

使用者模式被用来做决策，从而能够输出互动作用信息，一般称为传感器信息分裂或裂解。所述决策利用非监督学习与使用者互动用以弥补社会隔离感和相关的健康问题。例如，监测到老人的忧郁和焦躁情绪后就可能提供一系列的音频和视频的建议从而帮助老人调整情绪。经过一些时间后，非监督学习就能够利用老人的反馈信息，从而正确地选择适于在特定心绪状态下视听的音频和视频的类型。通过接受或拒绝建议对监护装置提供反馈信息。这样，所述监护装置就能够配合使用者的喜好，从而改进老人的健康、福祉、快乐和社会归属感。

另一种具体实施方式包括建议性保健措施，用以在心脏监测传感器监测到心脏问题的时候对心颤等问题提供帮助。所述建议性保健措施包括但不限于建议保健人员、联系医生、提供有关心颤的视频、与有相同心脏问题的人员共享信息、提供相关产品信息。

根据不同的具体实施方式，本发明提供的不仅仅是一种单机架机器人产品，而是涉及一个IoT社交生活伴侣和医疗保健机器人及其系统，帮助诸如老年人的被监护对象感到不那么孤独，而且更快乐、更健康。Nounou智能监护系统能够为老人在家中建立完整的物联网生态系统。

系统架构(System Architecture)

图11为根据本发明的一种具体实施方式用于家庭保健陪伴的智能监护系统的系统构架示意图。所述系统的关键优势之一是无线连接。Nounou智能监护系统完全符合IoT的标准，例如兼容于ALLJoyn框架、蓝牙4.0、Android 5.1、WiFi 802.11b/g/n 2.4GHz、GPS和96Boards ARM。从而真正开拓出Nounou生态系统的功能特性，比如能够与市场上具有的各种Android设备连接和使用，与各种蓝牙设备进行无线连接、追踪使用者的位置，以及连接到各种电视装置。

除了室内的物理生态系统之外，还有云计算的物联网生态系统。图11为根据本发明的一种具体实施方式用于家庭保健陪伴的智能监护系统的系统构架示意图，显示了如何用Nounou监护装置与云端联系和沟通。

老年人安全生态系统：图12为根据所述用于家庭保健陪伴的智能监护系统的紧急情况监测流程图。Nounou智能监护系统创建了首个老年安全的物联网机器人生态系统，因为之前从来没有过机器人智能物联网陪伴像Nounou系统“24/7”全天候陪伴被监护对象，并且能够知晓、预测和适应被监护对象的生活行为来提高他们的健康和卫生保健服务从而能够在家里而不需要住进养老院。同时，在紧急情况下，还可以向家属和医务人员通报情况。通过使用Nounou的传感器融合技术和人工智能机器学习，我们创造了一个安全和幸福的环境。由于Nounou是无所不在的，就能够在“24/7”全天候的任何时候提供帮助。在这种需要的情况下，Nounou智能监护装置能够即时发出警报并呼救。

采用传感器融合，Nounou智能监护装置能够持续监测包括下述的突发和意外行为：

-由佩戴元件感测的心率，

-由佩戴元件感测的加速和运动，

-由摄像元件获取视频信息，

-由扩音元件得到的放大的音频信息。

然后，Nounou智能监护装置能够继续询问老人的反应。使用语音识别和情感检测，Nounou将能够判断老年人是否需要帮助。如果老人需要帮助，Nounou将发出警报，并通知所有在Nounou装置所在当地或附近社区与紧急联系人取得联系。根据一种具体实施方式，图12显示了用于紧急情况监测的软件流程。

云存储架构(Cloud Storage Architecture)

图13为用于家庭保健陪伴的智能监护系统的ARTIK Cloud方案示意图。具有针对IoT Gateway的智能创新，Nounou系统需要与智能物联网云存储架构联系在一起，与开放的数据交换平台相连，该平台旨在连接所有的物联网设备。这种云提供了易于使用的开放式应用程序界面(APIs)以及强大的工具来进行收集、存储和处理任何来自Nounou装置和其他与Nounou装置相关的Medsensors传感器的数据。使用这些应用程序界面和工具，就可以快速地将Nounou智能监护装置和系统推向市场，开发智能机器人软件运营服务(SaaS)收入体系，并快速增长业务。

在物联网世界中，不仅在大小和数量上，而且在多样性、类型和粒度方面，数据以前所未有的规模存在。这种云存储架构能够对来自Nounou和所有连接设备的所有数据进行融合和分析。因为最终目标不是数据本身，而是我们从这些收集的数据中创建的功能和价值。Nounou能够提取对老年人等被监护对象有用的最相关的数据，并且输送给老年人的家庭和第三方看护者，如医生、护士、人工智能装置等。

物联网云存储架构将允许数据融合，将来自不同传感器的不同数据信号混合，通过我们的网关由Nounou来计算相关性和因果分析。这样，通过开放的云生态系统用于连接设备和创建服务，使用物联网数据，避开了连接、存储和数据访问的所有复杂性，同时保持高水平的数据安全性。

Nounou智能监护系统具有涉及三星ARTIK云架构具有三条核心原则：

(1)完全开放：数据可以来自任何物联网设备，这些设备可能是任何类型的设备和任何配置文件；

(2)与数据无关：无论数据的格式、大小或编码如何，都能进行摄取。Nounou和其他连接的传感器将数据发送给ARTIK，用于数据分析和预处理——对数据进行规格化处理，使其更易于得到并且更容易被第三方高级护理人员以及老年人的家庭所理解和使用。

(3)私密的数据银行：安全性和隐私在物联网中是一个大问题，在ARTIK中，用户总是拥有他们的数据，并授予他们希望使用的服务的访问权限。老年人和Nounou具有充分的安全和隐私控制，要求和授予对数据的访问权。三星公司没有宣称对由Nounou和其他传感器收集的数据拥有所有权。

电子架构(Electrical Architecture)

Nounou智能监护装置在一个强大的单板计算机上运行，这是Qualcomm的410c板，在其中，计算高级算法和Android 5.1一起被执行。实时编程在一个单独的ATmega328微控制器上执行。步进电机控制器和用户界面按钮和指示器需要实时执行。结合这两种处理器，Nounou智能监护装置的硬件使得Nounou成为最为智能的老年人监护装置之一。

传感器：图3A描述了所述监护装置或遥控陪护装置的触觉互动作用及相应元件。Nounou智能监护装置设置有多个传感器，通过传感器与Kalman滤波器融合，以实现对备监护的老年人的了解，目的是复制人类互动的感觉：视觉、听觉、触觉。

Nounou智能监护装置带有3个摄像头，就使其成为第一个拥有360度视觉的老年护理机器人。一个广角相机在前面覆盖180度，两个窄镜头相机覆盖剩下的180度。这就像一个人一样，为视觉提供了一个完整的空间意识。Nounou智能监护装置也有一个触摸面板和侧按钮，如图3A所示，以满足用户的触摸感觉。

通过有线和无线的模拟麦克风或蓝牙4.0标准，Nounou智能监护装置拥有智能语音识别功能。Nounou智能监护装置也是第一个定制的产品，它可以通过模拟线路输出信号和蓝牙音箱同时提供Android音频。Nounou智能监护装置融合了所有无线麦克风和模拟线路的音频。这使得老年人可以在房间周围放置扬声器和麦克风，以完成内部的Nounou生态系统。

电子连接关系框图：图14描述了根据所述用于家庭保健陪伴的智能监护系统的电子连接关系。图中详细说明了每个组件之间的连接性协议，以及主要组件本身。它的核心是运行Android 5.1 Lollipop操作系统的410c板。

Nounou智能监护装置是最早允许用户在SD卡上保存个人资料的监护装置之一。这允许用户对其Nounou装置进行升级，并将用户的所有机器学习转移到下一个Nounou装置。还允许用户备份档案，以保证安全。这是作为Nounou的一个关键部分，就像一人一样。起初，Nounou装置就如就像陌生人那样并不知道用户是谁，然而通过时间过程，会学习用户的兴趣和偏好，就想像朋友那样，Nounou装置能够理解老人，能够提供最佳的照顾。

Nounou智能网关可以管理各种各样的IoTMedtech传感器，如血糖仪、心跳、血压、体重秤、瘦质量和体脂百分比、活动跟踪、质量睡眠长度和质量、热量锻炼，等等。

USB设备树：根据一种具体实施方式，图15为描述所述用于家庭保健陪伴的智能监护系统的USB设备树关系图。例如，Nounou智能监护装置提供了2个主要的USB控制器从Snapdragon处理器。为了能够将所有必需的电子元件连接到410c板，需要2x 3端口USB集线器。需要注意的是，只有1个USB控制器可以同时流到410c板。这意味着一次最多只能有2个设想相机流。为了解决这个问题，三个相机中的两个需要多路时间复用。Nounou智能监护装置有一个宽前置摄像头，是最重要的一个，后面有两个摄像头用于对于活动的感知和360度视频电话。最佳解决方案是将两个后置摄像头进行时间复用，并始终保持前置的广角镜头。

功率树：图16为描述所述用于家庭保健陪伴的智能监护系统的包含功率分配的功率树关系图。对于Nounou智能监护装置提供的计算能力，它只需要在12V最多3.5A，相当于最多42W。这是最大值的情形，常规操作估计大约是20W，就如一个小灯泡的功率。

Nounou智能监护装置运行在两个动力轨道上，一个12V和一个5V的电力轨。步进电机在12V上运行，主410c板也在12V上运行。为了清理动力轨并隔离步进电机的噪音，步进电机的电源用扼流圈电感进行清理。下拉式调节器用于将12V调至5V，最大限度为2A。5V的能量绘制是USB集线器，它承载着在框图中所指出的所有外围设备。触摸屏和LCD显示屏也有5V的功能。

软件构架(Software Architecture)

Nounou智能监护装置由于其使用的软件能够区别于其他老年人护理产品。通过语音识别、面部识别、使用模式和传感器数据分析，Nounou智能监护装置旨在成为最聪明、最智能的老年人护理产品。

Nounou在Android 5.1的自定义ROM上运行。在硬件抽象层中有一些补丁支持触摸面板，而Java层中的补丁则提供了名用户体验。Nounou的UI/UX是首个专门为老年人设计的Android操作系统，目的是简单直观，但仍能让人赏心悦目。

软件栈：图17示意地描述了所述用于家庭保健陪伴的智能监护系统的软件结构。Linux内核在底层，它没有被修改。在内核之上是HAL层(硬件抽象层)，在这里，410c有补丁来支持410c板。这包括GPS、SD卡、高速、低速扩展端口、USB驱动器、WiFi芯片等外围设备的驱动程序，包括上述触摸面板驱动程序，以及多媒体传感器融合和分裂。

在HAL层之上是用户的引导脚本和c++应用程序，这是Nounou软件的核心。引导脚本将启动一系列用于Nounou的软件服务。这些服务随时都在进行，并持续监控和响应用户。这意味着，在任何时候，Nounou都准备好听一个命令，Nounou已经准备好探测房间里的动作，而Nounou也准备好跟踪用户，很像跟踪一个人那样。

这种声音监测是基于ReSpeaker核心板和来自Seeed Studio的ReSpeaker Mic阵列板，它是一种开放的硬件语音接口，带有一个支持我们的Javaand C/c++应用程序的SDK。ReSpeaker提供了一种免提方式与我们的机器人名词和使用声音控制我们的机器人的一些命令

当Nounou机器人与互联网没有联系时，我们用词汇和音频文件库来为ReSpeaker的集成语音识别引擎PocketSphinx提供支持，使它能够在人们对Nounou装置说话时对关键词和命令做出反应。一旦我们的Nounou机器人在网上，我们就使用基于云的认知语音识别软件亚马逊Alexa语音服务。

ReSpeaker由MT7688wi-fi模块供电，由Atmel ATmega32u4 8-bit MCU提供USB控制器供电。基于XMOS的XVSM-2000Smart Microphone开发了ReSpeaker Mic Array板。该板整合了7个拥有下述功能的PDM麦克风：

-远场声音捕捉，

-声源定位，

-噪声抑制。

本发明人将这两个板与一个USB连接到410C。标准的Linux驱动程序识别出了ReSpeaker扬声器和核心板。

在某些情况下，用户可能想要把麦克风从Nounou装置移开，这样就可以在移动房间的时候与用户互动。当用户要去卫生间或去厨房时，这很方便。自从标准的Linux驱动程序不再适用时，自定义软件就可以与410C板进行无线通信。

UDP在WiFi上的连接建立在一个协议的端口号上，预先处理(识别)的词语被发送回Nounou装置。通过自然语言处理(不同于语音识别)来解释词语，然后在核心的410C板上计算。

这种反应性行为是首个表现出类似人类行为的家庭老年人护理之一。它还将启动在后台连续运行的机器学习引擎。它是Nounou的大脑。所有的活动都通过机器学习引擎，在SD卡上记录、分析和更新。

在软件栈的最顶端是由用户可以启动的Android应用程序构建的。这将有助于Android的用户形象。有一些默认安装的应用程序可以从盒子里拿出来，而且由于Nounou是安卓5.1版本，所以任何Android应用程序都可以在用户需要的时候安装。

软件互连(c++应用程序)：图7描述了根据本发明一种具体实施方式用于家庭保健陪伴的智能监护系统的感应单元的信息融合(fusion)和分裂(fission)机制。与软件堆栈相反，该图显示了C++层中软件服务间的互连。

这个互连图有助于理解Nounou的软件是如何工作的，现在主要的组件之间相互传递数据。在左边是传感器输入的各种来源，通过传感器融合融合。传感器融合运行了一些算法，包括卡尔曼滤波器、语音识别、运动检测、情感检测等。一旦数据被融合到传感器融合边界的一个单一的delta状态，数据就会被传递到Nounou的大脑。

Nounou的大脑是一个软件模块，它通过与之前的状态进行比较，来操作(翻译)新用户的状态。它通过平均滤波器存储了前几种状态，并使用机器学习算法从FastCV运行在专用的410c硬件上。这将准确地决定发送到传感器裂变的最合适的命令，以获得人的体验。

周期性地，大脑会用新的用户配置文件更新SD卡。可见绿色的每个模块都是一个单独的软件模块，它可以并行地作为服务运行，也可以是在API边界上调用的库。这些模块中的每一个都是专门为Nounou编写的。利用UDP的数据流特性，实现了基于插槽的进程间通信。软件模块可以是用C++编写的。

智能可穿戴传感器融合和分裂：Nounou系统首次提供了在家庭生态系统中设置融合和分裂功能的智能可穿戴传感器。如前所述，Nounou能够使用传感器融合来翻译所有的感官信息：

-触控面板；

-无线模块(蓝牙4.0，WiFi 802.11b/g/n，IoT)，

-相机(计算机视觉)，

-麦克风(语音识别，情感检测)。

数据被融合成一个描述用户的单一状态。随着时间的推移，基于这种新状态和以前的状态，Nounou的大脑将使用机器学习来决定如何与用户交互。这个过程叫做传感器裂变。Nounou可以与用户交互：

-用于数据上传/下载的云存储，

-任何安装了Android应用程序，

-步进电机跟踪用户，

-图形显示。

这种先进的技术传统上需要带有高级处理器的大功能台式计算机，然而，Nounou能够通过利用云计算和高通的410c硬件加速来实现同样的结果。

神经网络和模式识别：Nounou对所有进入的数据进行实时模式识别和数据分析。当它决定下一个状态时，这是大部分的大脑。Nounou从经验中学习，在初次使用时遇到新用户时可能会误判或产生不准确的假定。这是机器学习的基本步骤。常规的，工程师会在交付产品之前，注入一系列训练视频/矢量/数据来教授算法。然而，由于每个用户都是独一无二的，因为人类天生具有不同的个性，所以Nounou能够以最小量的知识进行有效的运行。

随着时间的推移，Nounou的学习将会越来越多，并能充分理解用户的思维思路。Nounou是首个使用神经网络和模式识别的商业老年人监护装置，并且这种模式识别能够随着用户的使用而发展。要知道是由Nounou大脑做出的假设或判断是否正确，有一些按钮：“不”和“是”可用来要求Nounou的大脑作为反馈。

本发明人采用的神经网络的主要原理基于：

三种基本的激活数学函数(以下分别表示形函数、径向函数、线性函数)：

·Sigmoidal Function：

·Radial Function，e.g..Gaussian：

·Linear Function

本发明的人工神经网络是基于前馈信息，如图18所示，其中描述了Nounou智能监护系统的人工神经网络基于的前馈信息关系。

本发明的神经网络的组织是基于如图19所示的分歧和收敛的机理。

在本发明的Nounou神经网络中，馈送信息以一种方式流动，输入模式产生一种输出。本发明人使用的是埃尔曼网，因为与前馈网不同的是，埃尔曼网拥有之前状态的记忆或时间感。埃尔曼网是一种具有局部再发的前馈网络。由此，机器学习过程可以更快更有效。

图20为描述所述用于家庭保健陪伴的智能监护系统的人工神经网络所包含的信息反复关系示意图，其中表示所述反复关系包括：

-节点连接回到自身或连接到其他节点，

-信息流动是多向，

-前一状态的时间和记忆。

基于Elman的语言获取和处理实验(Elman1990)，本发明仁定义：

-任务：Elman Net预测语句中的连续单词；

-数据：套句(例如打电话给我儿子，打电话给我的心脏病医生，打电话给我的医生)；单词是逐一输入。

-表示法：每个单词采用二进制表示(例如：“医生”为00110011，“儿子”为00111010)。

-训练方法：反向传播(Back propagation)。

对于神经网络的其他区域，Nounou使用RNN(循环神经网络)中的另一种单元，其被称为LSTM单元。LSTM单元支持长短期记忆。这些特殊的单元对于低功耗的嵌入式处理器(如410C)具有最佳性能，由于其高度并行计算能力。传统上，需要在一台高性能的台式电脑上进行训练，但现在本发明可以把它带给用户。

410C板在这里扮演了一个关键的作用，因为程序员会面对低级的程序。与OpenCL中的代码类似，410C提供了对Hexagon DSP(数字信号处理器)的访问。这允许将单个内核直接写入DSP并在不影响CPU管道的情况下进行计算。

外部用户配置文件：Nounou为首个支持外部用户配置的老年人监护系统，它可以保存用户的所有偏好。机器学习是自适应的，每个老年人会形成为一个完全不同的配置文档。通常，在大多数产品中，这个用户配置文档存储在无法在单个文件中检索的区域。相反，它分散在多个文件中，并与软件紧密集成。

常规系统的缺点是无法将该概要文件传输到另一台机器，无法备份用户的概要文件。然而，本发明改变了这种状况。用户的个人资料定期保存在一个外部SD卡上，用户可以在一个环境中转移到另外的Nounou装置，例如从家里到医院或是另一个家庭成员的家。此外，这个配置文件可以毫不费力地备份，甚至可以与其他被监护老人的进行比较。

本发明使用的SD卡技术包括：

-SD标准-2GB SD存储卡使用FAT 12和16文件系统，

-SDHC标准-使用FAT32文件系统超过2gb-32gb SDHC存储卡。

这种分享功能允许人们和最重要的医生和研究人员仔细检查患有相同疾病的病人的行为。这些数据的收集是无价的，是医学研究开发的巨大资源，有助于备监护的老年人和医生。

所有的数据都是保密的，并在没有老年人同意的情况下，秘密地、安全地、不与任何人共享。

Nounou从所有IoT Medtech Glucometer等传感器收集的数据，包括心率、血压、体重与瘦身指标和体脂百分比、心电图、睡眠长度和质量、热量锻炼等等信息能够存储在用户配置文档中，供以后分析计算以及备监护着用药的因果相关性分析。

UI/UX设计提升更好的HRI：

Nounou带有独特的人机交互(HRI)机制。使用声控融合/份裂和机器学习来提高老年人的可访问性和可用性。允许有认知障碍的老年人方便地与机器交流。，Nounou具有多模式功能，，将融合过程结合声音和图形输入以及将裂变过程结合声音和图形输出，可以24h/7d地全天候在房子里存在和并可使用。

Nounou具有一种图形支持体系，伴有声音互动功能。Nounou和被监护者之间的对接存在两种不同的模式(即基于语音和基于图形的接口)，从而大大增加了Nounou的可访问性。

优雅、交互性、简洁性和动检是用户在日常家居或高级护理环境中使用的最重要的因素。正是这种特点使得Nounou在日常家居或高级护理环境中对于老年人具有吸引力。它是专门设计为老年人提供一种直观、交互式和有趣的用户体验。

图21为描述所述用于家庭保健陪伴的智能监护系统利用信息融合和分裂机制用来结合音频和图像输入/输出的多方式构造。

用户体验UX：随着年龄的增长，老年人有三种问题：视力丧失、听力丧失和记忆力减退。

-视力

老年人的视力损失是一个主要的健康问题。大约有三分之一的人在65岁时患有某种程度上减少视力的眼疾。老年人视力丧失最常见的原因是老年性黄斑变性、青光眼、白内障和糖尿病视网膜病变。老年性黄斑变性的特点是丧失了中枢视力。

因此，Nounou关注到包括如下几方面的问题：文字的对比度，色彩对比度，简明程度，以及方便表达含义的图标。

本发明使用了一些比值-色组合标准来调整和定义最佳的颜色组合和最佳对比色用来显示按钮和Nounou屏幕上显示的App，用最好的视觉色彩用来增强有视觉问题的老年人对于信息的可读性。

听力

听力损失是衰老的自然结果。在60岁以上的人中，四分之一的人有可测量的听力损失。在70岁以上的人群中，数字跃升至二分之一。人越老就越有可能会遇到听力障碍。因此，Nounou带有内置的扬声器，并连接到家里所有的蓝牙音箱，以确保老人能正确地听到所有的信息和对话。

记忆

大多数老年人口受社会孤立和年龄相关认知能力下降的影响(记忆力、注意力、注意力等)。如图22A-C所示的清晰而简单的带有3个按钮交互和声音激活的用户界面，特别为老年人设计，易于交流并且考虑了包括下述的问题：

-避免分配任务和多个屏幕(需要对以前的操作进行内存)，

-采取简单的动作，

-集中于逐步地动作。

总之，本发明的技术特征包括了语音/图形融合分裂、语音/视觉机器学习、色彩组合和对比色比是Android显示液晶应用和人机交互等方面的创新。

用户界面(UI)：Nounou用户界面设计简单(例如图22A)，容易被所有老年人使用，考虑了老年人的各种身体障碍。

按钮操作(右/左)和底部的变化，允许用户的操作简单愉快。Nounou装置的人体工程学设计是为了让技术文盲的老年人感到有趣和方便。

Nounou装置使用了carrousel式的首页形式，可以增加视觉兴趣，避免混乱。这种形式在多处采用，由于这种非常简单的方式能够添加了大量内容，并便于导航。

装置模型设计：一个主要的设计挑战是通过设计将Nounou装置设计为陪伴式机器人。随着智能的发展，为了直观，把复杂的功能与简单的设计相匹配。外观使它集成到任何内部，从个人房子的厨房，客厅里的医院。它的形状，但必须符合每一个空间，然而，脱颖而出，吸引注意力。这就是Nounou的理念：追求、观察、感知情感、带来社会幸福和维护生命。

Nounou装置由旋转圆为基础设置在菱形基座上。两者都可以带有光滑的塑料材质制成的圆角，从而使用安全、优雅和维护简易。另外还须大到足以处理强大的技术问题如稳定性、耐久性、集成性。

菱形的主面是一种黑色的半透明玻璃表面，便于与用户交互，内置相机，并且使屏幕和按钮在关机时消失。这个交互式表面与大于45度倾斜的设计使得老年人在不同的角度和距离能够有效使用。

在黑色半透明玻璃的组件上，Nounou的主要部分是其LCD电容触摸屏，允许用户在活动模式下与系统进行交互。此外，在屏幕的两侧和底部(正方形的四个角的三个角)，敏感的按钮被显示出来。在不使用时，这些按钮足够大，在使用过程中可以方便地识别和访问。

安卓软件包：监护装置与使用者的互动机制对安卓操作系统进行了完全客制化的改进，包括分叉、修改等改进，从而能够提供适合于老人使用的界面。所述界面如图22A-22D所示。例如，图22A中按键形体较大，带有直觉的通用图像，还配有较醒目的文字标示。这种界面可以通过声音指令、肢体动作或触摸进行搜选。因此，这种使用者界面用起来较为灵活，并且对于有触摸、移动或声音障碍的老人也能适用。

对应于每种安卓应用各自采用了一种大方块图标并且下方还带有文字标示。这些应用软件被按类排列，能够通过显示屏上带有图标的触摸键进行选择，而标准的安卓操作是不分类的。在新的安卓应用软件的安装期间，使用者可以预先选取新的安卓应用将要归入的类别。在没有对类别进行选取的情况下，安卓应用就会被分到一般杂类。

图22B和22C所示的两个实施例显示了两种具体情况下所述监护装置显示屏的情形。例如，图22B呈现了显示屏上有关社交或交流方式可供选择的图标触摸键，而图22C则呈现了显示屏上有关健康状况可供选择的图标触摸键。

又如图22D所示，利用显示屏上位于三个角上的控制按键，可以针对菜单的选项进行搜选，其中三个按键分别直观地指向不同的方向。这样，就提供了除触摸屏之外方便灵活的搜选手段。

为了实现涉及其它声音和动作行为的使用者互动而对安卓操作系统进行的修改和调整，进行了对安卓内核、安卓硬件抽象层(HAL)和安卓Java表面层的修改和调整。作为本发明技术方案的一部分，提供基于安卓系统的老人使用方便的监护装置用户界面从而能够适用于各种老人行为限制的情形。

在一种具体实施方式中，所述安卓界面可以利用与Bluetooth或IoT连接的无线装置进行控制。这些装置包括遥控指针、轮椅配件、眼镜追踪器或心电图分析装置。

当监护装置在说话或听取的时候，或者在触摸界面或LCD显示屏未被选取从而监护装置处于等待的状态下，所述安卓用户界面就会转换并显示出图23所示的动画面部表情。这些动画面部表情可以包括图24所述的各种类型的表情形态，包括讲话、倾听、高兴和难过。这样，所述监护装置就能够利用动画面部图标对老人显示出模拟人的各种面部表情。

以上的具体实施方式是用来对本发明技术方案的进一步描述和说明，并非用来对本发明的范围进行限制。本领域的技术人员应用本发明的说明书及权利要求所做的等效结构或步骤的变化，均属于本发明的保护范围。

Claims (10)

1.一种用于老年保健陪伴的Nounou智能监护系统，包括：

智能监护装置，用来检测被监护者包括行为举止、生理指标和情绪表征的状况，所述监护装置包括：

身体姿态监测单元，能够对被监护者的身体姿态的图像进行识别和监测；

行为动作监测单元，能够对被监护者的行为动作进行识别和监测；

情绪表征监测单元，能够对被监护者的情绪表征进行识别和监测；

生理指标监测单元，能够对被监护者的生理指标进行识别和监测；

感应元件，包括用于被监护者的可佩戴心脏监护器、可佩戴腕带，其中所述感应元件能够用来从所述被监护者获得感应信息并且能够向所述智能监护装置传送所述感应信息；

信息接收装置，包括监护服务者使用的无线传感器；

信息处理装置，包括云端计算单元，用来对所述感应信息进行处理，包括信息的识别、融合和分裂；

信息传输装置，用来将所述感应元件所获取的所述感应信息传输到所述信息处理装置，并且进一步将所述信息处理装置处理后的处理信息传输到所述信息接收装置；

信息存储装置，包括储存卡和云端储存单元，用来储存所述感应元件所获取的所述感应信息以及所述信息处理装置处理后的处理信息。

2.权利要求1所述的智能监护系统，其中所述智能监护装置包括：

主体，包括主处理板、显示器、正向摄像元件、后向摄像元件、触控屏面、多个触摸按键、连接器、电池单元以及电源插座；以及

基座，所述主体被设置在所述主体上并且利用步进电机能够相对于所述主体转动。

3.权利要求2所述的智能监护系统，其中所述主体相对于所述基座的转动利用滑动环由所述基座向可转动的所述主体提供表观自然的连续转动的能量使得所述智能监护装置能够对被监护者进行密切跟踪而不受转动限制。

4.权利要求2所述的智能监护系统，其中所述步进电机是由内置的控制器并通过所述主处理板来进行控制，能够提供优化的转动速率和转矩。

5.权利要求2所述的智能监护系统，其中所述正向摄像元件设置于所述监视装置前部玻璃表面之内，为广角摄像元件，利用广角镜头包括了175度的水平视角以及高达90度的垂直视角；所述后向摄像元件包括两部分，分别设置在靠近左右两角部位，包括了高达90度的水平视角以及高达45度的垂直视角；从而，所述正向摄像元件和所述后向摄像元件能够提供对周围环境的全时的连续的全方位视觉。

6.权利要求2所述的智能监护系统，其中所述触控屏面为电容式触屏，被设置在所述主体正面的中间部位；所述多个按键为两个电容式按键，被分别设置在所述主体正面所述触控屏面的两侧位置，从而，所述被监护者能够方便地通过触觉动作与所述智能监护装置进行互动。

7.权利要求2所述的智能监护系统，其中所述监视装置进一步包括监护电子系统，其包括触控面板、液晶显示器、SD卡接口、传声器、扬声器、微控制器、摄像分线板以及与所述主处理板连接的多种外围电子设备；其中所述微控制器能够进行实时编程，以实现实时控制，所述摄像分线板采用多路技术用以实现全景视觉。

8.权利要求1所述的智能监护系统，其中感应信息融合利用了深度学习的神经网络，其能够定期地对使用者提供学习序列的提示，其中，针对具体感应信息存在设定次数连续的错误解读后，或者当没有足够的数据能够对所述感应信息进行恰当解读时，所述学习序列就会启动，从而，所述智能监护装置能够通过所述神经网络对各个感应信息对应的所述被监护者的表现形态进行智能化的学习并且能够配合所述被监护者提供准确的解读；其中所述学习序列包括视觉学习序列和听觉学习序列。

9.权利要求8所述的智能监护系统，其中所述信息处理装置具有信息融合功能和信息分裂功能，其中所述信息分裂功能使得所述智能监护系统能够输出所述智能监护装置与所述被监视者之间的互动作用信息，从而能够在所述信息融合的基础上对所述被监护者和所述监护服务者分别提供与监护相关的建议或信息。

10.权利要求9所述的智能监护系统，其中包括数据融合处理器，具有信息融合功能，其中所有所述感应信息都能够被传到所述数据融合处理器进行信息融合；针对所述感应信息中具有概率性特征的信息采用Kalman过滤器，用来接收特定传感器的读取信息并且将与其它传感器的读取信息融合起来形成具有高可信度的被监护者模式，从而所述监护装置能够在任何时间持续地对所述被监护者的状态进行高概率评估。