CN208767028U - 一种智能养老远程监护呼叫系统及监护设备 - Google Patents

Abstract

本实用新型涉及一种智能养老远程监护呼叫系统及监护设备，该系统包括智能养老监护设备、服务器和通信终端，智能养老监护设备、服务器和通信终端三者之间都基于互联网通信，服务器为监护设备和通信终端之间建立一对一或一对多的通信连接，智能养老监护设备包括：主控单元和都与主控单元相连的呼叫触发接口、语音交互单元和通信单元；呼叫触发接口包括用于发起紧急呼叫或一般呼叫的触发装置，其灵感来源于医院的呼叫系统。与现有技术相比，本实用新型为独居老人和长期瘫痪在床的病人提供了一种远程、智能的监护系统，使被监护人在紧急情况下可以获得救助，在平常状态下可以随时和子女及护理人员进行沟通，对缓解我国日益严重的养老负担大有裨益。

Description

一种智能养老远程监护呼叫系统及监护设备

技术领域

本实用新型涉及监护呼叫通信技术领域，尤其是涉及一种智能养老远程监护呼叫系统及监护设备。

背景技术

在我国，养老问题是全社会关注的民生热点话题，近四十年来独生子女生育政策的实施，所形成的421/422家庭结构使得子女对老人的养老负担极大。许多独居、空巢老人突发疾病，因得不到及时救治而延误病情，甚至独居老人死亡多日而不被发现的情况也屡现报道。护理人员的短缺也是不争的事实。将智能设备引入养老领域，可以有效缓解社会的养老压力。让智能设备代替子女时时守护在老人身边，使老人得到最及时而准确的照料是本申请的初衷。随着物联网技术的发展和智能手机的普及，使这一愿望有了可实施的技术保证。

当前的智能家居中的紧急报警产品通常为一键报警，采用电池供电，仅提供一个开关信号，报到手机APP中。现场情况不可知，误报、电池失效、紧急情况下找不到按钮这些情况使得产品远不能满足实际需求。一些智能手表的一键语音报警功能虽然可以提供现场语音情况，但因其语音通话走的是手机语音通道，紧急情况下也只能轮流拨打联系人，接通效率不高，无法语音留言，最主要的是需要频繁充电，从技术角度讲，只是手机的替代品。

鉴于此，提供一种老人容易操作，监护人员可以实时而准确的获得现场状况，同时又能便利老人生活起居的智能远程护理可视呼叫系统是目前所要研究的课题。

实用新型内容

本实用新型的目的就是为了克服上述现有技术存在的缺陷而提供一种智能养老远程监护呼叫系统及监护设备。

本实用新型的目的可以通过以下技术方案来实现：

一种智能养老远程监护呼叫系统，包括智能养老监护设备、服务器和通信终端，所述智能养老监护设备、服务器和通信终端三者之间都基于互联网通信，所述监护设备触发对通信终端的紧急呼叫或一般呼叫，所述服务器为监护设备和通信终端之间建立一对一或一对多的包括语音交互在内的通信连接，其中：

所述智能养老监护设备包括：主控单元和都与主控单元相连的呼叫触发接口、语音交互单元和通信单元；所述主控单元包括主控制器以及包括存储器在内的辅助电路；所述呼叫触发接口包括用于发起紧急呼叫或一般呼叫的触发装置。

优选的，所述智能养老监护设备还包含视频信息采集单元。

优选的，所述视频采集单元还包含电机部分。

优选的，所述触发装置进一步包括：语音识别模块、显示控制面板、紧急拉拽开关中的一种或多种。

优选的，所述智能养老监护设备的通信单元包括有线网络端口、无线WIFI模块、手机模块中的一种或多种。

优选的，所述手机模块为4G模块。

优选的，所述智能养老监护设备的主控单元还包括ZigBee模块，监护设备通过ZigBee模块和周边区域内的其他智能装置互联互动

一种用于以上所述智能养老远程监护呼叫系统的智能养老监护设备，包括主控制器以及都和主控制器连接的第一麦克风、扬声器、显示控制面板、紧急拉拽开关和通信单元；所述通信单元包括有线网络端口、无线WIFI模块、手机模块中的一种或多种。

优选的，还包括和主控制器相连的摄像头以及摄像头的辅助部件，所述辅助部件包括电机和夜视切换装置。

优选的，还包括和主控制器相连的语音识别模块以及和语音识别模块相连的第二麦克风。

与现有技术相比，本实用新型具有以下优点：

1、利用现有的语音识别技术、视音频编解码及远距离传输技术等技术，为独居老人和长期瘫痪在床的病人提供了一种远程、智能的监护系统，使被监护人在紧急情况下可以获得救助，在平常状态下可以随时和子女及护理人员进行沟通，特别适合居家养老和社区养老，对缓解我国日益严重的养老负担大有裨益。

2、监护设备采用语音识别技术，便利老人操控；另外设有紧急拉拽开关，有利于在紧急情况下快速启动呼叫功能。

3、监护设备可通过ZigBee接口接收家中其他区域传感器发送的信息，对老人的活动情况作出统计和判断，在发生异常时触发报警通知，实现对老人的全方位监护。

附图说明

图1本实用新型的系统结构示意图；

图2为监护设备各智能部件结构示意图；

图3为监护设备硬件原理框图；

图4为交互控制模块的功能结构框图；

图5为实施例中本系统远程监护呼叫方法的流程图；

图6为实施例中本系统中监护设备首次登陆及参数设置流程图；

图7为实施例中本系统中监护设备的登录过程流程图；

图8为实施例中本系统中交互控制模块的登录过程流程图；

图9为实施例中本系统中监护设备的视频编码流程图；

图10为实施例中本系统中监护设备的音频编码流程图；

图11为实施例中本系统中监护设备的音频解码流程图；

图12为实施例中本系统实时视频、音频数据传输流程图；

图13为实施例中本系统远程录像播放功能流程图；

图14为实施例中本系统紧急呼叫事件整体功能流程图。

图中标注：1、主控制器，2、第一麦克风，3、语音识别模块，4、显示控制面板，5、扬声器，6、摄像头，7、电机，8、ZigBee模块，9、外部存储器，10、WiFi模块，11、以太网模块，12、手机模块，13、紧急拉拽开关，14、第二麦克风。

具体实施方式

下面结合附图和具体实施例对本实用新型进行详细说明。本实施例以本实用新型技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本实用新型的保护范围不限于下述的实施例。

一种智能养老远程监护呼叫系统，包括智能养老监护设备、服务器和通信终端，智能养老监护设备、服务器和通信终端三者之间都基于互联网通信，服务器采用现有的远距离传输技术为监护设备和通信终端之间建立一对一或一对多的通信连接，其中：

智能养老监护设备包括：主控单元和都与主控单元相连的呼叫触发接口、语音交互单元和通信单元；主控单元包括主控制器1；呼叫触发接口包括用于发起紧急呼叫或一般呼叫的触发装置。语音交互单元包括第一麦克风2和扬声器5。

智能养老监护设备还包含视频信息采集单元。视频采集单元包括和主控制器1相连的摄像头6以及摄像头的辅助部件，辅助部件包括电机7和夜视切换装置。

触发装置包括：语音识别模块3、显示控制面板4、紧急拉拽开关13中的一种或多种。语音识别模块3接有第二麦克风14。被监护者通过语音、紧急拉拽开关13或显示控制面板4发起紧急呼叫或一般呼叫。

智能养老监护设备的通信单元包括有线网络端口、无线WIFI模块10、手机模块12中的一种或多种，手机模块12作为MODEM使用。

智能养老监护设备的主控单元还包括ZigBee模块8，监护设备通过ZigBee模块8和周边区域内的其他智能装置互联互动，用于被监护者活动状态的监护。

实施例

如图1所示，一种智能养老远程监护呼叫系统，包括智能养老监护设备、服务器和通信终端，三者之间采用互联网通信，本实施例中，服务器作为连接智能养老监护设备和通信终端的桥梁，本实施例中，可以为智能养老监护设备和通信终端建立起对等连接(P2P)的通道。智能养老监护设备和通信终端都主动和服务器维持心跳连接，都上报自己的当前状态、最新事件信息，在需要大数据通信时，服务器帮助智能养老监护设备和通信终端建立对等通信连接。通信终端的载体包括手机、平板电脑等，本实施例中，通信终端为手机。

智能养老监护设备各智能部件结构如图2所示。在本实施例中的“设备”都指智能养老监护设备。智能养老监护设备包括：呼叫触发接口、语音交互单元、主控单元和通信单元。

其中呼叫触发接口包括：语音识别模块3、显示控制面板4、紧急拉拽开关13。语音识别模块3接有第二麦克风14，用于在使用语音识别时语音的输入。语音识别模块3负责解析用户语音命令表达的意图。语音识别功能包括两种实现方式：一种是通过语音识别模块3的DSP芯片对比当前的语音命令信号特征和之前录入的语音命令信号特征，如果匹配，请求确认，获得确认后执行命令；另一种方式是主控制器1把语音命令直接数字化后发送给服务器，服务器接入专门的语音识别云服务器，解析后获取用户意图，请求确认，获得确认后执行命令。显示控制面板4上设有控制按钮和显示屏，除了语音控制外，用户还可以通过显示控制面板4上的按钮来完成命令输入，比如呼叫用户或应答用户等。紧急拉拽开关13一般用于发起紧急呼叫，也可以通过通信终端远程设置时间阀值，根据拉拽时间的长短区分紧急呼叫或一般呼叫。

语音交互单元包括：第一麦克风2、扬声器5、摄像头6。电机7作为摄像头6云台的一部分，连接摄像头6并控制摄像头6的转动，除了扩大可视范围外，还符合保护老人隐私的需求，摄像头6在不通话的时候转向盲区，只有在视频通话允许接入，或紧急报警后的若干时间内才被允许手机端操控。

主控单元包括：主控制器1、ZigBee模块8、外部存储器9。主控制器1是系统的核心部件，和其他各单元都有连接，具体参见图12，主控制器1协调控制各单元的工作，实现视频采集、音频采集和播放、通信报文组织和解析、数据存储、电机转动控制等功能。ZigBee模块8负责和家中其他智能单元如传感器通信，统计老人的活动情况，发现异常时触发报警事件，通知到手机APP。外部存储器9包含用于存储录音/录像文件的TF卡。

通信单元包括：WiFi模块10、以太网模块11、手机模块12。一般情况下使用WiFi模块10或以太网模块11，在没有宽带接入的环境下可以选用手机模块12，手机模块12目前为4G模块，作为MODEM使用。

具体的，智能养老监护设备硬件原理框图如图13所示，本实施例中，主控制器1采用华为海思HI35XX系列芯片，具体采用HI3518E芯片，该芯片采用ARM9架构，可运行linux操作系统，内置DDR2内存，省去了外置DDR的布线麻烦，视频编码格式为H264，编码能力720P@25fps，由于采用硬件编码，可以释放运算能力用作其他方面的处理。摄像头6的镜头芯片采用OV9712，也可采用其他芯片，如AR0130。外部存储器9包括Flash存储器、大容量TF卡和参数存储器。Flash存储器采用W25Q128(128Mbit)，通过SPI接口和HI3518E连接。参数存储器采用E2PROM，通过I2C接口连接HI3518E。大容量TF卡用于存储视、音频数据、历史数据、事件记录等信息，通过SDIO接口连接HI3518E，用于存储视频和音频资料。HI3518E只有一个USB2.0(HOST)接口，所以当同时连接WiFi模块10和手机模块12时，需要用Hub芯片扩充。以太网模块11的以太网收发芯片采用SMSC8710，网线接口采用网络滤波器HR601680进行隔离。HI3518E通过功放芯片HXJ8002连接扬声器5。电机7控制中，电机7的驱动采用达林顿驱动管ULN2803。摄像头6中夜视切换模块包括光敏电阻、红外灯和双滤镜(IR-CUT)切换驱动器三部分，光敏电阻用于感知光线强弱，红外灯用于夜视照明。ZigBee模块8有多种芯片可以选择，和HI3518E的接口一般是串口UART、SPI等。

其他的，摄像头6有自动夜视切换功能，夜间无需开灯，便可查看被监护者的情况。电机7转动的位置有记忆功能，参数中设置盲区、工作区一、工作区二等等，这样就可以快速定位摄像头6的视角，而不需要反复调整。当视频通话结束后镜头自动转向盲区。有利于保护监护者的隐私。

本系统的手机中设有监护应用程序(APP)，手机内的APP的功能模块如图4所示：

包含设备列表单元块；实时通话请求、告警推送；用户和所有关联设备交互的历史信息记录列表；用户相关信息。

其中，设备列表单元块除了显示各设备当前状态为在线或离线，设备的添加和删除操作外，还可以对列表中的每个设备做如下操作：保存在设备侧的智能养老监护设备远程参数的设置，包含语音识别命令设置、自动报警条件设置、设备联系人清单设置、安全密码设置、网络设置及其他设置；保存在APP中的智能养老监护设备本地参数的设置，包含设备图片设置、昵称设置、访问密码设置；向设备发起视频通话、语音通话；远程查看设备侧数据记录(事件、视频录像、留言信息)，记录有未读信息提示。

其中，实时通话请求、告警推送是指当重要的实时信息到来时，APP显示告警提示框或推送的通知，并通过震动和铃声，提醒APP用户注意查看。重要信息的内容包括：紧急求助、通话请求、留言信息、重要事件。

其中，用户和所有关联设备交互的历史信息记录列表用来记录设备发来的通话请求及告警推送过的所有内容，按照未读优先、最近发生的事件优先的排列顺序显示，点击可查看详情。例如，点击某智能养老监护设备发来的某条历史留言记录，即可接听留言内容。

其中，用户相关信息包括用户的注册、登录信息，用户参数设置和显示信息，包含APP用户头像设置、昵称设置、访问密码设置、注册信息修改等。

本系统的服务器存有所有手机APP用户信息数据库和智能养老监护设备信息数据库，维护着一张包括IP地址、端口号在内的在线手机APP用户和智能养老监护设备信息数据链表。平常状态下智能书包和手机APP之间通过服务器交互信息；平常状态下智能书包和手机APP之间通过服务器交互信息；当智能养老监护设备和手机需要大数据量通信的时候，比如建立视频通话、语音通话、手机对设备进行远程参数设置、手机读取设备数据等情况下，服务器帮助智能养老监护设备和手机侧建立P2P通道，让二者可以直接通信，减轻服务器通信负担。

另外在手机APP不在线的情况下，服务器会通过推送服务器把信息推送到手机，如果推送失败，服务器会记录该信息，当手机APP上线后，服务器会第一时间以离线事件的方式通知对方，保证信息的送达率。

本系统监护呼叫的实施采用远程监护呼叫方法，可采用现有的远程通讯技术，本实施例中系统采用的方法如下。

如图5所示，一种远程监护呼叫方法，用于在互联网平台上的被监护人一侧的智能养老监护设备和远程的监护人一侧的通信终端之间的交互，智能养老监护设备和通信终端之间都通过服务器发起对对方的呼叫，其中智能养老监护设备发起的呼叫分为一般呼叫和紧急呼叫，服务器帮助智能养老监护设备和通信终端建立起一对一或一对多的通信连接，呼叫方法的具体步骤包括：

步骤S1、新的智能养老监护设备上线，通信终端添加新的智能养老监护设备，并远程为该智能养老监护设备设置参数，设置多个通信终端的ID作为该智能养老监护设备的联系人，选取其中的部分通信终端的ID作为紧急呼叫联系人；

步骤S2、通信终端和智能养老监护设备都主动和服务器保持连接，告知自己的IP和端口号，服务器维持着一张在线通信终端用户和智能养老监护设备的数据链表；

步骤S3、如果通信终端对智能养老监护设备发起一般呼叫或智能养老监护设备对通信终端发起一般呼叫，则进行步骤S4，如果智能养老监护设备对通信终端发起紧急呼叫，则进行步骤S5；

步骤S4、对于一般呼叫，主叫方发给服务器的报文中，类型标注为一般呼叫，包含主叫方ID和被叫方ID，服务器从在线的通信终端用户和智能养老监护设备的数据链表中找到被呼叫方ID对应IP和端口号，转发该信息，被叫方应答后，服务器帮助双方建立P2P连接，建立连接后进行步骤S6；

步骤S5、对于紧急呼叫，主叫方发送给服务器的报文中，类型标注为紧急呼叫，包含主叫方ID以及包含所有紧急呼叫联系人的被叫方ID，服务器从在线的通信终端用户和智能养老监护设备的数据链表中找到所有被呼叫方ID对应的IP和端口号，同时向所有紧急呼叫联系人发送紧急连接请求，收到应答后，服务器为智能养老监护设备和所有紧急呼叫联系人的通信终端建立一对多的P2P连接；

步骤S6、建立P2P通信连接后，智能养老监护设备将现场采集到的视/音频信息发送给通信终端，同时接收来自通信终端的音频信息，交互过程包括一对一或一对多的交互。

另外，远程监护呼叫方法还包括对于未能成功建立连接的呼叫的处理过程：

服务器尝试通过第三方推送服务器推送呼叫请求到通信终端所在的通信终端上；如果连接尝试失败，呼叫信息无法送达，服务器记录该事件，待被呼叫方重新上线并和服务器连接后，立即通知该呼叫事件，或主叫方继续选择留言，留言信息保存在主叫方本地或服务器中，产生留言事件保存在服务器中，待被呼叫方重新上线并和服务器连接后，立即通知该留言事件。

通信终端的载体通信终端包括手机、平板电脑等，为方便理解，通信终端表述为手机APP，以下说明中的“设备”指智能养老监护设备。

具体地，本实施例中远程监护呼叫方法分以下几个过程进行解析：

(一)、设备首次登陆及参数设置流程；

(二)、设备的登录过程；

(三)、通信终端登录过程；

(四)、设备的视频采集、音频采集和播放流程；

(五)、视频和音频数据的远距离实时传输过程；

(六)、远程录音/像播放(即留言)功能的实现流程；

(七)、呼叫事件整体功能实现过程。

各个过程具体如下：

(一)、设备首次登陆及参数设置流程

如图6所示，过程如下：

首先，在手机APP上添加新设备，如果设备采用WIFI通信，需要给设备设置WIFI密码，使设备能连接网络。

随后，设备侧主动连接服务器，服务器核对设备ID和出厂密码，如果验证通过，则设备添加成功，APP继续为设备远程设置参数，其中，参数中最关键的是该设备关联的APP用户列表以及紧急联系人列表，参数设置完毕，发送给设备侧并保存。

随后，进入正常工作状态，用心跳和服务器保持连接，同时上报最新状态。

补充说明如下：

对于流程中的步骤“手机APP给设备设置WiFi密码，使设备能连接网络”，新出厂的设备要连接网络，需要指定WiFi网络，并且设置WiFi密码，设备没有输入接口，只能通过手机APP给它设置参数，具体实现方法可采用：1)设备启动时WiFi模块10默认进入AP状态，作为路由器，供手机APP接入，其网络名称和密码是固定的，手机APP在添加新设备的状态下，自动搜索该网络，成功连接后，就可以通信了，这时就可以给设备设置它需要登录的WiFi名称和密码；2)采用“一键WiFi设置”，通过手机APP发送广播命令，利用广播报文中的长度信息(由于报文内容全部被加密，只有该信息可以被解析)发送信息，需要一组广播报文才能拼凑出一个完整的WiFi名称和密码信息，设备侧监听广播信息，从中解析出自己需要的信息；3)通过设备网络接口直接插上网线连接路由器，这时设备会自动获取IP和端口，并连接服务器，连上后就可以通过手机APP给设备选择WiFi源和密码了。

手机APP为设备远程设置参数，设备参数中最关键的是联系人列表，即手机APP用户列表，每个联系人信息包括联系人的ID、便于识别的昵称，在设置单个联系人后，再选择其中的若干联系人为紧急呼叫联系人。对于面板按钮或紧急开关触发的设备联系人只需要设置这些信息即可。下面介绍以语音识别作为呼叫触发接口的设备如何进行联系人的设置，以及如何触发呼叫。

在语音识别作为触发接口的设备中，除了录入联系人的ID和昵称外，还需要录入一段呼叫该联系人的录音，比如“呼叫XXX”，前面增加“呼叫”，是为了识别操作，也是为了增加音节数，否则容易误判。另外在使用中，发出指令时需要先加设备名称，例如“智管家，呼叫XXX”，其中“智管家”为设备名称，不能缺少，因为设备一直在监听声音并和设备名称比较，如果符合，再进行后面的比较，否则不判断。设备名称也是通过语音学习获得的，可以自己设定。紧急呼叫设置除了选择若干联系人外，还需要录入紧急呼叫标志语音，比如“救命”、“来人啊”等，紧急情况下呼叫时也需要说“智管家，救命”这样的格式。以上参数设置都是通过手机APP远程设置，确认更改后，按照通信规约远程发送，建立P2P连接后，设备和手机APP直接通信，到设备侧保存，手机APP可以随时远程查看设置内容和更改设置内容。

手机APP和设备都通过心跳维持和服务器的连接，因为一段时间没有心跳，该链接将被运营商强行关闭。

(二)、设备侧的登录过程

设备上电后，或断开连接重新登录的过程如图7所示，包括：

设备上电启动；设备通过UDP通信方式与服务器通信连接；服务器核对智能养老监护设备的ID和密码后登录服务器，当需要切换网络时服务器判断智能养老监护设备的NAT类型；服务器核查该智能养老监护设备是否有离线信息，如果有，则补发离线信息；设备进入正常通信状态。

关于图7中的内容，补充说明如下：

1.步骤“PPP脚本的拨号上网”只有在通信使用手机模块12时才会有，手机模块作为MODEM(调制解调器)使用。

2.步骤“设备侧的NAT类型判断”是为了P2P防火墙的突破做准备。

2.1)首先说明一下为什么需要P2P，即实现设备和手机APP的直接连接。因为视频和音频数据如果都通过服务器转发的话，服务器的负荷相当大，特别是系统中设备和手机APP数量较多时，服务器不堪重负。所以在大数据量通信时，比如视频、音频、参数设置和读取时，需要为设备和手机APP建立直接的连接(P2P)。

2.2)其次说明一下P2P的连接为什么需要实现防火墙的突破。因为网络上的设备一般都在路由器的后面(手机公网虽然看不到物理上的路由器，但实际由是运营商提供的路由器服务，所有到达手机APP上的数据先要经过运营商路由器防火墙的过滤：NAT外部无法直接访问NAT内部，必须要NAT内部先访问外部的IP和端口，下次从该外部的IP和端口发出的数据才可能被允许穿透NAT，即俗称的打洞过程)，受路由器防火墙的保护。路由器有四种NAT类型：全圆锥、限制圆锥、端口限制圆锥、对称型。那么装置和手机APP的连接会有16种NAT组合方式，每种组合方式要实现P2P连接所采取的方案是不同的。所以需要先判断P2P两端的NAT类型。

3.离线信息是指当服务器无法送达信息给设备或手机APP时，将该信息暂时保存到服务器的数据库中，当收到对方的登录请求或心跳请求后，再补发，防止重要信息的遗漏。

(三)、通信终端登录过程

如图8所示，包括：

通信终端启动；通信终端通过UDP通信方式与服务器通信连接；服务器核对通信终端的ID和密码后登录服务器；通信终端向推送服务器注册自己，获取当前通信终端的通信终端的token；通信终端向服务器上报token，当需要切换网络时服务器判断智能养老监护设备的NAT类型；服务器核查该通信终端是否有离线信息，如果有，则补发离线信息；通信终端进入正常通信状态。

补充说明如下：

对于向推送服务器获取APP的token的步骤，APP的token的作用为：手机APP一般只有在前台时才工作，当退出前台任务后，APP被系统杀死，不再工作，无法再和服务器通信，这时需要系统服务商(苹果或谷歌)提供推送通知，手机才能收到发给该APP的通知信息。token就是推送服务器推送给指定手机中指定APP的凭证。一般手机安装某个APP后，该APP的token不会改变，除非重新安装；但用户可能通过不同的手机登录，不同手机同一个APP的token是不一样的，所以每次登录都重新上报一次token。当服务器要给某个APP用户发送信息时，发现该APP用户不在线，即APP没有工作，但手机可能仍然开机，只能将该信息发送给推送服务器，具体根据数据库中的最近一次的记录，选择苹果或谷歌推送服务器，并附上目标token，于是推送服务器根据该token，将信息发送给指定手机的指定APP。

(四)、设备的视频采集、音频采集和播放流程

设备的视频采集、音频采集和播放流程分别见图9、10、11。

如图9所示，视频采集过程包括：VI模块通过摄像头6捕获视频图像，对其做剪切、缩放、镜像等处理，根据参数设置输出不同分辨率的图像数据；VPSS模块接收VI模块和解码模块发送过来的图像，对图像进行去噪、图像增强、锐化等处理；编码模块接收VI模块捕获并经VPSS处理后输出的图像数据，叠加用户通过Region模块设置的OSD图像，添加时间信息，然后按不同协议进行编码并输出相应码流。

如图10所示，音频采集过程包括：AI模块捕获音频数据，然后AENC模块支持按多种音频协议对其进行编码，最后输出音频码流；

如图11所示，音频播放过程包括：接收到的音频码流直接送给ADEC模块，ADEC模块支持解码多种不同的音频格式码流，解码后数据送给AO模块即可播放声音。

(五)、视频和音频数据的远距离实时传输过程

设备采用UDP通信方式与通信终端实现视频和音频数据的远距离实时传输，由于UDP不保证数据传输的可靠性，可能会有错帧、顺序颠倒和漏帧的情况。因为是实时通信，几乎不能有延时，所以需要在极短的时间内判断错帧还是漏帧，是错帧需要重新排序，是漏帧需要请求对方重新发送，存储池作为缓存使用。视频和音频数据的远距离实时传输的具体过程如图12所示，包括：

设备的码流依次经过压缩、编码、加时间戳、同步信息、加密、打包、放入设备存储池的过程后，通过UDP通信方式传输到通信终端存储池，经过排序后，通信终端判断传输的码流是否有漏帧，若有，则请求设备补发，设备从发送存储池中查找该包数据，如果存在则补发，否则，将排序后的数据包经过解密、解码后，进入可播放状态。

(六)、远程录音/像播放(即留言)功能的实现流程

远程录音/像播放功能的实现流程如图13所示，是指在手机APP侧播放存储在设备侧的录像文件，本系统的留言功能也是以这种方式实现的。远程录音/像播放功能和实时传输的侧重点不同：实时传输的漏码重发需要在非常短的时间内完成，否则就会有明显的延时。而录像文件的播放对此要求不严格，于是存储池可以做的大些，有充分的时间请求漏码重发；远程录像播放增加了暂停、快进、后退的处理。从流程中可以看到，录像文件是加密的，如有需要可以做个性化处理，只允许特定用户查看，例如看之前要求输入用户密码，这样对保护隐私有利。

(七)呼叫事件整体功能实现过程

本系统的服务器存有所有手机APP用户信息数据库和智能养老监护设备信息数据库，维护着一张包括IP地址、端口号在内的在线手机APP用户和智能养老监护设备信息数据链表。平常状态下设备和手机APP之间通过服务器交互信息；当设备和手机需要大数据量通信的时候，比如建立视频通话、语音通话、手机对设备进行远程参数设置、手机读取设备数据等情况下，服务器帮助智能养老监护设备和手机侧建立P2P通道，让二者可以直接通信，减轻服务器通信负担。

图14展示了紧急呼叫下整体功能实现过程，说明如下。

通信连接的建立过程：

当被监护者发起紧急呼叫后，设备根据所设参数找到对应的多个紧急联系人，获得对应的APP用户ID。设备随后给服务器发送紧急呼叫请求，请求中包含多个APP联系人ID，服务器在APP在线APP用户列表中遍历搜索这些APP用户ID，获取其对应的IP地址和端口号，向其发送紧急呼叫请求，其中部分的APP用户进行了确认应答，服务器根据双方的NAT类型，为设备和APP用户建立一对多的P2P连接。即使对于不在线的手机APP用户，也会通过消息推送，告知APP用户；如果消息推送失败，服务器作为离线事件保存，待该用户上线后，第一时间通知对方。这样处理可以有效的保证被监护者的紧急呼叫得到有效的回应。

多个紧急呼叫联系人和被监护者的视频通话过程：

在通信连接建立后，APP用户有权操控设备侧摄像头所连接的电机，查看被监护者的状态，设备将采集到的视频、音频数据经编码处理后远程传输到手机APP侧(同时传输给多个联系人)，手机APP将此视频、音频数据流进行解码和播放；与此同时，多个联系人的手机APP将音频数据编码处理后远程传输到设备侧，设备侧将此音频数据流进行解码和播放。由于手机APP联系人的通话是半双工的，即平常处于受话状态，只有需要送话时才通过按钮通话，所以在设备这一侧不会造成语音混乱。如此实现了多个紧急联系人和被监护者之间的视频通话

当多个联系人陆续全部退出后，摄像头返回盲区，紧急呼叫全过程结束。

另外，设备侧会自动产生并保存一个紧急呼叫全过程的录像文件，包含设备侧采集到的视频，以及语音的双向交互数据。手机APP侧如果有取证的需要，也可以手动录像，保存到手机APP中，录像的内容和设备侧一致。

对于一般呼叫的实现过程，将图14中的A、B、C、D联系人替换为1个联系人，是很容易替换得到的。但紧急情况下的智能养老监护设备的对于视音频数据的处理是比较复杂的，因为需要维护多个连接，对不同手机APP的漏码重发请求做出识别和响应，过程采用了多线程技术。

呼叫过程是双向的，即手机APP也可发起对智能养老监护设备的呼叫，手机APP在系统中也是用唯一的ID来表示，所以呼叫原理和智能养老监护设备发起的呼叫是一样的，只是手机APP只能发起一对一的普通呼叫，而没有紧急呼叫功能。

除了用呼叫建立直接的通信外，还可以采用留言功能，记录一段录音/录像，产生一个事件通知对方读取，通知信息中包含该段录音/录像的识别信息。接收方收到该条通知后，即可以通过远程播放的方式实现留言的读取。

Claims (10)

1.一种智能养老远程监护呼叫系统，包括智能养老监护设备、服务器和通信终端，其特征在于，所述智能养老监护设备、服务器和通信终端三者之间都基于互联网通信，所述监护设备触发对通信终端的紧急呼叫或一般呼叫，所述服务器为监护设备和通信终端之间建立一对一或一对多的包括语音交互在内的通信连接，其中：

所述智能养老监护设备包括：主控单元和都与主控单元相连的呼叫触发接口、语音交互单元和通信单元；所述主控单元包括主控制器以及包括存储器在内的辅助电路；所述呼叫触发接口包括用于发起紧急呼叫或一般呼叫的触发装置。

2.根据权利要求1所述的一种智能养老远程监护呼叫系统，其特征在于，所述智能养老监护设备还包含视频信息采集单元。

3.根据权利要求2所述的一种智能养老远程监护呼叫系统，其特征在于，所述视频采集单元还包含电机部分。

4.根据权利要求1所述的一种智能养老远程监护呼叫系统，其特征在于，所述触发装置进一步包括：语音识别模块、显示控制面板、紧急拉拽开关中的一种或多种。

5.根据权利要求1所述的一种智能养老远程监护呼叫系统，其特征在于，所述智能养老监护设备的通信单元包括有线网络端口、无线WIFI模块、手机模块中的一种或多种。

6.根据权利要求5所述的一种智能养老远程监护呼叫系统，其特征在于，所述手机模块为4G模块。

7.根据权利要求1所述的一种智能养老远程监护呼叫系统，其特征在于，所述智能养老监护设备的主控单元还包括ZigBee模块，监护设备通过ZigBee模块和周边区域内的其他智能装置互联互动。

8.一种用于权利要求1～7任一所述智能养老远程监护呼叫系统的智能养老监护设备，其特征在于，包括主控制器以及都和主控制器连接的第一麦克风、扬声器、显示控制面板、紧急拉拽开关和通信单元；所述通信单元包括有线网络端口、无线WIFI模块、手机模块中的一种或多种。

9.根据权利要求8所述的一种智能养老监护设备，其特征在于，还包括和主控制器相连的摄像头以及摄像头的辅助部件，所述辅助部件包括电机和夜视切换装置。

10.根据权利要求8所述的一种智能养老监护设备，其特征在于，还包括和主控制器相连的语音识别模块以及和语音识别模块相连的第二麦克风。