CN107330240A - 一种基于双手环传感器的智能远程特护监控系统及方法 - Google Patents

一种基于双手环传感器的智能远程特护监控系统及方法 Download PDF

Info

Publication number
CN107330240A
CN107330240A CN201710364084.0A CN201710364084A CN107330240A CN 107330240 A CN107330240 A CN 107330240A CN 201710364084 A CN201710364084 A CN 201710364084A CN 107330240 A CN107330240 A CN 107330240A
Authority
CN
China
Prior art keywords
sensor
information
special care
cloud server
hands
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710364084.0A
Other languages
English (en)
Inventor
徐文超
刘彦博
杨艳琴
陈树东
胡柏
杨虹
宁小爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201710364084.0A priority Critical patent/CN107330240A/zh
Publication of CN107330240A publication Critical patent/CN107330240A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种基于双手环传感器的远程特护监控系统和方法，包括可穿戴的两个手环传感器和云端服务器，手环传感器与云端服务器通信；其中，手环传感器包括依次连接的用于检测用户位置的定位模块、用于检测环境及运动传感器信息的传感器模块、用于生成判据数据的控制模块、用于存储数据的存储模块和传输模块，传输模块与云端服务器连接，通过LEDP协议传送到云端服务器，用户通过电脑终端和手机APP可以实现监护人的监护。本发明普适性好，体态姿势识别准确，实时观测被监护人的姿态，成本低廉，携带方便。

Description

一种基于双手环传感器的智能远程特护监控系统及方法
技术领域
本发明涉及传感器信息处理和手势识别技术领域，特别是一种集于三维传感器数据建模结合，人机交互基于双手环传感器远程特护监控系统和方法。
背景技术
随着科技的不断发展，控制和传感器技术的不断提高，越来越多的设备采用了传感器进行采集观测人体行为特征。
目前市场上的智能手环，因其具有可穿戴、体积小、多传感器、蓝牙4.0无线传输等特点，使得智能设备进入人们的生活当中。通过手环和智能手机结合测量心跳，计步数和记录人体睡眠数据等信息。市场上的手环都是以单手环的形式存在，对于设备的控制来说，单手环姿势的识别范围小也缺乏稳定性。双手环的融合控制技术可以让用户体验到更多的手势控制，更高的稳定性是热切关心的话题。
针对这一需求，本发明提出了一种基于双手环传感器融合的特护监控方法及系统。该方法和系统是在基于双手环传感器融合的智能远程监控系统及其方法的基础上丰富算法深度，和协议架构，并通过无线传输模块实时传送数据，保证对被特护监控者的行为轨迹和预防跌倒的监控。随着物联网时代的成长，以及5G时代的到来，无线传输的微型化会给双手环发展带来更大的空间。
发明内容
本发明提出了一种基于双手环传感器融合的特护监控方法，该方法包括如下步骤：
步骤一：将双手环设分别置于人体上肢手腕处，利用所述双手环中的传感器采集人体上肢的运动信号，所述运动信号包括三维加速度信号和三维角速度信号；
步骤二：根据所述运动信号构造每个手环上的特征向量；所述特征向量包括人体的初始姿态，初始姿态为人体初始静止状态下的俯仰角、滚动角和偏航角，根据初始姿态计算传感器坐标系与地面坐标系的偏差量，利用偏差量修正手环传感器坐标系并生成变化后的特征向量，特征向量组成特征矩阵；
步骤三：将所述运动信号通过初级KALMAN滤波后进行处理得到人体手部的方位运动信息，用于构造手部动作特征向量；
步骤四：根据动态时间归整和隐马尔科夫模型加权算法判据得到人体手部的方位运动信息，得到判据信息；
步骤五：将双手环的三轴信息、判据信息、位置信息、环境温度信息和气压信息，通过无线传输模块，以LEDP协议用CJSON报文传送到云端服务器；
步骤六：云服务器端接收到信息，解析CJSON报文获得位置信息、判据信息、手部的方位运动信息，电脑终端或移动终端访问云服务器对被特护监护人进行监护。
本发明提出的所述基于双手环传感器融合的特护监控方法中，步骤六对被特护监护人进行监护的具体方式包括：对特护人的身体行为姿态活动特征进行监控，通过GPS位置信息电子围栏对特护人进行监控。
本发明提出的所述基于双手环传感器融合的特护监控方法中，三维加速度信号以如下公式表示：Y＝K*X+Offset，Y是传感器输出，X是真实的加速值，K是系数，Offset是加速度为0g时传感器的输出；三维角速度信号以如下公式表示：A＝ADCrate/L，A是输出值，ADCrate 是读出的各轴的值，L灵敏度从参数表查询。
本发明提出的所述基于双手环传感器融合的特护监控方法中，获取人体手部的方位运动信息的过程具体包含如下步骤：
步骤a1：所述传感器采集三轴加速度信号与三轴角速度信号，三轴分别为相互处置的X 轴、Y轴与Z轴；
步骤a2：存储所述三轴加速度信号与三轴角速度信号，构造每个手环的特征向量经过初态卡尔曼滤波和二次高斯协方差白噪声矩阵处理，得到人体手部的方位运动信息。
本发明提出的所述基于双手环传感器融合的特护监控方法中，基于HMM的DTW算法获取判据信息的过程具体包含如下步骤：
步骤b1：每个手环的所述特征向量经过初态卡尔曼滤波算法滤二次高斯协方差白噪声后，获得用于动态时间规整算法的样本序列；
步骤b2：通过手环传感器三轴加速计对人体加速度进行采样，并把采样获得的加速度信号转换成加速度信号幅值；
步骤b3：对加速度信号幅值进行端点检测，预测摔倒事件是否可能发生；设定当加速度信号幅值小于阈值认为可能会发生摔倒；
步骤b4：结合隐马尔科夫模型判决进行进一步判决，判决条件包括环境温度信息、气压信息、手部方位运动信息、人体行为习惯一致性特征。
本发明还提出了一种基于双手环传感器融合的特护监控系统，包括可穿戴的两个手环传感器和云端服务器；其中，所述手环传感器包括依次连接的用于检测用户位置的定位模块、用于检测环境及运动传感器信息的传感器模块、用于生成判据数据的控制模块、用于存储数据的存储模块和传输模块；所述云端服务器通过无线传输模块获取判据结果、传感器信息和 GPS信息，电脑客户端和手机客户端访问所述云端服务器，实现对特护监控人的观测，或当监护人发生跌倒和紧急状况时直接发送信息给手机客户端报警。
本发明提出的所述基于双手环的人体姿态融合特护监控系统中，所述手环传感器内设有： 6度传感器，包含了3度加速度计和3度陀螺仪，分别用于获得三维加速度信号和三维角速度信号进行初始标定校正，防漂移测准；采集人体运动过程中上肢运动信号；对采集到的运动信号进行去噪声、滤波处理；将采集到的运到信号保存到存储设备中；气压传感器，检测监护人手腕上的气压值，用于检测判断当监护人所处的高度位置发生变化。当气压值急剧变化时作为跌倒判据；心律传感器，检测监护人手腕上的心率值、脉搏值，用于检测判断当特护人生命体征发生急剧变化时，作为跌倒判据；可获取定位数据及卫星通信功能的定位模块，将被特护监护人的物理位置，上传到云端服务器，作为监护人的监护特护人的提供依据；电脑终端和手机APP实时监护特护人的位置信息。
本发明提出的所述基于双手环的人体姿态融合特护监控系统中，所述传输模块将信息通过LEDP协议传输到所述云端服务器。
本发明提出的所述基于双手环的人体姿态融合特护监控系统中，本发明提出的所述基于双手环的人体姿态融合特护监控系统中，所述云端服务器采用 Nignx+Nodejs+Express+MongoDB架构设计；服务器端开放多个端口分别用于数据收发及网页应用，根据用户所发起的不同请求进行相应的响应，完成包括与客户端的信息交互、数据存储及利用前端框架实现管理页面显示的功能，所述云端服务器服务器后端采用 Nginx+Nodejs+MongoDB的设计。
本发明的有益效果：本系统的功能设计充分考虑老年用户的生活习惯与健康状况。针对老年人遇险的常见情况跌倒意外，本系统通过手环端，对老年人进行行为识别，检测到跌倒状况立即通过服务器端向用户进行反馈确认，判定为跌倒后则第一时间向用户设定的紧急联系人与当地相关医疗救助机构呼救。针对老年人突发疾病的情况预警，本系统实行对老年人用户全天候的信息追踪，当老年人的生理特征如心率、血压等出现异常，则立即通过短信和服务器联系呼救。另外，对于一些处于半自理状态的老年人用户，为防止老年人走失发生危险，本系统手环终端利用GPS定位技术可以实现电子围栏功能。
附图说明：
图1是本发明双手环传感器体态姿势融合控制的特护监控系统和方法，整体系统架构图；
图2(a)是本发明中手环传感器的整体框架图,图2(b)是定位模块流程图，图2(c)是检测模块和存储模块流程图；
图3是本发明中双手环手势姿态图；
图4是本发明中双手环手势姿态图，用MATLAB软件建立的三维传感器数据建模是模型图；
图5是本发明中无线传输模块和云端服务器的LEDP协议传输方式；
图6是本发明中云端服务器获得的CJSON报文；
图7(a)是本发明中手机APP平台访问界面获得特护人位置信息，(b)是服务器电子围栏。
图8(a)是本发明中电脑用户平台访问界面显示双手环上传服务器获得特护人位置信息，图8(b)、图8(c)、图8(d)为点击后传感器各个传输的特征值。
具体实施方式
结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。
本发明旨在设计一个基于双手环传感器检测人体姿态信息传送给云端服务器对特定群体进行监护的控制系统，该系统主要由可穿戴的手环传感器100和云端服务器200构成。手环传感器100内包括微型控制处理器(以下称MCU)、三轴6DOF传感器、压力传感器、气压传感器、传输模块等功能模块组成。优选地，传输模块采用GPS模块和GPRS模块。GPS模块通过位置信息针对特护人进行监控、监控范围更广。控制端通过手环上传感器采集手部运动信息，经过滤波处理之后进行动作的判断，然后将判据结果、传感器信息和GPS信息，通过传输模块5发送到云端服务器200，电脑客户端和手机客户端访问云端服务器200，实现对特护监控人的观测；当监护人发生跌倒和紧急状况时手环传输模块5直接发送信息给手机客户端报警。
本发明创新点在一种基于双手环传感器100融合的智能远程监控系统及其方法上，增加了对被测人摔倒的基于HMM模型的DTW算法。与市面上的单手环相比，双手环的控制可以识别更多的动作具有更高的稳定性。在识别出手势姿态的情况下，结合三个轴向的不同加速度通过DTW算法判断手势加速度是否失常。HMM模型综合了压力传感器和气压传感器以及DTW 算法下的判断信息做综合判据，将判据、传感器信息、GPS位置信息通过传输模块5上传至云端服务器200。传输协议是基于EDP协议基础上改进的LEDP(low cost EDP)协议。LEDP 根据上传至云端服务器200的信息和手机客户端和电脑客户端的需要增加或减少传输报文频次，来改善手环上传数据的功耗。
本发明所设计的基于双手环传感器100融合的特护监控系统，结构简单，操作方便，扩展性强，同时支持个性化定制服务，具有广阔的应用前景。具体如下：
1.信息处理的多样性：能补偿单手环姿态单一性问题，增设对特护人特定姿态的监护。
2.信息处理的互补性：结合增设HMM模型的DTW算法，对双手采集数据作融合，进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。
3.信息处理的及时性：各传感器的处理过程相互独立，整个处理过程可以采用并行处理机制，从而使系统具有更快的处理速度。观测信息通过传输模块5上传到云端服务器200，用过手机APP用户和电脑用户需要，和上传信息的需要，增加对观测者的频次。
4.信息处理的交互性：多传感器的处理数据信息，传输至处理器，将多传感器的信息和三维传感器数据建模结合，人机交互，增强用于感官体验。
本发明建立了强实时、多线程的传输模块5双工数据通道。选用数据融合算法对数据进行处理，对已有的数据融合算法进行优化开发。通过实验测试，在检测到运动行为姿势的基础上增设了基于HMM的DTW算法，更详细地获得了被监护者双手姿态的信息。延续了一种基于双手环传感器100融合的智能远程特护监控系统及其方法对数据进行优化处理和模型的推断归纳，保证了双手环内存不发生泄漏以及三维传感器数据控制建模与算法反演。
总体来说，系统要实现以下六个目标：
1.能够对手环进行手势信息的采集；
2.实现双手环双通道的搭建；
3.实现低功耗高稳定的无线通道的搭建；
4.对双通道采集的数据用融合算法进行识别，并根据HMM模型的DTW算法做判据；
5.搭建云端服务器200，将传感器信息、GPS信息、判据信息上传到云端服务器200；
6.手机端APP用户，电脑用户平台访问云端服务器200，观测被特护监控人状态。
根据以上的六个系统要实现的总体目标，可以得出系统的基本工作流程如下图1所示，双手同时运动，手环传感器100对双手状态信息进行采集，随后运用设定好参数的融合算法对双手环通道的数据进行融合，使用融合输出的数据控制智能设备。
再进一步进行功能模块分析，要实现以上的功能，系统大概要分为两大主要模块。一个是发送端，其主要任务是对双通道的手环信息，进行采集并进行初步处理，然后对其进行融合处理，经过算法得到判据结果上传到云端服务器200，手机用户端和电脑用户平台访问服务器对用户进行观测。
在初步设计好的系统功能之后，需要进一步对系统功能进行具体的实现，这会涉及到对元器件的选取，如下将详细介绍系统将要使用的元器件。
传感器模块2是手环传感器100的核心部分，是整个系统的起点，它的稳定工作是整个系统正常运转的前提，选取合适的传感器非常重要。
在本发明中，选取的传感器模块2，集成了3轴MEMS陀螺仪，3轴MEMS加速度计，以及一个可扩展的数字运动处理器，可用I2C总线连接一个第三方的数字传感器。扩展之后就可以通过其I2C或SPI接口输出一个9轴的信号。控制模块3主要的任务是对双手环的信息进行接受处理，并进行融合的输出。
在本发明中，系统选取的控制模块3，能通过各种各样的传感器来感知环境，通过传感器数据的融合，通过手势姿态得到综合判据。
传输通信部分的主要任务是将发送端的信息通过无线高效的方式发送给云端服务器200。
随着物联网的成熟和快速发展，本发明中系统选用的传输模块5微型化和集成化，传输模块5上搭载的物联网卡可以通过专用网元设备支持短信，无线数据和语音等基础通信服务，提供通信连接管理和终端管理等智能连接服务。
整个系统传输的信息是手环传感器100采集的各项数据。从采集数据，处理数据再到融合数据，一个通畅的数据流量的通道至关重要。如图2(a)给出的是本系统的整体的数据流向和细节信息。整个系统的信息流向图，用数据流图进行表现，每一个箭头都表示一种数据的流向。图2(b)给出了基于GPS位置信息和基站位置信息两种位置数据获得方式，以及对两者数据阈值判决纠偏过程。图2(c)给出了检测数据流图的过程主要有控制模块3,卡尔曼滤波算法，驱动接口等；流程主要有采集，量化，融合，和数据阈值判决等。在这些过程中，还要注意数据的存储。
步骤1：控制模块3持续的读取加速度传感器的三轴数据。控制模块3通过I2C总线协议来读取加速度传感器的数据接口数据。该加速度计用一个包含瞬时加速度数据的命令来回复每一个请求，整个过程是在以一个设置默认为125Hz频率进行整体加速度的查询的。利用传感器采集人体上肢运动手腕上手环的运动信号，运动信号包括三维加速度信号和三维角速度信号；
步骤2：根据采集运动信号，获得构造每个手环上的特征向量，所获的特征向量包括人体的初始姿态，初始姿态包括人体初始静止状态下的俯仰角、滚动角和偏航角，根据人体初始姿态获得传感器坐标系与地面坐标系的偏差量，利用偏差量修正传感器坐标系变化后的特征向量，特征向量可以组成特征矩阵，控制模块3对加速度传感器数据处理。因为加速度传感器初级采集的数据是噪声的，采用卡尔曼滤波器对数据进行初步处理，保证在初始阶段的可操作性；
步骤3：控制模块3对加速度传感器数据处理后的数据信息将进行第一次处理，对数据进行量化处理，这是软件实现的，具有可行性。根据所采集到的运动信号,通过多态KALMAN 滤波，对所得到的信息进行处理，根据初步采集的运动信号检测人体上肢手腕的运动,进而获得人体的手部的方位运动信息，根据HMM模型的DTW算法得到判据，然后将GPS信息、传感器信息、判据信息传输到传输模块5；
步骤4：传输模块5将信息以CJSON报文的格式以LEDP协议传输给云端服务器200；
步骤5：云端服务器200收到CJSON报文后，解析数据。将数据中不同传感器的信息、GPS信息、判据分析。根据GPS信息调用机器学习，根据被特护监控者的位置信息，做出是否通过LEDP协议增加对信息上传的频次；提出了基于由Web服务描述语言的公共接口式的约定和访问地址三方面的基本内容，并且基于XML格式，详细地定义了服务的名称、服务方法的名称、方法的参数等等。通过此功能可以知道服务更提供什么样的功能、采取什么样的消息格式。Web服务发现通过将语义信息和Web服务发现相结合来提高服务的准确率。并且根据Web服务集成协议，提供了分布式的平台独立的Web服务注册中心的开发框架。注册中心是以XML格式来存储核管理各类服务信息，并提供服务的发布和发现机制。
根据步骤4中的传输模块5工作组定义了基于语义映射的LBS服务平台架构体系。根据定位信息确定定位服务，并且根据位置信息服务，根据不同领域和不同所需属性的要求，从而对所需要的服务进行请求、匹配、组合。
步骤6：手机用户平台和电脑用户平台访问云端服务器200，调用不同传感器信息、GPS 信息、判据信息来观测被特护监控人的状态。手机用户平台和电脑用户平台根据观测的状态可以增加对检测对象频次的设定。
如图1所示，本发明双手环传感器100人体姿态识别控制的特护监控系统包括：自动采集每个传感器信息，并依据所得信息构造传感器的特征向量，并通过融合算法将多个传感器的特征向量合并形成整体的手势姿态识别特征向量，经过算法得到判据结果,将传感器信息、判据信息、GPS信息编辑成CJSON报文，通过传输模块5以LEDP协议上传到云端服务器200，手机用户端和电脑用户平台访问服务器对用户进行观测。
如图2所示，本发明中数据采集融合控制流程图中，三轴传感器中，有加速度计和陀螺仪。在步骤[1]中，加速度计输出值由以下公式给出
Y＝K*X+Offset (1)
Y是传感器输出，X是真实的加速值，K是系数，Offset是加速度为0g时传感器的输出。而陀螺仪的测量根据以下公式进行
Aout＝ADC_rate/L (2)
Aout是输出值，ADC_rate是读出的各轴的值，L为灵敏度可以有参数表查询。
在步骤[2]中，根据采集运动信号，获得构造每个手环上的特征向量中，MEMs模块获取的数据被传送到系统，数据首先被卡尔曼滤波器滤波，本发明在欧拉角的基础上计算旋转矩阵(滚动、俯仰和航向)，通过这个旋转矩阵可以转换得到来自人的加速度数据。
卡尔曼滤波是一种线性高斯系统的滤波和预测技术。它由一个处理模型和一个测量模型组成。过程模型，如方程(1)中定义的那样，在假设下一个状态是先前状态的线性函数条件下，描述了过程状态的转变，
x(k)＝Ax(k-1)+Bu(k-1)+w(k-1) (3)
其中x(k)是一个瞬时时间参量为k的系统状态。A是状态转换矩阵。矩阵B表示了输入为u(k)的随机控制状态。w(k)代表了过程噪声，p(w)服从(0，Q)的高斯分布，Q代表了处理过程的噪声的方差。
本发明双手环传感器100采集信息处理采用延续了一种基于双手环传感器100的智能远特护程监控系统及其方法连续维纳过程加速，加速度受到一个功率谱密度为q的高斯白噪声干扰。过程噪声协方差方程矩阵为：
根据不同的测量，模型作出相应的改变，获得相应测量的特征向量H1，当只有加速读测量阶段时，获得相应测量的特征向量H2。
在步骤[2]中：数据处理原理主要就是双通道数据的融合，延续了一种基于双手环传感器融合的智能遥感控制系统及其方法，检测和估计系统状态的技术将传感器数据进行融合。为了连续地估计手部动作状态空间模型如下：
x(k-1)＝Mz(k-1)+u(k-1) (6)
这是在进行第一步数据处理时进行的空间状态分配处理。x(k-1)表示进行第一步数据处理时的输出结果，M是定义的量化映射表，z(k-1)是传感器的原始输出数据，u(k-1)是系统的噪声。本发明延续了一种基于双手环传感器100融合的智能遥感控制系统及其方法得到了融合映射表，y(k-1)＝(x1(k-1),x2(k-1))，表示双通道的信息集合。
如图3所示，双手环手势姿态图；图4所对应图3双手环手势姿，用MATLAB软件建立的三维传感器数据建模模型图，对应最后的融合算法后，得到t(k)。
在步骤[3]中：基于HMM的DTW算法：手环传感器100三轴加速计对人体加速度进行采样，并把采样获得的加速度信号转换成加速度信号幅值作为动态时间规整(DTW)的样本序列；对加速度信号幅值(SVM)进行端点检测，预测摔倒事件是否可能发生。如图2(c)所示设定当加速度信号幅值阈值大于3.5m/s2，认为会发生摔倒。再结合HMM判决进行最终的判决，HMM 判决条件包括环境气压值、手势方向、人体行为习惯一致性特征。运用上述t(k)的输出结果满足基于HMM的DTW算法作为跌倒判据。当加速度信号幅值阈值处于2m/s2至3.5m/s2范围内，判决为剧烈运动；当加速度信号幅值阈值处于0m/s2至1.0m/s2范围内.判决为静止状态。
本发明提出的融合映射表如下表1所示，其中具体值要实际测量：
表1 ax、ay数值-字符量化映射表
ax值变化范围 -32768—-6000 -6000—6000 6000—32768
ax量化输出字符 B D F
ay值变化范围 -32768—-6000 -6000—6000 6000—32768
ay量化输出字符 L D R
表1中，输出的字符代表手势运动方向的控制，BDFLR分别代表后(B代表back)、下(D 代表down)、前(F代表forward)、左(L代表left)和右(R代表right)。最后进行双通道信息的融合时，设定只有两通道发送状态如下的控制字符时控制字符才有效，否则无效。比如只有两个手环控制，融合姿态处理判断字符状态转换为 判据作为跌倒因子Ri(i＝12,3,4)。
每一个采样数据点的计算如下：设Xm、Ym和Zm分别表示三轴加速度传感器在X轴、 Y轴和Z轴上的第m采样数据，则加速度传感器采样点值为：
Wm(0≤m≤N，N为采样点总数)为第m采样数据点。
||W(t)-W(t-m)||≥threshold1 (10)
||L(t)-L(t-m)||≥threshold2 (11)
threshold1为加速度传感器设置的门限阈值，threshold2为气压传感器设置的门限阈值，将W(t)与前m采样点逐个进行比较，将L(t)与前m采样点逐个进行比较。
F＝{||W(t)-W(t-m)||-threshold1}×{||L(t)-L(t-m)||-threshold2}×Ri (12)
F为跌倒状态的判据信息。
在步骤[4]中，如图6所示为CJSON数据格式上传至云端服务器200，在后端显示的结果，双手环传感器100传送数据转换成CJSON格式后传送到云端服务器200。如图5所示LEDP 协议(即是Low cost Enhanced Device Protocol)。是基于EDP协议(EnhancedDevice Protocol) 改进的。LEDP协议是基于GPS信息所进行动态频次调整。
在步骤[5]中，双手环上传的GPS信息上传到云端服务器200后，云端服务器200将调用的GPS信息做机器学习，动态分析所在位置。如果所在判断被特护监控者在易于摔倒或人流大的位置信息，此时通过Add_REQ请求信息传输到双手环上，此时双手环接收到Add_REQ 信息后增加上传信息频次，可以根据实际需求动态监护特护人。如图5所示：CONN_REQ表示连接建立请求、CONN_RESP表示连接建立响应、SAVE_DATA表示存储(&转发)数据。
这里定义了x1,x2经纬度所映射的基于位置的语义相似度即simiD(x1,x2)，如下：
其中，函数LAC(x1,x2)表示了x1,x2最近的语义，函数depth(x)表示语义所对应深度，也就是表示从根节点到x节点的个数，w1+w2＝1。
在步骤[6]中，手机用户平台和电脑用户平台访问云端服务器200，调用不同传感器信息、 GPS信息、判据信息来观测被特护监控人的状态。手机用户平台和电脑用户平台根据观测的状态可以增加对检测对象频次的设定。如图7中，为手机APP平台进入后访问云端服务器200 所显示的数据。如图所示手机平台显示了位置信息和被特护监控人摔倒统计的信息。如图中的地图信息，可以根据GPS位置信息选择BAIDU地图和高德地图的所提供的SDK，进行镶嵌显示。如图8(a)～8(d)所示为，电脑用户平台访问云端平台所显示的被特护监控人的状态，图8(a)为整体显示，图8(b)(c)(d)为不同传感器所得到的信息监控状态。
实施例1：
在本实例中，测试者手腕处，包裹双手环传感器100，采集到的数据传输至上位机MATLAB软件，上位机安装MATLAB软件的环境为，计算各个参数。在单位时间内对测试者进行多次的采集数据，并且对数据进行实时三维传感器数据建模，并将双手环参数匹配融合后的数据进行图像显示。如图3所示，双手环手势姿态图；图4所对应图3双手环手势姿，用MATLAB软件建立的三维传感器数据建模模型图。图6展示了这种设计，该设计包含了卡尔曼滤波器，可以通过平滑从三轴加速度计和陀螺仪获取的输入信号轻易的确定手部的旋转角度。图5的底部显示了相应的手势。图6的顶部在“静止状态”、“手掌翻转180度旋转”和“手向上向上”等改变状态时呈现出模型。
本实例提供的基于双手环传感器100人体姿态控制方法，能够解决现有技术技术使用的算法有效性问题，并且能够通过双手环融合的传感器数据能够精确地控制智能设备，实时采集速度和加速度的新算法，能够判断特定姿态下的状态。
实施例2：
手环传感器100中传输模块5(如，GPS模块)，可以采集经纬度信息，经过经纬度纠偏处理得到位置信息。位置信息可以作为服务器的机器学习的判决条件。云端服务器200内嵌的百度地图SDK，云端服务器200可以分析报文CJSON中的位置信息，分析特护人所处地点。为了防止老人走失，监护人可以预设电子围栏来监测老人活动范围，远程了解特护人目前的活动区域，做到心中有数，不需要时刻关注老人的位置信息，一旦发现老年人超出预设的活动范围，系统提出报警，向监护人绑定的手机号推送警告消息，便于监护人及时采取措施。
通过本发明方法，上述测试者可以通过人体姿势识别融合对特护人监控。同时，本发明方法应用具有成本低、易操作等优势，适合商用推广。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (9)

1.一种基于双手环传感器融合的特护监控方法，其特征在于，该方法包括如下步骤：
步骤一：将双手环设分别置于人体上肢手腕处，利用所述双手环中的传感器采集人体上肢的运动信号，所述运动信号包括三维加速度信号和三维角速度信号；
步骤二：根据所述运动信号构造每个手环上的特征向量；所述特征向量包括人体的初始姿态，初始姿态为人体初始静止状态下的俯仰角、滚动角和偏航角，根据初始姿态计算传感器坐标系与地面坐标系的偏差量，利用偏差量修正手环传感器坐标系并生成变化后的特征向量，特征向量组成特征矩阵；
步骤三：将所述运动信号通过初级KALMAN滤波后进行处理得到人体手部的方位运动信息，用于构造手部动作特征向量；
步骤四：根据动态时间归整和隐马尔科夫模型加权算法判据得到人体手部的方位运动信息，得到判据信息；
步骤五：将双手环的三轴信息、判据信息、位置信息、环境温度信息和气压信息，通过无线传输模块，以LEDP协议用CJSON报文传送到云端服务器；
步骤六：云服务器端接收到信息，解析CJSON报文获得位置信息、判据信息、手部的方位运动信息，电脑终端或移动终端访问云服务器对被特护监护人进行监护。
2.如权利要求1所述的基于双手环传感器融合的特护监控方法，其特征在于，步骤六对被特护监护人进行监护的具体方式包括：对特护人的身体行为姿态活动特征进行监控。
3.如权利要求2所述的基于双手环传感器融合的特护监控方法，其特征在于，三维加速度信号以如下公式表示：Y＝K*X+Offset，Y是传感器输出，X是真实的加速值，K是系数，Offset是加速度为0g时传感器的输出；三维角速度信号以如下公式表示：A＝ADCrate/L，A是输出值，ADCrate是读出的各轴的值，L灵敏度从参数表查询。
4.如权利要求3所述的基于双手环传感器融合的特护监控方法，其特征在于，获取人体手部的方位运动信息的过程具体包含如下步骤：
步骤a1：所述传感器采集三轴加速度信号与三轴角速度信号，三轴分别为相互处置的X轴、Y轴与Z轴；
步骤a2：存储所述三轴加速度信号与三轴角速度信号，构造每个手环的特征向量经过初态卡尔曼滤波和二次高斯协方差白噪声矩阵处理，得到人体手部的方位运动信息。
5.如权利要求4所述的基于双手环传感器融合的特护监控方法，其特征在于，基于HMM的DTW算法获取判据信息的过程具体包含如下步骤：
步骤b1：每个手环的所述特征向量经过初态卡尔曼滤波算法滤二次高斯协方差白噪声后，获得用于动态时间规整算法的样本序列；
步骤b2：通过手环传感器三轴加速计对人体加速度进行采样，并把采样获得的加速度信号转换成加速度信号幅值；
步骤b3：对加速度信号幅值进行端点检测，预测摔倒事件是否可能发生；设定当加速度信号幅值小于阈值认为可能会发生摔倒；
步骤b4：结合隐马尔科夫模型判决进行进一步判决，判决条件包括环境温度信息、气压信息、手部方位运动信息、人体行为习惯一致性特征。
6.一种基于双手环传感器融合的特护监控系统，其特征在于，包括可穿戴的两个手环传感器和云端服务器；其中，所述手环传感器包括依次连接的用于检测用户位置的定位模块(1)、用于检测环境及运动传感器信息的传感器模块(2)、用于生成判据数据的控制模块(3)、用于存储数据的存储模块(4)和传输模块(5)；
所述云端服务器通过无线传输模块获取判据结果、传感器信息和GPS信息，电脑客户端和手机客户端访问所述云端服务器，实现对特护监控人的观测，或当监护人发生跌倒和紧急状况时直接发送信息给手机客户端报警。
7.根据权利要求6所述的基于双手环的人体姿态融合特护监控系统，其特征在于，所述手环传感器内设有：
6度传感器，包含了3度加速度计和3度陀螺仪，分别用于获得三维加速度信号和三维角速度信号进行初始标定校正，防漂移测准；采集人体运动过程中上肢运动信号；对采集到的运动信号进行去噪声、滤波处理；将采集到的运到信号保存到存储设备中；
气压传感器，检测监护人手腕上的气压值，用于检测判断当监护人所处的高度位置发生变化，当气压值急剧变化时作为跌倒判据；
心律传感器，检测监护人手腕上的心率值、脉搏值，用于检测判断当特护人生命体征发生急剧变化时，作为跌倒判据；
可获取定位数据及卫星通信功能的定位模块，将被特护监护人的物理位置，上传到云端服务器，作为监护人的监护特护人的提供依据；电脑终端和手机APP实时监护特护人的位置信息。
8.根据权利要求6所述的基于双手环的人体姿态融合特护监控系统，其特征在于，所述传输模块(5)将信息通过LEDP协议传输到所述云端服务器。
9.根据权利要求6所述的基于双手环的人体姿态融合特护监控系统，其特征在于，所述云端服务器采用Nignx+Nodejs+Express+MongoDB架构设计；服务器端开放多个端口分别用于数据收发及网页应用，根据用户所发起的不同请求进行相应的响应，完成包括与客户端的信息交互、数据存储及利用前端框架实现管理页面显示的功能，所述云端服务器服务器后端采用Nginx+Nodejs+MongoDB的设计。
CN201710364084.0A 2017-05-22 2017-05-22 一种基于双手环传感器的智能远程特护监控系统及方法 Pending CN107330240A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710364084.0A CN107330240A (zh) 2017-05-22 2017-05-22 一种基于双手环传感器的智能远程特护监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710364084.0A CN107330240A (zh) 2017-05-22 2017-05-22 一种基于双手环传感器的智能远程特护监控系统及方法

Publications (1)

Publication Number Publication Date
CN107330240A true CN107330240A (zh) 2017-11-07

Family

ID=60193391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710364084.0A Pending CN107330240A (zh) 2017-05-22 2017-05-22 一种基于双手环传感器的智能远程特护监控系统及方法

Country Status (1)

Country Link
CN (1) CN107330240A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108245880A (zh) * 2018-01-05 2018-07-06 华东师范大学 基于多穿戴环带传感器融合的体感检测可视化方法和系统
CN108836349A (zh) * 2018-06-05 2018-11-20 桂林理工大学 一种可穿戴老人动态数据获取装置
CN110650243A (zh) * 2019-09-12 2020-01-03 宇龙计算机通信科技(深圳)有限公司 一种报警方法、装置、存储介质以及终端
CN110896425A (zh) * 2018-09-12 2020-03-20 意法半导体股份有限公司 用于识别将移动电子设备带到用户耳朵的姿势的系统和方法
CN113407034A (zh) * 2021-07-09 2021-09-17 呜啦啦(广州)科技有限公司 一种手语互译方法及系统
CN113794946A (zh) * 2021-09-13 2021-12-14 南通理工学院 一种港口用的无线通信设备及其使用方法
CN116250830A (zh) * 2023-02-22 2023-06-13 武汉易师宝信息技术有限公司 人体姿态判断与识别系统、装置与识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298443A (zh) * 2011-06-24 2011-12-28 华南理工大学 结合视频通道的智能家居语音控制系统及其控制方法
CN102640085A (zh) * 2009-09-29 2012-08-15 莫韦公司 用于识别手势的系统和方法
CN104519143A (zh) * 2015-01-15 2015-04-15 张�杰 一种基于智能终端提高老人作息健康的方法和系统
CN104539726A (zh) * 2015-01-15 2015-04-22 张�杰 一种用于子女关爱老人行为规律的系统和方法
US20160051191A1 (en) * 2014-08-24 2016-02-25 Halo Wearables, Llc Swappable wearable device
CN106468951A (zh) * 2016-08-29 2017-03-01 华东师范大学 一种基于双手环传感器融合的智能遥感控制系统及其方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102640085A (zh) * 2009-09-29 2012-08-15 莫韦公司 用于识别手势的系统和方法
CN102298443A (zh) * 2011-06-24 2011-12-28 华南理工大学 结合视频通道的智能家居语音控制系统及其控制方法
US20160051191A1 (en) * 2014-08-24 2016-02-25 Halo Wearables, Llc Swappable wearable device
CN104519143A (zh) * 2015-01-15 2015-04-15 张�杰 一种基于智能终端提高老人作息健康的方法和系统
CN104539726A (zh) * 2015-01-15 2015-04-22 张�杰 一种用于子女关爱老人行为规律的系统和方法
CN106468951A (zh) * 2016-08-29 2017-03-01 华东师范大学 一种基于双手环传感器融合的智能遥感控制系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姚桂林 等: "一种基于DTW/ISODATA算法的多层分类器手语识别方法", 《计算机工程与应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108245880A (zh) * 2018-01-05 2018-07-06 华东师范大学 基于多穿戴环带传感器融合的体感检测可视化方法和系统
CN108836349A (zh) * 2018-06-05 2018-11-20 桂林理工大学 一种可穿戴老人动态数据获取装置
CN110896425A (zh) * 2018-09-12 2020-03-20 意法半导体股份有限公司 用于识别将移动电子设备带到用户耳朵的姿势的系统和方法
US10942578B2 (en) 2018-09-12 2021-03-09 Stmicroelectronics S.R.L. System and method for recognition of the gesture of bringing a mobile electronic device to a user ear
CN110650243A (zh) * 2019-09-12 2020-01-03 宇龙计算机通信科技(深圳)有限公司 一种报警方法、装置、存储介质以及终端
CN110650243B (zh) * 2019-09-12 2021-06-18 宇龙计算机通信科技(深圳)有限公司 一种报警方法、装置、存储介质以及终端
CN113407034A (zh) * 2021-07-09 2021-09-17 呜啦啦(广州)科技有限公司 一种手语互译方法及系统
CN113794946A (zh) * 2021-09-13 2021-12-14 南通理工学院 一种港口用的无线通信设备及其使用方法
CN113794946B (zh) * 2021-09-13 2023-09-29 南通理工学院 一种港口用的无线通信设备及其使用方法
CN116250830A (zh) * 2023-02-22 2023-06-13 武汉易师宝信息技术有限公司 人体姿态判断与识别系统、装置与识别方法

Similar Documents

Publication Publication Date Title
CN107330240A (zh) 一种基于双手环传感器的智能远程特护监控系统及方法
CN102707305B (zh) 摔倒检测定位系统的工作方法
Mainetti et al. An IoT-aware AAL system for elderly people
CN107643509B (zh) 定位方法、定位系统及终端设备
CN109579853B (zh) 基于bp神经网络的惯性导航室内定位方法
CA2749559C (en) Activity monitoring device and method
CN108245880A (zh) 基于多穿戴环带传感器融合的体感检测可视化方法和系统
US7437931B2 (en) Medical application for no-motion sensor
Kang et al. Real-time elderly activity monitoring system based on a tri-axial accelerometer
CN103884337A (zh) 多姿态步距校正定位系统与方法
EP2432390A1 (en) Activity monitoring device and method
CN106468951A (zh) 一种基于双手环传感器融合的智能遥感控制系统及其方法
CN111183460A (zh) 摔倒检测器和摔倒检测的改进
Mainetti et al. An iot-aware aal system to capture behavioral changes of elderly people
KR102026209B1 (ko) 인공지능 기반 스마트 헬스케어 서비스 제공 시스템
KR101996212B1 (ko) 배회 감지 서버 및 이를 이용한 배회 감지 방법
Yi et al. Design flow of a wearable system for body posture assessment and fall detection with android smartphone
CN106970705A (zh) 动作捕捉方法、装置和电子设备
Chen et al. [Retracted] Impact of Sports Wearable Testing Equipment Based on Vision Sensors on the Sports Industry
US20190066845A1 (en) Distributed analytics system for identification of diseases and injuries
JP2023131905A (ja) 行動推定システム、行動推定方法、プログラム
JP2002153433A (ja) 位置情報伝達システム
Bujari et al. Smart wearable sensors: Analysis of a real case study
Shipkovenski et al. Accelerometer based fall detection and location tracking system of elderly
He et al. Application of Kalman filter and k-NN classifier in wearable fall detection device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171107