CN110414479B - 一种饮水行为感知方法、连续和非连续动作分割识别方法 - Google Patents
一种饮水行为感知方法、连续和非连续动作分割识别方法 Download PDFInfo
- Publication number
- CN110414479B CN110414479B CN201910731674.1A CN201910731674A CN110414479B CN 110414479 B CN110414479 B CN 110414479B CN 201910731674 A CN201910731674 A CN 201910731674A CN 110414479 B CN110414479 B CN 110414479B
- Authority
- CN
- China
- Prior art keywords
- action
- actions
- drinking
- transfer
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Health & Medical Sciences (AREA)
- Nutrition Science (AREA)
- Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种饮水行为感知方法、连续和非连续动作分割识别方法。本发明公开了一种饮水行为感知方法,涉及行为感知技术领域,其包括以下步骤:S1,数据预处理,对采集到的CSI的原始相位进行偏移消除,然后对经过偏移消除后的原始相位做差获得相位差以消除时间延迟,再进行异常值去除和数据平滑处理;S2,动作分割与识别,将步骤S1所得的相位差信号进行分割,识别出其中的饮水行为;S3,饮水量估计,分析饮水行为,对饮水方式进行划分,并对每种饮水方式下的吞咽进行检测估计,建立饮水量估计模型,进行饮水量估计,本发明的有益效果是:将CSI信号中包含的原始相位作为输入,来实现非侵入的零隐私泄露的饮水行为感知与饮水量估计的目的,能够在保护用户隐私的情况下非侵入的对其饮水行为进行感知。
Description
技术领域
本发明涉及行为感知技术领域,具体是一种饮水行为感知方法、连续和非连续动作分割识别方法。
背景技术
人类潜在的自身安全与健康问题越来越受到重视,各种人类安全与健康监测系统HSHMS(Human Security and Health Monitoring System)应运而生。由于80%-90%的人类活动在室内进行,同时为了给人们提供更加舒适的工作环境增强生产效率,大多数室内环境均使用暖通空调系统,这使得人体水分流失增加,个体饮水量的监测成为HSHMS的重要组成部分。科学饮水具有提高代谢、免疫和抗氧化等三项人体核心功能的作用。尤其是肾功能和心血管疾病的预防。健康成人体内水分含量占60%以上,水可以影响人们生理和精神表现,作为人体最重要的营养成分往往被忽略。
目前已有的HSHMS,基于感知方式可分为两类:侵入式监测和非侵入式监测。其中,侵入式监测是指利用特定硬件设备,如可穿戴设备、智能手机等监测人体安全与健康。这类方法一方面对监测对象的生理或心理产生干扰,从而使监测方法的变量控制变得困难重重;另一方面会给监测者带来隐私泄露。非侵入式感知不需要人体携带任何硬件设备,在用户进入监测区域时由计算机系统自发识别用户身份并感知其行为。目前已有的非侵入式行为感知与身份识别技术有计算机视觉、超声波和超宽带等。计算机视觉技术利用视频进行行为感知仅能追踪视距行为,存在盲区,对计算机性能要求较高,同时也带来了不可接受的隐私风险;超宽带技术需要特定的硬件设施,部分设备价格昂贵,大量部署成本高,难以推广;超声波则同样涉及隐私问题。
随着以Wi-Fi为代表的无线网络大量部署,在不影响无线网络通信前提下,利用射频信号实现非侵入的人体安全与健康监测成为移动计算和无线网络应用研究的热点之一。
射频信号在传输过程中能够被人体及环境中其他物体反射、折射、衍射,因此信号的变化能够反应人体行为。借助信号这种特性,本申请提出了一种零隐私泄露的饮水行为感知计算方法。
发明内容
本发明的目的在于提供一种饮水行为感知方法、连续和非连续动作分割识别方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种饮水行为感知方法,包括以下步骤:
S1,数据预处理
对采集到的CSI的原始相位进行偏移消除,然后对经过偏移消除后的原始相位做差获得相位差以消除时间延迟,再进行异常值去除和数据平滑处理;
S2,动作分割与识别
将步骤S1所得的相位差信号进行分割,识别出其中的饮水行为;
S3,饮水量估计
分析饮水行为,对饮水方式进行划分,并对每种饮水方式下的吞咽进行检测估计,建立饮水量估计模型,进行饮水量估计。
作为本发明进一步的方案:步骤S1中,通过汉佩尔辨识法进行异常值的去除,通过20点滑动均值滤波对获得的数据进行平滑处理。
作为本发明再进一步的方案:步骤S2中,所述动作分割与识别包括对连续动作和非连续动作的分割与识别,以获取其中的饮水行为。
作为本发明再进一步的方案:步骤S3中,饮水行为的划分方式为:
以饮水行为信号做为输出,向口中倒水至放下手臂之间的时长T作为第一判定条件,当第一次吞咽结束到第二次吞咽结束的时间差Δt<T/2时,判定用户为单口饮;否则判定用户为多口饮,通过功率谱密度检测用户是否存在呼吸运动,若存在呼吸运动,则判定用户为多口缓饮;若不存在呼吸运动,则判定用户为多口急饮。
作为本发明再进一步的方案:所述饮水量估计模型为:
式中D为饮水形式,1表示多口缓饮,2表示单口饮,3表示多口急饮,n为一次饮水循环中吞咽次数。
一种非连续动作的分割与识别方法,包括以下步骤:
S3,得到CSI序列中所有动作发生点位置向量,将位置向量中第一个点记录到开始点中。
一种连续动作的分割与识别方法,包括以下步骤:
(I):确定双窗口大小,假定两个窗口的大小由元动作的持续时间决定,提取元动作模板库中的所有元动作的持续时间,并将最大持续时间作为外窗口大小,最小持续的时间作为内窗口大小,将内窗口嵌套在外窗口中,并将两者的起始位置置于信号开始点;
(II):确定连续动作的开始动作,当内窗口大小不大于外窗口大小时,计算并比较内窗口中的信号与所有元动作之间的DTW距离,选择DTW距离最小时的元动作类别作为连续活动的起始动作类别,此时的内窗口结束位置为开始动作结束点;
(III):分割后续连续动作,在确定连续动作的开始动作之后,将内窗口的大小设置为初始值,即所有元动作的最小持续时间,同时将内外窗口滑动到开始动作的结束点,作为新的分割起始点;
(IV)得到最终动作序列。
作为本发明进一步的方案:步骤(III)的具体方法为:
首先检查转移矩阵中开始动作的转移关系,然后计算和比较内窗口中信号与将要转移的元动作的相似性;
若候选动作是唯一的,内窗口大小迭代增加,将内窗口信号与唯一的候选动作进行比较,并将DTW距离最小时的内窗口结束位置作为下一个分割动作的结束点;如果候选动作为多个,则计算每个候选动作对应的转移权重;
对转移权重进行筛选,获得与前一分割动作关联性最强的候选动作。
作为本发明进一步的方案:所述筛选的具体方法为:
对所有的转移权重进行排序,若最大转移权重超过2/3,则以最大转移权重对应的转移动作作为开始动作的候选动作,舍弃其他;
否则,判定数值最大的前两个转移权重的和是否超过2/3,若满足则保留其对应的转移动作作为候选动作,舍弃其他;
否则,对所有转移权重进行排序,重复判断与剔除位于末尾的小于最大权重一半的权重所对应的候选动作;
若以上筛选未剔除任何候选动作则保留所有候选动作。
作为本发明进一步的方案:步骤(IV)中,当剩余信号长度小于外窗口大小时,若其长度介于内外窗口大小之间,则将外窗口大小改为剩余信号长度;若其不大于内窗口大小,则无需迭代,直接将其与模板库中元动作比较,最终,将每种可能的动作序列包含的动作的转移权重相乘,值最大的动作序列为最终对分割结果,并同步输出每个动作的边界以及动作类别。
与现有技术相比,本发明的有益效果是:将CSI信号中包含的原始相位作为输入,来实现非侵入的零隐私泄露的饮水行为感知与饮水量估计的目的,能够在保护用户隐私的情况下非侵入的对其饮水行为进行感知,从而达到提供量化的饮水建议的目的;并且对于非连续动作与连续动作分割方案,不仅适用于对饮水行为提取,同样适用于其他日常行为的提取与感知;相较于计算机视觉,超声波以及超宽带技术,本发明具有低设备成本、低维护成本、低设计成本,低部署成本,普适性等优势。
附图说明
图1为一种饮水行为感知方法的流程图。
图2为原始相位测量值图。
图3为解卷绕后的相位图。
图4为相位偏移消除后的相位图。
图5为未经相位偏移消除的相位差图。
图6为经过相位偏移消除后相位差图。
图7为异常值去除后的相位差图。
图8为数据平滑后的相位差图。
图9为主成分分析第一主成分的一阶差分图。
图10为进行40点滑动均值滤波后的信号图。
图11为包络差图。
图12为最终分割结果图。
图13为元动作之间的转移关系图。
图14为转移关系的存储形式图。
图15为包含坐下、饮水以及打开电视三个元动作的连续动作的分割结果图。
图16为饮水形式的判定流程图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本实施例公开的一些方面相一致的装置和方法的例子。
实施例1
请参阅图1,本发明实施例中,一种饮水行为感知方法,包括以下步骤:
S1,数据预处理
对采集到的CSI的原始相位进行偏移消除,然后对经过偏移消除后的原始相位做差获得相位差以消除时间延迟,再进行异常值去除和数据平滑处理。
具体的来说,从图2所展示的一组动作(站起→走→跳→走)的原始相位测量值来看,可以看到原始相位在[-π,π]之间随机分布,从中不仅不能得到任何与动作相关的信息,同时也不能看出与子载波相关的信息,因此本步骤对获得的原始相位进行以下处理:
(1)解卷绕,将包裹在[-π,π]之间的相位解放出来,如图3所示,其展示了解卷绕之后的相位,可以看出,虽然动作信息依然被隐藏,但是能够看出与子载波相关的信息,不同的子载波相位分布范围不同,因此,图3中呈现出明显层次感;
(2)相位偏移消除,CSI第i个子载波的相位测量值可以用式(1-1)表示:
在IEEE 802.11n标准下,20MHz带宽时,Intel 5300网卡采集的30个子载波编号为[-28,-26,-24,...,-2,-1,1,3,5,...,25,27,28],因此,给定两个量和进行线性变换后(由于Zi很小,这里可以先忽略不计),得到式(1-2):
虽然,不能消除时间延迟Δt的影响,但如图4所示,已经能够从相位信息中观察出一定的由于动作引起的波动;
(3)相位差,为进一步消除时间延迟Δt的影响,本发明对接收端两根天线的相位偏移消除后的相位做差,获取相位差,如下式(1-4)所示:
此时,时间延迟Δt被进一步消除,如图5和6分别为未经过相位偏移消除的相位差和经过相位偏移消除的相位差,可以看到图5较图4能够观察出更加明显的动作波动;
(4)异常值去除和数据平滑,虽然在上述两步中,未考虑较小的测量噪声Z,但由于噪声有正有负,因此,在求相位差过程中,做差可能会使噪声放大;故而,本实施例利用汉佩尔(Hampel)辨识法,将较大噪声作为异常值去除;同时为使动作波形更加清晰,本实施例利用20点滑动均值滤波进行平滑处理(是指:在选定某一尺寸的窗口后,将窗口内所有测量值做算术平均,将所求平均值作为滤波后测量值,选取窗口大小为20个测量值),如图7和图8所示为异常值去除和数据平滑后的波形,可以看到动作波形更加清晰。
S2,动作分割与识别
将步骤S1所得的相位差信号进行分割,识别出其中的饮水行为;该步骤的目的是将CSI信号中包含的不同的动作信号提取出来为后期饮水量检测提供基础。
针对可能出现的包含饮水行为的非连续信号与连续信号,本发明设计了不同的动作分割与识别方案,具体的:
(1)非连续动作的分割与识别
(2)连续动作的分割与识别
关于元动作库的问题,首先,元动作是指单位动作,任何动作都可以分解成若干单位动作,也可以理解成,多个单位动作可以组合成整体动作。元动作库包含两方面信息,一方面为元动作信号轮廓信息,称为元动作模板库,另一方面为元动作间的转移关系信息,称为转移矩阵。
在训练阶段,首先采集日常生活中的元动作信号,对其进行数据去噪后,进行主成分分析,选择第一主成分构建元动作模板库。由于从不同状态转换为站起状态时,站起信号有所不同,在本实施例中,定义或认为单一的站起动作为一种元动作,它是由坐状态转换而来的,而其他包含站起的行为(如弯腰站起),均视为另一种元动作。在元动作模板库建立完成后,需要根据元动作之间转移关系构建转移矩阵。这里转移关系是指:两个元动作之间是否存在时序上连续发生的关系,若存在,称之为转移关系,这种转移关系可能是单向的也可能是双向的。例如,用a1、a2、a3、a4分别表示元动作走路、弯腰站起、坐下、站起,则如图13所示,以这四个元动作为结点构建的有向图,结点之间的有向边表明了元动作之间的转移关系。动作a1(走路)与动作a4(站起)之间为单向转移关系,而动作a3(坐下)与动作a4(站起)之间则为双向转移关系。如图14所示,本实施例用邻接矩阵的方式存储元动作之间的转移关系,称为转移矩阵。转移矩阵仅表示两个元动作间的前驱后继关系,而非两者之间的转移权重。由于个体间动作信号存在差异,因此不能直接指定动作转移权重,在后续中,本实施例利用双窗口算法动态生成转移权重。
S3,饮水量估计
如图16所示,分析饮水行为,对饮水方式进行划分,并对每种饮水方式下的吞咽进行检测估计,建立饮水量估计模型,进行饮水量估计。在识别出非连续动作或者连续动作中的饮水行为后,需要对饮水过程中的吞咽进行监测,得到每次饮水过程中的吞咽次数,从而估计饮水量。吞咽检测的重点是利用饮水过程中的吞咽与呼吸的天然互斥性,检测由于吞咽造成的呼吸中断的信号形变,从而确定吞咽次数。
(1)饮水行为分析
饮水是一种有规律的复合行为,包括抬起手臂、保持手臂抬起状态饮水、放下手臂三个阶段,循环持续时间受第二个阶段影响,是非周期行为。将每阶段进一步分解,包含以下关键动作:
(I)抬起手臂到口部;
(II)向口中倒水,这个过程可以呼吸;
(III)吞咽,这个过程不可以呼吸;
(IV)持续(II)和(III),如果只饮一口水,直接进行(V);
(V)放下手臂,最后一次吞咽可以和放下手臂同时进行。
其中,(I)为第一阶段,(II)、(III)、(IV)为第二阶段,第二阶段由于个体习惯不同,饮水方式具有不同表现,本实施例将其分为急饮、单口饮以及多口缓慢饮三种形式,其中,急饮指连续不间断急促饮多口水,期间无呼吸;单口饮指饮一口水;多口缓慢饮指不连续缓慢饮多口,期间有呼吸;(V)为第三阶段,也是一次饮水循环结束标志。
(2)吞咽检测与饮水量估计模型
假设人类一次吞咽水量为vml,两次吞咽时间间隔(第一次吞咽结束到第二次吞咽结束,包含期间的水进入口中时长)为Δts,手臂抬起放下时间ts,饮水行为持续时长Ts。针对三种表现形式设计了不同的饮水方式判断模型,如图16所示,将饮水行为信号作为输入,饮水行为第二阶段时长T(T是否不少于2Δts)作为第一判断条件,判断饮水为单口饮还是多口饮。
对于多口饮,通过功率谱密度(Power Spectral Density,PSD)检测其是否存在呼吸运动,即在PSD中[0.2,0.5]频率区间内是否存在峰值,来判断是缓慢饮还是急饮。由于缓慢饮存在呼吸运动,因此,在[0.2,0.5]频率区间内,急饮不存在峰值,缓慢饮则存在。
对于多口缓慢饮,通过吞咽检测来判断饮水的口数,吞咽检测则利用饮水行为第二阶段中吞咽与呼吸的天然互斥性进行。在饮水的第二阶段,通过变分模态分解(Variational Mode Decomposition,VMD)提取这一阶段呼吸运动本征模函数(InstinctMode Function,IMF),并检测其呼吸骤停次数可以判断一次饮水循环中吞咽次数。吞咽时呼吸骤停会引起信号较大形变,通过检测这种形变可以得到吞咽次数。对于信号形变的检测,逐次对胸腔起伏信号进行峰值检测,吞咽不发生时一次胸腔起伏信号峰值数为1,而吞咽发生时信号中峰值数要多于1。
对于多口急饮,通过饮水第二阶段时长T与两次吞咽时间间隔Δt的比值得到吞咽次数,其中饮水第二阶段时长T,本发明利用饮水行为持续时长Tt与手臂抬起放下时间t做差得到。
在得到三种饮水方式的吞咽次数后,可以得到饮水量估计模型,如式(3-1)所示:
式中D为饮水形式,1表示多口缓饮,2表示单口饮,3表示多口急饮,n为一次饮水循环中吞咽次数。
通过上述饮水量计算模型,可以得到一段时间内的饮水量,为用户提供量化的饮水建议提供参考。
本实施例在实施例,布置在网卡(Inter 5300)、开源Linux无线驱动以及CSITools的主机作为接收端(Rx)的环境中,网卡上连接两根外接天线作为接收天线;用频段为2.4GHz带宽为20MHz的只有一根发射天线的TP-LINK无线路由作为发射端(Tx),发包率为100pkts/s。采集并保存包含有用户饮水行为的CSI数据。通过MATLAB R2016b进行信号处理。作用效果如下:
(1)非连续动作分割
对包含饮水、跳、推眼镜、坐下、蹲下站起、敲击键盘以及滑动鼠标七种日常行为的非连续动作信号的分割能够达到90%以上的准确率;
对在办公室场景以及会议室场景的六个不同个体的分割准确率同样能够达到90%以上。
(2)非连续动作中饮水行为识别
对在办公室以及会议室两个场景的饮水行为识别能够达到97%的检测率,其他非饮水行为(包括跳、推眼镜、坐下、蹲下站起、敲击键盘以及滑动鼠标)能够达到84.83%;
在收发两端距离改变(2m、3m或4m)时,饮水行为识别精度基本不发生变化,能够达到96%的检测率。
(3)连续动作分割与识别方面,具体如表1所示:
表1连续动作序列及其识别精度
从表1中可以看出,对包含有两个动作的连续行为能够达到84%以上的识别精度;对包含有一次饮水和两次饮水的连续行为能够达到72%以上的识别精度。
(4)饮水量估计
在实施过程中,6名志愿者被要求在一小时内以不同的饮水方式分别饮用大约1500ml水,同时要求志愿者在饮水后记录吞咽次数。对于女性志愿者来说,饮用1500ml水需要吞咽大约80次,而男性饮用同样体积的水需要吞咽约60次。
估计结果:一小时内,6名志愿者不同饮水方式吞咽次数检测总体误差不超过5次,总体饮水量估计误差均低于200ml。也就是说,吞咽次数检测误差在6%~8%之间,饮水量估算误差约13.33%。
实施例2
由于非连续动作中包含静止时间,即动作不发生时间,因此,本实施例根据动作发生与不发生时的CSI信号特性来达到有效动作分割的目的。
CSI信号特性包括:(I)静态环境稳定性与动态环境敏感性,即动作发生时CSI信号能够产生较大的波动,而动作不发生时CSI基本不产生信号波动;(II)子载波间相关性,当环境静止时,CSI的30个子载波均无明显波动,而当动作发生时,CSI不同子载波均发生波动,即动作引起的CSI变化是相关的,CSI子载波之间存在相关性。
根据以上的CSI信号特性,本实施例在此设计了一种非连续动作分割识别方法,具体如下:
S3,得到CSI序列中所有动作发生点位置向量,将位置向量中第一个点记录到开始点中。
本实施例中发包率为100pkts/s,分割阈值为0.01。由于CSI在动作发生时有较大波动,而不发生时基本没有波动,因此,在上述算法求取主成分分析第一主成分h1的一阶差分后,可以使动作不发生时的信号在0附近波动,而动作发生时则波动较大。但是,由于不同动作引起的信号波动变化范围不同,分割阈值不易确定,因此本发明对一阶差分进行40点滑动均值滤波后计算信号的上下包络差值,从而进一步缩小无动作发生时的信号波动,放大有动作发生时的信号波动。此时,本实施例可以确定,对于不同的动作,可以设置经验阈值为0.01,算法的后步骤则对动作进行划分,依据动作发生时信号包络差起伏较大以及动作的连续性获取动作开始点和结束点。
实施例3
由于人类日常活动在自然状态下是连续的,而在实际场景中往往需要识别出隐藏在人类连续行为中的某一特定行为。因此,针对连续行为中动作边界界定与动作序列识别问题,设计了一种连续动作的分割与识别方法:在分割前,首先对信号进行去噪,提取主成分分析的第一主成分。
双窗口嵌套算法,顾名思义,本发明设计了两个大小不同的窗口,其中大窗口嵌套小窗口。在迭代过程中,小窗口的大小逐渐增大,直到与大窗口大小相同为止。此时,大窗口向后滑动,小窗口大小恢复其初始值,具体算法描述如下:
一种连续动作分割识别方法,包括以下步骤:
(I):确定双窗口大小,由于本实施例仅考虑元动作之间没有静止时间的情况,故而可假定两个窗口的大小由元动作的持续时间决定,提取元动作模板库中的所有元动作的持续时间,并将最大持续时间作为外窗口大小,最小持续的时间作为内窗口大小,将内窗口嵌套在外窗口中,并将两者的起始位置置于信号开始点;
(II):确定连续动作的开始动作,当内窗口大小不大于外窗口大小时,计算并比较内窗口中的信号与所有元动作之间的DTW距离(动态时间规整Dynamic Time Wraping),DTW距离越小,相似性越大,因此,本实施例选择DTW距离最小时的元动作类别作为连续活动的起始动作类别,此时的内窗口结束位置为开始动作结束点,本实施例设置内窗口增长步长为其中,so和si分别为外窗口和内窗口大小,t为迭代次数,在本发明实施例中,设置t为30;
(III):分割后续连续动作,在确定连续动作的开始动作之后,将内窗口的大小设置为初始值,即所有元动作的最小持续时间,同时将内外窗口滑动到开始动作的结束点,作为新的分割起始点;在(II)中,已经确认了开始动作,因此,为了提高系统效率,在接下来的分割工作中,不需要与元动作模板库中的所有动作进行比较;首先检查转移矩阵中开始动作的转移关系,然后只需要计算和比较窗口中信号与将要转移的元动作的相似性,如果转移动作是唯一的,内窗口大小迭代增加,将内窗口信号迭代的与唯一的转移动作进行比较,并将DTW距离最小时的内窗口结束位置作为下一个分割动作的结束点;如果转移动作不止一个,那么将面临一个新的问题,即如何确定最终的动作序列,这是需要进行(IV)的操作;
(IV):计算所有转移动作的转移权重,如果连续动作中的某个动作的转移动作不是唯一的,需要为所有转移动作设置转移权重,在迭代比较的过程中,对于每一个转移动作,都可以得到一个最小的DTW距离,利用公式(2-2)将其转换为转移动作对应的转移权重。
di=DTW(a,bi) (2-1)
其中,公式(2-1)中a表示内窗口中信号,bi表示元动作库中动作,计算内窗口中信号与源动作的DTW距离,DTW距离越小两个动作间的相似性高。由于DTW距离量级较大,在之后的工作中不易表示,因此,利用公式(2-2)将其区间限制在[0,1],其中,n表示基准动作总数,Si表示某一动作与不同基准动作的相似度∑Si=1,Si的值越大表示相似度越高。
为了减少分割误差,本实施例不能简单地选择权重最大的动作作为分割后的动作。因此,对于下一次分割,需要考虑前一次分割的候选动作的所有转移动作,这将增加系统计算开销;因此,本实施例首先检查每个候选动作是否都需要参加下一次的分割;
本实施例对所有候选动作进行三次筛选,首先找出最大转移权重,如果其大于则舍弃其他权重对应的候选动作,否则判断最大的前两个转移权重的和是否大于如果满足则保留其对应的候选动作,舍弃其他,否则对所有候选动作的转移权重进行排序,重复判断与剔除位于末尾的小于最大权重一半的权重所对应的候选动作,如果以上筛选未剔除任何候选动作则保留所有。
(V):得到最终动作序列,重复(III)、(IV),当剩余信号长度小于外窗口大小时,若其长度介于内外窗口大小之间,则将外窗口大小改为剩余信号长度;若其不大于内窗口大小,则无需迭代,直接将其与模板库中元动作比较,最终,将每种可能的动作序列包含的动作的转移权重相乘,值最大的动作序列为最终对分割结果,并同步输出每个动作的边界以及动作类别。
在实际操作中,本实施例利用栈的思想保存每次的候选动作。在分割过程中,由于将内窗口中的信号与元动作模板库中已知类别的动作比较,因此在分割的同时也对连续动作中的每个动作进行了识别,分割的输出结果包括每个动作的边界以及动作类别,即能够识别出连续动作中包含的饮水行为。
图15为对包含坐下、饮水以及打开电视三个元动作的连续动作的分割结果。其中,打开电视通过两次画圆手势表示。
需要特别说明的是,本技术方案中,将CSI信号中包含的原始相位作为输入,来实现非侵入的零隐私泄露的饮水行为感知与饮水量估计的目的,能够在保护用户隐私的情况下非侵入的对其饮水行为进行感知,从而达到提供量化的饮水建议的目的;并且对于非连续动作与连续动作分割方案,不仅适用于对饮水行为提取,同样适用于其他日常行为的提取与感知;相较于计算机视觉,超声波以及超宽带技术,本发明具有低设备成本、低维护成本、低设计成本,低部署成本,普适性等优势。
本领域技术人员在考虑说明书及实施例处的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (3)
1.一种连续动作的分割与识别方法,其特征在于,包括以下步骤:
(I):确定双窗口大小,假定两个窗口的大小由元动作的持续时间决定,提取元动作模板库中的所有元动作的持续时间,并将最大持续时间作为外窗口大小,最小持续的时间作为内窗口大小,将内窗口嵌套在外窗口中,并将两者的起始位置置于信号开始点;
(II):确定连续动作的开始动作,当内窗口大小不大于外窗口大小时,计算并比较内窗口中的信号与所有元动作之间的DTW距离,选择DTW距离最小时的元动作类别作为连续活动的起始动作类别,此时的内窗口结束位置为开始动作结束点;
(III):分割后续连续动作,在确定连续动作的开始动作之后,将内窗口的大小设置为初始值,即所有元动作的最小持续时间,同时将内外窗口滑动到开始动作的结束点,作为新的分割起始点;
(IV)得到最终动作序列;
步骤(IV)中,当剩余信号长度小于外窗口大小时,若其长度介于内外窗口大小之间,则将外窗口大小改为剩余信号长度;若其不大于内窗口大小,则无需迭代,直接将其与模板库中元动作比较,最终,将每种可能的动作序列包含的动作的转移权重相乘,值最大的动作序列为最终对分割结果,并同步输出每个动作的边界以及动作类别;
转移关系是指:两个元动作之间是否存在时序上连续发生的关系,若存在,称之为转移关系,用邻接矩阵的方式存储元动作之间的转移关系,称为转移矩阵,转移矩阵仅表示两个元动作间的前驱后继关系,而非两者之间的转移权重,用双窗口算法动态生成转移权重。
2.根据权利要求1所述的一种连续动作的分割与识别方法,其特征在于,步骤(III)的具体方法为:
首先检查转移矩阵中开始动作的转移关系,然后计算和比较元动作模板库中与将要转移的元动作的相似性;
若候选动作是唯一的,将内窗口信号迭代的与唯一的候选动作进行比较,并将DTW距离最小时的内窗口结束位置作为下一个分割动作的结束点;如果候选动作为多个,则计算每个候选动作对应的转移权重;
对转移权重进行筛选,获得与前一分割动作关联性最强的候选动作。
3.根据权利要求2所述的一种连续动作的分割与识别方法,其特征在于,所述筛选的具体方法为:
对所有的转移权重进行排序,若最大转移权重超过2/3,则以最大转移权重对应的转移动作作为开始动作的候选动作,舍弃其他;
否则,判定数值最大的前两个转移权重的和是否超过2/3,若满足则保留其对应的转移动作作为候选动作,舍弃其他;
否则,对所有转移权重进行排序,重复判断与剔除位于末尾的小于最大权重一半的权重所对应的候选动作;
若以上筛选未剔除任何候选动作则保留所有候选动作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910731674.1A CN110414479B (zh) | 2019-08-08 | 2019-08-08 | 一种饮水行为感知方法、连续和非连续动作分割识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910731674.1A CN110414479B (zh) | 2019-08-08 | 2019-08-08 | 一种饮水行为感知方法、连续和非连续动作分割识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110414479A CN110414479A (zh) | 2019-11-05 |
CN110414479B true CN110414479B (zh) | 2021-11-16 |
Family
ID=68366888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910731674.1A Active CN110414479B (zh) | 2019-08-08 | 2019-08-08 | 一种饮水行为感知方法、连续和非连续动作分割识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110414479B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114333044B (zh) * | 2020-09-27 | 2024-09-06 | 天津科技大学 | 一种非接触式连续行为感知方法 |
CN112597800B (zh) * | 2020-11-24 | 2024-01-26 | 安徽天虹数码科技股份有限公司 | 一种录播系统中学生起坐动作的检测方法及系统 |
CN112560688A (zh) * | 2020-12-17 | 2021-03-26 | 南京航空航天大学 | 一种基于运动传感器信号的日常饮水量估计系统及方法 |
CN116758109B (zh) * | 2023-06-20 | 2023-11-14 | 杭州光线数字科技有限公司 | 一种基于智能设备的动作仪态同步性监测系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945362A (zh) * | 2012-10-18 | 2013-02-27 | 中国科学院计算技术研究所 | 基于异构数据融合的传感器协同手势识别方法及系统 |
CN102982315A (zh) * | 2012-11-05 | 2013-03-20 | 中国科学院计算技术研究所 | 一种自动检测非手势模式的手势分割识别方法及系统 |
CN104573665A (zh) * | 2015-01-23 | 2015-04-29 | 北京理工大学 | 一种基于改进维特比算法的连续动作识别方法 |
CN106073793A (zh) * | 2016-06-13 | 2016-11-09 | 中南大学 | 基于微惯性传感器的姿态跟踪与识别方法 |
CN106096491A (zh) * | 2016-02-04 | 2016-11-09 | 上海市第人民医院 | 眼底彩色图像中的微动脉瘤的自动识别方法 |
CN107862295A (zh) * | 2017-11-21 | 2018-03-30 | 武汉大学 | 一种基于WiFi信道状态信息识别面部表情的方法 |
CN108154187A (zh) * | 2018-01-04 | 2018-06-12 | 湘潭大学 | 一种基于振动信号的深孔啄钻加工质量检测方法 |
CN108815824A (zh) * | 2018-06-15 | 2018-11-16 | 北京大学 | 一种无接触感知的徒手健身运动监测方法 |
CN109474890A (zh) * | 2018-12-19 | 2019-03-15 | 重庆邮电大学 | 一种基于WiFi多普勒频移的室内目标被动跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8983141B2 (en) * | 2011-03-17 | 2015-03-17 | Exxonmobile Upstream Research Company | Geophysical data texture segmentation using double-windowed clustering analysis |
-
2019
- 2019-08-08 CN CN201910731674.1A patent/CN110414479B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945362A (zh) * | 2012-10-18 | 2013-02-27 | 中国科学院计算技术研究所 | 基于异构数据融合的传感器协同手势识别方法及系统 |
CN102982315A (zh) * | 2012-11-05 | 2013-03-20 | 中国科学院计算技术研究所 | 一种自动检测非手势模式的手势分割识别方法及系统 |
CN104573665A (zh) * | 2015-01-23 | 2015-04-29 | 北京理工大学 | 一种基于改进维特比算法的连续动作识别方法 |
CN106096491A (zh) * | 2016-02-04 | 2016-11-09 | 上海市第人民医院 | 眼底彩色图像中的微动脉瘤的自动识别方法 |
CN106073793A (zh) * | 2016-06-13 | 2016-11-09 | 中南大学 | 基于微惯性传感器的姿态跟踪与识别方法 |
CN107862295A (zh) * | 2017-11-21 | 2018-03-30 | 武汉大学 | 一种基于WiFi信道状态信息识别面部表情的方法 |
CN108154187A (zh) * | 2018-01-04 | 2018-06-12 | 湘潭大学 | 一种基于振动信号的深孔啄钻加工质量检测方法 |
CN108815824A (zh) * | 2018-06-15 | 2018-11-16 | 北京大学 | 一种无接触感知的徒手健身运动监测方法 |
CN109474890A (zh) * | 2018-12-19 | 2019-03-15 | 重庆邮电大学 | 一种基于WiFi多普勒频移的室内目标被动跟踪方法 |
Non-Patent Citations (7)
Title |
---|
"Concurrent Recognition of Cross-Scale Activities via Sensorless Sensing";Wang Lin等;《IEEE Sensors Journal》;20181008;全文 * |
"PADS: Passive detection of moving targets with dynamic speed using PHY layer information";Kun Qian等;《2014 20th IEEE International Conference on Parallel and Distributed Systems (ICPADS)》;20150430;全文 * |
"RT-Fall: A real-time and contactless fall detection system with commodity WiFi devices";Hao Wang等;《IEEE Transactions on Mobile Computing》;20160422;全文 * |
"TW-See: Human Activity Recognition Through the Wall With Commodity Wi-Fi Devices";Xuangou Wu等;《IEEE Transactions on Vehicular Technology》;20181030;全文 * |
"人体生理活动监控视频中的关键事件检测";聂婕;《中国博士学位论文全文数据库 信息科技辑》;20120715;第2012年卷(第7期);全文 * |
"基于剪切波变换和邻域差分的小目标检测算法";熊上导等;《红外技术》;20150131;第37卷(第1期);全文 * |
Wang Lin等."Concurrent Recognition of Cross-Scale Activities via Sensorless Sensing".《IEEE Sensors Journal》.2018,第658-669页. * |
Also Published As
Publication number | Publication date |
---|---|
CN110414479A (zh) | 2019-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110414479B (zh) | 一种饮水行为感知方法、连续和非连续动作分割识别方法 | |
CN112036433B (zh) | 一种基于CNN的Wi-Move行为感知方法 | |
US11902857B2 (en) | Handling concept drift in Wi-Fi-based localization | |
Xu et al. | WiStep: Device-free step counting with WiFi signals | |
Wang et al. | A survey on human behavior recognition using channel state information | |
WO2023010886A1 (zh) | 一种室内非接触式人体活动识别方法及系统 | |
CN110991559B (zh) | 一种室内人员行为非接触式协同感知方法 | |
Wang et al. | CSI-based human sensing using model-based approaches: a survey | |
Zhu et al. | NotiFi: A ubiquitous WiFi-based abnormal activity detection system | |
Xu et al. | Attention-based gait recognition and walking direction estimation in wi-fi networks | |
CN114048773B (zh) | 一种基于迁移学习和WiFi的行为识别方法及系统 | |
CN113453180B (zh) | 一种人体摔倒智能检测方法、系统、信息数据处理终端 | |
CN109657572A (zh) | 一种基于Wi-Fi的墙后目标行为识别方法 | |
CN112787736A (zh) | 一种基于协方差矩阵的长短期记忆协作频谱感知方法 | |
CN110730473A (zh) | 面向WiFi活动识别的信号特征提取方法 | |
Baird et al. | Principal component analysis-based occupancy detection with ultra wideband radar | |
Guo et al. | TWCC: A robust through-the-wall crowd counting system using ambient WiFi signals | |
CN113743374B (zh) | 一种基于信道状态信息呼吸感知的人员身份识别方法 | |
CN109541537B (zh) | 一种基于测距的普适室内定位方法 | |
CN108235248A (zh) | 一种多模态智能感知室内定位方法 | |
Chen et al. | WiTT: Modeling and the evaluation of table tennis actions based on WIFI signals | |
CN114333044B (zh) | 一种非接触式连续行为感知方法 | |
CN116524612B (zh) | 一种基于rPPG的人脸活体检测系统及方法 | |
CN113456061A (zh) | 一种基于无线信号睡眠姿势监测方法及系统 | |
Ahmed et al. | Wi-fi csi based human sign language recognition using lstm network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |