CN111460978B - 一种基于动作判定传感器和深度学习技术的幼儿行为监控系统及其判定方法 - Google Patents
一种基于动作判定传感器和深度学习技术的幼儿行为监控系统及其判定方法 Download PDFInfo
- Publication number
- CN111460978B CN111460978B CN202010237340.1A CN202010237340A CN111460978B CN 111460978 B CN111460978 B CN 111460978B CN 202010237340 A CN202010237340 A CN 202010237340A CN 111460978 B CN111460978 B CN 111460978B
- Authority
- CN
- China
- Prior art keywords
- infant
- time
- action
- monitoring
- behaviors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 84
- 230000006399 behavior Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000005516 engineering process Methods 0.000 title claims abstract description 17
- 230000033001 locomotion Effects 0.000 claims abstract description 30
- 230000001133 acceleration Effects 0.000 claims abstract description 25
- 238000013145 classification model Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000003066 decision tree Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000000474 nursing effect Effects 0.000 claims description 9
- 230000009194 climbing Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 206010011469 Crying Diseases 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 239000002932 luster Substances 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 claims description 5
- 231100001267 hazard identification Toxicity 0.000 claims description 3
- 230000002493 climbing effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 5
- 230000005021 gait Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 2
- 208000030814 Eating disease Diseases 0.000 description 1
- 208000019454 Feeding and Eating disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000014632 disordered eating Nutrition 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 230000005584 early death Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提出了一种基于动作判定传感器和深度学习技术的幼儿行为监控系统及其判定方法，监控系统包含图像处理和步态识别两种模式，上述两种模式相互融合提高幼儿行为的判定准确度。图像处理基于深度学习技术，通过对分类好的幼儿图片使用CNN进行训练，得到相应的分类模型，在空间上监测点在t时刻的幼儿动作变化数据，从而更好地预测下一帧的动作，相比于传统的单帧识别判断，本发明具有良好地预判性。为应对图像处理时可能造成的误判，本发明将步态识别融入其中，感知幼儿的行为实际动作，在幼儿行为图片学习的基础之上结合幼儿行为产生的加速度变化差和压感变化差进行反馈学习。上述两种方式相结合有效提高了幼儿行为监控的准确度和预判能力。
Description
技术领域
本发明涉及一种基于动作判定传感器和深度学习技术的幼儿行为监控系统及其判定方法，属于生物肢体语言检测与行为分析领域。
背景技术
随着经济水平的迅速发展，人们的生活工作节奏也越来越快。总有那么一段时间，工作需要赶进度，加班使人身心俱疲无暇他顾，可能会疏忽幼儿的一些问题，也有那么一种情况，父母年纪很大了，很难把照顾孩子的任务做的很好，可能会产生一些由于疏忽导致的情况。那么如果有一款产品能够代替或者辅助人们完成对孩子的看护，在他们需要帮助或者遇到危险的时候向主人告警，势必能够大大降低孩子遇险的可能性，或者在孩子遇险的第一时间就能够得到通知，迅速救援。
而现有技术中对于幼儿的监护仅仅停留在摄像头的捕捉与动作判断上，这种方法存在较大的局限性，且针对不同个体单纯地通过图像识别难以做出准确的判定。
发明内容
发明目的：利用深度学习技术，一个目的是提出一种基于动作判定传感器和深度学习技术的幼儿行为监控系统，通过深度学习方法对监控图像进行分析并结合动作判定传感器的数据，从而判断幼儿行为是否为危险行为。进一步目的是提供一种基于上述监控系统的幼儿行为判定方法。
技术方案：一种基于动作判定传感器和深度学习技术的幼儿行为判定方法，包括以下步骤：
步骤1、收集幼儿行为，获得样本数据；
步骤2、制定判定规则对收集到的图片进行分类，按危险级别进行风险标注；
步骤3、由图像采集设备对预定空间内的幼儿行为实时监控，并与样本数据比对得出风险级别；
步骤4、系统对当前风险级别评估，风险大于预设值则判定当前行为危险级别较高，通过运营商网络向监护人发出告警。
在进一步的实施例中幼儿行为图片学习，由图像采集设备收集幼儿的行为图片，并根据具体的行为将危险识别标注为6级，幼儿攀爬，危险级别6；幼儿在无人看护情况下手持带有金属光泽的东西，危险级别5；幼儿在无人看护情况下往嘴里塞东西，危险级别4；幼儿蹬被子，危险级别3；幼儿哭闹，危险级别2；幼儿爬行，危险级别1；
对分类好的幼儿图片使用CNN进行训练，得到相应的分类模型：在空间上监测点在t时刻的幼儿动作变化数据为：
其中，Ai,t表述目标动作监测点i在t时刻的动作数据；
表述目标动作监测点in在t时刻的动作变化数据；
构建时空特征矩阵：
其中，Ai,t-m表述监测点i在当前时刻前m个时间统计单位的时刻动作数据，
表示监测点in在当前时刻前m个时间统计单位的时刻动作数据，Ai,t-1表示监测点i在当前时刻前1个时间统计单位的时刻动作数据，/>
表示监测点in在当前时刻前1个时间统计单位的时刻动作数据；
在构建时空特征矩阵的基础之上应用LightGBM模型对幼儿的下一动作进行预判，采用Bossting算法建立决策树加法模型：
其中，
表示第i棵决策树，/>
表示其参数，x表示输入样本，yi表示在输入样本x被输入后模型预估出来的监测点i的预测样本，/>
表示监测点i的实际输出样本；n表示样本个数；N表示决策树的总个数。
在进一步的实施例中，幼儿行为实际动作学习：在幼儿行为图片学习的基础之上结合幼儿行为所产生的加速度变化差和压感变化差进行的反馈学习；在幼儿的鞋底内建动作判定传感器，动作判定传感器包括用于感知绝对高度的气压计，用于感知加速度变化的陀螺仪，以及用于感知压力的柔性压力传感器；其中气压计、陀螺仪、柔性压力传感器内建于鞋帮；当幼儿进行攀爬动作时会有一个从静止到迅速抬脚的动作，此时陀螺仪感应到加速度的变化，单从加速度的变化难以区分幼儿是跑跳还是攀爬，此时柔性压力传感器配合陀螺仪进一步判定，当幼儿进行攀爬时会有一个最终的落脚动作，并且由于从低处爬至高处，此时双腿为了支撑身体会产生大于正常步行或跑步的下压力，该下压力被柔性压力传感器获取并与阈值比对，若获得数值大于阈值则可判定幼儿正在进行攀爬或其它具有冲击力的动作，此时立即通过运营商网络向监护人发出告警，并通过室内终端播放预录好的音频，转移幼儿注意力使其脱离危险动作。
一种基于动作判定传感器和深度学习技术的幼儿行为监控系统，包括以下模块：
用于收集幼儿行为，获得样本数据的第一模块；
用于制定判定规则对收集到的图片进行分类，按危险级别进行风险标注的第二模块；
利用图像采集设备对预定空间内的幼儿行为实时监控，并与样本数据比对得出风险级别的第三模块；
用于对当前风险级别评估，通过运营商网络向监护人发出告警的第四模块。
在进一步的实施例中，所述第一模块进一步包括本地端和云端两部分；所述本地端包括安装在预定空间内的图像采集设备，与所述图像采集设备建立通信连接的智能终端，以及连接在幼儿衣物上的动作判定传感器；所述云端包括搭建在运营商网络节点上的服务器；所述服务器通过运营商网络直接与前述本地端建立通信连接。
在进一步的实施例中，所述图像采集设备包括控制水平和垂直方向运动的云台，固定在云台上的摄像头，以及内建于云台的单片机；所述云台内安装有两个输出轴互呈90度的舵机，所述舵机与单片机电性连接。
在进一步的实施例中，所述智能终端包括放置在预定空间内的室内终端和由监护人访问的监护终端两部分；所述室内终端设计为幼儿感兴趣的卡通玩偶形象、并放置在室内的预定位置处，室内终端设有扬声器并内建有预先录好的音频，该音频由监护人提前录入；所述监护终端为监护人随身携带且预装有程序的智能手机。
在进一步的实施例中，所述动作判定传感器内建在幼儿的鞋底，动作判定传感器包括用于感知绝对高度的气压计，以及用于感知加速度变化的陀螺仪；其中气压计和陀螺仪内建于鞋帮。
在进一步的实施例中，幼儿行为图片学习：由图像采集设备收集幼儿的行为图片，并根据具体的行为将危险识别标注为6级，幼儿攀爬，危险级别6；幼儿在无人看护情况下手持带有金属光泽的东西，危险级别5；幼儿在无人看护情况下往嘴里塞东西，危险级别4；幼儿蹬被子，危险级别3；幼儿哭闹，危险级别2；幼儿爬行，危险级别1；
对分类好的幼儿图片使用CNN进行训练，得到相应的分类模型：在空间上监测点在t时刻的幼儿动作变化数据为：
其中，Ai,t表述目标动作监测点i在t时刻的动作数据；
表述目标动作监测点in在t时刻的动作变化数据；
构建时空特征矩阵：
其中，Ai,t-m表述监测点i在当前时刻前m个时间统计单位的时刻动作数据，
表示监测点in在当前时刻前m个时间统计单位的时刻动作数据，Ai,t-1表示监测点i在当前时刻前1个时间统计单位的时刻动作数据，/>
表示监测点in在当前时刻前1个时间统计单位的时刻动作数据；
在构建时空特征矩阵的基础之上应用LightGBM模型对幼儿的下一动作进行预判，采用Bossting算法建立决策树加法模型：
其中，
表示第i棵决策树，/>
表示其参数，x表示输入样本，yi表示在输入样本x被输入后模型预估出来的监测点i的预测样本，/>
表示监测点i的实际输出样本；n表示样本个数；N表示决策树的总个数。
幼儿行为实际动作学习：在幼儿行为图片学习的基础之上结合幼儿行为所产生的加速度变化差和压感变化差进行的反馈学习；在幼儿的鞋底内建动作判定传感器，动作判定传感器包括用于感知绝对高度的气压计，用于感知加速度变化的陀螺仪，以及用于感知压力的柔性压力传感器；其中气压计、陀螺仪、柔性压力传感器内建于鞋帮；当幼儿进行攀爬动作时会有一个从静止到迅速抬脚的动作，此时陀螺仪感应到加速度的变化，单从加速度的变化难以区分幼儿是跑跳还是攀爬，此时柔性压力传感器配合陀螺仪进一步判定，当幼儿进行攀爬时会有一个最终的落脚动作，并且由于从低处爬至高处，此时双腿为了支撑身体会产生大于正常步行或跑步的下压力，该下压力被柔性压力传感器获取并与阈值比对，若获得数值大于阈值则可判定幼儿正在进行攀爬或其它具有冲击力的动作，信号处理模块分析数据后传输至上位机，并立即通过运营商网络向监护人发出告警，并通过室内终端播放预录好的音频，转移幼儿注意力使其脱离危险动作。
有益效果：本发明提出了一种基于动作判定传感器和深度学习技术的幼儿行为监控系统及其判定方法，监控系统包含图像处理和步态识别两种模式，上述两种模式相互融合提高幼儿行为的判定准确度。图像处理基于深度学习技术，通过对分类好的幼儿图片使用CNN进行训练，得到相应的分类模型，在空间上监测点在t时刻的幼儿动作变化数据，从而更好地预测下一帧的动作，从而做到及时预判，相比于传统的单帧识别判断，本发明具有良好地预判性和前瞻性。为应对图像处理时可能造成的误判，本发明将步态识别融入其中，感知幼儿的行为实际动作，具体来说是在幼儿行为图片学习的基础之上结合幼儿行为所产生的加速度变化差和压感变化差进行的反馈学习。上述两种方式相结合有效提高了幼儿行为监控的准确度和预判能力。
附图说明
图1为本发明的整体工作流程图。
图2为本发明中采用动作判定传感器感知幼儿步态动作的流程图。
图3为本发明当前动作、下一动作、实际捕获动作之间的折线图。
具体实施方式
申请人认为，现有技术中对于幼儿的监护仅仅停留在摄像头的捕捉与动作判断上，这种方法存在较大的局限性，且针对不同个体单纯地通过图像识别难以做出准确的判定。
为此，本发明提出了一种基于动作判定传感器和深度学习技术的幼儿行为监控系统及其判定方法，系统分为两个部分，主要包括基于深度学习的实时图像监测判定技术和一个主人查看监控信息用的手机app，即通过训练好的深度学习模型对从监控中获得的幼儿图像帧进行实时分析并分类，如果经过判定幼儿当前的行为危险级别较高，则通过手机app向主人发出告警。实时图像监控装置安装于家中的家庭监控中，所有计算都在家庭监控搭载的硬件上完成，识别结果通过手机app通知主人。
下面通过实施例对本发明做出详细介绍。
本发明涉及到的幼儿行为监控系统基于动作判定传感器和深度学习技术，主要包括用于收集幼儿行为，获得样本数据的第一模块；用于制定判定规则对收集到的图片进行分类，按危险级别进行风险标注的第二模块；利用图像采集设备对预定空间内的幼儿行为实时监控，并与样本数据比对得出风险级别的第三模块；以及用于对当前风险级别评估，通过运营商网络向监护人发出告警的第四模块。
第一模块包括本地端和云端两部分；所述本地端包括安装在预定空间内的图像采集设备，与所述图像采集设备建立通信连接的智能终端，以及连接在幼儿衣物上的动作判定传感器；所述云端包括搭建在运营商网络节点上的服务器；所述服务器通过运营商网络直接与前述本地端建立通信连接。所述图像采集设备包括控制水平和垂直方向运动的云台，固定在云台上的摄像头，以及内建于云台的单片机；所述云台内安装有两个输出轴互呈90度的舵机，所述舵机与单片机电性连接。智能终端包括放置在预定空间内的室内终端和由监护人访问的监护终端两部分；所述室内终端设计为幼儿感兴趣的卡通玩偶形象、并放置在室内的预定位置处，室内终端设有扬声器并内建有预先录好的音频，该音频由监护人提前录入；所述监护终端为监护人随身携带且预装有程序的智能手机。
动作判定传感器内建在幼儿的鞋底，动作判定传感器包括用于感知绝对高度的气压计，以及用于感知加速度变化的陀螺仪；其中气压计和陀螺仪内建于鞋帮。
其中，幼儿行为图片学习具体方法如下：
由图像采集设备收集幼儿的行为图片，并根据具体的行为将危险识别标注为6级，幼儿攀爬，危险级别6；幼儿在无人看护情况下手持带有金属光泽的东西，危险级别5；幼儿在无人看护情况下往嘴里塞东西，危险级别4；幼儿蹬被子，危险级别3；幼儿哭闹，危险级别2；幼儿爬行，危险级别1；
对分类好的幼儿图片使用CNN进行训练，得到相应的分类模型：在空间上监测点在t时刻的幼儿动作变化数据为：
其中，Ai,t表述目标动作监测点i在t时刻的动作数据；
表述目标动作监测点in在t时刻的动作变化数据；
构建时空特征矩阵：
其中，Ai,t-m表述监测点i在当前时刻前m个时间统计单位的时刻动作数据，
表示监测点in在当前时刻前m个时间统计单位的时刻动作数据，Ai,t-1表示监测点i在当前时刻前1个时间统计单位的时刻动作数据，/>
表示监测点in在当前时刻前1个时间统计单位的时刻动作数据；
在构建时空特征矩阵的基础之上应用LightGBM模型对幼儿的下一动作进行预判，采用Bossting算法建立决策树加法模型：
其中，
表示第i棵决策树，/>
表示其参数，x表示输入样本，yi表示在输入样本x被输入后模型预估出来的监测点i的预测样本，/>
表示监测点i的实际输出样本；n表示样本个数；N表示决策树的总个数。
幼儿行为实际动作学习具体方法如下：
在幼儿行为图片学习的基础之上结合幼儿行为所产生的加速度变化差和压感变化差进行的反馈学习；在幼儿的鞋底内建动作判定传感器，动作判定传感器包括用于感知绝对高度的气压计，用于感知加速度变化的陀螺仪，以及用于感知压力的柔性压力传感器；其中气压计、陀螺仪、柔性压力传感器内建于鞋帮；当幼儿进行攀爬动作时会有一个从静止到迅速抬脚的动作，此时陀螺仪感应到加速度的变化，单从加速度的变化难以区分幼儿是跑跳还是攀爬，此时柔性压力传感器配合陀螺仪进一步判定，当幼儿进行攀爬时会有一个最终的落脚动作，并且由于从低处爬至高处，此时双腿为了支撑身体会产生大于正常步行或跑步的下压力，该下压力被柔性压力传感器获取并与阈值比对，若获得数值大于阈值则可判定幼儿正在进行攀爬或其它具有冲击力的动作，此时立即通过运营商网络向监护人发出告警，并通过室内终端播放预录好的音频，转移幼儿注意力使其脱离危险动作。
总上，本发明建立了一套完整的幼儿行为监控系统，系统实现了对幼儿行为的实时监控，监控范围从蹬被子到乱吃东西，通过对不同行为的危险级别进行划分，得到不同的分类结果，对危险级别较高的行为能够及时通知主人，由主人联系看护人员，以达到辅助看护的作用，这个系统能够有效的防止由于看护人员疏忽导致的幼儿遇险情况，同时也能够最大程度降低幼儿因为危险行为造成的早夭，在生活水平日益提高的今天，本发明具有一定的商业价值。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。
Claims (6)
1.一种基于动作判定传感器和深度学习技术的幼儿行为判定方法，其特征是包括以下步骤：
步骤1、收集幼儿行为，获得样本数据；
幼儿行为图片学习，由图像采集设备收集幼儿的行为图片，并根据具体的行为将危险识别标注为6级，幼儿攀爬，危险级别6；幼儿在无人看护情况下手持带有金属光泽的东西，危险级别5；幼儿在无人看护情况下往嘴里塞东西，危险级别4；幼儿蹬被子，危险级别3；幼儿哭闹，危险级别2；幼儿爬行，危险级别1；
对分类好的幼儿图片使用CNN进行训练，得到相应的分类模型：在空间上监测点在t时刻的幼儿动作变化数据为：
其中，
表述目标动作监测点i在t时刻的动作数据；/>
表述目标动作监测点/>
在t时刻的动作变化数据；
构建时空特征矩阵：
其中，
表述监测点i在当前时刻前m个时间统计单位的时刻动作数据，/>
表示监测点/>
在当前时刻前m个时间统计单位的时刻动作数据，/>
表示监测点i在当前时刻前1个时间统计单位的时刻动作数据，/>
表示监测点/>
在当前时刻前1个时间统计单位的时刻动作数据；
在构建时空特征矩阵的基础之上应用LightGBM模型对幼儿的下一动作进行预判，采用Bossting算法建立决策树加法模型：
其中，
表示第i棵决策树，/>
表示其参数，x表示输入样本，/>
表示在输入样本x被输入后模型预估出来的监测点i的预测样本，/>
表示监测点i的实际输出样本，n表示样本个数，N表示决策树的总个数；
幼儿行为实际动作学习：在幼儿行为图片学习的基础之上结合幼儿行为所产生的加速度变化差和压感变化差进行的反馈学习；在幼儿的鞋底内建动作判定传感器，动作判定传感器包括用于感知绝对高度的气压计，用于感知加速度变化的陀螺仪，以及用于感知压力的柔性压力传感器；其中气压计、陀螺仪、柔性压力传感器内建于鞋帮；当幼儿进行攀爬动作时会有一个从静止到迅速抬脚的动作，此时陀螺仪感应到加速度的变化，单从加速度的变化难以区分幼儿是跑跳还是攀爬，此时柔性压力传感器配合陀螺仪进一步判定，当幼儿进行攀爬时会有一个最终的落脚动作，并且由于从低处爬至高处，此时双腿为了支撑身体会产生大于正常步行或跑步的下压力，该下压力被柔性压力传感器获取并与阈值比对，若获得数值大于阈值则可判定幼儿正在进行攀爬或其它具有冲击力的动作，此时立即通过运营商网络向监护人发出告警，并通过室内终端播放预录好的音频，转移幼儿注意力使其脱离危险动作；
步骤2、制定判定规则对收集到的图片进行分类，按危险级别进行风险标注；
步骤3、由图像采集设备对预定空间内的幼儿行为实时监控，并与样本数据比对得出风险级别；
步骤4、系统对当前风险级别评估，风险大于预设值则判定当前行为危险级别较高，通过运营商网络向监护人发出告警。
2.一种基于动作判定传感器和深度学习技术的幼儿行为监控系统，其特征在于包括以下模块：
用于收集幼儿行为、获得样本数据的第一模块；
用于制定判定规则对收集到的图片进行分类，按危险级别进行风险标注的第二模块；
利用图像采集设备对预定空间内的幼儿行为实时监控，并与样本数据比对得出风险级别的第三模块；
用于对当前风险级别评估、通过运营商网络向监护人发出告警的第四模块；
所述第一模块用于执行幼儿行为图片学习的流程：由图像采集设备收集幼儿的行为图片，并根据具体的行为将危险识别标注为6级，幼儿攀爬，危险级别6；幼儿在无人看护情况下手持带有金属光泽的东西，危险级别5；幼儿在无人看护情况下往嘴里塞东西，危险级别4；幼儿蹬被子，危险级别3；幼儿哭闹，危险级别2；幼儿爬行，危险级别1；
对分类好的幼儿图片使用CNN进行训练，得到相应的分类模型：在空间上监测点在t时刻的幼儿动作变化数据为：
其中，
表述目标动作监测点i在t时刻的动作数据；/>
表述目标动作监测点/>
在t时刻的动作变化数据；
构建时空特征矩阵：
其中，
表述监测点i在当前时刻前m个时间统计单位的时刻动作数据，/>
表示监测点/>
在当前时刻前m个时间统计单位的时刻动作数据，/>
表示监测点i在当前时刻前1个时间统计单位的时刻动作数据，/>
表示监测点/>
在当前时刻前1个时间统计单位的时刻动作数据；
在构建时空特征矩阵的基础之上应用LightGBM模型对幼儿的下一动作进行预判，采用Bossting算法建立决策树加法模型：
其中，
表示第i棵决策树，/>
表示其参数，x表示输入样本，/>
表示在输入样本x被输入后模型预估出来的监测点i的预测样本，/>
表示监测点i的实际输出样本；n表示样本个数；N表示决策树的总个数；
所述第一模块用于执行幼儿行为实际动作学习的流程：在幼儿行为图片学习的基础之上结合幼儿行为所产生的加速度变化差和压感变化差进行的反馈学习；在幼儿的鞋底内建动作判定传感器，动作判定传感器包括用于感知绝对高度的气压计，用于感知加速度变化的陀螺仪，以及用于感知压力的柔性压力传感器；其中气压计、陀螺仪、柔性压力传感器内建于鞋帮；当幼儿进行攀爬动作时会有一个从静止到迅速抬脚的动作，此时陀螺仪感应到加速度的变化，单从加速度的变化难以区分幼儿是跑跳还是攀爬，此时柔性压力传感器配合陀螺仪进一步判定，当幼儿进行攀爬时会有一个最终的落脚动作，并且由于从低处爬至高处，此时双腿为了支撑身体会产生大于正常步行或跑步的下压力，该下压力被柔性压力传感器获取并与阈值比对，若获得数值大于阈值则可判定幼儿正在进行攀爬或其它具有冲击力的动作，此时立即通过运营商网络向监护人发出告警，并通过室内终端播放预录好的音频，转移幼儿注意力使其脱离危险动作。
3.根据权利要求2所述的一种基于动作判定传感器和深度学习技术的幼儿行为监控系统，其特征在于，所述第一模块进一步包括本地端和云端两部分；所述本地端包括安装在预定空间内的图像采集设备，与所述图像采集设备建立通信连接的智能终端，以及连接在幼儿衣物上的动作判定传感器；所述云端包括搭建在运营商网络节点上的服务器；所述服务器通过运营商网络直接与前述本地端建立通信连接。
4.根据权利要求3所述的一种基于动作判定传感器和深度学习技术的幼儿行为监控系统，其特征在于：所述图像采集设备包括控制水平和垂直方向运动的云台，固定在云台上的摄像头，以及内建于云台的单片机；所述云台内安装有两个输出轴互呈90度的舵机，所述舵机与单片机电性连接。
5.根据权利要求3所述的一种基于动作判定传感器和深度学习技术的幼儿行为监控系统，其特征在于：所述智能终端包括放置在预定空间内的室内终端和由监护人访问的监护终端两部分；所述室内终端设计为幼儿感兴趣的卡通玩偶形象、并放置在室内的预定位置处，室内终端设有扬声器并内建有预先录好的音频，该音频由监护人提前录入；所述监护终端为监护人随身携带且预装有程序的智能手机。
6.根据权利要求3所述的一种基于动作判定传感器和深度学习技术的幼儿行为监控系统，其特征在于：所述动作判定传感器内建在幼儿的鞋底，动作判定传感器包括用于感知绝对高度的气压计，以及用于感知加速度变化的陀螺仪；其中气压计和陀螺仪内建于鞋帮。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010237340.1A CN111460978B (zh) | 2020-03-30 | 2020-03-30 | 一种基于动作判定传感器和深度学习技术的幼儿行为监控系统及其判定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010237340.1A CN111460978B (zh) | 2020-03-30 | 2020-03-30 | 一种基于动作判定传感器和深度学习技术的幼儿行为监控系统及其判定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111460978A CN111460978A (zh) | 2020-07-28 |
| CN111460978B true CN111460978B (zh) | 2023-06-23 |
Family
ID=71679814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010237340.1A Active CN111460978B (zh) | 2020-03-30 | 2020-03-30 | 一种基于动作判定传感器和深度学习技术的幼儿行为监控系统及其判定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111460978B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112036267A (zh) * | 2020-08-14 | 2020-12-04 | 珠海格力电器股份有限公司 | 一种目标检测方法、装置、设备和计算机可读存储介质 |
| CN113065612A (zh) * | 2021-05-18 | 2021-07-02 | 西京学院 | 一种基于机器学习的人类活动分类识别方法及系统 |
| CN115035498A (zh) * | 2021-11-26 | 2022-09-09 | 长城汽车股份有限公司 | 乘车安全控制方法、装置、电子设备及产品 |
| CN114358214B (zh) * | 2022-03-11 | 2022-07-22 | 中国科学院上海高等研究院 | 步态自适应识别方法及装置、存储介质和终端 |
| CN118243860B (zh) * | 2024-03-13 | 2024-08-27 | 舟山中远海运重工有限公司 | 船舶有限空间气体在线监测及预警系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056035A (zh) * | 2016-04-06 | 2016-10-26 | 南京华捷艾米软件科技有限公司 | 一种基于体感技术的幼儿园智能监控方法 |
| CN108371366A (zh) * | 2018-03-04 | 2018-08-07 | 肇庆学院 | 一种儿童攀爬警报鞋 |
| CN110338804A (zh) * | 2019-07-02 | 2019-10-18 | 中山大学 | 基于动作识别的人体活跃度评估方法 |
| CN110751063A (zh) * | 2019-09-29 | 2020-02-04 | 四川工商学院 | 一种基于深度学习的幼儿防踢被子识别装置及方法 |
| CN110929762B (zh) * | 2019-10-30 | 2023-05-12 | 中科南京人工智能创新研究院 | 一种基于深度学习的肢体语言检测与行为分析方法及系统 |
-
2020
- 2020-03-30 CN CN202010237340.1A patent/CN111460978B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111460978A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111460978B (zh) | 一种基于动作判定传感器和深度学习技术的幼儿行为监控系统及其判定方法 | |
| Wang et al. | Fall detection based on dual-channel feature integration | |
| CN112043281B (zh) | 使用机器学习算法识别跌倒风险 | |
| US11047706B2 (en) | Pedometer with accelerometer and foot motion distinguishing method | |
| Li et al. | Fall detection for elderly person care using convolutional neural networks | |
| US20170372582A1 (en) | Device for monitoring and preventing slump and processing method thereof | |
| CN104361321A (zh) | 一种判断老年人摔倒行为及身体平衡能力的方法 | |
| CN108683724A (zh) | 一种智能儿童安全及步态健康监护系统 | |
| CN110135242B (zh) | 基于低分辨率红外热成像深度感知的情绪识别装置及方法 | |
| CN106344035A (zh) | 一种人体健康监控系统 | |
| CN107609477A (zh) | 一种基于深度学习与智能手环相结合的摔倒检测方法 | |
| CN109757928B (zh) | 一种防摔智能婴儿床 | |
| CN113516828B (zh) | 溺水监测方法、装置、设备与计算机可读存储介质 | |
| Liciotti et al. | Human activity analysis for in-home fall risk assessment | |
| CN107609474A (zh) | 肢体动作识别方法、装置、机器人及存储介质 | |
| CN114469076A (zh) | 一种融合身份特征的独居老人跌倒识别方法及系统 | |
| CN116965781A (zh) | 一种驾驶员生命体征和驾驶行为监控方法及系统 | |
| CN111245459A (zh) | 可穿戴式设备及溺水监控方法、电子设备、存储介质 | |
| CN117197998B (zh) | 一种物联网的传感器集成看护系统 | |
| CN111626273B (zh) | 基于原子性动作时序特性的摔倒行为识别系统及方法 | |
| Thuc et al. | An effective video-based model for fall monitoring of the elderly | |
| Howedi et al. | Accelerometer-based human fall detection using fuzzy entropy | |
| Chen et al. | Improve the Accuracy of Fall Detection Based on Artificial Intelligence Algorithm. | |
| CN118447579A (zh) | 基于音视频结合的老人取药动作识别方法、装置及设备 | |
| CN116386272A (zh) | 一种实时检测行人摔倒的预警系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 211100 floor 3, building 3, Qilin artificial intelligence Industrial Park, 266 Chuangyan Road, Nanjing, Jiangsu Applicant after: Zhongke Nanjing artificial intelligence Innovation Research Institute Applicant after: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES Address before: 211000 3rd floor, building 3, 266 Chuangyan Road, Jiangning District, Nanjing City, Jiangsu Province Applicant before: NANJING ARTIFICIAL INTELLIGENCE CHIP INNOVATION INSTITUTE, INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES Applicant before: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |