CN111626273A - 基于原子性动作时序特性的摔倒行为识别系统及方法 - Google Patents

基于原子性动作时序特性的摔倒行为识别系统及方法 Download PDF

Info

Publication number
CN111626273A
CN111626273A CN202010740679.3A CN202010740679A CN111626273A CN 111626273 A CN111626273 A CN 111626273A CN 202010740679 A CN202010740679 A CN 202010740679A CN 111626273 A CN111626273 A CN 111626273A
Authority
CN
China
Prior art keywords
video
time sequence
falling
network model
video clips
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010740679.3A
Other languages
English (en)
Other versions
CN111626273B (zh
Inventor
吉翔
曹亚
周俊琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Ruiyan Technology Co ltd
Original Assignee
Chengdu Ruiyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Ruiyan Technology Co ltd filed Critical Chengdu Ruiyan Technology Co ltd
Priority to CN202010740679.3A priority Critical patent/CN111626273B/zh
Publication of CN111626273A publication Critical patent/CN111626273A/zh
Application granted granted Critical
Publication of CN111626273B publication Critical patent/CN111626273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于原子性动作时序特性的摔倒行为识别系统及方法，属于智能监控领域。其包括用于收集各类行为的时间序列视频片段，并做好与每类行为的时间序列视频片段对应的标签类别；将收集的视频片段切分为所需要的视频长度，利用视频片段以及对应的标签类别，训练得到稳定的特征提取网络模型，通过模型对输入的视频的标签类别进行判断，若视频输入后得到的标签类别属于摔倒类别，逆序后的视频片段属于训练中新增的标签类别时，判定该视频片段为摔倒动作。利用摔倒动作的原子特性和时序特性建立相应模型，学习摔倒动作的唯一特性，能够有效的检测出摔倒行为，同时构建的摔倒逆序动作时序能够有效的将摔倒动作与其他易混淆动作进行区分。

Description

基于原子性动作时序特性的摔倒行为识别系统及方法
技术领域
本发明涉及智能监控领域，尤其涉及一种基于原子性动作时序特性的摔倒行为识别系统及方法。
背景技术
由于我国老龄化的日益加剧，对于老年人的健康安全监护就显的尤为重要。根据世界疾病控制与预防组织统计，世界上超过65岁的老人，每年有三分之一会有摔倒行为，其中有一半为再发性摔倒行为，并且摔倒率也随年龄增长而增长；我国卫生部2007年公布的《中国伤害预防报告》中指出，老年人意外伤害的首要原因是摔倒。摔倒后直接对人体造成伤害，同时由于摔倒后未能得到及时救治，可能会引起更为严重的后果。摔倒是老年人群伤残、失能和死亡的重要原因之一，严重影响老年人的日常生活能力、身体健康及精神状态，会给老年人造成巨大伤害，伤痛、慢性病急性等，也会给家庭和社会增加了巨大的负担。此外，在许多的其他情况下，摔倒的及时发现并报警也是非常有意义的，比如小朋友独自在家玩耍，人们独自登山，或者在高处进行擦窗户，刷油漆，修理点灯等时发生摔倒行为，若能及时发现也是有重要意义的。因此，及时的检测并发现摔倒行为的发生，让摔倒发生的第一时间能够救助到摔倒的人员，争取最佳的救治实际就显的极为重要；尤其对于独居老人，具有较为重要的应用价值。
目前，主要有两个大类的方法进行人体摔倒行为的检测，分别是基于传感器数据识别和基于图像识别的方法。
基于传感器数据的方法主要以穿戴式设备作为载体，通过加速度传感器、角速度传感器、心率检测器、心跳检测器等传感系统的数据判断摔倒行为。例如，专利CN200910116653通过由三轴加速度传感器、两轴角速度传感器、A/D、信息处理装置和无线信号发射装置组成的佩戴式设备进行摔倒检测，通过自动检测人体上躯干部位的加速度信息及位姿信 息，综合人体加速度、位姿、运动时间三者之间的关系，判断人体是否摔倒以及是否需要求救；专利CN201310558923.4A同样采取类似的传感器系统，每个传感器信息收集对应信息；如摔倒方向，摔倒压力，摔倒声音等，构造摔倒特征向量，通过分类器实现集成的摔倒判断；专利CN201520537856.2U中采用脉搏传感器和血压传感器设备监测老人的脉搏、血压信号，同时结合加速度传感器、GPS模块、GPRS模块判断老人的摔倒行为；再如专利201620211179χ，公开了一种具有摔倒报警呼救功能的智能皮带，其基本上代表了现有的关于便携式的摔倒检测装置的技术手段，其结构简单，具有呼吸传感器、加速度传感器、陀螺仪传感器以及处理单元，以此对老人摔倒进行检测。但是，目前的可穿戴设备通常如上述申请一般，均为固定位置的穿戴，对于一些特殊状态的老人不太适用，使用受到较大程度的限制，同时穿戴设备对应老年人有可能也是一种负担的存在。同时，基于传感器的方法进行摔倒检测不利于区分跑跳、弯腰、躺下等行为，误判率也较高。
基于图像识别的方法主要通过相关行为数据集，对图片中人体行为姿态进行判断检测摔倒行为。例如专利CN201710676771.6通过收集已知行为人体图像数据以及摔倒或躺下的人体图像数据；采用此数据集训练深度信念网络，获取最优参数，完成深度信念网络模型。
可见，在实际应用中，均是先对未知行为样本集进行前景提取获得未知行为样本集的前景图，然后通过深度信念网络模型识别未知行为是否为摔倒或躺下，同时结合传感器信息给出最终判断结果。
发明内容
本发明的目的是提供一种基于原子性动作时序特性的摔倒行为识别系统及方法，利用摔倒动作的原子特性和时序特性建立相应模型，学习摔倒动作的唯一特性，能够有效的检测出摔倒行为，同时构建的摔倒逆序动作时序能够有效的将摔倒动作与其他易混淆动作进行区分。
本发明解决其技术问题，采用的技术方案是：基于原子性动作时序特性的摔倒行为识别系统，包括：视频片段收集模块、逆序模块及特征提取网络模型；
所述视频片段收集模块，用于收集各类行为的时间序列视频片段，并做好与每类行为的时间序列视频片段对应的标签类别，并将收集的各类行为的时间序列视频片段切分为特征提取网络模型所需要的视频长度，所述各类行为的时间序列视频片段包括正常行为的时间序列视频片段及摔倒行为的时间序列视频片段；
所述逆序模块，用于在所述特征提取网络模型训练时，读取正常行为的时间序列视频片段和摔倒行为的时间序列视频片段以及对应的标签类别，并将摔倒行为的时间序列视频片段传输至逆序模块，通过所述逆序模块对摔倒行为的时间序列视频片段进行逆序操作，生成摔倒逆序动作视频片段，同时将摔倒逆序动作视频片段给予新的标签类别，并将所有的视频片段分别送入到特征提取网络模型中；
所述特征提取网络模型，用于当接收到所述所有的视频片段时，抽取所有的视频片段中相应的特征，并将特征层进行分类，结合输入视频片段的标签类别计算对应的损失函数，同时将损失函数进行反向传播，对特征提取网络模型的参数进行优化，经过多次的训练以后，最终得到稳定的特征提取网络模型；
当有视频输入时，通过所述稳定的特征提取网络模型读取输入视频的视频流数据，将视频流数据按照所需要的帧数组织成视频片段，并将视频片段中的正常行为的时间序列视频片段、摔倒行为的时间序列视频片段及摔倒逆序动作视频片段均输入至所述稳定的特征提取网络模型，经过所述稳定的特征提取网络模型的处理，若视频输入后得到的标签类别属于摔倒类别，同时逆序后的视频片段属于训练中新增的标签类别时，则判定该视频片段为摔倒动作。
进一步的是，所述特征提取网络模型为TSN网络模型或ECO网络模型。
进一步的是，所述损失函数为softmax损失函数。
进一步的是，预先设定所有的视频片段分别对应标签类别的分数值阈值，经过所述稳定的特征提取网络模型的处理后，通过损失函数计算所有的视频片段分别对应标签类别的分数值；
当计算得到的与正常行为的时间序列视频片段对应的分数值在其预先设定的标签类别分数值阈值范围内时，则判定输入的视频为正常行为；
当计算得到的与摔倒行为的时间序列视频片段对应的分数值在其预先设定的标签类别分数值阈值范围内，且计算得到的与摔倒逆序动作视频片段对应的分数值在其预先设定的标签类别分数值阈值范围时，则判定输入的视频为摔倒行为。
基于原子性动作时序特性的摔倒行为识别方法，应用于所述的基于原子性动作时序特性的摔倒行为识别系统，包括如下步骤：
步骤1、收集各类行为的时间序列视频片段，并做好与每类行为的时间序列视频片段对应的标签类别；
步骤2、将收集的各类行为的时间序列视频片段切分为特征提取网络模型所需要的视频长度，所述各类行为的时间序列视频片段包括正常行为的时间序列视频片段及摔倒行为的时间序列视频片段；
步骤3、利用所有的视频片段以及对应的标签类别，训练特征提取网络模型，得到稳定的特征提取网络模型，所述所有的视频片段包括各类行为的时间序列片段及摔倒逆序动作视频片段；
步骤4、通过所述稳定的特征提取网络模型对输入的视频的标签类别进行判断，若视频输入后得到的标签类别属于摔倒类别，同时逆序后的视频片段属于训练中新增的标签类别时，则判定该视频片段为摔倒动作。
进一步的是，步骤2中，所述特征提取网络模型为TSN网络模型或ECO网络模型。
进一步的是，步骤3中，所述训练特征提取网络模型，得到稳定的特征提取网络模型，其具体步骤为：
步骤301、读取正常行为的时间序列视频片段和摔倒行为的时间序列视频片段以及对应的标签类别，并将摔倒行为的时间序列视频片段传输至逆序模块；
步骤302、通过所述逆序模块对摔倒行为的时间序列视频片段进行逆序操作，生成摔倒逆序动作视频片段，同时将摔倒逆序动作视频片段给予新的标签类别，并将所有的视频片段分别送入到特征提取网络模型中；
步骤303、当特征提取网络模型接收到所述所有的视频片段时，抽取所有的视频片段中相应的特征，并将特征层进行分类，结合输入视频片段的标签类别计算对应的损失函数，同时将损失函数进行反向传播，对特征提取网络模型的参数进行优化，经过多次的训练以后，最终得到稳定的特征提取网络模型。
进一步的是，步骤303中，所述损失函数为softmax损失函数。
进一步的是，步骤4具体为：当有视频输入时，通过所述稳定的特征提取网络模型读取输入视频的视频流数据，将视频流数据按照所需要的帧数组织成视频片段，并将视频片段中的正常行为的时间序列视频片段、摔倒行为的时间序列视频片段及摔倒逆序动作视频片段均输入至所述稳定的特征提取网络模型，经过所述稳定的特征提取网络模型的处理，若视频输入后得到的标签类别属于摔倒类别，同时逆序后的视频片段属于训练中新增的标签类别时，则判定该视频片段为摔倒动作。
进一步的是，步骤4中，还包括：预先设定所有的视频片段分别对应标签类别的分数值阈值，经过所述稳定的特征提取网络模型的处理后，通过损失函数计算所有的视频片段分别对应标签类别的分数值；
当计算得到的与正常行为的时间序列视频片段对应的分数值在其预先设定的标签类别分数值阈值范围内时，则判定输入的视频为正常行为；
当计算得到的与摔倒行为的时间序列视频片段对应的分数值在其预先设定的标签类别分数值阈值范围内，且计算得到的与摔倒逆序动作视频片段对应的分数值在其预先设定的标签类别分数值阈值范围时，则判定输入的视频为摔倒行为。
本发明的有益效果是，通过上述基于原子性动作时序特性的摔倒行为识别系统及方法，利用摔倒动作的原子特性和时序特性能够实时有效的对摔倒行为进行检查，达到在摔倒行为刚刚发生时进行及时报警，并且利用摔倒动作的原子特性和时序特性能够有效的将摔倒动作与其他易混淆动作（如跑跳、弯腰）进行区分，极大减少摔倒行为的误报。
附图说明
图1为本发明实施例1中摔倒动作正常时序图；
图2为本发明实施例1中将摔倒动作的正常时序进行逆序操作后的对比图；
图3为本发明实施例2中基于原子性动作时序特性的摔倒行为识别方法的流程图。
具体实施方式
下面结合附图及实施例，详细描述本发明的技术方案。
实施例1
本实施例提出一种基于原子性动作时序特性的摔倒行为识别系统，包括：视频片段收集模块、逆序模块及特征提取网络模型，其中：
视频片段收集模块，用于收集各类行为的时间序列视频片段，并做好与每类行为的时间序列视频片段对应的标签类别，并将收集的各类行为的时间序列视频片段切分为特征提取网络模型所需要的视频长度，各类行为的时间序列视频片段包括正常行为的时间序列视频片段及摔倒行为的时间序列视频片段；
逆序模块，用于在特征提取网络模型训练时，读取正常行为的时间序列视频片段和摔倒行为的时间序列视频片段以及对应的标签类别，并将摔倒行为的时间序列视频片段传输至逆序模块，通过逆序模块对摔倒行为的时间序列视频片段进行逆序操作，生成摔倒逆序动作视频片段，同时将摔倒逆序动作视频片段给予新的标签类别，并将所有的视频片段分别送入到特征提取网络模型中；
特征提取网络模型，用于当接收到所有的视频片段时，抽取所有的视频片段中相应的特征，并将特征层进行分类，结合输入视频片段的标签类别计算对应的损失函数，同时将损失函数进行反向传播，对特征提取网络模型的参数进行优化，经过多次的训练以后，最终得到稳定的特征提取网络模型；
当有视频输入时，通过稳定的特征提取网络模型读取输入视频的视频流数据，将视频流数据按照所需要的帧数组织成视频片段，并将视频片段中的正常行为的时间序列视频片段、摔倒行为的时间序列视频片段及摔倒逆序动作视频片段均输入至稳定的特征提取网络模型，经过稳定的特征提取网络模型的处理，若视频输入后得到的标签类别属于摔倒类别，同时逆序后的视频片段属于训练中新增的标签类别时，则判定该视频片段为摔倒动作。
本实施例提出的摔倒动作原子特性如下：摔倒动作的发生是不可拆分的，且是单一方向性的动作。如图1所示，在摔倒动作正常时序图中，可以看出人体的摔倒动作可以简化为一个杆由竖立的状态变为平躺的状态，有唯一的单一方向性，且整个动作不能再进行拆分。对于弯腰拾物的动作而言，就不在是一个原子性动作，该动作可以拆分为弯腰和起身的两个原子性动作，具有两个方向性；对于原地蹦跳的动作，也不是一个原子性动作，该动作可以拆分为向上和向下的两个原子性动作，具有两个方向性；对于起身的动作而言，就是一个原子性动作，不可拆分，且具有单一方向性。基于上述的文字描述可刻画出摔倒动作是一个原子性动作，且是单一的方向性。
本实施例提出的摔倒动作时序特性如下：摔倒的动作是不可逆的，由于在重力的作用下，人体摔倒的动作是不可逆的，也就是摔倒的逆序动作是唯一性的，不会与任何正常活动的动作相类似。如图2所示，将摔倒动作的正常时序进行逆序操作后，并不表示任何其他动作，并且与其他的人体正常活动动作均不类似，具有很大的区分性。对于弯腰拾物动作而言，如果对其动作时序进行逆序后，可能只是将弯腰和起身的顺序进行了交换，变成起身、弯腰的顺序；对于原地蹦跳的动作而言，如果对其动作时序进行逆序操作后，依然也是一个蹦跳的动作。基于上述的描述，可以刻画出摔倒动作的时序特性，同时摔倒动作的逆序动作具有唯一性，能够明显与其他正常活动的动作进行区分。
上述系统中，实际应用时，可以采用经典的行为识别模型如TSN（TemporalSegment Networks）网络模型或者ECO（Efficient Convolutional Network）网络模型。
为了便于对稳定的特征提取网络模型输出的数据进行高效处理，损失函数优选为softmax损失函数。
另外，可以预先设定所有的视频片段分别对应标签类别的分数值阈值，经过稳定的特征提取网络模型的处理后，通过损失函数计算所有的视频片段分别对应标签类别的分数值；
当计算得到的与正常行为的时间序列视频片段对应的分数值在其预先设定的标签类别分数值阈值范围内时，则判定输入的视频为正常行为；
当计算得到的与摔倒行为的时间序列视频片段对应的分数值在其预先设定的标签类别分数值阈值范围内，且计算得到的与摔倒逆序动作视频片段对应的分数值在其预先设定的标签类别分数值阈值范围时，则判定输入的视频为摔倒行为。
实施例2
本实施例提出一种基于原子性动作时序特性的摔倒行为识别方法，其流程图见图3，该方法应用于实施例1中的基于原子性动作时序特性的摔倒行为识别系统，包括如下步骤：
步骤1、收集各类行为的时间序列视频片段，并做好与每类行为的时间序列视频片段对应的标签类别。
步骤2、将收集的各类行为的时间序列视频片段切分为特征提取网络模型所需要的视频长度，各类行为的时间序列视频片段包括正常行为的时间序列视频片段及摔倒行为的时间序列视频片段。
步骤3、利用所有的视频片段以及对应的标签类别，训练特征提取网络模型，得到稳定的特征提取网络模型，所有的视频片段包括各类行为的时间序列片段及摔倒逆序动作视频片段。
步骤4、通过稳定的特征提取网络模型对输入的视频的标签类别进行判断，若视频输入后得到的标签类别属于摔倒类别，同时逆序后的视频片段属于训练中新增的标签类别时，则判定该视频片段为摔倒动作。
上述方法中，步骤2中，同实施例1，可以采用经典的行为识别模型如TSN（TemporalSegment Networks）网络模型或者ECO（Efficient Convolutional Network）网络模型。
步骤3中，训练特征提取网络模型，得到稳定的特征提取网络模型，其具体步骤为：
步骤301、读取正常行为的时间序列视频片段和摔倒行为的时间序列视频片段以及对应的标签类别，并将摔倒行为的时间序列视频片段传输至逆序模块。
步骤302、通过逆序模块对摔倒行为的时间序列视频片段进行逆序操作，生成摔倒逆序动作视频片段，同时将摔倒逆序动作视频片段给予新的标签类别，并将所有的视频片段分别送入到特征提取网络模型中。
步骤303、当特征提取网络模型接收到所有的视频片段时，抽取所有的视频片段中相应的特征，并将特征层进行分类，结合输入视频片段的标签类别计算对应的损失函数，同时将损失函数进行反向传播，对特征提取网络模型的参数进行优化，经过多次的训练以后，最终得到稳定的特征提取网络模型。
步骤303中，同实施例1，为了便于对稳定的特征提取网络模型输出的数据进行高效处理，损失函数优选为softmax损失函数。
另外，步骤4具体为：当有视频输入时，通过稳定的特征提取网络模型读取输入视频的视频流数据，将视频流数据按照所需要的帧数组织成视频片段，并将视频片段中的正常行为的时间序列视频片段、摔倒行为的时间序列视频片段及摔倒逆序动作视频片段均输入至稳定的特征提取网络模型，经过稳定的特征提取网络模型的处理，若视频输入后得到的标签类别属于摔倒类别，同时逆序后的视频片段属于训练中新增的标签类别时，则判定该视频片段为摔倒动作。
作为优选，步骤4还可包括：预先设定所有的视频片段分别对应标签类别的分数值阈值，经过稳定的特征提取网络模型的处理后，通过损失函数计算所有的视频片段分别对应标签类别的分数值；
当计算得到的与正常行为的时间序列视频片段对应的分数值在其预先设定的标签类别分数值阈值范围内时，则判定输入的视频为正常行为；
当计算得到的与摔倒行为的时间序列视频片段对应的分数值在其预先设定的标签类别分数值阈值范围内，且计算得到的与摔倒逆序动作视频片段对应的分数值在其预先设定的标签类别分数值阈值范围时，则判定输入的视频为摔倒行为。
因此，通过实施例1提出的系统及实施例2提出的方法，利用摔倒动作的原子特性和时序特性能够实时有效的对摔倒行为进行检查，达到在摔倒行为刚刚发生时进行及时报警，并且利用摔倒动作的原子特性和时序特性能够有效的将摔倒动作与其他易混淆动作（如跑跳、弯腰）进行区分，极大减少摔倒行为的误报。

Claims (10)

1.基于原子性动作时序特性的摔倒行为识别系统，其特征在于，包括：视频片段收集模块、逆序模块及特征提取网络模型；
所述视频片段收集模块，用于收集各类行为的时间序列视频片段，并做好与每类行为的时间序列视频片段对应的标签类别，并将收集的各类行为的时间序列视频片段切分为特征提取网络模型所需要的视频长度，所述各类行为的时间序列视频片段包括正常行为的时间序列视频片段及摔倒行为的时间序列视频片段；
所述逆序模块，用于在所述特征提取网络模型训练时，读取正常行为的时间序列视频片段和摔倒行为的时间序列视频片段以及对应的标签类别，并将摔倒行为的时间序列视频片段传输至逆序模块，通过所述逆序模块对摔倒行为的时间序列视频片段进行逆序操作，生成摔倒逆序动作视频片段，同时将摔倒逆序动作视频片段给予新的标签类别，并将所有的视频片段分别送入到特征提取网络模型中；
所述特征提取网络模型，用于当接收到所述所有的视频片段时，抽取所有的视频片段中相应的特征，并将特征层进行分类，结合输入视频片段的标签类别计算对应的损失函数，同时将损失函数进行反向传播，对特征提取网络模型的参数进行优化，经过多次的训练以后，最终得到稳定的特征提取网络模型；
所述稳定的特征提取网络模型，用于当有视频输入时，通过所述稳定的特征提取网络模型读取输入视频的视频流数据，将视频流数据按照所需要的帧数组织成视频片段，并将视频片段中的正常行为的时间序列视频片段、摔倒行为的时间序列视频片段及摔倒逆序动作视频片段均输入至所述稳定的特征提取网络模型，经过所述稳定的特征提取网络模型的处理，若视频输入后得到的标签类别属于摔倒类别，同时逆序后的视频片段属于训练中新增的标签类别时，则判定该视频片段为摔倒动作。
2.根据权利要求1所述的基于原子性动作时序特性的摔倒行为识别系统，其特征在于，所述特征提取网络模型为TSN网络模型或ECO网络模型。
3.根据权利要求1所述的基于原子性动作时序特性的摔倒行为识别系统，其特征在于，所述损失函数为softmax损失函数。
4.根据权利要求1-3任意一项所述的基于原子性动作时序特性的摔倒行为识别系统，其特征在于，所述稳定的特征提取网络模型，用于预先设定所有的视频片段分别对应标签类别的分数值阈值，经过所述稳定的特征提取网络模型的处理后，通过损失函数计算所有的视频片段分别对应标签类别的分数值；
当计算得到的与正常行为的时间序列视频片段对应的分数值在其预先设定的标签类别分数值阈值范围内时，则判定输入的视频为正常行为；
当计算得到的与摔倒行为的时间序列视频片段对应的分数值在其预先设定的标签类别分数值阈值范围内，且计算得到的与摔倒逆序动作视频片段对应的分数值在其预先设定的标签类别分数值阈值范围时，则判定输入的视频为摔倒行为。
5.基于原子性动作时序特性的摔倒行为识别方法，应用于权利要求1-4任意一项权利要求所述的基于原子性动作时序特性的摔倒行为识别系统，其特征在于，包括如下步骤：
步骤1、收集各类行为的时间序列视频片段，并做好与每类行为的时间序列视频片段对应的标签类别；
步骤2、将收集的各类行为的时间序列视频片段切分为特征提取网络模型所需要的视频长度，所述各类行为的时间序列视频片段包括正常行为的时间序列视频片段及摔倒行为的时间序列视频片段；
步骤3、利用所有的视频片段以及对应的标签类别，训练特征提取网络模型，得到稳定的特征提取网络模型，所述所有的视频片段包括各类行为的时间序列片段及摔倒逆序动作视频片段；
步骤4、通过所述稳定的特征提取网络模型对输入的视频的标签类别进行判断，若视频输入后得到的标签类别属于摔倒类别，同时逆序后的视频片段属于训练中新增的标签类别时，则判定该视频片段为摔倒动作。
6.根据权利要求5所述的基于原子性动作时序特性的摔倒行为识别方法，其特征在于，步骤2中，所述特征提取网络模型为TSN网络模型或ECO网络模型。
7.根据权利要求5或6所述的基于原子性动作时序特性的摔倒行为识别方法，其特征在于，步骤3中，所述训练特征提取网络模型，得到稳定的特征提取网络模型，其具体步骤为：
步骤301、读取正常行为的时间序列视频片段和摔倒行为的时间序列视频片段以及对应的标签类别，并将摔倒行为的时间序列视频片段传输至逆序模块；
步骤302、通过所述逆序模块对摔倒行为的时间序列视频片段进行逆序操作，生成摔倒逆序动作视频片段，同时将摔倒逆序动作视频片段给予新的标签类别，并将所有的视频片段分别送入到特征提取网络模型中；
步骤303、当特征提取网络模型接收到所述所有的视频片段时，抽取所有的视频片段中相应的特征，并将特征层进行分类，结合输入视频片段的标签类别计算对应的损失函数，同时将损失函数进行反向传播，对特征提取网络模型的参数进行优化，经过多次的训练以后，最终得到稳定的特征提取网络模型。
8.根据权利要求7所述的基于原子性动作时序特性的摔倒行为识别方法，其特征在于，步骤303中，所述损失函数为softmax损失函数。
9.根据权利要求5所述的基于原子性动作时序特性的摔倒行为识别方法，其特征在于，步骤4具体为：当有视频输入时，通过所述稳定的特征提取网络模型读取输入视频的视频流数据，将视频流数据按照所需要的帧数组织成视频片段，并将视频片段中的正常行为的时间序列视频片段、摔倒行为的时间序列视频片段及摔倒逆序动作视频片段均输入至所述稳定的特征提取网络模型，经过所述稳定的特征提取网络模型的处理，若视频输入后得到的标签类别属于摔倒类别，同时逆序后的视频片段属于训练中新增的标签类别时，则判定该视频片段为摔倒动作。
10.根据权利要求5或9所述的基于原子性动作时序特性的摔倒行为识别方法，其特征在于，步骤4中，还包括：预先设定所有的视频片段分别对应标签类别的分数值阈值，经过所述稳定的特征提取网络模型的处理后，通过损失函数计算所有的视频片段分别对应标签类别的分数值；
当计算得到的与正常行为的时间序列视频片段对应的分数值在其预先设定的标签类别分数值阈值范围内时，则判定输入的视频为正常行为；
当计算得到的与摔倒行为的时间序列视频片段对应的分数值在其预先设定的标签类别分数值阈值范围内，且计算得到的与摔倒逆序动作视频片段对应的分数值在其预先设定的标签类别分数值阈值范围时，则判定输入的视频为摔倒行为。
CN202010740679.3A 2020-07-29 2020-07-29 基于原子性动作时序特性的摔倒行为识别系统及方法 Active CN111626273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010740679.3A CN111626273B (zh) 2020-07-29 2020-07-29 基于原子性动作时序特性的摔倒行为识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010740679.3A CN111626273B (zh) 2020-07-29 2020-07-29 基于原子性动作时序特性的摔倒行为识别系统及方法

Publications (2)

Publication Number Publication Date
CN111626273A true CN111626273A (zh) 2020-09-04
CN111626273B CN111626273B (zh) 2020-12-22

Family

ID=72272203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010740679.3A Active CN111626273B (zh) 2020-07-29 2020-07-29 基于原子性动作时序特性的摔倒行为识别系统及方法

Country Status (1)

Country Link
CN (1) CN111626273B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931713A (zh) * 2020-09-21 2020-11-13 成都睿沿科技有限公司 一种异常行为检测方法、装置、电子设备及存储介质
WO2022216671A1 (en) * 2021-04-06 2022-10-13 Nec Laboratories America, Inc. Temporal augmentation for training video reasoning system

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030023910A1 (en) * 2001-07-25 2003-01-30 Myler Harley R. Method for monitoring and automatically correcting digital video quality by reverse frame prediction
US7613324B2 (en) * 2005-06-24 2009-11-03 ObjectVideo, Inc Detection of change in posture in video
CN103106064A (zh) * 2011-11-09 2013-05-15 腾讯科技（深圳）有限公司 一种复杂时序处理队列的动态预测的方法及装置
CN105844269A (zh) * 2016-06-14 2016-08-10 中山大学 用于摔倒检测的信息处理方法和系统
US20170309031A1 (en) * 2016-04-25 2017-10-26 Futurewei Technologies, Inc. Real time digital video stabilization
CN107480642A (zh) * 2017-08-18 2017-12-15 深圳市唯特视科技有限公司 一种基于时域分段网络的视频动作识别方法
CN107609477A (zh) * 2017-08-09 2018-01-19 五邑大学 一种基于深度学习与智能手环相结合的摔倒检测方法
CN108154113A (zh) * 2017-12-22 2018-06-12 重庆邮电大学 基于全卷积网络热度图的跌倒事件检测方法
CN109214285A (zh) * 2018-08-01 2019-01-15 浙江深眸科技有限公司 基于深度卷积神经网络与长短期记忆网络的摔倒检测方法
CN109784269A (zh) * 2019-01-11 2019-05-21 中国石油大学(华东) 一种基于时空联合的人体动作检测和定位方法
CN109886068A (zh) * 2018-12-20 2019-06-14 上海至玄智能科技有限公司 基于运动数据的动作行为识别方法
CN110263650A (zh) * 2019-05-22 2019-09-20 北京奇艺世纪科技有限公司 行为类别检测方法、装置、电子设备和计算机可读介质
CN110503063A (zh) * 2019-08-28 2019-11-26 东北大学秦皇岛分校 基于沙漏卷积自动编码神经网络的跌倒检测方法
CN110516536A (zh) * 2019-07-12 2019-11-29 杭州电子科技大学 一种基于时序类别激活图互补的弱监督视频行为检测方法
CN110555343A (zh) * 2018-06-01 2019-12-10 北京师范大学 典型资源要素中林、灌、草三要素提取方法和系统
CN110689041A (zh) * 2019-08-20 2020-01-14 陈羽旻 一种多目标行为动作识别预测方法、电子设备及存储介质
CN110765860A (zh) * 2019-09-16 2020-02-07 平安科技（深圳）有限公司 摔倒判定方法、装置、计算机设备及存储介质
CN110946585A (zh) * 2019-11-21 2020-04-03 上海理工大学 一种基于数据融合和bp神经网络的跌倒检测系统及方法
CN111291699A (zh) * 2020-02-19 2020-06-16 山东大学 基于监控视频时序动作定位和异常检测的变电站人员行为识别方法
US20200211154A1 (en) * 2018-12-30 2020-07-02 Altumview Systems Inc. Method and system for privacy-preserving fall detection

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030023910A1 (en) * 2001-07-25 2003-01-30 Myler Harley R. Method for monitoring and automatically correcting digital video quality by reverse frame prediction
US7613324B2 (en) * 2005-06-24 2009-11-03 ObjectVideo, Inc Detection of change in posture in video
CN103106064A (zh) * 2011-11-09 2013-05-15 腾讯科技（深圳）有限公司 一种复杂时序处理队列的动态预测的方法及装置
US20170309031A1 (en) * 2016-04-25 2017-10-26 Futurewei Technologies, Inc. Real time digital video stabilization
CN105844269A (zh) * 2016-06-14 2016-08-10 中山大学 用于摔倒检测的信息处理方法和系统
CN107609477A (zh) * 2017-08-09 2018-01-19 五邑大学 一种基于深度学习与智能手环相结合的摔倒检测方法
CN107480642A (zh) * 2017-08-18 2017-12-15 深圳市唯特视科技有限公司 一种基于时域分段网络的视频动作识别方法
CN108154113A (zh) * 2017-12-22 2018-06-12 重庆邮电大学 基于全卷积网络热度图的跌倒事件检测方法
CN110555343A (zh) * 2018-06-01 2019-12-10 北京师范大学 典型资源要素中林、灌、草三要素提取方法和系统
CN109214285A (zh) * 2018-08-01 2019-01-15 浙江深眸科技有限公司 基于深度卷积神经网络与长短期记忆网络的摔倒检测方法
CN109886068A (zh) * 2018-12-20 2019-06-14 上海至玄智能科技有限公司 基于运动数据的动作行为识别方法
US20200211154A1 (en) * 2018-12-30 2020-07-02 Altumview Systems Inc. Method and system for privacy-preserving fall detection
CN109784269A (zh) * 2019-01-11 2019-05-21 中国石油大学(华东) 一种基于时空联合的人体动作检测和定位方法
CN110263650A (zh) * 2019-05-22 2019-09-20 北京奇艺世纪科技有限公司 行为类别检测方法、装置、电子设备和计算机可读介质
CN110516536A (zh) * 2019-07-12 2019-11-29 杭州电子科技大学 一种基于时序类别激活图互补的弱监督视频行为检测方法
CN110689041A (zh) * 2019-08-20 2020-01-14 陈羽旻 一种多目标行为动作识别预测方法、电子设备及存储介质
CN110503063A (zh) * 2019-08-28 2019-11-26 东北大学秦皇岛分校 基于沙漏卷积自动编码神经网络的跌倒检测方法
CN110765860A (zh) * 2019-09-16 2020-02-07 平安科技（深圳）有限公司 摔倒判定方法、装置、计算机设备及存储介质
CN110946585A (zh) * 2019-11-21 2020-04-03 上海理工大学 一种基于数据融合和bp神经网络的跌倒检测系统及方法
CN111291699A (zh) * 2020-02-19 2020-06-16 山东大学 基于监控视频时序动作定位和异常检测的变电站人员行为识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DINESH JACKSON SAMUEL R.等: "Real time violence detection framework for football stadium comprising of big data analysis and deep learning through bidirectional LSTM", 《COMPUTER NETWORKS》 *
LAILA ALHIMALE等: "The implementation of an intelligent and video-based fall detectionsystem using a neural network", 《APPLIED SOFT COMPUTING》 *
Y T. NGO等: "Study On Fall Detection Based On Intelligent Video Analysis", 《THE 2012 INTERNATIONAL CONFERENCE ON ADVANCED TECHNOLOGIES FOR COMMUNICATIONS》 *
佟丽娜等: "基于时序分析的人体摔倒预测方法", 《模式识别与人工智能》 *
刘英博等: "基于可逆序视频的视频纹理合成方法的研究", 《系统仿真学报》 *
孙亚龙: "基于视频时态信息演化的人体行为识别的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931713A (zh) * 2020-09-21 2020-11-13 成都睿沿科技有限公司 一种异常行为检测方法、装置、电子设备及存储介质
WO2022216671A1 (en) * 2021-04-06 2022-10-13 Nec Laboratories America, Inc. Temporal augmentation for training video reasoning system

Also Published As

Publication number Publication date
CN111626273B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN105448041B (zh) 一种人体摔倒智能控制系统及其方法
Doukas et al. Advanced patient or elder fall detection based on movement and sound data
CN105760861B (zh) 一种基于深度数据的癫痫发作监控方法及系统
CN110287825B (zh) 一种基于关键骨骼点轨迹分析的摔倒动作检测方法
CN111626273B (zh) 基于原子性动作时序特性的摔倒行为识别系统及方法
CN106725445B (zh) 一种脑电波控制的便携式人体运动损伤监护系统与方法
CN108958482B (zh) 一种基于卷积神经网络的相似性动作识别装置及方法
CN106887115A (zh) 一种老人跌倒监测装置及跌倒风险评估方法
CN108257352B (zh) 一种基于智能穿戴设备的跌倒检测预警方法
Zhao et al. Recognition of human fall events based on single tri-axial gyroscope
CN114469076B (zh) 一种融合身份特征的独居老人跌倒识别方法及系统
CN105303183B (zh) 一种基于穿戴设备的儿童姿态识别分析系统和方法
CN104068868A (zh) 一种基于机器视觉的驾驶人疲劳监测方法及装置
CN111460978B (zh) 一种基于动作判定传感器和深度学习技术的幼儿行为监控系统及其判定方法
CN105989694A (zh) 一种基于三轴加速度传感器的人体跌倒检测方法
Jatesiktat et al. An elderly fall detection using a wrist-worn accelerometer and barometer
Gjoreski et al. Context-based fall detection and activity recognition using inertial and location sensors
Martínez-Villaseñor et al. Deep learning for multimodal fall detection
CN110737201A (zh) 一种监护方法、装置、存储介质及空调
CN114999643A (zh) 一种基于WiFi的老人智能监护方法
CN105551191B (zh) 一种跌倒检测方法
CN117173784B (zh) 婴幼儿翻身动作检测方法、装置、设备及存储介质
CN109620241B (zh) 一种可穿戴设备及基于其的动作监测方法
Dai Vision-based 3d human motion analysis for fall detection and bed-exiting
Wang et al. Fall detection based on convolutional neural networks using smart insole

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant