CN107220604A - 一种基于视频的跌倒检测方法 - Google Patents

一种基于视频的跌倒检测方法 Download PDF

Info

Publication number
CN107220604A
CN107220604A CN201710353563.2A CN201710353563A CN107220604A CN 107220604 A CN107220604 A CN 107220604A CN 201710353563 A CN201710353563 A CN 201710353563A CN 107220604 A CN107220604 A CN 107220604A
Authority
CN
China
Prior art keywords
mrow
network
human body
msup
msub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710353563.2A
Other languages
English (en)
Inventor
袁克虹
仪永建
申代友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN201710353563.2A priority Critical patent/CN107220604A/zh
Publication of CN107220604A publication Critical patent/CN107220604A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

一种基于视频的跌倒检测方法，包括以下步骤：S1、对视频图像进行处理，识别和定位图像中的人体区域；S2、针对所述人体区域进行基于级联回归网络的关节点提取，得到一组人体关节点，其中第一级网络后级联了多个相同结构的回归网络，用来精调人体关节点的坐标位置；S3、将每个人体关节点的运动向量作为人体运动的特征，通过分析关节点的变化，来动态分析人体是否发生跌倒。使用本发明的基于视频的跌倒检测方法,能够通过对视频图像的分析，准确、便捷地判断出独居老人的跌倒情况。

Description

一种基于视频的跌倒检测方法
技术领域
本发明涉及图像识别，特别是涉及一种基于视频的跌倒检测方法。
背景技术
随着经济的迅猛发展，科技的日益进步，先进医疗技术的应用，公共卫生水平提高，人均寿命延长。另一方面育儿费用提高、生产生活节奏的加快、生活压力加大，造成生育率不断下降，从而导致我国老龄化问题日益严重。
跌倒已经成为老年人生活中最多也最严重的安全问题之一，室内的跌倒率远高于室外，世界卫生组织报告指出，全球每年有30余万人死于跌倒，其中一半是60岁以上老人。跌倒是我国65岁以上老年人伤害死亡的首位原因。根据另外一项数据统计，老年人跌倒之后造成的损伤不仅仅是由于跌倒过程中造成的，更多的方面还在于跌倒之后没有进行及时的救助产生的。对于独居老人，一旦跌倒不能及时发现的话，很可能会造成严重的后果。
目前，随着摄像头制造成本的下降和互联网的普及，网络摄像头已经逐渐在普通民众家里得到使用，用户可以通过客户端在远程实时观看家里发生的一切情况，对于需要工作不能全天照看老人的子女，使用网络摄像头可以实时远程监护独居的老人，如果发现突发情况可以得到相对及时的处理，但是这种方法的缺点是需要频繁的查看影像，这样需要耗费大量的精力，不能全身心的投入工作，如果老人跌倒可能不能及时发现，往往会造成非常严重的后果，所以人工监控的方法效率低甚至耽误处理时间。
近几年来，深度学习在图像识别、目标检测、语义分割等领域取得了突破性的进展，深度学习与传统模式识别方法的最大不同在于它是从大数据中自动学习特征，而非采用手工设计的特征。好的特征可以极大提高模式识别系统的性能。
在目前研究领域，可穿戴式传感器检测跌倒的发明成果较多。但是需要长时间佩戴设备，这样会给老年人带来极大的不便。基于环境布设传感器进行跌倒检测，可以不适用穿戴式设备，减小了老人的负担，同时还可以取得比较好的检测效果。但是受外界干扰比较大，容易发生误报的情况，给监护者带来较大的麻烦。使用Kinect摄像机采集深度图像进行跌倒检测的方法具有很高的精确度和很好的鲁棒性。但是Kinect的价格是网络摄像头的四倍以上，而且对数据处理的资源要求较高，对于跌倒这一低概率时间来说，成本太高。因此研制一款低成本，且准确率较高的跌倒检测方法是十分必要的。
发明内容
本发明的主要目的在于针对现有技术的不足，提供一种基于视频的跌倒检测方法,能够准确、便捷地监护独居老人。
为实现上述目的，本发明采用以下技术方案：
一种基于视频的跌倒检测方法，包括以下步骤：
S1、对视频图像进行处理，识别和定位图像中的人体区域；
S2、针对所述人体区域进行基于级联回归网络的关节点提取，得到一组人体关节点，其中第一级网络后级联了多个相同结构的回归网络，用来精调人体关节点的坐标位置；
S3、将每个人体关节点的运动向量作为人体运动的特征，通过分析关节点的变化，来动态分析人体是否发生跌倒。
进一步地：
步骤S1中，采用高斯背景建模方法，对静态的背景进行建模，并提取运动的前景区域，对该区域通过深度卷积神经网络进行识别，判断是否为人体区域。
步骤S1包括：
对背景进行建模，对视频的每一帧图像用高斯混合模型进行模拟；
建好模型以后，对视频的每一帧图像的每个像素进行匹配，若是匹配则是背景，否则为前景；
提取到运动前景区域后，生成的图像为二值图像，前景区域像素值为255，背景区域像素值为0；
使用连通区域标记法提取前景区域；
筛选提取到的区域，计算所有提取到的区域的面积，与设定的面积的阈值比较，将不符合的剔除出候选集；
计算区域的长宽比，与设定的长宽比阈值比较，将不符合的剔除出候选集；
将提取的到候选集区域映射到原图像中，从而生成矩形的候选框。
每一级所述深度卷积神经网络由5层结构组成，每一层都包括可学习的参数，该网络的前3层为特征提取层，每个特征提取层都包含了卷积层、激活层和池化层，其中激活层优选使用ReLU函数；该网络的最后两层为全连接层，并添加有Softmax函数，用来将网络的输出转化为类别的概率，如式(1)所示；
优选地，网络的训练采用Negitive log-likelihood作为损失函数，如式(2)所示；
yi＝softmax(zi) (1)
其中，zi为网络最后全连接层的输出向量，对应第i个类别；yi输出类别的概率值；ti是数据第i个类别的标签；优选地，使用随机梯度下降法优化目标函数J。
步骤S2中，将关节点相对于整幅图像的关节点坐标标准化为相对于人体包含框的坐标，将其数值标准化在0到1之间；其中定义人体包含框的中心坐标为其中，为2维坐标点向量，同时定义包含框的宽度和高度分别为bw和bh，人体包含框定义为b＝(bc,bw,bh)；根据人体包含框b的中心坐标和尺寸使用式(3)将关节点坐标进行并准化；
对于关节点相对于人体包含框的坐标向量K和关节点相对于整幅图像的坐标向量K*，向量表示第i个关节点坐标(x,y)，其中i∈{1,…,k}，Ki *为相对于整幅图像的第i个关节点坐标；由此可以得到标准化后的人体关节点向量N(K*；b)＝(…,N(Ki *；b)T,…)T；
通过求解模型K＝ψ(X；θ),来估计人体关节点，其中,为2k维坐标点向量，X为裁剪后的输入图像，θ表示整个模型的参数；根据式(4)预测得到最终相对于整幅图像的坐标向量
N-1为相对于式(3)的相反过程。
使用多层卷积神经网络拟合复杂的非线性模型ψ(·)；其中每一级网络由7层结构组成，该网络的前5层为特征提取层，每个特征提取层均包括卷积层、激活层和池化层，优选地，激活函数为ReLU，该网络的后两层为两个全连接层，在网络中起到将前面的卷积层提取到的“分布式特征表示”映射到样本标记空间的作用；优选地，全连接层使用的激活函数与卷积层相同，为ReLU。
在网络训练中，该模型最后一个全连接层添加的损失函数为欧式距离损失函数如式(5)，通过网络训练改变可学习参数，来最小化网络输出的预测关节点坐标向量与真实关节点坐标向量的欧氏距离；
其中，ψ(·)为网络模型，θ为网络模型的参数，X为从原数据集D中的图像X*中裁剪出的包含人体的图像，在训练过程中对所有坐标进行标准化，即K＝N(K*)，标准化后的数据集为DN，网络模型的输出与关节点坐标向量K维度相同，为2k维。
级联回归网络共为S级，记为s∈{1,2,…,S}；为第i个关节点的第s级精调网络的网络参数，为第i个关节点通过第s-1级精调网络精调后的关节点坐标为中心，裁剪出的矩形框，每一级的模型表示为定义以关节点Ki为中心的矩形框bi(K:σ)＝(Ki,σdiam(K),σdiam(K))，其中，diam(K)为人体躯干的长度，σ为控制矩形框尺寸的比例系数；
使用包含整个人体的矩形框b0作为初始化网络的输入，即输入为X0，得到粗略估计的人体关节点向量如下式所示：
其中，N-1(·)将相对于人体矩形框的归一化坐标转换为相对于整幅图像的坐标，为网络预测出的关节点坐标，X0表示初始化网络的输入，即第0级网络输入，θ0为初始化网络的参数，即第0级网络的参数；
在接下来的第s级第i个关节点对应的网络中，网络输入为网络输出为其中表示第s级第i个关节点对应的网络预测出的关节点坐标，该坐标点是相对于整幅图像的，表示为网络输出为坐标点的偏差值；第s-1级得到的关节点坐标直接计算出的值，计算方法如下式所示：
在步骤S3中，分析该模型的8个关节点的变化，定义每个关节点的运动向量为ωj＝{ψj，θj}，其中，ψj为第j个关节点变化向量的模值，θj为第j个关节点变化向量的方向，θ∈(-π,π)；
将所有关节点的运动向量联合起来，组成一个反应身体运动状态的特征Ω，每个特征中包含n帧信息，Ω表示如下：
其中为身体8个关节点第n帧的运动特征向量；
提取跌倒视频片段的运动状态的特征，作为跌倒的样本；再提取正常活动状态下的视频片段的运动状态的特征，作为正常行为的样本；使用上述数据训练Adaboost分类器，并使用该分类器识别人体是否跌倒。
本发明的有益效果：
本发明的跌倒检测方法可以快速准确的检测识别出人体，使用深度学习的方法提取人体关节点，通过分析关节点的变化来检测人体的运动状态，判断是否发生跌倒。本发明的跌倒检测方法能够用于准确、便捷地监护独居老人，满足监护人对独居老人的监护需求。本发明能够使在家庭中普及的网络摄像头变得智能化，能够实时准确地监护独居老人，识别跟踪老人的活动，对出现的意外跌倒情况进行及时地报警。基于本发明的方法，可以将可能出现的跌倒情况及时地发送至监护人的客户端，从而进行及时的救治。
附图说明
图1为本发明基于视频的跌倒检测方法的流程图；
图2为本发明实施例中的人体检测算法流程图；
图3为本发明实施例中的人体识别网络结构图；
图4为本发明实施例中的第1级人体关节点估计模型网络结构；
图5为本发明实施例中的第s级人体关节点估计模型网络结构。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
参阅图1，在一种实施例中，基于视频的跌倒检测方法包括：人体检测、基于级联回归网络的关节点提取、基于关节点的跌倒检测。
人体检测是在视频图像中，识别定位到人体区域，以便于后续关节点定位。本发明实施例中选择灵明度高、鲁棒性好、计算量小的高斯背景建模方法，对静态的背景进行建模，并提取运动的前景区域，对该区域通过卷积神经网络进行识别，判断是否为人体。
基于级联回归网络的关节点提取中，将关节点检测问题视为回归问题，但是由于图像尺寸的限制，仅仅使用一个网络得到的定位点精度不高，所以在第一级网络后级联了多个相同结构的回归网络，用来精调坐标点的位置。这样就可以得到一组人体关节点，组成了人体骨架模型。
在基于人体骨架模型关节点的跌倒检测过程中，通过分析该模型的关节点的变化，来动态分析人体是否发生跌倒，将每个关节点的运动向量作为人体运动的特征。优选地，使用Adaboost分类器进行分类，判断是否发生跌倒。
1.人体检测
在检测人体跌倒的过程中，首要的任务就是在视频画面中检测到人体所处的区域。本发明实施例采用经典高斯混合模型背景建模与前景检测检测运动区域。再采用深度神经网络对运动区域进行分类，识别是否为人体。主要步骤如图2所示。高斯混合模型背景建模与前景检测的主要步骤是把图像中的每个像素点的值用K个高斯分布叠加进行表示。将像素点的值X视为随机变量。首先，对背景进行建模，对视频的每一帧图像用高斯混合模型进行模拟。建好模型以后，对视频的每一帧图像的每个像素进行匹配，若是匹配则是背景，否则为前景。提取到运动前景区域后，生成的图像为二值图像，前景区域像素值为255，背景区域像素值为0。使用连通区域标记法提取前景区域。筛选提取到的区域，计算所有提取到的团的面积，与设定的面积的阈值比较，不符合的剔除候选集。计算长宽比，不符合阈值的剔除候选集。将提取的到候选集区域映射到原图像中，从而生成矩形的候选框。
使用卷积神经网络对人体进行分类。如图3所示，该网络由5层结构组成，每一层都包括可学习的参数。该网络的输入是尺寸为64×64的RGB图像。前3层为特征提取层，每个特征提取层都包含了卷积层、激活层和池化层。激活层选择使用ReLU函数，主要是为了给网络引入非线性特征，同时还可以减小计算量，降低梯度消失，提高了网络训练的速度。池化层选择为最大池化方式，可以保留图像更多的纹理信息。最后两层为全连接层，并添加了Softmax函数用来将网络的输出转化为类别的概率，如式(1)所示。具体网络参数如表1所示。
在训练中，为了优化网络参数，这里选择Negitive log-likelihood作为损失函数，如式(2)所示：
yi＝softmax(zi) (1)
其中，zi为网络最后全连接层的输出向量，对应第i个类别。yi输出类别的概率值。ti是数据第i个类别的标签。我们使用随机梯度下降法优化目标函数minJ。
2.基于级联回归网络的关节点提取
关节点坐标预处理，为了方便在下文中表示关节点坐标，我们将k个关节点表示为向量其中i∈{1,…,k}，Ki为其中第i个关节点坐标(x,y)。
关节点坐标是相对于整幅图像的坐标，我们将其标准化为相对于人体包含框的坐标，将其数值标准化在0到1之间，这样有利于提高预测坐标的精度，并且有助于使用反向传播方法训练网络，防止反向传播过大的误差值导致网络收敛于局部点，可以提高网络训练的成功率。首先定义人体包含框的表示方法，定义包含框的中心坐标为同时定义包含框的宽度和高度分别为bw和bh，那么包含框可以定义为b＝(bc,bw,bh)。根据包含框b的中心坐标和尺寸可以使用式(3)将关节点坐标进行并准化。
其中，K为相对于人体包含框的坐标向量，K*为相对于整幅图像的坐标向量，由此可以得到标准化后的人体关节点向量N(K*；b)＝(…,N(Ki *；b)T,…)T。
在估计人体关节点的过程中，我们将其视为线性回归问题。我们将整个过程定义为求解模型K＝ψ(X；θ),的过程,其中X为裁剪后的输入图像，K为标准化后的关节点坐标向量，θ表示整个模型的参数。根据如下式我们可以预测得到最终相对于整幅图像的坐标向量
N-1为相对于式(3)的相反过程。
在过去传统的人体关节点预测的方法中，常常使用人工设计的较为复杂的检测器，检测效果并不理想。在此处我们将模型ψ(·)视为一个复杂的非线性模型，并使用多层卷积神经网络拟合这个模型。因此我们设计了一个深层的卷积神经网络。使用预处理后的固定尺寸的整幅图像作为网络的输入，其中输入图像为3通道的彩色图像。该网络结构由7层结构组成。前5层为特征提取层，每个特征提取层都包括卷积层、激活层和池化层。在池化过程中，最大化池化方式相对于其他方式可以保留图像的更多纹理信息，所以池化方式选择为最大池化。激活函数选择为ReLU，选择该激活函数同时还可以减小计算量，降低梯度发散，提高网络训练的速度。最后两层结构为两个全连接层，在网络中起到将前面卷积层提取到的“分布式特征表示”映射到样本标记空间的作用，全连接层使用的激活函数与卷积层相同，为ReLU。最后的那个全连接层，维度为2k，可以直接输出维度为2k的人体关节点坐标向量。网络的结构如图4所示，具体参数如表2所示。
在模型训练中，和分类网络不同，该模型最后一个全连接层添加的损失函数为欧式距离损失函数，也就是均方根误差(MSE)。网络训练的目标是改变可学习参数以最小化网络输出的预测关节点坐标向量与真实关节点坐标向量的欧氏距离。损失函数如式(5)所示。
其中，ψ(·)为网络模型，θ为网络模型的参数，X为从原数据集D中的图像X*中裁剪出的包含人体的图像，在训练过程中对所有坐标进行标准化，即K＝N(K*)，标准化后的数据集为DN，网络模型的输出与关节点坐标向量K维度相同，为2k维。
在第一级网络粗略的定位到关节点位置后，增加下一级网络，输入图像以上一级网络估计到的关节点为中心进行裁剪，图像尺寸同样为224×224，可以使网络捕捉到更多的人体肢体轮廓的信息，提高定位的精度。通过多级网络的级联，最终可以得到更精确的关节点坐标。
为了保留上一级定位坐标的信息，我们使下一级回归网络输出为真实坐标与上一级网络预测出的坐标值的差值，而不是直接输出关节坐标点。每一级使用的网络参数与表1表示的网络除了最后一层全连接层输出不同外，其他结构基本一致。
定义级联网络共为S级，记为s∈{1,2,…,S}。定义每一级网络的可学习参数为θs，为第i个关节点通过第s-1级精调网络精调后的关节点坐标为中心，裁剪出的矩形框。因此每一级的模型可表示为即为了精调上一级预测出的第i个关节点Ki的坐标，我们定义以关节点Ki为中心的矩形框bi(K:σ)＝(Ki,σdiam(K),σdiam(K))，其中，diam(K)为人体躯干的长度，本文定义为右肩膀到左侧臀部的距离，该长度依赖于上一级网络估计出的关节点向量，σ为控制矩形框尺寸的比例系数。具体步骤如下：
首先，我们使用包含整个人体的矩形框b0作为初始化网络的输入，即输入为X0，这样可以得到粗略估计的人体关节点向量如下式所示。
其中，N-1(·)将相对于人体矩形框的归一化坐标转换为相对于整幅图像的]坐标。注意，为网络预测出的关节点坐标，而K*为数据集中标注好的关节点坐标。
在接下来的s级网络中，每个关节点i∈{1,…,k}都有一个网络进行精调其位置结构如图所示。
网络输入为网络输出为网络结构类似第1级的网络结构，如图5所示。
第s级估计的第i个人体关节点计算方法如下式所示。
同时我们也可以得到新的矩形框
在跌倒检测中，我们仅仅通过判断头顶、颈部、左右臀部、左右膝盖和左右脚踝处共8个关节点即可准确的判断人体是否跌倒。所以为了减小计算量，在第一级初始化所有16个关键点的粗略位置后，仅仅对上述8个关节点使用级联网络进行精调。我们可以从图像中得到八个人体关节点，即可将其组合为一个人体的骨架模型。
3.跌倒检测
我们通过分析该模型的8个关节点的变化，来动态分析人体是否发生跌倒，将每个关节点的运动向量作为人体运动的特征。定义运动向量为ωj＝{ψj，θj}。其中，ψj为第j个关节点变化向量的模值，θj为第j个关节点变化向量的方向，θ∈(-π,π)。那么可以得到N帧图像中，人体的连续运动状态。因此，定义运动特征为：
其中，为人体的第j个关节点在第i帧图像中的坐标相对于第i-1帧图像中关节点坐标的变化向量。表示身体关节点位置变化的幅度和变化的方向。在视频采集处理过程中，我们选择的频率为每秒10帧，这样，不仅可以反映出关节点变化的快慢程度，同时通过多个关节点变化向量的组合也可以反映出身体运动的趋势。因此，我们将人体骨架模型中所有关节点的运动向量联合起来，组成一个反应身体运动状态的特征Ω，假设每个特征中包含n帧信息，Ω表示如下。
我们从196个跌倒视频中剪切了196个跌倒片段，每一跌倒片段包含在10帧图像中，提取其关节点运动数据，提取其运动特征，作为跌倒的样本。再提取200个左右正常活动状态下的视频片段，提取其运动特征，作为正常行为的样本。使用上述数据训练Adaboost分类器。使用该分类器识别人体是否跌倒。
系统搭建
视频采集使用OpenCV的VideoCapture接口驱动摄像头，每秒从视频流里提取10帧分辨率为640*480图像，并进行压缩。与服务器端建立一个TCP连接，持续的将压缩后的图像传输给服务器端。此时服务器端作为一个数据中转站，将接收的数据转发给客户端。我们的图像处理服务器在此视为客户端角色。客户端与服务器端也建立一个TCP连接，服务器端将接收到的数据持续发送至客户端。客户端收到持续发送来的数据后，将数据还原成图像格式。此时就完成了视频图像的传输。
图像处理服务器可以持续的接收摄像头采集的数据，调用算法进行处理。处理流程如图1所示。
在系统中，视频采集使用微型电脑和其板载摄像头，将采集的视频发送至服务端，在服务器端使用上述算法处理视频，一旦检测到跌倒信息立刻将跌倒信息传送到用户的手机端。
当图像处理服务器的算法检测到跌倒发生时，将设备、跌倒信息、时间信息和图像使用Python的Urllib库以Post方式上传到用户数据服务器端的Http接口，上传成功后返回成功信息。用户数据服务器端，使用PHP接收到设备端上传的信息，根据用户注册的设备信息查找到注册的用户，根据用户注册时的手机App ID进行信息推送，使用第三方的SDK工具推送信息包括图片的网络地址和跌倒信息。通过这种方式，用户可以接收到家里发生的跌倒情况和图像。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于视频的跌倒检测方法，其特征在于,包括以下步骤：
S1、对视频图像进行处理，识别和定位图像中的人体区域；
S2、针对所述人体区域进行基于级联回归网络的关节点提取，得到一组人体关节点，其中第一级网络后级联了多个相同结构的回归网络，用来精调人体关节点的坐标位置；
S3、将每个人体关节点的运动向量作为人体运动的特征，通过分析关节点的变化，来动态分析人体是否发生跌倒。
2.如权利要求1所述的跌倒检测方法，其特征在于,步骤S1中，采用高斯背景建模方法，对静态的背景进行建模，并提取运动的前景区域，对该区域通过深度卷积神经网络进行识别，判断是否为人体区域。
3.如权利要求2所述的跌倒检测方法，其特征在于,步骤S1包括：
对背景进行建模，对视频的每一帧图像用高斯混合模型进行模拟；
建好模型以后，对视频的每一帧图像的每个像素进行匹配，若是匹配则是背景，否则为前景；
提取到运动前景区域后，生成的图像为二值图像，前景区域像素值为255，背景区域像素值为0；
使用连通区域标记法提取前景区域；
筛选提取到的区域，计算所有提取到的区域的面积，与设定的面积的阈值比较，将不符合的剔除出候选集；
计算区域的长宽比，与设定的长宽比阈值比较，将不符合的剔除出候选集；
将提取的到候选集区域映射到原图像中，从而生成矩形的候选框。
4.如权利要求2至3任一项所述的跌倒检测方法，其特征在于,
每一级所述深度卷积神经网络由5层结构组成，每一层都包括可学习的参数，该网络的前3层为特征提取层，每个特征提取层都包含了卷积层、激活层和池化层，其中激活层优选使用ReLU函数；该网络的最后两层为全连接层，并添加有Softmax函数，用来将网络的输出转化为类别的概率，如式(1)所示；
优选地，网络的训练采用Negitive log-likelihood作为损失函数，如式(2)所示；
yi＝softmax(zi) (1)
<mrow> <mi>J</mi> <mo>=</mo> <mo>-</mo> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <msub> <mi>t</mi> <mi>i</mi> </msub> <msub> <mi>logy</mi> <mi>i</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中，zi为网络最后全连接层的输出向量，对应第i个类别；yi输出类别的概率值；ti是数据第i个类别的标签；优选地，使用随机梯度下降法优化目标函数J。
5.如权利要求1至4任一项所述的跌倒检测方法，其特征在于,
步骤S2中，将关节点相对于整幅图像的关节点坐标标准化为相对于人体包含框的坐标，将其数值标准化在0到1之间；其中定义人体包含框的中心坐标为其中，为2维坐标点向量，同时定义包含框的宽度和高度分别为bw和bh，人体包含框定义为b＝(bc,bw,bh)；根据人体包含框b的中心坐标和尺寸使用式(3)将关节点坐标进行并准化；
<mrow> <msub> <mi>K</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>N</mi> <mrow> <mo>(</mo> <msup> <msub> <mi>K</mi> <mi>i</mi> </msub> <mo>*</mo> </msup> <mo>;</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mfrac> <mn>1</mn> <msub> <mi>b</mi> <mi>w</mi> </msub> </mfrac> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mfrac> <mn>1</mn> <msub> <mi>b</mi> <mi>h</mi> </msub> </mfrac> </mtd> </mtr> </mtable> </mfenced> <mrow> <mo>(</mo> <msup> <msub> <mi>K</mi> <mi>i</mi> </msub> <mo>*</mo> </msup> <mo>-</mo> <msub> <mi>b</mi> <mi>c</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
对于关节点相对于人体包含框的坐标向量K和关节点相对于整幅图像的坐标向量K*，向量表示第i个关节点坐标(x,y)，其中i∈{1,…,k}，Ki *为相对于整幅图像的第i个关节点坐标；由此可以得到标准化后的人体关节点向量N(K*；b)＝(…,N(K　i *；b)T,…)T；
通过求解模型来估计人体关节点，其中,为2k维坐标点向量，X为裁剪后的输入图像，θ表示整个模型的参数；根据式(4)预测得到最终相对于整幅图像的坐标向量
<mrow> <msup> <mover> <mi>K</mi> <mo>~</mo> </mover> <mo>*</mo> </msup> <mo>=</mo> <msup> <mi>N</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mi>&amp;psi;</mi> <mo>(</mo> <mrow> <mi>X</mi> <mo>;</mo> <mi>&amp;theta;</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
N-1为相对于式(3)的相反过程。
6.如权利要求5所述的跌倒检测方法，其特征在于,
使用多层卷积神经网络拟合复杂的非线性网络模型ψ(·)；其中每一级网络由7层结构组成，该网络的前5层为特征提取层，每个特征提取层均包括卷积层、激活层和池化层，优选地，激活函数为ReLU，该网络的后两层为两个全连接层，在网络中起到将前面的卷积层提取到的“分布式特征表示”映射到样本标记空间的作用；优选地，全连接层使用的激活函数与卷积层相同，为ReLU。
7.如权利要求6所述的跌倒检测方法，其特征在于,
在网络训练中，该模型最后一个全连接层添加的损失函数为欧式距离损失函数如式(5)，通过网络训练改变可学习参数，来最小化网络输出的预测关节点坐标向量与真实关节点坐标向量的欧氏距离；
<mrow> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>&amp;theta;</mi> </munder> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>X</mi> <mo>,</mo> <mi>K</mi> <mo>)</mo> <mo>&amp;Element;</mo> <msub> <mi>D</mi> <mi>N</mi> </msub> </mrow> </munder> <mo>|</mo> <mo>|</mo> <mi>K</mi> <mo>-</mo> <mi>&amp;psi;</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>;</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
其中，ψ(·)为网络模型，θ为网络模型的参数，X为从原数据集D中的图像X*中裁剪出的包含人体的图像，在训练过程中对所有坐标进行标准化，即K＝N(K*)，标准化后的数据集为DN，网络模型的输出与关节点坐标向量K维度相同，为2k维。
8.如权利要求6所述的跌倒检测方法，其特征在于,
级联回归网络共为S级，记为s∈{1,2,…,S}；为第i个关节点的第s级精调网络的网络参数，为第i个关节点通过第s-1级精调网络精调后的关节点坐标为中心，裁剪出的矩形框，每一级的模型表示为定义以关节点Ki为中心的矩形框bi(K:σ)＝(Ki,σdiam(K),σdiam(K))，其中，diam(K)为人体躯干的长度，σ为控制矩形框尺寸的比例系数；
使用包含整个人体的矩形框b0作为初始化网络的输入，即输入为X0，得到粗略估计的人体关节点向量如下式所示：
<mrow> <msup> <mover> <mi>K</mi> <mo>~</mo> </mover> <mrow> <mo>*</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <msup> <mi>N</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mi>&amp;psi;</mi> <mo>(</mo> <mrow> <msup> <mi>X</mi> <mn>0</mn> </msup> <mo>;</mo> <msup> <mi>&amp;theta;</mi> <mn>0</mn> </msup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> 2
其中，N-1(·)将相对于人体矩形框的归一化坐标转换为相对于整幅图像的坐标，为网络预测出的关节点坐标，X0表示初始化网络的输入，即第0级网络输入，θ0为初始化网络的参数，即第0级网络的参数；
在接下来的第s级第i个关节点对应的网络中，网络输入为网络输出为其中表示第s级第i个关节点对应的网络预测出的关节点坐标，该坐标点是相对于整幅图像的，表示为网络输出为坐标点的偏差值；第s-1级得到的关节点坐标直接计算出的值，计算方法如下式所示：
<mrow> <msup> <mover> <mi>K</mi> <mo>~</mo> </mover> <mo>*</mo> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <mi>s</mi> </msup> <mo>=</mo> <msup> <mover> <mi>K</mi> <mo>~</mo> </mover> <mo>*</mo> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <mrow> <mi>s</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>+</mo> <mi>&amp;psi;</mi> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>s</mi> </msubsup> <mo>;</mo> <msubsup> <mi>&amp;theta;</mi> <mi>i</mi> <mi>s</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
9.如权利要求1至8任一项所述的跌倒检测方法，其特征在于，在步骤S3中，分析该模型的8个关节点的变化，定义每个关节点的运动向量为ωj＝{ψj，θj}，其中，ψj为第j个关节点变化向量的模值，θj为第j个关节点变化向量的方向，θ∈(-π,π)；
将所有关节点的运动向量联合起来，组成一个反应身体运动状态的特征Ω，每个特征中包含n帧信息，Ω表示如下：
其中为身体8个关节点第n帧的运动特征向量；
提取跌倒视频片段的运动状态的特征，作为跌倒的样本；再提取正常活动状态下的视频片段的运动状态的特征，作为正常行为的样本；使用上述数据训练Adaboost分类器，并使用该分类器识别人体是否跌倒。
CN201710353563.2A 2017-05-18 2017-05-18 一种基于视频的跌倒检测方法 Pending CN107220604A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710353563.2A CN107220604A (zh) 2017-05-18 2017-05-18 一种基于视频的跌倒检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710353563.2A CN107220604A (zh) 2017-05-18 2017-05-18 一种基于视频的跌倒检测方法

Publications (1)

Publication Number Publication Date
CN107220604A true CN107220604A (zh) 2017-09-29

Family

ID=59945402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710353563.2A Pending CN107220604A (zh) 2017-05-18 2017-05-18 一种基于视频的跌倒检测方法

Country Status (1)

Country Link
CN (1) CN107220604A (zh)

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107928675A (zh) * 2017-11-22 2018-04-20 王华锋 一种基于深度学习和红点激光相结合的人体躯干测量方法
CN108171181A (zh) * 2017-12-31 2018-06-15 南昌大学 一种适用于家居内的人体摔倒检测方法
CN108182410A (zh) * 2017-12-28 2018-06-19 南通大学 一种联合目标区域定位和深度特征学习的跌倒识别算法
CN108229305A (zh) * 2017-11-21 2018-06-29 北京市商汤科技开发有限公司 用于确定目标对象的外接框的方法、装置和电子设备
CN108275114A (zh) * 2018-02-27 2018-07-13 苏州清研微视电子科技有限公司 一种油箱防盗监控系统
CN108491762A (zh) * 2018-02-27 2018-09-04 浙江大华技术股份有限公司 一种人体跌倒的检测方法及装置
CN108549841A (zh) * 2018-03-21 2018-09-18 南京邮电大学 一种基于深度学习的老人跌倒行为的识别方法
CN108577849A (zh) * 2017-12-15 2018-09-28 华东师范大学 一种基于雾计算模型的生理机能检测方法
CN108629946A (zh) * 2018-06-14 2018-10-09 清华大学深圳研究生院 一种基于rgbd传感器的人体跌倒检测方法
CN108764030A (zh) * 2018-04-17 2018-11-06 中国地质大学（武汉） 一种老年人跌倒检测方法、设备及存储设备
CN108803341A (zh) * 2018-06-29 2018-11-13 炬大科技有限公司 一种基于扫地机器人的家庭安保监测系统及方法
CN108846996A (zh) * 2018-08-06 2018-11-20 浙江理工大学 一种摔倒侦测系统及方法
CN108875523A (zh) * 2017-12-28 2018-11-23 北京旷视科技有限公司 人体关节点检测方法、装置、系统和存储介质
CN108875614A (zh) * 2018-06-07 2018-11-23 南京邮电大学 一种基于深度学习图像处理的摔倒检测方法
CN108960056A (zh) * 2018-05-30 2018-12-07 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN108961675A (zh) * 2018-06-14 2018-12-07 江南大学 基于卷积神经网络的跌倒检测方法
CN108986407A (zh) * 2018-08-23 2018-12-11 浙江理工大学 一种用于独居老人的安全侦测系统及方法
CN109040693A (zh) * 2018-08-31 2018-12-18 上海赛特斯信息科技股份有限公司 智能告警系统及方法
CN109101943A (zh) * 2018-08-27 2018-12-28 寿带鸟信息科技（苏州）有限公司 一种用于检测老人跌倒的机器视觉方法
CN109389041A (zh) * 2018-09-07 2019-02-26 南京航空航天大学 一种基于关节点特征的跌倒检测方法
CN109635783A (zh) * 2019-01-02 2019-04-16 上海数迹智能科技有限公司 视频监控方法、装置、终端和介质
CN109784149A (zh) * 2018-12-06 2019-05-21 北京飞搜科技有限公司 一种人体骨骼关键点的检测方法及系统
CN109886102A (zh) * 2019-01-14 2019-06-14 华中科技大学 一种基于深度图像的跌倒行为时空域检测方法
WO2019114726A1 (zh) * 2017-12-14 2019-06-20 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备以及可读存储介质
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法
CN109920208A (zh) * 2019-01-31 2019-06-21 深圳绿米联创科技有限公司 跌倒预测方法、装置、电子设备及系统
CN110322659A (zh) * 2019-06-21 2019-10-11 江西洪都航空工业集团有限责任公司 一种烟雾检测方法
CN110334599A (zh) * 2019-05-31 2019-10-15 北京奇艺世纪科技有限公司 深度学习网络的训练方法、装置、设备和存储介质
CN110414620A (zh) * 2019-08-06 2019-11-05 厦门大学 一种语义分割模型训练方法、计算机设备及存储介质
CN110443150A (zh) * 2019-07-10 2019-11-12 思百达物联网科技(北京)有限公司 一种跌倒检测方法、装置、存储介质
CN110458061A (zh) * 2019-07-30 2019-11-15 四川工商学院 一种识别老年人跌倒的方法及陪伴机器人
CN110503125A (zh) * 2018-05-17 2019-11-26 国际商业机器公司 利用感受野中的运动进行动作检测
CN110532966A (zh) * 2019-08-30 2019-12-03 深兰科技（上海）有限公司 一种基于分类模型进行跌倒识别的方法及设备
CN111027417A (zh) * 2019-11-21 2020-04-17 复旦大学 基于人体关键点检测算法的步态识别方法及步态评估系统
CN111046701A (zh) * 2018-10-12 2020-04-21 深圳技威时代科技有限公司 一种摔倒检测方法及摔倒检测设备
CN111079518A (zh) * 2019-10-31 2020-04-28 高新兴科技集团股份有限公司 一种基于执法办案区场景下的倒地异常行为识别方法
CN111091060A (zh) * 2019-11-20 2020-05-01 吉林大学 基于深度学习的跌倒和暴力检测方法
CN111179281A (zh) * 2019-12-24 2020-05-19 广东省智能制造研究所 人体图像提取方法及人体动作视频提取方法
CN111209848A (zh) * 2020-01-03 2020-05-29 北京工业大学 一种基于深度学习的实时跌倒检测方法
WO2020107847A1 (zh) * 2018-11-28 2020-06-04 平安科技（深圳）有限公司 基于骨骼点的跌倒检测方法及其跌倒检测装置
CN111241940A (zh) * 2019-12-31 2020-06-05 浙江大学 一种机器人的远程控制方法、人体边界框确定方法及系统
CN111243229A (zh) * 2019-12-31 2020-06-05 浙江大学 一种老年人跌倒风险评估方法及系统
CN111274954A (zh) * 2020-01-20 2020-06-12 河北工业大学 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法
CN111339883A (zh) * 2020-02-19 2020-06-26 国网浙江省电力有限公司 复杂场景下基于人工智能的变电站内异常行为识别与检测方法
CN111444803A (zh) * 2020-03-18 2020-07-24 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111666857A (zh) * 2020-05-29 2020-09-15 平安科技（深圳）有限公司 基于环境语义理解的人体行为识别方法、装置及存储介质
US10783765B2 (en) 2018-09-13 2020-09-22 Wistron Corporation Falling detection method and electronic system using the same
CN112749642A (zh) * 2020-12-30 2021-05-04 苏州涟漪信息科技有限公司 一种识别跌倒的方法和装置
CN112784987A (zh) * 2019-01-29 2021-05-11 武汉星巡智能科技有限公司 基于多级神经网络级联的目标看护方法及装置
CN112819855A (zh) * 2020-12-31 2021-05-18 广州紫川电子科技有限公司 基于养老院的人员摔倒检测方法、设备及介质
CN113269033A (zh) * 2021-04-12 2021-08-17 南京瀚元科技有限公司 基于视频序列的跌倒检测算法
CN113657278A (zh) * 2021-08-18 2021-11-16 成都信息工程大学 一种运动姿态识别方法、装置、设备及存储介质
TWI760657B (zh) * 2019-11-14 2022-04-11 和碩聯合科技股份有限公司 異常偵測模型的訓練方法及使用此方法的電子裝置
TWI766501B (zh) * 2020-12-24 2022-06-01 南臺學校財團法人南臺科技大學 跌倒偵測裝置系統及其偵測跌倒事件的方法
CN115273243A (zh) * 2022-09-27 2022-11-01 深圳比特微电子科技有限公司 跌倒检测方法、装置、电子设备和计算机可读存储介质
RU2823016C1 (ru) * 2020-10-15 2024-07-17 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Генератор аудиоданных и способы формирования аудиосигнала и обучения генератора аудиоданных

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226597A (zh) * 2007-01-18 2008-07-23 中国科学院自动化研究所 一种基于热红外步态的夜间行人识别方法及系统
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN105279483A (zh) * 2015-09-28 2016-01-27 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
CN106056035A (zh) * 2016-04-06 2016-10-26 南京华捷艾米软件科技有限公司 一种基于体感技术的幼儿园智能监控方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226597A (zh) * 2007-01-18 2008-07-23 中国科学院自动化研究所 一种基于热红外步态的夜间行人识别方法及系统
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN105279483A (zh) * 2015-09-28 2016-01-27 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
CN106056035A (zh) * 2016-04-06 2016-10-26 南京华捷艾米软件科技有限公司 一种基于体感技术的幼儿园智能监控方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"DEEPPOSE: HUMAN POSE ESTIMATION VIA DEEP NEURAL NETWORKS": ""DeepPose: Human Pose Estimation via Deep Neural Networks"", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
I PUTU EDY SUARDIYANA，JAMES BRUSEY，ELENA GAURA: ""A Cascade-Classifier Approach for Fall Detection"", 《MOBIHEALTH 2015》 *
南通大学教务处: "《学海图南：南通大学优秀毕业设计（论文）集》", 31 March 2017, 苏州大学出版社 *

Cited By (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229305B (zh) * 2017-11-21 2021-06-04 北京市商汤科技开发有限公司 用于确定目标对象的外接框的方法、装置和电子设备
WO2019100886A1 (zh) * 2017-11-21 2019-05-31 北京市商汤科技开发有限公司 用于确定目标对象的外接框的方法、装置、介质和设备
CN108229305A (zh) * 2017-11-21 2018-06-29 北京市商汤科技开发有限公司 用于确定目标对象的外接框的方法、装置和电子设备
US11348275B2 (en) 2017-11-21 2022-05-31 Beijing Sensetime Technology Development Co. Ltd. Methods and apparatuses for determining bounding box of target object, media, and devices
CN107928675A (zh) * 2017-11-22 2018-04-20 王华锋 一种基于深度学习和红点激光相结合的人体躯干测量方法
US11417095B2 (en) 2017-12-14 2022-08-16 Tencent Technology (Shenzhen) Company Limited Image recognition method and apparatus, electronic device, and readable storage medium using an update on body extraction parameter and alignment parameter
CN109960962B (zh) * 2017-12-14 2022-10-21 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备以及可读存储介质
WO2019114726A1 (zh) * 2017-12-14 2019-06-20 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备以及可读存储介质
CN109960962A (zh) * 2017-12-14 2019-07-02 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备以及可读存储介质
CN108577849A (zh) * 2017-12-15 2018-09-28 华东师范大学 一种基于雾计算模型的生理机能检测方法
CN108182410A (zh) * 2017-12-28 2018-06-19 南通大学 一种联合目标区域定位和深度特征学习的跌倒识别算法
CN108875523A (zh) * 2017-12-28 2018-11-23 北京旷视科技有限公司 人体关节点检测方法、装置、系统和存储介质
CN108875523B (zh) * 2017-12-28 2021-02-26 北京旷视科技有限公司 人体关节点检测方法、装置、系统和存储介质
CN108171181B (zh) * 2017-12-31 2021-11-19 南昌大学 一种适用于家居内的人体摔倒检测方法
CN108171181A (zh) * 2017-12-31 2018-06-15 南昌大学 一种适用于家居内的人体摔倒检测方法
CN108275114B (zh) * 2018-02-27 2020-06-23 苏州清研微视电子科技有限公司 一种油箱防盗监控系统
CN108275114A (zh) * 2018-02-27 2018-07-13 苏州清研微视电子科技有限公司 一种油箱防盗监控系统
CN108491762A (zh) * 2018-02-27 2018-09-04 浙江大华技术股份有限公司 一种人体跌倒的检测方法及装置
CN108549841A (zh) * 2018-03-21 2018-09-18 南京邮电大学 一种基于深度学习的老人跌倒行为的识别方法
CN108764030A (zh) * 2018-04-17 2018-11-06 中国地质大学（武汉） 一种老年人跌倒检测方法、设备及存储设备
CN110503125A (zh) * 2018-05-17 2019-11-26 国际商业机器公司 利用感受野中的运动进行动作检测
CN108960056A (zh) * 2018-05-30 2018-12-07 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN108960056B (zh) * 2018-05-30 2022-06-03 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN108875614A (zh) * 2018-06-07 2018-11-23 南京邮电大学 一种基于深度学习图像处理的摔倒检测方法
CN108961675A (zh) * 2018-06-14 2018-12-07 江南大学 基于卷积神经网络的跌倒检测方法
CN108629946A (zh) * 2018-06-14 2018-10-09 清华大学深圳研究生院 一种基于rgbd传感器的人体跌倒检测方法
WO2019237567A1 (zh) * 2018-06-14 2019-12-19 江南大学 基于卷积神经网络的跌倒检测方法
CN108629946B (zh) * 2018-06-14 2020-09-04 清华大学深圳研究生院 一种基于rgbd传感器的人体跌倒检测方法
CN108803341A (zh) * 2018-06-29 2018-11-13 炬大科技有限公司 一种基于扫地机器人的家庭安保监测系统及方法
CN108846996A (zh) * 2018-08-06 2018-11-20 浙江理工大学 一种摔倒侦测系统及方法
CN108986407A (zh) * 2018-08-23 2018-12-11 浙江理工大学 一种用于独居老人的安全侦测系统及方法
CN109101943A (zh) * 2018-08-27 2018-12-28 寿带鸟信息科技（苏州）有限公司 一种用于检测老人跌倒的机器视觉方法
CN109040693A (zh) * 2018-08-31 2018-12-18 上海赛特斯信息科技股份有限公司 智能告警系统及方法
CN109389041A (zh) * 2018-09-07 2019-02-26 南京航空航天大学 一种基于关节点特征的跌倒检测方法
US10783765B2 (en) 2018-09-13 2020-09-22 Wistron Corporation Falling detection method and electronic system using the same
CN111046701A (zh) * 2018-10-12 2020-04-21 深圳技威时代科技有限公司 一种摔倒检测方法及摔倒检测设备
WO2020107847A1 (zh) * 2018-11-28 2020-06-04 平安科技（深圳）有限公司 基于骨骼点的跌倒检测方法及其跌倒检测装置
CN109784149A (zh) * 2018-12-06 2019-05-21 北京飞搜科技有限公司 一种人体骨骼关键点的检测方法及系统
CN109635783A (zh) * 2019-01-02 2019-04-16 上海数迹智能科技有限公司 视频监控方法、装置、终端和介质
CN109886102A (zh) * 2019-01-14 2019-06-14 华中科技大学 一种基于深度图像的跌倒行为时空域检测方法
CN112784987A (zh) * 2019-01-29 2021-05-11 武汉星巡智能科技有限公司 基于多级神经网络级联的目标看护方法及装置
CN112784987B (zh) * 2019-01-29 2024-01-23 武汉星巡智能科技有限公司 基于多级神经网络级联的目标看护方法及装置
CN109920208A (zh) * 2019-01-31 2019-06-21 深圳绿米联创科技有限公司 跌倒预测方法、装置、电子设备及系统
CN109919132B (zh) * 2019-03-22 2021-04-23 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法
CN109919132A (zh) * 2019-03-22 2019-06-21 广东省智能制造研究所 一种基于骨架检测的行人跌倒识别方法
CN110334599A (zh) * 2019-05-31 2019-10-15 北京奇艺世纪科技有限公司 深度学习网络的训练方法、装置、设备和存储介质
CN110322659A (zh) * 2019-06-21 2019-10-11 江西洪都航空工业集团有限责任公司 一种烟雾检测方法
CN110443150A (zh) * 2019-07-10 2019-11-12 思百达物联网科技(北京)有限公司 一种跌倒检测方法、装置、存储介质
CN110458061B (zh) * 2019-07-30 2022-04-05 四川工商学院 一种识别老年人跌倒的方法及陪伴机器人
CN110458061A (zh) * 2019-07-30 2019-11-15 四川工商学院 一种识别老年人跌倒的方法及陪伴机器人
CN110414620B (zh) * 2019-08-06 2021-08-31 厦门大学 一种语义分割模型训练方法、计算机设备及存储介质
CN110414620A (zh) * 2019-08-06 2019-11-05 厦门大学 一种语义分割模型训练方法、计算机设备及存储介质
CN110532966A (zh) * 2019-08-30 2019-12-03 深兰科技（上海）有限公司 一种基于分类模型进行跌倒识别的方法及设备
CN111079518A (zh) * 2019-10-31 2020-04-28 高新兴科技集团股份有限公司 一种基于执法办案区场景下的倒地异常行为识别方法
CN111079518B (zh) * 2019-10-31 2023-08-29 高新兴科技集团股份有限公司 一种基于执法办案区场景下的倒地异常行为识别方法
TWI760657B (zh) * 2019-11-14 2022-04-11 和碩聯合科技股份有限公司 異常偵測模型的訓練方法及使用此方法的電子裝置
US11756179B2 (en) 2019-11-14 2023-09-12 Pegatron Corporation Training method for anomaly detection model and electronic device using the same
CN111091060B (zh) * 2019-11-20 2022-11-04 吉林大学 基于深度学习的跌倒和暴力检测方法
CN111091060A (zh) * 2019-11-20 2020-05-01 吉林大学 基于深度学习的跌倒和暴力检测方法
CN111027417B (zh) * 2019-11-21 2023-09-01 复旦大学 基于人体关键点检测算法的步态识别方法及步态评估系统
CN111027417A (zh) * 2019-11-21 2020-04-17 复旦大学 基于人体关键点检测算法的步态识别方法及步态评估系统
CN111179281A (zh) * 2019-12-24 2020-05-19 广东省智能制造研究所 人体图像提取方法及人体动作视频提取方法
CN111241940A (zh) * 2019-12-31 2020-06-05 浙江大学 一种机器人的远程控制方法、人体边界框确定方法及系统
CN111241940B (zh) * 2019-12-31 2022-07-26 浙江大学 一种机器人的远程控制方法、人体边界框确定方法及系统
CN111243229A (zh) * 2019-12-31 2020-06-05 浙江大学 一种老年人跌倒风险评估方法及系统
CN111209848A (zh) * 2020-01-03 2020-05-29 北京工业大学 一种基于深度学习的实时跌倒检测方法
CN111274954A (zh) * 2020-01-20 2020-06-12 河北工业大学 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法
CN111339883A (zh) * 2020-02-19 2020-06-26 国网浙江省电力有限公司 复杂场景下基于人工智能的变电站内异常行为识别与检测方法
CN111444803A (zh) * 2020-03-18 2020-07-24 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111666857B (zh) * 2020-05-29 2023-07-04 平安科技（深圳）有限公司 基于环境语义理解的人体行为识别方法、装置及存储介质
CN111666857A (zh) * 2020-05-29 2020-09-15 平安科技（深圳）有限公司 基于环境语义理解的人体行为识别方法、装置及存储介质
RU2823016C1 (ru) * 2020-10-15 2024-07-17 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Генератор аудиоданных и способы формирования аудиосигнала и обучения генератора аудиоданных
TWI766501B (zh) * 2020-12-24 2022-06-01 南臺學校財團法人南臺科技大學 跌倒偵測裝置系統及其偵測跌倒事件的方法
CN112749642A (zh) * 2020-12-30 2021-05-04 苏州涟漪信息科技有限公司 一种识别跌倒的方法和装置
CN112819855A (zh) * 2020-12-31 2021-05-18 广州紫川电子科技有限公司 基于养老院的人员摔倒检测方法、设备及介质
CN113269033A (zh) * 2021-04-12 2021-08-17 南京瀚元科技有限公司 基于视频序列的跌倒检测算法
CN113657278A (zh) * 2021-08-18 2021-11-16 成都信息工程大学 一种运动姿态识别方法、装置、设备及存储介质
CN115273243B (zh) * 2022-09-27 2023-03-28 深圳比特微电子科技有限公司 跌倒检测方法、装置、电子设备和计算机可读存储介质
CN115273243A (zh) * 2022-09-27 2022-11-01 深圳比特微电子科技有限公司 跌倒检测方法、装置、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN107220604A (zh) 一种基于视频的跌倒检测方法
CN109522793B (zh) 基于机器视觉的多人异常行为检测与识别方法
Vishnu et al. Human fall detection in surveillance videos using fall motion vector modeling
CN109819208B (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
Jalal et al. A depth video-based human detection and activity recognition using multi-features and embedded hidden Markov models for health care monitoring systems
Jalal et al. Robust human activity recognition from depth video using spatiotemporal multi-fused features
Jalal et al. Depth maps-based human segmentation and action recognition using full-body plus body color cues via recognizer engine
CN111626116B (zh) 基于融合多注意力机制和Graph的视频语义分析方法
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
CN107516127B (zh) 服务机器人自主获取人穿携物品归属语义的方法及系统
CN107330390B (zh) 一种基于图像分析和深度学习的人数统计方法
CN108960076B (zh) 基于卷积神经网络的耳朵识别与跟踪方法
CN107766819A (zh) 一种视频监控系统及其实时步态识别方法
Slama et al. Grassmannian representation of motion depth for 3D human gesture and action recognition
CN106548194B (zh) 二维图像人体关节点定位模型的构建方法及定位方法
CN110991559B (zh) 一种室内人员行为非接触式协同感知方法
CN109583366B (zh) 一种基于视频图像和WiFi定位的体育建筑疏散人群轨迹生成方法
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
CN116229507A (zh) 人体姿态检测方法及系统
Neili et al. Human posture recognition approach based on ConvNets and SVM classifier
CN113989927B (zh) 一种基于骨骼数据的视频群体暴力行为识别方法及系统
Srividya et al. Deep learning techniques for physical abuse detection
CN113408435B (zh) 一种安全监控方法、装置、设备和存储介质
Mohamed Automatic system for Arabic sign language recognition and translation to spoken one
CN110309786A (zh) 一种基于深度视频的哺乳母猪姿态转换识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170929