CN108647589B - 一种基于正则化形态比的摔倒检测方法 - Google Patents

一种基于正则化形态比的摔倒检测方法 Download PDF

Info

Publication number
CN108647589B
CN108647589B CN201810373967.2A CN201810373967A CN108647589B CN 108647589 B CN108647589 B CN 108647589B CN 201810373967 A CN201810373967 A CN 201810373967A CN 108647589 B CN108647589 B CN 108647589B
Authority
CN
China
Prior art keywords
ratio
nsar
regularization
equation
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810373967.2A
Other languages
English (en)
Other versions
CN108647589A (zh
Inventor
闵卫东
邹松
韩清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN201810373967.2A priority Critical patent/CN108647589B/zh
Publication of CN108647589A publication Critical patent/CN108647589A/zh
Application granted granted Critical
Publication of CN108647589B publication Critical patent/CN108647589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于正则化形态比的摔倒检测方法，包括1)视频捕捉、2)前景检测、3)人体检测、4)运动跟踪、5)特征提取和6)摔倒检测的流程，在步骤6)摔倒检测的实现过程中：采用基于正则化的形态比算法来矫正行人在视频中的形态比；通过自动化标定和双三次曲线插值来得到摄像头的正则化形态比曲面；(3)将归一化的形态比与运动速度和方向相结合，更好地检测人体向八个方向的坠落；(4)采用平滑随时间变化的正则化的形状比变化曲线来消除手和腿来回摆动对正则化形态比的影响。该方法的优点是把正则化形态比与行人的运动速度和方向信息结合起来，能够检测行人向八个不同方向摔倒。

Description

一种基于正则化形态比的摔倒检测方法
技术领域
本发明涉及一种计算机视觉识别技术，尤其是涉及一种室内外场景下使用正则化形态比进行行人摔倒检测的方法。
背景技术
实时检测不可预知的事件和异常的人类行为可以防止进一步的伤害发生。特别是随着老龄化社会的快速发展，跌伤已成为意外死亡的第二大原因。
作为异常行为检测的一个例子，视频监控中行人的自动跌倒检测对于保护弱势群体的跌倒起着重要作用，摔倒可能导致严重后果，需要立即就医。在视频监控中，行人的自动跌倒检测对于保护老年人等易受伤害的群体是很重要的。自动行人摔倒检测可用于紧急救援，以防止重伤甚至死亡。当摄像机放置在不同的地方时，行人的形态比会发生变化，因此使用SAR的现有人类跌倒检测方法在某些情况下可能会失败。
近年来发展起来的几种跌倒检测方法。它们可以分为以下三种主要类型：I)基于可穿戴的传感器；ii)基于环境感知的；和iii)基于视觉的。在运动分析方面，基于穿戴式传感器的方法，在行人身上安装一个或多个传感器，获取人体运动的加速度和位置信息，以确定其是否符合人体坠落的特征。然而，基于可穿戴式传感器的方法在灵敏度方面较差，因此容易产生假阳性。此外，他们还要求每个用户戴上可能不舒服、不方便和不经济的传感器，并且行人在公共场所穿戴传感器不切实际。此外，仅利用有限数量的传感器收集运动信息，很难判断行人的整体运动，从而导致摔倒时的一些误报。第二类方法在环境中布置了许多传感器，通过检测地板的振动、坠落现场附近产生的电流、坠落声等来判断行人是否会坠落。该方法抗干扰能力强，环境因素小，误报率高，在某些特殊情况下只能用于跌倒检测。
基于上述局限性，基于单摄像机或多摄像机的跌倒检测近年来受到越来越多的重视，成为目前应用最广泛的跌倒检测技术之一。基于普通单摄像机的行人跌倒实时检测研究更具有实际意义，更适合当前视频监控系统。
计算机视觉的自动行人摔倒检测方法的主要特征是在几乎不需要人为干预的情况下，通过对摄像机拍录的图像序列进行自动分析来对动态场景中的行人进行定位、跟踪和识别，并在此基础上分析和判断行人的行为。面对老龄化社会发展的新特点、新挑战，如何快速而又准确的进行摔倒检测是我们需要研究的课题。
发明内容
本发明针对现有技术不足，提出了一个基于正则化的形态比(NSAR)的方法来矫正行人在视频中的形态比。通过自动化标定和双三次曲线插值来得到摄像头的正则化形态比曲面。与一些有代表性的利用形态比的摔倒检测方法相比，该方法的优点是把正则化形态比(NSAR)与行人的运动速度和方向信息结合起来，能够检测行人向八个不同方向摔倒。该方法提高了视频监控中摔倒检测的鲁棒性，提高了自动行人摔倒检测的精度。
本发明所采用的技术方案：
一种基于正则化形态比的摔倒检测方法，包括1)视频捕捉、2)前景检测、3)人体检测、4)运动跟踪、5)特征提取和6)摔倒检测的流程，在步骤6)摔倒检测的实现过程中：
(1)采用基于正则化的形态比算法来矫正行人在视频中的形态比；
(2)通过自动化标定和双三次曲线插值来得到摄像头的正则化形态比曲面；
(3)将归一化的形态比与运动速度和方向相结合，更好地检测人体向八个方向的坠落；
(4)采用平滑随时间变化的正则化的形态比变化曲线来消除手和腿来回摆动对正则化形态比的影响。
采用的基于正则化的形态比算法如下：
①建立正则化形态比检测模型
当摄像头的安装方位被固定时，对于视频场景中的每一个位置，一个正常行走的人的形态比，称为此摄像头安装方位下的该位置的正常形态比；
当摄像机的位置不同和人与摄像头的相对位置不同时，正常行走的人的形态比SAR完全不同；判断SAR是否发生重大变化取决于与人与摄像机的相对位置有关的阈值；行人在视频中某个位置的实际形态比是之前对前景检测流程中的行人目标经过人体检测算法处理得到的形态比；定义正则化形态比NSAR为实际形态比除以正常形态比；
②正则化形态比曲面的产生
NSAR取决于每个特定的视频场景，即摄像机与地面之间的位置关系，通过一个校准过程来检测行人在整个视频场景中的正常形态比；
③正则化形态比的双线性插值；
④使用正则化形态比进行摔倒检测。
正则化形态比曲面的产生过程包括以下四个步骤：
(1)将视频分割成n×m相等的矩形；
(2)一个人在视频中从左到右沿着N+1条横线行走；
(3)应用前景检测来检测行人，然后对每个位置记录SAR；
(4)对于每一条水平线，选择了水平线与M+1垂直线相交的位置的SAR；由构成n×m相等矩形的(n+1)*(M+1)位置的形态比生成正常形态比表面。
采用的正则化形态比的双线性插值算法：
假设{P(i)|i＝0,1,...,15}为已知点，其中点P(5)的坐标是(0,0)；为方便起见，相邻的四个点作为一个单位正方形，假设该单位正方形的四个顶点对应的函数值f(x,y)偏微分fx(x,y),fy(x,y),fxy(x,y)已知，曲面的插值可以表达为等式(1)：
Figure GDA0003157514090000031
一阶偏导数可以表达为等式(2)和等式(3)：
Figure GDA0003157514090000032
Figure GDA0003157514090000033
二阶偏导数可以表达为等式(4)：
Figure GDA0003157514090000034
P(5),P(6),P(9)和P(10)的偏导数f(x,y),fx(x,y),fy(x,y),fxy(x,y)分别代入到等式(1)、等式(2)、等式(3)和等式(4),共得到16个方程；
因此，等式(1)的16个系数值通过方程(5)得到：
Figure GDA0003157514090000041
偏微分fx(x,y),fy(x,y),fxy(x,y)能够由方程(6)、方程(7)和方程(8)所定义的有限差分得到：
Figure GDA0003157514090000042
Figure GDA0003157514090000043
Figure GDA0003157514090000044
使用正则化形态比进行摔倒检测的过程：
在检测和跟踪行人后，计算SAR；
然后，某个位置的NSAR通过围绕该位置的矩形顶点的正常形态比进行双三次插值计算得到，采用多帧几何均值比MGMR用来平滑NSAR的随时间变化曲线；如果NSAR和MGMR大于阈值Tmax或小于一个阈值Tmin，行人被判定为下降；
将摔倒的过程划分为三个阶段：(一)摔倒前，(二)摔倒中，(三)摔倒后；当一个人在下降的过程中，NSAR逐渐改变，最终达到稳定的值；
选取24帧来计算多帧几何均值比，{BF(i)|i＝1,2,3…,24}是第一个24帧的NSAR，{F(i)|i＝1,2,3…,24}是中间24帧的NSAR和{AF(i)|i＝1,2,3…,24}是第三个24帧的NSAR，
MGMR由等式(9)定义
Figure GDA0003157514090000045
T是基于NSAR判断行人是否摔倒的阈值，在行人正常行走的情况下，NSAR接近于1，{BF(i)|i＝1,2,3…,24}接近1，{AF(i)|i＝1,2,3…,24}约等于T，因此，AF(i)/BF(i)i＝1,2…,24可近似用公式(10)计算
AF(i)/BF(i)≈T i＝1,2…,24 (10)
把公式(10)代入公式(9)，MGMR由等式(11)计算
Figure GDA0003157514090000051
MGMR曲线与NSAR曲线类似，MGMR的阈值与NSAR的阈值相同；当一个人行走伴随有手摇摆时，NSAR呈周期性变化；人摔倒后，NSAR有非常大的变化，这会持续几秒钟；利用MGMR拒绝的NSAR循环变化及NSAR突然变化判断为摔倒，从而降低了错误的判断。
步骤2)前景检测过程中，只检测运动中的行人，并判断其是否与人类摔倒情况一致；它检测视频的前景，并将前景图像分割为一个人类主题；
前景检测算法通过选择合适的特征，利用贝叶斯决策规则对背景和前景进行分类：静止背景对象用颜色特征描述，运动背景对象用颜色自相关特征表示；通过融合固定像素和运动像素的分类结果，提取前景对象，实现在一般环境下有效地行人检测。
步骤4)运动跟踪的实现过程如下：
采用基于MeanShift的目标跟踪算法发现在当前视频帧的最有可能的目标位置；
在初始视频帧中，首先对目标对象的区域定义一个矩形窗口；
然后，Meanshift方法使用颜色空间特征来跟踪目标对象的区域，当前帧中的新目标位置的搜索起始于前一帧中的估计位置；当行人的动作，估计最可能的位置在当前帧的Bhattacharyya系数最大化；实现对非刚性目标的跟踪。
步骤2)前景检测过程中，只检测运动中的行人，并判断其是否与人类摔倒情况一致；它检测视频的前景，并将前景图像分割为一个人类主题；
前景检测算法通过选择合适的特征，利用贝叶斯决策规则对背景和前景进行分类：静止背景对象用颜色特征描述，运动背景对象用颜色自相关特征表示；通过融合固定像素和运动像素的分类结果，提取前景对象，实现在一般环境下有效地行人检测。
步骤4)运动跟踪的实现过程：
采用基于MeanShift的目标跟踪算法发现在当前视频帧的最有可能的目标位置；
在初始视频帧中，首先对目标对象的区域定义一个矩形窗口；
然后，Meanshift方法使用颜色空间特征来跟踪目标对象的区域，当前帧中的新目标位置的搜索起始于前一帧中的估计位置；当行人的动作，估计最可能的位置在当前帧的Bhattacharyya系数最大化；实现对非刚性目标的跟踪。
本发明的有益效果：
1、本发明提出了一种基于人体运动跟踪和实时视频中正则化形态比的人体摔倒自动检测方法。人体形态比已经在以前的摔倒检测工作中得到应用。与以前的工作相比，本发明提出的方法具有以下特点/创新：(1)由于摄像机和行人的相对位置和距离引起形态比的变化，引入了正则化形态比来矫正这一变化。(2)将归一化的形态比与运动速度和方向相结合，更好地检测人体向八个方向的坠落。(3)平滑随时间变化的正则化的形态比变化曲线来消除手和腿来回摆动对正则化形态比的影响。
2、本发明基于正则化形态比的摔倒检测方法，提出了一个基于正则化的形态比(NSAR)的方法来矫正行人在视频中的形态比。通过自动化标定和双三次曲线插值来得到摄像头的正则化形态比曲面。与一些有代表性的利用形态比的摔倒检测方法相比，该方法的优点是把正则化形态比(NSAR)与行人的运动速度和方向信息结合起来，能够检测行人向八个不同方向摔倒。该方法提高了视频监控中摔倒检测的鲁棒性，提高了自动新人摔倒检测的精度。
3、本发明基于正则化形态比的摔倒检测方法，适合室内和室外环境，能有效地检测室内外环境中行人摔倒。而现有的大多数跌倒检测方法都是在室内环境下设计的，使用具有局限性。
附图说明
附图1为本发明的形态比曲面图；
附图2为本发明的双三次插值曲面图；
附图3为本发明的摔倒检测流程图；
附图4为室外场景下的人从左到右行走正则化形态比曲线图；
附图5为NSAR和MGMR曲线图。
具体实施方式
本发明提出了一种基于人体运动跟踪和实时视频中正则化形态比的人体摔倒自动检测方法，主要包括(1)视频捕捉、(2)前景检测、(3)人体检测、(4)运动跟踪、(5)特征提取和(6)摔倒检测六个步骤。首先，摄像头被用来捕捉2D视频。该算法检测视频前景并从前景图像分割人体目标。采用基于MeanShift算法的目标跟踪方法在当前视频帧中找到最有可能的目标定位与跟踪检测到的行人目标。其次，计算并记录每一个被检测到的行人的运动特征，包括行人质心运动轨迹、运动速度历程和包围人体形状的矩形。然后，采用正则化形态比算法，连同移动速度和方向来检测人类跌倒。
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
实施例1
本发明基于正则化形态比的摔倒检测方法，主要分为三个模块。
①前景检测模块：
在前景检测中，只检测运动中的行人，并判断其是否与人类摔倒情况一致。它检测视频的前景，并将前景图像分割为一个人类主题。
前景检测算法通过选择合适的特征，利用贝叶斯决策规则对背景和前景进行分类。静止背景对象用颜色特征描述，运动背景对象用颜色共现特征表示。通过融合固定像素和运动像素的分类结果，提取前景对象。该算法能在一般环境下有效地检测行人。当人在整个视频场景中从左到右行走时，可以在整个步行过程中正确地被检测到。
②人类目标跟踪模块
在发明中，我们采用基于MeanShift的目标跟踪算法发现在当前视频帧的最有可能的目标位置。Bhattacharyya系数被用来度量目标模型和候选目标之间的颜色分布不同成都。在初始视频帧中，首先对目标对象的区域定义一个矩形窗口。然后，Meanshift方法用于颜色空间跟踪目标对象的区域。当前帧中的新目标位置的搜索起始于前一帧中的估计位置。当行人的动作，估计最可能的位置在当前帧的Bhattacharyya系数最大化。该算法对非刚性目标的跟踪具有快速、高效的特点，非常适合于实时视频监控中的人体跌倒检测。
③正则化形态比检测模块
当形态比发生实质性变化时，人类跌倒能够被成功地检测到。然而，根据摄像机的位置和人与摄像头的相对位置，正常行走的人的形态比(SAR)可能完全不同。判断SAR是否发生重大变化取决于与人与摄像机的相对位置有关的阈值。因此，我们引入了正则化形态比来矫正由于行人在摄像头的相对位置的不同引起的人体形态比变化的问题。
对于视频场景中的每一个位置，一个正常行走的人的形态比，即为每个初始定位摄像机测量的形态纵横比，称为该位置的正常形态比。行人在视频中某个位置的实际形态比是在为正在化之前被我们前景检测算法检测到的形态比。我们定义NSAR为实际形态比除以正常形态比。显然，NSAR应该接近1时，行人正常行走。如果NSAR从1有很大的不同，行人被判断为摔倒。
④正则化形态比曲面的产生
NSAR取决于每个特定的视频场景，即摄像机与地面之间的位置关系。它是通过一个校准过程来检测行人在整个视频场景中的正常形态比。该过程有以下四个步骤：
(1)将视频分割成n×m相等的矩形。
(2)一个人在视频中从左到右沿着N+1条横线行走。
(3)应用前景检测来检测行人，然后对每个位置记录SAR。
(4)对于每一条水平线，选择了水平线与M+1垂直线相交的位置的SAR。因此，正常形态比表面是由构成n×m相等矩形的(n+1)*(M+1)位置的形态比生成的。
图1为在实验中收集数据形成的正常形态比的曲面。视频的场景是一个704-by-576对应的摄像机的分辨率的矩形区域。不同的位置的正常形态比有很大的不同。没有被采集到的位置的正常形态比利用与该位置最近的矩形位置点的形态比双三次插值计算得到。
⑤正则化形态比的双三次线性插值
双立方插值是一个在三维空间中最常用的插值方法。该算法把16点左右的采样点的值，如图2所示，这意味着它不仅考虑4个直接相邻的点的影响也变化率值的相邻点之间。
在图2中，假设{P(i)|i＝0,1,...,15}为已知点，其中点P(5)的坐标是(0,0)。为方便起见，相邻的四个点作为一个单位正方形，如P(5)：(0,0)，P(6)：(1,0)，P(9)：(0,1)和P(10)：(1,1)。假设该单位正方形的四个顶点对应的函数值f(x,y)偏微分fx(x,y),fy(x,y),fxy(x,y)已知，曲面的插值可以表达为等式(1)：
Figure GDA0003157514090000081
一阶偏导数可以表达为等式(2)和等式(3)：
Figure GDA0003157514090000082
Figure GDA0003157514090000083
二阶偏导数可以表达为等式(4)：
Figure GDA0003157514090000091
P(5),P(6),P(9)和P(10)的偏导数f(x,y),fx(x,y),fy(x,y),fxy(x,y)分别代入到等式(1)、等式(2)、等式(3)和等式(4),共可得到16个方程。因此，等式(1)的16个系数值通过方程(5)得到：
Figure GDA0003157514090000092
偏微分fx(x,y),fy(x,y),fxy(x,y)由方程(6)、方程(7)和方程(8)所定义的有限差分得到：
Figure GDA0003157514090000093
Figure GDA0003157514090000094
Figure GDA0003157514090000095
⑥使用正则化形态比进行摔倒检测
我们提出的摔倒检测方法的过程如图3所示。在检测和跟踪行人后，计算SAR。然后，某个位置的NSAR通过围绕该位置的矩形顶点的正常形态比进行双三次插值计算得到。另一个参数-多帧几何均值比(MGMR)-用来平滑NSAR的随时间变化曲线。如果NSAR和MGMR大于阈值Tmax或小于一个阈值Tmin，行人被判定为下降。
本发明提出的方法可以成功地根据NSAR检测人落向四个不同的方向，如图4所示，人走路的时候，NSAR通常接近1。在有摔倒的时候，NSAR开始发生较大的变化，与1有较大的不同。朝下摔倒和朝上摔倒的NSAR远大于1，朝前摔倒和朝后摔倒的NSAR远小于1。
然而，即使一个人正常移动而不是跌倒，人体的活动部分，例如手和腿，也会改变人体的形态比。形态比的变化过程在走路和跌倒之间是不同的。当行人正常行走时，手和腿经常来回摆动，形态比会随着时间的推移显示周期性的变化。我们将摔倒的过程划分为三个阶段：(一)摔倒前，(二)摔倒中，(三)摔倒后。当一个人在下降的过程中，NSAR逐渐改变，最终达到稳定的价值。在我们捕获的视频中，采样率是24fps，从站到下落的过程持续少于24帧，大约需要1秒。MGMR定义为摔倒后多帧NSARs相乘除以摔倒前多帧NSARs相乘的几何平均数。本发明选取24帧来计算几何平均值(MGMR)。假设{BF(i)|i＝1,2,3…,24}是第一个24帧的NSAR，{F(i)|i＝1,2,3…,24}是中间24帧的NSAR和{AF(i)|i＝1,2,3…,24}是第三个24帧的NSAR。MGMR由等式(9)定义。
Figure GDA0003157514090000101
假设T是基于NSAR判断行人是否摔倒的阈值。在行人正常行走的情况下，NSAR接近于1，我们可以看到，{BF(i)|i＝1,2,3…,24}接近1，{AF(i)|i＝1,2,3…,24}约等于T。
因此，AF(i)/BF(i)withi＝1,2…,24可近似用公式(10)计算。
AF(i)/BF(i)≈T withi＝1,2…,24 (10)
把公式(10)代入公式(9)，MGMR由等式(11)计算。
Figure GDA0003157514090000102
理论上证明了MGMR曲线是与NSAR曲线类似的。因此，MGMR的阈值与NSAR的阈值相同。当一个人行走伴随有手摇摆时，NSAR呈周期性变化。人摔倒来后，NSAR有非常大的变化，这可能会持续几秒钟。利用MGMR，该算法可以拒绝的NSAR循环变化及NSAR突然变化判断为摔倒，从而降低了错误的判断。
图5是当一行人走从左到右，然后摔倒的情况下，NSAR和MGMR曲线的一个例子。可以看到，MGMR比NSAR更平滑。下降时间在176帧，NSAR值为1.493和MGMR的值为1.402。在摔倒检测系统，真正率应该尽可能被提高，所以我们为Tmax设置更小的阈值即1.4，为Tmin设置更大的阈值即0.5。第57帧的NSAR是1.758，如果我们不利用MGMR，人会被错误地判断为摔倒。参数MGMR可以有效降低假正率。实验表明，该算法可以成功地消除移动的手和腿的影响。
实施例2
参见图1、图2、图3，本发明基于正则化形态比的摔倒检测方法，包括1)视频捕捉、2)前景检测、3)人体检测、4)运动跟踪、5)特征提取和6)摔倒检测的流程，其与现有技术不同的是，在步骤6)摔倒检测的实现过程中：
(1)采用基于正则化的形态比(NSAR)算法来矫正行人在视频中的形态比；
(2)通过自动化标定和双三次曲线插值来得到摄像头的正则化形态比曲面；
(3)将归一化的形态比与运动速度和方向相结合，更好地检测人体向八个方向的坠落；
(4)采用平滑随时间变化的正则化的形态比变化曲线来消除手和腿来回摆动对正则化形态比的影响。
本发明提出人体形态比已经在以前的摔倒检测工作中得到应用。与以前的工作相比，本发明提出的方法具有以下创新之处：(1)由于摄像机和行人的行对位置和距离引起的形态比的变化，引入了正则化形态比来矫正这一变化。(2)将归一化的形态比与运动速度和方向相结合，更好地检测人体向八个方向的坠落。(3)平滑随时间变化的正则化的形态比变化曲线来消除手和腿来回摆动对正则化形态比的影响。(4)它被设计成适合室内和室外环境。
实施例3
参见图1、图2、图3，本实施例的基于正则化形态比的摔倒检测方法，与实施例2的不同之处在于：采用的基于正则化的形态比(NSAR)算法如下：
(1)建立正则化形态比检测模型
当摄像头的安装方位被固定时，对于视频场景中的每一个位置，一个正常行走的人的形态比，称为此摄像头安装方位下的该位置的正常形态比；
当摄像机的位置不同和人与摄像头的相对位置不同时，正常行走的人的形态比(SAR)可能完全不同；判断SAR是否发生重大变化取决于与人与摄像机的相对位置有关的阈值；行人在视频中某个位置的实际形态比是之前对前景检测流程中的行人目标经过人体检测算法处理得到的形态比；我们定义正则化形态比(NSAR)为实际形态比除以正常形态比；
(2)正则化形态比曲面的产生
NSAR取决于每个特定的视频场景，即摄像机与地面之间的位置关系，通过一个校准过程来检测行人在整个视频场景中的正常形态比；
(3)正则化形态比的双线性插值；
(4)使用正则化形态比进行摔倒检测。
实施例4
参见图1、图2、图3，本实施例的基于正则化形态比的摔倒检测方法，与实施例3的不同之处在于：正则化形态比曲面的产生过程包括以下四个步骤：
(1)将视频分割成n×m相等的矩形；
(2)一个人在视频中从左到右沿着N+1条横线行走；
(3)应用前景检测来检测行人，然后对每个位置记录SAR；
(4)对于每一条水平线，选择了水平线与M+1垂直线相交的位置的SAR；由构成n×m相等矩形的(n+1)*(M+1)位置的形态比生成正常形态比表面。
实施例5
参见图1、图2、图3，本实施例的基于正则化形态比的摔倒检测方法，与实施例4的不同之处在于：采用的正则化形态比的双线性插值算法如下：
假设{P(i)|i＝0,1,...,15}为已知点，其中点P(5)的坐标是(0,0)；为方便起见，相邻的四个点作为一个单位正方形，假设该单位正方形的四个顶点对应的函数值f(x,y)偏微分fx(x,y),fy(x,y),fxy(x,y)已知，曲面的插值可以表达为等式(1)：
Figure GDA0003157514090000121
一阶偏导数可以表达为等式(1)和等式(2)：
Figure GDA0003157514090000122
Figure GDA0003157514090000123
二阶偏导数可以表达为等式(4)：
Figure GDA0003157514090000124
P(5),P(6),P(9)P(10)的偏导数f(x,y),fx(x,y),fy(x,y),fxy(x,y)分别代入到等式(1)、等式(2)、等式(3)和等式(4),共得到16个方程；
因此，等式(1)的16个系数值通过方程(5)得到：
Figure GDA0003157514090000125
偏微分fx(x,y),fy(x,y),fxy(x,y)能够由方程(6)、方程(7)和方程(8)所定义的有限差分得到：
Figure GDA0003157514090000131
Figure GDA0003157514090000132
Figure GDA0003157514090000133
实施例6
参见图1、图2、图3，本实施例的基于正则化形态比的摔倒检测方法，与实施例4或实施例5的不同之处在于：使用正则化形态比进行摔倒检测的过程：
在检测和跟踪行人后，计算SAR；
然后，某个位置的NSAR通过围绕该位置的矩形顶点的正常形态比进行双三次插值计算得到，采用另一个参数：多帧几何均值比(MGMR)用来平滑NSAR的随时间变化曲线；如果NSAR和MGMR大于阈值Tmax或小于一个阈值Tmin，行人被判定为下降；
将摔倒的过程划分为三个阶段：(一)摔倒前，(二)摔倒中，(三)摔倒后；当一个人在下降的过程中，NSAR逐渐改变，最终达到稳定的值；
选取24帧来计算多帧几何均值比(MGMR)，假设{BF(i)|i＝1,2,3…,24}是第一个24帧的NSAR，{F(i)|i＝1,2,3…,24}是中间24帧的NSAR和{AF(i)|i＝1,2,3…,24}是第三个24帧的NSAR，
MGMR由等式(9)定义
Figure GDA0003157514090000134
假设T是基于NSAR判断行人是否摔倒的阈值，在行人正常行走的情况下，NSAR接近于1，{BF(i)|i＝1,2,3…,24}接近1，{AF(i)|i＝1,2,3…,24}约等于T，因此，AF(i)/BF(i)，i＝1,2…,24可近似用公式(10)计算
Figure GDA0003157514090000135
把公式(10)代入公式(9)，MGMR由等式(11)计算
Figure GDA0003157514090000141
MGMR曲线与NSAR曲线类似，MGMR的阈值与NSAR的阈值相同；当一个人行走伴随有手摇摆时，NSAR呈周期性变化；人摔倒来后，NSAR有非常大的变化，这可能会持续几秒钟；利用MGMR拒绝的NSAR循环变化及NSAR突然变化判断为摔倒，从而降低了错误的判断。
实施例7
参见图1、图2、图3，本实施例的基于正则化形态比的摔倒检测方法，与实施例2-6各实施例不同的是：步骤2)前景检测过程中，只检测运动中的行人，并判断其是否与人类摔倒情况一致；它检测视频的前景，并将前景图像分割为一个人类主题；
前景检测算法通过选择合适的特征，利用贝叶斯决策规则对背景和前景进行分类：静止背景对象用颜色特征描述，运动背景对象用颜色自相关特征表示；通过融合固定像素和运动像素的分类结果，提取前景对象，实现在一般环境下有效地行人检测。
实施例8
参见图1、图2、图3，本实施例的基于正则化形态比的摔倒检测方法，与实施例7的不同之处在于：步骤4)运动跟踪的实现过程：
采用基于MeanShift的目标跟踪算法发现在当前视频帧的最有可能的目标位置；
在初始视频帧中，首先对目标对象的区域定义一个矩形窗口；
然后，Meanshift方法使用颜色空间特征来跟踪目标对象的区域，当前帧中的新目标位置的搜索起始于前一帧中的估计位置；当行人的动作，估计最可能的位置在当前帧的Bhattacharyya系数最大化；实现对非刚性目标的跟踪。
通过捕获视频来测试本发明的摔倒检测算法在室内和室外环境中的性能，实验结果表明，该方法在真正率、假正率和运行速度方面均表现良好。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (9)

1.一种基于正则化形态比的摔倒检测方法，包括1)视频捕捉、2)前景检测、3)人体检测、4)运动跟踪、5)特征提取和6)摔倒检测的流程，其特征在于：
在步骤6)摔倒检测的实现过程中：
(1)采用基于正则化的形态比算法来矫正行人在视频中的形态比；
(2)通过自动化标定和双三次曲线插值来得到摄像头的正则化形态比曲面；
(3)将归一化的形态比与运动速度和方向相结合，更好地检测人体向八个方向的坠落；
(4)采用平滑随时间变化的正则化的形态比变化曲线来消除手和腿来回摆动对正则化形态比的影响。
2.根据权利要求1所述的基于正则化形态比的摔倒检测方法，其特征在于：采用的基于正则化的形态比算法如下：
①建立正则化形态比检测模型
当摄像头的安装方位被固定时，对于视频场景中的每一个位置，一个正常行走的人的形态比，称为此摄像头安装方位下的该位置的正常形态比；
当摄像机的位置不同和人与摄像头的相对位置不同时，正常行走的人的形态比SAR完全不同；判断SAR是否发生重大变化取决于与人与摄像机的相对位置有关的阈值；行人在视频中某个位置的实际形态比是之前对前景检测流程中的行人目标经过人体检测算法处理得到的形态比；定义正则化形态比NSAR为实际形态比除以正常形态比；
②正则化形态比曲面的产生
NSAR取决于每个特定的视频场景，即摄像机与地面之间的位置关系，通过一个校准过程来检测行人在整个视频场景中的正常形态比；
③正则化形态比的双线性插值；
④使用正则化形态比进行摔倒检测。
3.根据权利要求2所述的基于正则化形态比的摔倒检测方法，其特征在于：正则化形态比曲面的产生过程包括以下四个步骤：
(1)将视频分割成n×m相等的矩形；
(2)一个人在视频中从左到右沿着N+1条横线行走；
(3)应用前景检测来检测行人，然后对每个位置记录SAR；
(4)对于每一条水平线，选择了水平线与M+1垂直线相交的位置的SAR；由构成n×m相等矩形的(n+1)*(M+1)位置的形态比生成正常形态比表面。
4.根据权利要求3所述的基于正则化形态比的摔倒检测方法，其特征在于：采用的正则化形态比的双线性插值算法：
{P(i)|i＝0,1,...,15}为已知点，其中点P(5)的坐标是(0,0)；相邻的四个点作为一个单位正方形，该单位正方形的四个顶点对应的函数值f(x,y)偏微分fx(x,y),fy(x,y),fxy(x,y)已知，曲面的插值表达为等式(1)：
Figure FDA0003157514080000021
一阶偏导数表达为等式(2)和等式(3)：
Figure FDA0003157514080000022
Figure FDA0003157514080000023
二阶偏导数表达为等式(4)：
Figure FDA0003157514080000024
P(5),P(6),P(9)和P(10)的偏导数f(x,y),fx(x,y),fy(x,y),fxy(x,y)分别代入到等式(1)、等式(2)、等式(3)和等式(4),共得到16个方程；
因此，等式(1)的16个系数值通过方程(5)得到：
Figure FDA0003157514080000025
偏微分fx(x,y),fy(x,y),fxy(x,y)能够由方程(6)、方程(7)和方程(8)所定义的有限差分得到：
Figure FDA0003157514080000026
Figure FDA0003157514080000031
Figure FDA0003157514080000032
5.根据权利要求3或4所述的基于正则化形态比的摔倒检测方法，其特征在于：使用正则化形态比进行摔倒检测的过程：
在检测和跟踪行人后，计算SAR；
然后，某个位置的NSAR通过围绕该位置的矩形顶点的正常形态比进行双三次插值计算得到，采用多帧几何均值比MGMR用来平滑NSAR的随时间变化曲线；如果NSAR和MGMR大于阈值Tmax或小于一个阈值Tmin，行人被判定为下降；
将摔倒的过程划分为三个阶段：(一)摔倒前，(二)摔倒中，(三)摔倒后；当一个人在下降的过程中，NSAR逐渐改变，最终达到稳定的值；
选取24帧来计算多帧几何均值比，{BF(i)|i＝1,2,3…,24}是第一个24帧的NSAR，{F(i)|i＝1,2,3…,24}是中间24帧的NSAR和{AF(i)|i＝1,2,3…,24}是第三个24帧的NSAR，
MGMR由等式(9)定义
Figure FDA0003157514080000033
T是基于NSAR判断行人是否摔倒的阈值，在行人正常行走的情况下，NSAR接近于1，{BF(i)|i＝1,2,3…,24}接近1，{AF(i)|i＝1,2,3…,24}约等于T，因此，AF(i)/BF(i) i＝1,2…,24近似用公式(10)计算
AF(i)/BF(i)≈T i＝1,2…,24 (10)
把公式(10)代入公式(9)，MGMR由等式(11)计算
Figure FDA0003157514080000034
MGMR曲线与NSAR曲线类似，MGMR的阈值与NSAR的阈值相同；当一个人行走伴随有手摇摆时，NSAR呈周期性变化；人摔倒后，NSAR有非常大的变化，这会持续几秒钟；利用MGMR拒绝的NSAR循环变化及NSAR突然变化判断为摔倒，从而降低了错误的判断。
6.根据权利要求1～4任一项所述的基于正则化形态比的摔倒检测方法，其特征在于：步骤2)前景检测过程中，只检测运动中的行人，并判断其是否与人类摔倒情况一致；它检测视频的前景，并将前景图像分割为一个人类主题；
前景检测算法通过选择合适的特征，利用贝叶斯决策规则对背景和前景进行分类：静止背景对象用颜色特征描述，运动背景对象用颜色自相关特征表示；通过融合固定像素和运动像素的分类结果，提取前景对象，实现在一般环境下有效地行人检测。
7.根据权利要求6所述的基于正则化形态比的摔倒检测方法，其特征在于：步骤4)运动跟踪的实现过程如下：
采用基于MeanShift的目标跟踪算法发现在当前视频帧的最有可能的目标位置；
在初始视频帧中，首先对目标对象的区域定义一个矩形窗口；
然后，Meanshift方法使用颜色空间特征来跟踪目标对象的区域，当前帧中的新目标位置的搜索起始于前一帧中的估计位置；当行人的动作，估计最可能的位置在当前帧的Bhattacharyya系数最大化；实现对非刚性目标的跟踪。
8.根据权利要求5所述的基于正则化形态比的摔倒检测方法，其特征在于：步骤2)前景检测过程中，只检测运动中的行人，并判断其是否与人类摔倒情况一致；它检测视频的前景，并将前景图像分割为一个人类主题；
前景检测算法通过选择合适的特征，利用贝叶斯决策规则对背景和前景进行分类：静止背景对象用颜色特征描述，运动背景对象用颜色自相关特征表示；通过融合固定像素和运动像素的分类结果，提取前景对象，实现在一般环境下有效地行人检测。
9.根据权利要求8所述的基于正则化形态比的摔倒检测方法，其特征在于：步骤4)运动跟踪的实现过程：
采用基于MeanShift的目标跟踪算法发现在当前视频帧的最有可能的目标位置；
在初始视频帧中，首先对目标对象的区域定义一个矩形窗口；
然后，Meanshift方法使用颜色空间特征来跟踪目标对象的区域，当前帧中的新目标位置的搜索起始于前一帧中的估计位置；当行人的动作，估计最可能的位置在当前帧的Bhattacharyya系数最大化；实现对非刚性目标的跟踪。
CN201810373967.2A 2018-04-24 2018-04-24 一种基于正则化形态比的摔倒检测方法 Active CN108647589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810373967.2A CN108647589B (zh) 2018-04-24 2018-04-24 一种基于正则化形态比的摔倒检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810373967.2A CN108647589B (zh) 2018-04-24 2018-04-24 一种基于正则化形态比的摔倒检测方法

Publications (2)

Publication Number Publication Date
CN108647589A CN108647589A (zh) 2018-10-12
CN108647589B true CN108647589B (zh) 2021-11-19

Family

ID=63747198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810373967.2A Active CN108647589B (zh) 2018-04-24 2018-04-24 一种基于正则化形态比的摔倒检测方法

Country Status (1)

Country Link
CN (1) CN108647589B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079560B (zh) * 2019-11-26 2023-09-01 深圳市中电数通智慧安全科技股份有限公司 一种摔倒监测方法、装置及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559491A (zh) * 2013-10-11 2014-02-05 北京邮电大学 人体动作捕获及姿态分析系统
WO2014138745A2 (en) * 2013-03-08 2014-09-12 Curalate, Inc. Method and system for clustering and classifying online visual information
CN106056849A (zh) * 2016-07-15 2016-10-26 西安电子科技大学 老人跌倒智能检测与定位的主被动告警系统及方法
CN106874365A (zh) * 2016-12-30 2017-06-20 中国科学院自动化研究所 基于社会媒体平台上社会事件的跟踪方法
CN106952301A (zh) * 2017-03-10 2017-07-14 安徽大学 一种rgb‑d图像显著性计算方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014138745A2 (en) * 2013-03-08 2014-09-12 Curalate, Inc. Method and system for clustering and classifying online visual information
CN103559491A (zh) * 2013-10-11 2014-02-05 北京邮电大学 人体动作捕获及姿态分析系统
CN106056849A (zh) * 2016-07-15 2016-10-26 西安电子科技大学 老人跌倒智能检测与定位的主被动告警系统及方法
CN106874365A (zh) * 2016-12-30 2017-06-20 中国科学院自动化研究所 基于社会媒体平台上社会事件的跟踪方法
CN106952301A (zh) * 2017-03-10 2017-07-14 安徽大学 一种rgb‑d图像显著性计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频监控中运动对象提取与海量对象快速检索;冯伟国;《中国博士学位论文全文数据库 信息科技辑》;20150915(第9期);全文 *

Also Published As

Publication number Publication date
CN108647589A (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
JP5001260B2 (ja) オブジェクト追跡方法及びオブジェクト追跡装置
Vaidehi et al. Video based automatic fall detection in indoor environment
Haritaoglu et al. w 4 s: a real-time system for detecting and tracking people in 2 1/2 d
Subburaman et al. Counting people in the crowd using a generic head detector
KR100544677B1 (ko) 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
US8965050B2 (en) Behavior analysis device
CN109344690B (zh) 一种基于深度相机的人数统计方法
KR101868894B1 (ko) 로봇을 이용한 객체추적 시스템 및 그 추적방법
JP2014229068A (ja) 人数計測装置および人物動線解析装置
Al-Najdawi et al. An automated real-time people tracking system based on KLT features detection.
CN106529418A (zh) 一种跌倒检测及报警方法
Min et al. Human fall detection using normalized shape aspect ratio
CN111243230B (zh) 基于两台深度相机的人体跌倒检测装置和方法
Selinger et al. Classifying moving objects as rigid or non-rigid without correspondences
CN108647589B (zh) 一种基于正则化形态比的摔倒检测方法
JP2012181710A (ja) オブジェクト追跡装置、方法、及びプログラム
Sowmyayani et al. Fall detection in elderly care system based on group of pictures
JP2011198244A (ja) 対象物認識システム及び該システムを利用する監視システム、見守りシステム
CN101916380B (zh) 基于视频的烟检测装置和方法
Zhu et al. 3d head pose estimation with optical flow and depth constraints
CN107665495B (zh) 对象跟踪方法及对象跟踪装置
Sincan et al. Moving object detection by a mounted moving camera
JP2001012946A (ja) 動画像処理装置及び方法
CN107067411A (zh) 一种结合密集特征的Mean‑shift跟踪方法
KR20090042558A (ko) Ａａｍ을 이용한 얼굴검출 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant