CN110598606B - 一种具有视觉隐私保护优势的室内跌倒行为检测方法 - Google Patents

一种具有视觉隐私保护优势的室内跌倒行为检测方法 Download PDF

Info

Publication number
CN110598606B
CN110598606B CN201910823221.1A CN201910823221A CN110598606B CN 110598606 B CN110598606 B CN 110598606B CN 201910823221 A CN201910823221 A CN 201910823221A CN 110598606 B CN110598606 B CN 110598606B
Authority
CN
China
Prior art keywords
video
compressed
matrix
size
falling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910823221.1A
Other languages
English (en)
Other versions
CN110598606A (zh
Inventor
刘佶鑫
夏银云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201910823221.1A priority Critical patent/CN110598606B/zh
Publication of CN110598606A publication Critical patent/CN110598606A/zh
Application granted granted Critical
Publication of CN110598606B publication Critical patent/CN110598606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training

Abstract

本发明公开一种具有视觉隐私保护优势的室内跌倒行为检测方法,首先,利用多层压缩感知对视频帧进行压缩,达到视觉屏蔽效果;然后,利用低秩稀疏分解理论从屏蔽视频中分离出目标区域,在此基础上通过密集轨迹算法提取目标的运动轨迹特征;最后,将跌倒检测问题转化为信号的稀疏识别问题;本发明在减少视频数据量与视频分辨率的同时,跌倒检测识别率依然保持在较高水平,具有高隐私保护性与高跌倒识别率的双重优势,存在着较高的实际运用价值。

Description

一种具有视觉隐私保护优势的室内跌倒行为检测方法
技术领域
本发明属于计算机视觉和模式识别领域,具体是一种具有视觉隐私保护优势的室内跌倒行为检测方法。
背景技术
当今社会人口老龄化程度不断加剧。意外跌倒并且没有及时被发现是独居老人受伤住院的主要原因。因此,及时准确地自动检测出居家监控视频中的跌倒行为一直是计算机领域的研究热点。同时,虽然老人作为弱势群体需要得到安全监护,但是作为独立个体,其个人隐私也需要得到尊重。因此找到一种兼顾安全监护和隐私保护的跌倒行为检测算法具有十分重要的现实意义和应用价值。
根据探测信号来源不同,跌倒检测的文献大致可以分为基于传感器的方法和基于视觉的方法。基于传感器的系统依赖于特殊的设备,如带有嵌入式传感器的衣服或手表来检测人的姿势和位置。该方法需要使用者一直佩戴设备,会给某些用户带来不舒适感,而且日常生活中老年人也容易忘记佩戴设备,这些局限性一定程度上阻碍了该检测技术的应用。近年来随着计算机视觉技术的快速发展,基于视觉的跌倒检测方法受到越加广泛的关注。这种检测方式主要是通过居家环境中安装的摄像头采集视频图像信息,利用图像处理技术对视频进行分析处理从而进行跌倒检测。由于视频监控设备固定在具体位置,不需要和用户产生直接接触,不会影响到人们日常生活,同时摄像头设备安装成本低,易于维护,这些优点都使该检测方法成为国内外的研究热点方向。
随着相机成本的不断降低,机场、医院、银行等许多公共场所都配备了大量的相机。许多家庭逐渐愿意接受在家中安装摄像头,以确保家庭财产和生命的安全。对大多数人来说,家是他们不想被打扰或侵犯的私人区域。如果监控摄像头捕捉到的内容被一些恶意的人泄露或访问,会对家庭成员造成很大的伤害。因此,开发一种可靠的基于视觉的跌倒检测系统将在医疗领域具有广阔的市场前景。
发明内容
本发明的目的是针对现有跌倒检测技术涉及隐私侵犯的问题,提供一种具有视觉隐私保护优势的室内跌倒行为检测方法。
为实现上述目的,本发明采用的技术方案是:
一种具有视觉隐私保护优势的室内跌倒行为检测方法,包括以下步骤:
S1,采集跌倒视频数据,从采集的视频数据中选取有效的视频片段作为训练数据和测试数据;根据视频片段中是否发生跌倒行为将训练数据分为正负样本集合,并分别在正负样本集合上标记相应的类别标签;
S2,利用压缩感知技术,分别对训练数据和测试数据依次进行多层压缩观测处理,得到视频帧图像产生视觉屏蔽效果的压缩态视频数据;
S3,利用低秩稀疏分解理论对画质大幅降低的压缩态视频数据进行目标检测,提取压缩态视频帧中前景目标区域;
S4,利用密集轨迹算法表征前景目标的运动轨迹时空特征;
S5,通过特征编码和主成分分析方法得到有判别力的特征描述;
S6,利用基于类字典学习的IDL分类器来构建跌倒检测模型,利用构建好的跌倒检测模型识别监控视频中存在的跌倒行为。
具体地,步骤S1具体为:对采集的原始视频数据进行分割处理,将每段视频分割为有限视频帧组成的短视频片段,使得每个短视频片段只包含一类行为;再根据视频片段中是否发生跌倒行为,将含有跌倒行为的视频集合定义为正样本集合,将只包含日常正常行为的非跌倒行为的视频集合定义为负样本集合。
具体地,步骤S2中,所述多层压缩观测处理方法为:将相邻的4个像素点压缩为1个像素点,并将单层压缩感知扩展为多层压缩感知;具体方法为:
将含有M×N个像素值的第j帧视频图像Xj分成c个包含2×2像素值的图像块xji,即Xj=[xj1,…,xji,…,xjc],同时将含有M×N个元素的观测矩阵ω分成c个2×2大小的块ωi,即ω=[ω1,…,ωi,…,ωc],然后将相同位置的矩阵块与图像块进行内积运算,即分别对每个图像块进行观测:
yji=ωixji,i=1,2,3,...,c (1)
其中,xji是第j帧视频帧图像的第i个图像块的矢量形式,大小为2×2;ωi是观测矩阵ω中对应的第i个矩阵块的矢量形式,大小为2×2;经过内积运算处理后,M×N尺寸的原视频帧图像Xj缩小为M/2×N/2尺寸的压缩态视频帧Yj,压缩率为4;
所述多层压缩感知的定义为:
Figure GDA0003524938790000021
其中,ω(n)为第n层的观测矩阵,大小为M/2n×N/2n,视频帧Xj经过n层压缩感知采样,尺寸压缩率为4n,包含t帧视频帧的原视频序列X被压缩为n层压缩态时序图像集合Y(n),Y(n)=[Y1 (n),…,Yj (n),…,Yt (n)],经过多层压缩感知采样后的图像画质已达到人眼辨识能力的下限。
具体地,步骤S3中,所述低秩稀疏分解理论是一种运动目标检测方式,其核心思想是将视频矩阵分解为一个低秩矩阵和稀疏矩阵,所述低秩稀疏分解理论的数学模型为:
Figure GDA0003524938790000031
其中,X对应视频序列集合,每一列对应一个视频帧图像,A对应分解后的低秩背景部分,E对应稀疏的前景区域,λ是用来控制低秩矩阵与稀疏矩阵比例的参数;该数学模型是一个高度非凸优化问题,需通过松弛方法修正该模型,将l0范数松弛到l1范数,用核范数‖A‖*逼近矩阵的秩,进而得到一个凸优化问题的求解模型:
Figure GDA0003524938790000032
与原始视频数据相比,具有视觉屏蔽效果的压缩态数据除了背景信息和前景目标信息,还存在着压缩过程引入的大量噪声和异常值,因此最终的优化模型为:
Y(n)=A(n)+E(n)+S(n) (5)
其中,Y(n)是n层压缩态视频帧序列集合,每一列对应一帧n层压缩态视频帧,A(n)是压缩态数据的背景部分,S(n)是前景部分,E(n)是噪声部分。
具体地,步骤S4中,所述密集轨迹算法是利用光流场来获得视频序列中的运动轨迹,再沿着运动轨迹提取特征;所述特征包括:方向梯度直方图HOG、光流直方图HOF和运动边界直方图MBH;其中方向梯度直方图HOG是基于灰度图计算得到的,光流直方图HOF和运动边界直方图MBH是基于密集轨迹光流计算得到的。
进一步地,步骤S4中,针对不同的压缩层调整密集轨迹算法参数以获得最佳识别效果,参数设置为:压缩层1:采样间隔W=3,时空卷大小N=32,轨迹长度L=15,时空块大小为2×2×3;压缩层2:采样间隔W=2,时空卷大小N=16,轨迹长度L=15,时空块大小为2×2×3;压缩层3:采样间隔W=2,时空卷大小N=16,轨迹长度L=20,时空块大小为2×2×3。
具体地,步骤S5中,采用Fisher Vector算法对步骤S4提取到的局部时空特征进行特征融合编码;由于融合过后的编码维数过大,采用主成分分析算法对融合后的编码进行降维处理,减少计算复杂度的同时得到更具判别力的特征编码。
具体地,步骤S6中,所述基于类字典学习的分类器IDL构建的跌倒检测模型如下:
Figure GDA0003524938790000041
α* 1=arg minα||α||1s.t.DAα=y^ (7)
Figure GDA0003524938790000042
其中,A1和A2分别对应跌倒行为训练数据和非跌倒行为训练数据的特征编码集合;E是特征编码矩阵A在字典D下的稀疏表示矩阵,S是向量稀疏系数的个数限制;通过训练数据特征分别学习得到对应的跌倒行为特征字典DA1与非跌倒行为特征字典DA2,字典中的原子将更具有判别性,综合两者的字典DA类间差异也更加明显;跌倒行为的检测问题从而转化为压缩态测试视频的特征编码y^在字典DA上的稀疏表示求解问题(7),最后根据式(8)来确定测试数据的识别结果。
与现有技术相比,本发明的有益效果是:本发明通过将压缩感知理论引入了传统的基于视觉的跌倒检测系统中,对监控视频进行压缩观测处理,在消除视觉信息产生视觉屏蔽效果的同时对海量的视频数据进行了压缩处理,大大减少了计算机数据处理量,既解决了目前基于视觉监控方法中隐私侵犯的问题,也提高了跌倒识别的实时性能。
附图说明
图1为本发明一种具有视觉隐私保护优势的室内跌倒行为检测方法的流程示意图;
图2为本发明实施例中基于压缩感知的图像视觉屏蔽示意图;
图3为本发明实施例中视频帧低秩稀疏分解的可视化结果示意图;
图4为本发明实施例中压缩态视频的运动目标光流图可视化示意图。
具体实施方式
下面将结合本发明中的附图,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例,都属于本发明保护的范围。
如图1所示,本实施例提供了一种具有视觉隐私保护优势的室内跌倒行为检测方法,包括以下步骤:
S1,采集跌倒视频数据,从采集的视频数据中选取有效的视频片段作为训练数据和测试数据;根据视频片段中是否发生跌倒行为将训练数据分为正负样本集合,并分别在正负样本集合上标记相应的类别标签;
由于采集的视频数据中可能会包含多种行为(如行走、拖地、跌倒等),故需要对采集的原始视频数据进行分割处理,将每段视频分割为有限视频帧组成的短视频片段,使得每个短视频片段只包含一类行为;再根据视频片段中是否发生跌倒行为,将含有跌倒行为的视频集合定义为正样本集合,将只包含日常正常行为的非跌倒行为的视频集合定义为负样本集合。
S2,利用压缩感知技术(Compressed sensing,CS),也称压缩采样技术,分别对训练数据和测试数据依次进行多层压缩观测处理,得到视频帧图像产生视觉屏蔽效果的压缩态视频数据;
如果把包含t帧图片的视频片段X理解为时序图像集合X=[X1,…,Xj,…,Xt],则针对视频数据的处理可以类似于对图像数据进行处理。本发明利用压缩感知中的观测矩阵对连续的视频帧依次进行相同的采样压缩处理,将高维图像信号投影到一个低维空间,在减少数据量的同时产生视觉屏蔽效果,解决用户在居家环境监控中对于隐私保护的需求。同时,采集到的低维信号应当保持图片的主要信息不被丢失,相邻帧之间的时序信息也应当保留,这样才能更好得实现压缩域的跌倒识别任务。因此选择一个性能良好的观测矩阵对于跌倒检测任务来说至关重要。本发明选用压缩感知理论常用的伯努利随机矩阵作为观测矩阵。对于大尺度图像,分块压缩感知是一种计算效率高的处理算法。本发明依据分块压缩的思路,将含有M×N个像素值的第j帧视频图像Xj分成c个包含2×2像素值的图像块xji,即Xj=[xj1,…,xji,…,xjc],同时将含有M×N个元素的观测矩阵ω分成c个2×2大小的块ωi,即ω=[ω1,…,ωi,…,ωc],然后将相同位置的矩阵块与图像块进行内积运算,即分别对每个图像块进行观测:
yji=ωixji,i=1,2,3,...,c (1)
其中,xji是第j帧视频帧图像的第i个图像块的矢量形式,大小为2×2;ωi是观测矩阵ω中对应的第i个矩阵块的矢量形式,大小为2×2;经过内积运算处理后,M×N尺寸的原视频帧图像Xj缩小为M/2×N/2尺寸的压缩态视频帧Yj,压缩率为4;
由于单层CS采样可以保证高质量的图像重建,如果测量矩阵意外泄露,压缩视频可以很容易地重构为原始视频,这意味着隐私信息仍然可以被暴露。因此,本发明提出将单层CS采样扩展到多层CS采样,提高了视频帧重建的难度,保证了视觉信息不易被破解。所述多层压缩感知的定义为:
Figure GDA0003524938790000051
其中,ω(n)为第n层的观测矩阵,大小为M/2n×N/2n,视频帧Xj经过n层压缩感知采样,尺寸压缩率为4n,包含t帧视频帧的原视频序列X被压缩为n层压缩态时序图像集合Y(n),Y(n)=[Y1 (n),…,Yj (n),…,Yt (n)],如图2所示,经过多层压缩感知采样后的图像画质已达到人眼辨识能力的下限。
S3,利用低秩稀疏分解理论对画质大幅降低的压缩态视频数据进行目标检测,提取压缩态视频帧中前景目标区域;
所述低秩稀疏分解理论也称为鲁棒性主成分分析理论,是一种有效的运动目标检测方式,其核心思想是将视频矩阵分解为一个低秩矩阵和稀疏矩阵,所述低秩稀疏分解理论的数学模型为:
Figure GDA0003524938790000061
其中,X对应视频序列集合,每一列对应一个视频帧图像,A对应分解后的低秩背景部分,E对应稀疏的前景区域,λ是用来控制低秩矩阵与稀疏矩阵比例的参数;该数学模型是一个高度非凸优化问题,需通过松弛方法修正该模型,将l0范数松弛到l1范数,用核范数‖A‖*逼近矩阵的秩,进而得到一个凸优化问题的求解模型:
Figure GDA0003524938790000062
与原始视频数据相比,具有视觉屏蔽效果的压缩态数据除了背景信息和前景目标信息,还存在着压缩过程引入的大量噪声和异常值,因此最终的优化模型为:
Y(n)=A(n)+E(n)+S(n) (5)
其中,Y(n)是n层压缩态视频帧序列集合,每一列对应一帧n层压缩态视频帧,A(n)是压缩态数据的背景部分,S(n)是前景部分,E(n)是噪声部分。本发明选用了Go Decomposition(GoDec)算法提取CS态数据中的稀疏前景部分。GoDec算法是能够对噪声干扰和数据缺损的数据保持良好的鲁棒性。图3给出了视频帧经过低秩稀疏分解的可视化结果示例。可以看出,对于原始态视频,低秩稀疏分解模型能够很好分离静态背景和运动前景,而对于噪声很大的CS态图像,也能将前景目标区域基本提取出来。
S4,利用密集轨迹算法表征前景目标的运动轨迹时空特征;
所述密集轨迹算法是利用光流场来获得视频序列中的运动轨迹,再沿着运动轨迹提取特征;本发明依据运动目标轨迹提取的特征包括:方向梯度直方图HOG、光流直方图HOF和运动边界直方图MBH;其中方向梯度直方图HOG是基于灰度图计算得到的,光流直方图HOF和运动边界直方图MBH是基于密集轨迹光流计算得到的。图4中(a)~(d)是经过低秩稀疏分解过程的CS态运动目标区域的光流图示例。从图中可以看出,CS态视频数据依然能得到较为清晰的光流信息,并且与原始态视频数据的光流图高度相似,从而证明了CS态数据基于光流信息的HOF特征与MBH特征的可靠性;图4中,(a)为原始视频数据的光流图,(d)为原始视频数据经过低秩稀疏分解后的光流图。
针对不同的压缩层调整密集轨迹算法参数以获得最佳识别效果,参数设置为:压缩层1:采样间隔W=3,时空卷大小N=32,轨迹长度L=15,时空块大小为2×2×3;压缩层2:采样间隔W=2,时空卷大小N=16,轨迹长度L=15,时空块大小为2×2×3;压缩层3:采样间隔W=2,时空卷大小N=16,轨迹长度L=20,时空块大小为2×2×3。
S5,通过特征编码和主成分分析方法得到有判别力的特征描述;
特征编码部分本发明选取了Fisher Vector算法。由于融合过后的编码维数过大,采用PCA(主成分分析)算法对其进行降维处理,减少计算复杂度的同时得到更具判别力的特征编码。
S6,利用基于类字典学习的IDL分类器来构建跌倒检测模型,利用构建好的跌倒检测模型识别监控视频中存在的跌倒行为。
由于产生视觉屏蔽的CS态数据与腐蚀的图像具有很高的相似性,基于稀疏表示的分类器SRC具有独到的优势,而SRC的局限是在进行分类任务时必须先进行预处理,基于字典学习的稀疏识别方法DSR可以解决SRC存在的问题。现实生活中,跌倒行为视频的数量远小于非跌倒的日常行为视频,这会导致传统的字典学习过程出现严重的类间信息失衡,进而影响识别性能。基于类字典学习IDL的稀疏识别方法能够很好平衡类间信息,集成SRC与DSR两种分类器模型的优势,对于解决该问题具有独特的优势。跌倒识别本质就是个二分类问题,因此学习得到两个类间差异大的字典对于算法识别性能至关重要,类字典学习过程模型构建跌倒检测模型如下:
Figure GDA0003524938790000071
α* 1=arg minα||α||1s.t.DAα=y^ (7)
Figure GDA0003524938790000072
其中,A1和A2分别对应跌倒行为训练数据和非跌倒行为训练数据的特征编码集合;E是特征编码矩阵A在字典D下的稀疏表示矩阵,S是向量稀疏系数的个数限制;通过训练数据特征分别学习得到对应的跌倒行为特征字典DA1与非跌倒行为特征字典DA2,字典中的原子将更具有判别性,综合两者的字典DA类间差异也更加明显;跌倒行为的检测问题从而转化为压缩态测试视频的特征编码y^在字典DA上的稀疏表示求解问题(7),最后根据式(8)来确定测试数据的识别结果。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种具有视觉隐私保护优势的室内跌倒行为检测方法,其特征在于,包括以下步骤:
S1,采集跌倒视频数据,从采集的视频数据中选取有效的视频片段作为训练数据和测试数据;根据视频片段中是否发生跌倒行为将训练数据分为正负样本集合,并分别在正负样本集合上标记相应的类别标签;
S2,利用压缩感知技术,分别对训练数据和测试数据依次进行多层压缩观测处理,得到视频帧图像产生视觉屏蔽效果的压缩态视频数据;
步骤S2中,所述多层压缩观测处理方法为:将相邻的4个像素点压缩为1个像素点,并将单层压缩感知扩展为多层压缩感知;具体方法为:
将含有M×N个像素值的第j帧视频图像Xj分成c个包含2×2像素值的图像块xji,即Xj=[xj1,…,xji,…,xjc],同时将含有M×N个元素的观测矩阵ω分成c个2×2大小的块ωi,即ω=[ω1,…,ωi,…,ωc],然后将相同位置的矩阵块与图像块进行内积运算,即分别对每个图像块进行观测:
yji=ωixji,i=1,2,3,...,c (1)
其中,xji是第j帧视频帧图像的第i个图像块的矢量形式,大小为2×2;ωi是观测矩阵ω中对应的第i个矩阵块的矢量形式,大小为2×2;经过内积运算处理后,M×N尺寸的原视频帧图像Xj缩小为M/2×N/2尺寸的压缩态视频帧Yj,压缩率为4;
所述多层压缩感知的定义为:
Figure FDA0003524938780000011
其中,ω(n)为第n层的观测矩阵,大小为M/2n×N/2n,视频帧Xj经过n层压缩感知采样,尺寸压缩率为4n,包含t帧视频帧的原视频序列X被压缩为n层压缩态时序图像集合Y(n),Y(n)=[Y1 (n),…,Yj (n),…,Yt (n)],经过多层压缩感知采样后的图像画质已达到人眼辨识能力的下限;
S3,利用低秩稀疏分解理论对画质大幅降低的压缩态视频数据进行目标检测,提取压缩态视频帧中前景目标区域;
S4,利用密集轨迹算法表征前景目标的运动轨迹时空特征;
S5,通过特征编码和主成分分析方法对提取到的轨迹时空特征进行融合,获得更具有判别力的特征描述;
S6,利用基于类字典学习的IDL分类器来构建跌倒检测模型,利用构建好的跌倒检测模型识别监控视频中存在的跌倒行为。
2.根据权利要求1所述的一种具有视觉隐私保护优势的室内跌倒行为检测方法,其特征在于,步骤S1具体为:对采集的原始视频数据进行分割处理,将每段视频分割为有限视频帧组成的短视频片段,使得每个短视频片段只包含一类行为;再根据视频片段中是否发生跌倒行为,将含有跌倒行为的视频集合定义为正样本集合,将只包含日常正常行为的非跌倒行为的视频集合定义为负样本集合。
3.根据权利要求1所述的一种具有视觉隐私保护优势的室内跌倒行为检测方法,其特征在于,步骤S3中,所述低秩稀疏分解理论是一种运动目标检测方式,其核心思想是将视频矩阵分解为一个低秩矩阵和稀疏矩阵,所述低秩稀疏分解理论的数学模型为:
Figure FDA0003524938780000021
其中,X对应视频序列集合,每一列对应一个视频帧图像,A对应分解后的低秩背景部分,E对应稀疏的前景区域,λ是用来控制低秩矩阵与稀疏矩阵比例的参数;该数学模型是一个高度非凸优化问题,需通过松弛方法修正该模型,将l0范数松弛到l1范数,用核范数‖A‖*逼近矩阵的秩,进而得到一个凸优化问题的求解模型:
Figure FDA0003524938780000022
与原始视频数据相比,具有视觉屏蔽效果的压缩态数据除了背景信息和前景目标信息,还存在着压缩过程引入的大量噪声和异常值,因此最终的优化模型为:
Y(n)=A(n)+E(n)+S(n) (5)
其中,Y(n)是n层压缩态视频帧序列集合,每一列对应一帧n层压缩态视频帧,A(n)是压缩态数据的背景部分,S(n)是前景部分,E(n)是噪声部分。
4.根据权利要求1所述的一种具有视觉隐私保护优势的室内跌倒行为检测方法,其特征在于,步骤S4中,所述密集轨迹算法是利用光流场来获得视频序列中的运动轨迹,再沿着运动轨迹提取特征;所述特征包括:方向梯度直方图HOG、光流直方图HOF和运动边界直方图MBH;其中方向梯度直方图HOG是基于灰度图计算得到的,光流直方图HOF和运动边界直方图MBH是基于密集轨迹光流计算得到的。
5.根据权利要求1或4所述的一种具有视觉隐私保护优势的室内跌倒行为检测方法,其特征在于,步骤S4中,针对不同的压缩层调整密集轨迹算法参数以获得最佳识别效果,参数设置为:压缩层1:采样间隔W=3,时空卷大小N=32,轨迹长度L=15,时空块大小为2×2×3;压缩层2:采样间隔W=2,时空卷大小N=16,轨迹长度L=15,时空块大小为2×2×3;压缩层3:采样间隔W=2,时空卷大小N=16,轨迹长度L=20,时空块大小为2×2×3。
6.根据权利要求1所述的一种具有视觉隐私保护优势的室内跌倒行为检测方法,其特征在于,步骤S5中,采用Fisher Vector算法对步骤S4提取到的局部时空特征进行特征融合编码;采用主成分分析算法对融合后的编码进行降维处理。
7.根据权利要求1所述的一种具有视觉隐私保护优势的室内跌倒行为检测方法,其特征在于,步骤S6中,所述基于类字典学习的分类器IDL构建的跌倒检测模型如下:
Figure FDA0003524938780000031
Figure FDA0003524938780000032
Figure FDA0003524938780000033
其中,A1和A2分别对应跌倒行为训练数据和非跌倒行为训练数据的特征编码集合;E是特征编码矩阵A在字典D下的稀疏表示矩阵,S是向量稀疏系数的个数限制;通过训练数据特征分别学习得到对应的跌倒行为特征字典DA1与非跌倒行为特征字典DA2,字典中的原子将更具有判别性,综合两者的字典DA类间差异也更加明显;跌倒行为的检测问题从而转化为压缩态测试视频的特征编码y^在字典DA上的稀疏表示求解问题(7),最后根据式(8)来确定测试数据的识别结果。
CN201910823221.1A 2019-09-02 2019-09-02 一种具有视觉隐私保护优势的室内跌倒行为检测方法 Active CN110598606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910823221.1A CN110598606B (zh) 2019-09-02 2019-09-02 一种具有视觉隐私保护优势的室内跌倒行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910823221.1A CN110598606B (zh) 2019-09-02 2019-09-02 一种具有视觉隐私保护优势的室内跌倒行为检测方法

Publications (2)

Publication Number Publication Date
CN110598606A CN110598606A (zh) 2019-12-20
CN110598606B true CN110598606B (zh) 2022-05-27

Family

ID=68856963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910823221.1A Active CN110598606B (zh) 2019-09-02 2019-09-02 一种具有视觉隐私保护优势的室内跌倒行为检测方法

Country Status (1)

Country Link
CN (1) CN110598606B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553320B (zh) * 2020-05-14 2021-12-21 支付宝(杭州)信息技术有限公司 保护个人数据隐私的特征提取方法、模型训练方法及硬件
CN111680682B (zh) * 2020-06-12 2022-05-03 哈尔滨理工大学 一种复杂场景下安全帽识别方法
CN113486791B (zh) * 2021-07-05 2023-12-05 南京邮电大学 针对隐私保护视频关键帧提取的视觉评价关联模型方法
CN113807275B (zh) * 2021-09-22 2023-10-24 南京邮电大学 基于隐私保护类gan特征增强的居家视频跌倒检测方法
CN114998805A (zh) * 2022-06-14 2022-09-02 南京邮电大学 基于dcgan时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609681A (zh) * 2012-01-12 2012-07-25 北京大学 基于字典学习模型的人脸识别方法
CN103476040A (zh) * 2013-09-24 2013-12-25 重庆邮电大学 带有隐私保护的分布式压缩感知数据融合方法
CN104504367A (zh) * 2014-12-01 2015-04-08 中国科学院信息工程研究所 一种基于级联字典的人群异常检测方法及系统
CN105279483A (zh) * 2015-09-28 2016-01-27 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
CN106778854A (zh) * 2016-12-07 2017-05-31 西安电子科技大学 基于轨迹和卷积神经网络特征提取的行为识别方法
WO2017096082A1 (en) * 2015-12-01 2017-06-08 Drexel University Beam visualization and using augmented reality for control and interaction
CN107273822A (zh) * 2017-05-26 2017-10-20 西安电子科技大学 一种基于监控视频多目标跟踪和人脸识别的隐私保护方法
CN108229338A (zh) * 2017-12-14 2018-06-29 华南理工大学 一种基于深度卷积特征的视频行为识别方法
CN109886102A (zh) * 2019-01-14 2019-06-14 华中科技大学 一种基于深度图像的跌倒行为时空域检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110270590A1 (en) * 2010-04-28 2011-11-03 Qualcomm Incorporated Nonlinear identification using compressed sensing and minimal system sampling

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609681A (zh) * 2012-01-12 2012-07-25 北京大学 基于字典学习模型的人脸识别方法
CN103476040A (zh) * 2013-09-24 2013-12-25 重庆邮电大学 带有隐私保护的分布式压缩感知数据融合方法
CN104504367A (zh) * 2014-12-01 2015-04-08 中国科学院信息工程研究所 一种基于级联字典的人群异常检测方法及系统
CN105279483A (zh) * 2015-09-28 2016-01-27 华中科技大学 一种基于深度图像的跌倒行为实时检测方法
WO2017096082A1 (en) * 2015-12-01 2017-06-08 Drexel University Beam visualization and using augmented reality for control and interaction
CN106778854A (zh) * 2016-12-07 2017-05-31 西安电子科技大学 基于轨迹和卷积神经网络特征提取的行为识别方法
CN107273822A (zh) * 2017-05-26 2017-10-20 西安电子科技大学 一种基于监控视频多目标跟踪和人脸识别的隐私保护方法
CN108229338A (zh) * 2017-12-14 2018-06-29 华南理工大学 一种基于深度卷积特征的视频行为识别方法
CN109886102A (zh) * 2019-01-14 2019-06-14 华中科技大学 一种基于深度图像的跌倒行为时空域检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A depth-based fall detection system using a Kinect sensor;Gasparrini S et al;《Sensors》;20141231;全文 *
Intelligent video surveillance for monitoring fall detection of elderly in home environment;Foroughi H et al;《2008 11th international conference on computer and information technology》;20081231;全文 *
基于分布式压缩感知和散列函数的数据融合隐私保护算法;寇兰等;《计算机应用研究》;20181105;全文 *

Also Published As

Publication number Publication date
CN110598606A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110598606B (zh) 一种具有视觉隐私保护优势的室内跌倒行为检测方法
Gong et al. A real-time fire detection method from video with multifeature fusion
Sharma et al. An efficient dimension reduction based fusion of CNN and SVM model for detection of abnormal incident in video surveillance
Wang et al. Human fall detection in surveillance video based on PCANet
Ryan et al. Scene invariant multi camera crowd counting
Liu et al. Privacy-preserving video fall detection using visual shielding information
CN109190475A (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN109886102B (zh) 一种基于深度图像的跌倒行为时空域检测方法
Briassouli et al. Spatiotemporally localized new event detection in crowds
Guo et al. Quaternion discrete cosine transformation signature analysis in crowd scenes for abnormal event detection
Zhou et al. A review of multiple-person abnormal activity recognition
Varghese et al. Video anomaly detection in confined areas
Kroneman et al. Accurate pedestrian localization in overhead depth images via Height-Augmented HOG
Matlani et al. An Efficient Algorithm Proposed For Smoke Detection in Video Using Hybrid Feature Selection Techniques
More et al. Gait-based human recognition using partial wavelet coherence and phase features
Shreedarshan et al. Crowd recognition system based on optical flow along with SVM classifier
JP2022184761A (ja) 入力データにおける異常を検知するための概念
Kaur et al. An Image Processing Techniques For Pattern Detection In Covid-19
Arivazhagan Versatile loitering detection based on non-verbal cues using dense trajectory descriptors
Kalaivani et al. Video event representation for abnormal event detection
Chen et al. Salient points driven pedestrian group retrieval with fine-grained representation
CN112541403A (zh) 一种利用红外摄像头的室内人员跌倒检测方法
Nagananthini et al. Crowd disaster avoidance system (CDAS) by deep learning using extended center symmetric local binary pattern (XCS-LBP) texture features
Masood et al. Identification of Anomaly Scenes in Videos Using Graph Neural Networks
Prema et al. Local binary pattern based hybrid texture descriptors for the classification of smoke images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210012 No.9 Wenyuan Road, Qixia District, Nanjing City, Jiangsu Province

Applicant after: NANJING University OF POSTS AND TELECOMMUNICATIONS

Address before: No.12 Huatai Road, Yuchun District, Nanjing, Jiangsu Province

Applicant before: NANJING University OF POSTS AND TELECOMMUNICATIONS

GR01 Patent grant
GR01 Patent grant