CN114998805A - 基于dcgan时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法 - Google Patents
基于dcgan时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法 Download PDFInfo
- Publication number
- CN114998805A CN114998805A CN202210684916.8A CN202210684916A CN114998805A CN 114998805 A CN114998805 A CN 114998805A CN 202210684916 A CN202210684916 A CN 202210684916A CN 114998805 A CN114998805 A CN 114998805A
- Authority
- CN
- China
- Prior art keywords
- video
- homomorphic
- dcgan
- compensation
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013508 migration Methods 0.000 title claims abstract description 43
- 230000005012 migration Effects 0.000 title claims abstract description 43
- 238000012544 monitoring process Methods 0.000 title claims abstract description 29
- 230000005548 health behavior Effects 0.000 title claims abstract description 22
- 230000000007 visual effect Effects 0.000 title claims abstract description 21
- 230000006399 behavior Effects 0.000 claims abstract description 13
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 238000013467 fragmentation Methods 0.000 claims description 3
- 238000006062 fragmentation reaction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 7
- 238000005728 strengthening Methods 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 25
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000739 chaotic effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，包括：利用多层压缩感知实现视频帧的视觉屏蔽效果并对数据集基于行为变化进行四分类提取前景帧；使用DCGAN技术进行时空信息迁移补偿用以对压缩态的图像补偿后既保留其视觉屏蔽效果又实现特征的强化的目的；对补偿后的图像提取同态BWLBP‑TOP特征用以量化的表达补偿后的特征内容；提出一种基于标签一致正则化联合分类的多分类识别来有效的进行四分类识别以达到居家健康行为视频同态监测应用。本发明提出的一种基于视觉屏蔽的室内人体行为变化识别的方法，可以在保障老年人安全的前提下兼顾隐私不被泄露。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法。
背景技术
由于人口老龄化和空巢老人数量的增加，对老年人健康监测的研究一直是一个热门的学术课题。有些调查报告还指出，大多数老年人受伤和住院的主要原因是跌倒。如果没有及时发现意外跌倒，老年人将因缺乏及时的治疗而受到严重的伤害。而且对于老人跌倒的姿势也需要一定程度的说明，坐着摔倒与走着跌倒也是不同的急救措施，因为不同姿势跌倒时，主要的伤害位置是不同的。因此，寻找一种有效的居家健康监测方法的研究将有助于更快地应对潜在的紧急情况，特别是对于独居老年人的监护人来说。
居家老人健康监测方法大致可分为三种类型：基于可穿戴设备的方法、基于环境设备的方法和基于视觉的方法。但是可穿戴设备一直佩戴会给人们带来一定程度的不适；基于环境设备的方法成本高、维护困难，不适用于普通家庭。而随着摄像机在健康监测系统中的日益应用，基于视觉的人体行为变化识别方法已经引起了广泛的关注。该方法只关注相机捕捉到的帧，利用图像处理和模式识别技术来检测行为变化。不仅设备安装成本较低，干扰程度较小，而且摄像机还可以同时记录各种日常活动。然而，传统的基于视觉上清晰的图像进行居家监测会带来隐私泄露的风险。特别是对于浴室和厕所这些容易泄露个人隐私的地点，而又是老年人最常发生意外的地方。因此，设计一个考虑到个人隐私的居家健康行为视频监测系统具有深远的意义和应用价值。
发明内容
针对现有技术存在的问题，本发明提供一种基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，研究了一套从视觉屏蔽视频中提取人体动目标再进行特征强化的方法，接着基于提取出的时序性纹理特征设计了一个基于联合分类误差和标签一致正则化的多分类居家人体姿态变化识别方案。
为了达到上述目的，本发明是通过以下技术方案实现的：
本发明是一种基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，包括以下步骤：
步骤1：获取跌倒视频数据集，对其进行多层CS采样，使视频内容达到人眼不可辨的效果，再运用低秩稀疏分解理论与相似度距离的帧融合提取同态动目标；
步骤2：基于提取的前景帧运用DCGAN的方法进行时空信息迁移补偿，补偿后再进行粹化来过滤噪声点；
步骤3：视频同态BWLBP-TOP特征提取，有效表达一个视频的动目标特征的一维时序纹理特征，不仅保留了空间特征信息，也保留了时间特征信息；
步骤4：基于联合分类误差和标签一致正则化的居家健康行为视频同态监测，得到四种人体行为变化下各自识别结果。
优选地，步骤1进一步包括：
步骤1.1：选取跌倒数据集
步骤1.2：对跌倒数据集进行多层CS采样编码处理，随着降维层数的增加，图像质量不断下降，视频内容逐渐达到屏蔽状态；将CS3层称为视觉屏蔽层或压缩态；
步骤1.3：将原始态视频与压缩态视频都进行低秩稀疏法来分离前后景，然后基于相似度距离的前景帧叠加方式减少压缩视频产生的随机噪声；对高相似度的视频帧融合，以使前景图像中的运动目标完整；然后提取出同态动目标。
优选地，步骤2进一步包括：
步骤2.1：了解DCGAN模型主要是通过生成器和判别器相互竞争，最终达到纳什均衡；整个过程可归纳为一个二元极小极大博弈：
其中：V(D,G)为二分类任务里常用的交叉熵损失，Pdata(x)为真实数据分布，Pz(z)为噪声分布，D(x)表x源于真实数据，G(z)表示随机噪声经生成器后的生成样本；在训练过程中，判别器D目的为最大化判别准确率，生成器G的目的在于最小化判别器D的判别准确率的最大值，即
步骤2.2：基于DCGAN进行改进，设计出DCGAN网络来实现时空信息迁移补偿，补偿器端的输入为压缩态动目标时空特征，迁移器端输入原始态动目标时空特征；
步骤2.2.1：对补偿器进行固定，训练迁移器，输入batchsize＝30的真实数据到迁移网络中，进行反向传播，网络权重优化；
步骤2.2.2：对迁移器保持不变，使
达到最大，训练补偿器得到的fake张量，将此张量传递到迁移网络中进行反向传播，网络权重优化；
步骤2.2.3：迁移条件为每个图像对应的label值与Migrator得到的值进行计算并分别反馈给Compensator和Migrator，并依此进行优化器优化，然后输出Compensator特征补偿后的图像，重复第一步以及第二步，多次迭代后直到Compensator与Migrator达到纳什均衡；
步骤2.3：对得到的补偿帧通过低秩稀疏法与前景帧叠加的方式进行粹化，降低Migrator网络多层卷积下形成的大量噪声点。
优选地，步骤3进一步包括：
步骤3.1：为了得到补偿帧的基于块的不同贡献度的时序纹理特征，首先需要计算每一小块的权重矩阵：
其中，i、j是块索引，取值为i、j＝1,2,3,...N；H和W分别代表每一个小块的高与宽；F表示补偿帧；
步骤3.2：通过运动强度Cij归一化到[0,1]得到时序纹理特征的权重矩阵Mij：
Mij＝Cij/MAX({Cij|i,j＝1,2,3,...,N})
其中，函数MAX表示运动强度Cij的集合中的最大值；
步骤3.3：LBP-TOP是对图像的外观和运动进行三个方向的编码，即将LBP应用到XY、XT、YT三个平面，其中XY平面有着丰富的外观信息，XT、YT平面包含重要的时域信息；从每个块卷中分别提取三个平面的BWLBP-TOP特征描述符并连接成一个向量；因此一个块卷的特征直方图公式描述为：
其中
分别表示XY、XT、YT三个平面的BWLBP-TOP特征，提取的BWLBP-TOP直方图公式与相应的权重相乘，形成多层压缩态视频四分类识别的加权特征，如下式所示：
H′i,j,t＝Mij×Hi,j,t
H′i,j,t为时序加权特征，Mij为相应块的权重，Hi,j,t为相应块卷的BWLBP-TOP特征。
优选地，步骤4进一步包括：
步骤4.1：目标是将分类误差作为字典学习的目标函数中的一个参数，以使字典成为分类的最优对象；这里使用一个线性预测类定义符f(x；W)＝Wz；学习同时具有重构能力和鉴别能力的字典D的目标函数可以定义如下：
D是学习到的过完备字典，A是一个线性变换矩阵，W为分类器参数，X＝[x1...xN]∈RK×N是输入信号Y的稀疏编码，T是一个稀疏约束因子，α和β是控制相应项的相对贡献的标量；H＝[h1...hN]∈Rm×N是输入信号Y的类标签，hi＝[0,0...1...0,0]t∈Rm是一个对应于输入信号yi的标签向量，其中非零位置数值表示yi的类别标签；Q＝[q1...qN]∈Rk×N]是用于分类的输入信号Y的判别稀疏码，如果qi的非零数值出现在输入信号yi和字典项dk共享相同标签的稀疏码，
是与输入信号yi对应的；
假设判别稀疏编码X'＝AX和A∈RK×K是可逆的，然后D'＝DA-1,W'＝WT-1。上式中的目标函数可以改写为
第一项表示重构误差，第二项表示判别稀疏编码误差，第三项表示分类误差；
步骤4.2：将步骤3得到的四个分类的一维BWLBP-TOP特征H'i,j,t按照五则交叉的原则选取训练集与相应参数输入上一步得到的LC-KSVD2公式中，得到D为学习到的过完备字典，W为分类器参数。再将测试集与D、W等参数按照标签一致性原则进行迭代计算，得到每一组测试集对应的一个识别率。最后按照识别标签得到混淆矩阵分析出四个分类之间的关系，并且分析对应分类的识别率与现有方法比较有所提高以及避免了过拟合的问题。
本发明的有益效果是：
1、本发明利用WELL算法获取得到伪随机数后作为原始信号与高斯分布结合，生成混沌伪随机高斯测量矩阵与多层压缩感知的模型结合，前者好处在于可以在短时间内产生很多数字，后者基于前者的铺垫并实现了图像加密性与不可重构性。
2、本发明针对压缩态与原始态是否是同态的问题，分别基于两者的前景帧进行动目标信息量占比比较，验证了两者符合同态并且证明后续基于这两者进行同样的运算是符合映射条件的。
3、本发明针对DCGAN时空信息迁移补偿算法，按照视频帧数对应选取参数确保时序信息有效保留，并不断训练与优化补偿器与迁移器，迁移条件为四种不同行为变化分类对应的标签值，将其反馈给优化器可强化四种分类条件的空间信息。
4、本发明基于联合分类误差和标签一致正则化作为分类器，与原始的KSVD方法不同，本发明目标函数中添加一个联合分类误差和标签一致正则化项的影响，以学习具有更加平衡的重构和鉴别能力的字典，提高了识别率。
附图说明
图1为本发明实施例中的方法流程示意图。
图2为本发明实施例中的原始态与压缩态视频动目标提取示意图。
图3为本发明实施例中的原始态与压缩态视频前景帧信息量占比示意图。
图4为本发明实施例中的DCGAN时空信息迁移补偿的网络架构示意图。
图5为本发明实施例中的特征相似度比较示意图。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
本发明提供一种基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，该方法利用多层压缩感知方法在实现视觉隐私保护的同时，确保了运动信息的高保真度。提取动目标后基于DCGAN算法在对图像不破坏隐私保护条件下进行时空信息迁移补偿并粹化。后提取一维时空纹理特征使用联合分类误差和标签一致正则化进行四分类识别。
如图1所示，本发明是一种基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法的具体步骤依次为：
步骤1：获取跌倒视频数据集，对视频进行多层压缩感知得到压缩态视频，并同时对压缩态与原始态进行动目标提取得到前景帧，通过对前景帧的前景信息量占比的计算来证明压缩态与原始态是同态。
步骤1.1：本实施例选择了常用的跌倒行为数据集URFD与FDD，其中URFD包含30个跌倒视频和30个日常活动视频，所有跌倒事件和日常活动都是从RGB相机获取的，分辨率为640×480。FDD包含128个跌倒视频和128个日常活动视频，分辨率为320×240。因为两个数据集中的单个视频包含多个行为，如行走、坐下、跌倒等行为，所以本发明将每个视频进行了分割处理，将每段视频分割为有限视频帧组成的短视频片段，使每个短视频只包含一类行为变化，比如坐-走、坐-跌倒、走、走-跌倒，分割处理之后，每个视频为30帧。
步骤1.2：通过WELL算法获取得到伪随机数后作为原始信号与高斯分布结合，生成混沌伪随机高斯测量矩阵。它在功能方面类似于梅森旋转算法，生成过程可以递归定义如下：
φn+1＝(a×(φn)+c)mod m
其中φ是伪随机数序列，m是模数(0<m)，a是乘数(0<a<m)，c是增量(0<c<m)，φ0是种子(0<φ0<m)。WELL算法可以在短时间内产生很多数字，对于需要很多数字的应用来说是有利的。
M×N大小的图像X分成n个包含2×2像素值的图像块x，即X＝[x1,x2....,xn]，同时将相同大小的观测矩阵
进行相同的处理，即
然后相同位置上的块进行内积运算，分别对每个图像块进行相同的观测：
为了增强隐私保护的安全性，将单层压缩扩展为多层压缩，其实现方式如下：
四分类(A)坐-走、(B)坐-跌倒、(C)走、(D)走-跌倒情况下，多层压缩如图2所示，压缩层数分别为0层，1层，2层，3层。
步骤1.3：将原始态视频与压缩态视频都进行低秩稀疏法来分离前后景，然后基于相似度距离的前景帧叠加方式减少压缩视频产生的随机噪声；对高相似度的视频帧融合，以使前景图像中的运动目标完整；然后进行同态动目标提取。
为了证明压缩态视频相比原始态视频并没有损失有效信息量，对所有视频进行了前景信息量占比实验，从而证明压缩态与原始态属于同态。首先将前景帧灰度图像转换为二值图像，图像进行二值化后，因为动目标是灰度值较小的部分被归为0值，而不变的背景是灰度值较大的部分被归为1值，然后按照H(X)＝Q(X)/S(X)，对0值进行信息量的计算，其中Q(X)为图片中0值的个数，S(X)值为图片的尺寸，例如FDD数据集的原始视频尺寸为240*320，对应的视觉屏蔽层视频尺寸为30*40；由此算出来的H(X)即为每张图片的信息量。如图3所示，深色波动曲实线为原始态视频对应的前景信息量占比，浅色波动曲实线为压缩态视频对应的前景信息量占比，此实施例可证明压缩态的前景帧与原始态的前景帧属于同态信息。
步骤2：基于同态的特性，两者同时进行DCGAN时空信息迁移补偿，将原始态的前景帧输入迁移网络Migrator，压缩态的前景帧输入补偿网络Compensator，得到尺寸为240×320大小的补偿帧。
步骤2.1：了解DCGAN模型主要是通过生成器和判别器相互竞争，最终达到纳什均衡；整个过程可归纳为一个二元极小极大博弈：
其中：V(D,G)为二分类任务里常用的交叉熵损失，Pdata(x)为真实数据分布，Pz(z)为噪声分布，D(x)表示x源于真实数据，G(z)表示随机噪声经生成器后的生成样本；在训练过程中，判别器D目的为最大化判别准确率，生成器G的目的在于最小化判别器D的判别准确率的最大值，即
步骤2.2：基于DCGAN进行改进，设计出DCGAN网络来实现时空信息迁移补偿，补偿器端的输入为压缩态动目标时空特征，迁移器端输入原始态动目标时空特征；
步骤2.2.1：对补偿器进行固定，训练迁移器，从真实数据分布Pdata(x)中抽样x，从先验分布Pz(z)中抽样z，通过补偿器产生数据x，x和z输入迁移器中训练，使得目标函数V最大。
对于迁移网络的训练，首先是输入batchsize＝30的真实数据到迁移网络中，进行反向传播，网络权重优化。因为每个视频分为30帧，batchsize取30的时候不会像batchsize取1的时候将每一张前景帧变成独立的一张图像，而会将30帧放在一组训练，保留前后的时序信息，因此是保留时间信息的。
步骤2.2.2：对迁移器保持不变，使
达到最大，训练补偿器得到的fake张量，将此张量传递到迁移网络中进行反向传播，网络权重优化。
步骤2.2.3：迁移条件为每个图像对应的label值与Migrator得到的值进行计算并分别反馈给Compensator和Migrator，并依此进行优化器优化，然后输出Compensator特征补偿后的图像，重复第一步以及第二步，多次迭代后直到Compensator与Migrator达到纳什均衡。以上三步整体结构如图4所示。
参考图4，设计的DCGAN网络包括补偿器Compensator和迁移器Migrator，补偿器Compensator依次包括两个由逆卷积层、BN层、ReLU层组成的单元、卷积层和Tanh层；迁移器Migrator依次包括六个由卷积层、BN层、Leaky ReLU层组成的单元、Sigmoid层。
步骤2.3：由于Migrator网络层数较多，在多次卷积下虽然特征得到了强化，但是也在非动目标区域形成了大量噪声点，于是需要对得到的补偿帧通过低秩稀疏法与前景帧叠加的方式进行粹化，降低噪声点。
步骤3：同态BWLBP-TOP特征提取。考虑到某些区域对行为识别结果的贡献度大于其他区域，这种分块的方式能按照区域的贡献度对各个区域进行加权，即对运动显著的区域赋予更高的权重，使得跌倒检测结果更准确。因此，采用分块的等价LBP-TOP模式作为CS态视频的时空特征。
步骤3.1：为了得到补偿帧的基于块的不同贡献度的时序纹理特征，首先计算每一小块的权重矩阵：
其中，i、j是块索引，取值为i、j＝1,2,3,...N；H和W分别代表每一个小块的高与宽；F表示补偿帧。
步骤3.2：通过运动强度Cij归一化到[0,1]得到时序纹理特征的权重矩阵Mij：
Mij＝Cij/MAX({Cij|i,j＝1,2,3,...,N})
其中，函数MAX表示运动强度Cij的集合中的最大值。
步骤3.3：LBP-TOP是对图像的外观和运动进行三个方向的编码，即将LBP应用到XY、XT、YT三个平面，其中XY平面有着丰富的外观信息，XT、YT平面包含重要的时域信息。从每个块卷中分别提取三个平面的BWLBP-TOP特征描述符并连接成一个向量；因此一个块卷的特征直方图公式描述为：
其中
分别表示XY、XT、YT三个平面的BWLBP-TOP特征，提取的BWLBP-TOP直方图公式与相应的权重相乘，形成多层压缩态视频四分类识别的加权特征，如下式所示：
H′i,j,t＝Mij×Hi,j,t
H′i,j,t为时序加权特征，Mij为相应块的权重，Hi,j,t为相应块卷的BWLBP-TOP特征。
本发明采用DCGAN得到的补偿帧提取同态BWLBP-TOP一维时序纹理特征，将其与未经过DCGAN补偿及粹化步骤的BWLBP-TOP特征比较相似度。即补偿态的BWLBP-TOP特征分别与原始态的BWLBP-TOP特征、压缩态的BWLBP-TOP特征基于R＝corrcoef(A,B)函数进行相似度比较，返回两个随机变量A和B之间的相关系数矩阵。两个随机变量的相关系数用于度量其线性相关性。Pearson相关系数定义为：
其中μA和σA分别是A的均值和标准差，μB和σB是B的均值和标准差。两个随机变量的相关系数矩阵是每个对组变量组合的相关系数的矩阵。
由于A和B始终直接与自身相关，因此对角线上的元素为1，即
相关系数的绝对值越大，相关性越强；相关系数越接近于1或-1，相关度越强；相关系数越接近于0，相关度越弱。特征相似度示意图如图5，其中深色线为DCGAN的BWLBP-TOP特征与原始态BWLBP-TOP特征相似度，浅色线为DCGAN的BWLBP-TOP特征与压缩态BWLBP-TOP特征相似度，由图中可以看出经过DCGAN特征补偿后的图像保留了原始态与压缩态的时序纹理特征，并且补偿态与压缩态的BWLBP-TOP特征相似度程度更高，说明了DCGAN时空信息迁移补偿后的图像也保留了其隐私保护的能力，并未因为补偿而暴露过多信息。
步骤4：基于联合分类误差和标签一致正则化的居家健康行为视频同态监测。上一步骤得到一维的BWLBP-TOP特征后，即可利用LC-KSVD2方法进行多分类识别。分类时使用五则交叉的方法，取四组特征作为训练集，一组特征作为测试集，进行20次循环，然后取出这100次循环的最大值。
步骤4.1：目标是将分类误差作为字典学习的目标函数中的一个参数，以使字典成为分类的最优对象。这里使用一个线性预测类定义符f(x；W)＝Wx。学习同时具有重构能力和鉴别能力的字典D的目标函数可以定义如下：
D是学习到的过完备字典，A是一个线性变换矩阵，W为分类器参数，X＝[x1...xN]∈RK×N是输入信号Y的稀疏编码，T是一个稀疏约束因子，α和β是控制相应项的相对贡献的标量；H＝[h1...hN]∈Rm×N是输入信号Y的类标签，hi＝[0,0...1...0,0]t∈Rm是一个对应于输入信号yi的标签向量，其中非零位置数值表示yi的类别标签；Q＝[q1...qN]∈Rk×N]是用于分类的输入信号Y的判别稀疏码，如果qi的非零数值出现在输入信号yi和字典项dk共享相同标签的稀疏码，
是与输入信号yi对应的。
假设判别稀疏编码X'＝AX和A∈RK×K是可逆的，然后D'＝DA-1,W'＝WT-1。上式中的目标函数可以改写为
第一项表示重构误差，第二项表示判别稀疏编码误差，第三项表示分类误差。
步骤4.2：将步骤3得到的四个分类的一维BWLBP-TOP特征H'i,j,t按照五则交叉的原则选取训练集与相应参数输入上一步得到的LC-KSVD2公式中，得到D为学习到的过完备字典，W为分类器参数。再将测试集与D、W等参数按照标签一致性原则进行迭代计算，得到每一组测试集对应的一个识别率。最后按照识别标签得到混淆矩阵分析出四个分类之间的关系，并且分析对应分类的识别率与现有方法比较有所提高以及避免了过拟合的问题。
由混淆矩阵识别率结果可以得出以下分析与应用指导建议：对于四种行为变化：坐-走、坐-跌倒、走、走-跌倒，坐-走与走这两种行为变化有一定混淆的几率，因为姿势有相对重合的轨迹，坐-跌倒与走-跌倒与其他行为差别很大，因此对这两项的识别准确率较高。将跌倒检测数据集按照四分类重新分类后在现有的《视觉隐私保护下室内监控视频中的跌倒行为检测研究》方法下实现与本发明的识别率相较。可以得到FDD数据集下，现有方法最高识别率为81.50％，本发明最高识别率为88.24％；URFD数据集下，现有方法最高识别率为82.61％，本发明最高识别率为92.31％；混合数据集下，现有方法最高识别率为75.21％，本发明最高识别率为85.71％。
通过DCGAN时空信息迁移补偿网络的消融实验，以确定该网络在识别率等量化关系中的贡献。除DCGAN时空信息迁移补偿网络外，所有的实验设置都不变。提取出压缩态的BWLBP-TOP特征与补偿态的BWLBP-TOP特征分别输入LC-KSVD2分类器中，比较其识别结果。
以混合数据集316个视频数据为例，随机选取80％数据集作为训练集，20％数据集作为测试集，采用五则交叉算法进行20次循环，最后得到补偿态的BWLBP-TOP特征识别率为85.71％，而压缩态的BWLBP-TOP特征识别率为82.81％，由此可以论证DCGAN时空信息迁移补偿网络在识别率等量化关系中确实起到了特征补偿的效果，在四分类识别时比无补偿网络的识别率高。
本发明获得的视觉隐私保护居家健康行为视频同态监测，不仅在视觉隐私保护情况下可以很好的进行四分类的识别还避免了过拟合的问题，识别结果可靠性较强。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。
Claims (7)
1.基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，其特征在于：所述监测方法包括如下步骤：
步骤1：获取跌倒视频数据集，对其进行多层CS采样，使视频内容达到人眼不可辨的效果，再运用低秩稀疏分解理论与相似度距离的帧融合提取同态动目标，得到前景帧；
步骤2：基于提取的前景帧运用DCGAN的方法进行时空信息迁移补偿，补偿后再进行粹化来过滤噪声点；
步骤3：提取视频同态BWLBP-TOP特征，获得表达一个视频的动目标特征的一维时序纹理特征即时序加权特征，同时保留空间和时间的特征信息；
步骤4：结合得到的BWLBP-TOP特征，基于分类误差和标签一致正则化LC-KSVD2，实现居家健康行为视频同态监测，对人体行为变化进行识别。
2.根据权利要求1所述基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，其特征在于：步骤1提取同态动目标包括如下步骤：
步骤1.1：选取跌倒数据集
步骤1.2：对跌倒数据集进行多层CS采样编码处理，随着降维层数的增加，图像质量不断下降，视频内容逐渐达到屏蔽状态；将CS3层称为视觉屏蔽层或压缩态；
步骤1.3：将原始态视频与压缩态视频都进行低秩稀疏法来分离前后景，然后基于相似度距离的前景帧叠加方式减少压缩视频产生的随机噪声；对高相似度的视频帧融合，以使前景图像中的运动目标完整；然后提取出同态动目标。
3.根据权利要求1所述的基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，其特征在于：所述步骤2中基于DCGAN时空信息迁移补偿过程具体包括如下步骤：
步骤2.1：DCGAN模型的过程归纳为一个二元极小极大博弈：
其中：V(D,G)为二分类任务里常用的交叉熵损失，Pdata(x)为真实数据分布，Pz(z)为噪声分布，D(x)表示x源于真实数据，G(z)表示随机噪声经生成器后的生成样本；在训练过程中，判别器D目的为最大化判别准确率，生成器G的目的在于最小化判别器D的判别准确率的最大值，即
步骤2.2：设计DCGAN网络来实现时空信息迁移补偿，补偿器Compensator端的输入为压缩态动目标时空特征，迁移器Migrator端的输入为原始态动目标时空特征，经过多次迭代输出结果：
步骤2.3：对得到的补偿帧通过低秩稀疏法与前景帧叠加的方式进行粹化，降低噪声点。
4.根据权利要求3所述的基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，其特征在于：步骤2.2中，设计的DCGAN网络包括补偿器Compensator和迁移器Migrator；
补偿器Compensator依次包括两个由逆卷积层、BN层、ReLU层组成的单元、卷积层和Tanh层；
迁移器Migrator依次包括六个由卷积层、BN层、LeakyReLU层组成的单元、Sigmoid层。
5.根据权利要求3所述的基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，其特征在于：步骤2.2包括如下步骤：
步骤2.2.1：对补偿器进行固定，训练迁移器，输入batchsize＝30的真实数据到迁移网络中，进行反向传播，网络权重优化；
步骤2.2.2：对迁移器保持不变，使
达到最大，训练补偿器得到的fake张量，将此张量传递到迁移网络中进行反向传播，网络权重优化；
步骤2.2.3：迁移条件为每个图像对应的label值与Migrator得到的值进行计算并分别反馈给Compensator和Migrator，并依此进行优化器优化，然后输出Compensator特征补偿后的图像，重复第一步以及第二步，多次迭代后直到Compensator与Migrator达到纳什均衡。
6.根据权利要求1所述的基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，其特征在于：所述步骤3中视频同态BWLBP-TOP特征提取具体包括如下步骤：
步骤3.1：为了得到补偿帧的基于块的不同贡献度的时序纹理特征，首先需要计算每一小块的权重矩阵。类似于基于块的特征提取方式，将补偿帧分为互不重叠的W×H小块。那么，每一小块的运动强度(贡献度)Cij是通过这一区域及其邻近区域随时间变化的运动前景相加得到。
其中，i、j是块索引，取值为i、j＝1,2,3,…N；H和W分别代表每一个小块的高与宽；F表示补偿帧；
步骤3.2：通过运动强度Cij归一化到[0,1]得到时序纹理特征的权重矩阵Mij：
Mij＝Cij/MAX({Cij|i,j＝1,2,3,…,N})
其中，函数MAX表示运动强度Cij的集合中的最大值；
步骤3.3：LBP-TOP是对图像的外观和运动进行三个方向的编码，即将LBP应用到XY、XT、YT三个平面，其中XY平面有着丰富的外观信息，XT、YT平面包含重要的时域信息；从每个块卷中分别提取三个平面的BWLBP-TOP特征描述符并连接成一个向量；因此一个块卷的特征直方图公式描述为：
其中
分别表示XY、XT、YT三个平面的BWLBP-TOP特征，提取的BWLBP-TOP直方图公式与相应的权重相乘，形成多层压缩态视频四分类识别的加权特征，如下式所示：
H′i,j,t＝Mij×Hi,j,t
H'i,j,t为时序加权特征，Mij为相应块的权重，Hi,j,t为相应块卷的BWLBP-TOP特征。
7.根据权利要求1所述的基于DCGAN时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法，其特征在于：所述步骤4中基于联合分类误差和标签一致正则化的居家健康行为视频同态监测包括如下步骤：
步骤4.1：目标是将分类误差作为字典学习的目标函数中的一个参数，以使字典成为分类的最优对象；使用线性预测类定义符f(x；W)＝Wx；学习同时具有重构能力和鉴别能力的字典D的目标函数定义如下：
D是学习到的过完备字典，A是一个线性变换矩阵，W为分类器参数，X＝[x1...xN]∈RK×N是输入信号Y的稀疏编码，T是一个稀疏约束因子，α和β是控制相应项的相对贡献的标量；H＝[h1...hN]∈Rm×N是输入信号Y的类标签，hi＝[0,0...1...0,0]t∈Rm是一个对应于输入信号yi的标签向量，其中非零位置数值表示yi的类别标签；Q＝[q1…qN]∈Rk×N]是用于分类的输入信号Y的判别稀疏码，如果qi的非零数值出现在输入信号yi和字典项dk共享相同标签的稀疏码，
是与输入信号yi对应的；
假设判别稀疏编码X'＝AX和A∈RK×K是可逆的，然后D'＝DA-1,W'＝WT-1。上式中的目标函数改写为：
第一项表示重构误差，第二项表示判别稀疏编码误差，第三项表示分类误差；
步骤4.2：将步骤3得到的四个分类的一维BWLBP-TOP特征H'i,j,t按照五则交叉的原则选取训练集与相应参数输入上一步得到的LC-KSVD2公式中，得到D为学习到的过完备字典，W为分类器参数；再将测试集与D、W等参数按照标签一致性原则进行迭代计算，得到每一组测试集对应的一个识别率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210684916.8A CN114998805A (zh) | 2022-06-14 | 2022-06-14 | 基于dcgan时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210684916.8A CN114998805A (zh) | 2022-06-14 | 2022-06-14 | 基于dcgan时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114998805A true CN114998805A (zh) | 2022-09-02 |
Family
ID=83035043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210684916.8A Pending CN114998805A (zh) | 2022-06-14 | 2022-06-14 | 基于dcgan时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114998805A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598606A (zh) * | 2019-09-02 | 2019-12-20 | 南京邮电大学 | 一种具有视觉隐私保护优势的室内跌倒行为检测方法 |
| US20210248378A1 (en) * | 2019-02-28 | 2021-08-12 | Huazhong University Of Science And Technology | Spatiotemporal action detection method |
| CN113807275A (zh) * | 2021-09-22 | 2021-12-17 | 南京邮电大学 | 基于隐私保护类gan特征增强的居家视频跌倒检测方法 |
-
2022
- 2022-06-14 CN CN202210684916.8A patent/CN114998805A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210248378A1 (en) * | 2019-02-28 | 2021-08-12 | Huazhong University Of Science And Technology | Spatiotemporal action detection method |
| CN110598606A (zh) * | 2019-09-02 | 2019-12-20 | 南京邮电大学 | 一种具有视觉隐私保护优势的室内跌倒行为检测方法 |
| CN113807275A (zh) * | 2021-09-22 | 2021-12-17 | 南京邮电大学 | 基于隐私保护类gan特征增强的居家视频跌倒检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113673489B (zh) | 一种基于级联Transformer的视频群体行为识别方法 | |
| CN112560810B (zh) | 基于多尺度时空特征神经网络的微表情识别方法 | |
| US8340435B2 (en) | Method and system for object recognition search | |
| CN111382679A (zh) | 帕金森病步态运动障碍严重程度的评估方法、系统及设备 | |
| Bhardwaj et al. | An unsupervised information-theoretic perceptual quality metric | |
| CN116363738A (zh) | 一种基于多移动目标的人脸识别方法、系统及存储介质 | |
| CN114973097A (zh) | 电力机房内异常行为识别方法、装置、设备及存储介质 | |
| CN117636400A (zh) | 基于图像可识别动物身份的方法及系统 | |
| CN114998805A (zh) | 基于dcgan时空信息迁移补偿的视觉隐私保护居家健康行为视频同态监测方法 | |
| CN113449550A (zh) | 人体重识别数据处理的方法、人体重识别的方法和装置 | |
| Aparna | Swarm intelligence for automatic video image contrast adjustment | |
| CN115019233B (zh) | 一种基于姿态检测的精神发育迟滞判别方法 | |
| Bedagkar-Gala et al. | Joint modeling of algorithm behavior and image quality for algorithm performance prediction | |
| Zhao et al. | Research on human behavior recognition in video based on 3DCCA | |
| Kumbhar et al. | Facial expression recognition using gabor wavelet | |
| Bhattacharjee et al. | Classification of fused face images using multilayer perceptron neural network | |
| Heidemann et al. | A system for various visual classification tasks based on neural networks | |
| CN113705328A (zh) | 基于面部特征点与面部运动单元的抑郁检测方法和系统 | |
| Nsour et al. | Human body action recognition based on 3D feature fusion over RGB scenes | |
| Hashem et al. | Human gait identification system based on transfer learning | |
| Karthikeswaran et al. | Automatic human activity recognition in video surveillance system using versatile quadric activity portion classification method | |
| Hidayat et al. | Grouping of Image Patterns Using Inceptionv3 For Face Shape Classification | |
| Razak et al. | Detection of Criminal Behavior at the Residential Unit based on Deep Convolutional Neural Network | |
| Ganokratanaa et al. | Generative adversarial network for video anomaly detection | |
| Chiranjeevi et al. | Surveillance Based Suicide Detection System Using Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |