CN112214783A - 一种基于可信执行环境的步态识别平台及识别方法 - Google Patents

一种基于可信执行环境的步态识别平台及识别方法 Download PDF

Info

Publication number
CN112214783A
CN112214783A CN202011295211.4A CN202011295211A CN112214783A CN 112214783 A CN112214783 A CN 112214783A CN 202011295211 A CN202011295211 A CN 202011295211A CN 112214783 A CN112214783 A CN 112214783A
Authority
CN
China
Prior art keywords
gait
key
execution environment
trusted execution
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011295211.4A
Other languages
English (en)
Other versions
CN112214783B (zh
Inventor
王海
蔡璐
郝璇
王祎昊
任杰
杨冠华
周冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern University
Original Assignee
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern University filed Critical Northwestern University
Priority to CN202011295211.4A priority Critical patent/CN112214783B/zh
Publication of CN112214783A publication Critical patent/CN112214783A/zh
Application granted granted Critical
Publication of CN112214783B publication Critical patent/CN112214783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Algebra (AREA)
  • Computer Hardware Design (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Bioethics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)

Abstract

一种基于可信执行环境的步态识别平台及识别方法，包括密钥管理模块、步态采集模块、加密模块、预处理模块、特征提取模块及分类识别模块；监控摄像设备获取可信执行环境内部存储的用于非对称加密算法的公钥，将监控摄像设备采集到的步态视频序列使用公钥进行加密，将加密后的步态视频序列发送至计算机，再传输到可信执行环境内部，在可信执行环境中进行预处理，将预处理得到的图像序列发送至同在可信执行环境中的特征提取应用程序，分析提取其中的步态特征，将提取到的步态特征与步态数据库中的步态特征进行比对识别，将比对结果返回普通环境。本发明可有效防止恶意程序对步态信息的盗用，同时防御针对步态识别的时间稀疏对抗性攻击。

Description

一种基于可信执行环境的步态识别平台及识别方法
技术领域
本发明属于步态识别技术领域，具体涉及一种基于可信执行环境的步态识别平台及识别方法。
背景技术
步态识别是一种新兴的生物特征识别技术，旨在通过人们走路的姿态进行身份识别，与其他的生物识别技术相比，步态识别具有非接触远距离和不容易伪装的优点。在智能视频监控领域，比图像识别更具优势。因此，步态识别成为当今的研究重点。步态是指人们行走时的方式，这是一种复杂的行为特征。罪犯或许会给自己化装，不让自己身上的哪怕一根毛发掉在作案现场，但有样东西他们是很难控制的，这就是走路的姿势。英国南安普敦大学电子与计算机系的马克·尼克松教授的研究显示，人人都有截然不同的走路姿势，因为人们在肌肉的力量、肌腱和骨骼长度、骨骼密度、视觉的灵敏程度、协调能力、经历、体重、重心、肌肉或骨骼受损的程度、生理条件以及个人走路的“风格”上都存在细微差异。对一个人来说，要伪装走路姿势非常困难，不管罪犯是否带着面具自然地走向银行出纳员还是从犯罪现场逃跑，他们的步态就可以让他们露出马脚。
然而，在未有针对性安全保护的情况下，步态视频数据都存储在普通操作系统中，容易遭受到外来的恶意攻击，致使用户的步态信息面临被恶意程序盗用的危险。用户的步态视频数据中含有用户的外貌特征、穿着打扮及个人习惯，不法分子甚至从用户步态视频中的背景而调查到用户的住址，使用户面临巨大的安全威胁。另一方面，步态识别相关算法也运行在普通操作系统中，容易遭到针对步态识别的对抗性攻击。现有的步态识别方法及平台存在以下几点问题：
1)现有步态识别方法及平台未针对步态识别流程进行保护；
2)步态视频数据属于用户的隐私数据，一旦泄露将为用户带来长久的安全隐患。现有步态识别方法及平台在普通操作系统REE中处理步态视频序列，由于REE极易被攻破，则步态视频数据也面临较高的泄露风险。从而，如何为步态视频数据在终端的处理、识别等各阶段设计安全保护方案，以保障步态分类识别流程中的步态视频数据安全性成为亟待解决的问题。
设计一种步态识别方法及平台，可以有效提高步态识别应用的防御能力，保护用户步态信息及分类识别过程。步态识别方法及平台以可信执行环境为依托，使用TrustZone技术构造一个安全的隔离运行环境，使其既能隔离不可信应用的潜在安全威胁，又能有效地运行被隔离应用，还能够监控其行为，从根本上解决了不可信应用的安全威胁。
可信执行环境(Trusted Execution Environment，TEE)旨在保护安全敏感的代码执行和相关数据信息免受恶意敌手的攻击和破坏，是建立可信移动终端平台的基础。TEE主要由微内核操作系统组成，隔离于由普通终端操作系统(如Android和iOS等)组成的富执行环境(Rich Execution Environment，REE)，即普通环境。TEE能够抵御来自软件层的攻击，具有较强的计算能力，能够执行复杂的逻辑程序。国际标准组织(Global Platform，GP)在2011年为TEE制定了标准白皮书，并给出了系统架构设计指南。ARM公司提出了为TEE提供硬件支持的Trust Zone隔离技术，通过自底向上的方法构建高安全性的隔离环境。
Arm Trust Zone在概念上将SoC(System on Chip，系统级芯片)的硬件和软件资源划分为安全(Secure World)和普通(Normal World)两个世界，所有需要保密的操作在安全世界执行(如指纹识别、密码处理、数据加解密、安全认证等)，其余操作在普通世界执行(如用户操作系统、各种应用程序等)，安全世界和普通世界通过一个名为Monitor Mode的模式进行转换。Trust Zone提供两个虚拟核：非安全(Non-secure,NS)核和安全(Secure)核，两个虚拟的核以基于时间片的方式运行，根据需要实时占用物理核，并通过MonitorMode在安全世界和普通世界之间切换，类似同一CPU下的多应用程序环境，不同的是多应用程序环境下操作系统实现的是进程间切换，而Trust Zone下的Monitor Mode实现了同一CPU上两个操作系统间的切换。
发明内容
为了克服现有技术中步态识别过程中无法对步态分类识别相关算法执行、算法结果和步态视频数据的完整性和机密性保护的问题，本发明的目的是提供一种基于可信执行环境的步态识别平台及识别方法，在可信执行环境中完成步态视频序列的预处理、特征提取和分类识别过程。监控设备获取行人步态视频后，向计算机请求加密密钥，用所得密钥加密视频序列并将密文经网络连接发送至计算机内部，在计算内部的可信执行环境中，完成对步态视频序列的解密、预处理、特征提取以及分类识别过程。其中，分类识别与存储在安全存储区内的步态数据库中的步态特征进行比对识别。
为了实现上述目的，本非买那个采用的技术方案是：
一种基于可信执行环境的步态识别平台，包括密钥管理模块、步态采集模块、加密模块、预处理模块、特征提取模块及分类识别模块：其特征在于：
所述的密钥管理模块运行于计算机的可信执行环境中，负责处理密钥请求、分发密钥；
所述的步态采集模块运行于监控摄像设备上，使用监控摄像装置采集人体行走的视频序列；
所述的加密模块运行于监控设备上，完成对视频序列的加密，加密过程所使用的密钥来自计算机可信执行环境内所述密钥管理模块；
所述的预处理模块运行于可信执行环境，对加密后的视频序列进行解密，解密过程所使用的密钥来自计算机可信执行环境内所述密钥管理模块，使用基于色度偏差的背景减除法对解密后的视频序列进行运动人体目标的提取与背景分割；
所述的特征提取模块运行于可信执行环境中，基于Hough变换提取反映步态特征的数据信息；
所述的分类识别模块运行于可信执行环境中，使用K近邻分类算法(k-NearestNeighbor，KNN)对所述特征提取模块提取到的特征与存储在安全存储区内的步态数据库中的步态特征进行比对识别。
所述步态采集模块包括由网络编码模块和模拟摄像机组合而成的网络摄像机。所述的网络摄像机不仅有图像捕捉的功能，同时内置数字化压缩控制器和基于网络的操作系统，不仅可以压缩视频数据，还可以通过有线局域网或无线网络传送至终端；所述的网络摄像机可直接接入到基于TCP/IP的数字化网络中，其主要的功能是在互联网或内部局域网中进行视频和音频的传输。
一种基于可信执行环境的步态识别方法，其特征在于，包括以下步骤：
1)监控摄像设备获取可信执行环境内部存储的公钥，包括以下步骤：
步骤S11，监控设备发送密钥请求数据包至计算机，密钥请求数据包携带监控设备标识码及期望到达的计算机标识码；
步骤S12，接收计算机的密钥响应数据包；
步骤S13，解析所述密钥响应数据包，验证所述密钥响应数据包中的监控设备标识码是否匹配：若不匹配，则丢弃所述数据包；若匹配，获取所述数据包中的公钥；
监控摄像设备调用RSA加密接口，使用所述密钥响应数据包中的密钥对采集到的所述人体行走视频执行RSA加密操作；
2)将加密后的步态视频序列发送至计算机，计算机通过安全通信机制将加密后的步态视频序列传输到可信执行环境内部；
3)在可信执行环境中对获取的加密步态视频序列使用非对称加密算法的私钥解密，通过密钥管理模块实现，密钥管理模块包括解析密钥请求、密钥获取及解密，其中，所述解析密钥请求包括以下步骤：
步骤S21，查看密钥请求数据包中的监控设备标识码字段，检查所述监控设备标识码是否合法：若不合法，则丢弃所述数据包；若合法，调用密钥获取应用程序，获取一对公钥与私钥；
步骤S22，将所述私钥与所述监控设备标识码共同存储在可信执行环境内部安全存储区中；将所述公钥与所述监控设备标识码字段打包为密钥响应数据包；
步骤S23，广播所述密钥响应数据包；
所述密钥获取包括调用RSA算法接口，该算法生成密钥对并返回给调用者；
所述解密包括接收方接收到密文之后按照公式(1)进行解密：
M＝C^d mod n (1)
式中，M为明文，C为接收到的密文，d为私钥指数，n为RSA算法在生成密钥对时计算得到的整数。
4)对步骤3)解密后的视频序列进行预处理；预处理模块运行于计算机的可信执行环境中，所述包括以下步骤：
步骤S31，将所述解密后的视频序列使用基于色度偏差的背景减除法分割前景运动目标和背景：对于每一个所述解密视频序列，背景帧使用每个像素点的连续k,k充分大帧像素的中值生成。对图像的RGB三个通道分别进行处理，使用Pixel(m，n，p，q)表示一个像素点，其中，(m，n)表示在图像中像素的位置，m＝(1，2，…，row)为行取值，j＝(1，2，…，col)为列取值，p表示彩色图像中RGB 3个通道(p＝1，2，3)，q表示图像帧序号,对每一个像素点，对连续k帧像素的RGB三通道的像素排序，取中值作为背景的像素值,k值的大小由运动目标通过的速度和摄像机拍摄时的采样速率等因素决定；
步骤S32，将每个像素点的当前帧和背景帧的色度偏差值与设定的阈值比较以进行图像二值化，如公式(2)所示，式中，T为阈值，阈值的选择主要靠先验知识，Fclassify运动目标的二值图像；若所述色度偏差值大于所述阈值，则将所述像素点划分为前景运动目标，否则划分为背景；
Figure BDA0002785178350000071
5)调用特征提取可信应用程序接口，将经过步骤4)预处理得到的二值图像序列作为参数传递到同处可信执行环境内的特征提取可信应用程序,分析提取其中的步态特征,特征提取模块运行于计算机的可信执行环境中，包括以下步骤，
步骤S41，从所述步骤S3的二值图像序列中跟踪运动对象的边界，检测对象腿部边界上的直线。大腿或小腿的边界可以近似为直线，因此使用腿部边界上提取的直线的倾斜角表示腿的倾斜角；
步骤S42，对每个运动对象的每个序列截取一个步态周期进行分析，在对象边界图像上局部应用Hough变换检测大腿和小腿的直线，得到直线的倾斜角，即为大腿和小腿的倾斜角；
步骤S43，将截取的所述步态周期沿时间轴平移到[0,T]，使用最小二乘法将一个周期内的倾斜角序列拟合成5阶多项式；
步骤S44，利用Fourier变换完成测量空间到特征空间的变换，将拟合曲线表示为简单的正弦波迭加，得到振幅频谱和相位频谱；相位和振幅的乘积即为低维步态特征向量。将一个给定的以T为周期的周期函数f(x)展开成一系列正弦函数之和，也就是公式(3)：
Figure BDA0002785178350000081
其中，
Figure BDA0002785178350000082
为直流项，
Figure BDA0002785178350000083
为n阶谐波的振幅，
Figure BDA0002785178350000084
Figure BDA0002785178350000085
为n阶谐波的相位，分析对象序列的振幅和相位频谱，在5阶谐波时，振幅几乎降为0，取谐波阶数n＝3，可以使用振幅频谱作特征向量，但是，不能仅仅使用相位量，因为当振幅太低时，对应频率上的相位量不重要，因此用相位与振幅的积作低维步态特征向量，振幅值作为相位量的权值，当振幅小时，降低相位量的贡献；
6)分类识别模块运行于计算机的可信执行环境中，调用分类识别可信应用程序接口，将经过步骤5)提取的低维步态特征向量作为参数传递到同处可信执行环境内的分类识别可信应用程序，基于KNN算法，在可信执行环境中与存储在安全存储区内的步态数据库中的步态特征进行比对识别，计算已知步态数据库中的点与当前提取的步态特征点的距离，按照距离递增次序排序。采用欧氏距离确定样本的相似性，欧氏距离的计算公式为：
Figure BDA0002785178350000091
其中，x＝(x1，x2，…，xn)为训练样本，y＝(y1，y2，…，yn)为测试样本，N为样本特征属性数；
7)将经过步骤6)KNN算法比对的结果返回普通环境。
本发明的有益效果是：
本发明提供基于可信执行环境的步态识别方法及平台，用以解决现有技术中步态识别过程中无法对步态分类识别相关算法执行、算法结果和步态视频数据的完整性和机密性保护的问题。可有效防止恶意程序对步态信息的盗用，同时防御针对步态识别的时间稀疏对抗性攻击。
本发明的基于可信执行环境的步态识别方法及平台，包括密钥管理模块、步态采集模块、加密模块、预处理模块、特征提取模块及分类识别模块；利用Trust Zone技术，将计算机划分为运行关键系统资源的可信执行环境和运行其他系统资源的普通环境，将步态识别的关键步骤，即视频序列预处理、步态特征提取及分类识别，都置于可信执行环境中，保护步态视频信息的同时，也能防御针对步态识别的对抗性攻击，进一步提升步态管理系统的安全能力。
附图说明
图1为本发明的工作流程示意图。
图2为本发明的处理密钥请求流程示意图。
图3为本发明的加密模块结构示意图。
图4为本发明的预处理模块结构示意图。
图5为本发明的特征提取模块结构示意图。
图6为本发明的分类识别模块结构示意图。
具体实施方式
下面结合附图对本发明作进一步的详细说明。
一种基于可信执行环境的步态识别平台，包括密钥管理模块、步态采集模块、加密模块、预处理模块、特征提取模块及分类识别模块：其特征在于：
所述的密钥管理模块运行于计算机的可信执行环境中，负责处理密钥请求、分发密钥；
所述的步态采集模块运行于监控摄像设备上，使用监控摄像装置采集人体行走的视频序列；
所述的加密模块运行于监控设备上，完成对视频序列的加密，加密过程所使用的密钥来自计算机可信执行环境内所述密钥管理模块；
所述的预处理模块运行于可信执行环境，对加密后的视频序列进行解密，解密过程所使用的密钥来自计算机可信执行环境内所述密钥管理模块，使用基于色度偏差的背景减除法对解密后的视频序列进行运动人体目标的提取与背景分割；
所述的特征提取模块运行于可信执行环境中，基于Hough变换提取反映步态特征的数据信息；
所述的分类识别模块运行于可信执行环境中，使用K近邻分类算法(k-NearestNeighbor，KNN)对所述特征提取模块提取到的特征与存储在安全存储区内的步态数据库中的步态特征进行比对识别。
所述的密钥管理模块包括密钥分发应用程序，调用RSA密钥生成接口，获取一对加密密钥(即公钥)与解密密钥(即私钥)。
所述步态采集模块包括由网络编码模块和模拟摄像机组合而成的网络摄像机。
所述的网络摄像机不仅有图像捕捉的功能，同时内置数字化压缩控制器和基于网络的操作系统，不仅可以压缩视频数据，还可以通过有线局域网或无线网络传送至终端；所述的网络摄像机可直接接入到基于TCP/IP的数字化网络中，其主要的功能是在互联网或内部局域网中进行视频和音频的传输。
一种基于可信执行环境的步态识别方法，包括以下步骤：
1)监控摄像设备获取可信执行环境内部存储的用于非对称加密算法的公钥，将监控摄像设备采集到的步态视频序列使用所述公钥进行加密；
2)将加密后的所述步态视频序列发送至计算机，计算机通过安全通信机制将加密后的视频序列传输到可信执行环境内部；
3)在可信执行环境中对步骤1)、步骤2)获取的加密视频序列使用所述非对称加密算法的私钥解密；
4)对步骤3)解密后的视频序列进行预处理；
5)将经过步骤4)预处理得到的图像序列发送至同在可信执行环境中的特征提取应用程序，分析提取其中的步态特征；
6)基于KNN算法，将经过步骤5)提取到的步态特征在可信执行环境中与存储在安全存储区内的步态数据库中的步态特征进行比对识别；
7)将经过步骤6)KNN算法比对的结果返回普通环境。
如图1所示为本发明的工作流程示意图，监控设备获取行人步态视频后，向计算机请求加密密钥，用所得密钥加密视频序列并将密文经网络连接发送至计算机内部，在计算内部的可信执行环境中，完成对步态视频序列的解密、预处理、特征提取以及分类识别过程。其中，分类识别与存储在安全存储区内的步态数据库中的步态特征进行比对识别。
如图2所示为本发明实现的处理密钥请求流程示意图，包括以下步骤：步骤S11中，解析密钥请求数据包，检查所述监控设备标识码是否合法：若不合法，则丢弃所述密钥请求数据包；若合法，调用密钥分发应用程序，获取一对公钥与私钥；步骤S12中，将所述私钥与所述监控设备标识码共同存储在可信执行环境内部安全存储区中；将所述公钥与所述监控设备标识码字段打包为密钥响应数据包；步骤S13中，广播所述密钥响应数据包。
如图3所示为本发明实现的加密模块结构示意图，包括以下步骤：步骤S21中，监控设备发送密钥请求数据包；步骤S22中，接收来自所述计算机的密钥响应数据包；步骤S23中，解析所述密钥响应数据包，验证所述密钥响应数据包中的监控设备标识码是否匹配：若不匹配，则丢弃所述数据包；若匹配，获取所述数据包中的公钥。调用RSA加密接口并使用所述公钥对采集到的人体行走视频执行加密操作。
如图4所示为本发明实现的预处理模块结构示意图，包括以下步骤：步骤S31中，将所述解密视频序列使用基于色度偏差的背景减除法分割前景运动目标和背景：对于每一个所述解密视频序列，背景帧使用每个像素点的连续k帧像素的中值生成；步骤S32中，将每个像素点的当前帧和背景帧的色度偏差值与设定的阈值比较以进行图像二值化，如公式(1)所示，式中，T为阈值，阈值的选择主要靠先验知识，Fclassify运动目标的二值图像；若所述色度偏差值大于所述阈值，则将所述像素点划分为前景运动目标，否则划分为背景。
Figure BDA0002785178350000131
如图5所示为本发明实现的特征提取模块结构示意图，包括以下步骤：步骤S41中，从所述步骤S3的二值图像序列中跟踪运动对象的边界，检测对象腿部边界上的直线；步骤S42中，对每个运动对象的每个序列截取一个步态周期进行分析，在对象边界图像上局部应用Hough变换检测大腿和小腿的直线，得到直线的倾斜角，即为大腿和小腿的倾斜角；步骤S43中，将截取的所述步态周期沿时间轴平移到[0,T]，使用最小二乘法将一个周期内的倾斜角序列拟合成5阶多项式；步骤S44中，利用Fourier变换完成测量空间到特征空间的变换，将拟合曲线表示为简单的正弦波迭加，得到振幅频谱和相位频谱；相位和振幅的乘积即为低维步态特征向量。将一个给定的以T为周期的周期函数f(x)展开成一系列正弦函数之和，也就是公式(2)：
Figure BDA0002785178350000141
其中，
Figure BDA0002785178350000142
为直流项，
Figure BDA0002785178350000143
为n阶谐波的振幅，
Figure BDA0002785178350000144
Figure BDA0002785178350000145
为n阶谐波的相位。
如图6所示为本发明实现的分类识别模块结构示意图，包括以下步骤：将所述步骤S4提取的步态特征与存储在安全存储区内的步态数据库中的步态特征输入KNN算法，计算已知步态数据库中的点与当前提取的步态特征点的距离，按照距离递增次序排序。采用欧氏距离确定样本的相似性，欧氏距离的计算公式为：
Figure BDA0002785178350000146
其中，x＝(x1，x2，…，xn)为训练样本，y＝(y1，y2，…，yn)为测试样本，N为样本特征属性数。将所述分类识别模块的识别结果经过可信执行环境与普通环境的传输通道发送至普通环境。

Claims (5)

1.一种基于可信执行环境的步态识别平台，包括密钥管理模块、步态采集模块、加密模块、预处理模块、特征提取模块及分类识别模块：其特征在于：
所述的密钥管理模块运行于计算机的可信执行环境中，负责处理密钥请求、分发密钥；
所述的步态采集模块运行于监控摄像设备上，使用监控摄像装置采集人体行走的视频序列；
所述的加密模块运行于监控设备上，完成对视频序列的加密，加密过程所使用的密钥来自计算机可信执行环境内所述密钥管理模块；
所述的预处理模块运行于可信执行环境，对加密后的视频序列进行解密，解密过程所使用的密钥来自计算机可信执行环境内所述密钥管理模块，使用基于色度偏差的背景减除法对解密后的视频序列进行运动人体目标的提取与背景分割；
所述的特征提取模块运行于可信执行环境中，基于Hough变换提取反映步态特征的数据信息；
所述的分类识别模块运行于可信执行环境中，使用K近邻分类算法(k-NearestNeighbor，KNN)对所述特征提取模块提取到的特征与存储在安全存储区内的步态数据库中的步态特征进行比对识别。
2.根据权利要求1所述的一种基于可信执行环境的步态识别平台，其特征在于，所述步态采集模块包括由网络编码模块和模拟摄像机组合而成的网络摄像机。
3.根据权利要求2所述的一种基于可信执行环境的步态识别平台，其特征在于，所述的网络摄像机不仅有图像捕捉的功能，同时内置数字化压缩控制器和基于网络的操作系统，不仅可以压缩视频数据，还可以通过有线局域网或无线网络传送至终端；所述的网络摄像机可直接接入到基于TCP/IP的数字化网络中，其主要的功能是在互联网或内部局域网中进行视频和音频的传输。
4.一种基于可信执行环境的步态识别方法，其特征在于，包括以下步骤：
1)监控摄像设备获取可信执行环境内部存储的公钥，包括以下步骤：
步骤S11，监控设备发送密钥请求数据包至计算机，密钥请求数据包携带监控设备标识码及期望到达的计算机标识码；
步骤S12，接收计算机的密钥响应数据包；
步骤S13，解析所述密钥响应数据包，验证所述密钥响应数据包中的监控设备标识码是否匹配：若不匹配，则丢弃所述数据包；若匹配，获取所述数据包中的公钥；
监控摄像设备调用RSA加密接口，使用所述密钥响应数据包中的密钥对采集到的所述人体行走视频执行RSA加密操作；
2)将加密后的步态视频序列发送至计算机，计算机通过安全通信机制将加密后的步态视频序列传输到可信执行环境内部；
3)在可信执行环境中对获取的加密步态视频序列使用非对称加密算法的私钥解密，通过密钥管理模块实现，密钥管理模块包括解析密钥请求、密钥获取及解密，其中，所述解析密钥请求包括以下步骤：
步骤S21，查看密钥请求数据包中的监控设备标识码字段，检查所述监控设备标识码是否合法：若不合法，则丢弃所述数据包；若合法，调用密钥获取应用程序，获取一对公钥与私钥；
步骤S22，将所述私钥与所述监控设备标识码共同存储在可信执行环境内部安全存储区中；将所述公钥与所述监控设备标识码字段打包为密钥响应数据包；
步骤S23，广播所述密钥响应数据包；
所述密钥获取包括调用RSA算法接口，该算法生成密钥对并返回给调用者；
所述解密包括接收方接收到密文之后按照公式(1)进行解密：
M＝C^d mod n (1)
式中，M为明文，C为接收到的密文，d为私钥指数，n为RSA算法在生成密钥对时计算得到的整数；
4)对步骤3)解密后的视频序列进行预处理；预处理模块运行于计算机的可信执行环境中，所述包括以下步骤：
步骤S31，将所述解密后的视频序列使用基于色度偏差的背景减除法分割前景运动目标和背景：对于每一个所述解密视频序列，背景帧使用每个像素点的连续k，k充分大帧像素的中值生成。对图像的RGB三个通道分别进行处理，使用Pixel(m，n，p，q)表示一个像素点，其中，(m，n)表示在图像中像素的位置，m＝(1，2，…，row)为行取值，j＝(1，2，…，col)为列取值，p表示彩色图像中RGB 3个通道(p＝1，2，3)，q表示图像帧序号，对每一个像素点，对连续k帧像素的RGB三通道的像素排序，取中值作为背景的像素值，k值的大小由运动目标通过的速度和摄像机拍摄时的采样速率等因素决定；
步骤S32，将每个像素点的当前帧和背景帧的色度偏差值与设定的阈值比较以进行图像二值化，如公式(2)所示，式中，T为阈值，阈值的选择主要靠先验知识，Fclassify运动目标的二值图像；若所述色度偏差值大于所述阈值，则将所述像素点划分为前景运动目标，否则划分为背景；
Figure FDA0002785178340000041
5)调用特征提取可信应用程序接口，将经过步骤4)预处理得到的二值图像序列作为参数传递到同处可信执行环境内的特征提取可信应用程序，分析提取其中的步态特征，特征提取模块运行于计算机的可信执行环境中，包括以下步骤，
步骤S41，从所述步骤S3的二值图像序列中跟踪运动对象的边界，检测对象腿部边界上的直线。大腿或小腿的边界可以近似为直线，因此使用腿部边界上提取的直线的倾斜角表示腿的倾斜角；
步骤S42，对每个运动对象的每个序列截取一个步态周期进行分析，在对象边界图像上局部应用Hough变换检测大腿和小腿的直线，得到直线的倾斜角，即为大腿和小腿的倾斜角；
步骤S43，将截取的所述步态周期沿时间轴平移到[0，T]，使用最小二乘法将一个周期内的倾斜角序列拟合成5阶多项式；
步骤S44，利用Fourier变换完成测量空间到特征空间的变换，将拟合曲线表示为简单的正弦波迭加，得到振幅频谱和相位频谱；相位和振幅的乘积即为低维步态特征向量。将一个给定的以T为周期的周期函数f(x)展开成一系列正弦函数之和，也就是公式(3)：
Figure FDA0002785178340000051
其中，
Figure FDA0002785178340000052
为直流项，
Figure FDA0002785178340000053
为n阶谐波的振幅，
Figure FDA0002785178340000054
Figure FDA0002785178340000055
为n阶谐波的相位，分析对象序列的振幅和相位频谱，在5阶谐波时，振幅几乎降为0，取谐波阶数n＝3，可以使用振幅频谱作特征向量，但是，不能仅仅使用相位量，因为当振幅太低时，对应频率上的相位量不重要，因此用相位与振幅的积作低维步态特征向量，振幅值作为相位量的权值，当振幅小时，降低相位量的贡献；
6)分类识别模块运行于计算机的可信执行环境中，调用分类识别可信应用程序接口，将经过步骤5)提取的低维步态特征向量作为参数传递到同处可信执行环境内的分类识别可信应用程序，基于KNN算法，在可信执行环境中与存储在安全存储区内的步态数据库中的步态特征进行比对识别，计算已知步态数据库中的点与当前提取的步态特征点的距离，按照距离递增次序排序。采用欧氏距离确定样本的相似性，欧氏距离的计算公式为：
Figure FDA0002785178340000056
其中，x＝(x1，x2，…，xn)为训练样本，y＝(y1，y2，…，yn)为测试样本，N为样本特征属性数；
7)将经过步骤6)KNN算法比对的结果返回普通环境。
5.根据权利要求4所述的一种基于可信执行环境的步态识别方法，其特征在于，所述密钥获取包括：调用RSA密钥生成接口，获取一对加密密钥(即公钥)与解密密钥(即私钥)，将一对密钥返回给调用者。
CN202011295211.4A 2020-11-18 2020-11-18 一种基于可信执行环境的步态识别平台及识别方法 Active CN112214783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011295211.4A CN112214783B (zh) 2020-11-18 2020-11-18 一种基于可信执行环境的步态识别平台及识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011295211.4A CN112214783B (zh) 2020-11-18 2020-11-18 一种基于可信执行环境的步态识别平台及识别方法

Publications (2)

Publication Number Publication Date
CN112214783A true CN112214783A (zh) 2021-01-12
CN112214783B CN112214783B (zh) 2023-08-25

Family

ID=74067890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011295211.4A Active CN112214783B (zh) 2020-11-18 2020-11-18 一种基于可信执行环境的步态识别平台及识别方法

Country Status (1)

Country Link
CN (1) CN112214783B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377366A (zh) * 2012-04-26 2013-10-30 哈尔滨工业大学深圳研究生院 一种步态识别方法和系统
US20140270402A1 (en) * 2011-07-29 2014-09-18 University Of Ulster Gait recognition methods and systems
CN105279411A (zh) * 2015-09-22 2016-01-27 电子科技大学 一个基于步态生物特征的移动设备身份认证方法
CN106295300A (zh) * 2016-08-15 2017-01-04 深圳先进技术研究院 一种穿戴式智能设备身份认证方法及装置
US20170243058A1 (en) * 2014-10-28 2017-08-24 Watrix Technology Gait recognition method based on deep learning
CN107103277A (zh) * 2017-02-28 2017-08-29 中科唯实科技（北京）有限公司 一种基于深度相机和3d卷积神经网络的步态识别方法
CN107766819A (zh) * 2017-10-18 2018-03-06 陕西国际商贸学院 一种视频监控系统及其实时步态识别方法
CN111476077A (zh) * 2020-01-07 2020-07-31 重庆邮电大学 一种基于深度学习的多视角步态识别方法
CN111586345A (zh) * 2019-02-19 2020-08-25 杭州海康威视数字技术股份有限公司 一种应用于监控摄像机的特征数据保护方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270402A1 (en) * 2011-07-29 2014-09-18 University Of Ulster Gait recognition methods and systems
CN103377366A (zh) * 2012-04-26 2013-10-30 哈尔滨工业大学深圳研究生院 一种步态识别方法和系统
US20170243058A1 (en) * 2014-10-28 2017-08-24 Watrix Technology Gait recognition method based on deep learning
CN105279411A (zh) * 2015-09-22 2016-01-27 电子科技大学 一个基于步态生物特征的移动设备身份认证方法
CN106295300A (zh) * 2016-08-15 2017-01-04 深圳先进技术研究院 一种穿戴式智能设备身份认证方法及装置
CN107103277A (zh) * 2017-02-28 2017-08-29 中科唯实科技（北京）有限公司 一种基于深度相机和3d卷积神经网络的步态识别方法
CN107766819A (zh) * 2017-10-18 2018-03-06 陕西国际商贸学院 一种视频监控系统及其实时步态识别方法
CN111586345A (zh) * 2019-02-19 2020-08-25 杭州海康威视数字技术股份有限公司 一种应用于监控摄像机的特征数据保护方法及装置
CN111476077A (zh) * 2020-01-07 2020-07-31 重庆邮电大学 一种基于深度学习的多视角步态识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ABDUL MATIN等: "Human iris as a biometric for identity verification", 《2016 2ND INTERNATIONAL CONFERENCE ON ELECTRICAL, COMPUTER & TELECOMMUNICATION ENGINEERING (ICECTE)》 *
ABDUL MATIN等: "Human iris as a biometric for identity verification", 《2016 2ND INTERNATIONAL CONFERENCE ON ELECTRICAL, COMPUTER & TELECOMMUNICATION ENGINEERING (ICECTE)》, 16 March 2017 (2017-03-16) *
禹晶等: "一种基于Hough变换的步态特征提取方法的研究", 《中国图象图形学报》 *
禹晶等: "一种基于Hough变换的步态特征提取方法的研究", 《中国图象图形学报》, vol. 10, no. 10, 30 November 2005 (2005-11-30) *
谢晓兰等: "基于无线传感器网络的步态识别", 《计算机工程与设计》 *
谢晓兰等: "基于无线传感器网络的步态识别", 《计算机工程与设计》, vol. 41, no. 07, 16 July 2020 (2020-07-16) *

Also Published As

Publication number Publication date
CN112214783B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
Hossain et al. Toward end-to-end biomet rics-based security for IoT infrastructure
CN111738238B (zh) 人脸识别方法和装置
CN111241514B (zh) 一种基于人脸验证系统的安全人脸验证方法
Ma et al. EmIr-Auth: eye movement and iris-based portable remote authentication for smart grid
Kwon et al. CCTV-based multi-factor authentication system
Gobi et al. A secured public key cryptosystem for biometric encryption
Gill et al. Taxonomy of security attacks on cloud environment: a case study on telemedicine
Sai et al. Biometric security in Internet of Things based system against identity theft attacks
Abduljabbar et al. Secure biometric image retrieval in IoT-cloud
CN114547589A (zh) 保护隐私的用户注册、用户认证方法及装置
Tyagi et al. Federated learning: Applications, Security hazards and Defense measures
Fitwi et al. Prise: Slenderized privacy-preserving surveillance as an edge service
KR101468192B1 (ko) 스마트워크 환경에서의 얼굴인식기반 사용자인증 기법
CN112214783B (zh) 一种基于可信执行环境的步态识别平台及识别方法
Han et al. The privacy protection framework for biometric information in network based CCTV environment
CN111126214A (zh) 活体检测方法及装置、计算机设备和计算机可读存储介质
Darve et al. Comparison of biometric and non-biometric security techniques in mobile cloud computing
CN115426189A (zh) 一种基于大数据的信息安全防护方法和系统
Rahman et al. Secure privacy vault design for distributed multimedia surveillance system
Vadrevu et al. A review on privacy preservation techniques in surveillance and health care data publication
Ray et al. IoT Security Using Steganography
Conti et al. Biometric sensors rapid prototyping on field-programmable gate arrays
Rajanbabu et al. Multi level encryption and decryption tool for secure administrator login over the network
CN113190858A (zh) 一种基于隐私保护的图像处理方法、系统、介质和设备
Jin et al. Ppvibe: privacy preserving background extractor via secret sharing in multiple cloud servers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant