CN107742070B - 一种基于加速度数据的动作识别和隐私保护的方法及系统 - Google Patents

一种基于加速度数据的动作识别和隐私保护的方法及系统 Download PDF

Info

Publication number
CN107742070B
CN107742070B CN201710485650.3A CN201710485650A CN107742070B CN 107742070 B CN107742070 B CN 107742070B CN 201710485650 A CN201710485650 A CN 201710485650A CN 107742070 B CN107742070 B CN 107742070B
Authority
CN
China
Prior art keywords
data
mutual information
acceleration
identity
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710485650.3A
Other languages
English (en)
Other versions
CN107742070A (zh
Inventor
郭一涵
鲁鸣鸣
郑林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201710485650.3A priority Critical patent/CN107742070B/zh
Publication of CN107742070A publication Critical patent/CN107742070A/zh
Application granted granted Critical
Publication of CN107742070B publication Critical patent/CN107742070B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于加速度数据的动作识别和隐私保护的方法及系统。本发明方法包括以下步骤：对原始加速度传感器数据进行预处理；将预处理后的数据进行格式转换为特征数据；根据互信息理论计算不同采样率下所述特征数据分别与动作、身份的互信息，并相应获得动作总互信息数值、身份总互信息数值；将所述互信息数值进行可视化转换成供用户选择的方案。本发明系统与上述方法对应。鉴于现有从步态特征获取个人身份隐私技术的发展与针对加速度数据隐私保护方案的匮乏，本发明能很好应用在个人数据隐私的保护。

Description

一种基于加速度数据的动作识别和隐私保护的方法及系统
技术领域
本发明属于信息安全技术领域，尤其涉及一种基于加速度数据的动作识别和隐私保护的方法及系统。
背景技术
目前，大部分的手机与可穿戴设备均内置有加速度传感器，加速度数据被广泛用于识别用户的动作状态。然而，用户的步态行为是有这独特特征的，这导致了加速度数据被用来非法获取身份信息。随着移动终端的普及，迫切需要一种简单易行，可见度高的隐私保护体制来应对当前趋势。
发明内容
本发明的目的在于提供一种基于加速度数据的动作识别和隐私保护的方法及系统，旨在解决上述背景技术中现有技术的不足。
本发明是这样实现的，一种基于加速度数据的动作识别和隐私保护的方法，该方法包括以下步骤：
S1、对原始加速度传感器数据进行预处理；
S2、将预处理后的数据进行格式转换为特征数据；
S3、根据互信息理论计算不同采样率下所述特征数据分别与动作、身份的互信息，并相应获得动作总互信息数值、身份总互信息数值；
S4、将所述互信息数值进行可视化转换成供用户选择的方案。
优选地，在步骤S1中，所述加速度传感器数据包括加速度传感器三轴数据、方向传感器三轴数据、陀螺仪的三轴数据；
在步骤S1中，所述预处理包括对原始加速度数据的分帧、过滤以及确定加速度采样率。
优选地，在步骤S2中，所述特征数据包括时域特征数据以及频域特征数据。
优选地，所述时域特征数据包括平均值、方差、标准差、平均绝对差、最大值、最小值、中值、第70百分位数、第80百分位数以及第90百分位数；
所述频域特征数据包括峰值频率、频谱能量。
优选地，在步骤S3中，所述互信息计算方法为：
Figure BDA0001330395940000021
其中，F为特征变量和，C_Activity为动作类别变量，p(f)、p(c_activity)为密度函数分布，p(f，c_activity)为联合概率分布。
本发明进一步公开了一种基于加速度数据的动作识别和隐私保护的系统，该系统包括：
数据预处理模块，用于对原始加速度传感器数据进行预处理；
特征提取模块，用于将预处理后的数据进行格式转换为特征数据；
互信息计算模块，用于根据互信息理论计算不同采样率下所述特征数据分别与动作、身份的互信息，并相应获得动作总互信息数值、身份总互信息数值；
可视化模块，用于将所述互信息数值进行可视化转换成供用户选择的方案。
优选地，在所述数据预处理模块中，所述加速度传感器数据包括加速度传感器三轴数据、方向传感器三轴数据、陀螺仪的三轴数据；
在所述数据预处理模块中，所述预处理包括对原始加速度数据的分帧、过滤以及确定加速度采样率。
优选地，在所述特征提取模块中，所述特征数据包括时域特征数据以及频域特征数据。
优选地，所述时域特征数据包括平均值、方差、标准差、平均绝对差、最大值、最小值、中值、第70百分位数、第80百分位数以及第90百分位数；
所述频域特征数据包括峰值频率、频谱能量。
优选地，在所述互信息计算模块中，所述互信息计算方法为：
Figure BDA0001330395940000031
其中，F为特征变量和，C_Activity为动作类别变量，p(f)、p(c_activity)为密度函数分布，p(f，c_activity)为联合概率分布。
相比于现有技术的缺点和不足，本发明具有以下有益效果：本发明克服现有技术的不足，提供一种基于加速度数据的动作识别和隐私保护的方法及系统，由于智能移动终端配置了大量的传感器设备，这些设备使得在移动智能终端上能容易获得部分生物特征，即步态特征，鉴于现有从步态特征获取个人身份隐私技术的发展与针对加速度数据隐私保护方案的匮乏，本发明能很好应用在个人数据隐私的保护。
附图说明
图1是本发明基于加速度数据的动作识别和隐私保护的方法的步骤流程图；
图2是可视化工具VISEE中5个模块显示效果图；
图3是图2中b部分的平行坐标图；
图4是图2中c部分的特征网格图；
图5是本发明基于加速度数据的动作识别和隐私保护的系统的结构示意图；
图6是本发明实施例中特征与动作互信息排名关系图；
图7是本发明实施例中特征与身份互信息排名关系图；
图8是本发明实施例中识别精确度和采样率的关系图；
图9是本发明实施例中总互信息和采样率的关系图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明公开了一种基于加速度数据的动作识别和隐私保护的方法，该方法包括以下步骤：
S1、对原始加速度传感器数据进行预处理；
S2、将预处理后的数据进行格式转换为特征数据；
S3、根据互信息理论计算不同采样率下所述特征数据分别与动作、身份的互信息，并相应获得动作总互信息数值、身份总互信息数值；
S4、将所述互信息数值进行可视化转换成供用户选择的方案。
如步骤S1所述，通过安装手机上的应用采集用户使用手机时产生的加速度数据。
原始加速度传感器数据为智能移动终端产生的加速度传感器数据，包括加速度传感器三轴数据、方向传感器三轴数据、陀螺仪的三轴数据。
数据的预处理包括分帧、过滤以及加速度采样率的确定。数据预处理阶段主要完成两个工作：第一、采用滑动窗口技术，对原始数据进行分帧；第二、剔除掉分帧后数据开始和结束的各一帧数据。
如步骤S2所述，在对原始数据完成预处理工作后，就进入了特征处理阶段。该阶段需要完成的工作包括：1)时域特征提取，时域特征的提取相对简单，已被广泛应用于特征提取领域。时域特征可以直接从时域加速度数据中提取而来，包括一般的统计特征，如时间窗口内加速度数值的最大值、最小值，反映加速度数值分布离散情况的方差和标准差，可以用于分析加速度直流分量的均值等；2)频域特征提取，频域特征的提取相对复杂，通常需要将信号进行快速傅里叶转换，再进行相关特征计算。
在本发明实施例中所采用的特征数据如下表1所示：
表1特征数据
Figure BDA0001330395940000041
Figure BDA0001330395940000051
如步骤S3所述，特征与动作的互信息计算：两个随机变量F和C_Activity，分别为特征变量和动作类别变量，密度函数分布为p(f)和p(c_activity)，联合概率分布为p(f，c_activity)，则某个特征和动作的互信息为：
Figure BDA0001330395940000052
特征与身份的互信息计算：两个随机变量F和C_Identity，分别为特征变量和身份类别变量，密度函数分布为p(f)和p(c_identity)，联合概率分布为p(f，c_identity)，则某个特征和身份的互信息为：
Figure BDA0001330395940000053
本发明采用如下公式计算数据集提供的动作总互信息值：
Figure BDA0001330395940000054
本发明采用如下公式计算数据集提供的身份总互信息值：
Figure BDA0001330395940000061
在某个采样率下，所有特征与动作类别的总互信息为Itotal_Activity，所有特征与身份类别的总互信息为Itotal_Identity。
值得一提的是，在这一步中，本发明也提出来了一种基于特征与类别互信息的算法MFS(Mutual-information based Feature Selection Algorithm)，折衷选择最合适的特征集合，使得可以快速选择最合适的特征集合。
MFS的核心思想为：若I(fi；C_Activity)比较大，则设置特征fi一个较高的接受权重Accept(fi)；如果I(fi；c_Identity)比较大，则设置特征fi一个较高的拒绝权重Reject(fi)。一个特征是否满足“高动作识别低身份泄露”，则通过Score(fi)决定：
Score(fi)＝α*Accept(fi)-β*Reject(fi)；
其中，Score(fi)为特征fi的综合得分，本发明根据Score(fi)对特征进行排名来确认是否选择该特征。而α和β为权重参数，可以自定义。如果希望隐私保护多些，则β设置高些；如果希望动作识别精确度高些，则α高些(本发明设置α＝β＝1)。而接受权重和拒绝权重可以由使用者自定义规则，本发明中设置范围为1～36，提供信息最多的特征设置为36，而排名最末的特征设置为1。
如步骤S4所述，将所述互信息数值进行可视化转换成供用户选择的方案，可视化转换可通过可视化工具VISEE完成。
可视化工具VISEE如图2所示，共包括5个模块：(a)互信息分布图、(b)平行坐标图、(c)特征网格图、(d)互信息排序图和(f)方案推荐区域。图2中每个模块的功能将在下面具体介绍：
互信息分布图(a)部分，主要是为了展示不同特征在不同采样率下，所提供的类别信息的分布情况。图中横轴为特征与动作的互信息，纵坐标为特征与身份的互信息。不同几何图形代表不同类型的特征，三角形是X轴相关的特征，圆形是Y轴相关的特征，菱形是Z轴相关的特征。不同灰度(在实际制图中为不同颜色)表示不同的特征类型(见图例)，而图形的大小描述了采样率的高低。如果用户将鼠标移动到一个具体的图形上，可以获得相对应特征的详细描述。如果用户用鼠标左键选择一个连续的感兴趣区域，可以放大该区域特征点，更加清晰的获取详细信息，而此时图2中(b)、(c)、(f)部分将会随着用户交互而更新视图。鼠标右键有不同样式的区域选择方式，也可以还原视图，方便用户进行交互式操作。因此，用户可以通过该视图：1)直观了解特征与类别的互信息总体分布情况；2)观察某个特征提供类别信息的走势；3)可以获取特定特征点的详细信息值；4)选择感兴趣的特征区域进行详细观察。
平行坐标图(b)部分，主要让用户根据感兴趣的值选择内容，观察特征和采样率。该视图将每个因素用一条竖线表示，如图2(b)展示，从左到右共有六条竖线，分别是XYZ轴、Feaures轴、XYZ-Feaures轴、Sample Ratio轴、Activity轴和Identity轴。每根轴上的值都按照一定规律从上到下排列，Sample Ratio轴、Activity轴和Identity轴都是按照其值大小从上到下顺序罗列。而XYZ轴上只有三个元素，Feaures轴同样枚举了12类特征类型，二者决定了XYZ-Feaures轴。图中轴与轴之间的线段表示同时满足两轴条件的值，贯穿六轴的折线将会展示出六个关键信息细节，用户可以在任意轴上选择感兴趣的值，从而观察其他轴的值的范围。用户选择的区域范围会在轴上显示为矩形，连线会变成深灰色(实际制图中为蓝色)，从而突出显示值的情况，且在任意一个轴上进行筛选会影响其他轴上的显示情况(如图3所示效果)。用户在该视图的交互会使图2(a)、(c)、(f)进行更新。通过该视图用户可以：1)根据动作或身份互信息高低，分别观察特征和采样率的特点；2)选择某类型特征(如Y轴相关或者nanmax类型特征)，观察互信息的值；3)观察某个采样率下，特征能够提供的类别信息情况；4)通过组合观察其他因素的特点，比如，动作互信息大而身份互信息小观察特征和采样，或者某些特征在一个采样范围内观察其提供的类别互信息。
特征网格图(c)部分，直观展示了36个特征的重要性和特征之间的相关性。如图2(c)所示，图中每个圆都代表一个特征，圆中心的不同灰度(实际制图为不同颜色)代表特征类型，与图2(a)相呼应。圆周分为21份，每一份表示一个采样率。每个采样率上都有内外两个突起，向外深灰色(实际制图为蓝色)的突起表示该特征在该采样率与动作类别的互信息，向内的黑色(实际制图为红色)突起则说明了该特征在该采样率与身份类别的互信息(如图4所示)。如果用户将鼠标移动到一个特征的某个突起上，可以获得相对应细节描述，包括采样率和互信息值等。特征网格图视图使用MDS投影，以观察特征之间的关联度，如果两个特征在网格图中的距离越近，则说明他们之间相似度越高，这也有助于解决动作识别或者身份识别领域的特征优化问题。用户可以选择一个连续的特征区域，就可以放大该区域内的特征，以便更加清晰的获取观察这些特征在不同采样率下提供的互信息情况，右键可以选择别的选择方式及还原，用户在该视图的交互会使图2(a)、(b)、(f)进行更新。通过该视图，用户可以：1)直观了解每个特征总体上提供的类别信息的多少；2)观察特征之间的关联及聚类情况；3)可以分析采样率对哪些特征产生影响比较大；4)可以根据互信息情况观察特征类型和聚类情况。
互信息排序图(d)部分，主要将特征在具体采样率下与类别的互信息值详细罗列。并提供交互排序功能。该视图分为两个部分2(d)中(A)和(B)。(A)是根据用户所选的采样率，展示所有特征与动作以及身份的互信息值，而(B)是根据用户所选的特征，展示该特征在所有采样率下与动作以及身份的互信息值。(A)中用户首先通过下拉列表选择一个采样率，表格将会罗列所有特征与类别的互信息值，每行三个字段：特征名，该特征与动作的互信息值，该特征与身份的互信息值。曲线图描绘各特征与类别的互信息值。用户可以点击表格字段名，选择曲线图按照特征与动作的互信息值排序，或者特征与身份的互信息值排序。(B)中用户首先通过下拉列表选择一个特征，表格将会罗列该特征在所有采样率下与类别的互信息值，每行三个字段：采样率，特征与动作的互信息值，特征与动作的互信息值。曲线图描绘各采样率下特征与类别的互信息值。用户可以点击表格字段名，选择曲线图按照特征与动作的互信息值排序，或者特征与身份的互信息值排序，而初始状态为根据采样率排序。通过该视图，用户可以：1)直观了解所有特征对类别的重要程度；2)观察特定特征与类别的互信息随采样率的变化情况；3)可以比较对动作类别重要的特征和对身份类别重要的特征类型；4)可以根据互信息变化情况观察特征类型的变化。
方案推荐区域部分(f)，根据用户选择的感兴趣区域，推荐实现“高动作识别低身份泄露”的方案。用户通过(a)选择了连续的区域，通常包括若干特征以及特征对应的多个采样率，本发明根据MFS算法为区域内每个特征确定区域内合适采样率。用户选择区域越大，所包括的特征-采样率的组合方式也越多，可以选择的方案也就更多，本发明根据不同组合提供的类别信息情况，提供前面几名的组合方案。该视图采用文本显示，每个方案包括特征以及分配的采样率。该视图仅提供给用户参考方案，来达到“高动作识别低身份泄露”。用户可以根据使用其他视图分析的结果确定适合自己的方案，并且使用推荐的方案进行比较。
如图5所示，本发明进一步公开了基于加速度数据的动作识别和隐私保护的系统，该系统包括以下步骤：
数据预处理模块1，用于对原始加速度传感器数据进行预处理；
特征提取模块2，用于将预处理后的数据进行格式转换为特征数据；
互信息计算模块3，用于根据互信息理论计算不同采样率下所述特征数据分别与动作、身份的互信息，并相应获得动作总互信息数值、身份总互信息数值；
可视化模块4，用于将所述互信息数值进行可视化转换成供用户选择的方案。
如数据预处理模块1所述，通过安装手机上的应用采集用户使用手机时产生的加速度数据。
原始加速度传感器数据为智能移动终端产生的加速度传感器数据，包括加速度传感器三轴数据、方向传感器三轴数据、陀螺仪的三轴数据。
数据的预处理包括分帧、过滤以及加速度采样率的确定。数据预处理阶段主要完成两个工作：第一、采用滑动窗口技术，对原始数据进行分帧；第二、剔除掉分帧后数据开始和结束的各一帧数据。
如特征提取模块2所述，在对原始数据完成预处理工作后，就进入了特征处理阶段。该阶段需要完成的工作包括：1)时域特征提取，时域特征的提取相对简单，已被广泛应用于特征提取领域。时域特征可以直接从时域加速度数据中提取而来，包括一般的统计特征，如时间窗口内加速度数值的最大值、最小值，反映加速度数值分布离散情况的方差和标准差，可以用于分析加速度直流分量的均值等；2)频域特征提取，频域特征的提取相对复杂，通常需要将信号进行快速傅里叶转换，再进行相关特征计算。
在本发明实施例中所采用的特征数据如上表1所示。
如互信息计算模块3所述，特征与动作的互信息计算：两个随机变量F和C_Activity，分别为特征变量和动作类别变量，密度函数分布为p(f)和p(c_activity)，联合概率分布为p(f，c_activity)，则某个特征和动作的互信息为：
Figure BDA0001330395940000101
特征与身份的互信息计算：两个随机变量F和C_Identity，分别为特征变量和身份类别变量，密度函数分布为p(f)和p(c_identity)，联合概率分布为p(f，c_identity)，则某个特征和身份的互信息为：
Figure BDA0001330395940000102
本发明采用如下公式计算数据集提供的动作总互信息值：
Figure BDA0001330395940000111
本发明采用如下公式计算数据集提供的身份总互信息值：
Figure BDA0001330395940000112
在某个采样率下，所有特征与动作类别的总互信息为Itotal_Activity，所有特征与身份类别的总互信息为Itotal_Identity。
值得一提的是，在这一步中，本发明也提出来了一种基于特征与类别互信息的算法MFS(Mutual-information based Feature Selection Algorithm)，折衷选择最合适的特征集合，使得可以快速选择最合适的特征集合。
MFS的核心思想为：若I(fi；C_Activity)比较大，则设置特征fi一个较高的接受权重Accept(fi)；如果I(fi；c_Identity)比较大，则设置特征fi一个较高的拒绝权重Reject(fi)。一个特征是否满足“高动作识别低身份泄露”，则通过Score(fi)决定：
Score(fi)＝α*Accept(fi)-β*Reject(fi)；
其中，Score(fi)为特征fi的综合得分，本发明根据Score(fi)对特征进行排名来确认是否选择该特征。而α和β为权重参数，可以自定义。如果希望隐私保护多些，则β设置高些；如果希望动作识别精确度高些，则α高些(本发明设置α＝β＝1)。而接受权重和拒绝权重可以由使用者自定义规则，本发明中设置范围为1～36，提供信息最多的特征设置为36，而排名最末的特征设置为1。
如可视化模块4所述，将所述互信息数值进行可视化转换成供用户选择的方案，可视化转换可通过可视化工具VISEE完成。
可视化工具VISEE如图2所示，共包括5个模块：(a)互信息分布图、(b)平行坐标图、(c)特征网格图、(d)互信息排序图和(f)方案推荐区域。图2中每个模块的功能将在下面具体介绍：
互信息分布图(a)部分，主要是为了展示不同特征在不同采样率下，所提供的类别信息的分布情况。图中横轴为特征与动作的互信息，纵坐标为特征与身份的互信息。不同几何图形代表不同类型的特征，三角形是X轴相关的特征，圆形是Y轴相关的特征，菱形是Z轴相关的特征。不同灰度(图中箭头所指区域，实际制图为不同颜色)表示不同的特征类型(见图例)，而图形的大小描述了采样率的高低。如果用户将鼠标移动到一个具体的图形上，可以获得相对应特征的详细描述。如果用户用鼠标左键选择一个连续的感兴趣区域，可以放大该区域特征点，更加清晰的获取详细信息，而此时图2中(b)、(c)、(f)部分将会随着用户交互而更新视图。鼠标右键有不同样式的区域选择方式，也可以还原视图，方便用户进行交互式操作。因此，用户可以通过该视图：1)直观了解特征与类别的互信息总体分布情况；2)观察某个特征提供类别信息的走势；3)可以获取特定特征点的详细信息值；4)选择感兴趣的特征区域进行详细观察。
平行坐标图(b)部分，主要让用户根据感兴趣的值选择内容，观察特征和采样率。该视图将每个因素用一条竖线表示，如图2(b)展示，从左到右共有六条竖线，分别是XYZ轴、Feaures轴、XYZ-Feaures轴、Sample Ratio轴、Activity轴和Identity轴。每根轴上的值都按照一定规律从上到下排列，Sample Ratio轴、Activity轴和Identity轴都是按照其值大小从上到下顺序罗列。而XYZ轴上只有三个元素，Feaures轴同样枚举了12类特征类型，二者决定了XYZ-Feaures轴。图中轴与轴之间的线段表示同时满足两轴条件的值，贯穿六轴的折线将会展示出六个关键信息细节，用户可以在任意轴上选择感兴趣的值，从而观察其他轴的值的范围。用户选择的区域范围会在轴上显示为矩形，连线会变成深灰色(实际制图为蓝色)，从而突出显示值的情况，且在任意一个轴上进行筛选会影响其他轴上的显示情况(如图3所示效果)。用户在该视图的交互会使图2(a)、(c)、(f)进行更新。通过该视图，用户可以：1)根据动作或身份互信息高低，分别观察特征和采样率的特点；2)选择某类型特征(如Y轴相关或者nanmax类型特征)，观察互信息的值；3)观察某个采样率下，特征能够提供的类别信息情况；4)通过组合观察其他因素的特点，比如，动作互信息大而身份互信息小观察特征和采样，或者某些特征在一个采样范围内观察其提供的类别互信息。
特征网格图(c)部分，直观展示了36个特征的重要性和特征之间的相关性。如图2(c)所示，图中每个圆都代表一个特征，圆中心的不同灰度区域(图中箭头所指区域，实际制图为不同颜色)代表特征类型，与图2(a)相呼应。圆周分为21份，每一份表示一个采样率。每个采样率上都有内外两个突起，向外深灰色(实际制图为蓝色)的突起表示该特征在该采样率与动作类别的互信息，向内的黑色(实际制图为红色)突起则说明了该特征在该采样率与身份类别的互信息(如图4所示)。如果用户将鼠标移动到一个特征的某个突起上，可以获得相对应细节描述，包括采样率和互信息值等。特征网格图视图使用MDS投影，以观察特征之间的关联度，如果两个特征在网格图中的距离越近，则说明他们之间相似度越高，这也有助于解决动作识别或者身份识别领域的特征优化问题。用户可以选择一个连续的特征区域，就可以放大该区域内的特征，以便更加清晰的获取观察这些特征在不同采样率下提供的互信息情况，右键可以选择别的选择方式及还原，用户在该视图的交互会使图2(a)、(b)、(f)进行更新。通过该视图，用户可以：1)直观了解每个特征总体上提供的类别信息的多少；2)观察特征之间的关联及聚类情况；3)可以分析采样率对哪些特征产生影响比较大；4)可以根据互信息情况观察特征类型和聚类情况。
互信息排序图(d)部分，主要将特征在具体采样率下与类别的互信息值详细罗列。并提供交互排序功能。该视图分为两个部分2(d)中(A)和(B)。(A)是根据用户所选的采样率，展示所有特征与动作以及身份的互信息值，而(B)是根据用户所选的特征，展示该特征在所有采样率下与动作以及身份的互信息值。(A)中用户首先通过下拉列表选择一个采样率，表格将会罗列所有特征与类别的互信息值，每行三个字段：特征名，该特征与动作的互信息值，该特征与身份的互信息值。曲线图描绘各特征与类别的互信息值。用户可以点击表格字段名，选择曲线图按照特征与动作的互信息值排序，或者特征与身份的互信息值排序。(B)中用户首先通过下拉列表选择一个特征，表格将会罗列该特征在所有采样率下与类别的互信息值，每行三个字段：采样率，特征与动作的互信息值，特征与动作的互信息值。曲线图描绘各采样率下特征与类别的互信息值。用户可以点击表格字段名，选择曲线图按照特征与动作的互信息值排序，或者特征与身份的互信息值排序，而初始状态为根据采样率排序。通过该视图，用户可以：1)直观了解所有特征对类别的重要程度；2)观察特定特征与类别的互信息随采样率的变化情况；3)可以比较对动作类别重要的特征和对身份类别重要的特征类型；4)可以根据互信息变化情况观察特征类型的变化。
方案推荐区域部分(f)，根据用户选择的感兴趣区域，推荐实现“高动作识别低身份泄露”的方案。用户通过(a)选择了连续的区域，通常包括若干特征以及特征对应的多个采样率，本发明根据MFS算法为区域内每个特征确定区域内合适采样率。用户选择区域越大，所包括的特征-采样率的组合方式也越多，可以选择的方案也就更多，本发明根据不同组合提供的类别信息情况，提供前面几名的组合方案。该视图采用文本显示，每个方案包括特征以及分配的采样率。该视图仅提供给用户参考方案，来达到“高动作识别低身份泄露”。用户可以根据使用其他视图分析的结果确定适合自己的方案，并且使用推荐的方案进行比较。
进一步的，为评估本方法的效果，采用了HASC2014(参考文献：Kawaguchi N,OgawaN,Iwasaki Y,et al.HASC Challenge:gathering large scale human activity corpusfor the real-world activity understandings[C]//Proceedings of the 2ndAugmented Human International Conference.ACM,2011:27.或者：http://hasc.jp/hc2014/index-en.html)的数据；同时，为了实验的准确性，本发明挑选该数据集子集，选取使用相同型号Nexus 4手机的用户，且手机都放置于腰部的加速度数据。每位用户都包含六个动作，对于每个动作，每位用户都有5份csv数据文件，每个数据文件采集时间为20秒，采样率都为100Hz。样例如下表2所示：
表2 时间和该时刻手机三个方向的加速度数值
Figure BDA0001330395940000151
加速度数据包括四个字段，分别为时间及三轴加速度值。表2中，在采集加速度数据时，每个采样时刻，会同时记录下时间和该时刻手机三个方向的加速度数值。
在特征选择实验中，本发明计算每个特征的I(F；C_Activity)和I(F；C_Identity)，通过I(F；C_Activity)可以观察特征提供的动作互信息情况，确定哪些特征对动作识别重要，而通过I(F；C_Identity)可以观察特征提供的身份互信息情况，确定哪些特征对身份识别重要。
图6是特征和动作的互信息排名，可以看出，排名前十的特征为F4＝{Yvariance，Ystandarddev，Yenergy，Yaverageabsdif，Zvariance，Ynanmin，Ypernine，Ypereight，Zstandarddev，Zenergy}，主要是与Y轴和Z轴相关，其中和Y轴相关的占七个且排名靠前，而X轴相关的特征排名比较靠后。
图7是特征和身份的互信息排名，可以看出，排名前十的特征为F5＝{Zvariance，Zenergy，Yvariance，Xvariance，Xenergy，Znanmin，Zaverageabsdif，Zstandarddev，Xnanmin，Znanmax}，主要是与Z轴相关且排名靠前。由此可以看出，对动作识别而言，与Y轴相关的特征贡献比较大，而身份识别则是与Z轴相关的特征比较重要。
然后，使用MFS算法进行特征选择后，本发明选出了F6＝{Ypereight，Ypernine，Yaverageabsdif，Ystandarddev，Yperseven，Ynanmin，Yenergy，Ydomfre}，可以发现选出的特征都与Y轴相关，而使用该特征集进行识别，其精确度如下表3所示：
表3 使用特征集合F3的识别精确度
Figure BDA0001330395940000161
从表3中可以看出，动作识别和身份识别的精确度相差可达32.443％。
在采样率选择实验中，本发明先分别观察动作识别和身份识的精确度随采样率的变化情况，分析采样率对识别精确度的影响。为此，同前面分析HASC数据所使用的方法一致，采样率从100Hz将到4Hz(一共21组)，使用RF模型进行动作识别，使用RF、LMT和MP模型进行身份识别。
如图8所示为采样率对识别精确度的影响，可以看出从45Hz降到4Hz时，动作识别的精确度下降比较少(如图8(a))，而身份识别的精确度下降比较多(如图8(b))。而在4Hz时，相比于之前精确度下降缓慢一些，此时，动作识别精确度为93.7708％，身份识别中使用RF识别精确度最高为52.7536％，二者相差41.0172％。
而在某个采样率下，每个特征与动作的互信息为I(F；C_Activity)，而所有特征与动作类别的总互信息为Itotal_Activity；每个特征与身份的互信息为I(F；C_Identity，所有特征与身份类别的总互信息为Itotal_Identity。因此，通过观察Itotal_Activity和Itotal_Identity随采样率的变化，即图9示，发现采样率对总互信息和识别精确度的影响比较类似(图9和图8比较类似)，可以看出从45Hz降到4Hz时，Itotal_Activity下降比较少(如图9(a))，而Itotal_Identity下降比较多(如图9(b))，在4Hz时，总互信息开始趋于平缓下降。本发明认为4Hz的采样率已经足够进行动作识别，而又保护了身份隐私，在4Hz时，动作识别精确度为93.77％，而身份识别精确度52.75％(RF模型)，二者相差可达41.02％。
最后，本方案使用可视化根据，人工选择了特征-采样率组合F6＝{Ypereight-15，Ypernine-10，Yaverageabsdif-10，Ystandarddev-10，Yperseven-20，Ynanmin-5，Yenergy-10，Ydomfre-35}，并用其进行动作和身份识别，精确度如下表4所示：
表4特征-采样率组合进行识别的精确度
Figure BDA0001330395940000171
可以看出，针对本发明采集的数据集，使用可视化工具选出的特征-采样率组合进行动作和身份识别，识别精确度可以相差62.7749％，对比表3的结果(32.443％)和采样率实验中的4Hz时二者相差达41.02％，均明显提高了很多。
因此，通过本发明的对比实验，再次验证了使用互信息进行特征集和采样率选择是可行的，同时，还验证了利用可视化工具可以快速找到合理的方案优化结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于加速度数据的动作识别和隐私保护的方法，其特征在于，该方法包括以下步骤：
S1、对原始加速度传感器数据进行预处理；
S2、将预处理后的数据进行格式转换为特征数据；
S3、根据互信息理论计算不同采样率下所述特征数据分别与动作、身份的互信息，并相应获得动作总互信息数值、身份总互信息数值；其中，在步骤S3中，所述身份总互信息计算方法为：
Figure FDA0002650020500000011
其中，F为特征变量和，C_Activity为动作类别变量，p(f)、p(c_activity)为密度函数分布，p(f，c_activity)为联合概率分布；
S4、将所述身份总互信息数值进行可视化转换成供用户选择的方案。
2.如权利要求1所述的基于加速度数据的动作识别和隐私保护的方法，其特征在于，在步骤S1中，所述加速度传感器数据包括加速度传感器三轴数据、方向传感器三轴数据、陀螺仪的三轴数据；
在步骤S1中，所述预处理包括对原始加速度数据的分帧、过滤以及确定加速度采样率。
3.如权利要求1所述的基于加速度数据的动作识别和隐私保护的方法，其特征在于，在步骤S2中，所述特征数据包括时域特征数据以及频域特征数据。
4.如权利要求3所述的基于加速度数据的动作识别和隐私保护的方法，其特征在于，所述时域特征数据包括平均值、方差、标准差、平均绝对差、最大值、最小值、中值、第70百分位数、第80百分位数以及第90百分位数；
所述频域特征数据包括峰值频率、频谱能量。
5.一种基于加速度数据的动作识别和隐私保护的系统，其特征在于，该系统包括：
数据预处理模块，用于对原始加速度传感器数据进行预处理；
特征提取模块，用于将预处理后的数据进行格式转换为特征数据；
互信息计算模块，用于根据互信息理论计算不同采样率下所述特征数据分别与动作、身份的互信息，并相应获得动作总互信息数值、身份总互信息数值；其中，在所述互信息计算模块中，所述互信息计算方法为：
Figure FDA0002650020500000021
其中，F为特征变量和，C_Activity为动作类别变量，p(f)、p(c_activity)为密度函数分布，p(f，c_activity)为联合概率分布；
可视化模块，用于将所述身份总互信息数值进行可视化转换成供用户选择的方案。
6.如权利要求5所述的基于加速度数据的动作识别和隐私保护的系统，其特征在于，在所述数据预处理模块中，所述加速度传感器数据包括加速度传感器三轴数据、方向传感器三轴数据、陀螺仪的三轴数据；
在所述数据预处理模块中，所述预处理包括对原始加速度数据的分帧、过滤以及确定加速度采样率。
7.如权利要求5所述的基于加速度数据的动作识别和隐私保护的系统，其特征在于，在所述特征提取模块中，所述特征数据包括时域特征数据以及频域特征数据。
8.如权利要求7所述的基于加速度数据的动作识别和隐私保护的系统，其特征在于，所述时域特征数据包括平均值、方差、标准差、平均绝对差、最大值、最小值、中值、第70百分位数、第80百分位数以及第90百分位数；
所述频域特征数据包括峰值频率、频谱能量。
CN201710485650.3A 2017-06-23 2017-06-23 一种基于加速度数据的动作识别和隐私保护的方法及系统 Expired - Fee Related CN107742070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710485650.3A CN107742070B (zh) 2017-06-23 2017-06-23 一种基于加速度数据的动作识别和隐私保护的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710485650.3A CN107742070B (zh) 2017-06-23 2017-06-23 一种基于加速度数据的动作识别和隐私保护的方法及系统

Publications (2)

Publication Number Publication Date
CN107742070A CN107742070A (zh) 2018-02-27
CN107742070B true CN107742070B (zh) 2020-11-24

Family

ID=61234963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710485650.3A Expired - Fee Related CN107742070B (zh) 2017-06-23 2017-06-23 一种基于加速度数据的动作识别和隐私保护的方法及系统

Country Status (1)

Country Link
CN (1) CN107742070B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455262A (zh) * 2012-05-30 2013-12-18 中兴通讯股份有限公司 一种基于移动计算平台的笔式交互方法及系统
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
CN105426107A (zh) * 2015-11-30 2016-03-23 北京拉酷网络科技有限公司 基于触控板的手势识别方法
CN106095099A (zh) * 2016-06-12 2016-11-09 南京邮电大学 一种用户行为动作检测识别方法
CN106095101A (zh) * 2016-06-16 2016-11-09 福建师范大学 基于节能机制的人体行为识别方法及客户端
CN106228200A (zh) * 2016-10-17 2016-12-14 中北大学 一种不依赖于动作信息采集设备的动作识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406071B2 (en) * 2012-09-26 2016-08-02 Facebook, Inc. Calculating unique social networking system users performing an action on a social networking system object

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455262A (zh) * 2012-05-30 2013-12-18 中兴通讯股份有限公司 一种基于移动计算平台的笔式交互方法及系统
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
CN105426107A (zh) * 2015-11-30 2016-03-23 北京拉酷网络科技有限公司 基于触控板的手势识别方法
CN106095099A (zh) * 2016-06-12 2016-11-09 南京邮电大学 一种用户行为动作检测识别方法
CN106095101A (zh) * 2016-06-16 2016-11-09 福建师范大学 基于节能机制的人体行为识别方法及客户端
CN106228200A (zh) * 2016-10-17 2016-12-14 中北大学 一种不依赖于动作信息采集设备的动作识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于加速度传感器的运动步数检测算法研究;魏芬等;《万方数据库》;20161121;全文 *
基于无线传感器网络的人体动作识别系统;姜鸣等;《万方数据库》;20100513;全文 *

Also Published As

Publication number Publication date
CN107742070A (zh) 2018-02-27

Similar Documents

Publication Publication Date Title
US8781991B2 (en) Emotion recognition apparatus and method
US20150347505A1 (en) Information processing unit, information processing method, and program
EP2365420A2 (en) System and method for hand gesture recognition for remote control of an internet protocol TV
US20110007975A1 (en) Image Display Apparatus and Image Display Method
CN106778597B (zh) 基于图像分析的智能视力检测仪
CN110741377A (zh) 人脸图像处理方法、装置、存储介质及电子设备
CN108304816B (zh) 身份识别方法、装置、存储介质及电子设备
US10089518B2 (en) Graphical user interface for analysis of red blood cells
CN111597990B (zh) 一种基于rsvp范式的脑-机结合目标检测方法及系统
CN105867912A (zh) 日历新建事件数据提取方法及装置
CN106407908A (zh) 一种训练模型生成方法、人脸检测方法及装置
CN112052730B (zh) 一种3d动态人像识别监控设备及方法
CN113076903A (zh) 一种目标行为检测方法、系统、计算机设备及机器可读介质
CN111064935B (zh) 一种智慧工地人员姿态检测方法及系统
CN113326472B (zh) 一种基于时序多变量数据的模式提取与演化可视分析方法
US20210019656A1 (en) Information processing device, information processing method, and computer program
CN107742070B (zh) 一种基于加速度数据的动作识别和隐私保护的方法及系统
JP2010227326A (ja) 行動識別システム
CN116052264B (zh) 一种基于非线性偏差校准的视线估计方法及装置
CN114463776A (zh) 跌倒识别方法、装置、设备及存储介质
CN112925941A (zh) 数据处理方法及装置、电子设备及计算机可读存储介质
CN115758097A (zh) 多模态人因智能状态识别模型创建及实时状态监测方法、系统及存储介质
JP2003058298A (ja) 情報分類装置、情報分類方法、情報分類プログラム及びコンピュータ読み取り可能な記録媒体
CN110494862A (zh) 序列产生装置及其控制方法
CN112396114A (zh) 一种测评系统、测评方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201124

Termination date: 20210623