CN111985650A - 一种兼顾通用性与个性化的活动识别模型与系统 - Google Patents

一种兼顾通用性与个性化的活动识别模型与系统 Download PDF

Info

Publication number
CN111985650A
CN111985650A CN202010664768.4A CN202010664768A CN111985650A CN 111985650 A CN111985650 A CN 111985650A CN 202010664768 A CN202010664768 A CN 202010664768A CN 111985650 A CN111985650 A CN 111985650A
Authority
CN
China
Prior art keywords
model
activity recognition
user
activity
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010664768.4A
Other languages
English (en)
Other versions
CN111985650B (zh
Inventor
肖江
吴敏睿
李辉楚吴
金海�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010664768.4A priority Critical patent/CN111985650B/zh
Publication of CN111985650A publication Critical patent/CN111985650A/zh
Priority to US17/247,237 priority patent/US20220012155A1/en
Application granted granted Critical
Publication of CN111985650B publication Critical patent/CN111985650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/40—Information sensed or collected by the things relating to personal data, e.g. biometric data, records or preferences
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/20—Analytics; Diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种兼顾通用性与个性化的活动识别系统，包括由数据采集终端、边缘计算设备与云端计算平台所共同搭建的通信构架，活动识别系统借助于通信构架进行人员活动识别及模型更新，边缘计算设备还包括模型训练模块和活动识别模块，模型训练模块基于对用户ID的持续验证来调取本地活动识别模型，并利用第一数据以用户个性化特征与模型通用性特征相融合的方式训练本地活动识别模型的通用化网络结构和个性化网络结构，以使得活动识别模块所进行的人员活动识别过程兼顾通用性与个性化。另外，基于联邦学习框架的该系统结合“云‑边”通信构架对活动识别模型进行更新，即可以提升模型通用性，也可避免用户的个性化特征泄露的风险。

Description

一种兼顾通用性与个性化的活动识别模型与系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种兼顾通用性与个性化的活动识别模型与系统。
背景技术
在工业生产、健康监护、安全检测、智能家居等场景中，活动识别扮演着非常重要的角色。为识别用户的活动，当前的方法要求用户提供大量有标签数据以训练可靠的活动识别模型。然而，由于用户之间的体态特征、行为习惯存在差异，已有的识别模型难以直接用于识别新用户的活动。因此，新用户依然需要提供大量的数据来调整识别模型参数或重新训练一个合适的活动识别模型，极大降低了用户体验。
为减少新用户的训练成本，一类方法通过训练通用模型的方法，以提升模型的泛化能力。如现有技术中公开号为CN109086704A的专利文献所提出的一种基于稀疏表示和Softmax分类的人体活动识别方法，步骤S1：使用海量的无线传感器活动信号数据集训练Softmax模型；步骤S2：使用经过训练的Softmax模型对实时检测的活动信号进行分类和识别。采用该发明的技术方案，将数据库中的海量传感器活动信号数据集进行训练，确定信号的所属类别，再结合稀疏表示算法进行活动信号处理，从而大大降低了人体活动信号识别的计算量和复杂度，同时也有效提高人体活动分析的准确性。
该类方法在训练阶段需要搜集大量的用户数据，而无需新用户继续提供大量的训练数据。但是，通用模型在提升泛化能力的同时却抛弃了用户特有的特征。对于用户个体而言，其特有的特征对于其自身的活动识别具有积极的影响，因此通用模型识别个体活动的准确率常低于传统方法。
另一类方法为个性化模型，通过分析现有的模型及数据，将其中有益于新识别目标的部分迁移至新的任务中。如现有技术中公开号为CN106056043B的专利文献所提出的一种基于迁移学习的目标动物行为识别方法和装置，即训练数据集中的训练样本包括人的行为样本、非目标动物的行为样本和目标动物的行为样本中的一种或几种的组合，测试数据集为目标动物的行为样本。该发明步骤包括：步骤101，针对训练数据集中的每一个训练样本和测试数据集中的每一测试样本，提取原始特征；步骤102，采用迁移学习中的领域适应学习法将所述原始特征映射到共同空间中，得到新的特征；步骤103，利用所述新的特征训练SVM分类器，得到行为识别模型，同时对所述目标动物行为识别模型进行测试；步骤104，利用所述动物行为识别模型对目标动物的待识别行为进行识别。
又如公开号为CN111160462A的专利中提出了一种基于多传感器数据对齐的无监督个性化人类活动识别方法。该模型利用注意力网络对中间表示层附加权值，提升全局域识别器与活动分类器的表现。并且，通过对抗学习的方法对齐训练用户与新用户数据在特征空间的分布，从而提升模型的泛化能力，降低新用户的训练成本。
在此类方法中，由于被迁移的部分相当于已经完成了预训练工作，因此新用户仅需提供少量的数据对迁移模型的参数进行优化校准。然而，现有的迁移方法中，基于数据的迁移方法需要占用大量的网络资源，且存在隐私泄露的危险。此外，模型迁移的方法需要人为的确定迁移的部分，需要较多的人工干预，迁移成本较大。
此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于发明人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。
发明内容
目前已广泛应用于各领域的大量识别系统，主要是通过用户提供大量的数据以训练或优化识别模型，但其弊端在于由于用户之间的体态特征、行为习惯存在差异，已有的识别模型难以直接用于新用户的识别任务。为解决这个问题，现有技术提出了两大主流解决策略：其一，尽可能广泛地收集不同的用户数据，提取出公共特征以训练通用的识别模型，在这种策略下新用户的训练成本较低，但同时其抛弃了用户的个性化特征，因此在个人活动识别任务上精度有所降低；其二，将已有模型中的通用特征迁移到新用户的识别模型中，并收集少量的数据对新模型进行微调，此类策略在个人活动识别任务上有良好的表现，但是需要人工确定需要迁移的通用特征，并且在通用识别任务上由于受到个性化特征的影响会产生偏差。针对现有技术中两大主流策略所存在的不足，本发明提出了一种新型的兼顾通用性与个性化的活动识别模型与系统，力求能够实现在提升模型通用性的同时，兼顾个人活动识别任务的精度，并且在将模型应用于新用户的识别任务时，无需高成本的且偏差较大的人工干预。
具体而言，本发明提供了一种兼顾通用性与个性化的活动识别系统，包括由至少一个数据采集终端、至少一个边缘计算设备与云端计算平台所共同搭建的通信构架，所述活动识别系统借助于所述通信构架进行人员活动识别及模型更新，其中，所述边缘计算设备中至少包括：数据预处理模块，用于对所接收到的由所述数据采集终端所采集的感知信号进行预处理以得到第一数据，其特征在于所述边缘计算设备还包括模型训练模块和活动识别模块，其中：所述模型训练模块基于对用户ID的持续验证来调取本地活动识别模型，并利用所述第一数据以用户个性化特征与模型通用性特征相融合的方式训练所述本地活动识别模型的通用化网络结构和个性化网络结构，以使得所述活动识别模块基于训练后得到的所述本地活动识别模型所进行的人员活动识别过程兼顾通用性与个性化。
如果云计算是集中式大数据处理，边缘计算则可以理解为边缘式大数据处理。云计算和边缘计算通常会被用来做比较，云计算有着许多的特点：有着庞大的计算能力，海量存储能力，通过不同的软件工具，可以构建多种应用，日常使用的许多APP本质上都是依赖各种各样的云计算技术，比如视频直播平台、电子商务平台等等。而边缘计算脱胎于云计算，靠近设备侧，具备快速反应能力，但不能应付大量计算及存储的场合。这两者之间的关系，可以用人体的神经系统来解释：云计算能够处理大量信息，并可以存储短长期的数据，这一点非常类似于人体的大脑。大脑是中枢神经中最大和最复杂的结构，也是最高部位，是调节机体功能的器官，也是意识、精神、语言、学习、记忆和智能等高级神经活动的物质基础。人类大脑的灰质层，富含着数以亿计的神经细胞，构成了智能的基础。而具有灰质层的并不只有大脑，人类的脊髓也含有灰质层，并具有简单中枢神经系统，能够负责来自四肢和躯干的反射动作，及传送脑与外周之间的神经信息。边缘计算对于云计算，就好比脊髓对于大脑，边缘计算反应速度快，无需云计算支持。
采用边缘计算的优点在于在：1、低延迟，计算任务不再总是需要云计算中心的响应，计算能力部署在设备侧附近，设备请求实时响应；2、低带宽运行，大量临时数据不需要上传至云端服务器，将工作迁移至更接近于用户或是数据采集终端的能力能够降低站点带宽限制所带来的影响，尤其是当边缘节点服务减少了向中枢发送大量数据处理的请求时；3、隐私保护，隐私数据本地采集、本地分析、本地处理，无需上传，有效减少了数据暴露在公共网络的机会，保护了数据隐私。
本申请采用了“云边端”的硬件架构设计，基于云边端在物联网应用中所具有的低时延、低带宽的优势，本领域中也已有同采用云边端硬件架构设计的现有技术如北京工业大学硕士论文《基于边缘计算的数据获取与处理系统设计与实现》中第二章所公开的基于边缘计算的数据获取与处理系统的设计，如图4示出了该现有文献所提出的系统硬件框架图、物理数据采集模块示意图、数据预处理构成图以及基于边缘计算的数据获取与处理系统的半循环工作流程示意图。该系统由边缘设备进行模型测试且仅由云端进行数据分析，边缘设备只能以小范围的样本数据来训练本地识别模型，虽然具有小样本的个性化特征，然而，这种个性化特征对于模型的泛化能力存在负面影响。区别于上述现已有基于边缘计算的系统，本申请所提出的系统中边缘设备与云端计算平台均具有数据分析功能，边缘设备将本地识别模型的通用识别器部分上传至云端设备进行更新，云端设备通过融合多个本地识别模型，弱化了因小样本所导致的偏差/个性化特征所导致的负面影响，从而实现了对系统个性化与通用性的两者兼顾，极大地提升了系统泛化能力。
根据一种优选实施方式，所述模型训练模块将其基于训练前的本地活动识别模型与训练后得到的本地活动识别模型所计算生成的第二数据上传至云端计算平台，所述云端计算平台中维护有至少一个通用模型并在由各模型训练模块所上传的第二数据满足预设的模型更新条件时对所述通用模型进行参数调整。
本申请所提出的活动识别系统首次利用联邦学习的方式对云端和边端设备中的识别模型进行更新,云端与边缘设备之间仅需交换加密后的模型参数即可完成更新，极大的降低了用户隐私泄露的风险。此处所提及的联邦学习即Federated Learning/Federatedmachine learning，又名联邦机器学习、联合学习或联盟学习等。联邦学习可以是一个机器学习框架，其能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。联邦学习可以让系统更加通用化,可以在不同数据结构、不同机构间发挥作用，没有领域和算法限制,同时具有模型质量无损、保护隐私、确保数据安全的优势。
根据一种优选实施方式，所述模型训练模块基于对用户ID的持续验证可以得到新用户信息或已注册用户信息，在当前用户ID为新用户信息时，调取所述云端计算平台中的通用模型作为本地活动识别模型，或在当前用户ID为已注册用户信息时，调取所述活动识别模块中与当前用户相对应的至少经过一次活动识别训练的本地活动识别模型。
根据一种优选实施方式，在当前用户ID为新用户信息时，所述模型训练模块是以保留通用化网络结构的融合结果并对个性化网络结构的参数进行初始化的方式来训练其从云端计算平台所调取确定的所述本地活动识别模型。
根据一种优选实施方式，所述云端计算平台中预设的模型更新条件指的是当完成更新的本地活动识别模型的数量占比超出给定的阈值时，即开始更新云端计算平台中的通用模型。
根据一种优选实施方式，所述通用模型的更新是通过：各边缘计算设备利用本地数据计算模型更新梯度，使用加密技术对梯度进行加密，然后将加密梯度发送到云端计算平台；和/或云端计算平台在不了解任何边缘计算设备信息的情况下，满足通用模型更新条件时，对接收到的加密梯度进行安全聚合，得到聚合梯度；和/或云端计算平台依据聚合梯度调整通用模型，实现对通用模型的更新，同时将聚合梯度发送给边缘计算设备；和/或边缘计算设备可以利用聚合梯度微调本地活动识别模型。
根据一种优选实施方式，所述数据预处理模块利用至少包含校准、去噪及插值中的一个或几个预处理技术对接收到的感知信号进行处理，并根据数据源的特点进行信号分片、维度压缩以及特征提取。
根据一种优选实施方式，所述本地活动识别模型主要包括用户鉴别器和活动识别器，所述活动识别器与所述本地活动识别模型的通用网络结构部分相对应且其以结构化的特征向量作为输入，输出活动类型，所述用户鉴别器与所述本地活动识别模型的个性化网络部分相对应且其以所述活动识别器中较高的隐藏层作为输入。
针对目前本领域所存在的用户多样性带来的高数据标注成本问题，本领域中如公开号为CN111160462A的专利文献提出了一种基于多传感器数据对齐的无监督个性化人类活动识别方法，该模型利用注意力网络对中间表示层附加权值，提升全局域识别器与活动分类器的表现；并且，其通过对抗学习的方法对齐训练用户与新用户数据在特征空间的分布，从而提升模型的泛化能力。区别于上述现已有的活动识别系统，本申请提出了一种适用于“云边端”硬件架构的且适用于多模态活动识别任务的模型结构。对此，本发明设计了一种附加结构——用户鉴别器，并通过损失函数来控制其表示用户个性化特征。该用户鉴别器所含的个性化特征被用于鉴别用户身份的同时，也会参与活动识别的任务中，从而提升个人活动识别任务的表现。当迁移至新边缘设备时，仅需利用少量新用户数据对用户鉴别器的参数进行微调，以此降低边端本地模型的训练成本。本申请所提出的活动识别系统对数据采集方式具有更宽松的要求，可用于基于多模态的活动识别任务。可用信号源包括上述专利文献中所提及的可穿戴加速度计、陀螺仪、磁力计、心率计，以及可被人体反射的无线信号，如声波、电磁波、可见光等。
本发明还提出了一种兼顾通用性与个性化的活动识别方法，其特征在于至少包括以下步骤中的一个或几个：利用至少包含校准、去噪及插值中的一个或几个预处理技术对接收到的感知信号进行处理，并根据数据源的特点进行信号分片、维度压缩以及特征提取，以得到结构化的数据；将结构化的数据作为识别模型的输入，利用活动识别模型识别人员活动，并且持续验证用户ID；当判断得出当前用户未在系统中注册时，则从云端计算平台下载预训练模型至当前的边缘计算设备；当判断为新用户时，基于用户提供的少量训练数据来完成对用户鉴别器的训练以及对活动识别器的微调；当判断为已注册的用户时，预训练模型在后台收集用户数据用以在线学习，并生成本地模型更新参数；上传本地模型更新参数至云端计算平台；当满足通用模型更新条件时，云端计算平台将接收到的各个边缘设备模型的更新参数进行整合，用以通用模型的更新。
本发明还提出了一种兼顾通用性与个性化的活动识别模型，其特征在于所述活动识别模型至少包括用户鉴别器和活动识别器，所述活动识别器与所述活动识别模型的通用网络结构部分相对应且其以结构化的特征向量作为输入，输出活动类型，所述用户鉴别器与所述活动识别模型的个性化网络部分相对应且其以所述活动识别器中较高的隐藏层作为输入，以使得所述活动识别模型能够在分离出用户个性化特征的同时以用户个性化特征与模型通用性特征相融合的方式实现对人员活动的识别。
附图说明
图1是本发明提供的活动识别系统的简化模块连接关系示意图；
图2是本发明提供的活动识别系统的活动识别过程的简化流程图；
图3是本发明提供的活动识别模型的简化框架结构示意图；
图4是现有技术所提出的系统的简化硬件框架示意图及工作流程图。
具体实施方式
下面结合附图对本发明进行详细说明。
本发明的目的在于提供一种个性化活动识别模型及系统，以解决传统方法训练成本高的问题，并通过设计分布式的系统更新方式保证模型的泛化能力。在详细描述本发明的技术方案之前，先对在本发明所提出的活动识别模型与系统中所涉及的术语及缩写作如下说明：
Figure BDA0002579926650000071
Figure BDA0002579926650000081
Figure BDA0002579926650000091
Figure BDA0002579926650000101
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明所提出的活动识别系统能够在降低训练成本以及迁移成本的同时，保证较高的个体活动识别准确率。如图1所示，该系统主要由数据采集终端、边缘计算设备、云端计算平台三个部分构成。
针对该数据采集终端进行说明：数据采集终端主要用于收集并上传数据。本发明所涉及感知模型适用于任何感知信号，因此采集终端不仅限于用户随身携带的可穿戴设备，还包括环境中其他可感知人类行为活动的设备或传感器，如监控摄像头和无线路由器等。为节约能耗，该数据采集终端仅需具有数据采集，以及将数据传输至边缘计算设备的数据传输功能。
针对该边缘计算设备进行说明：该边缘计算设备主要用于信号处理、训练本地活动识别模型以及活动识别。该边缘计算设备首先利用校准、去噪及插值等相关技术对接收到的感知信号进行处理。然后根据数据源的特点进行信号分片、维度压缩以及特征提取。最后，基于处理后的数据训练个性化识别模型，或者对人员的活动进行识别。
针对该个性化识别模型作进一步的说明：如图3所示，本发明所提出的个性化活动识别模型主要包括两个部分——用户鉴别器和活动识别器。活动识别器是该模型的通用网络结构部分，其结构可为任何适用于活动识别任务的深度神经网络。活动识别器以结构化的特征向量作为输入，输出活动类型。用户鉴别器是该模型的个性化网络部分。相较于活动识别器，用户鉴别器的层数较少，并且以活动识别器中较高的隐藏层(Hidden layer)作为输入。深度神经网络中除了输入层和输出层之外的层级均为隐藏层。由于个性化的特征对于个人活动的识别有积极的影响，因此为保证活动识别器的个人活动识别精度，用户鉴别器中的个性化特征也需参与活动识别的任务。该设计的优势在于分离出用户个性化特征的同时，让其参与到活动的判断，既能完成对用户的识别，又能保证个性化识别的高精度，同时最终得到的通用网络结构部分具有很高的泛化性。
针对在训练阶段的损失函数L的设计进行说明：假设有n种活动，m个用户，活动识别器输出的结果为n维向量，a＝{a1，a2，a3，...，an}各元素的值域为[0,1]表示为各个活动的可能性。La为活动识别器的损失函数，可表示为：La＝g(aaT)。函数g为常用的损失函数(如均方误差和交叉熵等)。同理，用户鉴别器的损失函数为Lu。总损失函数L可写成
L＝αLa+(1-a)Lu+Lc,
α为人为设置的权值。Lc为约束条件，其目的是为了防止个性化活动识别模型过拟合问题。
针对云端计算平台进行说明：云端计算平台用于通用活动识别模型存储及更新。云端计算平台中维护一个通用的预训练模型，该模型根据各边缘计算设备上传的本地模型更新参数进行参数调整。通用的预训练模型保留了本地活动识别模型的活动识别器结构的融合结果，并对个性化网络部分结构的参数进行初始化。当新用户注册时，从云端下载通用的预训练模型，之后仅需要提供少量的数据让该通用的预训练模型学习用户鉴别器部分的参数。
为便于理解，本发明以WLAN的物理层信号(信道状态信息，CSI)为例进行详细说明。如图2所示，本发明所提出的活动识别系统由S1数据采集、S2用户判断&活动识别、S3本地活动识别模型训练以及S4通用模型更新四部分组成。
S1：数据采集。
由数据采集终端采集与人员活动相关的数据，并发送至边缘计算设备。
S2：用户判断&活动识别。
即在边缘计算设备上实现活动识别以及对用户的持续验证。该部分包括三个步骤：预处理、结构化转换以及用户判断&活动识别。
S21：预处理。
由于设备、环境的影响，接收到的信号存在大量的噪声，极大降低了识别的准确性。对此本发明通过滤波、插值、平滑等技术对信号进行降噪处理。
S22：结构化转换。
为满足识别模型结构化输入数据的要求，需要将非结构化的流式数据转化成结构化的数据分片。本发明以窗口式分片方法为例，首先利用短时傅里叶变换的方法将接收到的时域信号转换成时频信号，并利用固定大小的滑动窗口将时频信号分割成连续的数据帧片段，作为识别模型的输入。
本发明所涉及的短时傅里叶变换是最常用的一种时频分析方法，它通过时间窗内的一段信号来表示某一时刻的信号特征。在短时傅里叶变换过程中，窗的长度决定频谱图的时间分辨率和频率分辨率，窗长越长，截取的信号越长，信号越长，傅里叶变换后频率分辨率越高，时间分辨率越差；相反，窗长越短，截取的信号就越短，频率分辨率越差，时间分辨率越好。
S23：用户判断&活动识别。
边缘计算设备利用活动识别模型识别人员活动，并且持续验证用户ID。
S3：本地活动识别模型训练。
由于用户的体态特征以及行为习惯是持续变化的，因此需要不断对模型参数进行调整。S3阶段涉及两种情况，分别为针对新用户的模型训练以及持续的在线学习。
S31：下载模型。
针对当步骤S23判断得出当前用户未在系统中注册时，则从云端下载预训练模型至当前的边缘计算设备。
S32：训练本地模型。
本地模型的训练分为两种情况：当检测到新用户时，该系统需要用户提供少量的训练数据以完成对用户鉴别器的训练以及对活动识别器的微调；当为已注册的用户时，模型在后台收集用户数据用以在线学习，并生成本地模型更新参数；
S4：通用模型更新。
S41：上传本地模型更新参数。
边缘计算设备利用本地数据更新本地模型，然后将本地模型的更新参数上传到云端计算平台。
S42：更新通用模型。
云端计算平台接收边缘计算设备上传的本地模型更新参数，当满足通用模型更新条件时，云端计算平台将接收到的各个边缘设备模型的更新参数进行整合，用于通用模型的更新。
优选地，通用模型的更新条件：各边缘设备上的本地模型更新频率不同，且模型参数会包含用户的偏好特征。若不对云端模型的更新进行限制，则通用模型可能会因某些活跃(更新频繁)的本地模型而产生偏差。因此，为了避免这种情况，必须引入合适的通用模型更新条件：当完成更新的本地模型数占比超过一个给定的阈值时，即开始更新云端的通用模型。
优选地，通用模型的更新算法：
第一步：各边缘计算设备利用本地数据计算模型更新梯度，使用加密技术对梯度进行加密，然后将加密梯度发送到云端计算平台；
第二步：云端计算平台在不了解任何边缘计算设备信息的情况下，满足通用模型更新条件时，对接收到的加密梯度进行安全聚合，得到聚合梯度；
第三步：云端计算平台依据聚合梯度调整通用模型，实现对通用模型的更新，同时将聚合梯度发送给边缘计算设备；
第四步：边缘计算设备可以利用聚合梯度微调本地活动识别模型。
该边缘计算设备主要利用本地数据更新模型，而聚合梯度对本地模型的微调可以防止本地模型的过拟合，增强本地模型的鲁棒性。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (10)

1.一种兼顾通用性与个性化的活动识别系统，包括由至少一个数据采集终端、至少一个边缘计算设备与云端计算平台所共同搭建的通信构架，所述活动识别系统借助于所述通信构架进行人员活动识别及模型更新，其中，所述边缘计算设备中至少包括：
数据预处理模块，用于对所接收到的由所述数据采集终端所采集的感知信号进行预处理以得到第一数据，
其特征在于所述边缘计算设备还包括模型训练模块和活动识别模块，其中：
所述模型训练模块基于对用户ID的持续验证来调取本地活动识别模型，并利用所述第一数据以用户个性化特征与模型通用性特征相融合的方式训练所述本地活动识别模型的通用化网络结构和个性化网络结构，以使得所述活动识别模块基于训练后得到的所述本地活动识别模型所进行的人员活动识别过程兼顾通用性与个性化。
2.根据权利要求1所述的活动识别系统，其特征是，所述模型训练模块将其基于训练前的本地活动识别模型与训练后得到的本地活动识别模型所计算生成的第二数据上传至云端计算平台，所述云端计算平台中维护有至少一个通用模型并在由各模型训练模块所上传的第二数据满足预设的模型更新条件时对所述通用模型进行参数调整。
3.根据权利要求2所述的活动识别系统，其特征是，所述模型训练模块基于对用户ID的持续验证可以得到新用户信息或已注册用户信息，在当前用户ID为新用户信息时，调取所述云端计算平台中的通用模型作为本地活动识别模型，或在当前用户ID为已注册用户信息时，调取所述活动识别模块中与当前用户相对应的至少经过一次活动识别训练的本地活动识别模型。
4.根据权利要求3所述的活动识别系统，其特征是，在当前用户ID为新用户信息时，所述模型训练模块是以保留通用化网络结构的融合结果并对个性化网络结构的参数进行初始化的方式来训练其从云端计算平台所调取确定的所述本地活动识别模型。
5.根据权利要求4所述的活动识别系统，其特征是，所述云端计算平台中预设的模型更新条件指的是当完成更新的本地活动识别模型的数量占比超出给定的阈值时，即开始更新云端计算平台中的通用模型。
6.根据权利要求5所述的活动识别系统，其特征是，所述通用模型的更新是通过：
各边缘计算设备利用本地数据计算模型更新梯度，使用加密技术对梯度进行加密，然后将加密梯度发送到云端计算平台；和/或
云端计算平台在不了解任何边缘计算设备信息的情况下，满足通用模型更新条件时，对接收到的加密梯度进行安全聚合，得到聚合梯度；和/或
云端计算平台依据聚合梯度调整通用模型，实现对通用模型的更新，同时将聚合梯度发送给边缘计算设备；和/或
边缘计算设备可以利用聚合梯度微调本地活动识别模型。
7.根据权利要求6所述的活动识别系统，其特征是，所述数据预处理模块利用至少包含校准、去噪及插值中的一个或几个预处理技术对接收到的感知信号进行处理，并根据数据源的特点进行信号分片、维度压缩以及特征提取。
8.根据权利要求7所述的活动识别系统，其特征是，所述本地活动识别模型主要包括用户鉴别器和活动识别器，所述活动识别器与所述本地活动识别模型的通用网络结构部分相对应且其以结构化的特征向量作为输入，输出活动类型，所述用户鉴别器与所述本地活动识别模型的个性化网络部分相对应且其以所述活动识别器中较高的隐藏层作为输入。
9.一种兼顾通用性与个性化的活动识别方法，其特征在于至少包括以下步骤中的一个或几个：
利用至少包含校准、去噪及插值中的一个或几个预处理技术对接收到的感知信号进行处理，并根据数据源的特点进行信号分片、维度压缩以及特征提取，以得到结构化的数据；
将结构化的数据作为识别模型的输入，利用活动识别模型识别人员活动，并且持续验证用户ID；
当判断得出当前用户未在系统中注册时，则从云端计算平台下载预训练模型至当前的边缘计算设备；
当判断为新用户时，基于用户提供的少量训练数据来完成对用户鉴别器的训练以及对活动识别器的微调；
当判断为已注册的用户时，预训练模型在后台收集用户数据用以在线学习，并生成本地模型更新参数；
上传本地模型更新参数至云端计算平台；
当满足通用模型更新条件时，云端计算平台将接收到的各个边缘设备模型的更新参数进行整合，用以通用模型的更新。
10.一种兼顾通用性与个性化的活动识别模型，其特征在于
所述活动识别模型至少包括用户鉴别器和活动识别器，所述活动识别器与所述活动识别模型的通用网络结构部分相对应且其以结构化的特征向量作为输入，输出活动类型，所述用户鉴别器与所述活动识别模型的个性化网络部分相对应且其以所述活动识别器中较高的隐藏层作为输入，以使得所述活动识别模型能够在分离出用户个性化特征的同时以用户个性化特征与模型通用性特征相融合的方式实现对人员活动的识别。
CN202010664768.4A 2020-07-10 2020-07-10 一种兼顾通用性与个性化的活动识别模型与系统 Active CN111985650B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010664768.4A CN111985650B (zh) 2020-07-10 2020-07-10 一种兼顾通用性与个性化的活动识别模型与系统
US17/247,237 US20220012155A1 (en) 2020-07-10 2020-12-04 Activity recognition model balanced between versatility and individuation and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010664768.4A CN111985650B (zh) 2020-07-10 2020-07-10 一种兼顾通用性与个性化的活动识别模型与系统

Publications (2)

Publication Number Publication Date
CN111985650A true CN111985650A (zh) 2020-11-24
CN111985650B CN111985650B (zh) 2022-06-28

Family

ID=73439082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010664768.4A Active CN111985650B (zh) 2020-07-10 2020-07-10 一种兼顾通用性与个性化的活动识别模型与系统

Country Status (2)

Country Link
US (1) US20220012155A1 (zh)
CN (1) CN111985650B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112687266A (zh) * 2020-12-22 2021-04-20 深圳追一科技有限公司 语音识别方法、装置、计算机设备和存储介质
CN112950221A (zh) * 2021-03-26 2021-06-11 支付宝(杭州)信息技术有限公司 建立风控模型的方法和装置以及风险控制方法和装置
CN113128701A (zh) * 2021-04-07 2021-07-16 中国科学院计算技术研究所 面向样本稀疏性的联邦学习方法及系统
CN113487156A (zh) * 2021-06-30 2021-10-08 同济大学 一种基于云-边架构的工人行为监控识别方法及装置
CN113779386A (zh) * 2021-08-24 2021-12-10 北京达佳互联信息技术有限公司 模型训练方法和信息推荐方法
CN118053033A (zh) * 2024-02-29 2024-05-17 深圳大学 个性化联邦学习的医学图像分类方法、系统、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12105837B2 (en) * 2021-11-02 2024-10-01 Microsoft Technology Licensing, Llc Generating private synthetic training data for training machine-learning models
US20230146887A1 (en) * 2021-11-11 2023-05-11 Qualcomm Incorporated Perception-assisted wireless communication
CN116432770B (zh) * 2023-02-28 2023-10-20 阿里巴巴（中国）有限公司 模型训练、推理、构建方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766889A (zh) * 2017-10-26 2018-03-06 济南浪潮高新科技投资发展有限公司 一种云端边缘计算融合的深度学习计算系统和方法
US20190164062A1 (en) * 2017-11-28 2019-05-30 International Business Machines Corporation Data classifier
CN110197128A (zh) * 2019-05-08 2019-09-03 华南理工大学 基于边缘计算与云端统筹的人脸识别架构设计方法
CN110414373A (zh) * 2019-07-08 2019-11-05 武汉大学 一种基于云边端协同计算的深度学习掌静脉识别系统及方法
CN110443063A (zh) * 2019-06-26 2019-11-12 电子科技大学 自适性保护隐私的联邦深度学习的方法
CN110705684A (zh) * 2019-08-22 2020-01-17 中国科学院计算技术研究所 基于端云协同的环境自适应学习方法及系统
CN111176929A (zh) * 2019-11-29 2020-05-19 广东工业大学 一种面向边缘联邦学习的高能效计算通信联合优化方法
CN111190487A (zh) * 2019-12-30 2020-05-22 中国科学院计算技术研究所 一种建立数据分析模型的方法
CN111241580A (zh) * 2020-01-09 2020-06-05 广州大学 一种基于可信执行环境的联邦学习方法
US20200202243A1 (en) * 2019-03-05 2020-06-25 Allegro Artificial Intelligence Ltd Balanced federated learning

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11989634B2 (en) * 2018-11-30 2024-05-21 Apple Inc. Private federated learning with protection against reconstruction

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766889A (zh) * 2017-10-26 2018-03-06 济南浪潮高新科技投资发展有限公司 一种云端边缘计算融合的深度学习计算系统和方法
US20190164062A1 (en) * 2017-11-28 2019-05-30 International Business Machines Corporation Data classifier
US20200202243A1 (en) * 2019-03-05 2020-06-25 Allegro Artificial Intelligence Ltd Balanced federated learning
CN110197128A (zh) * 2019-05-08 2019-09-03 华南理工大学 基于边缘计算与云端统筹的人脸识别架构设计方法
CN110443063A (zh) * 2019-06-26 2019-11-12 电子科技大学 自适性保护隐私的联邦深度学习的方法
CN110414373A (zh) * 2019-07-08 2019-11-05 武汉大学 一种基于云边端协同计算的深度学习掌静脉识别系统及方法
CN110705684A (zh) * 2019-08-22 2020-01-17 中国科学院计算技术研究所 基于端云协同的环境自适应学习方法及系统
CN111176929A (zh) * 2019-11-29 2020-05-19 广东工业大学 一种面向边缘联邦学习的高能效计算通信联合优化方法
CN111190487A (zh) * 2019-12-30 2020-05-22 中国科学院计算技术研究所 一种建立数据分析模型的方法
CN111241580A (zh) * 2020-01-09 2020-06-05 广州大学 一种基于可信执行环境的联邦学习方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAVE CONWAY-JONES等: "Demonstration of Federated Learning in a Resource-Constrained Networked Environment", 《2019 IEEE INTERNATIONAL CONFERENCE ON SMART COMPUTING (SMARTCOMP)》 *
YUXIANG LIU等: "FLoc: Fingerprint-based Indoor Localization System under a Federated Learning Updating Framework", 《2019 15TH INTERNATIONAL CONFERENCE ON MOBILE AD-HOC AND SENSOR NETWORKS》 *
陈国润等: "基于联邦学习的通信诈骗识别模型的实现", 《电信科学》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112687266A (zh) * 2020-12-22 2021-04-20 深圳追一科技有限公司 语音识别方法、装置、计算机设备和存储介质
CN112687266B (zh) * 2020-12-22 2023-07-21 深圳追一科技有限公司 语音识别方法、装置、计算机设备和存储介质
CN112950221A (zh) * 2021-03-26 2021-06-11 支付宝(杭州)信息技术有限公司 建立风控模型的方法和装置以及风险控制方法和装置
CN113128701A (zh) * 2021-04-07 2021-07-16 中国科学院计算技术研究所 面向样本稀疏性的联邦学习方法及系统
CN113487156A (zh) * 2021-06-30 2021-10-08 同济大学 一种基于云-边架构的工人行为监控识别方法及装置
CN113779386A (zh) * 2021-08-24 2021-12-10 北京达佳互联信息技术有限公司 模型训练方法和信息推荐方法
CN113779386B (zh) * 2021-08-24 2024-06-14 北京达佳互联信息技术有限公司 模型训练方法和信息推荐方法
CN118053033A (zh) * 2024-02-29 2024-05-17 深圳大学 个性化联邦学习的医学图像分类方法、系统、设备及介质
CN118053033B (zh) * 2024-02-29 2024-08-16 深圳大学 个性化联邦学习的医学图像分类方法、系统、设备及介质

Also Published As

Publication number Publication date
US20220012155A1 (en) 2022-01-13
CN111985650B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN111985650B (zh) 一种兼顾通用性与个性化的活动识别模型与系统
CN113693613B (zh) 脑电信号分类方法、装置、计算机设备及存储介质
CN111967362B (zh) 面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法
CN112257728B (zh) 图像处理方法、装置、计算机设备以及存储介质
CN110751032B (zh) 一种无需校准的脑机接口模型的训练方法
CN113763965B (zh) 一种多重注意力特征融合的说话人识别方法
CN113052150B (zh) 活体检测方法、装置、电子设备和计算机可读存储介质
CN112418302A (zh) 一种任务预测方法及装置
CN113298191A (zh) 基于个性化半监督在线联邦学习的用户行为识别方法
CN110348352A (zh) 一种人脸图像年龄迁移网络的训练方法、终端和存储介质
CN114022726A (zh) 一种基于胶囊网络的人员车辆监控方法及系统
CN117854156B (zh) 一种特征提取模型的训练方法和相关装置
CN116564339A (zh) 基于联邦学习的安全高效车机语音识别方法及系统
CN114330559A (zh) 一种基于度量迁移学习的脑电信号识别方法
CN111460901A (zh) 一种基于Wi-Fi信号和迁移学习的活动分类模型构建方法及系统
CN113420683A (zh) 人脸图像识别方法、装置、设备以及计算机可读存储介质
Deng et al. Wildar: Wifi signal-based lightweight deep learning model for human activity recognition
CN117216309A (zh) 模型训练方法、图像检索方法、装置、设备和介质
CN116486495A (zh) 一种基于注意力与生成对抗网络的人脸图像隐私保护方法
CN114120634B (zh) 基于WiFi的危险驾驶行为识别方法、装置、设备及存储介质
Zhang et al. ECMER: Edge-cloud collaborative personalized multimodal emotion recognition framework in the Internet of vehicles
CN109285598A (zh) 具备色彩情绪调节的手机投影技术
US20220044125A1 (en) Training in neural networks
CN104598866A (zh) 一种基于人脸的社交情商促进方法及系统
Yang et al. Video system for human attribute analysis using compact convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant