CN108960430A - 为人体运动活动生成个性化分类器的方法和设备 - Google Patents

为人体运动活动生成个性化分类器的方法和设备 Download PDF

Info

Publication number
CN108960430A
CN108960430A CN201810433359.6A CN201810433359A CN108960430A CN 108960430 A CN108960430 A CN 108960430A CN 201810433359 A CN201810433359 A CN 201810433359A CN 108960430 A CN108960430 A CN 108960430A
Authority
CN
China
Prior art keywords
data
motor activity
training
confidence measure
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810433359.6A
Other languages
English (en)
Other versions
CN108960430B (zh
Inventor
M·乔达里
A·库马
G·辛格
R·巴勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMICROELECTRONICS INTERNATIONAL NV
STMicroelectronics lnc USA
Original Assignee
STMICROELECTRONICS INTERNATIONAL NV
STMicroelectronics lnc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STMICROELECTRONICS INTERNATIONAL NV, STMicroelectronics lnc USA filed Critical STMICROELECTRONICS INTERNATIONAL NV
Publication of CN108960430A publication Critical patent/CN108960430A/zh
Application granted granted Critical
Publication of CN108960430B publication Critical patent/CN108960430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683—Means for maintaining contact with the body
    • A61B5/6831—Straps, bands or harnesses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
    • A61B5/221—Ergometry, e.g. by using bicycle type apparatus
    • A61B5/222—Ergometry, e.g. by using bicycle type apparatus combined with detection or measurement of physiological parameters, e.g. heart rate
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Cardiology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pulmonology (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)

Abstract

本文中描述了一种操作电子设备的方法，该方法包括：从电子设备的至少一个传感器收集初始运动活动数据；以及使用运动活动分类器函数根据收集的初始运动活动数据来生成电子设备相对于其周围环境的初始概率上下文。将所收集的运动活动数据存储在训练数据集中，并且使用训练数据集来更新运动活动分类器函数。该方法还包括从电子设备的至少一个传感器收集后续运动活动数据，并且使用经更新的运动活动分类器函数根据后续收集的运动活动数据来生成电子设备相对于其周围环境的后续概率上下文。

Description

为人体运动活动生成个性化分类器的方法和设备
技术领域
本公开涉及一种用于以无监督方式使用从工厂设置的通用分类器开始被个性化的分类器来提高移动或可穿戴设备用户的运动活动的分类准确度的方法。
背景技术
移动、平板电脑和可穿戴设备包括嵌入式MEMS传感器，如加速度计、气压计、陀螺仪、磁力计和麦克风。这些传感器可以由在设备内执行的软件使用，以确定用户正在执行或进行的人体运动活动。这样的运动活动的检测可以由软件使用，以辅助人机交互。事实上，运动活动感知设备可以在涉及运动活动的某些应用中最小化或者甚至消除对人类输入的需要。例如，如果人类用户正在慢跑，则应用可以自动且无需用户输入地开始播放音乐并且开启健康监测应用。因此，正确地检测人体运动活动可以是有价值的且在商业上需要的，特别是在普适计算、人机交互和物联网领域。
通常，这样的电子设备使用通用分类技术来确定正在执行哪种运动活动，诸如步行或慢跑。这些通用分类技术并非特定于任何一个用户，而是被设计成为任何用户提供可接受的性能。然而，每个个人在执行这样的运动活动时具有不同的步态，这表示与对于其他用户而言相比，对于某些用户而言，通用分类技术可能更准确。这由于人的尺寸、形状和重量的巨大差异而变得复杂化，因为例如，由高且重的个体执行的慢跑运动的传感器输出与由矮且轻的个体执行的慢跑运动的传感器输出可能显著不同。
因此，为了提供更好和更准确的运动活动检测和分类，需要开发可以考虑不同用户的不同特性的分类技术。
发明内容
一种方法用于操作电子设备并且包括：从电子设备的至少一个传感器收集初始运动活动数据；以及使用运动活动分类器函数根据收集的初始运动活动数据来生成电子设备相对于其周围环境的初始概率上下文。将所收集的运动活动数据存储在训练数据集中，并且使用训练数据集来更新运动活动分类器函数。该方法还包括从电子设备的至少一个传感器收集后续运动活动数据，并且使用经更新的运动活动分类器函数根据后续收集的运动活动数据来生成电子设备相对于其周围环境的后续概率上下文。
该方法可以包括在生成初始概率上下文之后生成数据选择置信度量度。如果数据选择置信度量度大于较低阈值，则可以将所收集的运动活动数据可以存储在训练数据集中，并且如果数据选择置信度量度小于较低阈值，则可以不将所收集的运动活动数据存储在训练数据集中。
如果数据选择置信度量度大于或等于较低阈值且小于或等于较高阈值，则可以将所收集的运动活动数据存储在训练数据集中。
该方法可以包括在生成初始概率上下文之后生成数据选择置信度量度。如果数据选择置信度量度小于较高阈值，则可以将所收集的运动活动数据存储在训练数据集中，并且如果数据选择置信度量度大于较高阈值，则不将所收集的运动活动数据存储在训练数据集中。
该方法还可以包括在使用训练数据集来更新运动活动分类器函数之前确定训练数据集是否包含足够的数据，并且除非训练数据集包含足够的数据，否则不更新运动活动分类器函数。
该方法可以另外包括将后续运动活动数据存储在训练数据集中，使用训练数据集进一步更新经更新的运动活动分类器函数，从电子设备的至少一个传感器收集进一步的运动活动数据，并且使用经进一步更新的运动活动分类器函数根据进一步的运动活动数据来生成电子设备相对于其周围环境的进一步的概率上下文。
数据选择置信度量度可以基于初始概率上下文的条件熵。初始概率上下文可以包括包含多个不同潜在上下文的运动活动后验图，并且数据选择置信度量度可以基于运动活动后验图的条件熵。
数据选择置信度量度可以基于概率上下文的运动活动的最高后验概率和第二高后验概率之间的差值。
训练数据集可以包括通用数据和从电子设备的至少一个传感器收集的运动活动数据。
训练数据集可以包括从电子设备的至少一个传感器收集的运动活动数据。
本文中还描述了一种传感器芯片，该传感器芯片安装在印刷电路板(PCB)上并且经由至少一个导电迹线电耦合到安装在PCB上的片上系统(SOC)。传感器芯片包括至少一个感测设备和控制电路。控制电路被配置为从至少一个感测设备收集初始运动活动数据，使用运动活动分类器函数根据收集的初始运动活动数据来生成印刷电路板相对于其周围环境的初始概率上下文，将所收集的运动活动数据存储在训练数据集中，使用训练数据集来更新运动活动分类器函数，从电子设备的至少一个传感器收集后续运动活动数据，并且使用经更新的运动活动分类器函数根据后续收集的运动活动数据来生成电子设备相对于其周围环境的后续概率上下文。
控制电路可以向SOC输出初始概率上下文和后续概率上下文。
附图说明
图1A是能够实现本文中描述的方法和技术的设备的框图，其中个性化分类器被存储在非易失性存储器中；
图1B是能够实现本文中描述的方法和技术的设备的框图，其中个性化分类器被存储在外部服务器上；
图1C是能够实现本文中描述的方法和技术的备选设备的框图，其中个性化分类器被存储在非易失性存储器中；
图2包括描绘目标用户数据通过通用分类器的使用被错误分类以及通过个性化分类器的使用被正确分类的图；
图3是使用无监督学习根据通用分类器生成移动或可穿戴设备用户的人体运动活动的个性化分类器的方法的流程图；
图4是用于使用无监督学习根据先前的个性化分类器迭代地生成移动或可穿戴设备用户的人体运动活动的个性化分类器的方法的流程图；
图5是示出图3至4中的运动活动后验图的生成和运动活动的检测的细节的流程图；
图6包括示出作为帧的函数的运动活动后验图(MAP)形式的运动活动类的后验概率以及用于针对活动“步行”根据MAP确定的DSM的条件熵的图；
图7包括示出作为帧的函数的MAP形式的运动活动类的后验概率以及用于针对活动“步行”根据MAP确定的DSM的最高和第二高后验概率之间的差值的图；
图8包括示出在执行活动“步行”的情况下使用通用分类器获得的MAP、作为DSM的量度而计算的条件熵以及在执行活动“步行”的情况下使用个性化分类器获得的MAP的图；
图9是示出使用通用分类器和个性化分类器针对设备的不同携带位置的加权准确度的图，该个性化分类器是利用条件熵大于较低阈值且小于较高阈值的数据训练的；
图10是示出针对位于裤袋中的设备的个性化和通用运动活动检测的加权平均准确度的图；
图11是示出针对位于背包中的设备的个性化和通用运动活动检测的加权平均准确度的图；
图12是示出针对位于手中的设备的个性化和通用运动活动检测的加权平均准确度的图；
图13是示出针对由摆动的手臂携带的设备的个性化和通用运动活动检测的加权平均准确度的图；
图14是示出针对衬衫口袋中的设备的个性化和通用运动活动检测的加权平均准确度的图；
图15是示出针对皮套中的设备的个性化和通用运动活动检测的加权平均准确度的图；以及
图16是示出针对肩袋中的设备的个性化和通用运动活动检测的加权平均准确度的图。
具体实施方式
参考示出了示例实施例的附图来进行本描述。然而，可以使用很多不同的实施例，并且因此描述不应当被解释为限于本文中阐述的实施例。相反，这些实施例被提供以使得本公开透彻和完整。相同的数字始终指代相同的要素。
首先在总体上解释并且然后更详细地描述根据本公开的操作。
本文中描述了一种用于利用一个或多个传感器来确定移动或可穿戴设备用户的运动活动的计算方法，其目的是通过将目标用户的运动活动的样本引入工厂设置的通用数据集中以提供训练数据集来实现改进的准确度级别。在工厂设置的通用数据集中引入的目标用户数据取决于后验概率分类器的数据选择量度(DSM)。DSM是基于不同运动活动的后验概率的分类器的检测到的活动的置信度量度。使用训练数据集，工厂设置的通用后验概率分类器可以被迁移到特定于目标用户的个性化的后验概率分类器。
该方法允许DSM范围内的灵活性，基于此，目标用户的运动活动的样本数据可以被引入到训练数据集中。本文中描述的计算架构通过异构传感器测量和个性化分类器来提供检测到的运动活动的输出。当DSM的预先指定的范围内有足够或大量的目标用户数据可用时，从工厂设置的通用分类器到目标用户特定的个性化分类器的迁移是有效的。
个性化分类器可以具有两种类型：包含通用数据集以及来自目标用户的运动活动标记数据的个性化分类器，或者仅包含来自目标用户的运动活动标记数据的个性化分类器。个性化分类器的输出是周期性地检测到的运动活动输出的形式，并且是基于从传感器收集的数据根据通过分类器获得的每个运动活动类的概率导出的。
运动活动可以使用一个或多个上述传感器来检测。为了感测运动活动，在监督学习方法下，可以提供可以在工厂设置的通用数据集或通用分类器。通用数据集包括与目标用户的数据不同的来自其他人类主体的数据，并且用于训练用于检测运动活动的通用分类器。
记录在传感器上的运动活动的模式通常是个人特定的，因为除了执行活动的个人风格之外，这些还取决于个人的身高、体重、性别、年龄。具有个性化特性的常见运动活动是步行、骑自行车、上楼、下楼和慢跑。另外，由于移动和可穿戴设备是用户的个人设备，因此设计和使用个性化分类器的选项是可行的。结果，在目标用户的运动活动模式上训练的个人相关分类器将更准确地检测运动活动。即使使用用户的运动活动数据设计的目标用户特定分类器会更准确，但是通过明确询问来自目标用户的每个运动活动的样本来针对每个目标用户设计分类器是不切实际的。因此，寻求一种个性化分类器，其不明确地请求来自用户的每个运动活动的数据样本以构建个性化分类器。个性化分类器可以具有提高准确度的优点，因为它能够根据目标用户的运动活动模式来检测和分类。
首先参考图1A，现在描述可以在其上执行本公开的各种技术和方法的电子设备50。电子设备50可以是由用户10携带或佩戴的智能手机、平板电脑、智能手表或其他可穿戴设备。电子设备50包括其上安装有各种部件的印刷电路板(PCB)99。印刷在PCB 99上的导电迹线69用于以期望的方式将各种部件电耦合在一起。
包括耦合到图形处理单元(GPU)74的中央处理单元(CPU)72的片上系统(SOC)70安装在PCB 99上。还耦合到CPU 72的是随机存取存储器(RAM)76和收发器(XCVR)75，SOC 70可以经由XCVR 75通过互联网与远程服务器通信。触敏显示器78耦合到SOC 70，并且由SOC 70使用以显示输出和接收输入。各种传感器耦合到SOC 70，包括用于确定电子设备50相对于地球磁场的取向的磁力计68、用于确定电子设备50相对于环境的取向的陀螺仪62、以及用于检测环境中的可听噪声的麦克风65。可配置的传感器单元60与SOC 70间隔开地安装在PCB 99上，并且通过导电迹线69与SOC 70耦合。仅为了说明的目的，例如，可配置的传感器单元70包括封装在MEMS感测单元61中并且耦合到控制电路62的加速度计63和/或气压计67。加速度计63用于确定电子设备50经历的加速度，并且气压计67用于确定环境中的气压(并且因此确定电子设备50的海拔高度)。
应当理解，任何现在的或未来开发的传感器类型可以与本公开一起使用，其范围不受所使用的可配置传感器的类型的限制。可配置的传感器单元60可以由分立部件和/或集成部件和/或分立部件和集成部件的组合来形成，并且可以形成为封装件。
如图1A所示，作为示例，可配置的传感器单元60不是SOC 70的一部分，并且是与SOC 70分离且不同的部件。传感器单元60和SOC 70是安装在PCB 99上在不同位置处并且经由导电迹线69耦合在一起的分离的不同的互不包括的芯片。应当理解，这个示例配置仅仅是一种可选配置，并且SOC 70及其特征在某些情况下可以与传感器单元60集成，其也被包括在本公开的范围内。
在操作中，SOC 70可以以获取速率从各种传感器62、63、65、66、67、68获取数据，并且可以处理数据以确定电子设备50相对于其周围环境的上下文(context)。上下文将详细解释。
在操作中，控制电路64从加速度计63和/或陀螺仪62获取数据，并且处理该数据以便生成电子设备50相对于其周围环境的上下文。该处理由控制电路64使用根据可编程的配置数据进行操作的处理技术来执行。处理后的数据然后由控制电路64输出到SOC 70以供其使用。
电子设备50的上下文可以是用户身体上携带电子设备50的位置(即，在口袋中，在手中，在皮套中)、用户的当前移动方法(即跑步、步行、驾驶、骑自行车、爬楼梯、乘坐火车、乘坐公交车)、电子设备50相对于重力的取向。另一示例上下文可以是电子设备50在手势方面的移动，诸如用户将智能手表抬起到观看其屏幕的位置，摇动电子设备50，双击电子设备50的触摸屏78，顺时针或逆时针旋转电子设备50，并且将触摸屏78向左、右、上或下划动。
诸如步行、慢跑等运动活动具有特征模式，这些特征模式是用户特定的并且可以在用户之间差别很大。除了执行运动活动的个人风格或步态之外，这些特征模式还取决于身高、体重、性别、身体比例(腿长、臂长)和用户的年龄。移动和可穿戴设备50倾向于对用户而言是个人的，而不与他人共享。因此，期望生成提高运动活动分类的准确度的个性化分类器。图2中示出了说明通用分类器的使用如何产生不准确的结果但是个性化分类器的使用产生准确结果的图。可以看出，当使用通用分类器时，菱形标记(表示第一类的实例)被错误地分类为第二类。但是，当使用个性化分类器时，这个菱形标记被正确地分类为第一类。
即使使用该用户的运动活动数据设计的目标用户特定分类器将提供高准确度，但是通过明确请求来自目标用户的每个运动活动的样本(即，监督学习)针对每个目标用户生成特定分类器是不切实际的。因此，发明人开发了一种个性化分类器，其不明确地请求来自用户的每个运动活动的数据样本来构建个性化分类器。个性化分类器具有提高准确度的优点，因为它能够根据目标用户的特定运动活动模式来进行检测和分类。
参考图3，现在描述使用无监督学习生成个性化分类器。在传感器62、63、65、66、67、68的初始化(框102)之后，控制电路64使用传感器62、63、65、66、67、68中的一个或多个来收集运动活动数据帧(框104)。控制电路64预处理运动活动数据帧(即，执行噪声滤波、分段和加窗，其进一步的细节将在下面给出)，并且然后使用工厂设置的通用分类器(框116)计算该帧的运动活动的后验概率(框106)。这些概率集称为“后验图”。
运动活动后验图的生成独立于用户对电子设备50的携带位置，并且可以由控制电路64使用如人工神经网络(ANN)、循环神经网络(RNN)、隐马尔可夫模型(HMM)、支持向量机(SVM)等用于生成后验图的合适的机器学习算法来执行。
使用后验图，由控制电路64计算分类器的检测到的运动活动(置信度水平)的数据选择量度(框107)。DSM可以使用条件熵函数或者根据运动活动后验图中的最高概率与第二高概率之间的差值或者使用任何其他合适的量度来计算。
如果DSM在预先指定的范围内，则由控制电路64将用于计算后验图的目标用户的传感器数据引入到训练数据库中(框112)。如果DSM在该范围之外，则控制电路64丢弃传感器数据(框110)。
所使用的阈值可以是三种类型。首先，阈值可以是较低阈值(TL)，使得具有高于阈值的DSM的目标用户数据将被存储在训练数据库中，以用于个性化分类器训练。其次，阈值可以是较高阈值(TU)，使得具有低于阈值的DSM的目标用户数据将被存储在训练数据库中以用于个性化分类器训练。在第三种情况下，阈值可以是具有较低阈值(TL)和较高阈值(TU)的范围，并且具有在指定范围内的DSM的目标用户数据将被存储用于个性化分类器训练。
如图1A所示，训练数据库82可以被存储在电子设备50中的非易失性存储器80中。在一些情况下，诸如图1B所示的那样，训练数据库82可以被存储在外部服务器81上。训练数据库82可以仅包括收集的数据，或者在一些情况下还可以包括工厂设置的通用数据。
如果现在有足够量的训练数据(框114)，则根据训练数据来生成个性化运动活动分类器(框118)。个性化运动活动分类器可以仅根据由传感器62、63、65、66、67、68收集的训练数据或者根据该训练数据和工厂设置的通用数据的组合来生成。个性化运动活动分类器可以从头开始计算，或者可以通过修改工厂设置的通用运动活动分类器来计算。如果还没有足够的训练数据来生成个性化运动活动分类器，则不执行框218的功能。
个性化运动活动分类器如果被计算则可以用于计算后续获取的数据帧的运动活动后验图，如将参考图4所描述的。
由控制电路64从传感器62、63、65、66、67、68收集的下一帧运动活动数据的处理如上所述进行，从初始化开始(框202)，进行到运动活动收集(框204)，并且然后是运动活动后验图生成(框206)。这里，使用个性化运动分类器来计算运动活动后验图(框216)。该处理如上所述继续进行DSM计算(框207)、阈值确定(框208)、数据在训练数据集中的存储(框212)和数据充足性检查(框214)。这里，如果有足够的训练数据来更新个性化运动活动分类器，则更新个性化运动活动分类器(框218)。
因此，应当理解，以这种方式，个性化运动活动分类器以无监督学习方式从先前训练的个性化分类器被迭代地训练。任何第n次迭代的阈值可以是自适应的，并且因此可以等于或不等于在先前迭代期间用于生成个性化分类器的阈值。
上面描述的运动活动后验图的计算细节或者上面计算的任何运算、向量或后验图可以在以下共同未决的申请中找到：题为“使用单个传感器和/或多传感器融合来确定移动设备用户的概率上下文感知的方法和设备(METHOD AND APPARATUS FOR DETERMININGPROBABILISTIC CONTEXT AWARENESS OF A MOBILE DEVICE USER USING A SINGLE SENSORAND/OR MULTI-SENSOR FUSION)”的美国专利申请No.15/074,188。该申请通过引用结合于此。
图5中描绘了流程图150，流程图150描述了用于根据从传感器62、63、65、66、67、68获得的数据来确定特定的一组人体运动活动的后验概率的技术。
为了说明的目的，考虑被分组在以下运动活动矢量中的用户的运动活动上下文：运动活动矢量(MAV)＝[静止；步行；慢跑；上楼；下楼；电梯升降；骑自行车；驾驶；都不是]。
MAV是可以针对目标用户而个性化的活动的超集。MAV包括9个运动活动，其中的至少5个运动活动(即步行、慢跑、骑自行车、步行上楼和步行下楼)可以被个性化。MAV在给定时间可能的每个矢量中具有一个“类”或要素，即要素是互不包括的，并且“这些类都不”表示未作为要素明确被并入的其余运动活动。这允许矢量的数学相关要素的概率的总和等于1。而且，这使得运动活动矢量表示具有灵活性，从而可以明确地并入运动活动的新类。
给定来自一个或多个传感器62、63、65、66、67、68的数据的每个运动活动的后验概率是MAV的对应后验图。令它被命名为运动活动后验图(MAP)。
现在将给出上述技术的有效性的样本。数据用于11个个人，利用7个设备携带位置进行9次活动。这些活动包括步行、骑自行车、静止、上楼、下楼、慢跑、车载、电梯上升和电梯下降。用户可以将设备50携带在各种身体位置，诸如在裤子口袋中，在背包中，在手中，在摆动的手臂中，在衬衫口袋中，在皮套中，以及在肩袋中，这些位置用于使数据被呈现。因此，所使用的数据具有广泛的多样性。
在从传感器62、63、65、66、67、68收集原始运动活动数据之后，控制电路64执行预处理(框154)并且将数据分段为窗口。预处理步骤如下。加速度计63的采样频率是50Hz，其被下采样到20Hz。气压计67的采样频率是20Hz。窗口大小取为5秒，其中3秒重叠。因此，运动活动分类器能够每2秒提供检测到的运动活动决策。
针对每个帧计算若干时域和频域特征。加速度计的时域特征是加速度计幅度的均值、最大值、最小值、过零率(ZCR)、10阶线性预测系数(LPC)、均方根(RMS)、以及3个累积绘图特征。为了导出累积绘图特征，采用每个加窗帧的经排序的时域样本。从经排序的时域数据中，根据指定的数据范围计算下列平均值：
1.平均最小值：定义为前15％的帧的排序数据的平均值。
2.平均中值：定义为从30％到40％的帧的排序数据的平均值。
3.平均最大值：定义为从80％到95％的帧的排序数据的平均值。
来自加速度计63的频域特征是49个DFT系数、DFT幅度的最大值、最大DFT幅度单元的频率和6个频带中的能量，其中频带如下：频带1:0.2-1至1Hz，频带2:1-2Hz，频带3:2-3Hz，频带4:3-4Hz，频带5:4-5Hz，频带6:5-7Hz。
针对每个窗口帧计算时域的总共17个特征和频域的10个特征。从气压计数据中提取的10个特征是时间窗内的压力变化的最大值、最小值、RMS、6个LPC系数和斜率。来自加速度计63和气压计67的每帧数据的上述特征集合用于建模概率机器学习算法。
用于分类的若干机器学习算法(如ANN、HMM、SVM等)被实现，并且发明人发现，使用SVM能够获得特别准确的检测。基本SVM是二元类的非概率监督学习算法。SVM生成分离超平面，使得分离宽度最大。有若干扩展SVM用于多类分类方法，诸如最大胜利投票(MWV)、胜者全取(WTA)和有向无环图(DAG)。下面的分类器中使用的方法是具有DAG的软判决SVM。DAG包括树结构中的若干二元分类器，其可以解决多类分类问题。对于M类运动活动，在所使用的类配对之间有0.5*M(M-1)个二元分类器。训练DAG中的每个二元分类器以在类配对之间进行分类。最后，通过归一化从二元分类器获得的概率，获得9个运动活动类的运动活动后验图。
SVM可以使用线性分区和非线性分区进行分类。核函数用于非线性分类，并且将这些特征转换成更高维空间，在这个空间中特征是用最大可能余量线性可分离的。为了获得概率输出，将SVM被拟合成具有两个参数的S形(Sigmoid)模型，该两个参数根据训练数据集使用最大似然估计(fi，yi)来获得，其中fi是来自一帧数据的一组特征，并且yi是相应的标记类。
图6示出了当通用分类器被用于运动活动检测时根据帧变化的运动活动后验图(MAP)以及针对活动“步行”的作为来自MAP的DSM的条件熵。当设备50处于“手臂摆动”位置时，正在执行活动“步行”。检测到的运动活动的DSM基于条件熵函数来评估。图中的第二子图示出了根据每个时间加窗帧变化的条件熵。
图7示出了根据帧变化的MAP以及针对活动“步行”使用最高和第二高后验概率之间的差值作为来自MAP的DSM。
在图8中，基于根据通用分类器(第一子图)获得的MAP而计算的条件熵(第三子图)形成测量DSM的基础。为条件熵指定的范围是2.4位到2.9位。
产生在预先指定的范围内的条件熵的来自加速计63和气压计67的数据被保存并且被进一步用于更新通用数据集并且形成个性化数据集。如上所述，使用个性化数据集，再次重新训练分类器并且获得个性化分类器。第二子图示出了在分类器训练中引入个性化数据之后的MAP中的改进。例如，考虑使用通用分类器检测运动活动的80帧的MAP。80帧中的65帧被正确地分类为活动“步行”。在目标用户的个性化数据已经用于重新训练分类器之后，80帧中的71帧被正确分类。对于第一子图和第二子图中的80个帧的一部分分别示出了使用通用分类器获得的MAP和使用个性化分类器获得的对应MAP。这说明了个性化分类器提高了运动活动类的检测准确度。对于这个示例，由于给定置信度范围内的个性化数据与对应的活动的通用数据相比较少，所以个性化数据被使用十多次。
与通用数据集相比，位于预先指定的DSM范围内的目标用户数据通常较少，因此目标用户的数据在个性化数据集中以两种形式被采用，一种是其与通用数据集一起采用用于重新训练，另一种是使用数据的十个多个副本，使得目标用户的数据与通用数据的比率增加。这两种情况下9个运动活动的加权平均准确度在图9中给出。通过用于模型训练的个性化数据集，9个运动活动的总体加权平均准确度提高了0.87％，这是相对于通用分类器高基线准确度的合理改进。随着作为可以个性化的运动活动的超集的9个运动活动的总体加权平均准确度的增加，上述方法和技术显然改善了运动活动的整体检测。
数据使用“留一法”方法进行评估。评估的目的是展示个性化分类器的功效。针对11个用户中的每个用户给出了7个设备携带位置的结果。在收集数据的9个运动活动中，5个运动活动是用户个性化的候选(如所述，步行、慢跑、骑自行车、上楼和下楼)。其余的运动活动(即静止、在车辆中、电梯上升和电梯下降)不依赖于用户，并且因此没有被包括用于分类器的个性化。图10至16所示的结果因此是5个个性化人体运动活动的加权平均准确度，同时一次将11个用户作为目标用户。图10至16示出了用户将设备50放置在不同携带位置处的运动活动的检测准确度。运动活动使用加速计63和气压计67数据进行分类。
所获得的分类准确度结果表明，当目标用户的正确不确定数据样本被包括在重新训练分类器中时，其导致人体运动活动检测的加权平均准确度增加。这再次证实，当先前未包括在训练特定类的分类器中的目标用户的数据样本现在被包括时，检测的加权平均准确度增加。如果产生低条件熵的数据样本被包括在个性化训练数据集中，则在包括这样的数据之后的分类准确度没有显著变化。随着条件熵增加，它导致不确定性增加，并且样本被错误分类的概率增加。因此，如果错误分类的样本被包括在训练样本中，则可能导致加权平均准确度的总体下降。通过包括带有具有一定程度的确定性的标记的目标用户的数据样本(其不是通用数据集的一部分)并且排除具有高度不确定性的检测到的活动标记的目标用户的数据样本，基于在预先指定的范围内的条件熵的通用和个性化的分类器准确度得到增加。
图9针对不同设备携带位置比较了个性化分类器的性能和通用分类器的性能。所使用的DSM是条件熵位于2.4比特和2.9比特之间，其是根据MAV中的9个运动活动的后验概率为每个帧获得的。设备50在裤子口袋位置的加权平均准确度的增加是1.81％，在手中位置是1.88％，在手臂摆动位置是1.12％，并且在肩袋位置是0.95％。
图10示出了当设备50被放置在裤子口袋中时的5个个性化运动活动的加权平均准确度。当使用通用分类器时，目标用户#11在用户之间具有最小检测准确度，并且在通用分类器被转换为个性化分类器之后，其显著地从87.4％提高到90.76％。此外，个性化分类器(针对每个用户分别)导致目标用户2、4、5和6的加权平均准确度增加2.0％至2.86％。在目标用户1、7、9和10的情况下，5个个性化运动活动的加权平均准确度没有显著改善，因为它们已经对通用分类器具有非常高的分类准确度。因此，可以观察到，当设备50被放置在裤袋位置时，对于目标用户，检测真实运动活动的准确度根据个体而不同地增加。
图11示出了在背包位置的设备50的个性化和通用运动活动分类器的加权平均准确度。针对5个个性化运动活动，目标用户1、3、4、7、8和11已经实现加权平均准确度显著增加。用户5和6的设备50的背包携带位置的个性化分类器的准确度降低。这可能是由于设备50在背包位置的松动位置。
图12示出了在手中位置的设备50的个性化和通用运动活动的加权平均准确度。当使用个性化模型时，设备50的特别有用的位置是手中位置。当设备50处于手中位置时，针对所有目标用户的个性化分类器的分类准确度得到改进。此外，在利用通用分类器具有较低准确度的用户情况下，5个个性化运动活动的加权平均准确度有很大的提高。可以观察到，从通用分类器实现较低分类准确度的目标用户3、10和11在使用它们各自的个性化分类器的情况下实现显著增加。
图13示出了在手臂摆动位置的设备50的个性化和通用运动活动分类器的加权平均准确度。与准确度低的目标用户(在本示例中为用户1和用户9)的通用模型相比，该加权平均准确度显著增加了7％以上。除了用户6和用户11(对于这些用户，准确度略有下降)之外，其他用户的加权平均准确度也有所提高。
图14示出了在衬衫口袋位置的设备50的个性化和通用运动活动分类器的加权平均准确度。在这个设备携带位置，除了目标用户2之外，加权平均准确度增加(目标用户1、3、6和10)或保持不变(目标用户4、5、7和9)。用户4和8未分别针对衬衫口袋位置和皮套位置的设备50收集数据，因此未示出相应的检测结果。
图15示出了在皮套位置的设备50的个性化和通用运动活动分类器的加权平均准确度。个性化分类器示出了5个个性化运动活动的加权平均准确度针对目标用户1、3、6、7、9和11的增加，并且针对目标用户2、5、8和10保持相同。设备50被放置在紧密的皮套中，靠近用户的身体，它几乎不会降低运动活动检测的准确度。
图16示出了在肩袋位置的设备50的个性化和通用运动活动分类器的加权平均准确度。当设备50处于肩袋位置时，其通常松散地放置。因此，在各个目标用户的记录数据中难以追踪个性化模式。然而，针对目标用户2、3、5、6、7和11，加权平均准确度增加，而针对目标用户10，加权平均准确度已经降低。
从结果可以看出，上文中描述的方法和技术独立于设备携带位置并且示出了加权平均准确度的总体改善。而且，结果证实，以相对于设备50松散地保持在身体中的设备携带位置的靠近方式来表征用户的个性化运动模式的设备携带位置在分类准确度方面表现出更多改进。裤子口袋、手中和皮套设备携带位置的准确度的提高比设备50的背包和肩袋携带位置好。上述图也强调了这样的事实，即该方法对于具有与用于训练通用分类器的步态模式不同的步态模式的目标用户而言相对更有用。
尽管已经参考控制电路64执行这些动作描述了上述方法和处理技术，但是在一些情况下，诸如图1C所示，不存在控制电路，而是可以由SOC 70的CPU 72执行这些动作。而且，在存在控制电路64的情况下，SOC 70的CPU 72也可以执行这些动作。在其他情况下，控制电路64和CPU 72每个可以执行上述方法和处理技术的不同部分。
尽管已经关于有限数目的实施例描述了本公开，但是受益于本公开的本领域技术人员将理解，可以设想没有脱离本文中公开的本公开的范围的其他实施例。因此，本公开的范围应当仅由所附权利要求来限定。

Claims (22)

1.一种操作电子设备的方法，包括：
从所述电子设备的至少一个传感器收集初始运动活动数据；
使用运动活动分类器函数，根据所收集的初始运动活动数据来生成所述电子设备相对于所述电子设备的周围环境的初始概率上下文；
将所收集的运动活动数据存储在训练数据集中；
使用所述训练数据集来更新所述运动活动分类器函数；
从所述电子设备的所述至少一个传感器收集后续运动活动数据；以及
使用经更新的运动活动分类器函数，根据后续收集的运动活动数据来生成所述电子设备相对于所述电子设备的周围环境的后续概率上下文。
2.根据权利要求1所述的方法，还包括：在生成所述初始概率上下文之后，生成数据选择置信度量度；其中如果所述数据选择置信度量度大于较低阈值，则将所收集的运动活动数据存储在所述训练数据集中，并且其中如果所述数据选择置信度量度小于所述较低阈值，则不将所收集的运动活动数据存储在所述训练数据集中。
3.根据权利要求3所述的方法，其中如果所述数据选择置信度量度大于或等于较低阈值、且小于或等于较高阈值，则将所收集的运动活动数据存储在所述训练数据集中。
4.根据权利要求1所述的方法，还包括：在生成所述初始概率上下文之后，生成数据选择置信度量度；其中如果所述数据选择置信度量度小于较高阈值，则将所收集的运动活动数据存储在所述训练数据集中，并且其中如果所述数据选择置信度量度大于所述较高阈值，则不将所收集的运动活动数据存储在所述训练数据集中。
5.根据权利要求1所述的方法，还包括：在使用所述训练数据集来更新所述运动活动分类器函数之前，确定所述训练数据集是否包含足够的数据，并且除非所述训练数据集包含足够的数据，否则不更新所述运动活动分类器函数。
6.根据权利要求1所述的方法，还包括：
将所述后续运动活动数据存储在所述训练数据集中；
使用所述训练数据集进一步更新所述经更新的运动活动分类器函数；
从所述电子设备的所述至少一个传感器收集进一步的运动活动数据；以及
使用经进一步更新的运动活动分类器函数，根据所述进一步的运动活动数据来生成所述电子设备相对于所述电子设备的周围环境的进一步的概率上下文。
7.根据权利要求2所述的方法，其中所述数据选择置信度量度基于所述初始概率上下文的条件熵。
8.根据权利要求7所述的方法，其中所述初始概率上下文包括包含多个不同潜在上下文的运动活动后验图；并且其中所述数据选择置信度量度基于所述运动活动后验图的条件熵。
9.根据权利要求2所述的方法，其中所述数据选择置信度量度基于所述概率上下文的运动活动的最高后验概率和第二高后验概率之间的差值。
10.根据权利要求1所述的方法，其中所述训练数据集包括通用数据、以及从所述电子设备的所述至少一个传感器收集的运动活动数据。
11.根据权利要求1所述的方法，其中所述训练数据集包括从所述电子设备的所述至少一个传感器收集的运动活动数据。
12.一种传感器芯片，安装在印刷电路板(PCB)上、并且经由至少一个导电迹线电耦合到安装在所述PCB上的片上系统(SOC)，所述传感器芯片包括：
至少一个感测设备；以及
控制电路，被配置为：
从所述至少一个感测设备收集初始运动活动数据；
使用运动活动分类器函数，根据所收集的初始运动活动数据来生成所述印刷电路板相对于所述印刷电路板的周围环境的初始概率上下文；
将所收集的运动活动数据存储在训练数据集中；
使用所述训练数据集来更新所述运动活动分类器函数；
从所述电子设备的所述至少一个传感器收集后续运动活动数据；以及
使用经更新的运动活动分类器函数，根据后续收集的运动活动数据来生成所述电子设备相对于所述电子设备的周围环境的后续概率上下文。
13.根据权利要求12所述的传感器芯片，其中所述控制电路向所述SOC输出所述初始概率上下文和所述后续概率上下文。
14.根据权利要求12所述的传感器芯片，其中所述至少一个感测设备包括加速度计、气压计、陀螺仪、磁力计、麦克风和GPS中的至少一项。
15.根据权利要求12所述的传感器芯片，其中所述控制电路还被配置为在生成所述初始概率上下文之后，生成数据选择置信度量度；其中如果所述数据选择置信度量度大于较低阈值，则所述控制电路将所收集的运动活动数据存储在所述训练数据集中，并且如果所述数据选择置信度量度小于所述较低阈值，则不将所收集的运动活动数据存储在所述训练数据集中。
16.根据权利要求15所述的传感器芯片，其中如果所述数据选择置信度量度大于或等于较低阈值、且小于或等于较高阈值，则所述控制电路将所收集的运动活动数据存储在所述训练数据集中。
17.根据权利要求15所述的传感器芯片，其中所述控制电路还被配置为在生成所述初始概率上下文之后，生成数据选择置信度量度；并且其中所述控制电路被配置为：如果所述数据选择置信度量度小于较高阈值，则将所收集的运动活动数据存储在所述训练数据集中，并且如果所述数据选择置信度量度大于所述较高阈值，则不将所收集的运动活动数据存储在所述训练数据集中。
18.根据权利要求12所述的传感器芯片，其中所述控制电路还被配置为：在使用所述训练数据集来更新所述运动活动分类器函数之前，确定所述训练数据集是否包含足够的数据，并且除非所述训练数据集包含足够的数据，否则不更新所述运动活动分类器函数。
19.一种操作电子设备的方法，包括：
从所述电子设备的至少一个传感器收集运动活动数据；
使用运动活动分类器函数，根据所收集的运动活动数据来生成所述电子设备相对于所述电子设备的周围环境的概率上下文；
将所收集的运动活动数据存储在训练数据集中；以及
使用所述训练数据集来更新所述运动活动分类器函数。
20.根据权利要求19所述的方法，还包括：在生成所述概率上下文之后，生成数据选择置信度量度；其中如果所述数据选择置信度量度大于较低阈值，则将所收集的运动活动数据存储在所述训练数据集中，并且其中如果所述数据选择置信度量度小于所述较低阈值，则不将所收集的运动活动数据存储在所述训练数据集中。
21.根据权利要求20所述的方法，其中如果所述数据选择置信度量度大于或等于较低阈值、且小于或等于较高阈值，则将所收集的运动活动数据存储在所述训练数据集中。
22.根据权利要求19所述的方法，还包括：在生成所述概率上下文之后，生成数据选择置信度量度；其中如果所述数据选择置信度量度小于较高阈值，则将所收集的运动活动数据存储在所述训练数据集中，并且其中如果所述数据选择置信度量度大于所述较高阈值，则不将所收集的运动活动数据存储在所述训练数据集中。
CN201810433359.6A 2017-05-19 2018-05-08 为人体运动活动生成个性化分类器的方法和设备 Active CN108960430B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/600,057 US10588517B2 (en) 2017-05-19 2017-05-19 Method for generating a personalized classifier for human motion activities of a mobile or wearable device user with unsupervised learning
US15/600,057 2017-05-19

Publications (2)

Publication Number Publication Date
CN108960430A true CN108960430A (zh) 2018-12-07
CN108960430B CN108960430B (zh) 2022-01-14

Family

ID=64269679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810433359.6A Active CN108960430B (zh) 2017-05-19 2018-05-08 为人体运动活动生成个性化分类器的方法和设备

Country Status (2)

Country Link
US (2) US10588517B2 (zh)
CN (1) CN108960430B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058265A (zh) * 2018-01-18 2019-07-26 孙宏民 全球定位系统的分析方法
US11980792B2 (en) * 2019-06-05 2024-05-14 Qeexo, Co. Method and apparatus for calibrating a user activity model used by a mobile device
CN110361505B (zh) * 2019-07-25 2021-06-22 中南大学 一种车外大气污染环境下列车乘员健康预警系统的方法
EP3782547B1 (en) * 2019-08-21 2024-04-10 The Swatch Group Research and Development Ltd Method and system for gait detection of a person
CN111681756A (zh) * 2020-05-29 2020-09-18 吾征智能技术(北京)有限公司 基于痰液性状认知的疾病征兆预测系统
US11335321B2 (en) * 2020-08-28 2022-05-17 Google Llc Building a text-to-speech system from a small amount of speech data

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050033200A1 (en) * 2003-08-05 2005-02-10 Soehren Wayne A. Human motion identification and measurement system and method
CN103460221A (zh) * 2011-03-31 2013-12-18 高通股份有限公司 用于在移动装置中使用似然函数值的组合对用户活动进行分类的系统、方法和设备
US20140207401A1 (en) * 2013-01-18 2014-07-24 Postech Academy-Industry Foundation Apparatus for recognizing motion feature of user, method for generating orthogonal non-negative matrix factorization (onmf)-based basis matrix, and method for generating orthogonal semi-supervised non-negative matrix factorization (ossnmf)-based basis matrix
US20150081247A1 (en) * 2012-06-01 2015-03-19 Landauer, Inc. System for motion and activity correlation with dose for occupational and environmental dosimetry
CN104704863A (zh) * 2012-10-04 2015-06-10 华为技术有限公司 用于智能移动伴侣的用户行为建模
CN105320278A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 信息分析装置、运动解析系统、信息显示系统及显示方法
CN105760646A (zh) * 2014-12-18 2016-07-13 中国移动通信集团公司 一种活动分类方法和装置
CN107977074A (zh) * 2016-10-21 2018-05-01 意法半导体公司 用于移动或可穿戴设备用户的上下文感知的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8892391B2 (en) * 2011-06-03 2014-11-18 Apple Inc. Activity detection
US20130242120A1 (en) * 2012-03-15 2013-09-19 Qualcomm Incorporated Motion-state classification for camera applications
US20170188895A1 (en) * 2014-03-12 2017-07-06 Smart Monitor Corp System and method of body motion analytics recognition and alerting
US10319209B2 (en) * 2016-06-03 2019-06-11 John Carlton-Foss Method and system for motion analysis and fall prevention

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050033200A1 (en) * 2003-08-05 2005-02-10 Soehren Wayne A. Human motion identification and measurement system and method
CN103460221A (zh) * 2011-03-31 2013-12-18 高通股份有限公司 用于在移动装置中使用似然函数值的组合对用户活动进行分类的系统、方法和设备
US20150081247A1 (en) * 2012-06-01 2015-03-19 Landauer, Inc. System for motion and activity correlation with dose for occupational and environmental dosimetry
CN104704863A (zh) * 2012-10-04 2015-06-10 华为技术有限公司 用于智能移动伴侣的用户行为建模
US20140207401A1 (en) * 2013-01-18 2014-07-24 Postech Academy-Industry Foundation Apparatus for recognizing motion feature of user, method for generating orthogonal non-negative matrix factorization (onmf)-based basis matrix, and method for generating orthogonal semi-supervised non-negative matrix factorization (ossnmf)-based basis matrix
CN105320278A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 信息分析装置、运动解析系统、信息显示系统及显示方法
CN105760646A (zh) * 2014-12-18 2016-07-13 中国移动通信集团公司 一种活动分类方法和装置
CN107977074A (zh) * 2016-10-21 2018-05-01 意法半导体公司 用于移动或可穿戴设备用户的上下文感知的方法和装置

Also Published As

Publication number Publication date
CN108960430B (zh) 2022-01-14
US10588517B2 (en) 2020-03-17
US11096593B2 (en) 2021-08-24
US20200229710A1 (en) 2020-07-23
US20180333057A1 (en) 2018-11-22

Similar Documents

Publication Publication Date Title
CN108960430A (zh) 为人体运动活动生成个性化分类器的方法和设备
Zhu et al. Efficient human activity recognition solving the confusing activities via deep ensemble learning
Sztyler et al. Online personalization of cross-subjects based activity recognition models on wearable devices
Liang et al. A deep learning model for transportation mode detection based on smartphone sensing data
Uddin et al. Random forests based recognition of human activities and postural transitions on smartphone
Zebin et al. Inertial sensor based modelling of human activity classes: Feature extraction and multi-sensor data fusion using machine learning algorithms
Lv et al. A hybrid network based on dense connection and weighted feature aggregation for human activity recognition
Zhang Application of human motion recognition utilizing deep learning and smart wearable device in sports
Andreu et al. An evolving machine learning method for human activity recognition systems
Schmid et al. SVM versus MAP on accelerometer data to distinguish among locomotor activities executed at different speeds
Barri Khojasteh et al. Evaluation of a wrist-based wearable fall detection method
Kuncan et al. A new approach for physical human activity recognition from sensor signals based on motif patterns and long-short term memory
Saeedi et al. Context aware mobile personal navigation services using multi-level sensor fusion
Bezobrazov et al. Artificial intelligence for sport activitity recognition
Soni et al. An enhanced deep learning approach for smartphone-based human activity recognition in IoHT
Zhong et al. Advancing Android activity recognition service with Markov smoother
Yang et al. Comparing cross-subject performance on human activities recognition using learning models
Dhammi et al. Classification of human activities using data captured through a smartphone using deep learning techniques
Kumari et al. Effect of reduced dimensionality on deep learning for human activity recognition
Bagci Das et al. Human activity recognition based on multi‐instance learning
Falaschetti et al. A lightweight and accurate RNN in wearable embedded systems for human activity recognition
Raziff et al. Smote and OVO multiclass method for multiple handheld placement gait identification on smartphone’s accelerometer
Sowmiya et al. A hybrid approach using bidirectional neural networks for human activity recognition
Zhang et al. Artificial Intelligence‐Based Joint Movement Estimation Method for Football Players in Sports Training
Fataniya et al. Comprehensive analysis of deep learning-based human activity recognition approaches based on accuracy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant