CN109567814A - 刷牙动作的分类识别方法、计算设备、系统及存储介质 - Google Patents

刷牙动作的分类识别方法、计算设备、系统及存储介质 Download PDF

Info

Publication number
CN109567814A
CN109567814A CN201811226730.8A CN201811226730A CN109567814A CN 109567814 A CN109567814 A CN 109567814A CN 201811226730 A CN201811226730 A CN 201811226730A CN 109567814 A CN109567814 A CN 109567814A
Authority
CN
China
Prior art keywords
axis acceleration
acceleration data
coordinate system
initial
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811226730.8A
Other languages
English (en)
Other versions
CN109567814B (zh
Inventor
罗成文
冯行宇
陈俊良
李坚强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201811226730.8A priority Critical patent/CN109567814B/zh
Publication of CN109567814A publication Critical patent/CN109567814A/zh
Application granted granted Critical
Publication of CN109567814B publication Critical patent/CN109567814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Psychiatry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明适用计算机技术领域，提供了一种刷牙动作的分类识别方法、计算设备、系统及存储介质，该方法包括：利用不易受外界干扰的加速度传感元件采样三轴加速度数据，并进行坐标系的转换处理，再利用转换得到的、与用户相关坐标系下的三轴加速度数据进行刷牙动作分类识别，不仅能减少环境干扰，而且将加速度数据从与腕式可穿戴设备相关的第一坐标系转到与用户相关的第二坐标系，有效解决了因不同用户佩戴腕式可穿戴设备的手臂和肘部位置不同而导致的、无法对具有这些差异用户都采用同一技术均实现刷牙动作分类识别的问题，有利于本技术的推广应用。

Description

刷牙动作的分类识别方法、计算设备、系统及存储介质
技术领域
本发明属于计算机技术领域，尤其涉及一种刷牙动作的分类识别方法、计算设备、系统及存储介质。
背景技术
近年来，随着人工智能技术和物联网的蓬勃发展，可穿戴设备逐渐成为科技界的新宠。可穿戴技术可以通过传感器，获取佩戴可穿戴设备的用户的某些动作数据，例如：采用加速度计、陀螺仪、电子罗盘、气压计、麦克风或照相机等传感器来获取数据，然后从数据中提取选择特征，最终作出分类，从而达到识别用户的活动。开发者往往会将可穿戴技术和智能健康紧密联系起来。
在口腔健康方面，巴氏刷牙法提供了一种健康刷牙动作标准，其为大众展现了如图1所示的举手动作、左上外侧动作、左下外侧动作、右上外侧动作等大约15种动作标准。目前，一种刷牙动作分类识别方法是使用麦克风实现对具体的刷牙动作进行高精度的分类识别，主要是在周围环境中不存在其他的音频源干扰的前提下，利用麦克风所采集的、刷不同部位牙齿时声音数据特征的不同，来识别具体的刷牙动作。现有的刷牙动作分类识别方法对环境要求较为严苛，无法广泛应用。
发明内容
本发明的目的在于提供一种刷牙动作的分类识别方法、计算设备、系统及存储介质，旨在解决现有技术所存在的、因采用易受环境影响而无法准确对刷牙动作分类识别的问题。
一方面，本发明提供了一种刷牙动作的分类识别方法，所述方法包括下述步骤：
当发生刷牙动作时，获得由腕式可穿戴设备感应所得的、与刷牙动作对应的、与所述腕式可穿戴设备相关的第一坐标系下的初始三轴加速度数据；
将所述初始三轴加速度数据转换为与用户相关的第二坐标系下的次级三轴加速度数据；
采用第一机器学习算法，基于所述次级三轴加速度数据进行对应刷牙动作的分类识别。
进一步的，获得由腕式可穿戴设备感应所得的、与刷牙动作对应的、与所述腕式可穿戴设备相关的第一坐标系下的初始三轴加速度数据之前，所述方法还包括下述步骤：
获得由所述腕式可穿戴设备感应所得的、与所述刷牙动作对应的、所述第一坐标系下的原始三轴加速度数据；
对所述原始三轴加速度数据进行滤波降噪处理，得到所述初始三轴加速度数据。
进一步的，获得由所述腕式可穿戴设备感应所得的、与所述刷牙动作对应的、所述第一坐标系下的原始三轴加速度数据之后，对所述原始三轴加速度数据进行滤波降噪处理，得到所述初始三轴加速度数据之前，所述方法还包括下述步骤：
采用第二机器学习算法，基于所述原始三轴加速度数据进行是否为刷牙动作的识别，若是，则对所述原始三轴加速度数据进行滤波降噪处理，得到所述初始三轴加速度数据。
进一步的，获得由所述腕式可穿戴设备感应所得的、与所述刷牙动作对应的、与所述腕式可穿戴设备相关的第一坐标系下的原始三轴加速度数据，具体为：
采用部分可观测马尔可夫决策过程算法，以相应的采样频率非持续性采样，得到所述原始三轴加速度数据。
进一步的，所述第一坐标系为以所述腕式可穿戴设备为原点，三轴方向分别为佩戴有所述腕式可穿戴设备的用户手臂所在的第一方向、垂直于用户身体平面的第二方向，以及分别与所述第一方向、所述第二方向垂直的第三方向，
所述第二坐标系为以所述用户为原点，三轴方向分别为水平的第四方向、垂直于用户身体平面的第五方向，以及分别与所述第四方向、所述第五方向垂直的第六方向，
所述方法还引入世界坐标系，
所述初始三轴加速度数据包括：第一类别初始三轴加速度数据及第二类别初始三轴加速度数据，所述第一类别初始三轴加速度数据指示对应的所述刷牙动作为第一类别刷牙动作，所述用户在执行所述第一类别刷牙动作时，所述用户手臂平行于所述用户身体平面；所述第二类别初始三轴加速度数据指示对应的所述刷牙动作为第二类别刷牙动作，所述用户在执行所述第二类别刷牙动作时，所述用户手臂不平行于所述用户身体平面，
将所述初始三轴加速度数据转换为与用户相关的第二坐标系下的次级三轴加速度数据，具体包括下述步骤：
将所述第一坐标系下的第一类别初始三轴加速度数据转换为所述第二坐标系下的第一类别次级三轴加速度数据；
将所述第一坐标系下的所述第二类别初始三轴加速度数据转换为所述世界坐标系下的中间三轴加速度数据，再将所述世界坐标系下的中间三轴加速度数据转换为所述第二坐标系下的第二类别次级三轴加速度数据。
进一步的，将所述第一坐标系下的所述第一类别初始三轴加速度数据转换为所述第二坐标系下的第一类别次级三轴加速度数据，具体包括下述步骤：
根据与所述第一类别初始三轴加速度数据中的、位于所述第三方向上第一矢量对应的第一单位矢量，以及重力单位矢量，得到水平方向与所述第一方向之间的第一旋转角；
基于所述第一旋转角，建立第一旋转矩阵；
利用所述第一旋转矩阵，将所述第一类别初始三轴加速度数据转换为所述第一类别次级三轴加速度数据，
将所述第一坐标系下的所述第二类别初始三轴加速度数据转换为所述世界坐标系下的中间三轴加速度数据，具体包括下述步骤：
获得所述第一坐标系下的地磁感应数据；
由所述地磁感应数据以及重力矢量得到第一向量积；
根据所述第一向量积，计算得到第一单位向量积；
由所述第一单位向量积以及所述重力单位矢量得到第二单位向量积；
基于第一组合向量与第二组合向量之间的对应关系，建立第二旋转矩阵，所述第一组合向量与所述第二类别初始三轴加速度数据相对应，所述第二组合向量由所述第一单位向量积、所述第二单位向量积以及所述重力单位矢量组成；
利用所述第二旋转矩阵，将所述第二类别初始三轴加速度数据转换为所述中间三轴加速度数据，
将所述世界坐标系下的所述中间三轴加速度数据转换为所述第二坐标系下的第二类别次级三轴加速度数据，具体包括下述步骤：
根据所述第二单位向量积，以及与所述第二类别初始三轴加速度数据中的、位于所述第二方向上第二矢量，得到用户以逆时针方向转过一定角度时用户与地球北边相关的朝向角；
基于所述朝向角，建立第三旋转矩阵；
利用所述第三旋转矩阵，将所述中间三轴加速度数据转换为所述第二类别次级三轴加速度数据。
进一步的，所述第一机器学习算法为基于注意力机制的长短期记忆AT-LSTM算法。
另一方面，本发明还提供了一种计算设备，包括存储器及处理器，所述处理器执行所述存储器中存储的计算机程序时实现如上述方法中的步骤。
另一方面，本发明还提供了一种计算系统，包括：
获取单元，用于当发生刷牙动作时，获得由腕式可穿戴设备感应所得的、与刷牙动作对应的初始三轴加速度数据，所述初始三轴加速度数据基于与所述腕式可穿戴设备相关的第一坐标系所得到；
转换单元，用于将所述初始三轴加速度数据转换为与用户相关的第二坐标系下的次级三轴加速度数据；以及，
识别单元，用于采用第一机器学习算法，基于所述次级三轴加速度数据进行对应具体刷牙动作的分类识别。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法中的步骤。
本发明在当发生刷牙动作时，获得由腕式可穿戴设备感应所得的、与刷牙动作对应的、与所述腕式可穿戴设备相关的第一坐标系下的初始三轴加速度数据；将所述初始三轴加速度数据转换为与用户相关的第二坐标系下的次级三轴加速度数据；采用第一机器学习算法，基于所述次级三轴加速度数据进行对应刷牙动作的分类识别。这样，可利用不易受外界干扰的加速度传感元件采样三轴加速度数据，并进行坐标系的转换处理，再利用转换得到的、与用户相关坐标系下的三轴加速度数据进行刷牙动作分类识别，不仅能减少环境干扰，而且将加速度数据从与腕式可穿戴设备相关的第一坐标系转到与用户相关的第二坐标系，有效解决了因不同用户佩戴腕式可穿戴设备的手臂和肘部位置不同而导致的、无法对具有这些差异用户都采用同一技术均实现刷牙动作分类识别的问题，有利于本技术的推广应用。
附图说明
图1是本发明实施例一提供的刷牙动作的分类识别方法的实现流程图；
图2是本发明实施例一中巴氏刷牙法定义的15种不同刷牙动作的示意图；
图3是本发明实施例二提供的刷牙动作的分类识别方法的实现流程图；
图4是本发明实施例二中对于同一刷牙动作的不同类型牙刷滤波降噪后时频域三轴加速度数据示意图；
图5是本发明实施例三提供的刷牙动作的分类识别方法的实现流程图；
图6是本发明实施例三中不同机器学习算法对应进行步骤S501的刷牙动作识别准确率的示意图；
图7是本发明实施例三中不同机器学习算法对应进行步骤S501的刷牙动作识别能耗情况示意图；
图8是本发明实施例四中采用POMDP算法的刷牙动作捕捉和能耗情况示意图；
图9是本发明实施例五中对PBP动作三轴加速度数据进行处理时坐标系转换示意图；
图10是本发明实施例五中对AP动作三轴加速度数据进行处理时坐标系转换示意图；
图11是本发明实施例五中巴氏刷牙法定义的15种不同刷牙动作的分类示意图；
图12是本发明实施例六中AT-LSTM算法模型结构示意图；
图13是本发明实施例八提供的计算设备的结构示意图；
图14是本发明实施例十提供的计算系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的刷牙动作的分类识别方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，当发生刷牙动作时，获得由腕式可穿戴设备感应所得的、与刷牙动作对应的、与腕式可穿戴设备相关的第一坐标系下的初始三轴加速度数据。
本实施例中，主要是利用所佩戴的腕式可穿戴设备，进行刷牙动作的分类识别。整个技术方案的处理过程中部分或者全部可在腕式可穿戴设备上进行，当部分处理在腕式可穿戴设备上进行时，其他部分可在与腕式可穿戴设备能够通讯的其他设备上进行，例如：智能手机、笔记本电脑、云服务器等。腕式可穿戴设备可以是智能手表、智能手环等。
发生刷牙动作时，即可通过本方法对刷牙动作进行分类识别，是否发生刷牙动作的判断，可通过用户在刷牙动作开始前通过按键或者其他动作通知腕式可穿戴设备，也可以由腕式可穿戴设备通过第二机器学习算法对三轴加速度数据进行处理，从刷牙、步行、跑步、洗衣、上楼、下楼、炒菜、刮胡子、扫地、吃饭、睡觉、站立、摔倒等生活动作中，识别出刷牙动作。此处提及的第二机器学习算法不同于后述第一机器学习算法，第二机器学习算法主要是为了将刷牙动作与其他生活动作进行区分，由于刷牙动作与其他生活动作在加速度上差异较为明显，区分准确率较高。
具体的刷牙动作可根据美国牙科协会推荐的巴氏(Bass)刷牙法进行定义，一共考虑了15种不同的刷牙动作，如图2所示，包括：举手(Raise Hand，RH)、左上外侧(Left UpperOuter，LUO)、左下外侧(Left Lower Outer，LLO)、右上外侧(Right Upper Outer，RUO)、右下外侧(Right Lower Outer，RLO)、左上内侧(Left Upper Inner，LUI)、左下内侧(LeftLower Inner，LLI)、右上内侧(Right Upper Inner，RUI)、右下内侧(Right Lower Inner，RLI)、口腔顶面(Roof of the Mouth，ROM)、舌部(The Tongue，TT)、左上咀嚼面(LeftUpper Chewing，LUC)、左下咀嚼面(Left Lower Chewing，LLC)、右上咀嚼面(Right UpperChewing，RUC)以及右下咀嚼面(Right Lower Chewing，RLC)。本发明各实施例中主要针对以上巴氏刷牙法定义的15种不同刷牙动作进行分类识别，由于巴氏刷牙法定义的15种刷牙动作较为合理且某些刷牙动作之间存在一定相似性、而不同刷牙动作之间同时还存在明显区别区别，因此基于巴氏刷牙法定义的15种不同刷牙动作进行分类识别准确率及效率均较高。当然，在其它实施例中，还可以针对其他定义的刷牙动作进行分类识别。
第一坐标系是基于腕式可穿戴设备建立的，而初始三轴加速度数据是在该第一坐标系下得到的数据。由于不同的用户佩戴腕式可穿戴设备时，可能存在不同的手臂和肘部位置，如果要对所有佩戴腕式可穿戴设备的用户都使用同一技术实现刷牙动作分类识别，则需要消除因佩戴腕式可穿戴设备的手臂和肘部位置不同所带来的影响，因此，本技术发明人想到利用坐标系转换方法，将加速度数据从第一坐标系下转换到下述的、与用户相关的第二坐标系下。
在步骤S102中，将初始三轴加速度数据转换为与用户相关的第二坐标系下的次级三轴加速度数据。
本实施例中，可通过先得到在坐标系转换处理中所需要用到的转换矩阵，再利用转换矩阵对初始三轴加速度数据进行处理，从而得到坐标系转换后的次级三轴加速度数据。
在步骤S103中，采用第一机器学习算法，基于所述次级三轴加速度数据进行对应刷牙动作的分类识别。
本实施例中，当通过坐标系转换得到与用户相关的第二坐标系下的次级三轴加速度数据后，则可利用第一机器学习算法，以次级三轴加速度数据作为输入，进行具体刷牙动作的分类识别，判断是否为上述15种刷牙动作中的某一种。第一机器学习算法与第二机器学习算法可采用决策树(Decision Tree，DT)、支持向量机(Support Vector Machine，SVM)、k最临近(k-Nearest Neighbor，kNN)或长短期记忆(Long Short-Term Memory，LSTM)等算法。
实施本实施例，可利用不易受外界干扰的加速度传感元件采样三轴加速度数据，并进行坐标系的转换处理，再利用转换得到的、与用户相关坐标系下的三轴加速度数据进行刷牙动作分类识别，不仅能减少环境干扰，而且将加速度数据从与腕式可穿戴设备相关的第一坐标系转到与用户相关的第二坐标系，有效解决了因不同用户佩戴腕式可穿戴设备的手臂和肘部位置不同而导致的、无法对具有这些差异用户都采用同一技术均实现刷牙动作分类识别的问题，有利于本技术的推广应用。
实施例二：
本实施例在实施例一基础上，进一步提供了如下内容：
如图3所示，本实施例的刷牙动作的分类识别方法在步骤S101之前还包括：
在步骤S301中，获得由腕式可穿戴设备感应所得的、与刷牙动作对应的、第一坐标系下的原始三轴加速度数据。
在步骤S302中，对原始三轴加速度数据进行滤波降噪处理，得到初始三轴加速度数据。
本实施例中，由于不同类型的牙刷会对手腕佩戴的腕式可穿戴设备中传感器造成不同的影响，为了消除不同类型牙刷(如：电动牙刷、普通牙刷等)带来的误差，因此，在得到原始三轴加速度数据后，首先需要进行滤波降噪处理。具体应用时，可对原始三轴加速度数据运用阈值为10赫兹的低通滤波器进行滤波降噪处理，使得同一类型刷牙动作对于不同类型牙刷其加速度数据趋于一致，如图4所示，对于同一类型刷牙动作，利用普通牙刷和利用电动牙刷，滤波降噪后的时频域三轴加速度数据趋于一致。
实施例三：
本实施例在实施例二基础上，进一步增加了如下内容：
如图5所示，本实施例的刷牙动作的分类识别方法在步骤S201之后、在步骤S202之前，还包括：
在步骤S501中，采用第二机器学习算法，基于原始三轴加速度数据进行是否为刷牙动作的识别，若是，则执行步骤S202。
本实施例中，主要采用第二机器学习算法，从不同的生活动作中识别出刷牙动作，然后再将指示为刷牙动作的原始三轴加速度数据进行步骤S202的滤波降噪以及后续处理。同样，由于刷牙动作与其他生活动作在加速度上差异较为明显，即使不进行滤波降噪处理，也能够达到较高的区分准确率。当然，在其他实施例中，也可以在滤波降噪处理后进行是否为刷牙动作的识别。
图6示出了DT、SVM、kNN等算法在不同窗口大小下执行步骤S501的刷牙动作识别准确率，图7示出了DT、SVM、kNN、LSTM等算法的能耗情况。
实施例四：
本实施例与其他实施例区别主要在于：
本实施例中步骤S201具体为：
采用部分可观测马尔可夫决策过程(Partially Observable Markov DecisionProcess，POMDP)算法，以相应的采样频率非持续性采样，得到原始三轴加速度数据。
本实施例中，采用POMDP算法，可使得数据的采集过程并不是持续不断的，而是通过当前的环境因素和状态转移函数，来计算给出较为合理的采集频率，其中，环境因素可包括：腕式可穿戴设备的当前电量、当前时间以及不可观测的刷牙活动。例如：在腕式可穿戴设备电量充足且刷牙概率较高的时段(统计峰值是每天早上8点和晚上10点，且呈正态分布规律)，POMDP在这个时段内会给出高采样频率；如果在低刷牙概率的时段(如每天下午、凌晨等)，POMDP则会给出低采样频率，并且通过判断结果的正确程度给计算模型一个奖励值，通过对奖励值的学习，该计算模型会越来越精准。POMDP可有效平衡能量消耗和刷牙动作捕获，与刷牙动作持续捕捉相比，能节省超过81％的能耗，可以捕获超过84.5％的刷牙动作，如图8所示。
实施例五：
本实施例与其他实施例区别主要在于：
如图9及图10所示，本实施例中，第一坐标系WCS为以腕式可穿戴设备为原点，三轴方向分别为佩戴有腕式可穿戴设备的用户手臂所在的第一方向Xw、垂直于用户身体平面的第二方向Yw，以及分别与第一方向Xw、第二方向Yw垂直的第三方向Zw。第二坐标系UCS为以用户为原点，三轴方向分别为水平的第四方向Xu、垂直于用户身体平面的第五方向Yu，以及分别与第四方向Xu、第五方向Yu垂直的第六方向Zu。本实施例的刷牙动作的分类识别方法还引入世界坐标系GCS。
初始三轴加速度数据包括：第一类别初始三轴加速度数据及第二类别初始三轴加速度数据，第一类别初始三轴加速度数据指示对应的刷牙动作为第一类别刷牙动作，用户在执行第一类别刷牙动作时，用户手臂平行于用户身体平面。第二类别初始三轴加速度数据指示对应的刷牙动作为第二类别刷牙动作，用户在执行第二类别刷牙动作时，用户手臂不平行于用户身体平面。为了降低不同用户刷牙手势习惯差异所带来的影响，不同用户佩戴腕式可穿戴设备时，可能存在不同的手臂和肘部位置，即便是同一用户，在刷牙活动中也很难保证手臂和肘部位置的固定性，由于不同手臂和肘部位置会造成同一类型刷牙动作加速度数据出现较大差异，因此为消除该差异，如图11所示，在本实施例中，将巴氏刷牙法所推荐的15种具体刷牙动作分为两类：用户手臂平行于用户身体平面(Parallel to theBody Plane，PBP)的第一类别刷牙动作，以及用户手臂与用户身体平面呈任意角度(Arbitrary Position，AP)的第二类别刷牙动作。用户在执行第一类别刷牙动作时，因为手臂与身体平面平行，那么，无论旋转角度β怎么变化，姿势变化都是由不同的肘部位置决定，例如：当用户在LUO动作中改变肘部位置(升高或降低)时，手臂与水平方向之间的角度会改变，变化体现在与腕式可穿戴设备相关的第一坐标系WCS中的第二方向Yw上。而用户在执行第二类别刷牙动作时，如：LLI动作，因为手臂与身体平面不平行，第一坐标系WCS的旋转相对于第二坐标系UCS而言是任意方向的。由于第一、第二类别刷牙动作的差异性，则需要分别采用不同的坐标系转换方法，具体如下：
步骤S102具体包括：
第一，对于第一类别初始三轴加速度数据而言，直接将第一类别初始三轴加速度数据转换为第二坐标系UCS下的第一类别次级三轴加速度数据。
具体地，先根据与第一类别初始三轴加速度数据中的、位于第三方向上第一矢量对应的第一单位矢量zw，以及重力单位矢量zg，得到水平方向与第一方向Xw之间的第一旋转角β。
本实施例中，因为刷牙姿势习惯不同以及用户在刷牙期间可能移动他/她的手臂时第一坐标系WCS在不断变化，需要同一将PBP动作的第一坐标系WCS转换为第二坐标系UCS，这样就可以消除姿势变化带来的影响。由于用户手臂与其身体平面平行，通过找到第一旋转角β，再执行坐标系变化就可以成功完成转换。由于重力G是腕式可穿戴设备可以获取的恒定加速度，使用低通滤波器即可从第一坐标系WCS的三轴加速度数据中提取重力矢量g，再通过下述公式(1)来导出重力单位矢量zg：
由于手臂与身体平行，所以zu可以近似为zg，从而，从第一坐标系WCS到第二坐标系UCS的逆时针第一旋转角β可以以下述公式(2)来计算：
其中，zy是zw和zg的向量积在第二方向Yw的Y轴分量，即如下公式(3)所示：
zw×zg＝(0,zy,0)……(3)
然后，基于第一旋转角β，按照如下公式(4)，建立第一旋转矩阵Rwu：
接着，利用第一旋转矩阵Rwu，按照如下公式(5)，将第一类别初始三轴加速度数据转换为第一类别次级三轴加速度数据：
Vu＝Rwu×Vw……(5)
其中，Vw为第一类别初始三轴加速度数据，Vu为第一类别次级三轴加速度数据。
第二，对于第二类别初始三轴加速度数据而言，需要先将第二类别初始三轴加速度数据转换为世界坐标系GCS下的中间三轴加速度数据，再将世界坐标系GCS下的中间三轴加速度数据转换为第二坐标系UCS下的第二类别次级三轴加速度数据。
其中，AP动作可以在任意方向上旋转，而且不一定在用户身体平面中，使得从第一坐标系WCS直接转换到第二坐标系UCS难度很大，即使使用重力矢量g，在不知道用户面向方向的情况下，这种坐标系直接变换几乎是不可能的。本技术发明人想到：利用之前检测到的PBP动作，自动引导AP动作的坐标系转换，基本思想是：由于总能对PBP动作进行坐标系转换，而且在对PBP动作进行坐标系转换后，第五方向Yu的单位矢量yu可以按照下述公式(6)计算为：
yu＝Rwu×yw＝yw……(6)
该公式(6)中，第五方向Yu表示用户面向方向，PBP动作中yu＝yw。
那么，将第一坐标系WCS下的第二类别初始三轴加速度数据转换为世界坐标系GCS下的中间三轴加速度数据，具体包括下述步骤：
首先，获得第一坐标系WCS下的地磁感应数据，即一磁力向量m；
然后，由磁力向量m以及重力矢量g，按照下述公式(7)得到第一向量积x：
x＝g×m……(7)
因为重力方向在第二坐标系UCS与世界坐标系GCS中均沿着Z轴(第六方向Zu)，第一向量积x的方向是垂直于该Z轴负向和磁力向量m所形成平面的，即指向地球西边，也即指向世界坐标系中X轴负方向。
接着，根据第一向量积x，按照下述公式(8)，计算得到第一单位向量积xg：
再由第一单位向量积xg以及重力单位矢量zg按照下述公式(9)得到第二单位向量积yg：
yg＝xg×zg……(9)
第二单位向量积yg指向世界坐标系的Y轴正方向，并且是单位向量。
基于第一组合向量(xw,yw,zw)与第二组合向量(xg,yg,zg)之间的对应关系，建立第二旋转矩阵Rwg，第一组合向量(xw,yw,zw)与第二类别初始三轴加速度数据相对应，第二组合向量由第一单位向量积xg、第二单位向量积yg以及重力单位矢量zg组成。
具体地，设第二旋转矩阵Rwg，则：
得到：
即：
因为正交矩阵性质：
所以:
利用第二旋转矩阵Rwg，按照下述公式(10)，将第二类别初始三轴加速度数据转换为中间三轴加速度数据：
Vg＝Rwg×Vw……(10)
其中，Vg为中间三轴加速度数据，Vw为第二类别初始三轴加速度数据。
将世界坐标系GCS下的中间三轴加速度数据Vg转换为第二坐标系UCS下的第二类别次级三轴加速度数据Vu，具体包括下述步骤：
根据第二单位向量积yg，以及与第二类别初始三轴加速度数据中的、位于第二方向Yw上第二矢量yw(即yu),按照下述公式(11)，得到用户以逆时针方向转过一定角度时用户与地球北边相关的朝向角α(也是转换角)：
其中，zz是yw和yg的向量积在第三方向Zw的Z轴分量，即如下公式(12)所示：
yu×yg＝(0,0,zz)……(12)
基于朝向角α，按照下述公式(13)，建立第三旋转矩阵Rgu：
利用第三旋转矩阵Rgu，按照下述公式(14)，将中间三轴加速度数据Vg转换为第二类别次级三轴加速度数据Vu：
Vu＝Rgu×Vg……(14)
需要说明的是：尽管Rgu是在PBP动作下计算得到的，在整个刷牙的阶段中，只要用户不改变他/她的朝向，在对刷牙进行分析时，旋转矩阵Rgu通常可以假设为一个常量矩阵。因此，一旦计算出了旋转矩阵Rgu，就可以将其用在所有AP动作的坐标转换中，即对于任意一个在第一坐标系WCS下采集得到的向量Vw，可以通过下述公式(15)转换成在第二坐标系UCS下的向量Vu：
Vu＝Vw×Rwg×Rgu……(15)
本实施例中，只要当使用第一机器学习算法识别到用户当前在做PBP动作时，就会计算出旋转矩阵Rgu，从而以实现后续AP动作坐标转换。
而AT-LSTM是分类算法，在未得出转换角之前，也是可以做精确的分类的，而且只需分出PBP和AP两个类别，所以在这里对未处理的数据做PBP和AP的识别是非常精准的。
实施本实施例，将加速度数据从与腕式可穿戴设备相关的第一坐标系转到与用户相关的第二坐标系，有效解决了因不同用户佩戴腕式可穿戴设备的手臂和肘部位置不同而导致的、无法对具有这些差异用户都采用同一技术均实现刷牙动作分类识别的问题，有利于本技术的推广应用。其中，以PBP动作计算得到的第三旋转矩阵Rgu来进行AP动作的坐标系转换处理，解决了AP动作因不知道用户面向方向的情况下，从第一坐标系WCS到第二坐标系UCS的变换难题，进一步保证了本技术的推广应用。
实施例六：
本实施例与其他实施例区别主要在于：
本实施例中，第一机器学习算法为基于注意力机制的长短期记忆(Attention-based LSTM，AT-LSTM)算法。
当得到次级三轴加速度数据后，运动机器学习算法中递归神经网络的LSTM来做刷牙动作的分类识别，并且添加了注意力机制(Attention Model)。由于LSTM在处理序列问题方面十分出色，而所获得的三轴加速度数据具有时间序列性，因此，利用LSTM可准确分类出刷牙动作。引入注意力机制后，准确度可进一步提高约5％。
本实施例所采用的AT-LSTM算法模型如图12所示：
在模型中，{(x1，y1，z1)，(x2，y2，z2)，…，(xn，yn，zn)}代表了输入的三轴加速度数据，其中，n代表输入数据的时间序列长度。LSTM单元(CELL)对输入的数据完成一系列操作进行时间序列上的分析。{h1，h2，…hn}是经过LSTM单元的操作后输出的隐藏层，它代表了输入数据在特定维度上的一个分布特点。Aspect Embedding代表了嵌入层，该模块完成的功能主要是对所有时间步的隐藏层数据嵌入一个相同的内嵌向量Va，后续过程可以根据嵌入向量后的隐藏层数据进行分析，从而得出不同时间步的隐藏层数据对应的注意力组成的向量α＝{α1，α2，…，αn}。然后通过结合隐藏层数据{h1，h2，…hn}和注意力向量α＝{α1，α2，…，αn}，经过一系列操作后得到了中间表示向量r＝{r1，r2，…rn}，最终进而得到了代表输入数据在高维空间上的分布特点的向量，根据这个向量可以很容易分析出该时间序列的输入数据对应的动作所属的分类。
实施本实施例，通过数据预处理以及采用AT-LSTM算法，对刷牙动作的分类识别准确度可超过98.2％。
实施例七：
本实施例在其他实施例基础上，进一步提供了如下内容：
在完成刷牙动作的分类识别后，即可在智能健康管理、儿童教育、自我量化、娱乐等应用场景中，使用分类识别结果。例如：根据标准的巴氏刷牙法矫正用户的错误刷牙方法。而且通过一个腕式可穿戴设备，不需要配置过多的其他设备就能实现。
实施例八：
图13示出了本发明实施例八提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的计算设备包括处理器1301及存储器1302，处理器1301执行存储器1302中存储的计算机程序1303时实现上述各个方法实施例中的步骤，例如图1所示的步骤S101至S102或步骤S101至S103。
本发明实施例的计算设备可以为智能手表、智能手环等腕式可穿戴设备，还可以为由腕式可穿戴设备与智能手机、笔记本电脑等组成的计算系统。该计算设备中处理器1301执行计算机程序1303时实现上述方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
当然，在具体实现时，计算设备还可以根据需要配置惯性测量单元(InertialMeasurement Unit，IMU)等传感器、网络模组、显示屏等。其中IMU可获得三轴加速度数据。
实施例九：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤，例如，图1所示的步骤S101至S102或步骤S101至S103。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
实施例十：
在本发明实施例中，提供了一种计算系统，该系统可包括如图14所示的结构：
获取单元1401，用于当发生刷牙动作时，获得由腕式可穿戴设备感应所得的、与刷牙动作对应的初始三轴加速度数据，初始三轴加速度数据基于与腕式可穿戴设备相关的第一坐标系所得到。
转换单元1402，用于将初始三轴加速度数据转换为与用户相关的第二坐标系下的次级三轴加速度数据。以及，
识别单元1403，用于采用第一机器学习算法，基于次级三轴加速度数据进行对应具体刷牙动作的分类识别。
其中，各单元的实现可以在同一物理实体中，也可以在不同物理实体中交互实现，或者每个单元可拆分到不同的物理实体中实现。
该计算系统中各单元功能实现上述方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种刷牙动作的分类识别方法，其特征在于，所述方法包括下述步骤：
当发生刷牙动作时，获得由腕式可穿戴设备感应所得的、与刷牙动作对应的、与所述腕式可穿戴设备相关的第一坐标系下的初始三轴加速度数据；
将所述初始三轴加速度数据转换为与用户相关的第二坐标系下的次级三轴加速度数据；
采用第一机器学习算法，基于所述次级三轴加速度数据进行对应刷牙动作的分类识别。
2.如权利要求1所述的方法，其特征在于，获得由腕式可穿戴设备感应所得的、与刷牙动作对应的、与所述腕式可穿戴设备相关的第一坐标系下的初始三轴加速度数据之前，所述方法还包括下述步骤：
获得由所述腕式可穿戴设备感应所得的、与所述刷牙动作对应的、所述第一坐标系下的原始三轴加速度数据；
对所述原始三轴加速度数据进行滤波降噪处理，得到所述初始三轴加速度数据。
3.如权利要求2所述的方法，其特征在于，获得由所述腕式可穿戴设备感应所得的、与所述刷牙动作对应的、所述第一坐标系下的原始三轴加速度数据之后，对所述原始三轴加速度数据进行滤波降噪处理，得到所述初始三轴加速度数据之前，所述方法还包括下述步骤：
采用第二机器学习算法，基于所述原始三轴加速度数据进行是否为刷牙动作的识别，若是，则对所述原始三轴加速度数据进行滤波降噪处理，得到所述初始三轴加速度数据。
4.如权利要求2所述的方法，其特征在于，获得由所述腕式可穿戴设备感应所得的、与所述刷牙动作对应的、与所述腕式可穿戴设备相关的第一坐标系下的原始三轴加速度数据，具体为：
采用部分可观测马尔可夫决策过程算法，以相应的采样频率非持续性采样，得到所述原始三轴加速度数据。
5.如权利要求1所述的方法，其特征在于，所述第一坐标系为以所述腕式可穿戴设备为原点，三轴方向分别为佩戴有所述腕式可穿戴设备的用户手臂所在的第一方向、垂直于用户身体平面的第二方向，以及分别与所述第一方向、所述第二方向垂直的第三方向，
所述第二坐标系为以所述用户为原点，三轴方向分别为水平的第四方向、垂直于用户身体平面的第五方向，以及分别与所述第四方向、所述第五方向垂直的第六方向，
所述方法还引入世界坐标系，
所述初始三轴加速度数据包括：第一类别初始三轴加速度数据及第二类别初始三轴加速度数据，所述第一类别初始三轴加速度数据指示对应的所述刷牙动作为第一类别刷牙动作，所述用户在执行所述第一类别刷牙动作时，所述用户手臂平行于所述用户身体平面；所述第二类别初始三轴加速度数据指示对应的所述刷牙动作为第二类别刷牙动作，所述用户在执行所述第二类别刷牙动作时，所述用户手臂不平行于所述用户身体平面，
将所述初始三轴加速度数据转换为与用户相关的第二坐标系下的次级三轴加速度数据，具体包括下述步骤：
将所述第一坐标系下的第一类别初始三轴加速度数据转换为所述第二坐标系下的第一类别次级三轴加速度数据；
将所述第一坐标系下的所述第二类别初始三轴加速度数据转换为所述世界坐标系下的中间三轴加速度数据，再将所述世界坐标系下的中间三轴加速度数据转换为所述第二坐标系下的第二类别次级三轴加速度数据。
6.如权利要求5所述的方法，其特征在于，将所述第一坐标系下的所述第一类别初始三轴加速度数据转换为所述第二坐标系下的第一类别次级三轴加速度数据，具体包括下述步骤：
根据与所述第一类别初始三轴加速度数据中的、位于所述第三方向上第一矢量对应的第一单位矢量，以及重力单位矢量，得到水平方向与所述第一方向之间的第一旋转角；
基于所述第一旋转角，建立第一旋转矩阵；
利用所述第一旋转矩阵，将所述第一类别初始三轴加速度数据转换为所述第一类别次级三轴加速度数据，
将所述第一坐标系下的所述第二类别初始三轴加速度数据转换为所述世界坐标系下的中间三轴加速度数据，具体包括下述步骤：
获得所述第一坐标系下的地磁感应数据；
由所述地磁感应数据以及重力矢量得到第一向量积；
根据所述第一向量积，计算得到第一单位向量积；
由所述第一单位向量积以及所述重力单位矢量得到第二单位向量积；
基于第一组合向量与第二组合向量之间的对应关系，建立第二旋转矩阵，所述第一组合向量与所述第二类别初始三轴加速度数据相对应，所述第二组合向量由所述第一单位向量积、所述第二单位向量积以及所述重力单位矢量组成；
利用所述第二旋转矩阵，将所述第二类别初始三轴加速度数据转换为所述中间三轴加速度数据，
将所述世界坐标系下的所述中间三轴加速度数据转换为所述第二坐标系下的第二类别次级三轴加速度数据，具体包括下述步骤：
根据所述第二单位向量积，以及与所述第二类别初始三轴加速度数据中的、位于所述第二方向上第二矢量，得到用户以逆时针方向转过一定角度时用户与地球北边相关的朝向角；
基于所述朝向角，建立第三旋转矩阵；
利用所述第三旋转矩阵，将所述中间三轴加速度数据转换为所述第二类别次级三轴加速度数据。
7.如权利要求1所述的方法，其特征在于，所述第一机器学习算法为基于注意力机制的长短期记忆AT-LSTM算法。
8.一种计算设备，包括存储器及处理器，其特征在于，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至7任一项所述方法中的步骤。
9.一种计算系统，其特征在于，包括：
获取单元，用于当发生刷牙动作时，获得由腕式可穿戴设备感应所得的、与刷牙动作对应的初始三轴加速度数据，所述初始三轴加速度数据基于与所述腕式可穿戴设备相关的第一坐标系所得到；
转换单元，用于将所述初始三轴加速度数据转换为与用户相关的第二坐标系下的次级三轴加速度数据；以及，
识别单元，用于采用第一机器学习算法，基于所述次级三轴加速度数据进行对应具体刷牙动作的分类识别。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法中的步骤。
CN201811226730.8A 2018-10-22 2018-10-22 刷牙动作的分类识别方法、计算设备、系统及存储介质 Active CN109567814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811226730.8A CN109567814B (zh) 2018-10-22 2018-10-22 刷牙动作的分类识别方法、计算设备、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811226730.8A CN109567814B (zh) 2018-10-22 2018-10-22 刷牙动作的分类识别方法、计算设备、系统及存储介质

Publications (2)

Publication Number Publication Date
CN109567814A true CN109567814A (zh) 2019-04-05
CN109567814B CN109567814B (zh) 2022-06-28

Family

ID=65920762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811226730.8A Active CN109567814B (zh) 2018-10-22 2018-10-22 刷牙动作的分类识别方法、计算设备、系统及存储介质

Country Status (1)

Country Link
CN (1) CN109567814B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241746A (zh) * 2019-07-16 2021-01-19 北京中科天演科技有限责任公司 一种人员操作行动识别方法及系统
CN114385012A (zh) * 2022-01-17 2022-04-22 维沃移动通信有限公司 运动的识别方法、装置、电子设备和可读存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1503640A (zh) * 2001-04-17 2004-06-09 牙刷使用监视系统
CN102065791A (zh) * 2008-02-27 2011-05-18 皇家飞利浦电子股份有限公司 用于牙刷的牙齿位置跟踪系统
CN105029891A (zh) * 2015-08-19 2015-11-11 秦立新 刷牙动作检测校正方法及系统、牙刷、远程控制装置
CN105180937A (zh) * 2015-10-15 2015-12-23 常熟理工学院 一种mems-imu初始对准方法
CN105433949A (zh) * 2014-09-23 2016-03-30 飞比特公司 混合角运动传感器
US20160089080A1 (en) * 2014-09-30 2016-03-31 Mophie, Inc. System and method for activity determination
CN105590007A (zh) * 2016-02-26 2016-05-18 馥德（上海）科技有限公司 刷牙姿态的分析方法及分析系统
CN106175068A (zh) * 2016-07-27 2016-12-07 中国人民解放军第四军医大学 一种刷牙指导模型电子检测系统
CN106213784A (zh) * 2016-08-30 2016-12-14 北京易得道科技有限公司 一种牙刷系统和刷牙监测方法
CN106382912A (zh) * 2016-08-19 2017-02-08 西安电子科技大学 基于双传感器的刷牙角度检测装置及方法
CN107092882A (zh) * 2017-04-19 2017-08-25 南京大学 一种基于子动作感知的行为识别系统及其工作方法
CN107291242A (zh) * 2017-06-30 2017-10-24 维沃移动通信有限公司 一种智能终端的控制方法和智能终端
CN107811722A (zh) * 2017-11-29 2018-03-20 薛开国 一种智能电动牙刷、牙刷空间姿态获取系统及方法
US20180098620A1 (en) * 2016-10-11 2018-04-12 Samsung Electronics Co., Ltd. Method for determining tooth brushing section, and smart toothbrush and electronic device therefor
US10064711B1 (en) * 2013-09-23 2018-09-04 Click Care LLC Smart toothbrush and floss method and system

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1503640A (zh) * 2001-04-17 2004-06-09 牙刷使用监视系统
CN102065791A (zh) * 2008-02-27 2011-05-18 皇家飞利浦电子股份有限公司 用于牙刷的牙齿位置跟踪系统
US10064711B1 (en) * 2013-09-23 2018-09-04 Click Care LLC Smart toothbrush and floss method and system
CN105433949A (zh) * 2014-09-23 2016-03-30 飞比特公司 混合角运动传感器
US20160089080A1 (en) * 2014-09-30 2016-03-31 Mophie, Inc. System and method for activity determination
CN105029891A (zh) * 2015-08-19 2015-11-11 秦立新 刷牙动作检测校正方法及系统、牙刷、远程控制装置
CN105180937A (zh) * 2015-10-15 2015-12-23 常熟理工学院 一种mems-imu初始对准方法
CN105590007A (zh) * 2016-02-26 2016-05-18 馥德（上海）科技有限公司 刷牙姿态的分析方法及分析系统
CN106175068A (zh) * 2016-07-27 2016-12-07 中国人民解放军第四军医大学 一种刷牙指导模型电子检测系统
CN106382912A (zh) * 2016-08-19 2017-02-08 西安电子科技大学 基于双传感器的刷牙角度检测装置及方法
CN106213784A (zh) * 2016-08-30 2016-12-14 北京易得道科技有限公司 一种牙刷系统和刷牙监测方法
US20180098620A1 (en) * 2016-10-11 2018-04-12 Samsung Electronics Co., Ltd. Method for determining tooth brushing section, and smart toothbrush and electronic device therefor
CN107092882A (zh) * 2017-04-19 2017-08-25 南京大学 一种基于子动作感知的行为识别系统及其工作方法
CN107291242A (zh) * 2017-06-30 2017-10-24 维沃移动通信有限公司 一种智能终端的控制方法和智能终端
CN107811722A (zh) * 2017-11-29 2018-03-20 薛开国 一种智能电动牙刷、牙刷空间姿态获取系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241746A (zh) * 2019-07-16 2021-01-19 北京中科天演科技有限责任公司 一种人员操作行动识别方法及系统
CN114385012A (zh) * 2022-01-17 2022-04-22 维沃移动通信有限公司 运动的识别方法、装置、电子设备和可读存储介质
CN114385012B (zh) * 2022-01-17 2023-06-30 维沃移动通信有限公司 运动的识别方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN109567814B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
Tang et al. Multiscale deep feature learning for human activity recognition using wearable sensors
Khatun et al. Deep CNN-LSTM with self-attention model for human activity recognition using wearable sensor
Al-Qaness et al. Multi-ResAtt: Multilevel residual network with attention for human activity recognition using wearable sensors
Awais et al. Physical activity classification for elderly people in free-living conditions
Park et al. Online pose classification and walking speed estimation using handheld devices
Guo et al. Smartphone-based patients’ activity recognition by using a self-learning scheme for medical monitoring
Miao et al. Identifying typical physical activity on smartphone with varying positions and orientations
CN108245172B (zh) 一种不受位置约束的人体姿态识别方法
Vanini et al. Using barometric pressure data to recognize vertical displacement activities on smartphones
Luo et al. Brush like a dentist: Accurate monitoring of toothbrushing via wrist-worn gesture sensing
CN112464738B (zh) 改进朴素贝叶斯算法基于手机传感器的用户行为识别方法
CN109976526A (zh) 一种基于表面肌电传感器和九轴传感器的手语识别方法
CN107277222A (zh) 基于手机内置传感器的用户行为状态判断方法
KR20220113242A (ko) 온-디바이스 활동 인식
CN109567814A (zh) 刷牙动作的分类识别方法、计算设备、系统及存储介质
Barri Khojasteh et al. Evaluation of a wrist-based wearable fall detection method
CN108965585B (zh) 一种基于智能手机传感器的用户身份识别方法
Wilson et al. Domain Adaptation Under Behavioral and Temporal Shifts for Natural Time Series Mobile Activity Recognition
CN110236560A (zh) 智能穿戴设备的六轴姿态检测方法、系统
CN112861679B (zh) 面向行为识别的迁移学习方法及系统
Mekruksavanich et al. Placement effect of motion sensors for human activity recognition using LSTM network
CN111796663B (zh) 场景识别模型更新方法、装置、存储介质及电子设备
Alman et al. Pattern recognition of human activity based on smartphone data sensors using SVM multiclass
Yu et al. IMU sensing–based Hopfield neuromorphic computing for human activity recognition
CN107203259A (zh) 用于使用单和/或多传感器数据融合确定移动设备使用者的概率性内容感知的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant