CN104699241B - 确定动作和/或动作部位的方法和设备 - Google Patents

确定动作和/或动作部位的方法和设备 Download PDF

Info

Publication number
CN104699241B
CN104699241B CN201510069921.8A CN201510069921A CN104699241B CN 104699241 B CN104699241 B CN 104699241B CN 201510069921 A CN201510069921 A CN 201510069921A CN 104699241 B CN104699241 B CN 104699241B
Authority
CN
China
Prior art keywords
information
target
action
ppg
waveform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510069921.8A
Other languages
English (en)
Other versions
CN104699241A (zh
Inventor
史元春
王运涛
喻纯
杜琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201510069921.8A priority Critical patent/CN104699241B/zh
Publication of CN104699241A publication Critical patent/CN104699241A/zh
Priority to US15/548,370 priority patent/US10292609B2/en
Priority to PCT/CN2016/070374 priority patent/WO2016127741A1/en
Application granted granted Critical
Publication of CN104699241B publication Critical patent/CN104699241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0295Measuring blood flow using plethysmography, i.e. measuring the variations in the volume of a body part as modified by the circulation of blood therethrough, e.g. impedance plethysmography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6825Hand
    • A61B5/6826Finger
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请提供了一种确定动作和/或动作部位的方法和设备,涉及可穿戴式设备领域。所述方法包括:响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标血流信息;根据所述目标血流信息和一参考信息,确定所述第一部位和/或所述动作。所述方法和设备,提供了一种动作和/或动作部位识别的新方案。

Description

确定动作和/或动作部位的方法和设备
技术领域
本申请涉及可穿戴式设备领域,尤其涉及一种确定动作和/或动作部位的方法和设备。
背景技术
随着电子设备的普及和发展,现在的电子设备越来越智能化。其中,电子设备对用户动作的识别是其智能化的发展方向之一。
比如,一些游戏设备通过图像识别技术可以识别用户的比较简单的手势动作;一些智能手环等穿戴式设备通过加速度传感器可以识别用户当前是否在走动,并可以实现记步功能。
发明内容
本申请的目的是:提供一种确定动作和/或动作部位的方法和设备。
根据本申请至少一个实施例的一个方面,提供了一种确定动作和/或动作部位的方法,所述方法包括:
响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标光电容积脉搏波PPG信息;
根据所述目标PPG信息和一参考信息,确定所述第一部位和/或所述动作。
根据本申请至少一个实施例的一个方面,提供了一种确定动作和/或动作部位的设备,所述设备包括:
一获取模块,用于响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标PPG信息;
一第一确定模块,用于根据所述目标PPG信息和一参考信息,确定所述第一部位和/或所述动作。
根据本申请至少一个实施例的一个方面,提供了一种确定动作和/或动作部位的方法,所述方法包括:
响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标血流信息;
根据所述目标血流信息和一参考信息,确定所述第一部位和/或所述动作。
根据本申请至少一个实施例的一个方面,提供了一种确定动作和/或动作部位的设备,所述设备包括:
一获取模块,用于响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标血流信息;
一第一确定模块,用于根据所述目标血流信息和一参考信息,确定所述第一部位和/或所述动作。
本申请实施例所述确定动作和/或动作部位的方法和设备,响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标血流信息,根据所述目标血流信息和一参考信息,确定所述第一部位和/或所述动作,从而提供了一种动作和/或动作部位识别的新方案。
附图说明
图1是本申请一个实施例所述确定动作和/或动作部位的方法的流程图;
图2是本申请一个实施方式中检测PPG信息的示意图;
图3是正常情况下检测到的PPG信息的示意图;
图4是正常情况下检测到的LDF信息的示意图;
图5是本申请一个实施方式中所述步骤S140a的细化流程图;
图6是本申请一个实施方式中在中指单次点击情况下检测到的PPG信息的示意图;
图7是本申请一个实施方式中在手握拳情况下检测到的PPG信息的示意图;
图8是本申请一个实施方式中所述步骤S141a的细化流程图;
图9是本申请一个实施方式中在食指单击情况下得到的目标PPG信息的示意图;
图10是本申请一个实施方式中在食指双击情况下检测到的PPG信息的示意图;
图11是本申请一个实施方式中所述步骤S142a的细化流程图;
图12是本申请一个实施方式中所述步骤S140a的细化流程图;
图13是本申请一个实施方式中所述步骤S140b的细化流程图;
图14是本申请一个实施方式中所述参考流速相关信息的示意图;
图15是本申请一个实施方式中在食指单击情况下检测到的目标流速相关信息的示意图;
图16是本申请一个实施方式中在中指单击情况下检测到的目标流速相关信息的示意图;
图17是本申请一个实施方式中在食指双击情况下检测到的目标流速相关信息的示意图;
图18是本申请一个实施方式中所述步骤S140b的细化流程图;
图19是本申请一个实施方式中所述确定动作和/或动作部位的方法的流程图;
图20是本申请一个实施例所述确定动作和/或动作部位的设备的模块图;
图21是本申请一个实施方式中所述第一确定模块的模块图;
图22是本申请一个实施方式中所述第一确定单元的模块图;
图23是本申请一个实施方式中所述第二确定单元的模块图;
图24是本申请另一个实施方式中所述第一确定模块的模块图;
图25是本申请另一个实施方式中所述第一确定模块的模块图;
图26是本申请另一个实施方式中所述第一确定模块的模块图;
图27是本申请一个实施方式中所述第四确定子模块的模块图;
图28是本申请一个实施方式中所述第一确定单元的模块图;
图29是本申请一个实施方式中所述第二确定单元的模块图;
图30是本申请一个实施方式中所述确定动作和/或动作部位的设备的模块图;
图31是本申请一个实施方式中所述确定动作和/或动作部位的设备的硬件结构示意图。
具体实施方式
下面结合附图和实施例,对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。
本领域技术人员理解,在本申请的实施例中,下述各步骤的序号的大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
发明人在研究过程中发现,如果用户的身体处于运动状态,会导致采集到的血流信息包含由运动产生的噪声。一般的,人们会考虑如何消除该噪声,以便提高采集到的血流信息的准确度。
发明人同时发现,用户身体的不同部位的运动或者相同部位不同的运动,会导致产生不同的噪声,进而导致采集到的血流信息具有不同的波形特征。基于此,根据得到的血流信息则可以合理推测是哪个部位做了何种动作,从而实现对动作和/或动作部位的识别。其中,所述血流信息可以是PPG(光电容积脉搏波)信息,或者还可以是多普勒测量信息。
图1是本申请一个实施例所述确定动作和/或动作部位的方法的流程图,所述方法可以在例如一确定动作和/或动作部位的设备上实现。如图1所示,所述方法包括:
S120:响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标血流信息;
S140:根据所述目标血流信息和一参考信息,确定所述第一部位和/或所述动作。
本申请实施例所述方法,响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标血流信息,根据所述目标血流信息和一参考信息,确定所述第一部位和/或所述动作,从而提供了一种动作和/或动作部位识别的新方案。
以下将结合具体实施方式,详细说明所述步骤S120和S140的功能。
S120:响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标血流信息。
其中,所述第一部位,也即动作部位,比如,其可以是用户的手指、手掌、手腕、颈部、脚部、腿部等。所述第一部位除了作为动作部位,还可以同时作为目标血流信息的采集部位,比如,在目标血流信息的采集传感器为一智能手环的情况下,手腕可以同时作为动作部位和采集部位。
所述第二部位是另一个可选的目标血流信息的采集部位,并且所述第二部位是与所述第一部位相邻近的部位,换句话说,所述第一部位和所述第二部位的距离应该小于一距离阈值,比如小于0.1米。并且,发明人在研究过程中发现,所述第一部位和所述第二部位的距离越小,则所述方法的误差越小。一般的,所述第一部位和所述第二部位位于所述用户的同一肢体上。比如,在手指作为动作部位的情况下,相同肢体上的手腕可以作为采集部位。
清楚起见,以下将所述第一部位和所述第二部位中实际采集所述目标血流信息的部位称为所述目标血流信息的获取部位。
所述动作可以是一些日常常用动作,比如手指点击、手掌握拳、手掌张开等,也可以是一些训练动作,比如手指快速双击等。
如前文所述,所述血流信息可以是PPG信息或者多普勒测量信息,相应的所述目标血流信息可以是目标PPG信息或者目标多普勒测量信息。
图2是一种对人体PPG信息进行采集的示意图。其原理为发光部发出的光在经过指尖反射后,由受光部检测反射光强度。由于血液会对光有吸收作用,反射光的强度会随着单位时间内流经指尖的血液流量的改变而产生变化。通过测量反射光变化的周期便可以得到PPG信息,进而可以计算得到心率等信息。由于血液中的血红蛋白对于绿光的吸收效果最好,一般可以采用绿光LED作为发光部。在正常情况下,可以检测得到如图3所示的PPG信息的波形图。
LDF信息采集的原理是,发光单元发出的激光信号经由红细胞的反射后由光电传感器检测,通过分析光电传感器输出的电信号的多普勒频移,可以测量出血液的流速以及血流量的大小。基于LDF原理的光血流传感器(optical blood flow sensor)可以用来测量心率等。在正常情况下,可以检测得到如图4所示的LDF信息的波形图。
S140:根据所述目标血流信息和一参考信息,确定所述第一部位和/或所述动作。
a)、在一种实施方式中,所述目标血流信息是目标PPG信息,相应的,所述步骤S140进一步为:
S140a:根据所述目标PPG信息和一参考信息,确定所述第一部位和/或所述动作。
在所述目标PPG信息准确对应所述动作的情况下,根据所述目标PPG信息和所述参考信息,可以较准确的确定所述第一部位和/或所述动作。但是,在一些情况下,所述目标PPG信息可能过量采集一些冗余信息,比如包括一些所述动作执行前或执行后的信息。这种情况下,直接根据所述目标PPG信息和所述参考信息确定所述第一部位和/或所述动作,可能会识别准确率较低。
因此,参见图5,在一种实施方式中,所述步骤S140a可以包括:
S141a:根据所述目标PPG信息和所述参考信息确定一目标区别信息;
S142a:至少根据所述目标区别信息确定所述第一部位和/或所述动作。
在一种实施方式中,所述步骤S141a中,所述参考信息可以是一第一阈值,所述第一阈值可以根据在所述第一部位未执行动作,即保持静止的情况下,在所述获取部位采集的PPG信息(以下简称正常情况下采集的PPG信息)设置,比如设置为正常情况下采集的PPG信息的最小幅度值,或者设置为正常情况下采集的PPG信息的最大幅度值。
所述目标区别信息是所述目标PPG信息中的部分信息,所述动作导致了该部分信息明显区别于正常情况下采集的PPG信息。比如,在中指单次点击的情况下,得到的所述目标PPG信息的波形如图6所示,其中圆圈内的部分波形明显区别于圆圈外的波形。所述圆圈内的部分波形即是所述目标区别信息对应的波形,其正是由于所述中指单次点击而导致正常的PPG波形发生改变而得到的波形。可以看到,圆圈内的部分波形的最小幅度值明显低于正常情况下采集的PPG信息的幅度值。
因此,在一种实施方式中,所述步骤S141a进一步为:
S141a’:将所述目标PPG信息中的幅度值与所述参考信息的值比较大小,根据比较结果确定所述目标区别信息。
具体的,在所述参考信息是正常情况下采集的PPG信息的最小幅度值的情况下,可以将所述目标PPG信息中幅度值比所述参考信息的值小的部分确定为所述目标区别信息。当然,在所述参考信息是正常情况下采集的PPG信息的最大幅度值的情况下,可以将所述目标PPG信息中幅度值比所述参考信息的值大的部分确定为所述目标区别信息。以图7为例,其表示手握拳情况下在腕部得到的目标PPG信息的波形,其中实线圆圈内的部分波形明显区别于实线圆圈外的波形。所述实线圆圈内的部分波形即是所述目标区别信息对应的波形,其正是由于所述手握拳而导致正常的PPG波形发生改变而得到的波形。可以看到,实线圆圈内的部分波形的最大幅度值明显高于正常情况下采集的PPG信息的幅度值。
本领域技术人员理解,对于图7所述目标PPG信息,按照所述步骤S141a’处理后得到的所述目标区别信息可能仅为两个虚线圆圈中的波形,即不能得到实线圆圈中的整体波形,但是,根据两个虚线圆圈中的波形可以推测动作执行次数,再结合比如时间等其他信息,则可以辅助识别所述动作及动作部位。
在另一种实施方式中,所述步骤S141a中,所述参考信息可以是所述第一部位未执行动作的情况下,在所述第一部位或者第二部位处获取的一参考PPG信息,即正常情况下采集到的PPG信息。所述参考PPG信息的波形可以如图3所示,其可以预先采集得到。
相应的,参见图8,在一种实施方式中,所述步骤S141a可以包括:
S1411a”:将所述目标PPG信息按周期划分成多个子目标PPG信息。
S1412a”:将所述多个子目标PPG信息分别与所述参考信息做互相关计算,根据计算结果确定所述目标区别信息。
仍以图6所示波形为例,在步骤S1411a”中可以按照相邻波峰之间为一个周期,将图6所示波形划分成C1、C2、C3、C4、C5,共计5个子波形,该5个子波形对应5个子目标PPG信息。其中,边缘部分的波形可以忽略,这是因为在采集所述目标PPG信息时,可以过量采集一些PPG信息。
在所述步骤S1412a”中,所述参考信息可以是正常情况下采集到的两个波峰之间的PPG波形,将所述参考信息分别与上述5个子目标PPG信息进行互相关计算后,可以发现,所述参考信息与C2的互相关计算结果明显小于所述参考信息与其他子目标PPG信息的互相关计算结果,据此可以判断C2对应的PPG信息是所述目标区别信息。
实际应用中,可以将所述参考信息与各个子目标PPG信息的互相关计算结果与一个阈值进行比较,如果小于该阈值,则认为相应的子目标PPG信息是目标区别信息。所述阈值可以比如设置为所述参考信息与自身的互相关计算结果的80%。
本领域技术人员理解,上述两种确定所述目标区别信息的方式还可以组合使用,以提高准确度和效率。
在一种实施方式中,所述步骤S142a可以进一步包括:
S142a’:根据所述目标区别信息包含的波谷或波峰的数量确定所述动作。
其中,所述目标区别信息中包含的波谷或波峰的数量与所述动作的执行次数相同。如图6所示,在中指单击动作情况下,对应的波谷数量为1;如图7所示,在单次握拳情况下,对应的波谷或波峰数量均为1。另外,图9是食指单击情况下得到的目标PPG信息的波形,圆圈内的波形对应所述目标区别信息,其对应的波谷或波峰的数量也为1;图10是食指双击情况下得到的目标PPG信息的波形,圆圈内的波形对应所述目标区别信息,可以看到,这种情况下,所述目标区别信息包含的波谷或波峰的数量均为2。
在另一种实施方式中,所述步骤S142a可以进一步包括:
S142a”:根据所述目标区别信息对应的周期确定所述动作。
所述目标区别信息的对应的周期与所述第一部位执行所述动作的周期相对应,换句话说,所述第一部位每次执行所述动作的时间越长,则所述目标区别信息的周期越长。因此,所述目标区别信息对应的周期可以反应所述动作的执行速度,进而可以确定所述动作。比如,在所述第一部位为脚部,如果该脚部执行抬起放下动作的周期为0.3秒,则可以确定对应动作为走路;如果该脚部执行抬起放下动作的周期为0.03秒,则可以确定对应动作为跑步。当然,在所述第一部位为手部的情况下,根据手部前后摆动的周期也可以判断用户在走路还是跑步。
在另一种实施方式中,参见图11,所述步骤S142a可以进一步包括:
S1421a:分别计算所述目标区别信息的波形与至少一已知波形的相似度,根据计算结果确定一目标已知波形;
S1422a:根据所述目标已知波形确定所述第一部位和/或所述动作。
其中,所述至少一已知波形可以是多个已知波形的集合,其可以预先训练得到,比如用户预先令所述第一部位执行不同的动作,并对应获取相应的目标区别信息的波形,作为所述已知波形。从而可以建立起所述第一部位、所述动作和已知波形三者之间的对应关系,该对应关系可以如表1所示。
表1
第一部位 动作 已知波形
食指 单击 A
食指 双击 B
中指 单击 C
手部 握拳 D
手部 张开 E
在实际应用中,所述步骤S1421a中获取的所述目标区别信息的波形可以分别与所述集合中的每个已知波形计算相似度,然后选择相似度最高的已知波形作为所述目标已知波形。进而在所述步骤S1422a中可以根据所述目标已知波形确定所述第一部位和/或所述动作。
以表1中第1行为例,假设所述目标区别信息的波形如图9中圆圈内波形所示,则计算后可以得到,所述目标区别信息的波形与已知波形A的相似度最高,从而可以确定所述目标已知波形为已知波形A,进而可以确定所述第一部位为食指,动作为单击。
另外,参见图12,在另一种实施方式中,所述步骤S140a可以包括:
S143a:确定所述目标PPG信息的信号特征;
S144a:根据所述信号特征和所述参考信息,确定所述第一部位和/或所述动作。
所述步骤S143a中,所述目标PPG信息的信号特征包括所述目标PPG信息的指纹、平均值、差分中至少一项;所述指纹由所述目标PPG信息的幅度、相位、频谱中至少一项组成;所述平均值是所述目标PPG信息的幅度、相位、频谱中至少一项的平均值;所述差分是所述目标PPG信息的幅度、相位、频谱中至少一项的差分。
所述步骤S144a中,所述参考信息可以是预先训练得到的参考信号特征,比如,在训练阶段可以按照所述表1执行相应动作,并对应获取相应PPG信息的信号特征作为所述参考信息。具体应用中,可以计算得到的所述目标PPG信息的信号特征与多个参考信息的相似度,并将相似度最高的参考信息对应的部位和/或动作作为所述第一部位和/或所述动作。
b)、在另一种实施方式中,所述目标血流信息是目标多普勒测量信息,相应的,所述步骤S140进一步为:
S140b:根据所述目标多普勒测量信息和一参考信息,确定所述第一部位和/或所述动作。
其中,所述目标多普勒测量信息可以比如是LDF(Laser DopplerFlowmetry)、LDV(Laser Doppler Velocimety)、超声波多普勒频移等。
参见图13,在一种实施方式中,所述步骤S140b可以包括:
S141b:确定所述目标多普勒测量信息对应的目标流速相关信息;
S142b:根据所述目标流速相关信息和所述参考信息,确定所述第一部位和/或所述动作。
如前文所述,所述目标多普勒测量信息可以比如是LDF、LDV、超声波多普勒频移等,其包括一连串的包络波信号,对其进行比如快速傅里叶变换可以得到对应的频域信号,所述频域信号中的多普勒频率分量正比于血流速度,从而可以得到血液流速,进一步根据血流速度和血液横截面包含的血细胞数量可以确定血流通量。
其中,所述目标流速相关信息的数据类型可以是所述血流速度,也可以是所述血流通量。换句话说,所述目标流速相关信息可以是目标血流速度信息或者目标血流通量信息。由于所述目标多普勒测量信息中包含由于所述动作而导致的噪声,因此,所述目标流速相关信息中也包括所述噪声。具体的,所述噪声包括运动导致的血流速度改变和/或所述目标多普勒测量信息的检测设备和肢体接触的改变导致的检测误差(不同的动作会导致检测设备和肢体接触发生不同的改变)。在普通的LDF检测过程中,人们一般极力避免这种噪声,但是,本申请正是利用这种噪声实现对所述动作的识别。
在一种实施方式中,所述步骤S142b可以进一步包括:
S1421b:根据所述目标流速相关信息和所述参考信息确定一目标区别信息;
S1422b:至少根据所述目标区别信息确定所述第一部位和/或所述动作。
所述步骤S1421b中,所述参考信息可以有不同的类型。比如在一种实施方式中,所述参考信息是所述第一部位未执行所述动作的情况下,在所述目标多普勒测量信息的获取部位获取的一参考多普勒测量信息对应的参考流速相关信息。类似于所述目标流速相关信息,所述参考流速相关信息也可以是血流速度或者血流通量。在所述参考流速相关信息是血流通量的情况下,其波形可以如图14所示,可以看到,其具有明显的周期性规律,根据该波形,可以获得心率、脉搏等信息。
相应的,所述步骤S1421b可以进一步包括:
S14211b:将所述目标流速相关信息按周期划分成多个子目标流速相关信息;
S14212b:将所述多个子目标流速相关信息分别与所述参考信息做互相关计算,根据计算结果确定所述目标区别信息。
所述步骤S14211b中,在食指执行单击动作的情况下,得到所述目标流速相关信息的波形如图15所示,按照周期划分可以得到C1、C2、C3、C4、C5共5个子目标流速相关信息。该周期与所述参考流速相关信息的周期相同。
所述步骤S14212b中,所述参考信息可以是如图14中两个波峰之间的波形,将所述参考信息分别与上述5个子目标流速相关信息进行互相关计算后,可以发现,所述参考信息与C3的互相关计算结果明显小于所述参考信息与其他子目标流速相关信息的互相关计算结果,据此可以判断C3对应的子目标流速相关信息是所述目标区别信息。
实际应用中,可以将所述参考信息与各个子目标流速相关信息的互相关计算结果与一个阈值进行比较,如果小于该阈值,则认为相应的子目标流速相关信息是目标区别信息。所述阈值可以比如设置为所述参考信息与自身的互相关计算结果的80%。
在另一种实施方式中,所述参考信息可以是一第一阈值,所述第一阈值可以根据所述参考流速相关信息的幅度值进行设置,比如设置为所述参考流速相关信息的最小幅度值或最大幅度值。
相应的,所述步骤S1421b可以进一步为:
S1421b’:将所述目标流速相关信息中的幅度值与所述参考信息的值比较大小,根据比较结果确定所述目标区别信息。
以图16为例,其表示在所述用户的中指执行单击动作的情况下,得到的所述目标流速相关信息的波形,其中,圆圈内的波形明显区别于圆圈外的波形,圆圈内的波形正是受到所述单击动作影响的波形,即所述目标区别信息对应的波形。所述参考信息比如可以设置为所述参考流速相关信息的最小幅度值,比如设置为450,然后将所述目标流速相关信息中的幅度值与该幅度值比较大小,可以看到,圆圈内的波形的幅度值小于所述参考信息的值,从而可以确定所述目标区别信息为圆圈内的波形。
本领域技术人员理解,上述两种确定所述目标区别信息的方式还可以组合使用,以提高准确度和效率。
所述步骤S1422b中,至少根据所述目标区别信息确定所述第一部位和/或所述动作。在一种实施方式中,其可以包括:
S14221b:分别计算所述目标区别信息的波形与至少一已知波形的相似度,根据计算结果确定一目标已知波形;
S14222b:根据所述目标已知波形确定所述第一部位和/或所述动作。
其中,所述至少一已知波形可以是多个已知波形的集合,其可以预先训练得到,比如用户预先令所述第一部位执行不同的动作,并对应获取相应的目标区别信息的波形,作为所述已知波形。从而可以建立起所述第一部位、所述动作和已知波形三者之间的对应关系,该对应关系可以如表1所示。
在实际应用中,所述步骤S14221b中,所述目标区别信息的波形可以分别与所述集合中的每个已知波形计算相似度,然后选择相似度最高的已知波形作为所述目标已知波形。进而在所述步骤S14222b中可以根据所述目标已知波形确定所述第一部位和/或所述动作。
以表1中第1行为例,假设所述目标区别信息的波形如图15中圆圈内波形所示,则计算后可以得到,所述目标区别信息的波形与已知波形A的相似度最高,从而可以确定所述目标已知波形为已知波形A,进而可以确定所述第一部位为食指,动作为单击。
在另一种实施方式中,所述步骤S1422b可以进一步为:
S1422b’:根据所述目标区别信息包含的波谷或波峰的数量确定所述动作。
其中,所述目标区别信息中包含的波谷或波峰的数量与所述动作的执行次数相同。如图16所示,在中指单击动作情况下,对应的波谷数量为1;如图15所示,在食指单击情况下,对应的波谷或波峰数量均为1。另外,图17是食指双击情况下得到的目标流速相关信息的波形,圆圈内的波形对应所述目标区别信息,可以看到,这种情况下,所述目标区别信息包含的波谷或波峰的数量均为2。
在另一种实施方式中,所述步骤S1422b可以进一步为:
S1422b”:根据所述目标区别信息对应的周期确定所述动作。
所述目标区别信息对应的周期与所述第一部位执行所述动作的周期相对应,换句话说,所述第一部位每次执行所述动作的时间越长,则所述目标区别信息的周期越长。因此,所述目标区别信息对应的周期可以反应所述动作的执行速度,进而可以确定所述动作。比如,在所述第一部位为脚部,如果该脚部执行抬起放下动作的周期为0.3秒,则可以确定对应动作为走路;如果该脚部执行抬起放下动作的周期为0.03秒,则可以确定对应动作为跑步。当然,在所述第一部位为手部的情况下,根据手部前后摆动的周期也可以判断用户在走路还是跑步。
另外,参见图18,在另一种实施方式中,所述步骤S140b可以包括:
S141b’:确定所述目标多普勒测量信息的信号特征;
S142b’:根据所述信号特征和所述参考信息,确定所述第一部位和/或所述动作。
所述步骤S141b’中,所述目标多普勒测量信息的信号特征包括所述目标多普勒测量信息的指纹、平均值、差分中至少一项;所述指纹由所述目标多普勒测量信息的幅度、相位、频谱中至少一项组成;所述平均值是所述目标多普勒测量信息的幅度、相位、频谱中至少一项的平均值;所述差分是所述目标多普勒测量信息的幅度、相位、频谱中至少一项的差分。
所述步骤S142b’中,所述参考信息可以是预先训练得到的参考信号特征,比如,在训练阶段可以按照所述表1执行相应动作,并对应获取相应多普勒测量信息的信号特征作为所述参考信息。具体应用中,可以计算得到的所述目标多普勒测量信息的信号特征与多个参考信息的相似度,并将相似度最高的参考信息对应的部位和/或动作作为所述第一部位和/或所述动作。
在一种实施方式中,参见图19,所述方法还包括:
S150:确定与所述第一部位和/或所述动作相对应的一输入信息。
其中,所述第一部位和/或所述动作与所述输入信息之间的对应关系可以是预先确定的,其对应关系可以如表2所示。以第二行为例,假设一智能手环与一智能眼镜相通信,智能手环获取用户的动作指令进而控制所述智能眼镜,在智能手环识别到一食指双击动作的情况下,其可以控制智能眼镜打开当前呈现给用户的APP(应用),比如打开拍照功能。表2所示的关系表可以预先存储在如所述智能手环等穿戴式设备内部,并且在其使用说明书中可以给出这样的关系表,以便教导和训练用户通过类似表2中的动作执行相应的命令输入。
表2
第一部位 动作 输入信息
食指 单击 选中命令
食指 双击 打开命令
中指 单击 菜单命令
手部 握拳 缩小命令
手部 张开 放大命令
本领域技术人员可以理解,基于本申请的动作和/或动作部位识别的新方案,可以以用户身体为输入界面实现信息输入,有利于提升比如可穿戴式设备等是输入能力。
此外,本申请实施例还提供一种计算机可读介质,包括在被执行时进行以下操作的计算机可读指令:执行上述图1所示实施方式中的方法的步骤S120和S140的操作。
综上,本申请实施例所述方法,可以以用户身体作为输入界面向相应的电子设备输入信息,从而提升了穿戴式设备等的输入能力,提升了用户体验。
图20是本发明一个实施例所述确定动作和/或动作部位的设备的模块结构示意图,所述确定动作和/或动作部位的设备可以作为一个功能模块设置于智能腕带、智能手表等可穿戴式设备中,当然也可作为一个独立的可穿戴式设备供用户使用。如图20所示,所述设备2000可以包括:
一获取模块2010,用于响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标血流信息;
一第一确定模块2020,用于根据所述目标血流信息和一参考信息,确定所述第一部位和/或所述动作。
本申请实施例所述设备,响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标血流信息,根据所述目标血流信息和一参考信息,确定所述第一部位和/或所述动作,从而提供了一种动作和/或动作部位识别的新方案。
以下将结合具体实施方式,详细说明所述获取模块2010和所述第一确定模块2020的功能。
所述获取模块2010,用于响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标血流信息。
其中,所述第一部位,也即动作部位,比如,其可以是用户的手指、手掌、手腕、颈部、脚部、腿部等。所述第一部位除了作为动作部位,还可以同时作为目标血流信息的采集部位,比如,在目标血流信息的采集传感器为一智能手环的情况下,手腕可以同时作为动作部位和采集部位。
所述第二部位是另一个可选的目标血流信息的采集部位,并且所述第二部位是与所述第一部位相邻近的部位,换句话说,所述第一部位和所述第二部位的距离应该小于一距离阈值,比如小于0.1米。并且,发明人在研究过程中发现,所述第一部位和所述第二部位的距离越小,则所述方法的误差越小。一般的,所述第一部位和所述第二部位位于所述用户的同一肢体上。比如,在手指作为动作部位的情况下,相同肢体上的手腕可以作为采集部位。
所述动作可以是一些日常常用动作,比如手指点击、手掌握拳、手掌张开等,也可以是一些训练动作,比如手指快速双击等。
如前文所述,所述血流信息可以是PPG信息或者多普勒测量信息,相应的所述目标血流信息可以是目标PPG信息或者目标多普勒测量信息。
所述第一确定模块2020,用于根据所述目标血流信息和一参考信息,确定所述第一部位和/或所述动作。
a)、在一种实施方式中,所述目标血流信息是目标PPG信息,相应的,所述第一确定模块2020,用于根据所述目标PPG信息和一参考信息,确定所述第一部位和/或所述动作。
在所述目标PPG信息准确对应所述动作的情况下,根据所述目标PPG信息和所述参考信息,可以较准确的确定所述第一部位和/或所述动作。但是,在一些情况下,所述目标PPG信息可能过量采集一些冗余信息,比如包括一些所述动作执行前或执行后的信息。这种情况下,直接根据所述目标PPG信息和所述参考信息确定所述第一部位和/或所述动作,可能会识别准确率较低。
因此,参见图21,在一种实施方式中,所述第一确定模块2020包括:
一第一确定单元2021a,用于根据所述目标PPG信息和所述参考信息确定一目标区别信息;
一第二确定单元2022a,用于至少根据所述目标区别信息确定所述第一部位和/或所述动作。
在一种实施方式中,所述参考信息可以是一第一阈值,所述第一阈值可以根据在所述第一部位未执行动作,即保持静止的情况下,在所述获取部位采集的PPG信息(以下简称正常情况下采集的PPG信息)设置,比如设置为正常情况下采集的PPG信息的最小幅度值,或者设置为正常情况下采集的PPG信息的最大幅度值。
所述目标区别信息是所述目标PPG信息中的部分信息,所述动作导致了该部分信息明显区别于正常情况下采集的PPG信息。比如,在中指单次点击的情况下,得到的所述目标PPG信息的波形如图6所示,其中圆圈内的部分波形明显区别于圆圈外的波形。所述圆圈内的部分波形即是所述目标区别信息对应的波形,其正是由于所述中指单次点击而导致正常的PPG波形发生改变而得到的波形。可以看到,圆圈内的部分波形的最小幅度值明显低于正常情况下采集的PPG信息的幅度值。
因此,在一种实施方式中,所述第一确定单元2021a,用于将所述目标PPG信息中的幅度值与所述参考信息的值比较大小,根据比较结果确定所述目标区别信息。
具体的,在所述参考信息是正常情况下采集的PPG信息的最小幅度值的情况下,可以将所述目标PPG信息中幅度值比所述参考信息的值小的部分确定为所述目标区别信息。当然,在所述参考信息是正常情况下采集的PPG信息的最大幅度值的情况下,可以将所述目标PPG信息中幅度值比所述参考信息的值大的部分确定为所述目标区别信息。以图7为例,其表示手握拳情况下在腕部得到的目标PPG信息的波形,其中实线圆圈内的部分波形明显区别于实线圆圈外的波形。所述实线圆圈内的部分波形即是所述目标区别信息对应的波形,其正是由于所述手握拳而导致正常的PPG波形发生改变而得到的波形。可以看到,实线圆圈内的部分波形的最大幅度值明显高于正常情况下采集的PPG信息的幅度值。
本领域技术人员理解,对于图7所述目标PPG信息,按照所述步骤S141a’处理后得到的所述目标区别信息可能仅为两个虚线圆圈中的波形,即不能得到实线圆圈中的整体波形,但是,根据两个虚线圆圈中的波形可以推测动作执行次数,再结合比如时间等其他信息,则可以辅助识别所述动作及动作部位。
在另一种实施方式中,所述参考信息可以是所述第一部位未执行动作的情况下,在所述第一部位或者第二部位处获取的一参考PPG信息,即正常情况下采集到的PPG信息。所述参考PPG信息的波形可以如图3所示,其可以预先采集得到。
相应的,参见图22,在一种实施方式中,所述第一确定单元2021a包括:
一划分子单元20211a,用于将所述目标PPG信息按周期划分成多个子目标PPG信息;
一确定子单元20212a,用于将所述多个子目标PPG信息分别与所述参考信息做互相关计算,根据计算结果确定所述目标区别信息。
以图6所示波形为例,可以按照相邻波峰之间为一个周期,将图6所示波形划分成C1、C2、C3、C4、C5,共计5个子波形,该5个子波形对应5个子目标PPG信息。其中,边缘部分的波形可以忽略,这是因为在采集所述目标PPG信息时,可以过量采集一些PPG信息。
所述参考信息可以是正常情况下采集到的两个波峰之间的PPG波形,将所述参考信息分别与上述5个子目标PPG信息进行互相关计算后,可以发现,所述参考信息与C2的互相关计算结果明显小于所述参考信息与其他子目标PPG信息的互相关计算结果,据此可以判断C2对应的PPG信息是所述目标区别信息。
实际应用中,可以将所述参考信息与各个子目标PPG信息的互相关计算结果与一个阈值进行比较,如果小于该阈值,则认为相应的子目标PPG信息是目标区别信息。所述阈值可以比如设置为所述参考信息与自身的互相关计算结果的80%。
本领域技术人员理解,上述两种确定所述目标区别信息的方式还可以组合使用,以提高准确度和效率。
在一种实施方式中,所述第二确定单元2022a,用于根据所述目标区别信息包含的波谷或波峰的数量确定所述动作。
其中,所述目标区别信息中包含的波谷或波峰的数量与所述动作的执行次数相同。如图6所示,在中指单击动作情况下,对应的波谷数量为1;如图7所示,在单次握拳情况下,对应的波谷或波峰数量均为1。另外,图9是食指单击情况下得到的目标PPG信息的波形,圆圈内的波形对应所述目标区别信息,其对应的波谷或波峰的数量也为1;图10是食指双击情况下得到的目标PPG信息的波形,圆圈内的波形对应所述目标区别信息,可以看到,这种情况下,所述目标区别信息包含的波谷或波峰的数量均为2。
在另一种实施方式中,所述第二确定单元2022a,用于根据所述目标区别信息对应的周期确定所述动作。
所述目标区别信息的对应的周期与所述第一部位执行所述动作的周期相对应,换句话说,所述第一部位每次执行所述动作的时间越长,则所述目标区别信息的周期越长。因此,所述目标区别信息对应的周期可以反应所述动作的执行速度,进而可以确定所述动作。比如,在所述第一部位为脚部,如果该脚部执行抬起放下动作的周期为0.3秒,则可以确定对应动作为走路;如果该脚部执行抬起放下动作的周期为0.03秒,则可以确定对应动作为跑步。当然,在所述第一部位为手部的情况下,根据手部前后摆动的周期也可以判断用户在走路还是跑步。
在另一种实施方式中,参见图23,所述第二确定单元2022a包括:
一第一确定子单元20221a,用于分别计算所述目标区别信息的波形与至少一已知波形的相似度,根据计算结果确定一目标已知波形;
一第二确定子单元20222a,用于根据所述目标已知波形确定所述第一部位和/或所述动作。
其中,所述至少一已知波形可以是多个已知波形的集合,其可以预先训练得到,比如用户预先令所述第一部位执行不同的动作,并对应获取相应的目标区别信息的波形,作为所述已知波形。从而可以建立起所述第一部位、所述动作和已知波形三者之间的对应关系,该对应关系可以如表1所示。
在实际应用中,所述目标区别信息的波形可以分别与所述集合中的每个已知波形计算相似度,然后选择相似度最高的已知波形作为所述目标已知波形。进而可以根据所述目标已知波形确定所述第一部位和/或所述动作。
以表1中第1行为例,假设所述目标区别信息的波形如图9中圆圈内波形所示,则计算后可以得到,所述目标区别信息的波形与已知波形A的相似度最高,从而可以确定所述目标已知波形为已知波形A,进而可以确定所述第一部位为食指,动作为单击。
另外,参见图24,在另一种实施方式中,所述第一确定模块2020包括:
一第三确定单元2023a,用于确定所述目标PPG信息的信号特征;
一第四确定单元2024a,用于根据所述信号特征和所述参考信息,确定所述第一部位和/或所述动作。
所述目标PPG信息的信号特征包括所述目标PPG信息的指纹、平均值、差分中至少一项;所述指纹由所述目标PPG信息的幅度、相位、频谱中至少一项组成;所述平均值是所述目标PPG信息的幅度、相位、频谱中至少一项的平均值;所述差分是所述目标PPG信息的幅度、相位、频谱中至少一项的差分。
所述参考信息可以是预先训练得到的参考信号特征,比如,在训练阶段可以按照所述表1执行相应动作,并对应获取相应PPG信息的信号特征作为所述参考信息。具体应用中,可以计算得到的所述目标PPG信息的信号特征与多个参考信息的相似度,并将相似度最高的参考信息对应的部位和/或动作作为所述第一部位和/或所述动作。
b)、在另一种实施方式中,所述目标血流信息是目标多普勒测量信息,相应的,所述第一确定模块2020,用于根据所述目标多普勒测量信息和一参考信息,确定所述第一部位和/或所述动作。
其中,所述目标多普勒测量信息可以比如是LDF(Laser Doppler Flowmetry)、LDV(Laser Doppler Velocimety)、超声波多普勒频移等。
参见图25,在一种实施方式中,所述第一确定模块2020可以包括:
一第一确定子模块2021b,用于确定所述目标多普勒测量信息的信号特征;
一第二确定子模块2022b,用于根据所述信号特征和所述参考信息,确定所述第一部位和/或所述动作。
所述目标多普勒测量信息的信号特征包括所述目标多普勒测量信息的指纹、平均值、差分中至少一项;所述指纹由所述目标多普勒测量信息的幅度、相位、频谱中至少一项组成;所述平均值是所述目标多普勒测量信息的幅度、相位、频谱中至少一项的平均值;所述差分是所述目标多普勒测量信息的幅度、相位、频谱中至少一项的差分。
所述参考信息可以是预先训练得到的参考信号特征,比如,在训练阶段可以按照所述表1执行相应动作,并对应获取相应多普勒测量信息的信号特征作为所述参考信息。具体应用中,可以计算得到的所述目标多普勒测量信息的信号特征与多个参考信息的相似度,并将相似度最高的参考信息对应的部位和/或动作作为所述第一部位和/或所述动作。
参见图26,在另一种实施方式中,所述第一确定模块2020包括:
一第三确定子模块2023b,用于确定所述目标多普勒测量信息对应的目标流速相关信息;
一第四确定子模块2024b,用于根据所述目标流速相关信息和所述参考信息,确定所述第一部位和/或所述动作。
如前文所述,所述目标多普勒测量信息可以比如是LDF、LDV、超声波多普勒频移等,其包括一连串的包络波信号,对其进行比如快速傅里叶变换可以得到对应的频域信号,所述频域信号中的多普勒频率分量正比于血流速度,从而可以得到血液流速,进一步根据血流速度和血液横截面包含的血细胞数量可以确定血流通量。
其中,所述目标流速相关信息的数据类型可以是所述血流速度,也可以是所述血流通量。换句话说,所述目标流速相关信息可以是目标血流速度信息或者目标血流通量信息。由于所述目标多普勒测量信息中包含由于所述动作而导致的噪声,因此,所述目标流速相关信息中也包括所述噪声。具体的,所述噪声包括运动导致的血流速度改变和/或所述目标多普勒测量信息的检测设备和肢体接触的改变导致的检测误差(不同的动作会导致检测设备和肢体接触发生不同的改变)。在普通的LDF检测过程中,人们一般极力避免这种噪声,但是,本申请正是利用这种噪声实现对所述动作的识别。
在一种实施方式中,参见图27,所述第四确定子模块2024b可以包括:
一第一确定单元20241b,用于根据所述目标流速相关信息和所述参考信息确定一目标区别信息;
一第二确定单元20242b,用于至少根据所述目标区别信息确定所述第一部位和/或所述动作。
所述参考信息可以有不同的类型。比如在一种实施方式中,所述参考信息是所述第一部位未执行所述动作的情况下,在所述目标多普勒测量信息的获取部位获取的一参考多普勒测量信息对应的参考流速相关信息。类似于所述目标流速相关信息,所述参考流速相关信息也可以是血流速度或者血流通量。在所述参考流速相关信息是血流通量的情况下,其波形可以如图14所示,可以看到,其具有明显的周期性规律,根据该波形,可以获得心率、脉搏等信息。
相应的,参见图28,所述第一确定单元20241b可以包括:
一第一子单元202411b,用于将所述目标流速相关信息按周期划分成多个子目标流速相关信息;
一第二子单元202412b,用于将所述多个子目标流速相关信息分别与所述参考信息做互相关计算,根据计算结果确定所述目标区别信息。
在食指执行单击动作的情况下,得到所述目标流速相关信息的波形如图15所示,按照周期划分可以得到C1、C2、C3、C4、C5共5个子目标流速相关信息。该周期与所述参考流速相关信息的周期相同。
所述参考信息可以是如图14中两个波峰之间的波形,将所述参考信息分别与上述5个子目标流速相关信息进行互相关计算后,可以发现,所述参考信息与C3的互相关计算结果明显小于所述参考信息与其他子目标流速相关信息的互相关计算结果,据此可以判断C3对应的子目标流速相关信息是所述目标区别信息。
实际应用中,可以将所述参考信息与各个子目标流速相关信息的互相关计算结果与一个阈值进行比较,如果小于该阈值,则认为相应的子目标流速相关信息是目标区别信息。所述阈值可以比如设置为所述参考信息与自身的互相关计算结果的80%。
在另一种实施方式中,所述参考信息可以是一第一阈值,所述第一阈值可以根据所述参考流速相关信息的幅度值进行设置,比如设置为所述参考流速相关信息的最小幅度值或最大幅度值。
相应的,所述第一确定单元20241b,用于将所述目标流速相关信息中的幅度值与所述参考信息的值比较大小,根据比较结果确定所述目标区别信息。
以图16为例,其表示在所述用户的中指执行单击动作的情况下,得到的所述目标流速相关信息的波形,其中,圆圈内的波形明显区别于圆圈外的波形,圆圈内的波形正是受到所述单击动作影响的波形,即所述目标区别信息对应的波形。所述参考信息比如可以设置为所述参考流速相关信息的最小幅度值,比如设置为450,然后将所述目标流速相关信息中的幅度值与该幅度值比较大小,可以看到,圆圈内的波形的幅度值小于所述参考信息的值,从而可以确定所述目标区别信息为圆圈内的波形。
本领域技术人员理解,上述两种确定所述目标区别信息的方式还可以组合使用,以提高准确度和效率。
所述第二确定单元20242b,用于至少根据所述目标区别信息确定所述第一部位和/或所述动作。
在一种实施方式中,参见图29,所述第二确定单元20242b包括:
一第三子单元202423b,用于分别计算所述目标区别信息的波形与至少一已知波形的相似度,根据计算结果确定一目标已知波形;
一第四子单元202424b,用于根据所述目标已知波形确定所述第一部位和/或所述动作。
其中,所述至少一已知波形可以是多个已知波形的集合,其可以预先训练得到,比如用户预先令所述第一部位执行不同的动作,并对应获取相应的目标区别信息的波形,作为所述已知波形。从而可以建立起所述第一部位、所述动作和已知波形三者之间的对应关系,该对应关系可以如表1所示。
在实际应用中,所述目标区别信息的波形可以分别与所述集合中的每个已知波形计算相似度,然后选择相似度最高的已知波形作为所述目标已知波形。进而可以根据所述目标已知波形确定所述第一部位和/或所述动作。
以表1中第1行为例,假设所述目标区别信息的波形如图15中圆圈内波形所示,则计算后可以得到,所述目标区别信息的波形与已知波形A的相似度最高,从而可以确定所述目标已知波形为已知波形A,进而可以确定所述第一部位为食指,动作为单击。
在另一种实施方式中,所述第二确定单元20242b,用于根据所述目标区别信息包含的波谷或波峰的数量确定所述动作。
其中,所述目标区别信息中包含的波谷或波峰的数量与所述动作的执行次数相同。如图16所示,在中指单击动作情况下,对应的波谷数量为1;如图15所示,在食指单击情况下,对应的波谷或波峰数量均为1。另外,图17是食指双击情况下得到的目标流速相关信息的波形,圆圈内的波形对应所述目标区别信息,可以看到,这种情况下,所述目标区别信息包含的波谷或波峰的数量均为2。
在另一种实施方式中,所述第二确定单元20242b,用于根据所述目标区别信息对应的周期确定所述动作。
所述目标区别信息对应的周期与所述第一部位执行所述动作的周期相对应,换句话说,所述第一部位每次执行所述动作的时间越长,则所述目标区别信息的周期越长。因此,所述目标区别信息对应的周期可以反应所述动作的执行速度,进而可以确定所述动作。比如,在所述第一部位为脚部,如果该脚部执行抬起放下动作的周期为0.3秒,则可以确定对应动作为走路;如果该脚部执行抬起放下动作的周期为0.03秒,则可以确定对应动作为跑步。当然,在所述第一部位为手部的情况下,根据手部前后摆动的周期也可以判断用户在走路还是跑步。
在一种实施方式中,参见图30,所述设备2000还包括:
一第二确定模块2030,用于确定与所述第一部位和/或所述动作相对应的一输入信息。
其中,所述第一部位和/或所述动作与所述输入信息之间的对应关系可以是预先确定的,其对应关系可以如表2所示。以第二行为例,假设一智能手环与一智能眼镜相通信,智能手环获取用户的动作指令进而控制所述智能眼镜,在智能手环识别到一食指双击动作的情况下,其可以控制智能眼镜打开当前呈现给用户的APP(应用),比如打开拍照功能。表2所示的关系表可以预先存储在如所述智能手环等穿戴式设备内部,并且在其使用说明书中可以给出这样的关系表,以便教导和训练用户通过类似表2中的动作执行相应的命令输入。
本申请实施例所述确定输入信息的方法和设备的一个应用场景可以如下:用户佩戴一个智能手环于左手腕部位,当用户想要知道当前时间时,用户用右手食指在左手手腕附近(比如手腕靠近肩膀一侧)快速点击两下,手环通过检测左手腕部PPG信息的变化,识别用户短暂按压两次,并确定对应的输入信息为显示时间命令,于是输入该命令给控制模块,控制模块控制手环通过语音等方式输出当前时间;当用户想要使手环休眠时,用户用右手食指在左手手腕附近长按一段时间,手环通过检测左手腕部PPG信息的变化,识别用户持续按压时间超过3秒,并确定对应的输入信息为休眠命令,于是输入该命令给控制模块,控制模块控制手环进入休眠模式。
本申请另一个实施例所述确定动作和/或动作部位的设备的硬件结构如图31所示。本申请具体实施例并不对所述确定动作和/或动作部位的设备的具体实现做限定,参见图31,所述设备3100可以包括:
处理器(processor)3110、通信接口(Communications Interface)3120、存储器(memory)3130,以及通信总线3140。其中:
处理器3110、通信接口3120,以及存储器3130通过通信总线3140完成相互间的通信。
通信接口3120,用于与其他网元通信。
处理器3110,用于执行程序3132,具体可以执行上述图1所示的方法实施例中的相关步骤。
具体地,程序3132可以包括程序代码,所述程序代码包括计算机操作指令。
处理器3110可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器3130,用于存放程序3132。存储器3130可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序3132具体可以执行以下步骤:
响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标血流信息;
根据所述目标血流信息和一参考信息,确定所述第一部位和/或所述动作。
程序3132中各步骤的具体实现可以参见上述实施例中的相应步骤或模块,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,控制器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。

Claims (24)

1.一种确定动作和/或动作部位的方法,其特征在于,所述方法包括:
响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标光电容积脉搏波PPG信息;
根据所述目标PPG信息和一参考信息,确定所述第一部位和/或所述动作。
2.如权利要求1所述的方法,其特征在于,所述根据所述目标PPG信息和一参考信息,确定所述第一部位和/或所述动作包括:
根据所述目标PPG信息和所述参考信息确定一目标区别信息;
至少根据所述目标区别信息确定所述第一部位和/或所述动作。
3.如权利要求2所述的方法,其特征在于,所述根据所述目标PPG信息和所述参考信息确定一目标区别信息包括:
将所述目标PPG信息按周期划分成多个子目标PPG信息;
将所述多个子目标PPG信息分别与所述参考信息做互相关计算,根据计算结果确定所述目标区别信息。
4.如权利要求3所述的方法,其特征在于,所述参考信息是所述第一部位未执行所述动作的情况下,在所述目标PPG信息的获取部位获取的一参考PPG信息。
5.如权利要求2所述的方法,其特征在于,所述根据所述目标PPG信息和所述参考信息确定一目标区别信息包括:
将所述目标PPG信息中的幅度值与所述参考信息的值比较大小,根据比较结果确定所述目标区别信息。
6.如权利要求5所述的方法,其特征在于,所述参考信息是一第一阈值。
7.如权利要求2至6任一项所述的方法,其特征在于,所述至少根据所述目标区别信息确定所述第一部位和/或所述动作包括:
分别计算所述目标区别信息的波形与至少一已知波形的相似度,根据计算结果确定一目标已知波形;
根据所述目标已知波形确定所述第一部位和/或所述动作。
8.如权利要求2至6任一项所述的方法,其特征在于,所述至少根据所述目标区别信息确定所述第一部位和/或所述动作包括:
根据所述目标区别信息包含的波谷或波峰的数量确定所述动作。
9.如权利要求2至6任一项所述的方法,其特征在于,所述至少根据所述目标区别信息确定所述第一部位和/或所述动作包括:
根据所述目标区别信息对应的周期确定所述动作。
10.如权利要求1至6任一项所述的方法,其特征在于,所述方法还包括:
确定与所述第一部位和/或所述动作相对应的输入信息。
11.如权利要求1所述的方法,其特征在于,所述根据所述目标PPG信息和一参考信息,确定所述第一部位和/或所述动作包括:
确定所述目标PPG信息的信号特征;
根据所述信号特征和所述参考信息,确定所述第一部位和/或所述动作。
12.如权利要求1至6、11任一项所述的方法,其特征在于,所述第一部位为所述用户的手部或腕部。
13.一种确定动作和/或动作部位的设备,其特征在于,所述设备包括:
一获取模块,用于响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标PPG信息;
一第一确定模块,用于根据所述目标PPG信息和一参考信息,确定所述第一部位和/或所述动作。
14.如权利要求13所述的设备,其特征在于,所述第一确定模块包括:
一第一确定单元,用于根据所述目标PPG信息和所述参考信息确定一目标区别信息;
一第二确定单元,用于至少根据所述目标区别信息确定所述第一部位和/或所述动作。
15.如权利要求14所述的设备,其特征在于,所述第一确定单元包括:
一划分子单元,用于将所述目标PPG信息按周期划分成多个子目标PPG信息;
一确定子单元,用于将所述多个子目标PPG信息分别与所述参考信息做互相关计算,根据计算结果确定所述目标区别信息。
16.如权利要求14所述的设备,其特征在于,所述第一确定单元,用于将所述目标PPG信息中的幅度值与所述参考信息的值比较大小,根据比较结果确定所述目标区别信息。
17.如权利要求14至16任一项所述的设备,其特征在于,所述第二确定单元包括:
一第一确定子单元,用于分别计算所述目标区别信息的波形与至少一已知波形的相似度,根据计算结果确定一目标已知波形;
一第二确定子单元,用于根据所述目标已知波形确定所述第一部位和/或所述动作。
18.如权利要求14至16任一项所述的设备,其特征在于,所述第二确定单元,用于根据所述目标区别信息包含的波谷或波峰的数量确定所述动作。
19.如权利要求14至16任一项所述的设备,其特征在于,所述第二确定单元,用于根据所述目标区别信息对应的周期确定所述动作。
20.如权利要求13所述的设备,其特征在于,所述第一确定模块包括:
一第三确定单元,用于确定所述目标PPG信息的信号特征;
一第四确定单元,用于根据所述信号特征和所述参考信息,确定所述第一部位和/或所述动作。
21.如权利要求13至16、20任一项所述的设备,其特征在于,所述设备还包括:
一第二确定模块,用于确定与所述第一部位和/或所述动作相对应的输入信息。
22.一种确定动作和/或动作部位的方法,其特征在于,所述方法包括:
响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标血流信息;
根据所述目标血流信息和一参考信息,确定所述第一部位和/或所述动作。
23.一种确定动作和/或动作部位的设备,其特征在于,所述设备包括:
一获取模块,用于响应于用户身体上一第一部位执行一动作,获取所述第一部位或者与所述第一部位相对应的一第二部位的目标血流信息;
一第一确定模块,用于根据所述目标血流信息和一参考信息,确定所述第一部位和/或所述动作。
24.一种可穿戴式设备,其特征在于,所述可穿戴式设备包括权利要求13至21、23任一项所述的确定动作和/动作部位的设备。
CN201510069921.8A 2015-02-10 2015-02-10 确定动作和/或动作部位的方法和设备 Active CN104699241B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510069921.8A CN104699241B (zh) 2015-02-10 2015-02-10 确定动作和/或动作部位的方法和设备
US15/548,370 US10292609B2 (en) 2015-02-10 2016-01-07 Method and device for determining action and/or action part
PCT/CN2016/070374 WO2016127741A1 (en) 2015-02-10 2016-01-07 Method and device for determining action and/or action part

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510069921.8A CN104699241B (zh) 2015-02-10 2015-02-10 确定动作和/或动作部位的方法和设备

Publications (2)

Publication Number Publication Date
CN104699241A CN104699241A (zh) 2015-06-10
CN104699241B true CN104699241B (zh) 2018-04-06

Family

ID=53346451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510069921.8A Active CN104699241B (zh) 2015-02-10 2015-02-10 确定动作和/或动作部位的方法和设备

Country Status (3)

Country Link
US (1) US10292609B2 (zh)
CN (1) CN104699241B (zh)
WO (1) WO2016127741A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699241B (zh) 2015-02-10 2018-04-06 北京智谷睿拓技术服务有限公司 确定动作和/或动作部位的方法和设备
CN104656895B (zh) * 2015-02-10 2018-02-02 北京智谷睿拓技术服务有限公司 确定输入信息的方法和设备
CN104656896B (zh) * 2015-02-10 2018-09-18 北京智谷睿拓技术服务有限公司 确定输入信息的方法和设备
CN104699242B (zh) 2015-02-10 2018-04-06 北京智谷睿拓技术服务有限公司 确定动作和/或动作部位的方法和设备
CN106249848B (zh) * 2015-07-31 2019-02-19 北京智谷睿拓技术服务有限公司 交互方法和设备
CN106293048B (zh) * 2015-07-31 2019-05-07 北京智谷睿拓技术服务有限公司 输入信息确定方法和设备
CN106227326B (zh) * 2015-07-31 2019-09-10 北京智谷睿拓技术服务有限公司 力度信息确定方法和设备
CN106371558B (zh) * 2015-07-31 2020-06-02 北京智谷睿拓技术服务有限公司 交互方法和设备
CN106361267B (zh) * 2015-08-28 2019-08-02 北京智谷睿拓技术服务有限公司 被按压位置确定方法和设备
CN106249853B (zh) * 2015-09-15 2019-03-19 北京智谷睿拓技术服务有限公司 交互方法和设备
CN106325491B (zh) * 2015-10-10 2020-04-14 北京智谷睿拓技术服务有限公司 输入信息确定方法和设备
CN106371816B (zh) * 2015-10-21 2020-11-27 北京智谷睿拓技术服务有限公司 左右手确定方法和设备
CN106361348A (zh) * 2015-11-19 2017-02-01 北京智谷睿拓技术服务有限公司 手指类型确定方法和设备
US11020058B2 (en) 2016-02-12 2021-06-01 Qualcomm Incorporated Methods and devices for calculating blood pressure based on measurements of arterial blood flow and arterial lumen
JP7040334B2 (ja) * 2018-07-19 2022-03-23 株式会社デンソー 電力変換装置
TWI689859B (zh) * 2019-03-19 2020-04-01 國立臺灣科技大學 由手腕偵測肌動訊號識別使用者手勢之系統及方法
CN115344111A (zh) * 2021-04-27 2022-11-15 华为技术有限公司 手势交互方法、系统和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1719385A (zh) * 2005-07-21 2006-01-11 高春平 电脑游戏的生理信号控制装置
CN1947085A (zh) * 2004-02-09 2007-04-11 皇家飞利浦电子股份有限公司 基于多普勒频移和激光自混和的光学输入设备
CN103941874A (zh) * 2014-04-30 2014-07-23 北京智谷睿拓技术服务有限公司 识别方法和设备
CN104267811A (zh) * 2014-09-22 2015-01-07 联想(北京)有限公司 终端设备和控制终端设备的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8738122B2 (en) 2009-08-21 2014-05-27 The Chinese University Of Hong Kong Systems and methods for reproducing body motions via networks
CN101995947B (zh) 2009-08-21 2012-07-04 香港中文大学 通过网络感知用户动作的系统和方法
JP4988016B2 (ja) * 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
TWI489325B (zh) * 2011-09-21 2015-06-21 Pixart Imaging Inc 光學手指滑鼠、電子裝置及生理特徵偵測裝置
TWI476641B (zh) * 2011-11-22 2015-03-11 Pixart Imaging Inc 遙控器及顯示系統
EP2698686B1 (en) * 2012-07-27 2018-10-10 LG Electronics Inc. Wrist-wearable terminal and control method thereof
CN104161512B (zh) 2014-08-27 2016-08-31 北京智谷技术服务有限公司 左右脑识别方法和设备
CN104224119A (zh) 2014-09-15 2014-12-24 北京智谷技术服务有限公司 肢体内外侧识别方法和设备
CN104699241B (zh) 2015-02-10 2018-04-06 北京智谷睿拓技术服务有限公司 确定动作和/或动作部位的方法和设备
CN104699242B (zh) * 2015-02-10 2018-04-06 北京智谷睿拓技术服务有限公司 确定动作和/或动作部位的方法和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1947085A (zh) * 2004-02-09 2007-04-11 皇家飞利浦电子股份有限公司 基于多普勒频移和激光自混和的光学输入设备
CN1719385A (zh) * 2005-07-21 2006-01-11 高春平 电脑游戏的生理信号控制装置
CN103941874A (zh) * 2014-04-30 2014-07-23 北京智谷睿拓技术服务有限公司 识别方法和设备
CN104267811A (zh) * 2014-09-22 2015-01-07 联想(北京)有限公司 终端设备和控制终端设备的方法

Also Published As

Publication number Publication date
WO2016127741A1 (en) 2016-08-18
CN104699241A (zh) 2015-06-10
US10292609B2 (en) 2019-05-21
US20180035903A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
CN104699241B (zh) 确定动作和/或动作部位的方法和设备
CN104699242B (zh) 确定动作和/或动作部位的方法和设备
CN104656896B (zh) 确定输入信息的方法和设备
CN104656895B (zh) 确定输入信息的方法和设备
CN104615248B (zh) 确定输入信息的方法和设备
CN106289309B (zh) 基于三轴加速度传感器的计步方法及装置
CN104729507B (zh) 一种基于惯性传感器的步态识别方法
Van Eck et al. Enabling process mining on sensor data from smart products
CN108171278B (zh) 一种基于运动训练数据的运动模式识别方法和系统
CN104135911A (zh) 多轴线活动监测装置中的活动分类
CN104731322A (zh) 确定输入信息的方法和设备
CN103989462A (zh) 一种脉搏波形第一特征点和第二特征点的提取方法
CN108021888A (zh) 一种跌倒检测方法
CN107024975A (zh) 交互方法和设备
CN110008847A (zh) 一种基于卷积神经网络的泳姿识别方法
Zhang et al. Attention-based Residual BiLSTM Networks for Human Activity Recognition
CN106249853B (zh) 交互方法和设备
CN106361318B (zh) 被按压位置确定方法和设备
CN106249851A (zh) 输入信息确定方法和设备
Korpela et al. Tree-structured classifier for acceleration-based activity and gesture recognition on smartwatches
CN206239420U (zh) 一种用于检测血氧饱和度和点滴速度的两用穿戴式设备
CN106361267B (zh) 被按压位置确定方法和设备
CN106371564A (zh) 输入信息确定方法和设备
CN110309740A (zh) 手势识别方法、可穿戴设备及手势控制系统
CN109948686A (zh) 一种基于九轴传感信号统计特征的泳姿识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant