CN106774818A - 姿势识别方法、姿势识别设备和可穿戴装置 - Google Patents
姿势识别方法、姿势识别设备和可穿戴装置 Download PDFInfo
- Publication number
- CN106774818A CN106774818A CN201610531788.8A CN201610531788A CN106774818A CN 106774818 A CN106774818 A CN 106774818A CN 201610531788 A CN201610531788 A CN 201610531788A CN 106774818 A CN106774818 A CN 106774818A
- Authority
- CN
- China
- Prior art keywords
- signal
- bio
- motion artifacts
- user
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000033001 locomotion Effects 0.000 claims abstract description 127
- 230000004044 response Effects 0.000 claims abstract description 45
- 230000006870 function Effects 0.000 claims description 76
- 230000036541 health Effects 0.000 claims description 27
- 238000003860 storage Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 230000003862 health status Effects 0.000 claims description 5
- 239000008280 blood Substances 0.000 claims description 2
- 210000004369 blood Anatomy 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 69
- 230000008859 change Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- CYJRNFFLTBEQSQ-UHFFFAOYSA-N 8-(3-methyl-1-benzothiophen-5-yl)-N-(4-methylsulfonylpyridin-3-yl)quinoxalin-6-amine Chemical compound CS(=O)(=O)C1=C(C=NC=C1)NC=1C=C2N=CC=NC2=C(C=1)C=1C=CC2=C(C(=CS2)C)C=1 CYJRNFFLTBEQSQ-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000011469 building brick Substances 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000022379 skeletal muscle tissue development Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Cardiology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Physiology (AREA)
- Pathology (AREA)
- User Interface Of Digital Computer (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Selective Calling Equipment (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
Abstract
一种姿势识别方法、姿势识别设备可穿戴装置。所述姿势识别的方法包括:使用处理器从生物信号传感器的输出信号检测运动伪影;以及响应于所检测到的运动伪影的信号图案与参考信号图案对应,生成控制信号以控制与该参考信号图案对应的目标装置的功能。
Description
本申请要求于2015年11月20日提交到韩国知识产权局的第10-2015-0163211号韩国专利申请的优先权,所述韩国专利申请的完整公开出于所有目的通过引用并入本文。
技术领域
以下描述涉及一种用于姿势识别的方法和设备以及用于姿势识别的可穿戴装置。
背景技术
姿势识别技术用于使得装置能够识别用户的不同姿势并且将所检测到的该姿势作为控制命令而作出响应。例如,装置可通过跟踪用户的整个身体或者身体的一部分(例如,用户的躯干、手、脸等)的移动来识别姿势。基于所识别的移动,装置可控制装置的功能。姿势识别技术的示例包括利用肌电图(EMG)传感器检测由肌肉生成的电子信号的改变并且基于所检测到的改变来估计用户所执行的姿势的方法、以及利用动作传感器(例如,加速度计和陀螺仪)从用户的物理移动测量惯性并且基于所测量到的惯性估计用户所执行的姿势的方法。
发明内容
提供此发明内容以按照简化形式介绍下面在具体实施方式中进一步描述的概念的选择。此发明内容并非意在标识要求保护的主题的关键特征或基本特征,也非意在辅助用于确定要求保护的主题的范围。
在一个总体方面,一种姿势识别方法包括:使用处理器从生物信号传感器的输出信号检测运动伪影;响应于所检测到的运动伪影的信号图案与参考信号图案对应,生成控制信号以控制与该参考信号图案对应的目标装置的功能。
生成控制信号的步骤可包括:基于运动伪影的信号图案以及存储在存储器中的至少一个参考信号图案来确定用户所执行的姿势的类型;基于所确定的姿势的类型来生成控制信号以操作目标装置。
运动伪影可通过由用户对生物信号传感器或者生物信号传感器附近的区域施加的物理压力或者移动而产生。
所述方法的一总体方面还可包括:响应于从输出信号没有检测到运动伪影,基于从输出信号检测的生物信号来估计用户的健康信息。
生成控制信号的步骤可包括:基于从输出信号检测的生物信号来执行用户验证;响应于成功的用户验证,生成控制信号。
生成控制信号的步骤可包括:确定预注册的参考信号图案中是否存在与运动伪影的信号图案对应的参考信号图案。
参考信号图案可通过由用户选择功能类型以确定功能类型并且注册与所确定的功能类型对应的运动伪影的信号图案来生成。
生物信号传感器可被包括在可穿戴装置中。生成用于控制目标装置的功能的控制信号的步骤可包括控制可穿戴装置的功能或者连接至可穿戴装置的另一装置的功能。
所述另一装置可以是移动终端、物联网(IoT)装置和智能车辆中的一个。
检测运动伪影的步骤可包括:基于时间间隔的输出信号的均值来确定是否出现运动伪影。
该方法的一总体方面还可包括:将控制信号无线地发送给执行所述功能的装置。
生物信号传感器可被构造为测量包括光电血管容积图(PPG)信号和心电图(ECG)信号中的至少一个的生物信号,该生物信号与用户的健康状况关联。
在另一总体方面,一种非暂时性计算机可读存储介质可存储指令,所述指令在被执行时使得计算硬件执行上述方法的一般方面。
在另一总体方面,一种姿势识别设备包括:至少一个处理器以及被构造为存储将由处理器执行的指令的至少一个存储器。所述指令在被执行时使得处理器:从生物信号传感器的输出信号检测运动伪影;响应于所检测到的运动伪影的信号图案与参考信号图案对应,生成用于控制与该参考信号图案对应的目标装置的功能的控制信号。
生物信号传感器可被包括在可穿戴装置中,并且生成控制信号的步骤可包括:生成用于控制可穿戴装置的功能或者连接至可穿戴装置的另一装置的功能的控制信号。
生成控制信号的步骤可包括:确定预注册的参考信号图案中是否存在与运动伪影的信号图案对应的参考信号图案。
在另一总体方面,一种可穿戴装置包括:生物信号传感器,被构造为测量生物信号;运动伪影处理器,被构造为从生物信号传感器的输出信号检测运动伪影;姿势识别处理器,被构造为响应于所检测到的运动伪影的信号图案与参考信号图案对应,生成控制信号以控制与该参考信号图案对应的功能;健康信息处理器,被构造为基于生物信号确定用户的健康信息。
姿势识别处理器可被构造为基于运动伪影的信号图案以及至少一个参考信号图案来确定用户所执行的姿势的类型,并且生成用于控制与所确定的姿势的类型对应的功能的控制信号。
响应于从生物信号传感器的输出信号没有检测到运动伪影,健康信息处理器可被构造为基于生物信号传感器的输出信号确定健康信息。
姿势识别处理器可被构造为基于生物信号执行用户验证,并且响应于成功用户验证,生成控制信号。
在另一总体方面,一种可穿戴装置包括:生物信号传感器,被构造为测量生物信号;运动伪影处理器,被构造为确定生物传感器的输出信号中是否存在运动伪影,并且响应于确定存在运动伪影,使得姿势类型处理器确定该运动伪影是否对应于参考信号,并且响应于确定不存在运动伪影,使得生物信号处理器处理生物信号传感器的输出以确定用户的健康状况。
可穿戴装置可不包括EMG传感器。
生物信号传感器包括PPG传感器。
可穿戴装置的总体方面还包括:控制信号生成电路,被构造为基于参考信号生成控制信号;发送器,被构造为将控制信号发送给远离可穿戴装置的装置。
其它特征和方面将从以下具体实施方式、附图和权利要求而显而易见。
附图说明
图1是示出手势识别设备的示例的示图。
图2和3是示出可穿戴装置的示例的示图。
图4A至图4C是示出生物信号传感器的输出信号基于用户所执行的手势而改变的示例的示图。
图5A至图5D是示出基于用户所执行的手势来控制功能的示例的示图。
图6是示出手势识别方法的示例的流程图。
图7是示出由可穿戴装置执行的处理的示例的流程图。
图8是示出手势识别设备的另一示例的示图。
贯穿附图和具体实施方式,相同的标号指代相同的元件。附图可能未按比例,可能为了清晰、说明和方便而夸大了图中元件的相对尺寸、比例和描绘。
具体实施方式
提供以下具体实施方式以帮助读者获得本文所描述的方法、设备和/或系统的全面理解。然而,对于本领域普通技术人员而言,本文所描述的方法、设备和/或系统的各种改变、修改和等同物将是明显的。本文中所描述的操作序列仅是示例,不限于本文所阐述的那些,而是如将对本领域普通技术人员而言显而易见的可改变,除非操作必须按照特定顺序发生。另外,为了清晰和简明,本领域普通技术人员熟知的功能和构造的描述可省略。
本文所描述的特征可按照不同的形式实施,而不应解释为限于本文所描述的示例。相反,提供本文所描述的示例以使得本公开将彻底和完整,并且将本公开的完整范围传达给本领域普通技术人员。
本文所使用的术语仅为了描述各种示例,而非意在限制本公开。如本文所用,除非上下文另外清楚地指示,否则单数形式也意在包括复数形式。如本文所用,术语“包括”和/或“具有”指明存在所说的特征、数量、操作、元件、组件及其组合,但不排除一个或更多个其它特征、数量、操作、元件、组件及其组合的存在或添加。
另外,本文中可使用诸如第一、第二、A、B、(a)、(b)等的术语来描述组件。这些术语中的每一个并非用于限定对应组件的本质、顺序或序列,而仅用于将对应组件与其它组件相区分。
以下将要描述的示例可适用于识别用户所执行的姿势并且基于所识别的姿势控制装置的功能的技术。根据一个示例,当穿戴着用于姿势识别的可穿戴装置的用户执行预注册的姿势时,可通过可穿戴装置的处理来检测到在可穿戴装置中的生物传感器的输出信号中由于姿势而出现的运动伪影。可基于所检测的运动伪影的信号图案识别姿势。作为姿势识别的结果,可穿戴装置或者连接至可穿戴装置的另一装置可被控制以执行针对各个预注册的姿势预定义的功能。
可穿戴装置可按照例如手表、手镯、带箍、眼镜和指环的形式提供。连接至可穿戴装置的所述另一装置可包括例如移动终端、智能家用电器、物联网(IoT)装置和智能车辆。然而,装置的类型不限于上述示例。移动终端可以是例如包括通信功能的个人数字助理(PDA)、智能电话、平板计算机和膝上型计算机。智能家用电器可以是例如电视(TV)、冰箱、音频系统、空调、洗衣机、机顶盒和真空吸尘器。IoT装置可包括可通过互联网远程控制的所有装置。
以下,参照附图详细描述示例。附图中的相似标号指代相似元件,本文中将省略已知功能或配置。
图1示出姿势识别设备110的示例。
姿势识别设备110识别用户所执行的姿势。姿势识别设备110基于生物信号传感器120的输出信号来识别用户所执行的姿势。生物信号传感器120被构造为测量用户的生物信号。根据一个示例,姿势识别设备110和生物信号传感器120二者可被包括在可穿戴装置中。然而,本说明书不限于此;在另一示例中,姿势识别设备110和生物信号传感器120可被包括在两个单独的装置中。姿势识别设备110可基于响应于穿戴着可穿戴装置的用户执行预定义的姿势而发生的生物信号传感器120的输出信号的改变,来识别用户所执行的姿势。生物信号表示包括从用户的身体测量的生物信息的信号。生物信号的示例包括例如光电血管容积图(PPG)信号和心电图(ECG)信号。PPG信号指示基于血流量的改变的血管容积的改变,ECG信号指示心脏位移的改变。以下,将参照图1描述姿势识别设备110的详细操作。
参照图1,姿势识别设备110包括运动伪影处理器130、参考信号图案存储装置140、姿势类型处理器150和控制信号生成器160。运动伪影处理器130、姿势类型处理器150和控制信号生成器160可利用一个或更多个处理器、电路和存储器来实现。参考信号图案存储装置可包括存储参考信号图案的存储器。
用户可执行姿势以便使得预定义的功能被执行,并且由于用户所执行的姿势,在生物信号传感器120的输出信号中可出现对应的运动伪影。运动伪影表示在通过生物信号传感器120从用户的身体测量生物信号的同时由于用户的有意移动而出现的噪声。运动伪影不仅可通过由于肌肉收缩和放松引起的用户的移动而产生,而且可通过由用户有意地对生物信号传感器120或者生物信号传感器120附近的区域施加的物理压力或移动而产生。响应于用户执行预定义的姿势以用于姿势识别,在生物信号传感器120的输出信号中可出现有意的运动伪影,运动伪影的信号图案可根据用户所执行的姿势而变化。
运动伪影处理器130从生物信号传感器120的输出信号检测运动伪影。运动伪影处理器130确定生物信号传感器120的输出信号是指示从用户的身体测量的生物信号还是通过用户所执行的姿势而产生的运动伪影。响应于生物信号传感器120的输出信号的幅度大于或等于阈值,运动伪影处理器130可确定出现运动伪影。所述阈值可基于在时间间隔期间生物信号传感器120的输出信号的均值。例如,当输出信号的均值增大时阈值可增大,而当输出信号的均值减小时阈值可减小。
根据一个示例,运动伪影处理器130可基于时间间隔对生物信号传感器120的输出信号进行采样,并且确定所采样的信号值的均值。运动伪影处理器130可确定所确定的均值与待采样的输出信号值之间的偏差。响应于所述偏差的值大于预设阈值,运动伪影处理器130可确定生物信号传感器120的输出信号中出现运动伪影。
响应于在生物信号传感器120的输出信号中检测到运动伪影,姿势类型处理器150基于运动伪影的信号图案以及至少一个预注册的参考信号图案来确定用户所执行的姿势的类型。运动伪影的信号图案可基于例如在出现运动伪影的时间间隔中向上或向下凸出的运动伪影的信号波形的形式,并且基于信号波形向上凸出或向下凸出的次数。在多个参考信号图案存储在姿势识别设备110中的情况下,姿势类型处理器150确定在所述多个参考信号图案中是否存在与运动伪影的信号图案对应的参考信号图案。针对各个参考信号图案预定义姿势,姿势类型处理器150通过识别与运动伪影的信号图案对应的参考信号图案来确定用户所执行的姿势的类型。
在另外的注册处理中注册参考信号图案,可基于所注册的姿势的数量而注册单个参考信号图案或多个参考信号图案。预先注册参考信号图案的注册处理可涉及确定将被控制的装置以及将通过所识别的姿势控制的功能类型,并且注册与所确定的装置和功能类型对应的运动伪影的信号图案。通过存储在用户执行将被注册的姿势期间在生物信号传感器120的输出信号中出现的运动伪影的信号图案,可注册与姿势对应的参考信号图案。关于所注册的参考信号图案的信息可被存储在参考信号图案存储装置140中。
姿势类型处理器150通过将运动伪影的信号图案的特征与预注册的参考信号图案的特征进行比较来确定运动伪影的信号图案是否对应于参考信号图案。运动伪影的信号图案的特征可基于运动伪影的信号波形以及运动伪影的信号特征点(例如,峰点、最大值点和最小值点)。例如,响应于运动伪影的信号波形与参考信号图案的波形之间的相似度大于或等于阈值,姿势类型处理器150可确定运动伪影的信号图案对应于参考信号图案。又如,姿势类型处理器150可将峰点的数量等于与运动伪影的信号波形中的峰点的数量的参考信号图案确定为与运动伪影的信号图案对应的参考信号图案,其中,所述运动伪影的信号波形中的峰值的数量等于或大于阈值。
控制信号生成器160生成控制信号以控制与通过姿势类型处理器150确定的姿势对应的功能。控制信号生成器160可包括用于生成控制信号的控制信号生成电路。控制信号表示用于控制装置中预定义的功能的信号,并且将通过控制信号所控制的功能可由用户在注册处理中选择。
姿势识别设备110还可包括发送器170,该发送器170被构造为将由控制信号生成器160生成的控制信号无线地发送给将被控制的目标装置。例如,响应于将被控制的目标装置与姿势识别设备110分开,发送器170可将控制信号无线地发送给目标装置。在此示例中,控制信号可按包的形式所配置,目标装置的地址信息以及关于将被控制的功能的信息可被包括在包的有效载荷中。
如上所述,姿势识别设备110可基于被构造为测量生物信号的生物信号传感器120的输出信号的改变来识别姿势,而无需使用附加传感器(例如,肌电图(EMG)传感器和运动传感器)来识别姿势。换言之,根据一个示例的姿势识别设备110可无需使用EMG传感器而被实现。因此,在不使用这样的附加传感器来进行姿势识别的情况下,功耗量可减小并且制造成本可降低。例如,在EMG传感器用于姿势识别的情况下,EMG传感器可能需要被附着到皮肤以检测肌肉移动。然而,根据示例,可利用无需附着到皮肤的PPG传感器来执行姿势识别技术,从而增加用户的便利性。另外,与使用被构造为感测肌肉的精细电变化的EMG传感器执行的姿势识别相比,可更直观地执行姿势识别。
另外,由于姿势通过检测肌肉移动或者装置的移动来执行使用EMG传感器或运动传感器的姿势识别,所以可能响应于用户执行无意的姿势而不正确地识别或者误识别姿势。然而,根据示例,在使用运动伪影(其中,所述运动伪影在用户有意地移动生物信号传感器或者对生物信号传感器附近的区域施加物理压力时出现)的姿势识别方法中,不正确地识别或者误识别用户所执行的无意的姿势的概率可降低。
图2是示出可穿戴装置200的示例的示图。
可穿戴装置200监测用户的健康状况,并且通过姿势识别方便地控制存在于可穿戴装置200附近的区域中的装置的功能。可穿戴装置200基于生物信号传感器210所测量的生物信号(例如,PPG信号和ECG信号)确定用户的健康信息,或者基于生物信号传感器210的输出信号中出现的运动伪影识别用户所执行的姿势。
参照图2,可穿戴装置200包括生物信号传感器210、运动伪影处理器220、健康信息处理器230和姿势识别处理器240。
运动伪影处理器220从生物信号传感器210的输出信号检测运动伪影。图1所示的运动伪影处理器130的描述可应用于图2所示的运动伪影处理器220,因此这里将省略更详细的描述。响应于在生物信号传感器210的输出信号中没有检测到任何运动伪影的存在,运动伪影处理器220可将作为生物信号传感器210的输出信号的生物信号传送给健康信息处理器230。响应于从生物信号传感器210的输出信号检测到运动伪影,运动伪影处理器220可将生物信号传感器210的输出信号传送至姿势识别处理器240。
健康信息处理器230基于生物信号传感器210所测量的生物信号来确定用户的健康信息。在示例中,响应于生物信号传感器210测量到PPG信号,健康信息处理器230可基于所测量的PPG信号来估计心血管信息(例如,血压)。当生物信号传感器210测量到ECG信号时,健康信息处理器230可基于所测量的ECG信号估计心脏疾病信息。
姿势识别处理器240基于运动伪影处理器220所检测的运动伪影的信号图案来识别用户所执行的姿势。姿势识别处理器240通过将运动伪影的信号图案与参考信号图案进行比较来估计用户所执行的姿势的类型,并且生成控制信号以控制与用户所执行的姿势对应的功能。
健康信息处理器230和姿势识别处理器240的详细描述将参照图3提供。如上所述,在用户没有进行有意的姿势的平常时间期间,可穿戴装置200可基于生物信号传感器210所测量的生物信号来确定用户的健康信息。当用户执行有意的姿势以发起目标装置的功能时,可穿戴装置200可分析生物信号传感器210的输出信号中出现的运动伪影的信号图案,并且生成控制信号以发起与用户所执行的姿势对应的功能。
图3是图2所示的可穿戴装置200的示例的示图。
参照图3,健康信息处理器230包括生物信号处理器350和健康信息估计器360。生物信号处理器350和健康信息估计器360可利用一个或更多个处理器、电路和存储器来实现。生物信号处理器350通过处理生物信号来从生物信号提取信号特征。信号特征可包括例如生物信号的波形中的最大值点、最小值点、拐点、最大倾斜点和最小倾斜点以及信号波形区域。然而,信号特征的类型不限于上述示例。健康信息估计器360基于生物信号的信号特征来估计与用户的健康关联的健康信息。由健康信息估计器360估计的健康信息通过输出接口(未示出)(例如,显示器和扬声器)被提供给用户,或者被存储在单独的存储装置(未示出)中。健康信息估计器360还响应于确定在监测用户的健康状况的同时出现异常健康状况,向用户提供警告。
姿势识别处理器240包括姿势类型处理器320、参考信号图案存储装置310和控制信号生成器330。姿势类型处理器320基于运动伪影的信号图案以及存储在参考信号图案存储装置310中的至少一个参考信号图案来确定用户所执行的姿势的类型。控制信号生成器330生成与所确定的姿势的类型对应的控制信号。例如,控制信号可包括用于控制可穿戴装置200的功能或者连接至可穿戴装置200的另一装置的功能的控制信号。参照图1提供的姿势类型处理器150和控制信号生成器160的描述适用于姿势类型处理器320和控制信号生成器330,因此这里将省略更详细的描述。在示例中,姿势识别处理器240还可包括发送器340。发送器340将控制信号无线地发送给将被控制的目标装置。
在此示例中,姿势识别处理器240还包括用户验证器370。然而,在另一示例中可不存在此特征。用户验证器370执行用户验证以确定当前穿戴着可穿戴装置200的用户是不是注册用户。响应于确定所测量的生物信号的信号特征对应于注册用户的生物信号的信号特征,用户验证器370确定用户验证成功。相反,响应于确定生物信号的信号特征不对应于注册用户的生物信号的信号特征,用户验证器370确定用户验证不成功。响应于成功的用户验证,用户验证器370控制从控制信号生成器330正常地输出控制信号。响应于不成功的用户验证,用户验证器370控制不从控制信号生成器330输出控制信号。
图4A至图4C是示出基于用户所执行的姿势的生物信号传感器的输出信号的示例的示图。在图4A至图4C所示的示例中,假设被构造为从用户的腕部测量PPG信号的生物信号传感器被包括在腕戴式手表型可穿戴装置中,并且预注册的姿势的类型包括第一姿势、第二姿势和第三姿势。
图4A提供生物信号传感器的输出信号的示例,其示出输出信号的幅度基于第一用户所执行的姿势的改变。第一姿势涉及持握可穿戴装置并且从左至右摇动可穿戴装置或者上下摇动手腕。图4A示出从生物信号传感器获得的输出信号的波形410的示例。在与没有检测到运动伪影的时间帧对应的第一时间间隔415期间,PPG信号通过生物信号传感器被测量。响应于用户在第二时间间隔420期间执行第一姿势以发起目标装置的功能,具有输出信号的幅度极大地波动的形式的运动伪影出现在输出信号的波形410中。在第一姿势终止之后的第三时间间隔425期间,通过生物信号传感器测量的PPG信号再次出现在输出信号的波形410中。
图4B示出当用户通过用另一只手在可穿戴装置上施加向下的力以按压可穿戴装置来执行第二姿势时生物信号传感器的输出信号的示例。参照图4B,示出了通过生物信号传感器生成的输出信号的波形430的示例。在图4B所示的第一时间间隔435期间,测量PPG信号。在第二时间间隔440期间,用户执行第二姿势。具有生物信号传感器的输出信号的信号幅度值被维持在小阈值以下直至第二姿势终止的形式的运动伪影出现。在图4B所示的第三时间间隔445期间,在第二姿势终止之后,PPG信号再次出现在输出信号的波形430中。
图4C示出当用户通过用手指轻敲可穿戴装置附近的区域两次来执行第三姿势时所生成的生物信号传感器的输出信号的示例。参照图4C,示出生物信号传感器的输出信号的波形450。在图4C所示的第一时间间隔455期间,测量PPG信号。在用户执行第三姿势的第二时间间隔460期间,具有幅度极大地波动两次的形式的运动伪影出现。在第三姿势终止之后的第三时间间隔465期间,PPG信号再次出现在输出信号的波形450中。
在图4A至图4C所示的示例中,可穿戴装置确定生物信号传感器的输出信号中是否出现运动伪影,并且当没有出现运动伪影时基于PPG信号估计用户的健康信息。当在生物信号传感器的输出信号中检测到运动伪影时,可穿戴装置基于运动伪影的信号图案确定用户所执行的姿势的类型,并且生成控制信号以执行与用户所执行的姿势对应的功能。运动伪影的信号图案可根据用户所执行的姿势而变化,并且用户所执行的姿势的类型可通过基于用户所执行的姿势的各个类型识别运动伪影的信号图案来确定。
用户所执行的姿势的类型不限于图4A至图4C所示的示例,因此可进行各种改变和修改。
图5A至图5D是示出基于用户所执行的姿势发送用于发起功能的控制命令的方法的示例的示图。在图5A至图5D所示的示例中,假设基于参照图4A至图4C描述的第一姿势、第二姿势和第三姿势来发起对应功能。
图5A示出响应于将被控制的目标装置是可穿戴装置,发送对于功能的控制命令的方法的示例。参照图5A,响应于识别出由用户通过持握可穿戴装置并从左至右摇动可穿戴装置而执行的第一姿势510,执行切换至主画面的功能。响应于识别出由用户通过用另一只手施加向下的力按压可穿戴装置而执行的第二姿势520,执行打开或关闭可穿戴装置的开关功能。响应于识别出由用户通过用手指轻敲可穿戴装置附近的区域两次而执行的第三姿势530,执行可穿戴装置的频繁使用的应用或者由用户预注册的应用。
图5B示出当将被控制的目标装置是当前正在执行音乐应用的智能电话时,生成对于功能的控制命令的方法的示例。参照图5B,当识别出第一姿势510时,在音乐应用中执行播放下一首歌曲的功能。当识别出第二姿势520时,执行暂停和重放当前播放的歌曲的开关功能。当识别出第三姿势530时,执行增加或减小音乐应用中的音量的功能。根据这些示例,代替通过对于应用的触摸输入而进行的直接操纵,用户可通过直观的姿势识别来操纵智能电话中执行的应用的功能。因此,可提高用户便利性。
图5C示出当将被控制的目标装置是物联网(IoT)中的智能照明设备时控制功能的方法的示例。参照图5C,响应于识别出第一姿势510,执行智能照明设备的功能,例如,改变光的颜色的功能。响应于识别出第二姿势520,执行打开或关闭智能照明设备的功能。响应于识别出第三姿势530,执行增加或减小智能照明设备的亮度的功能。用户可利用可穿戴装置通过姿势识别更方便地控制存在于用户或者用户所穿戴的可穿戴装置周围的另一装置的功能。
图5D示出当将被控制的目标装置是智能车辆时控制功能的方法的示例。参照图5D,当识别出第一姿势510时,执行打开处于智能车辆不行驶的静止状态的智能车辆的车门的功能。响应于识别出第二姿势520,执行启动智能车辆的功能或者激活门锁系统的功能。响应于识别出第三姿势530,执行打开处于静止状态的智能车辆的后备箱的功能。在示例中,可在控制功能之前执行基于生物信号的用户验证。例如,可执行用户验证以基于通过生物信号传感器测量的用户的生物信号来确定穿戴着可穿戴装置的用户是不是注册用户。响应于成功的用户验证,可通过识别用户所执行的姿势来控制功能。在这样的示例中,可在用户验证之前或者在用户验证之后执行基于运动伪影的信号图案的姿势识别。
在图5A至图5D的示例中,响应于识别出用户所执行的姿势而生成的控制信号可被无线地发送给智能电话、智能照明设备、智能车辆等。控制信号可被直接从可穿戴装置发送给这样的将被控制的目标装置,或者经由连接至可穿戴装置的另一装置被发送给目标装置。例如,控制信号可通过连接至可穿戴装置的智能电话来发送。可穿戴装置和目标装置可通过各种通信方法彼此连接。例如,可穿戴装置和目标装置可通过Wi-Fi方法、近场通信(NFC)方法、第二代或第三代蜂窝通信系统、长期演进(LTE)方法、蓝牙方法等来彼此连接。可基于所述通信方法将控制信号从可穿戴装置发送给目标装置。
用户所执行的姿势的类型以及待控制的功能的类型不限于图5A至图5D所示的示例,因此可进行各种改变和修改。
图6是示出姿势识别方法的示例的流程图。参照图6,在操作610中,姿势识别设备从生物信号传感器的输出信号检测运动伪影。在操作620中,姿势识别设备确定所检测到的运动伪影的信号图案是否对应于预定义的参考信号图案。在操作630中,响应于运动伪影的信号图案被确定为对应于参考信号图案,姿势识别设备生成控制信号以控制与该参考信号图案对应的功能。控制信号被传送至将执行待控制的功能的目标装置,该目标装置执行由所接收的控制信号限定的功能。在操作640中,当目标装置与姿势识别设备分离地设置时,姿势识别设备选择性地并且无线地将控制信号发送给目标装置。
参照图6描述的姿势识别方法的详细描述先前已参照图1提供,因此,这里将省略更详细的描述。
图7是示出由可穿戴装置执行的处理的示例的流程图。参照图7,在操作710中,可穿戴装置接收生物信号传感器的输出信号。在操作720中,可穿戴装置确定是否从生物信号传感器的输出信号检测到运动伪影。在操作730中,响应于检测到运动伪影,可穿戴装置通过将所检测到的运动伪影的信号图案与预注册的参考信号图案进行比较,来确定由用户执行的姿势的类型。在操作740中,可穿戴装置生成用于控制与所确定的姿势的类型对应的功能的控制信号,该控制信号被传送给将要执行该功能的目标装置。在操作750中,在目标装置位于单独的装置中的情况下,可穿戴装置选择性地并且无线地将控制信号发送给目标装置。
在操作760中,响应于在操作720中没有检测到运动伪影,可穿戴装置从生物信号传感器的输出信号提取生物信号特征。生物信号特征表示通过生物信号传感器测量的生物信号的特征。在操作770中,可穿戴装置基于所提取的生物信号特征来估计用户的健康信息。
参照图7描述的处理的详细描述先前已参照图2提供,因此,这里将省略更详细的描述。
图8是示出姿势识别设备800的另一示例的示图。
参照图8,姿势识别设备800包括至少一个处理器810和至少一个存储器820。
处理器810执行参照图1至图7描述的至少一个操作。例如,处理器810可从生物信号传感器的输出信号检测运动伪影,基于所检测到的运动伪影的信号图案估计用户所执行的姿势,并且生成用于控制与用户所执行的姿势对应的预定义的功能的控制信号。处理器810可被构造为逻辑门的阵列,但是对于本公开所属领域的普通技术人员而言明显的是,处理器810可被构造为另一形式的硬件。
存储器820存储用于执行参照图1至图7描述的至少一个操作的指令,或者存储在姿势识别设备800的操作期间获得的数据和结果。在一些示例中,存储器820可包括非暂时性计算机可读介质,例如,高速随机存取存储器和/或非易失性计算机可读介质(例如,至少一个盘存储装置、闪速存储器装置和其它非易失性固态存储器装置)。
在此示例中,姿势识别设备800还包括输入或输出接口830(例如,显示器、键盘、触摸屏、麦克风等)或者网络通信接口以与外部源通信。然而,本说明书不限于此;在另一示例中,处理器810可将生物信号传感器的输出信号用作输入。输入或输出接口可接收来自用户的输入或者来自姿势识别的输出结果(例如,关于将被执行的功能的信息)。网络通信接口可向外发送由处理器810生成的控制信号。
执行本文中参照图6和图7描述的操作的设备、单元、模块、装置、生物信号传感器、运动伪影处理器、姿势类型处理器、控制信号生成器、发送器、健康信息处理器、用户验证器、参考信号图案存储装置以及图1、图2、图3和图8所示的其它组件通过硬件组件来实现。硬件组件的示例包括控制器、传感器、生成器、驱动器以及本领域普通技术人员已知的任何其它电子组件。在一个示例中,硬件组件通过一个或更多个处理器或计算机来实现。处理器或计算机通过一个或更多个处理元件(诸如,逻辑门阵列、控制器和算术逻辑单元的处理元件、数字信号处理器、微计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或者本领域普通技术人员已知的能够响应于指令并以限定的方式执行该指令来实现期望的结果的任何其它装置或者装置的组合)来实现。在一个示例中,处理器或计算机包括(或者连接至)存储由处理器或计算机执行的指令或软件的一个或更多个存储器。通过处理器或计算机实现的硬件组件执行诸如操作系统(OS)以及在OS上运行的一个或更多个软件应用的指令或软件,以执行本文中参照图6和图7描述的操作。硬件组件还响应于指令或软件的执行而存取、操纵、处理、创建和传输数据。为了简化,本文所述的示例的描述中可使用单数术语“处理器”或“计算机”,但是在其它示例中,使用多个处理器或计算机,或者处理器或计算机包括多个处理元件、或者多种类型的处理元件、或者这二者。在一个示例中,硬件组件包括多个处理器,在另一示例中,硬件组件包括处理器和控制器。硬件组件具有不同的处理配置中的任一个或更多个,处理配置的示例包括单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。
执行本文中关于图1至图8描述的操作的图6和图7所示的方法的示例由如上所述执行指令或软件以执行本文所述的操作的处理器或计算机执行。
用于控制处理器或计算机以实现硬件组件并且执行如上所述的方法的指令或软件被编写为计算机程序、代码段、指令或者其任何组合,以用于单独地或共同地指示或配置处理器或计算机作为机器或通用计算机操作以执行由如上所述的硬件组件执行的操作和方法。在一个示例中,指令或软件包括直接由处理器或计算机执行的机器代码,诸如通过编译器生成的机器代码。在另一示例中,指令或软件包括由处理器或计算机利用解释器执行的高级代码。本领域的普通程序员可基于附图中所示的框图和流程图以及说明书中的对应描述容易地编写指令或软件,其公开了用于执行由如上所述的硬件组件执行的操作和方法的算法。
用于控制处理器或计算机以实现硬件组件并且执行如上所述的方法的指令或软件以及任何相关的数据、数据文件和数据结构被记录、存储或固定于一个或更多个非暂时性计算机可读存储介质中或上。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及本领域普通技术人员已知的任何装置,其能够以非暂时性方式存储指令或软件以及任何相关的数据、数据文件和数据结构并且将所述指令或软件以及任何相关的数据、数据文件和数据结构提供给处理器或计算机以使得处理器或计算机可执行所述指令。在一个示例中,指令或软件以及任何相关的数据、数据文件和数据结构被分布于联网的计算机系统上,以使得所述指令和软件以及任何相关的数据、数据文件和数据结构以分布式方式被处理器或计算机存储、访问和执行。
尽管本公开包括特定示例,对于本领域普通技术人员而言将明显的是,在不脱离权利要求及其等同物的精神和范围的情况下,可对这些示例中进行各种形式和细节上的改变。本文所描述的示例将仅从描述的意义上考虑,而非为了限制。每一示例中的特征或方面的描述将被视为适用于其它示例中的类似特征或方面。如果所描述的技术按照不同的顺序执行,和/或如果所描述的系统、架构、装置或电路中的组件以不同的方式组合和/或通过其它组件或其等同物替代或补充,则可能实现适当的结果。因此,本公开的范围不由具体实施方式限定,而是由权利要求及其等同物限定,权利要求及其等同物的范围内的所有变化将被解释为包括在本公开中。
Claims (19)
1.一种姿势识别的方法,该方法包括:
从生物信号传感器的输出信号检测运动伪影;以及
响应于所检测到的运动伪影的信号图案与参考信号图案对应,生成控制信号以控制与所述参考信号图案对应的目标装置的功能。
2.根据权利要求1所述的方法,其中,生成控制信号的步骤包括:
基于运动伪影的信号图案以及存储在存储器中的至少一个参考信号图案来确定用户所执行的姿势的类型;以及
基于所确定的姿势的类型来生成控制信号以操作目标装置。
3.根据权利要求1所述的方法,其中,运动伪影通过由用户对生物信号传感器或者生物信号传感器附近的区域施加的物理压力或者移动而产生。
4.根据权利要求1所述的方法,还包括:
响应于从输出信号没有检测到运动伪影,基于从输出信号检测的生物信号来估计用户的健康信息。
5.根据权利要求1所述的方法,其中,生成控制信号的步骤包括:
基于从输出信号检测的生物信号来执行用户验证;以及
响应于成功的用户验证,生成控制信号。
6.根据权利要求1所述的方法,其中,生成控制信号的步骤包括:
确定预注册的参考信号图案中是否存在与运动伪影的信号图案对应的参考信号图案。
7.根据权利要求1所述的方法,其中,参考信号图案通过由用户选择功能类型以确定功能类型并且注册与所确定的功能类型对应的运动伪影的信号图案来生成。
8.根据权利要求1所述的方法,其中,生物信号传感器被包括在可穿戴装置中,并且
生成控制信号以控制目标装置的功能的步骤包括:控制可穿戴装置的功能或者连接至可穿戴装置的另一装置的功能。
9.根据权利要求8所述的方法,其中,所述另一装置是移动终端、物联网(IoT)装置和智能车辆中的一个。
10.根据权利要求1所述的方法,其中,检测运动伪影的步骤包括:
基于时间间隔的输出信号的均值来确定是否出现运动伪影。
11.根据权利要求1所述的方法,还包括:
将控制信号无线地发送给执行所述功能的装置。
12.根据权利要求1所述的方法,其中,生物信号传感器被配置为测量包括光电血管容积图(PPG)信号和心电图(ECG)信号中的至少一个的生物信号,该生物信号与用户的健康状况关联。
13.一种姿势识别设备,包括:
至少一个处理器;以及
至少一个存储器,被配置为存储将由处理器执行的指令,
其中,所述指令在被执行时使处理器:
从生物信号传感器的输出信号检测运动伪影;并且
响应于所检测到的运动伪影的信号图案与参考信号图案对应,生成控制信号以控制与所述参考信号图案对应的目标装置的功能。
14.根据权利要求13所述的姿势识别设备,其中,生物信号传感器被包括在可穿戴装置中,并且
其中,所述指令在被执行时还使处理器:
生成控制信号以控制可穿戴装置的功能或者连接至可穿戴装置的另一装置的功能。
15.根据权利要求13所述的姿势识别设备,其中,所述指令在被执行时还使处理器:
确定预注册的参考信号图案中是否存在与运动伪影的信号图案对应的参考信号图案。
16.一种可穿戴装置,包括:
生物信号传感器,被构造为测量生物信号;以及
运动伪影处理器,被构造为确定生物传感器的输出信号中是否存在运动伪影,并且
响应于确定存在运动伪影,使得姿势类型处理器确定该运动伪影是否对应于参考信号;并且
响应于确定不存在运动伪影,使得生物信号处理器处理生物信号传感器的输出以确定用户的健康状况。
17.根据权利要求16所述的可穿戴装置,其中,姿势类型处理器被构造为基于运动伪影的信号图案以及至少一个参考信号图案来确定用户所执行的姿势的类型,并且生成控制信号以控制与所确定的姿势的类型对应的功能。
18.根据权利要求16所述的可穿戴装置,其中,姿势识别处理器被配置为基于生物信号执行用户验证,并且响应于成功用户验证,生成控制信号。
19.根据权利要求16所述的可穿戴装置,还包括:
控制信号生成电路,被构造为基于参考信号生成控制信号;以及
发送器,被构造为将控制信号发送给远离可穿戴装置的装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2015-0163211 | 2015-11-20 | ||
KR1020150163211A KR102570068B1 (ko) | 2015-11-20 | 2015-11-20 | 동작 인식 방법, 동작 인식 장치 및 웨어러블 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106774818A true CN106774818A (zh) | 2017-05-31 |
CN106774818B CN106774818B (zh) | 2021-07-20 |
Family
ID=57321226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610531788.8A Active CN106774818B (zh) | 2015-11-20 | 2016-07-04 | 姿势识别方法、姿势识别设备和可穿戴装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9977509B2 (zh) |
EP (1) | EP3171248B1 (zh) |
JP (1) | JP7094077B2 (zh) |
KR (1) | KR102570068B1 (zh) |
CN (1) | CN106774818B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109462691A (zh) * | 2018-10-27 | 2019-03-12 | 中国人民解放军战略支援部队信息工程大学 | 一种基于多传感器数据融合的隐式防护方法及系统 |
CN109875526A (zh) * | 2018-12-28 | 2019-06-14 | 北京津发科技股份有限公司 | 一种基于压力与反射式综合测量脉搏装置 |
CN110415391A (zh) * | 2018-04-27 | 2019-11-05 | 开利公司 | 使用可佩戴设备的无缝进入控制系统 |
CN110896425A (zh) * | 2018-09-12 | 2020-03-20 | 意法半导体股份有限公司 | 用于识别将移动电子设备带到用户耳朵的姿势的系统和方法 |
CN111052049A (zh) * | 2017-10-09 | 2020-04-21 | 华为技术有限公司 | 一种动作识别方法、装置及终端 |
CN111417343A (zh) * | 2017-12-07 | 2020-07-14 | 八乐梦床业株式会社 | 姿势判定装置 |
CN112783326A (zh) * | 2021-01-28 | 2021-05-11 | 唐庆圆 | 手势识别装置和手势识别系统 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
WO2015081113A1 (en) | 2013-11-27 | 2015-06-04 | Cezar Morun | Systems, articles, and methods for electromyography sensors |
US10223634B2 (en) | 2014-08-14 | 2019-03-05 | The Board Of Trustees Of The Leland Stanford Junior University | Multiplicative recurrent neural network for fast and robust intracortical brain machine interface decoders |
US10275036B2 (en) | 2016-01-04 | 2019-04-30 | Sphero, Inc. | Modular sensing device for controlling a self-propelled device |
KR102479578B1 (ko) * | 2016-02-03 | 2022-12-20 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
EP3407228B1 (en) * | 2017-05-26 | 2024-03-27 | Nokia Technologies Oy | Wearable sensors for inputting a command |
EP3697297A4 (en) | 2017-10-19 | 2020-12-16 | Facebook Technologies, Inc. | SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS |
EP3476672A1 (en) * | 2017-10-27 | 2019-05-01 | Continental Automotive GmbH | Mobile transmitter unit and method for controlling a function of a technical system using such mobile transmitter unit |
WO2019079909A1 (en) * | 2017-10-27 | 2019-05-02 | Ecole De Technologie Superieure | SYSTEM FOR CLASSIFYING INTRA-AURICULAR NON-VERB AUDIO EVENTS AND ASSOCIATED METHOD |
USD866523S1 (en) | 2017-12-14 | 2019-11-12 | Roland Corporation | Electronic musical instrument |
US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
EP3853698A4 (en) | 2018-09-20 | 2021-11-17 | Facebook Technologies, LLC | NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY |
CN113423341A (zh) | 2018-11-27 | 2021-09-21 | 脸谱科技有限责任公司 | 用于可穿戴电极传感器系统的自动校准的方法和装置 |
CN113474845A (zh) | 2019-02-06 | 2021-10-01 | 埃科莱布美国股份有限公司 | 用于减少由无效卫生实践引起的疾病和感染的卫生管理 |
US11640204B2 (en) | 2019-08-28 | 2023-05-02 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods decoding intended symbols from neural activity |
JP6780886B1 (ja) | 2019-11-07 | 2020-11-04 | 株式会社スペース二十四インフォメーション | 物体識別管理システム |
KR20210078283A (ko) * | 2019-12-18 | 2021-06-28 | 삼성전자주식회사 | 센서 신호로부터 사용자의 제스처를 인식하는 전자 장치 및 이를 이용한 제스처 인식 방법 |
US11457861B1 (en) | 2019-12-31 | 2022-10-04 | Express Scripts Strategic Development, Inc. | Systems and methods for using wearable computing devices to detect gestures of patient prescription adherence |
WO2022006462A1 (en) * | 2020-07-01 | 2022-01-06 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods decoding intended symbols from neural activity |
WO2022030968A1 (ko) | 2020-08-04 | 2022-02-10 | 삼성전자 주식회사 | 제스처를 인식하는 전자 장치 및 그 동작 방법 |
US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
EP4369153A1 (en) | 2021-12-09 | 2024-05-15 | Samsung Electronics Co., Ltd. | Gesture recognition method using wearable device, and device therefor |
US11934586B2 (en) * | 2022-06-29 | 2024-03-19 | Google Llc | Gesture detection via image capture of subdermal tissue from a wrist-pointing camera system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6244873B1 (en) * | 1998-10-16 | 2001-06-12 | At&T Corp. | Wireless myoelectric control apparatus and methods |
JP2014200681A (ja) * | 2013-04-06 | 2014-10-27 | 本田技研工業株式会社 | 車両内でのバイオメトリック識別を実行するシステム及び方法 |
US20140368474A1 (en) * | 2013-06-17 | 2014-12-18 | Samsung Electronics Co., Ltd. | Device, method, and system to recognize motion using gripped object |
US20150074797A1 (en) * | 2013-09-09 | 2015-03-12 | Samsung Electronics Co., Ltd. | Wearable device performing user authentication using bio-signals and authentication method of the same |
CN104699242A (zh) * | 2015-02-10 | 2015-06-10 | 北京智谷睿拓技术服务有限公司 | 确定动作和/或动作部位的方法和设备 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6238338B1 (en) * | 1999-07-19 | 2001-05-29 | Altec, Inc. | Biosignal monitoring system and method |
KR100396924B1 (ko) * | 2001-02-27 | 2003-09-03 | 한국전자통신연구원 | 생체신호를 이용한 전자기기 제어 장치 및 그 방법 |
JP4526532B2 (ja) * | 2003-02-27 | 2010-08-18 | ネルコア ピューリタン ベネット アイルランド | 信号の解析及び処理方法 |
JP2008305199A (ja) * | 2007-06-07 | 2008-12-18 | Fujitsu Component Ltd | 入力システム及びプログラム |
JP2008305198A (ja) * | 2007-06-07 | 2008-12-18 | Fujitsu Component Ltd | 入力システム及び入力装置 |
US8380314B2 (en) * | 2007-09-26 | 2013-02-19 | Medtronic, Inc. | Patient directed therapy control |
EP2198810B1 (en) * | 2007-09-27 | 2015-07-08 | University of Tsukuba | Turn adjusting apparatus and method for controlling turning apparatus |
WO2009097563A1 (en) * | 2008-01-30 | 2009-08-06 | Case Western Reserve University | Neural prosthesis system and method of control |
JP5208150B2 (ja) | 2010-03-26 | 2013-06-12 | シチズンホールディングス株式会社 | 電子血圧計 |
TWI410235B (zh) * | 2010-04-21 | 2013-10-01 | Univ Nat Chiao Tung | 日常生活與跌倒動作辨識裝置 |
JP2012098771A (ja) * | 2010-10-29 | 2012-05-24 | Sony Corp | 画像処理装置および方法、並びに、プログラム |
US9170674B2 (en) | 2012-04-09 | 2015-10-27 | Qualcomm Incorporated | Gesture-based device control using pressure-sensitive sensors |
US9599632B2 (en) | 2012-06-22 | 2017-03-21 | Fitbit, Inc. | Fitness monitoring device with altimeter |
JP2014168594A (ja) | 2013-03-04 | 2014-09-18 | Nec Casio Mobile Communications Ltd | 認証装置及び認証方法 |
KR102148645B1 (ko) | 2013-03-15 | 2020-08-28 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
KR20150027876A (ko) | 2013-08-29 | 2015-03-13 | 삼성전자주식회사 | 모션을 이용한 스마트 워치 단말의 제어 방법 및 장치 |
KR101494865B1 (ko) * | 2013-08-30 | 2015-02-23 | 연세대학교 산학협력단 | 어레이형 유도용량성 생체신호 전극 및 이를 구비한 생체신호 검출키트 |
KR101536139B1 (ko) * | 2013-09-05 | 2015-07-13 | 연세대학교 산학협력단 | 직물전극 키트 및 이를 장착한 동잡음 최소화 의복 |
US20150145653A1 (en) | 2013-11-25 | 2015-05-28 | Invensense, Inc. | Device control using a wearable device |
KR102271432B1 (ko) * | 2013-11-27 | 2021-07-01 | 엘지전자 주식회사 | 웨어러블 디바이스 및 그 제어 방법 |
KR102114616B1 (ko) * | 2013-12-06 | 2020-05-25 | 엘지전자 주식회사 | 스마트 와치 및 제어 방법 |
KR20150067047A (ko) * | 2013-12-09 | 2015-06-17 | 삼성전자주식회사 | 모듈러 센서 플랫폼 |
EP2887351A1 (en) * | 2013-12-18 | 2015-06-24 | Karlsruher Institut für Technologie | Computer-implemented method, computer system and computer program product for automatic transformation of myoelectric signals into audible speech |
JP2015122023A (ja) | 2013-12-25 | 2015-07-02 | セイコーエプソン株式会社 | ウェアラブル機器及びウェアラブル機器の制御方法 |
KR20150077684A (ko) | 2013-12-30 | 2015-07-08 | 삼성전자주식회사 | 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치 |
KR102277752B1 (ko) | 2014-01-06 | 2021-07-16 | 삼성전자주식회사 | 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법 |
KR102135586B1 (ko) | 2014-01-24 | 2020-07-20 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
JP5991498B2 (ja) * | 2014-07-08 | 2016-09-14 | パナソニックIpマネジメント株式会社 | 筋電位計測装置及び筋電位計測方法 |
KR102409381B1 (ko) * | 2014-07-14 | 2022-06-15 | 삼성전자주식회사 | 재귀 추정을 이용한 생체 신호 처리 방법 및 그 장치 |
-
2015
- 2015-11-20 KR KR1020150163211A patent/KR102570068B1/ko active IP Right Grant
-
2016
- 2016-06-20 US US15/186,796 patent/US9977509B2/en active Active
- 2016-07-04 CN CN201610531788.8A patent/CN106774818B/zh active Active
- 2016-10-05 JP JP2016197244A patent/JP7094077B2/ja active Active
- 2016-11-15 EP EP16198885.2A patent/EP3171248B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6244873B1 (en) * | 1998-10-16 | 2001-06-12 | At&T Corp. | Wireless myoelectric control apparatus and methods |
JP2014200681A (ja) * | 2013-04-06 | 2014-10-27 | 本田技研工業株式会社 | 車両内でのバイオメトリック識別を実行するシステム及び方法 |
US20140368474A1 (en) * | 2013-06-17 | 2014-12-18 | Samsung Electronics Co., Ltd. | Device, method, and system to recognize motion using gripped object |
US20150074797A1 (en) * | 2013-09-09 | 2015-03-12 | Samsung Electronics Co., Ltd. | Wearable device performing user authentication using bio-signals and authentication method of the same |
CN104699242A (zh) * | 2015-02-10 | 2015-06-10 | 北京智谷睿拓技术服务有限公司 | 确定动作和/或动作部位的方法和设备 |
Non-Patent Citations (2)
Title |
---|
T.S.CHAN: "Real-time tracking of hand gestures for interactive game design", 《IEEE》 * |
路知远: "穿戴式健康监护及人机交互应用中若干关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111052049A (zh) * | 2017-10-09 | 2020-04-21 | 华为技术有限公司 | 一种动作识别方法、装置及终端 |
CN111417343A (zh) * | 2017-12-07 | 2020-07-14 | 八乐梦床业株式会社 | 姿势判定装置 |
CN110415391A (zh) * | 2018-04-27 | 2019-11-05 | 开利公司 | 使用可佩戴设备的无缝进入控制系统 |
CN110415391B (zh) * | 2018-04-27 | 2024-03-05 | 开利公司 | 使用可佩戴设备的无缝进入控制系统 |
CN110896425A (zh) * | 2018-09-12 | 2020-03-20 | 意法半导体股份有限公司 | 用于识别将移动电子设备带到用户耳朵的姿势的系统和方法 |
CN110896425B (zh) * | 2018-09-12 | 2021-10-22 | 意法半导体股份有限公司 | 用于识别将移动电子设备带到用户耳朵的姿势的系统和方法 |
CN109462691A (zh) * | 2018-10-27 | 2019-03-12 | 中国人民解放军战略支援部队信息工程大学 | 一种基于多传感器数据融合的隐式防护方法及系统 |
CN109462691B (zh) * | 2018-10-27 | 2021-01-26 | 中国人民解放军战略支援部队信息工程大学 | 一种基于多传感器数据融合的隐式防护方法及系统 |
CN109875526A (zh) * | 2018-12-28 | 2019-06-14 | 北京津发科技股份有限公司 | 一种基于压力与反射式综合测量脉搏装置 |
CN112783326A (zh) * | 2021-01-28 | 2021-05-11 | 唐庆圆 | 手势识别装置和手势识别系统 |
Also Published As
Publication number | Publication date |
---|---|
EP3171248B1 (en) | 2020-04-08 |
US9977509B2 (en) | 2018-05-22 |
JP2017094055A (ja) | 2017-06-01 |
JP7094077B2 (ja) | 2022-07-01 |
KR20170059190A (ko) | 2017-05-30 |
US20170147077A1 (en) | 2017-05-25 |
EP3171248A1 (en) | 2017-05-24 |
CN106774818B (zh) | 2021-07-20 |
KR102570068B1 (ko) | 2023-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106774818A (zh) | 姿势识别方法、姿势识别设备和可穿戴装置 | |
US10684693B2 (en) | Method for recognizing a gesture and an electronic device thereof | |
US10222868B2 (en) | Wearable device and control method using gestures | |
EP3120222B1 (en) | Trainable sensor-based gesture recognition | |
US10055563B2 (en) | Air writing and gesture system with interactive wearable device | |
US20190042574A1 (en) | Electronic device and method for controlling the electronic device | |
CN108135527A (zh) | 用于生物识别的方法、装置及系统 | |
EP3316123A1 (en) | Electronic device and controlling method thereof | |
CN105748057A (zh) | 信息显示方法和支持该信息显示方法的电子设备 | |
KR102347067B1 (ko) | 제스처를 통해 외부 장치를 제어하는 휴대용 장치 및 그 동작방법 | |
EP3577544B1 (en) | Method for recognizing a gesture and an electronic device thereof | |
US20170310673A1 (en) | Security system with gesture-based access control | |
US20210072834A1 (en) | A gesture access control system and method of predicting mobile device location relative to user | |
US20150254575A1 (en) | Learn-by-example systems and methos | |
US20210035398A1 (en) | A gesture access control system and method of operation | |
US11430277B2 (en) | Seamless access control system using wearables | |
US11557162B2 (en) | Prestaging, gesture-based, access control system | |
US20210035397A1 (en) | Modeling of preprogrammed scenario data of a gesture-based, access control system | |
WO2019210032A1 (en) | Knocking gesture access control system | |
US20110074668A1 (en) | Control device | |
CN110446459A (zh) | 血压相关信息显示装置及方法 | |
CN115344111A (zh) | 手势交互方法、系统和装置 | |
US20180011536A1 (en) | Wearable device, and method of inputting information using the same | |
US20210043017A1 (en) | A gesture access control system including a mobile device disposed in a containment carried by a user | |
WO2019210031A1 (en) | Gesture access control system utilizing a device gesture performed by a user of a mobile device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |