CN105980964A - 用于检测手移动的移动检测装置 - Google Patents

用于检测手移动的移动检测装置 Download PDF

Info

Publication number
CN105980964A
CN105980964A CN201580008535.6A CN201580008535A CN105980964A CN 105980964 A CN105980964 A CN 105980964A CN 201580008535 A CN201580008535 A CN 201580008535A CN 105980964 A CN105980964 A CN 105980964A
Authority
CN
China
Prior art keywords
light
hands
moves
detection device
motion detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580008535.6A
Other languages
English (en)
Inventor
C.N.普雷苏拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN105980964A publication Critical patent/CN105980964A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0308Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用于检测手移动的移动检测装置。本发明涉及用于检测类似手势的手移动的移动检测装置(1),所述手移动可被用于控制计算机或者其他设备。光发射设备将光发射到在人的腕部(5)处的组织中,以及光检测设备在腕部处检测行进穿过组织的光,并且基于所检测的光而生成光检测信号,其中,手移动确定单元基于光检测信号来确定手移动。当手移动时,即,例如当其旋转或者当手指移动时,光行进穿过的组织的构成以及因此光检测信号会改变。这种在光检测信号中的改变可以被用来以对人非常方便的方式可靠地确定手的相应移动。

Description

用于检测手移动的移动检测装置
技术领域
本发明涉及一种用于检测手移动的移动检测装置、方法和计算机程序。本发明进一步涉及一种通过手移动来控制的系统。
背景技术
Kevin R. Wheeler等人在关于工业应用中的软计算的IEEE国际研讨会(2003)上的文章“Device Control Using Gestures Sensed from EMG(使用从EMG感测的姿态的设备控制)”公开了一种用于测量被用来执行手势的肌肉的肌电图(EMG)信号的设备。然后,这些信号被解译,并且被转化成计算机命令,以便基于手势控制计算机。
用于手指的肌肉被安排在接近肘部的小臂中的某个位置处,使得测量设备的电极需要在这个位置处连接到小臂,以便测量EMG信号。然而,只为允许某人控制计算机而将测量设备与此人的小臂中的肌肉进行电连接,对这个人而言是非常不方便的。
发明内容
因此,本发明的目的在于提供一种虑及手移动的检测的手移动检测装置、方法和计算机程序,其对人更方便。本发明的进一步目的在于提供一种通过手移动来控制的系统,其包括移动检测装置。
在本发明的第一方面,提出了一种用于检测手移动的移动检测装置,其中所述移动检测装置包括:
-光发射设备,用于将具有不同固定波长的不同光束发射到在人的腕部上的不同位置处的组织中,
-光检测设备,用于在腕部处检测行进穿过组织的光,并且用于基于所检测的光而生成不同的光检测信号,其对应于相应光行进穿过的组织的不同区域,以及
-手移动确定单元,用于基于不同的光检测信号来确定手移动。
手移动可以是如手旋转那样的整个手的移动。然而,手移动还可以是手的一部分相对于手的另一部分的移动,如手指移动。当手移动时,即,例如当手旋转或者当手指移动时,在腕部的组织构成改变,其导致在所生成的光检测信号中的改变。这种光检测信号中的改变可以被手移动确定单元用来可靠地确定手的相应移动,其中,因为这种确定是基于在人的腕部处的光测量,所以其可以以对人更方便的方式来执行。
光发射设备发射具有不同固定波长的不同光束,这优选地意味着可以包括若干光源的光发射设备不是虑及相应波长修改的可修改光发射设备,而是例如包括发射不同波长的不同光源,其中由相应光源发射的相应波长是固定的。
光发射设备优选地被适配成将光发射到皮肤组织中,穿过在腕部肌腱之上的腕部上侧,并且光检测设备优选地被适配成基于来自在肌腱之上的腕部上侧处的皮肤的光,生成光检测信号。光发射设备可以被适配成将红光发射到组织中。因为红光不会被血液和皮肤组织吸收太多,所以使用红光可以改进光检测信号的质量,并且因此改进对手移动的确定的质量。而且,光发射设备可以被适配成将绿光发射到组织中。因为可以假设绿光具有例如大约3毫米的穿透深度,而红光例如具有大约最多1厘米的穿透深度,所以通过使用绿光和红光,可以覆盖组织内的相对大的深度区域,即,手移动可以被可靠地确定,而不论相应肌腱相对于皮肤的深度。
光发射设备和光检测设备被适配成将光发射到人的腕部处的组织中,并且检测行进穿过组织的光,使得生成至少两个不同的光检测信号,其对应于相应光行进穿过的组织的不同区域,其中手移动确定单元被适配成基于至少两个不同的光检测信号来确定手移动。特别地,光发射设备和光检测设备可以被适配成使得相应光行进穿过的组织的不同区域包括连接到不同手指的不同肌腱。
光发射设备被适配成将光发射到在腕部上的不同位置处的组织中。而且,光检测设备可以被适配成检测腕部上的不同位置处的光,以便生成不同的光检测信号,其对应于相应光行进穿过的组织的不同区域。这些不同位置可以在将不同手指与相应肌肉相连的不同肌腱之上,以便分开地检测不同手指的移动。特别地,光发射设备和光检测设备可以包括要被安排在腕部上的不同位置处的光源和光检测器的至少两个配对,以便生成至少两个不同的光检测信号,其对应于相应光行进穿过的组织的不同区域。手移动确定单元可以被适配成基于对应于相应光行进穿过的组织的第一区域的第一光检测信号来确定第一手指的移动,并且基于对应于相应光行进穿过的组织的第二区域的第二光检测信号来确定第二手指的移动。
在一个实施例中,移动检测装置进一步包括附着元件,用于至少将光发射设备和光检测设备附着到人的腕部。附着元件优选是腕带。因此,移动检测装置可以是被适配成检测手移动的类似手表的设备。
光发射设备被适配成将具有不同波长的不同光束发射到组织中,所述不同光束具有不同穿透深度,以便生成不同的光检测信号,其对应于相应光行进穿过的组织的不同区域。而且,移动检测装置可以进一步包括要被安排在人的腕部处的移动传感器,其中该移动传感器可以被适配成生成指示整个手移动的移动信号,其中手移动确定单元可以被适配成基于光检测信号和基于移动信号来确定手移动。移动传感器优选地包括加速度计和/或陀螺仪和/或磁力计。附加地,使用移动信号来确定手移动可以进一步改进手移动检测的质量。
手移动确定单元可以被适配成基于光检测信号和移动信号,确定手移动是手指移动还是整个手的移动。例如,手移动确定单元可以被适配成:通过将光检测信号与光检测信号阈值相比较以及将移动信号与移动信号阈值相比较,确定手移动是手指移动还是整个手的移动,其中手移动确定单元可以被适配成:如果至少一个光检测信号(尤其是所有光检测信号)大于光检测信号阈值,且如果移动信号小于移动信号阈值,则确定手移动是手指移动。这允许更可靠地确定手指移动。
手移动确定单元可以被适配成:提供在a)光检测信号和可选地还有移动信号以及b)手移动之间的相关性,并且基于所提供的相关性和所生成的光检测信号以及可选地基于所生成的移动信号,确定手移动。相关性可以被提供为取决于一个或者若干所生成的光检测信号以及可选地还取决于一个或者若干移动信号而定义手移动的函数、指派(assignment)、神经网络等等。
在一个实施例中,手移动确定单元可以被适配成:将相似度测量应用于a)一个或者若干当前生成的光检测信号和b)存储在手移动确定单元中的光检测信号,以便确定与当前生成的一个或者若干光检测信号最相似的、所存储的一个或者若干光检测信号。手移动确定单元然后可以被适配成确定已经被指派给最相似的、所存储的一个或若干光检测信号的手移动。而且,手移动确定单元可以被适配成:将相似度测量应用于a)一个或者若干当前生成的光检测信号和一个或者若干当前生成的运动信号以及b)存储在手移动确定单元中的光检测信号和运动信号,以便确定与当前生成的一个或者若干光检测信号和一个或者若干运动信号最相似的、所存储的一个或者若干光检测信号和一个或者若干所存储的运动信号。手移动确定单元然后可以被适配成确定已经被指派给最相似的、所存储的一个或者若干光检测信号和一个或者若干运动信号的手移动。
手移动确定单元可以被适配成从所生成的光检测信号中过滤掉由比如心率之类的生理属性导致的干扰。例如,可以从所生成的光检测信号中过滤掉已知包括心率的预定义频率范围,或者可以通过使用已知的标准技术基于所生成的光检测信号而确定由生理属性导致的频率或者频率范围,所述已知的标准技术可以是基于用于找到周期性心动信号的傅里叶分析、相关技术等等,并且可以从所生成的光检测信号中过滤掉所确定的频率或者频率范围。手移动确定单元然后可以被适配成基于经过滤的光检测信号来确定手移动。
在优选实施例中,移动检测装置可在学习模式和正常操作模式中操作,在学习模式中学习要确定的手移动,在正常操作模式中移动检测装置检测手移动。特别地,光检测设备可以被适配成在学习模式中,在手移动已知时生成一个或者若干光检测信号,并且可选地还生成一个或者若干移动信号,其中手移动确定单元可以被适配成:在学习模式中,基于所生成的一个或者若干光检测信号,可选地基于一个或者若干移动信号以及基于已知手移动,确定在a)一个或者若干光检测信号以及可选地一个或者若干移动信号和b)手移动之间的相关性。在执行特定手移动(即,特定姿态)的同时生成的光检测信号可以取决于人的腕部的生理构成以及取决于腕部上的光发射设备和光检测设备的确切位置。如果相关性由相应的人在学习模式中学到的话,则这些特定于用户的条件可以被容易地考虑。
移动检测装置可以进一步包括生理属性确定单元,用于基于所生成的光检测信号中的至少一项而确定人的生理属性。生理属性确定单元可以被适配成将心率确定为生理属性。因此,移动检测装置可以不仅被用于检测手移动,并且其还可以被用于检测例如心率。例如,手移动(其还可以被认为是手势)以及可选地还有心率或者其他生理属性可以由被适配成戴在人的腕部的、类似手表的设备确定。
在一个实施例中,移动检测设备进一步包括发送单元,用于取决于所确定的手移动而将指示所确定的手移动的信号发送给要被控制的设备。设备可以是信号可被无线发送到其的远程设备。
在本发明的另一方面,提出了一种通过手移动来控制的系统,其中所述系统包括:如权利要求1中限定的手移动检测装置,用于检测手移动;以及控制器,用于取决于所检测到的手移动来控制所述系统。因此,所述系统——其可以是例如计算机系统——可以以对人非常方便的方式通过手移动(即,手势)来控制。
在本发明的另外方面,提出了一种用于检测手移动的移动检测方法,其中所述移动检测方法包括:
-由光发射设备将具有不同固定波长的不同光束发射到在人的腕部上的不同位置处的组织中,
-由光检测设备在腕部处检测行进穿过组织的光,并且基于所检测的光而生成不同的光检测信号,其对应于相应光行进穿过的组织的不同区域,
-由手移动确定单元基于不同的光检测信号来确定手移动。
在另外的方面,提出了一种用于训练移动检测装置的训练方法,其中,在实行训练方法的同时,执行特定手移动,并且所述训练方法包括:
-由光发射设备将光发射到人的腕部处的组织中,由光检测设备检测在腕部行进穿过组织的光,并且基于所检测的光而生成光检测信号,同时执行特定手移动,并且
-确定和存储在特定手移动和所生成的光检测信号之间的相关性。
在本发明的另外方面,提出了一种用于检测手移动的计算机程序,其中所述计算机程序包括程序代码装置,其用于当所述计算机程序在控制如权利要求1中限定的移动检测装置的计算机上运行时,使得所述移动检测装置实行如权利要求12中限定的移动检测方法的步骤。
在另外的方面,提出了一种用于训练如权利要求1中限定的移动检测装置的计算机程序,其中所述计算机程序包括程序代码装置,其用于当所述计算机程序在控制移动检测装置的计算机上运行时使得移动检测装置实行训练方法的步骤。
应理解,权利要求1的移动检测装置、权利要求11的系统、权利要求12的移动检测方法、训练方法、权利要求13的计算机程序和用于训练移动检测装置的计算机程序具有相似和/或相同的优选实施例,特别是如在从属权利要求中限定的。
应理解,本发明的优选实施例还可以是从属权利要求或者以上实施例与相应的独立权利要求的任何组合。
本发明的这些和其他方面将从以下描述的实施例中变得显而易见,并且将参考以下描述的实施例来予以阐述。
附图说明
在以下图中:
图1示意性和示范性地示出了包括用于检测手移动的移动检测装置和要通过所检测到的手移动来控制的计算机的系统的实施例,
图2示意性和示范性地更详细示出了手移动检测装置,
图3图示了由移动检测装置生成的两个光检测信号,
图4示出了示范性地图示用于检测手移动的移动检测方法的实施例的流程图,以及
图5示出了示范性地图示用于通过学习手移动来训练移动检测装置的训练方法的实施例的流程图。
具体实施方式
本发明涉及用于检测类似手势的手移动的移动检测装置,所述手移动可被用于控制计算机或者另一设备。光发射设备将光发射到在人的腕部处的组织中,以及光检测设备在腕部处检测行进穿过组织的光,并且基于所检测的光而生成光检测信号,其中,手移动确定单元基于光检测信号来确定手移动。当手移动时,即,例如当其旋转或当手指移动时,光行进穿过的组织的构成以及因而光检测信号会改变。这种在光检测信号中的改变可以被用来以对人非常方便的方式可靠地确定手的相应移动。
图1示意性和示范性地示出了要通过手移动(即,通过手势)来控制的系统的实施例。系统20包括要戴在人的腕部5处的类似手表的移动检测装置1,其具有腕带3和外壳4。指示相应的所检测的手移动的信号被发送给计算机2的控制器21,其中,控制器21被适配成取决于接收到的信号来控制计算机2。移动检测装置1可以因此被看作是用于将计算机命令输入到计算机2中的输入设备,其中,该输入设备可以至少部分地替代其他输入设备,如计算机鼠标、键盘、触摸板等等。
移动检测装置1包括:光发射设备,用于将光发射到人的腕部5处的组织;光检测设备,用于在腕部5处检测行进穿过组织的光以及用于基于所检测的光而生成光检测信号;以及手移动确定单元,用于基于光检测信号来确定手移动。光发射设备和光检测设备被适配成将光发射到人的腕部处的组织中,并且检测行进穿过该组织的光,使得生成若干光检测信号,其对应于相应光行进穿过的组织的不同区域,其中,手移动确定单元被适配成基于若干光检测信号来确定手移动。在该实施例中,光发射设备和光检测设备被适配成将光发射到在腕部5上的不同位置处的组织中,并且检测腕部5上的不同位置处的光,以便生成不同的光检测信号,其对应于相应光行进穿过的组织的不同区域。在图2中更详细地示意性和示范性地示出了移动检测装置1。
在该实施例中,光发射设备和光检测设备由被安排在腕部5上的不同位置处的光源8和光检测器9的若干配对40形成,以便生成若干光检测信号,其对应于相应光行进穿过的组织的不同区域。光源8是发光二极管(LED),其中,光源8中的至少两个光源发射具有不同波长的光,即,具有像绿光和红光那样的不同颜色的光。光源8和光检测器9的配对40被安排在手臂7内的肌腱22之上。
光源8被适配成将光发射到皮肤中,穿过在腕部5的肌腱22之上的腕部5的上侧,其中光检测器9被适配成检测在肌腱22之上的腕部5上侧处的皮肤上的后向散射和/或反射的光。移动检测装置1可以因此用于拾取肌腱的移动,尤其是附加于通过使用加速度计或者其他附加移动传感器可检测到的整个手的移动,正如将在以下描述的。
移动检测装置1进一步包括加速度计13,用于在腕部5并且因此整个手6移动的情况下生成加速度信号,其中,手移动确定单元12被适配成基于所生成的光检测信号和基于所生成的加速度信号来确定手移动。特别地,手移动确定单元12可以被适配成将光检测信号与光检测信号阈值相比较,以及将加速度信号与加速度信号阈值相比较,并且如果所生成的光检测信号的至少之一大于光检测信号阈值且如果加速度信号小于加速度信号阈值,则确定手移动是手指移动。如果手移动确定单元12已经确定手移动是手指移动,则手指移动可以基于所生成的光检测信号而被更具体地确定。例如,手移动确定单元12可以被适配成提供在光检测信号和手指移动之间的相关性,并且基于所提供的相关性和所生成的光检测信号来确定手指移动。相关性可以被提供为取决于一个或者若干所生成的光检测信号而定义手指移动的函数、指派、神经网络等等。在一个实施例中,手移动确定单元12可以被适配成将相似度测量应用于a)当前生成的光检测信号以及b)存储在手移动确定单元12中的光检测信号,以便确定与当前生成的光检测信号最相似的、所存储的光检测信号。手移动确定单元12然后可以被适配成基于指派给最相似的、所存储的光检测信号的手指移动,确定相应的手指移动。移动确定装置1进一步包括用于控制移动检测装置1的不同组件的控制器10。
图3示意性和示范性地示出了第一光检测信号30和第二光检测信号31,其中,幅度S取决于以秒计的时间t以任意单位进行图示。在时间间隔t1,第一手指在移动,而在时间间隔t2,第二手指在移动。第一手指的移动在第二光检测信号31中在时间间隔t1中可见,而第二手指的移动在第一光检测信号30中在时间间隔t2中可见。在图3中示出的示例中,整个手没有移动,即,仅两只手指在移动。
移动检测装置1可操作在学习模式中(其中,学习要确定的手移动,以便训练移动检测装置1)和正常操作模式中(其中,移动检测装置检测手移动)。例如,光源8和光检测器9的配对40可以被适配成在手移动尤其是手指移动已知时,在学习模式中生成光检测信号,其中,手移动确定单元12可以被适配成在学习模式中例如通过训练神经网络,基于所生成的光检测信号和基于已知的手移动,确定在光检测信号和手移动之间的相关性。移动检测装置1可以包括用于允许人选择操作的期望模式的切换器或者其他装置。而且,其可以包括用于显示手移动的显示器,所述手移动应该在学习模式中被执行,并且其可以被预先确定并存储在手移动确定单元12中,和/或移动检测装置1可以包括允许人输入将在学习模式中执行何种手移动的输入单元。
移动检测装置1还可以被适配成使用指示整个手的移动的加速度计信号和/或另一个移动传感器的移动信号,以用于训练移动检测装置1。例如,在手移动尤其是手指移动已知时,在学习模式中,光源8和光检测器9的配对40可以被适配成生成光检测信号,并且加速度计13可以被适配成生成加速度计信号,其中,手移动确定单元12可以被适配成在学习模式中例如通过训练神经网络,基于a)所生成的光检测信号及所生成的加速度计信号和b)基于已知的手移动,确定在a)光检测信号及加速度计信号和b)手移动之间的相关性。
手移动确定单元12可以被进一步适配成从所生成的光检测信号中过滤掉由心率导致的干扰。例如,可以从所生成的光检测信号中过滤掉已知包括心率的预定义频率范围。手移动确定单元12然后可以被适配成基于经过滤的光检测信号来确定手移动。
移动检测装置1进一步包括发送单元11,用于将指示所确定的手移动的信号发送给计算机2的控制器21。控制器21包括对应的接收单元,使得控制器21和移动检测装置1可以彼此无线地通信。而且,移动检测装置1可以包括生理属性确定单元14,用于基于所生成的光检测信号确定人的生理属性。所确定的生理属性可以被发送给计算机2,或者发送给另一个远程装置和/或其可以在移动检测装置的显示器上被示出。优选地,生理属性确定单元14被适配成将心率确定为生理属性。在一个实施例中,光源8中的至少一个光源发射蓝光或者绿光,其中,生理属性确定单元14被适配成基于一个或者若干基于蓝光或者绿光生成的光检测信号来确定生理属性。而且,在一个实施例中,相同的波长可以被用于确定手移动和用于确定生理属性,其中,优选地,在确定手移动之前,把生理属性,尤其是心率的影响从光检测信号中过滤掉。为了基于所生成的光检测信号而确定生理属性,可以使用已知的标准技术,其可以基于用于找到周期性心动信号的傅里叶分析、相关技术等等。
以下,将参考图4中示出的流程图,示范性地描述用于检测手移动的移动检测方法的实施例。
在步骤101,移动检测装置被初始化,并且在步骤102,光检测信号和加速度信号被测量。在步骤103,手移动,即,整个手的移动或者手的一部分(如手指)相对于手的另一部分的移动基于光检测信号和加速度信号而被确定,其中在步骤104,指示所确定的手移动的信号被发送给要通过手移动(即,通过手势)来控制的计算机的控制器。在步骤105,确定是否满足了中止准则。中止准则可以是例如用户是否关闭了计算机2和/或运动检测装置1。如果满足中止准则,则运动检测方法在步骤106结束。否则,方法继续进行步骤102。步骤102到105循环执行,使得连续地生成光检测信号和加速度信号,并且将其用来确定当前手移动,其中指示相应的当前手移动的对应信号被发送给计算机的控制器。
以下,将参考图6中示出的流程图,示范性地描述用于通过学习手移动来训练移动检测装置的训练方法的实施例。
在步骤201,人执行某种手移动,并且该手移动的指示被输入到移动检测装置1中,特别是输入到手移动确定单元12中。而且,在步骤201,在执行手移动的同时,光检测信号和加速度信号被生成。在步骤202,在a)手移动和b)所生成的光检测信号和所生成的加速度信号之间的相关性被确定,并且被存储在手移动确定单元12中。
光发射设备被适配成向组织中发射具有不同波长的不同光束,其具有不同的穿透深度,以便生成不同的光检测信号,不同的光检测信号对应于相应光行进穿过的组织的不同区域。配对40中的至少两个光源8可以发射具有不同颜色的光,如以上所描述的。然而,在另一个实施例中,配对40中的光源8可以发射具有相同颜色的光,并且可以将另外的第二光源添加到光源和光检测器的每个配对40,所述第二光源发射的光具有的波长不同于由另一个,即第一光源发射的光的波长。移动检测装置可以被看作是置于肌腱正上方的上侧的腕部位置处的皮肤上的多色传感器。
当手移动时,即,当整个手移动(例如,旋转)时或者当手的第一部分相对于手的第二部分移动时(正如当一个或者若干手指移动时的情况),在运动检测装置下面的皮肤构成会改变,其导致在所检测的光学信号中(即,在光检测信号中)的改变。这些改变取决于光的穿透深度、移动检测装置的光源和光检测器的配置、以及人的腕部的生理构成。光检测信号响应于手的移动,其可以用来确定手移动。
在学习模式中,运动检测装置优选地被适配成学习一些基本的姿态,如手指指向姿态或者整个手的旋转。在已经学习了这些姿态之后,手的移动,例如整个手和/或手指的移动,将由移动检测装置来识别,并且其可以被解译为姿态输入。
虽然在以上描述的实施例中,移动检测装置包括光源和光检测器的某种配置,但是在其他实施例中,移动检测装置可以包括光源和光检测器的另外的配置。例如,其可以包括光源和光检测器的更多或者更少的配对,例如,其可以包括五个配对,每个配对针对每个手指。而且,在光源和光检测器之间的距离可以是不同,以便生成对应于不同穿透深度的光检测信号。
加速度计优选地被用来将整个手的移动(如手的旋转移动)与其他移动(如手指移动)相区分。例如,如果加速度计检测到小移动,即,如果加速度计信号相对小,但是如果光检测信号相对大,则可以假设姿态是导致在皮肤内的肌腱位移的手指移动。
虽然在以上描述的实施例中,所检测到的手移动被用来控制计算机,但是在其他实施例中,手移动可以被用来控制其他设备,如移动的机器、制造的装置等等。而且,附加于向远程设备发送指示相应的所检测手移动的信号或者作为其替换,所检测的手移动还可以被用来控制移动检测装置其自身。例如,如果移动检测装置是包括生理属性确定单元和/或其他单元(如时钟)的类似手表的装置,则所检测到的手移动可以被用来控制这些单元。
虽然在以上参考图1和图2描述的实施例中,在外壳4内安排了若干特定组件,但是在其他实施例中,所述组件中的一些组件可以不被安排在外壳4内,而是被安排在远程设备中。例如,手移动确定单元12可以被安排在远程设备中,所生成的光检测信号可以由发送单元发送到该远程设备。
在权利要求中,单词“包括”不排除其他元件或者步骤,并且不定冠词“一”或者“一个”(“a”或“an”)不排除多个。
单个单元或者设备可以完成在权利要求中陈述的若干项的功能。某些措施被陈述在相互不同的从属权利要求中的单纯事实并不指示这些措施的组合不能用来获益。
由一个或者若干单元或者设备执行的过程可以由任何其他数量的单元或者设备来执行,所述过程类似基于光检测信号以及可选地还基于加速度信号来确定手移动、训练移动检测装置、基于光检测信号来确定生理属性等等。按照移动检测方法和/或按照学习方法的这些过程和/或对移动检测装置的控制可以被实施为计算机程序的程序代码装置和/或专用硬件。
计算机程序可以被存储在随同其他硬件一起提供或者作为其他硬件的一部分提供的适当介质上或者在其上分发,所述适当介质是诸如光学存储介质或者固态介质,但是计算机程序也可以以其他形式来分发,诸如经由互联网或者其他有线或无线电信系统来分发。

Claims (13)

1.一种用于检测手移动的移动检测装置,所述移动检测装置(1)包括:
-光发射设备(8),用于将具有不同固定波长的不同光束发射到在人的腕部(5)上的不同位置处的组织中,
-光检测设备(9),用于在腕部(5)处检测行进穿过组织的光,并且用于基于所检测的光而生成不同的光检测信号,其对应于相应光行进穿过的组织的不同区域,以及
-手移动确定单元(12),用于基于不同的光检测信号来确定手移动。
2.如权利要求1中限定的移动检测装置,其中所述光发射设备和所述光检测设备包括安排在腕部(5)上的不同位置处的光源(8)和光检测器(9)的至少两个配对(40),以便生成至少两个不同的光检测信号,其对应于相应光行进穿过的组织的不同区域。
3.如权利要求1中限定的移动检测装置,其中,所述手移动确定单元(12)被适配成基于对应于相应光行进穿过的组织的第一区域的第一光检测信号来确定第一手指的移动,并且基于对应于相应光行进穿过的组织的第二区域的第二光检测信号来确定第二手指的移动。
4.如权利要求1中限定的移动检测装置,其中所述光发射设备被适配成将红光和绿光发射到组织中。
5.如权利要求1中限定的移动检测装置,其中所述移动检测装置(1)进一步包括要被安排在人的腕部(5)处的移动传感器(13),其中所述移动传感器被适配成生成指示整个手的移动的移动信号,其中,所述手移动确定单元(12)被适配成基于所述光检测信号以及基于所述移动信号来确定手移动。
6.如权利要求1中限定的移动检测装置,其中,所述手移动确定单元(12)被适配成提供在光检测信号和手移动之间的相关性,并且基于所提供的相关性和所生成的光检测信号来确定手移动。
7.如权利要求1中限定的移动检测装置,其中,所述手移动确定单元(12)被进一步适配成从所生成的光检测信号中过滤掉由生理属性导致的干扰。
8.如权利要求1中限定的移动检测装置,其中,所述移动检测装置(1)可在学习模式和正常操作模式中操作,在学习模式中学习要确定的手移动,而在正常操作模式中所述移动检测装置检测手移动。
9.如权利要求8中限定的移动检测装置,其中所述移动检测装置(1)被适配成使得:在学习模式中,光发射设备(8)将光发射到人的腕部(5)处的组织中,所述光检测设备(9)在腕部处检测行进穿过组织的光,并且在执行手移动的同时,基于所检测的光生成光检测信号,并且在手移动和所生成的光检测信号之间的相关性被确定和存储。
10.如权利要求1中限定的移动检测装置,其中,所述移动检测装置(1)进一步包括附着元件(3),用于至少将光发射设备(8)和光检测设备(9)附着到人的腕部(5)。
11. 一种通过手移动来控制的系统,所述系统(20)包括:
-如权利要求1中限定的用于检测手移动的移动检测装置(1),以及
-控制器(21),用于取决于所检测到的手移动来控制所述系统。
12.一种用于检测手移动的移动检测方法,所述移动检测方法包括:
-由光发射设备(8)将具有不同固定波长的不同光束发射到在人的腕部(5)上的不同位置处的组织中,
-由光检测设备(9)在腕部处检测行进穿过组织的光,并且基于所检测的光来生成不同的光检测信号,其对应于相应光行进穿过的组织的不同区域,
-由手移动确定单元(12)基于不同的光检测信号来确定手移动。
13.一种用于检测手移动的计算机程序,所述计算机程序包括程序代码装置,其用于当所述计算机程序在控制如权利要求1中限定的移动检测装置的计算机上运行时,使得所述移动检测装置实行如权利要求12中限定的移动检测方法的步骤。
CN201580008535.6A 2014-02-12 2015-02-03 用于检测手移动的移动检测装置 Pending CN105980964A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14154780.2 2014-02-12
EP14154780 2014-02-12
PCT/EP2015/052107 WO2015121100A1 (en) 2014-02-12 2015-02-03 Movement detection apparatus for detecting a hand movement

Publications (1)

Publication Number Publication Date
CN105980964A true CN105980964A (zh) 2016-09-28

Family

ID=50072987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580008535.6A Pending CN105980964A (zh) 2014-02-12 2015-02-03 用于检测手移动的移动检测装置

Country Status (6)

Country Link
US (2) US9910508B2 (zh)
EP (1) EP3105655A1 (zh)
JP (1) JP6259923B2 (zh)
CN (1) CN105980964A (zh)
RU (1) RU2016136366A (zh)
WO (1) WO2015121100A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703923A (zh) * 2019-10-25 2020-01-17 胡团伟 基于腕部或手部皮肤三维形状变化的指令输出方法及设备
CN112136162A (zh) * 2018-05-15 2020-12-25 皇家飞利浦有限公司 用于将紧急情况消息传达给护理提供者的腕戴式医学警报设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102588A1 (en) 2013-12-30 2015-07-09 Apple Inc. User identification system based on plethysmography
US10488936B2 (en) 2014-09-30 2019-11-26 Apple Inc. Motion and gesture input from a wearable device
US11119565B2 (en) 2015-01-19 2021-09-14 Samsung Electronics Company, Ltd. Optical detection and analysis of bone
US9939899B2 (en) * 2015-09-25 2018-04-10 Apple Inc. Motion and gesture input from a wearable device
US10852835B2 (en) * 2016-04-15 2020-12-01 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
US20170319934A1 (en) * 2016-05-05 2017-11-09 Wesley Horne Motion sensing basketball training device
US10478099B2 (en) 2016-09-22 2019-11-19 Apple Inc. Systems and methods for determining axial orientation and location of a user's wrist
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
US10466783B2 (en) * 2018-03-15 2019-11-05 Sanmina Corporation System and method for motion detection using a PPG sensor
US11704568B2 (en) * 2018-10-16 2023-07-18 Carnegie Mellon University Method and system for hand activity sensing
US11157086B2 (en) * 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
WO2022266515A1 (en) * 2021-06-18 2022-12-22 Meta Platforms Technologies, Llc Inferring user pose using optical data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090174578A1 (en) * 2006-07-21 2009-07-09 Brother Kogyo Kabushiki Kaisha Operating apparatus and operating system
US20100295773A1 (en) * 2009-05-22 2010-11-25 Rachid Alameh Electronic device with sensing assembly and method for interpreting offset gestures
CN102799270A (zh) * 2012-07-04 2012-11-28 北京理工大学 一种基于静电和肌电探测的人机交互方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60215504T2 (de) 2002-10-07 2007-09-06 Sony France S.A. Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik
US20090153477A1 (en) 2007-12-12 2009-06-18 Saenz Valentin L Computer mouse glove
US20100090949A1 (en) 2008-07-22 2010-04-15 Shanda Computer (Shanghai) Co., Ltd. Method and Apparatus for Input Device
US8273036B2 (en) 2008-12-24 2012-09-25 The Hong Kong Polytechnic University Wearable portable device for increasing user awareness of a paretic limb and recording the user awareness
JP4988016B2 (ja) * 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
US20120312956A1 (en) 2011-06-11 2012-12-13 Tom Chang Light sensor system for object detection and gesture recognition, and object detection method
CA2864719C (en) 2012-02-24 2019-09-24 Thomas J. Moscarillo Gesture recognition devices and methods
EP2698686B1 (en) * 2012-07-27 2018-10-10 LG Electronics Inc. Wrist-wearable terminal and control method thereof
DE102013226682A1 (de) * 2013-12-19 2015-06-25 Zf Friedrichshafen Ag Armbandsensor und Verfahren zum Betreiben eines Armbandsensors
US20160357265A1 (en) * 2014-02-10 2016-12-08 Apple Inc. Motion gesture input detected using optical sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090174578A1 (en) * 2006-07-21 2009-07-09 Brother Kogyo Kabushiki Kaisha Operating apparatus and operating system
US20100295773A1 (en) * 2009-05-22 2010-11-25 Rachid Alameh Electronic device with sensing assembly and method for interpreting offset gestures
CN102799270A (zh) * 2012-07-04 2012-11-28 北京理工大学 一种基于静电和肌电探测的人机交互方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112136162A (zh) * 2018-05-15 2020-12-25 皇家飞利浦有限公司 用于将紧急情况消息传达给护理提供者的腕戴式医学警报设备
CN112136162B (zh) * 2018-05-15 2023-08-15 皇家飞利浦有限公司 用于将紧急情况消息传达给护理提供者的腕戴式医学警报设备
CN110703923A (zh) * 2019-10-25 2020-01-17 胡团伟 基于腕部或手部皮肤三维形状变化的指令输出方法及设备

Also Published As

Publication number Publication date
WO2015121100A1 (en) 2015-08-20
JP2017505205A (ja) 2017-02-16
JP6259923B2 (ja) 2018-01-10
US20180129297A1 (en) 2018-05-10
EP3105655A1 (en) 2016-12-21
US9910508B2 (en) 2018-03-06
RU2016136366A (ru) 2018-03-15
RU2016136366A3 (zh) 2018-09-26
US20170031453A1 (en) 2017-02-02

Similar Documents

Publication Publication Date Title
CN105980964A (zh) 用于检测手移动的移动检测装置
US10735831B2 (en) System and method communicating biofeedback to a user through a wearable device
CN107535036B (zh) 用于改善照明控制的方法和系统
CN104808783B (zh) 移动终端及其控制方法
US10222868B2 (en) Wearable device and control method using gestures
JP6136806B2 (ja) 身体情報取得装置、身体情報取得方法、身体情報取得プログラム
CN106413529A (zh) 光学压力传感器
US20210121136A1 (en) Screenless Wristband with Virtual Display and Edge Machine Learning
JP2016017331A (ja) ロッカーシステム、端末装置、ロッカー、および運動管理方法
JP2011516915A (ja) モーションコンテンツベースの学習装置及び方法
EP3007030A1 (en) Portable device and control method via gestures
US20140081182A1 (en) Method and apparatus for determining at least one predetermined movement of at least one part of a body of a living being
US20210068674A1 (en) Track user movements and biological responses in generating inputs for computer systems
US20200275835A1 (en) System and method for contact less control of an appliance technical field
KR20170106289A (ko) 피드백을 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102323576B1 (ko) IoT 기반의 공용 무선 의료장치를 이용한 치매 판단 시스템
JP2017148570A (ja) 電子機器、センサ制御方法及びプログラム
CN114255511A (zh) 用于手势识别的控制器和方法以及手势识别设备
US11369866B2 (en) Position tracking apparatus and method
CN110383276A (zh) 基于行为验证使用者的方法和系统
JP7376829B2 (ja) 情緒安定化支援装置、情緒安定化支援システム、及び情緒安定化支援プログラム
CN207965847U (zh) 一种触控控制设备
CN104517395B (zh) 通过手势接触交互控件进行的报警设定和交互

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180625

Address after: Beijing City, Haidian District Qinghe Street No. 68 Huarun colorful city shopping center two 9 floor room 01

Applicant after: BEIJING XIAOMI MOBILE SOFTWARE Co.,Ltd.

Address before: Holland Ian Deho Finn

Applicant before: Royal Philips Co.,Ltd.

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160928

WD01 Invention patent application deemed withdrawn after publication