CN104238736B - 利用抓握对象识别运动的装置、方法和系统 - Google Patents

利用抓握对象识别运动的装置、方法和系统 Download PDF

Info

Publication number
CN104238736B
CN104238736B CN201410141577.4A CN201410141577A CN104238736B CN 104238736 B CN104238736 B CN 104238736B CN 201410141577 A CN201410141577 A CN 201410141577A CN 104238736 B CN104238736 B CN 104238736B
Authority
CN
China
Prior art keywords
state
grasping
writing
wrist
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410141577.4A
Other languages
English (en)
Other versions
CN104238736A (zh
Inventor
金尚骏
尹胜槿
崔昌穆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104238736A publication Critical patent/CN104238736A/zh
Application granted granted Critical
Publication of CN104238736B publication Critical patent/CN104238736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了利用抓握对象识别运动的装置、方法和系统。运动识别装置可根据使用抓握对象的书写动作估计用户的腕部的状态，并且可根据书写动作估计与腕部有关的身体部位的关节运动。所述装置然后可根据腕部的状态和关节运动估计抓握对象的状态。另外，所述运动识别装置可利用通过连续跟踪对象的状态而产生的控制信号来控制外部装置。

Description

利用抓握对象识别运动的装置、方法和系统
本申请要求2013年6月17日在韩国知识产权局提交的第10-2013-0068870号韩国专利申请的优先权，其完整公开以引用方式并入本文。
技术领域
下面的描述涉及一种识别用户运动的装置和方法。
背景技术
近来，诸如智能电话、平板、个人计算机（PC）和个人数字助理（PDA）的各种便携式电子装置的使用越来越多。
根据分析人体的运动的一般技术，通过将加速度传感器附着到装置以感测人体的运动来跟踪运动，并且解释由加速度传感器生成的数据。这样的技术在分析简单运动而无需准确地检测人体的运动时有效。
分析人体的运动的另一一般技术包括分析从附着到运动感测装置的运动感测相机获得的图像信息。在这种情况下，假定用户在运动感测装置的前面。因此，用户需要管理他或她相对于装置的位置。另外，当用户的身体部位不重叠时可更准确地执行用户运动的分析。
发明内容
提供此发明内容是为了以简要形式介绍概念的选择，其在下面的具体实施方式中进一步描述。此发明内容并非意在标识要求保护的主题的关键特征或基本特征，也并非意在用于帮助确定要求保护的主题的范围。
在一个一般方面，一种利用抓握对象执行运动识别的方法包括：根据使用抓握对象执行的书写动作估计用户的腕部的状态；根据书写动作估计与腕部有关的用户的身体部位的关节运动；根据腕部的状态和关节运动估计抓握对象的状态。
所述方法还可包括：通过连续跟踪抓握对象的状态产生用于控制外部装置的控制信号。
所述方法还可包括：利用抓握对象检测用户的书写动作的开始。
检测步骤可包括：当检测到由书写动作产生的声音和与书写对应的对象的抓握中的至少一个时，确定书写动作开始。
估计抓握对象的状态的步骤可包括：根据腕部的状态和关节运动估计抓握对象相对于基面的接触位置。
估计腕部的状态的步骤可包括：根据书写动作检测加速度；根据加速度估计腕部的状态。
估计关节运动的步骤可包括：根据书写动作检测与腕部有关的身体部位的肌电图（EMG）信息；根据EMG信息估计关节运动。
所述方法还可包括：检测与用户对应的生物医学信号；根据生物医学信号利用运动伪影补偿估计的对象的状态中的误差。
所述方法还可包括：存储通过连续跟踪抓握对象的状态而产生的形状。
估计关节运动的步骤可包括估计用户为对抓握对象进行抓握而施加的力的强度，估计关节运动的步骤还可包括通过连续跟踪抓握对象的状态按照与所述力的强度对应的粗细产生形状。
所述方法还可包括：标识抓握对象的类型；通过连续跟踪对象的状态根据抓握对象的类型执行动作。
在另一一般方面，一种利用抓握对象执行运动识别的装置包括：腕部状态估计器，被配置为根据使用抓握对象执行的书写动作估计腕部的状态；关节运动估计器，被配置为根据书写动作估计与腕部有关的用户的身体部位的关节运动；对象状态估计器，被配置为根据腕部的状态和关节运动估计抓握对象的状态。
所述装置还可包括：信号产生器，被配置为通过连续跟踪抓握对象的状态产生用于控制外部装置的控制信号。
所述装置还可包括：动作开始检测器，被配置为利用抓握对象检测用户的书写动作的开始。
所述动作开始检测器可包括：动作开始确定器，被配置为当检测到由书写动作产生的声音和与书写对应的对象的抓握中的至少一个时，确定书写动作开始。
所述对象状态估计器可包括基面接触估计器，其被配置为根据腕部的状态和关节运动估计抓握对象相对于基面的接触位置。
所述腕部状态估计器可包括加速度检测器，其被配置为根据使用抓握对象的书写动作检测关于六个轴的加速度，并根据所述加速度估计包括腕部的位置变化和腕部的旋转中的至少一个的腕部的状态。
所述关节运动估计器可包括肌电图（EMG）检测器，其被配置为根据书写动作检测与腕部有关的身体部位的EMG信息，并根据所述EMG信息估计关节运动。
所述装置还可包括：生物医学信号检测器，被配置为检测与用户对应的生物医学信号；对象状态补偿器，被配置为根据生物医学信号利用运动伪影补偿估计的对象的状态中的误差。
所述装置还可包括：书写产生器，被配置为产生通过连续跟踪抓握对象的状态而产生的形状。
所述装置可提供：所述关节运动估计器包括抓握强度估计器，其被配置为估计用户为抓握对象而施加的力的强度；所述书写产生器被配置为通过连续跟踪抓握对象的状态按照与所述力的强度对应的粗细产生形状。
所述书写产生器可包括对象标识器，其被配置为利用对象抓握位置、由书写动作产生的声音以及用户的语音中的至少一个来标识抓握对象的类型，并通过执行与对象的类型对应的动作来产生形状。
在另一一般方面，一种利用抓握对象识别运动的系统包括：运动识别装置，被配置为根据用户的腕部的状态以及与腕部有关的身体部位的关节运动估计抓握对象的状态，并且被配置为发送用于控制外部装置的控制信号，所述控制信号是通过连续跟踪抓握对象的状态而产生的；所述外部装置，被配置为在接收到控制信号时执行与控制信号对应的预定操作。
所述运动识别装置可选择与通过连续跟踪抓握对象的状态而产生的形状对应的外部装置，并可产生用于控制选择的外部装置的信号作为控制信号。
所述控制信号可包括当从所述形状检测到激活外部装置的预定部位的用户动作时命令外部装置执行与所述预定部位对应的操作的控制命令。
在另一方面，一种利用抓握对象识别运动的方法包括：根据用户的腕部的状态以及与腕部有关的身体部位的关节运动估计抓握对象的状态；存储通过连续跟踪抓握对象的状态而产生的形状；识别所述形状以标识与所述形状对应的外部装置并确定将由所述外部装置执行的操作；向所述外部装置发送控制信号，以命令所述外部装置执行所述操作。
所述形状可包括书写的语言，识别步骤可包括识别书写的语言。
可基于识别出的书写的语言标识外部装置。
可基于识别出的书写的语言确定将由外部装置执行的操作。
可基于识别出所述形状代表所述外部装置来标识所述外部装置。
所述形状的区域可以是所代表的外部装置的执行指定操作的一部分的图画，并且所述方法还可包括当用户选择所述部分时，发送控制信号以命令所述外部装置执行所述指定操作。
其他特征和方面将从下面的具体实施方式和附图是明显的。
附图说明
图1是示出根据示例实施例的识别抓握对象的运动的运动识别装置的示图。
图2是示出根据示例实施例的识别抓握对象的运动的系统的配置的示图。
图3是示出根据示例实施例的识别抓握对象的运动的方法的流程图。
图4是示出根据示例实施例的通过利用抓握对象识别运动来连续跟踪抓握对象的状态的方法流程图。
图5是示出根据示例实施例的存储来自利用抓握对象识别运动的运动识别装置的识别结果的操作的示图。
图6至图8是示出根据示例实施例的使用利用抓握对象识别运动的运动识别装置来控制外部设备的操作的示图。
图9A至图9B是示出根据示例实施例的利用抓握对象检测空间运动以识别运动的运动识别装置的示图。
图10A至图10F是示出根据示例实施例的利用抓握对象检测关节运动以识别运动的运动识别装置的示图。
图11是示出根据示例实施例的利用抓握对象识别运动的运动识别装置的配置的示图。
图12是示出根据示例实施例的利用抓握对象识别运动的另一运动识别装置的配置的示图。
贯穿附图和具体实施方式，除非另外描述或提供，相同的标号将被理解为指代相同的元件、特征和结构。附图可能未按比例，为了清晰、说明和方便起见，图中元件的相对尺寸、比例和描绘可能被夸大。
具体实施方式
提供下面的具体实施方式是为了帮助读者获得本文所描述的方法、设备和/或系统全面理解。然而，对于本领域普通技术人员而言，本文所描述的方法、设备和/或系统的各种改变、修改和等同物将是明显的。所描述的一系列处理步骤和/或操作是示例；然而，步骤和/或操作的顺序不限于本文所阐述的顺序，而是可如本领域所知那样改变，除非步骤和/或操作必须按照特定顺序发生。另外，为了清晰和简明，本领域普通技术人员熟知的功能和构造的描述可省略。
本文所描述的特征可按照不同的形式实施，而不应解释为限于本文所描述的示例。相反，提供本文所描述的示例以使得本公开将彻底和完整，并且将本公开的完整范围传达给本领域普通技术人员。
包括基于触摸的输入单元的移动装置的用户接口（UI）被配置为识别在感测用户触摸的键盘处接收的用户输入。为了使用这样的输入单元，用户会需要学习使用基于触摸的键盘的特定方式。然而，这样的使用基于触摸的键盘的方式可能不直观。另外，鉴于已有移动装置的尺寸减小的趋势（例如小尺寸的可佩戴装置），用户可能难以利用基于触摸的输入单元来控制移动装置。
以下，将参照附图描述实施例。
图1是示出根据示例实施例的识别抓握对象的运动的运动识别装置110的示图。运动识别装置110估计由用户190抓握的抓握对象180的状态。例如，运动识别装置110通过连续跟踪抓握对象180的状态来识别用户190使用抓握对象180书写的内容。在下面的描述中，书写表示使用抓握对象180书写或绘制内容的用户动作以及包括绘制字母、单词、句子、数字和图画的动作。
根据实施例，运动识别装置110被附着到用户190。例如，运动识别装置可被附着到用户190的腕部。运动识别装置110包括至少一个传感器以检测诸如运动信号、生物医学信号或其它类型的信号中的至少一个信号。运动识别装置110通过将检测到的各种类型的生物医学信号和运动信号组合来准确地估计用户190的身体部位（例如，手、腕、臂等）的运动。运动识别装置110可将关于使用抓握对象180在便签或其它介质上自由且直观书写的内容的信息存储成基于书写的内容的可读数据。另选地，所述内容可被存储在外部装置中，该外部装置与运动识别装置110通信以用作外部数据储存库。例如，当运动识别装置110从用户190识别并估计运动时，运动识别装置110将指示运动的数据写到或无线地发送到外部装置，外部装置存储该数据以用于将来使用。
在一个示例中，抓握对象180是指用户190书写特定内容所使用的工具。例如，抓握对象180可以是钢笔、铅笔、手写笔、毛笔或形状舒适并使用户190能够抓握对象的其它对象。如上所述，内容是指使用抓握对象180所书写的材料。可抓握形状可包括细长形状，例如筷子。抓握对象180被配置为具有由用户190操纵的尖端，使得抓握对象180的尖端的移动被记录，并且记录的移动产生所述内容。
图2是示出根据示例实施例的识别抓握对象的运动的系统的配置的示图。运动识别系统包括运动识别装置210、存储装置220、输入和输出装置230和外部设备240。尽管被标记为外部设备240，在一个配置中，此设备可被集成到系统中。另外，尽管图2示出存储装置200、输入/输出装置230和外部设备240在运动识别装置210的外部，存储装置220、输入/输出装置230和外部设备240中的全部或至少一个可被集成到运动识别装置210中或者可以是运动识别装置210的一部分。
根据实施例，当佩戴运动识别装置210的用户190在便签上写下某内容时，运动识别装置210从便签书写201识别正被书写的便签。例如，用户190使用抓握对象180执行便签书写201。运动识别装置210将便签书写201存储在存储装置220中，将便签书写201发送给输入/输出装置230，或者基于便签书写201控制外部设备240。将参照图3至图12进一步描述由运动识别装置210识别并使用用户190的便签书写201的方法。
图3是示出根据示例实施例的识别抓握对象的运动的方法的流程图。该方法包括可由包括在运动识别装置210中的传感器和处理器执行的操作。
在操作310，该方法检测书写动作的开始。例如，运动识别装置210检测书写动作的开始。根据实施例，当检测到从书写动作生成的声音和关于对象的抓握的信息中的至少一个时，操作310可确定书写动作开始。例如，由书写动作产生的声音包括抓握对象与接触面（例如，基面或纸面）之间的摩擦声音。在此申请的背景下，“基面（ground surface）”用作指代抓握对象可接触以在其上书写的表面的通称。如刚才所提及的，可在纸面上执行书写，但在其它实施例中使用其它适当的平坦表面。操作310将摩擦声音解释为指示书写动作开始。另外，当在操作310检测到用户的特定手位置（例如，笔抓握位置）时，该方法确定书写动作开始。书写动作可包括用户使用抓握对象的书写运动。
在操作320，该方法根据书写动作估计腕部的状态。腕部的状态可包括腕部位置、腕部位置变化、旋转角度和旋转方向。由于用户190随着书写动作发生移动他或她的腕部，关于腕部如何移动的信息提供了关于如何操纵抓握对象180的信息，这可有助于推导书写运动。例如，运动识别装置的方法通过根据书写动作利用加速度传感器检测加速度来估计腕部位置的相对变化。当加速度传感器能够检测六轴加速度时，可估计腕部的旋转角度和旋转方向。
在操作330，该方法根据书写动作估计关节运动。关节运动可包括与腕部有关的身体部位的关节运动。例如，关节运动可包括弯曲手指或手臂的运动。在一个实施例中，运动识别装置检测与执行书写动作的腕部对应的身体部位的肌电图（EMG），并根据EMG中所包括的肌肉的收缩和舒张信号估计关节运动。例如，与腕部有关的身体部位可以是指关节、腕关节、臂关节和肩关节中的一个。然而，与腕部有关的身体部位不限于这些示例，可从其它身体部位得到EMG数据。
在操作340，该方法根据在操作320估计的腕部的状态以及在操作330估计的关节运动估计抓握对象的状态。根据用户相对于抓握对象的抓握位置和运动，抓握对象的状态可包括抓握对象的位置、抓握对象与基面之间的接触位置、基于抓握对象的位置计算的抓握对象的梯度、抓握对象的按压程度以及关于抓握对象的定位和移动的其它信息中的一个或多个。例如，运动识别装置可根据腕部的状态和关节运动估计抓握对象与基面之间的接触位置。
根据实施例，运动识别装置通过检测用户的生物医学信号并根据该生物医学信号使用运动伪影补偿估计的抓握对象的状态中的不准确，来补偿估计的抓握对象的状态中的误差。将参照图11进一步描述使用运动伪影的补偿。
在操作350，该方法连续跟踪抓握对象的状态。运动识别装置通过连续跟踪抓握对象的状态或者通过存储由连续跟踪抓握对象的状态而产生的形状，来产生用于控制外部设备的控制信号。例如，由连续跟踪抓握对象的状态而产生的形状可被存储为或用作计算机可读数据。通过跟踪抓握对象的状态，该方法提供指示用户打算使用抓握对象书写什么内容的信息。
在一个示例中，由连续跟踪抓握对象的状态而产生的形状是通过由运动识别装置210识别用户使用抓握对象所书写的内容而获得的。如上所述，由连续跟踪抓握对象180的状态而产生的形状可包括识别用户所绘制的字母、单词、句子、数字和绘画的结果。
图4是示出根据示例实施例的通过利用抓握对象识别运动来连续跟踪抓握对象的状态的方法的流程图。
在操作410，该方法确定用户是否正在使用对象书写。在实施例中，所述对象是抓握对象180。用户是否正在使用对象书写可通过如以上图3所示并关于图3所述的书写动作是否开始来确定。例如，当检测到由书写动作产生的声音和指示书写动作的对象的抓握信息中的至少一个时，所述方法可确定书写动作开始。当确定用户不在书写时，运动识别装置可等待直至书写动作开始以跟踪抓握对象180的运动。
在操作451，该方法测量用户抓握对象的力的强度。运动识别装置从与腕部有关的身体部位的关节运动估计用户抓握对象的力的强度。通过操作451测量的力是由于用户190挤压抓握对象180而对抓握对象180提供抓握的用户的手的部位所施加的力。例如，运动识别装置可检测当用户弯曲他或她的手指以抓握对象时所产生的接收自肌肉的EMG信号，从而从EMG信号的强度估计力的强度。
接下来，在操作452，该方法设置粗细。粗细是指由抓握对象180与其所书写的表面之间的接触导致的足迹的粗细。在示例实施例中，粗细包括用户所书写的字母的粗细、用户所绘制的线的粗细、橡皮擦所擦除部分的范围以及书写改正工具的有效范围。例如，在452中，运动识别装置设置与451中估计的力的强度对应的粗细，并将该粗细应用于刚才所述的字母、线和范围。例如，随着估计的力的强度越大，粗细可与强度成比例地增大。在某些实施例中，书写改正工具包括擦除书写的内容的橡皮擦和/或应用效果刷子效果的刷子。
在操作453，该方法标识用户所抓握的对象的类型。例如，运动识别装置利用用户相对于抓握对象的抓握位置和由书写动作产生的声音中的至少一个来标识抓握对象的类型。抓握对象的类型对应于其总体形状和使用方法。将稍后进一步描述标识抓握对象的类型的方法。
根据实施例，运动识别装置利用用户抓握抓握对象的位置来标识抓握对象的类型。例如，当用户抓握诸如笔的细长对象时，运动识别装置将抓握对象标识为书写工具。当用户抓握诸如橡皮擦的厚的对象时，运动识别装置将抓握对象标识为擦除工具。然而，不限于以上示例，运动识别装置可根据抓握对象的独特形状将抓握对象的类型标识为与用户的位置对应的工具。例如，以不同的方式成型或持握的抓握对象可被识别为属于特定类型的抓握对象。
根据另一实施例，运动识别装置利用由书写动作产生的声音标识抓握对象的类型。在实施例中，由书写动作产生的声音是抓握对象与诸如基面或纸面的接触面之间的摩擦声音。分析该声音以标识适当类型的抓握对象。在示例中，当摩擦声音快且频率高时，抓握对象被标识为擦除工具。当摩擦声音慢且频率低时，抓握对象被标识为书写工具。可通过跟踪在给定时间段期间出现多少声音或者以其它方式跟踪摩擦声音的速度和频率来实现这样的方法。另外，在其它实施例中可不同地解释摩擦声音。例如，可存在用于确立抓握对象应该被视作书写工具还是橡皮擦的阈值或度量。
作为另一示例，运动识别装置测量抓握对象与接触面之间的摩擦声音的波形，从而确定用户抓握与该波形对应的类型的对象。在测量时，这样的波形表征摩擦声音以使得可基于信号分析标识它们。
例如，在接收待分类的波形之前，运动识别装置存储书写工具与纸面之间所产生的摩擦声音的波形以及橡皮擦与纸面之间所产生的摩擦声音的波形。运动识别装置通过将抓握对象与纸面之间所产生的摩擦声音与存储的波形进行比较来标识抓握对象的类型。基于比较，运动识别装置将抓握对象分类为书写工具或橡皮擦。例如，所述分类可基于哪一已有波形与使用抓握对象生成的波形最相似。
作为另一示例，运动识别装置通过识别用户的语音选择来标识抓握对象的类型。在示例中，当用户说“红色”时，运动识别装置通过识别用户的语音将抓握对象标识为“红笔”。然而，抓握对象可能并不总是对应于语音识别的结果，因为有时语音识别命令指向其它输入变量。例如，即使在用黑笔书写的同时，用户也可能通过使运动识别装置通过语音识别颜色来自由地改变颜色。因此，如果用户正在用黑笔书写，如果用户说“蓝色”，则这可能仅指示笔的颜色变化。然而，如果用户正在擦除，如果用户说“蓝色”，则这可能导致笔的颜色变化以及从橡皮擦到笔对象类型的改变。
接下来，在操作454，当抓握对象被标识为书写工具（例如，铅笔）时，该方法产生书写。以与图3类似的方式，运动识别装置通过连续跟踪抓握对象的状态来产生书写。这里，运动识别装置根据在452中设置的粗细来产生书写。
在操作455，当抓握对象被标识为书写改正工具（例如，橡皮擦）时，该方法改正书写。以与图3类似的方式，运动识别装置通过连续跟踪抓握对象的状态来改正书写。这里，运动识别装置根据在452中设置的粗细来改正书写。
接下来，在操作456，该方法通过根据抓握对象的标识类型执行动作来产生与用户的书写对应的形状。例如，所述形状是基于根据操作452、454和455产生并改正的书写产生的。例如，通过根据抓握抓握对象的力的强度变化线的粗细，运动识别装置可产生以与语音识别输入对应的颜色书写的、与用户所执行的书写对应的形状。
在操作457，该方法确定用户是否结束书写。例如，当用户不再抓握抓握对象时、当抓握对象的抓握位置不是用于书写时、当在预定时间内没有检测到抓握对象与接触面之间的摩擦声音时等等，确定书写结束。然而，其它事件可导致实施例确定用户结束书写，因此，以上示例仅表示示意性示例。根据实施例，当确定书写结束时，运动识别可结束，因此不再跟踪抓握对象的位置。另选地，当确定书写未结束时，该方法返回操作410以重新发起跟踪书写的处理。
图5是示出根据示例实施例的存储来自利用抓握对象识别运动的运动识别装置510的识别结果的操作的示图。如图5所示，当用户590书写特定内容时，运动识别装置510可存储通过连续跟踪抓握对象580的状态而产生的形状。
根据实施例，运动识别装置510可利用通信网络、云服务或者替代的远程或本地存储方案将所述形状存储在存储装置中。在示例实施例中，存储装置包括服务器520。服务器520可主持远程存储。
图6是示出根据示例实施例的使用利用抓握对象680识别运动的运动识别装置610来控制外部设备640的操作的示图。运动识别装置610发送用于控制外部设备640的控制信号。所述控制信号是通过连续跟踪抓握对象680的状态而产生的。当接收到控制信号时，外部设备640执行预定操作。
例如，佩戴运动识别装置610的用户690可使用抓握对象680书写包括电话号码（例如，123-456-7890）和“call”（呼叫）的内容。通过跟踪抓握对象680的移动，运动识别装置610能够识别出用户所书写的内容是包括连字符的数字串和命令“call”。基于这样的识别，运动识别装置610确立用户的意图是“call”上述电话号码。因此，运动识别装置610将包括呼叫书写的电话号码的命令的控制信号无线地发送给预先连接的外部设备640（例如，智能电话）。当接收到该控制信号时，外部设备640可对该电话号码进行呼叫。因此，此示例示出用户所书写的内容可能具有含义。在各种示例中，所述内容可被识别为提供输入，或者还可被识别为提供将在外部设备640处实现的命令。
作为另一示例，运动识别装置610可仅利用有线或无线连接将通过连续跟踪抓握对象680的状态而产生的原形状发送给输入/输出装置。在实施例中，输入/输出装置显示发送的形状。
图7是示出根据示例实施例的使用利用抓握对象780识别运动的运动识别装置710来控制外部设备740的另一操作的示图。运动识别装置710可选择与通过连续跟踪抓握对象780的状态而产生的形状对应的外部设备740，并产生用于控制外部设备740的控制信号。这里，通过连续跟踪抓握对象780的状态而产生的形状可包括外部设备740的名称、形状等。因此，如果通过连续跟踪抓握对象780的状态而产生的形状包含与外部设备740匹配的单词或图示，则该形状可用于确立将哪一外部设备740标识为待控制的外部设备740。
例如，当佩戴运动识别装置710的用户790如图7所示使用抓握对象780书写外部设备740的名称（例如，“air conditioner”（空调）），并绘制遥控器按钮时，运动识别装置710选择与书写的名称对应的外部设备740，并控制该外部设备740。这里，如图7所示，运动识别装置710识别与“air conditioner”的遥控器对应的书写，从而控制空调的制冷温度设置。根据实施例，当用户790轻击与遥控器按钮对应的部分时，运动识别装置710可检测该轻击并产生用于控制“air conditioner”（在此示例中，是外部设备740）的制冷温度的控制信号。
图8是示出根据示例实施例的使用利用抓握对象识别运动的运动识别装置810来控制外部设备840的另一操作的示图。运动识别装置810可产生用于控制与通过连续跟踪抓握对象的状态而产生的形状对应的外部设备840的控制信号。图8没有示出抓握对象，而是相反示出已经按照上述相似的方式绘制出形状的情形。根据实施例，当从通过连续跟踪抓握对象的状态而产生的形状检测到激活预定部位801的用户动作时，控制信号可控制外部设备840执行与预定部位801对应的动作。这里，预定部位801可包括与形状中的特定坐标对应的点。运动识别装置810可基于形状的性质以及形状的剩余部分与预定部位801之间的关系识别出预定部位801固有地包括某种功能。
例如，如图所示，佩戴运动识别装置810的用户890利用抓握对象书写与外部设备840对应的形状。在图8中，此形状是相机（是外部设备840）的图画。在这种情况下，当运动识别装置810从书写的形状检测到激活预定部位801（例如，快门）的用户动作（例如，轻击运动）时，运动识别装置810可产生命令执行对应操作（例如，拍摄）的控制信号。在图8中，激活预定部位没有必要利用抓握对象来进行，而是可以替代方式执行，例如通过使用户890用手指轻击预定部位801。响应于这样轻击预定部位801的手势，外部设备840（例如，相机）接收控制信号并执行预定操作（即，获得拍摄图像）。
图9A至图9B是示出根据示例实施例的利用抓握对象检测空间运动以识别运动的运动识别装置910的示图。佩戴在用户990上的运动识别装置910可利用由加速度感测单元检测的加速度信号来估计与用户的腕部的状态有关的信息（包括腕部的空间运动）。运动识别装置910可位于用户990的任一腕部上，但在一个实施例中，运动识别装置910位于与用户990的惯用手对应的用户990的腕部上。另外，在一个实施例中，用户的每一腕部上均有运动识别装置910。另外，在实施例中，多个运动识别装置910用在用户990的同一腕部上并将它们所收集的信息汇集在一起以用于分析。例如，运动识别装置910可如图9A所示根据肘关节的运动估计腕部的位置变化，并且如图9B所示根据肩关节的运动估计腕部的位置变化。这样的测量利用包括在运动识别装置910中的适当传感器来执行，所述传感器的输出用于推断运动识别装置910的运动特性。
当运动识别装置910包括测量关于六个移动轴的加速度的加速度感测单元时，在一个实施例中，通过利用适当的几何技术从来自加速度感测单元的信息推断这些估计，运动识别装置910另外从关于六个轴的加速度信号估计腕部的旋转角度和旋转方向。
图10A至图10F是示出根据示例实施例的利用抓握对象检测关节运动以识别运动的运动识别装置1010的示图。这里，运动识别装置1010利用由EMG感测单元检测的EMG信号估计与腕部有关的身体部位的关节运动。如上所述，在某些实施例中，EMG信号表示通过骨骼肌发送的某些电信号，其用于提供关于身体部位如何移动的信息。
例如，运动识别装置1010可如图10A所示估计腕部的上下弯曲，并且如图10B所示估计腕部的左右弯曲的程度和方向。另外，运动识别装置1010可如图10C所示估计腕部的旋转方向、旋转角度、旋转强度。如上所述，在实施例中，运动识别装置1010接收EMG信号并解释EMG信号以表征如图10A-10C所示的各种形式的腕部运动。
作为另一示例，运动识别装置1010可如图10D和图10E所示估计手指的弯曲程度和弯曲方向。如图10F所示，可估计用户在不弯曲手指的情况下做出施加力的用户动作（例如，轻击）的情况。如针对图10A-10C提供的，图10D-10F示出可从EMG信号测量的各种类型的可能肌肉活动。然而，代替如图10A-10C中那样示出粗略的手运动，图10D-10E示出精细的手指运动，图10F示出手指施加压力的能力。
根据实施例，运动识别装置1010基于与腕部有关的关节运动（例如，如图9A至图10F所示，手指弯曲和腕部弯曲）来估计用户对抓握对象抓握的位置，并从抓握对象的位置和腕部的位置估计抓握对象的状态。
图11是示出根据示例实施例的利用抓握对象识别运动的运动识别装置1100的配置的示图。运动识别装置1100包括动作开始检测器1110、腕部状态估计器1120、关节运动估计器1130、对象状态估计器1140和信号产生器1150。
动作开始检测器1110检测使用抓握对象执行的书写动作的开始。在示例实施例中，动作开始检测器1110包括检测由书写动作产生的声音的声音检测器以及当检测到所述声音和以指示书写的方式相对于抓握对象的抓握中的至少一个时确定书写动作开始的动作开始确定器。例如，由书写动作产生的声音包括抓握对象与接触面之间的摩擦声音（其被解释为指示检测到书写）。
腕部状态估计器1120根据使用抓握对象所执行的书写动作来估计用户的腕部的状态。在示例实施例中，腕部状态估计器1120包括加速度传感器（诸如，加速度计），以根据书写动作检测腕部关于六个轴的加速度和移动，并根据加速度估计腕部的状态（包括腕部的位置变化和腕部的旋转中的至少一个）。
关节运动估计器1130根据书写动作估计与腕部有关的身体部位的关节运动。关节运动估计器1130可选地包括EMG感测单元，其根据书写动作检测与腕部有关的身体部位的EMG，并基于EMG估计关节运动。在示例实施例，关节运动估计器1130包括抓握强度估计器，以估计用户对抓握对象进行抓握的力的强度。估计的强度可由书写产生器使用。
对象状态估计器1140根据由腕部状态估计器1120和关节运动估计器1130提供的腕部的状态和关节运动估计抓握对象的状态。对象状态估计器1140可包括基面接触估计器，其被配置为如上所述根据腕部的状态和关节运动估计抓握对象相对于基面的接触位置。
信号产生器1150通过连续跟踪抓握对象的状态来产生用于控制外部设备的控制信号。在示例实施例中，信号产生器1150包括书写产生器，其被配置为通过连续跟踪抓握对象的状态来产生形状。可选地，书写产生器通过连续跟踪抓握对象的状态按照与力的强度对应的粗细产生从抓握对象的状态得到的形状。在一些实施例中，书写产生器包括对象标识器，其被配置为利用对象抓握位置、由书写动作产生的声音和用户的语音中的至少一个来标识抓握对象的类型。书写产生器通过执行与抓握对象的类型对应的动作来产生形状。例如，与抓握对象的类型对应的动作可包括产生字母和句子以及产生或改正图画。此外，实施例可处理文本或图画的内容，以识别这些内容。例如，所述文本可提供文本命令或文本命令的参数。例如，所述文本命令可包括“e-mail”（发电子邮件）的命令，所述参数可以是电子邮件地址。另选地，如图8所示，实施例还可处理图画以理解用户的意图。
信号产生器1150通过通信单元将控制信号发送给外部设备、输入和输出装置和存储装置中的至少一个。例如，通信单元可有线或无线地（例如，通过蓝牙、Wi-Fi、Zigbee和其它通信协议）与其它设备通信。
根据特定实施例，运动识别装置1100还包括：生物医学信号检测单元，其被配置为检测用户的生物医学信号；对象状态补偿器，其被配置为通过根据生物医学信号利用运动伪影调节估计的状态以补偿生物医学信号。例如，运动识别装置1100从生物医学信号提取运动伪影，其中所述运动伪影是根据附有生物医学信号检测单元的用户的运动而产生的，并利用运动伪影得到校正的用户动作。对象状态补偿器可使用此信息以在由对象状态估计单元1140估计的抓握对象的状态中补偿生物医学信息。
例如，生物医学信号可包括诸如从心电图（ECG）、眼电图（EOG）、EMG、脑电图（EEG）以及与用户身体的各个部位中的电活动有关的类似测量获得的那些信息。在这样的示例中，运动识别装置1100利用从生物医学信号提取的运动伪影来估计用户动作，以改善其早期估计。
图12是示出根据示例实施例的利用抓握对象识别运动的运动识别装置1200的配置的示图。运动识别装置1200包括检测器1210、处理器1220、存储器1230和通信器1240。
在图12的示例中，检测器1210检测生物医学信号、声音信号和加速度信号。例如，检测单元1210包括EMG传感器、声音传感器、ECG传感器、光电体积描记（PPG）传感器和阻抗传感器中的一个或多个。
例如，生物医学信号包括EGC、EOG、EMG和EEG信号信息中的一个或多个。例如，声音信号包括运动识别装置1200的环境声音和用户的语音。例如，加速度信号包括与线性运动有关的三轴加速度信号以及与参照每一轴的旋转有关的三轴加速度信号。
处理器1220执行根据实施例的利用抓握对象识别运动的方法。处理器1210利用生物医学信号、加速度信号和声音信号估计由用户抓握的抓握对象的状态，并通过连续跟踪抓握对象的状态产生用于控制外部设备的控制信号。在示例中，从EMG传感器估计与腕部有关的身体部位的关节运动，从加速度信号估计腕部的状态，并且从腕部的状态和关节运动估计抓握对象的状态。在这样的示例中，按照与图3和图4中所描述的方法类似的方式来估计抓握对象的状态。
存储器1230存储包括用于执行图3和图4中所描述的方法的指令字的至少一个程序。存储器1230还存储通过连续跟踪抓握对象的状态而产生的形状。
通信器1240将由处理器1220产生的控制信号发送给外部设备。通信器1240利用有线或无线通信技术与外部设备、存储装置和输入/输出装置中的至少一个通信。在示例中，通信器1240无线地搜索外部设备、存储装置和输入/输出装置以确定它们是否可用于运动识别装置1200。
运动识别装置可提供能够准确地识别用户动作（例如，便签书写和图画）的UI。所述UI可以是不需要单独的输入和输出设备的直观且自然的高级UI。
根据实施例，运动识别装置利用生物医学信号检测器、加速度检测器以及关于手部运动的信息的其它来源准确地估计手部运动。运动识别装置还基于手部运动的估计提供响应于用户的便签书写的直观UI。
根据实施例，运动识别装置利用加速度检测单元（例如，加速度计）识别包括用户的手部移动的臂部的大尺度运动，并利用EMG传感器估计用户弯曲和伸展各个手指的动作以及腕部运动。
根据实施例，当佩戴有腕部可佩戴运动识别装置的用户通过预定的书写工具在纸上书写或绘制时，运动识别装置识别并执行对应的用户动作。尽管此实施例将运动识别装置表征为腕部可佩戴运动识别装置，其它实施例为运动识别装置提供替代形式。
运动识别装置通过将与用户动作有关的信息发送给预定输入/输出装置或存储装置来向用户提供反馈。例如，随着用户操纵可抓握的书写工具，输入/输出装置可显示用户正书写的字母、句子和图画。
根据实施例，运动识别装置提供直观且自然的书写型UI。例如，运动识别装置可在没有显示器的情况下操作，但仍可允许外部装置被控制。作为另一示例，运动识别装置可用作用于输入数据的其它单独的设备的替代。如针对若干实施例所描述的，用户可通过与运动识别装置交互来直观地控制外部装置。
根据实施例，运动识别装置方便地将作为便签的一部分书写的数据的输入发送给云服务器或者其它本地或远程储存库。另外，在一个实施例中，运动识别装置通过在纸上或其它表面上绘制用于控制外部装置的图标并指点该图标以指示外部装置的控制形式来控制外部装置。
本文所描述的设备和单元可利用硬件组件来实现。例如，硬件组件可包括控制器、传感器、处理器、产生器、驱动器和其它等同的电子组件。硬件组件可利用一个或多个通用或专用计算（例如，处理器、控制器和算术逻辑单元）、数字信号处理器、微计算机、现场可编程阵列、可编程逻辑单元、微处理器或者能够以限定的方式响应于并执行指令的任何其它装置来实现。硬件组件可运行操作系统（OS）以及在OS上运行的一个或多个软件应用。硬件组件还可响应于软件的执行访问、存储、操纵、处理和创建数据。为了简明起见，处理装置的描述用作单数；然而，本领域技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，硬件组件可包括多个处理器或者一个处理器和控制器。另外，不同的处理配置是可以的，例如并行处理器。
以上所描述的方法可被撰写为用于独立地或共同地命令或配置处理装置按照期望操作的计算机程序、一段代码、指令或它们的一些组合。所述软件和数据可永久地或临时地实施于任何类型的机器、组件、物理或虚拟设备、计算机存储介质中，或者实施于能够提供指令或数据给处理装置或者提供能够被处理装置解释的指令或数据的装置中。所述软件还可分布于联网的计算机系统上，以使得所述软件以分布式方式存储和执行。具体地讲，所述软件和数据可由一个或多个非瞬时性计算机可读记录介质存储。所述介质还可包括（单独的或与软件程序指令组合的）数据文件、数据结构等。非瞬时性计算机可读记录介质可包括能够存储随后可由计算机系统或处理装置读取的数据的任何数据存储装置。非瞬时性计算机可读记录介质的示例包括只读存储器（ROM）、随机存取存储器（RAM）、压缩盘只读存储器（CD-ROM）、磁带、USB、软盘、硬盘、光学记录介质（如，CD-ROM或DVD）和PC接口（如，PCI、PCI-express、WiFi等）。另外，用于实现本文所公开的示例的功能程序、代码和代码段可由本领域程序员基于本文所提供的附图中的流程图和框图及其对应描述来解释。
仅作为非穷尽性的说明，本文所描述的终端/装置/单元可指移动装置，例如，蜂窝电话、智能电话、可佩戴智能装置（例如，戒指、手表、眼镜、手镯、脚链、腰带、项链、耳环、发带、头盔、嵌入衣服中的装置等）、个人计算机（PC）、平板个人计算机（平板）、平板手机、个人数字助理（PDA）、数码相机、便携式游戏机、MP3播放器、便携式/个人多媒体播放器（PMP）、手持电子书、超移动个人计算机（UMPC）、便携式膝上型PC、全球定位系统（GPS）导航以及诸如高清电视（HDTV）、光盘播放器、DVD播放器、蓝光播放器、机顶盒的装置或者与本文所公开一致的能够无线通信或网络通信的任何其它装置。在非穷尽性示例中，可佩戴装置可自安装在用户的身体上，例如，眼镜或发带。在另一非穷尽性示例中，可佩戴装置可通过附着装置安装在用户的身体上，例如，利用臂带将智能电话或平板附着到用户的手臂上或者利用系带将可佩戴装置挂在用户的脖子上。
尽管本公开包括特定示例，对于本领域普通技术人员而言将明显的是，在不脱离权利要求及其等同物的精神和范围的情况下，可在这些示例中进行各种形式和细节上的改变。本文所描述的示例将仅从描述的意义上考虑，而非为了限制。每一示例中的特征或方面的描述将被视为适用于其它示例中的类似特征或方面。如果所描述的技术按照不同的顺序执行，和/或如果所描述的系统、架构、装置或电路中的组件以不同的方式组合和/或通过其它组件或其等同物替代或补充，则可能实现适当的结果。因此，本公开的范围不由具体实施方式限定，而是由权利要求及其等同物限定，权利要求及其等同物的范围内的所有变化将被解释为包括在本公开中。

Claims (27)

1.一种利用抓握对象执行运动识别的方法，所述方法包括：
根据使用抓握对象执行的书写动作估计用户的腕部的状态；
根据书写动作估计与腕部有关的用户的身体部位的关节运动；
根据腕部的状态和关节运动估计抓握对象的状态，其中，抓握对象的状态是关于抓握对象的定位和移动的信息，
其中，估计腕部的状态的步骤包括：根据书写动作检测加速度，根据加速度估计腕部的状态，
其中，估计关节运动的步骤包括：根据书写动作检测与腕部有关的身体部位的肌电图信息，根据肌电图信息估计关节运动。
2.根据权利要求1所述的方法，还包括：
通过连续跟踪抓握对象的状态产生用于控制外部装置的控制信号。
3.根据权利要求1所述的方法，还包括：
利用抓握对象检测用户的书写动作的开始。
4.根据权利要求3所述的方法，其中，检测步骤包括：
当检测到由书写动作产生的声音和与书写对应的对象的抓握中的至少一个时，确定书写动作开始。
5.根据权利要求1所述的方法，其中，估计抓握对象的状态的步骤包括：
根据腕部的状态和关节运动估计抓握对象相对于基面的接触位置。
6.根据权利要求1所述的方法，还包括：
检测与用户对应的生物医学信号；
根据生物医学信号利用运动伪影补偿估计的对象的状态中的误差。
7.根据权利要求1所述的方法，还包括：
存储通过连续跟踪抓握对象的状态而产生的形状。
8.根据权利要求7所述的方法，其中，
估计关节运动的步骤包括估计用户为对抓握对象进行抓握而施加的力的强度，
估计关节运动的步骤还包括：
通过连续跟踪抓握对象的状态按照与所述力的强度对应的粗细产生形状。
9.根据权利要求1所述的方法，还包括：
标识抓握对象的类型；
通过连续跟踪对象的状态根据抓握对象的类型执行动作。
10.一种利用抓握对象执行运动识别的装置，所述装置包括：
腕部状态估计器，被配置为根据使用抓握对象执行的书写动作估计腕部的状态；
关节运动估计器，被配置为根据书写动作估计与腕部有关的用户的身体部位的关节运动；
对象状态估计器，被配置为根据腕部的状态和关节运动估计抓握对象的状态，其中，抓握对象的状态是关于抓握对象的定位和移动的信息，
其中，所述腕部状态估计器包括加速度检测器，其被配置为根据使用抓握对象的书写动作检测关于六个轴的加速度，并根据所述加速度估计包括腕部的位置变化和腕部的旋转中的至少一个的腕部的状态，
其中，所述关节运动估计器包括肌电图检测器，其被配置为根据书写动作检测在与腕部有关的身体部位产生的肌电图信息，并根据肌电图信息估计关节运动。
11.根据权利要求10所述的装置，还包括：
信号产生器，被配置为通过连续跟踪抓握对象的状态产生用于控制外部装置的控制信号。
12.根据权利要求10所述的装置，还包括：
动作开始检测器，被配置为利用抓握对象检测用户的书写动作的开始。
13.根据权利要求12所述的装置，其中，所述动作开始检测器包括：
动作开始确定器，被配置为当检测到由书写动作产生的声音和与书写对应的对象的抓握中的至少一个时，确定书写动作开始。
14.根据权利要求10所述的装置，其中，所述对象状态估计器包括基面接触估计器，其被配置为根据腕部的状态和关节运动估计抓握对象相对于基面的接触位置。
15.根据权利要求10所述的装置，还包括：
生物医学信号检测器，被配置为检测与用户对应的生物医学信号；
对象状态补偿器，被配置为根据生物医学信号利用运动伪影补偿估计的对象的状态中的误差。
16.根据权利要求10所述的装置，还包括：
书写产生器，被配置为产生通过连续跟踪抓握对象的状态而产生的形状。
17.根据权利要求16所述的装置，其中，
所述关节运动估计器包括抓握强度估计器，其被配置为估计用户为抓握对象而施加的力的强度，
所述书写产生器被配置为通过连续跟踪抓握对象的状态按照与所述力的强度对应的粗细产生形状。
18.根据权利要求16所述的装置，其中，所述书写产生器包括对象标识器，其被配置为利用对象抓握位置、由书写动作产生的声音以及用户的语音中的至少一个来标识抓握对象的类型，并通过执行与对象的类型对应的动作来产生形状。
19.一种利用抓握对象识别运动的系统，所述系统包括：
运动识别装置，被配置为根据用户的腕部的状态以及与腕部有关的身体部位的关节运动估计抓握对象的状态，并且被配置为发送用于控制外部装置的控制信号，所述控制信号是通过连续跟踪抓握对象的状态而产生的，其中，抓握对象的状态是关于抓握对象的定位和移动的信息；
所述外部装置，被配置为在接收到控制信号时执行与控制信号对应的预定操作。
20.根据权利要求19所述的系统，其中，所述运动识别装置选择与通过连续跟踪抓握对象的状态而产生的形状对应的外部装置，并且产生用于控制选择的外部装置的信号作为所述控制信号。
21.根据权利要求20所述的系统，其中，所述控制信号包括当从所述形状检测到激活外部装置的预定部位的用户动作时命令外部装置执行与所述预定部位对应的操作的控制命令。
22.一种利用抓握对象识别运动的方法，所述方法包括：
根据用户的腕部的状态以及与腕部有关的身体部位的关节运动估计抓握对象的状态，其中，抓握对象的状态是关于抓握对象的定位和移动的信息；
存储通过连续跟踪抓握对象的状态而产生的形状；
识别所述形状以标识与所述形状对应的外部装置并确定将由外部装置执行的操作；
向外部装置发送控制信号，以命令外部装置执行所述操作。
23.根据权利要求22所述的方法，其中，所述形状包括书写的语言，识别步骤包括识别书写的语言。
24.根据权利要求23所述的方法，其中，基于识别出的书写的语言标识外部装置。
25.根据权利要求23所述的方法，其中，基于识别出的书写的语言确定将由外部装置执行的操作。
26.根据权利要求22所述的方法，其中，基于识别出所述形状代表外部装置来标识所述外部装置。
27.根据权利要求26所述的方法，其中，所述形状的区域是所代表的外部装置的执行指定操作的一部分的图画，并且所述方法还包括当用户选择所述部分时，发送控制信号以命令外部装置执行所述指定操作。
CN201410141577.4A 2013-06-17 2014-04-09 利用抓握对象识别运动的装置、方法和系统 Active CN104238736B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130068870A KR102170321B1 (ko) 2013-06-17 2013-06-17 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템
KR10-2013-0068870 2013-06-17

Publications (2)

Publication Number Publication Date
CN104238736A CN104238736A (zh) 2014-12-24
CN104238736B true CN104238736B (zh) 2019-02-15

Family

ID=50473019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410141577.4A Active CN104238736B (zh) 2013-06-17 2014-04-09 利用抓握对象识别运动的装置、方法和系统

Country Status (5)

Country Link
US (2) US10019078B2 (zh)
EP (1) EP2815699A1 (zh)
JP (2) JP6527307B2 (zh)
KR (1) KR102170321B1 (zh)
CN (1) CN104238736B (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US20150253859A1 (en) * 2014-03-05 2015-09-10 Google Inc. System and method for physical manipulation of object and type of object as input
CN104571517A (zh) * 2014-12-31 2015-04-29 杨皓 一种人体动作对电子设备进行输入及控制的方法
CN104656896B (zh) * 2015-02-10 2018-09-18 北京智谷睿拓技术服务有限公司 确定输入信息的方法和设备
CN104615248B (zh) * 2015-02-10 2018-07-31 北京智谷睿拓技术服务有限公司 确定输入信息的方法和设备
US10285627B2 (en) * 2015-04-15 2019-05-14 Pixart Imaging Inc. Action recognition system and method thereof
CN113768497A (zh) * 2015-05-04 2021-12-10 原相科技股份有限公司 动作辨识系统及其方法
CN106293048B (zh) * 2015-07-31 2019-05-07 北京智谷睿拓技术服务有限公司 输入信息确定方法和设备
CN106371564B (zh) * 2015-08-28 2020-06-23 北京智谷睿拓技术服务有限公司 输入信息确定方法和设备
CN106249853B (zh) * 2015-09-15 2019-03-19 北京智谷睿拓技术服务有限公司 交互方法和设备
KR102343616B1 (ko) 2015-11-16 2021-12-28 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102570068B1 (ko) 2015-11-20 2023-08-23 삼성전자주식회사 동작 인식 방법, 동작 인식 장치 및 웨어러블 장치
KR102466995B1 (ko) * 2015-12-21 2022-11-14 삼성전자주식회사 사용자 인증 장치 및 방법
CN107153470A (zh) * 2016-03-02 2017-09-12 中国科学院软件研究所 一种多通道健康鼠标系统及健康状况监测方法
KR101775080B1 (ko) * 2016-06-07 2017-09-05 동국대학교 산학협력단 Ｎｕｉ／ｎｕｘ에 기반하여 드로잉 영상을 처리하는 장치 및 방법
KR102619443B1 (ko) 2016-09-30 2023-12-28 삼성전자주식회사 손목 온도 리듬 획득 장치 및 방법, 심부 체온 리듬 획득 장치 및 방법과, 웨어러블 디바이스
KR102655584B1 (ko) 2017-01-02 2024-04-08 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR102329761B1 (ko) * 2017-05-26 2021-11-22 삼성전자주식회사 외부 장치의 선택 및 제어를 위한 전자 장치와 그의 동작 방법
EP3435202A1 (de) 2017-07-25 2019-01-30 Siemens Healthcare GmbH Zuordnen eines werkzeuges zu einer greifgeste
JP7071717B2 (ja) * 2017-09-05 2022-05-19 株式会社国際電気通信基礎技術研究所 イベント系列抽出装置、イベント系列抽出方法およびイベント抽出プログラム
EP3697297A4 (en) 2017-10-19 2020-12-16 Facebook Technologies, Inc. SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
CA3082411A1 (en) * 2017-11-14 2019-05-23 Biointeractive Technologies, Inc. Apparatus and methods for detecting, quantifying, and providing feedback on user gestures
WO2019134141A1 (zh) * 2018-01-05 2019-07-11 深圳市汇顶科技股份有限公司 主动笔的压力检测方法、装置和主动笔
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
EP3853698A4 (en) * 2018-09-20 2021-11-17 Facebook Technologies, LLC NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY
CN113423341A (zh) 2018-11-27 2021-09-21 脸谱科技有限责任公司 用于可穿戴电极传感器系统的自动校准的方法和装置
CN109960404B (zh) * 2019-02-15 2020-12-18 联想(北京)有限公司 一种数据处理方法及装置
DE102019204714A1 (de) * 2019-04-03 2020-10-08 Technische Hochschule Lübeck Verfahren und Stift zur Personenidentifikation und Schrifterkennung
CN110658889A (zh) * 2019-09-23 2020-01-07 上海闻泰信息技术有限公司 可穿戴设备控制方法、装置、设备及存储介质
CN110664404B (zh) * 2019-09-30 2021-10-26 华南理工大学 一种基于表面肌电信号的躯干代偿检测和消除系统
CN110827987B (zh) * 2019-11-06 2021-03-23 西安交通大学 一种多抓取模式下腕关节力矩的肌电连续预测方法及系统
WO2021100502A1 (ja) * 2019-11-18 2021-05-27 ポジティブワン株式会社 割当制御装置、割当制御システム、及び割当制御方法
JP6747704B1 (ja) * 2020-04-07 2020-08-26 ポジティブワン株式会社 割当制御装置、割当制御システム、及び割当制御方法
CN111288986B (zh) * 2019-12-31 2022-04-12 中科彭州智慧产业创新中心有限公司 一种运动识别方法及运动识别装置
JP2022042362A (ja) * 2020-09-02 2022-03-14 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN112687085B (zh) * 2020-12-23 2021-10-26 邢台职业技术学院 一种幼升小阶段学生“三姿”培养的智能辅助工具
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN113332723A (zh) * 2021-05-26 2021-09-03 网易（杭州）网络有限公司 一种游戏中的音效处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0639754A (ja) * 1992-07-27 1994-02-15 Nippon Telegr & Teleph Corp <Ntt> ロボットハンド制御装置
CN1531676A (zh) * 2001-06-01 2004-09-22 ���ṫ˾ 用户输入装置
CN1625766A (zh) * 2001-04-09 2005-06-08 I.C.+技术有限公司 手运动跟踪和笔迹识别设备与方法
JP2012073830A (ja) * 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6133144U (ja) * 1984-07-31 1986-02-28 カシオ計算機株式会社 ペン型手書き入力装置
JP3310398B2 (ja) 1993-07-12 2002-08-05 株式会社日立製作所 筆記データ入力装置およびそれを用いた筆記データ認識システム
JP2698320B2 (ja) 1993-08-31 1998-01-19 日本電信電話株式会社 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム
JPH10301702A (ja) * 1997-04-30 1998-11-13 Ricoh Co Ltd ペン型入力装置及びそのパタ−ン認識方法
JP3677149B2 (ja) 1998-05-26 2005-07-27 日本電信電話株式会社 手首装着型入力装置
JP4379214B2 (ja) 2004-06-10 2009-12-09 日本電気株式会社 携帯端末装置
KR100650041B1 (ko) * 2004-10-12 2006-11-28 학교법인연세대학교 가속도 센서를 이용한 동잡음 제거수단을 구비하는오실로메트릭 방식 혈압계
KR100680023B1 (ko) 2004-12-06 2007-02-07 한국전자통신연구원 생체신호를 이용한 착용형 휴대폰 입력 장치 및 그 제어방법
US9155487B2 (en) * 2005-12-21 2015-10-13 Michael Linderman Method and apparatus for biometric analysis using EEG and EMG signals
TWI301590B (en) 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
KR100793079B1 (ko) 2006-12-08 2008-01-10 한국전자통신연구원 손목착용형 사용자 명령 입력 장치 및 그 방법
JP2008305199A (ja) 2007-06-07 2008-12-18 Fujitsu Component Ltd 入力システム及びプログラム
JP4927009B2 (ja) 2008-03-12 2012-05-09 ヤフー株式会社 手書き文字認識装置
CN101969848B (zh) * 2008-03-14 2012-11-28 皇家飞利浦电子股份有限公司 对外部运动因素引起的加速度不敏感的活动监视系统
JP2009266097A (ja) * 2008-04-28 2009-11-12 Toshiba Corp 入力機器
US8805518B2 (en) * 2008-05-09 2014-08-12 Medtronic, Inc. Peripheral nerve field stimulation control
US8764850B2 (en) * 2008-07-31 2014-07-01 Northwestern University Bi-modal ankle-foot device
US8776264B2 (en) * 2009-04-03 2014-07-15 Ware Llc Garments for providing access for sensors to contact skin
JP4988016B2 (ja) * 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
KR101234111B1 (ko) * 2009-10-13 2013-02-19 한국전자통신연구원 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
US20140194726A1 (en) * 2013-01-04 2014-07-10 Neurotrek, Inc. Ultrasound Neuromodulation for Cognitive Enhancement
TWI393579B (zh) * 2009-11-13 2013-04-21 Inst Information Industry The state of the muscle movement state analysis system, methods and computer program products
US8830212B2 (en) * 2010-06-01 2014-09-09 Vladimir Vaganov System and method for digital recording of handpainted, handdrawn and handwritten information
KR20110137587A (ko) 2010-06-17 2011-12-23 한국전자통신연구원 공간 입출력 인터페이싱 장치 및 방법
JP5621464B2 (ja) * 2010-09-24 2014-11-12 富士ゼロックス株式会社 動作検出装置、記録システム及びプログラム
US20130045774A1 (en) * 2010-12-07 2013-02-21 Sigza Authentication Systems Smart Phone Writing Method and Apparatus
KR101159475B1 (ko) 2010-12-10 2012-06-25 숭실대학교산학협력단 근전도 센서와 가속도 센서를 이용한 로봇 이동 제어 장치 및 방법
KR101800182B1 (ko) 2011-03-16 2017-11-23 삼성전자주식회사 가상 객체 제어 장치 및 방법
AU2012259507B2 (en) * 2011-05-20 2016-08-25 Nanyang Technological University Systems, apparatuses, devices, and processes for synergistic neuro-physiological rehabilitation and/or functional development
KR20120133351A (ko) 2011-05-31 2012-12-10 주식회사 네오펙트 모바일 연동 장갑형 데이터 입력장치
US9218058B2 (en) 2011-06-16 2015-12-22 Daniel Bress Wearable digital input device for multipoint free space data collection and analysis
US20140267024A1 (en) * 2013-03-15 2014-09-18 Eric Jeffrey Keller Computing interface system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0639754A (ja) * 1992-07-27 1994-02-15 Nippon Telegr & Teleph Corp <Ntt> ロボットハンド制御装置
CN1625766A (zh) * 2001-04-09 2005-06-08 I.C.+技术有限公司 手运动跟踪和笔迹识别设备与方法
CN1531676A (zh) * 2001-06-01 2004-09-22 ���ṫ˾ 用户输入装置
JP2012073830A (ja) * 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置

Also Published As

Publication number Publication date
KR20140146346A (ko) 2014-12-26
JP2015001978A (ja) 2015-01-05
CN104238736A (zh) 2014-12-24
US10019078B2 (en) 2018-07-10
JP6527307B2 (ja) 2019-06-05
KR102170321B1 (ko) 2020-10-26
US10649549B2 (en) 2020-05-12
US20140368474A1 (en) 2014-12-18
JP2019075169A (ja) 2019-05-16
US20180284912A1 (en) 2018-10-04
EP2815699A1 (en) 2014-12-24

Similar Documents

Publication Publication Date Title
CN104238736B (zh) 利用抓握对象识别运动的装置、方法和系统
US10970936B2 (en) Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US9367139B2 (en) Systems, articles, and methods for gesture identification in wearable electromyography devices
US11567573B2 (en) Neuromuscular text entry, writing and drawing in augmented reality systems
US10179407B2 (en) Dynamic multi-sensor and multi-robot interface system
US20180196847A1 (en) Recognition of free-form gestures from orientation tracking of a handheld or wearable device
JP2022500729A (ja) 拡張現実システムの神経筋制御
EP2959394B1 (en) Methods and devices that combine muscle activity sensor signals and inertial sensor signals for gesture-based control
Wang et al. Hear sign language: A real-time end-to-end sign language recognition system
US9946395B2 (en) User interface method and apparatus
Le et al. PredicTouch: A system to reduce touchscreen latency using neural networks and inertial measurement units
EP3951564A1 (en) Methods and apparatus for simultaneous detection of discrete and continuous gestures
Sharma et al. SparseIMU: Computational design of sparse IMU layouts for sensing fine-grained finger microgestures
Vokorokos et al. Motion sensors: Gesticulation efficiency across multiple platforms
Chae et al. Genetic algorithm-based adaptive weight decision method for motion estimation framework
Byun et al. Hand gesture recognition using clip device applicable to smart watch based on flexible sensor
Muhammad et al. Integrated Wristband using an Inertial Measurement Unit and Electromyography Sensors to Control Robotic Car
Bao et al. Subtle Hand Action Recognition in Factory Based on Inertial Sensors
Sajjadi et al. Airdraw: Leveraging smart watch motion sensors for mobile human computer interactions
CN204288119U (zh) 一种应用图形软件技术实现的操控系统
Umut et al. Novel Wearable System to Recognize Sign Language in Real Time
CN115328306A (zh) 基于惯性测量单元的可穿戴输入交互方法及装置
Yoon Designing Hand-Driven Input with Novel Sensing Techniques for Natural Interactions in Tangible and Soft Interfaces
Kim et al. Development of Bio-Signal Based Continuous Intensity Wearable Input Device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant