CN106156709B - 头部动作确定方法和设备 - Google Patents

头部动作确定方法和设备 Download PDF

Info

Publication number
CN106156709B
CN106156709B CN201510185762.8A CN201510185762A CN106156709B CN 106156709 B CN106156709 B CN 106156709B CN 201510185762 A CN201510185762 A CN 201510185762A CN 106156709 B CN106156709 B CN 106156709B
Authority
CN
China
Prior art keywords
headwork
waveform
information
determining
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510185762.8A
Other languages
English (en)
Other versions
CN106156709A (zh
Inventor
刘浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201510185762.8A priority Critical patent/CN106156709B/zh
Priority to PCT/CN2016/079744 priority patent/WO2016169476A1/en
Priority to US15/567,954 priority patent/US10936052B2/en
Publication of CN106156709A publication Critical patent/CN106156709A/zh
Application granted granted Critical
Publication of CN106156709B publication Critical patent/CN106156709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G06F2218/16—Classification; Matching by matching signal segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请提供了一种头部动作确定方法和设备，涉及电子设备领域。所述方法包括：响应于用户执行一头部动作，获取所述用户的一眼电信息；根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息。所述方法和设备，提供了一种根据眼电信息识别头部动作的方法，对于一些集成有眼电传感器的设备，采用所述方法可以复用该眼电传感器采集所述眼电信息，减少了实现成本。

Description

头部动作确定方法和设备
技术领域
本申请涉及电子设备领域，尤其涉及一种头部动作确定方法和设备。
背景技术
当前，可穿戴计算、移动计算、普适计算等新技术发展迅速，对人机交互技术提出了新的挑战和更高的要求，同时也提供了许多新的机遇。在这一阶段，自然和谐的人机交互方式得到了一定的发展，其主要特点是基于姿势、语音、手写体、或者跟踪、表情等输入手段进行多通道交互，其目的是使人能以动作、声音、表情等自然方式进行交互操作，这正是理想的人机交互所强调的“用户自由”之所在。
传统的头部动作识别方法，一般都是在头部设置加速度传感器、陀螺仪等，然后根据头部动作过程中产生的速度改变、角度改变等信息识别相应的头部动作。
上述头部动作识别方法由于需要增加加速度传感器等硬件设备，显然增加了实现成本。
发明内容
本申请的目的是：提供一种头部动作确定方法和设备，以减少实现成本。
根据本申请至少一个实施例的一个方面，提供了一种头部动作确定方法，所述方法包括：
响应于用户执行一头部动作，获取所述用户的一眼电信息；
根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息。
结合第一方面的任一种可能的实施方式，在第二种可能的实现方式中，所述根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息包括：
根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型。
结合第一方面的任一种可能的实施方式，在第三种可能的实现方式中，所述头部动作的类型包括：点头、摇头中至少一项。
结合第一方面的任一种可能的实施方式，在第四种可能的实现方式中，所述根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型包括：
确定所述眼电信息中的目标波形；
根据所述目标波形和至少一参考波形确定所述头部动作的类型。
结合第一方面的任一种可能的实施方式，在第五种可能的实现方式中，所述根据所述目标波形和至少一参考波形确定所述头部动作的类型包括：
将所述目标波形分别与所述至少一参考波形做互相关计算，根据计算结果确定所述头部动作的类型。
结合第一方面的任一种可能的实施方式，在第六种可能的实现方式中，所述根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型包括：
确定所述眼电信息中的目标信号特征；
根据所述目标信号特征和至少一参考信号特征确定所述头部动作的类型。
结合第一方面的任一种可能的实施方式，在第七种可能的实现方式中，所述头部动作包括第一类型头部动作；
所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息；
所述根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息还包括：
根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数。
结合第一方面的任一种可能的实施方式，在第八种可能的实现方式中，所述根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数包括：
确定所述眼电信息中的目标波形；
根据所述目标波形中包含一第一参考波形的数量确定所述第一类型头部动作的次数。
结合第一方面的任一种可能的实施方式，在第九种可能的实现方式中，所述根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数包括：
确定所述眼电信息中的目标信号特征；
根据所述目标信号特征中包含一第一参考信号特征的数量确定所述第一类型头部动作的次数。
结合第一方面的任一种可能的实施方式，在第十种可能的实现方式中，所述方法还包括：
根据确定结果执行操作。
根据本申请至少一个实施例的一个方面，提供了一种头部动作确定设备，所述设备包括：
一获取模块，用于响应于用户执行一头部动作，获取所述用户的一眼电信息；
一确定模块，用于根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息。
结合第二方面的任一种可能的实施方式，在第二种可能的实现方式中，所述确定模块包括：
一类型确定子模块，用于根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型。
结合第二方面的任一种可能的实施方式，在第三种可能的实现方式中，所述类型确定子模块包括：
一目标波形确定单元，用于确定所述眼电信息中的目标波形；
一类型确定单元，用于根据所述目标波形和至少一参考波形确定所述头部动作的类型。
结合第二方面的任一种可能的实施方式，在第四种可能的实现方式中，所述类型确定单元，用于将所述目标波形分别与所述至少一参考波形做互相关计算，根据计算结果确定所述头部动作的类型。
结合第二方面的任一种可能的实施方式，在第五种可能的实现方式中，所述类型确定子模块包括：
一目标信号特征确定单元，用于确定所述眼电信息中的目标信号特征；
一类型确定单元，用于根据所述目标信号特征和至少一参考信号特征确定所述头部动作的类型。
结合第二方面的任一种可能的实施方式，在第六种可能的实现方式中，所述头部动作包括第一类型头部动作；
所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息；
所述确定模块还包括：
一次数确定子模块，用于根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数。
结合第二方面的任一种可能的实施方式，在第七种可能的实现方式中，所述次数确定子模块包括：
一目标波形确定单元，用于确定所述眼电信息中的目标波形；
一次数确定单元，用于根据所述目标波形中包含一第一参考波形的数量确定所述第一类型头部动作的次数。
结合第二方面的任一种可能的实施方式，在第八种可能的实现方式中，所述次数确定子模块包括：
一目标信号特征确定单元，用于确定所述眼电信息中的目标信号特征；
一次数确定单元，用于根据所述目标信号特征中包含一第一参考信号特征的数量确定所述第一类型头部动作的次数。
结合第二方面的任一种可能的实施方式，在第九种可能的实现方式中，所述设备还包括：
一执行模块，用于根据确定结果执行操作。
本申请实施例所述方法和设备，响应于用户执行一头部动作，获取所述用户的一眼电信息，根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息。从而，提供了一种根据眼电信息识别头部动作的方法，对于一些集成有眼电传感器的设备，比如智能眼镜等，采用所述方法可以复用该眼电传感器采集所述眼电信息，减少了实现成本。
附图说明
图1是本申请一个实施例中一种头部动作确定方法的流程图；
图2是本申请一个实施方式中对应点头动作的眼电信息的波形示意图；
图3是本申请一个实施方式中对应摇头动作的眼电信息的波形示意图；
图4是本申请一个实施方式中所述头部动作确定方法的流程图；
图5是本申请另一个实施例中所述头部动作确定设备的模块图；
图6是本申请一个实施方式中所述确定模块的模块图；
图7是本申请一个实施方式中所述类型确定子模块的模块图；
图8是本申请另一个实施方式中所述类型确定子模块的模块图；
图9是本申请另一个实施方式中所述确定模块的模块图；
图10是本申请一个实施方式中所述次数确定子模块的模块图；
图11是本申请另一个实施方式中所述次数确定子模块的模块图；
图12是本申请另一个实施方式中所述头部动作确定设备的模块图；
图13是本申请一个实施方式中所述头部动作确定设备的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。
本领域技术人员理解，在本申请的实施例中，下述各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图1是本申请一个实施例所述头部动作确定方法的流程图，所述方法可以在例如一头部动作确定设备上实现。如图1所示，所述方法包括：
S120：响应于用户执行一头部动作，获取所述用户的一眼电信息；
S140：根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息。
本申请实施例所述方法，响应于用户执行一头部动作，获取所述用户的一眼电信息，根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息。从而，提供了一种根据眼电信息识别头部动作的方法，对于一些集成有眼电传感器的设备，比如智能眼镜等，采用所述方法可以复用该眼电传感器采集所述眼电信息，减少了实现成本。
以下将结合具体实施方式，详细说明所述步骤S120和S140的功能。
S120：响应于用户执行一头部动作，获取所述用户的一眼电信息。
所述头部动作即所述用户的头部所做的动作，比如点头、摇头等。所述眼电信息可以是所述用户的左眼眼电信息或右眼眼电信息，比如可以通过智能眼镜上的眼电传感器获取。
S140：根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息。
其中，所述头部动作的相关信息可以包括所述头部动作的类型，比如点头、摇头。相应的，所述步骤S140可以包括：
S141：根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型。
在一种实施方式中，所述步骤S141可以包括：
S1411a：确定所述眼电信息中的目标波形；
S1412a：根据所述目标波形和至少一参考波形确定所述头部动作的类型。
所述步骤S1411a中，所述目标波形是所述眼电信息的波形中对应所述头部动作的波形，其明显区别于所述头部未执行任何动作情况下采集的眼电信息的波形。
以所述头部动作的类型是点头动作为例，得到的所述眼电信息的波形如图2所示。其中，椭圆内的波形是所述用户的头部执行点头动作时的波形，椭圆外的波形是所述用户的头部未执行任何动作时的波形。可以看到，图2中椭圆内的波形明显区别于椭圆外的波形，具体的，是椭圆内的波形的振幅明显大于椭圆外的波形的振幅，基于此，可以从所述眼电信息中提取出所述目标波形，即确定所述椭圆内的波形为所述目标波形。
类似的，图3是所述头部动作的类型为摇头时得到的所述眼电信息的波形。其中，椭圆内的波形是所述用户的头部执行摇头动作时的波形，椭圆外的波形是所述用户的头部未执行任何动作时的波形。可以看到，该图3中椭圆内的波形的振幅也明显大于椭圆外的波形的振幅，基于此，可以确定所述椭圆内的波形为所述目标波形。
所述步骤S1412a中，所述参考波形可以是预先训练得到的对应相应头部动作的波形，比如在训练阶段，可以让用户分别执行不同类型的头部动作，并对应获取相应的波形作为所述参考波形。比如，在训练阶段，让用户执行点头动作，并对应获取图2中椭圆内的波形作为对应点头动作的参考波形。
在所述至少一参考波形的数量较少，即所述头部动作的类型较少的情况下，可以通过比如图像识别的方式，判断所述目标波形中是否包含所述至少一参考波形，如果存在，则判断所述头部动作的类型为与被包含的参考波形相对应的类型。以图2和图3为例，可以看到，图2中目标波形和图3中的目标波形具有明显的区别，比如，图2中的目标波形的走势是先下降后上升，图3中的目标波形的走势是先上升后下降，基于上述区别，可以确定所述目标波形对应的不同的参考波形，也即识别所述目标波形。
在所述至少一参考波形的数量较多的情况下，不同参考波形的之间混淆的可能性增大，为了避免识别错误，在一种实施方式中，所述步骤S1412a可以包括：
S1412a’：将所述目标波形分别与所述至少一参考波形做互相关计算，根据计算结果确定所述头部动作的类型。
具体的，可以将所述目标波形分别与所述至少一参考波形做互相关计算，得到每一个参考波形对应的计算结果，然后可以选择计算结果的值最高的参考波形(即与所述目标波形相关度最高的参考波形)对应的类型作为所述头部动作的类型。比如，假设所述至少一参考波形包括对应点头的第一参考波形和对应摇头的第二参考波形，令所述第一参考波形与所述目标波形做互相关计算得到第一结果，令所述第二参考波形与所述目标波形做互相关计算得到第二结果，如果第一结果的值高于第二结果的值，则可以确定所述头部动作的类型为点头。
在另一种实施方式中，所述步骤S141可以包括：
S1411b：确定所述眼电信息中的目标信号特征；
S1412b：根据所述目标信号特征和至少一参考信号特征确定所述头部动作的类型。
所述步骤S1411b中，所述目标信号特征可以理解为是上一实施方式中所述目标波形的信号特征，其可以与所述目标波形的幅度、相位、频谱中至少一项相关。具体的，所述目标信号特征可以包括：指纹、平均值、差分中至少一项；所述指纹可以由所述目标波形的幅度、相位、频谱中至少一项组成；所述平均值可以是所述目标波形的幅度、相位、频谱中至少一项的平均值；所述差分可以是所述目标波形的幅度、相位、频谱中至少一项的差分。当然，本领域技术人员理解，所述目标信号特征可以直接根据所述眼电信息的数据确定，并不必须需要根据所述目标波形确定。
所述步骤S1412b中，所述参考信号特征可以是预先训练得到的对应相应头部动作的信号特征，比如在训练阶段，可以让用户分别执行不同类型的头部动作，并对应获取相应眼电信息的信号特征作为所述参考信号特征。比如，在训练阶段，让用户执行点头动作，并对应获取图2中椭圆内的波形的信号特征作为对应点头动作的参考信号特征。
该步骤S1412b中，可以通过比如信号特征比对的方式，判断所述目标信号特征中是否包含所述至少一参考信号特征，如果存在，则判断所述头部动作的类型为与被包含的参考信号特征相对应的类型。
所述头部动作的类型可以表示不同的操作命令，比如点头表示确认，摇头表示取消。同时，对于不同类型的头部动作，执行不同的次数也可以表示不同的操作命令，比如单次点头表示选中，连续两次点头表示打开。因此，在一种实施方式中，所述头部动作包括第一类型头部动作；所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息。
相应的，所述步骤S140还可以包括：
S142：根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数。
在一种实施方式中，所述步骤S142可以包括：
S1421a：确定所述眼电信息中的目标波形；
S1422a：根据所述目标波形中包含一第一参考波形的数量确定所述第一类型头部动作的次数。
其中，所述步骤S1421a的实现原理与所述步骤S1411a的实现原理相同，不再赘述。
所述步骤S1422a中，所述目标波形中所包含的所述第一参考波形的数量与所述第一类型的头部动作的次数是相对应的。假设所述第一类型的头部动作是点头，所述第一参考波形是对应点头的参考波形，以图2为例，可以看到所述目标波形中包含两个所述第一参考波形，进而可以确定用户做了两次点头动作。类似的，图3所示的眼电信息表明用户做了两次摇头动作。
在另一种实施方式中，所述步骤S142可以包括：
S1421b：确定所述眼电信息中的目标信号特征；
S1422b：根据所述目标信号特征中包含一第一参考信号特征的数量确定所述第一类型头部动作的次数。
所述步骤S1421b的实现原理与所述步骤S1411b的实现原理相同，此处不再赘述。
所述步骤S1422b中，所述目标信号特征中包含所述第一参考信号特征的数量，与所述第一类型头部动作的次数相对应。仍旧假设所述第一类型的头部动作是点头，假设所述第一参考信号特征是对应点头的幅度值变化数据(比如幅度值先下降至小于-20，再上升至大于20，再下降至小于-20)，以图2为例，可以看到该眼电信息中的目标信号特征中包含两个所述第一参考信号特征，进而可以确定用户做了两次点头动作。当然了，本领域技术人员理解，该步骤中并不必须得到图2所示的波形曲线。类似的，图3所示的眼电信息表明用户做了两次摇头动作。
另外，所述头部动作还可能包括其他类型的头部动作，比如第二类型的头部动作，或者，所述头部动作可能同时包括多种类型的头部动作，比如同时包括第一类型的头部动作和第二类型的头部动作，均可按照上述实现原理分别实现对各种类型的头部动作的次数的识别。
参见图4，在一种实施方式中，所述方法还可以包括：
S150：根据确定结果执行操作。
所述执行操作，可以包括切换模式、输入内容、提醒用户、匹配设备等操作。
比如用户在佩戴智能眼镜过程中，可以监测用户的头部动作，如果用户单次点头，则选中当前对象，比如选中当前显示的应用图标；如果用户连续点头两次，则直接打开当前对象；如果用户摇头，则切换至下一对象。
此外，本申请实施例还提供一种计算机可读介质，包括在被执行时进行以下操作的计算机可读指令：执行上述图1所示实施方式中的方法的步骤S120和S140的操作。
综上，本申请实施例所述方法，可以根据眼电信息确定用户的头部动作，进行执行相应的操作，从而不增加实现成本的情况下，方便了用户通过头部动作控制相应的电子设备。
图5是本申请一个实施例所述头部动作确定设备的模块结构示意图，所述设备可以是一个独立的用于识别头部动作的设备，当然，也可以作为一个功能模块集成设置于比如智能眼镜等可穿戴式设备中。参见图，所述设备500可以包括：
一获取模块510，用于响应于用户执行一头部动作，获取所述用户的一眼电信息；
一确定模块520，用于根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息。
本申请实施例所述设备，响应于用户执行一头部动作，获取所述用户的一眼电信息，根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息。从而，提供了一种根据眼电信息识别头部动作的识别，对于一些集成有眼电传感器的设备，比如智能眼镜等，可以复用该眼电传感器采集所述眼电信息，减少了实现成本。
以下将结合具体实施方式，详细说明所述获取模块510和所述确定模块520的功能。
所述获取模块510，用于响应于用户执行一头部动作，获取所述用户的一眼电信息。
所述头部动作即所述用户的头部所做的动作，比如点头、摇头等。所述眼电信息可以是所述用户的左眼眼电信息或右眼眼电信息，比如可以通过一眼电传感器获取。
所述确定模块520，用于根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息。
其中，所述头部动作的相关信息可以包括所述头部动作的类型，比如点头、摇头。在一种实施方式中，参见图6，所述确定模块520包括：
一类型确定子模块521，用于根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型。
在一种实施方式中，参见图7，所述类型确定子模块521可以包括：
一目标波形确定单元5211a，用于确定所述眼电信息中的目标波形；
一类型确定单元5212a，用于根据所述目标波形和至少一参考波形确定所述头部动作的类型。
所述目标波形确定单元5211a中，所述目标波形是所述眼电信息的波形中对应所述头部动作的波形，其明显区别于所述头部未执行任何动作情况下采集的眼电信息的波形。
以所述头部动作的类型是点头动作为例，得到的所述眼电信息的波形如图2所示。其中，椭圆内的波形是所述用户的头部执行点头动作时的波形，椭圆外的波形是所述用户的头部未执行任何动作时的波形。可以看到，图2中椭圆内的波形明显区别于椭圆外的波形，具体的，是椭圆内的波形的振幅明显大于椭圆外的波形的振幅，基于此，可以从所述眼电信息中提取出所述目标波形，即确定所述椭圆内的波形为所述目标波形。
类似的，图3是所述头部动作的类型为摇头时得到的所述眼电信息的波形。其中，椭圆内的波形是所述用户的头部执行摇头动作时的波形，椭圆外的波形是所述用户的头部未执行任何动作时的波形。可以看到，该图3中椭圆内的波形的振幅也明显大于椭圆外的波形的振幅，基于此，可以确定所述椭圆内的波形为所述目标波形。
所述类型确定单元5212a中，所述参考波形可以是预先训练得到的对应相应头部动作的波形，比如在训练阶段，可以让用户分别执行不同类型的头部动作，并对应获取相应的波形作为所述参考波形。比如，在训练阶段，让用户执行点头动作，并对应获取图2中椭圆内的波形作为对应点头动作的参考波形。
在所述至少一参考波形的数量较少，即所述头部动作的类型较少的情况下，可以通过比如图像识别的方式，判断所述目标波形中是否包含所述至少一参考波形，如果存在，则判断所述头部动作的类型为与被包含的参考波形相对应的类型。以图2和图3为例，可以看到，图2中目标波形和图3中的目标波形具有明显的区别，比如，图2中的目标波形的走势是先下降后上升，图3中的目标波形的走势是先上升后下降，基于上述区别，可以确定所述目标波形对应的不同的参考波形，也即识别所述目标波形。
在所述至少一参考波形的数量较多的情况下，不同参考波形的之间混淆的可能性增大，为了避免识别错误，在一种实施方式中，所述类型确定单元5212a，用于将所述目标波形分别与所述至少一参考波形做互相关计算，根据计算结果确定所述头部动作的类型。
具体的，所述类型确定单元5212a可以将所述目标波形分别与所述至少一参考波形做互相关计算，得到每一个参考波形对应的计算结果，然后可以选择计算结果的值最高的参考波形(即与所述目标波形相关度最高的参考波形)对应的类型作为所述头部动作的类型。比如，假设所述至少一参考波形包括对应点头的第一参考波形和对应摇头的第二参考波形，令所述第一参考波形与所述目标波形做互相关计算得到第一结果，令所述第二参考波形与所述目标波形做互相关计算得到第二结果，如果第一结果的值高于第二结果的值，则可以确定所述头部动作的类型为点头。
在另一种实施方式中，参见图8，所述类型确定子模块521可以包括：
一目标信号特征确定单元5211b，用于确定所述眼电信息中的目标信号特征；
一类型确定单元5212b，用于根据所述目标信号特征和至少一参考信号特征确定所述头部动作的类型。
所述目标信号特征确定单元5211b中，所述目标信号特征可以理解为是上一实施方式中所述目标波形的信号特征，其可以与所述目标波形的幅度、相位、频谱中至少一项相关。具体的，所述目标信号特征可以包括：指纹、平均值、差分中至少一项；所述指纹可以由所述目标波形的幅度、相位、频谱中至少一项组成；所述平均值可以是所述目标波形的幅度、相位、频谱中至少一项的平均值；所述差分可以是所述目标波形的幅度、相位、频谱中至少一项的差分。当然，本领域技术人员理解，所述目标信号特征可以直接根据所述眼电信息的数据确定，并不必须需要根据所述目标波形确定。
所述类型确定单元5212b中，所述参考信号特征可以是预先训练得到的对应相应头部动作的信号特征，比如在训练阶段，可以让用户分别执行不同类型的头部动作，并对应获取相应眼电信息的信号特征作为所述参考信号特征。比如，在训练阶段，让用户执行点头动作，并对应获取图2中椭圆内的波形的信号特征作为对应点头动作的参考信号特征。
该类型确定单元5212b中，可以通过比如信号特征比对的方式，判断所述目标信号特征中是否包含所述至少一参考信号特征，如果存在，则判断所述头部动作的类型为与被包含的参考信号特征相对应的类型。
所述头部动作的类型可以表示不同的操作命令，比如点头表示确认，摇头表示取消。同时，对于不同类型的头部动作，执行不同的次数也可以表示不同的操作命令，比如单次点头表示选中，连续两次点头表示打开。因此，在一种实施方式中，所述头部动作包括第一类型头部动作；所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息。相应的，参见图9，在另一种实施方式中，所述确定模块520还包括：
一次数确定子模块522，用于根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数。
在一种实施方式中，参见图10，所述次数确定子模块522可以包括：
一目标波形确定单元5221a，用于确定所述眼电信息中的目标波形；
一次数确定单元5222a，用于根据所述目标波形中包含一第一参考波形的数量确定所述第一类型头部动作的次数。
其中，所述目标波形确定单元5221a的实现原理与上述实施方式中所述目标波形确定单元5211a的实现原理相同，不再赘述。
所述次数确定单元5222a中，所述目标波形中所包含的所述第一参考波形的数量与所述第一类型的头部动作的次数是相对应的。假设所述第一类型的头部动作是点头，所述第一参考波形是对应点头的参考波形，以图2为例，可以看到所述目标波形中包含两个所述第一参考波形，进而可以确定用户做了两次点头动作。类似的，图3所示的眼电信息表明用户做了两次摇头动作。
在另一种实施方式中，参见图11，所述次数确定子模块522包括：
一目标信号特征确定单元5221b，用于确定所述眼电信息中的目标信号特征；
一次数确定单元5222b，用于根据所述目标信号特征中包含一第一参考信号特征的数量确定所述第一类型头部动作的次数。
所述目标信号特征确定单元5221b的实现原理与上述实施方式中所述目标信号特征确定单元5211b的实现原理相同，此处不再赘述。
所述次数确定单元5222b中，所述目标信号特征中包含所述第一参考信号特征的数量，与所述第一类型头部动作的次数相对应。仍旧假设所述第一类型的头部动作是点头，假设所述第一参考信号特征是对应点头的幅度值变化数据(比如幅度值先下降至小于-20，再上升至大于20，再下降至小于-20)，以图2为例，可以看到该眼电信息中的目标信号特征中包含两个所述第一参考信号特征，进而可以确定用户做了两次点头动作。当然了，本领域技术人员理解，该步骤中并不必须得到图2所示的波形曲线。类似的，图3所示的眼电信息表明用户做了两次摇头动作。
另外，所述头部动作还可能包括其他类型的头部动作，比如第二类型的头部动作，或者，所述头部动作可能同时包括多种类型的头部动作，比如同时包括第一类型的头部动作和第二类型的头部动作，均可按照上述实现原理分别实现对各种类型的头部动作的次数的识别。
参见图12，在一种实施方式中，所述设备500还包括：
一执行模块530，用于根据确定结果执行操作。
所述执行操作，可以包括切换模式、输入内容、提醒用户、匹配设备等操作。
综上，本申请实施例所述设备，可以根据眼电信息确定用户的头部动作，进行执行相应的操作，从而不增加实现成本的情况下，方便了用户通过头部动作控制相应的电子设备。
本申请实施例所述信息处理方法和设备的一个应用场景可以如下：用户佩戴一智能眼镜，智能眼镜初始进入一级菜单，其上的眼电传感器获取用户的眼电信号；用户执行摇头动作，智能眼镜识别该摇头动作，从而控制一级菜单选项按照预定顺序在眼镜显示窗口中切换；当切换至用户想要打开的应用时，用户执行点头动作，该应用被选中，然后用户连续两次执行点头动作，该应用被打开。
本申请另一个实施例所述头部动作确定设备的硬件结构如图13所示。本申请具体实施例并不对所述信息处理设备的具体实现做限定，参见图13，所述设备1300可以包括：
处理器(processor)1310、通信接口(Communications Interface)1320、存储器(memory)1330，以及通信总线1340。其中：
处理器1310、通信接口1320，以及存储器1330通过通信总线1340完成相互间的通信。
通信接口1320，用于与其他网元通信。
处理器1310，用于执行程序1332，具体可以执行上述图1所示的方法实施例中的相关步骤。
具体地，程序1332可以包括程序代码，所述程序代码包括计算机操作指令。
处理器1310可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器1330，用于存放程序1332。存储器1330可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。程序1332具体可以执行以下步骤：
响应于用户执行一头部动作，获取所述用户的一眼电信息；
根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息。
程序1332中各步骤的具体实现可以参见上述实施例中的相应步骤或模块，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，控制器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。

Claims (8)

1.一种头部动作确定方法，其特征在于，所述方法包括：
响应于用户执行一头部动作，获取所述用户的一眼电信息；
根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息；
其中，所述根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息包括：
根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型；
所述根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型的步骤，包括：
确定所述眼电信息中的目标波形，所述目标波形为所述眼电信息的波形中对应所述头部动作的波形；
根据所述目标波形和至少一参考波形确定所述头部动作的类型。
2.如权利要求1所述的方法，其特征在于，所述头部动作包括第一类型头部动作；
所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息；
所述根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息还包括：
根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数。
3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：
根据确定结果执行操作。
4.一种头部动作确定设备，其特征在于，所述设备包括：
一获取模块，用于响应于用户执行一头部动作，获取所述用户的一眼电信息；
一确定模块，用于根据所述眼电信息和至少一参考信息确定所述头部动作的相关信息；
所述确定模块包括：
一类型确定子模块，用于根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型；
所述一类型确定子模块，具体用于：
确定所述眼电信息中的目标波形，所述目标波形为所述眼电信息的波形中对应所述头部动作的波形；
根据所述目标波形和至少一参考波形确定所述头部动作的类型。
5.如权利要求4所述的设备，其特征在于，所述类型确定子模块包括：
一目标波形确定单元，用于确定所述眼电信息中的目标波形；
一类型确定单元，用于根据所述目标波形和至少一参考波形确定所述头部动作的类型。
6.如权利要求4所述的设备，其特征在于，所述类型确定子模块包括：
一目标信号特征确定单元，用于确定所述眼电信息中的目标信号特征；
一类型确定单元，用于根据所述目标信号特征和至少一参考信号特征确定所述头部动作的类型。
7.如权利要求4所述的设备，其特征在于，所述头部动作包括第一类型头部动作；
所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息；
所述确定模块还包括：
一次数确定子模块，用于根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数。
8.一种穿戴式设备，其特征在于，所述穿戴式设备包括权利要求4至7任一项所述的头部动作识别设备。
CN201510185762.8A 2015-04-20 2015-04-20 头部动作确定方法和设备 Active CN106156709B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510185762.8A CN106156709B (zh) 2015-04-20 2015-04-20 头部动作确定方法和设备
PCT/CN2016/079744 WO2016169476A1 (en) 2015-04-20 2016-04-20 Method and device for determining head movement
US15/567,954 US10936052B2 (en) 2015-04-20 2016-04-20 Method and device for determining head movement according to electrooculographic information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510185762.8A CN106156709B (zh) 2015-04-20 2015-04-20 头部动作确定方法和设备

Publications (2)

Publication Number Publication Date
CN106156709A CN106156709A (zh) 2016-11-23
CN106156709B true CN106156709B (zh) 2019-05-21

Family

ID=57142869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510185762.8A Active CN106156709B (zh) 2015-04-20 2015-04-20 头部动作确定方法和设备

Country Status (3)

Country Link
US (1) US10936052B2 (zh)
CN (1) CN106156709B (zh)
WO (1) WO2016169476A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107172514B (zh) * 2017-05-18 2019-08-27 歌尔科技有限公司 呼叫处理方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5726916A (en) * 1996-06-27 1998-03-10 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for determining ocular gaze point of regard and fixation duration
CN101308400A (zh) * 2007-05-18 2008-11-19 肖斌 基于眼动和头动检测的新型人机交互装置
CN102968072A (zh) * 2012-11-09 2013-03-13 上海大学 基于校正/训练的眼电控制系统和方法
CN103211594A (zh) * 2013-05-20 2013-07-24 西安电子科技大学 一种无线眼电采集系统
CN104503593A (zh) * 2015-01-23 2015-04-08 北京智谷睿拓技术服务有限公司 控制信息确定方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100310036B1 (ko) * 1999-03-26 2001-11-02 전영삼 눈의 수직 움직임 추정 방법과 그를 이용한 전자기기의 원격 조절 장치
KR100396924B1 (ko) * 2001-02-27 2003-09-03 한국전자통신연구원 생체신호를 이용한 전자기기 제어 장치 및 그 방법
GB0220265D0 (en) * 2002-09-02 2002-10-09 Univ Ulster Signal processing strategy to control external devices by means of human electro-oculagraphic potentials
ES2608606T3 (es) 2003-04-01 2017-04-12 Sunstar Suisse Sa Aparato para la monitorización de la actividad muscular
US7575005B2 (en) * 2004-05-18 2009-08-18 Excel-Tech Ltd. Mask assembly with integrated sensors
EP2211986B1 (en) * 2007-10-16 2013-11-20 Medtronic, Inc. Therapy control based on a patient movement state
EP3917167A3 (en) * 2013-06-14 2022-03-09 Oticon A/s A hearing assistance device with brain computer interface
CN103336580B (zh) * 2013-07-16 2016-08-24 卫荣杰 一种头戴装置的光标控制方法
CN104503592A (zh) 2015-01-23 2015-04-08 北京智谷睿拓技术服务有限公司 头部动作确定方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5726916A (en) * 1996-06-27 1998-03-10 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for determining ocular gaze point of regard and fixation duration
CN101308400A (zh) * 2007-05-18 2008-11-19 肖斌 基于眼动和头动检测的新型人机交互装置
CN102968072A (zh) * 2012-11-09 2013-03-13 上海大学 基于校正/训练的眼电控制系统和方法
CN103211594A (zh) * 2013-05-20 2013-07-24 西安电子科技大学 一种无线眼电采集系统
CN104503593A (zh) * 2015-01-23 2015-04-08 北京智谷睿拓技术服务有限公司 控制信息确定方法和装置

Also Published As

Publication number Publication date
CN106156709A (zh) 2016-11-23
US20180144191A1 (en) 2018-05-24
WO2016169476A1 (en) 2016-10-27
US10936052B2 (en) 2021-03-02

Similar Documents

Publication Publication Date Title
CN106139564B (zh) 图像处理方法和装置
CN106295476B (zh) 人脸关键点定位方法和装置
CN108983979A (zh) 一种手势跟踪识别方法、装置和智能设备
KR102077198B1 (ko) 얼굴 검증 방법 및 전자 디바이스
CN106845406A (zh) 基于多任务级联卷积神经网络的头肩检测方法及装置
CN104914989B (zh) 姿势辨识装置以及姿势辨识装置的控制方法
JPWO2016024424A1 (ja) 情報処理装置、情報処理方法、及び情報処理システム
EP3827380A1 (en) Secure exploration for reinforcement learning
CN109190654A (zh) 人脸识别模型的训练方法和装置
CN104883505A (zh) 电子设备及其拍照控制方法
CN106775360A (zh) 一种电子设备的控制方法、系统及电子设备
CN106096043A (zh) 一种拍照方法和移动终端
CN108614987A (zh) 数据处理的方法、装置和机器人
CN106156709B (zh) 头部动作确定方法和设备
CN105022484B (zh) 一种终端操作方法及用户终端
CN104598071B (zh) 一种信息处理方法及电子设备
CN109271706A (zh) 发型生成方法及装置
CN105446978B (zh) 一种显示方法和电子设备
CN106155296A (zh) 控制方法和设备
CN109376581A (zh) 对象关系识别方法和装置、存储介质及电子装置
CN110134279A (zh) 控制方法及相关产品
CN106293013A (zh) 头部动作确定方法和设备
CN105700805B (zh) 手写笔迹显示方法、手写笔迹显示装置及移动终端
CN106325730A (zh) 交互方法及显示设备
CN106293443A (zh) 信息处理方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant