CN106293013B - 头部动作确定方法和设备 - Google Patents

头部动作确定方法和设备 Download PDF

Info

Publication number
CN106293013B
CN106293013B CN201510219954.6A CN201510219954A CN106293013B CN 106293013 B CN106293013 B CN 106293013B CN 201510219954 A CN201510219954 A CN 201510219954A CN 106293013 B CN106293013 B CN 106293013B
Authority
CN
China
Prior art keywords
head
information
waveform
determining
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510219954.6A
Other languages
English (en)
Other versions
CN106293013A (zh
Inventor
刘浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201510219954.6A priority Critical patent/CN106293013B/zh
Priority to PCT/CN2016/080600 priority patent/WO2016173522A1/en
Priority to US15/570,310 priority patent/US10646141B2/en
Publication of CN106293013A publication Critical patent/CN106293013A/zh
Application granted granted Critical
Publication of CN106293013B publication Critical patent/CN106293013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请提供了一种头部动作确定方法和设备，涉及电子设备领域。所述方法包括：响应于用户执行一头部动作，获取所述用户的一眼部的肌电信息；根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息。所述方法和设备，提供了一种根据眼部肌电信息识别头部动作的方法，有利于提高头部动作识别的准确度。

Description

头部动作确定方法和设备
技术领域
本申请涉及电子设备领域，尤其涉及一种头部动作确定方法和设备。
背景技术
当前，可穿戴计算、移动计算、普适计算等新技术发展迅速，对人机交互技术提出了新的挑战和更高的要求，同时也提供了许多新的机遇。在这一阶段，自然和谐的人机交互方式得到了一定的发展，其主要特点是基于姿势、语音、手写体、或者跟踪、表情等输入手段进行多通道交互，其目的是使人能以动作、声音、表情等自然方式进行交互操作，这正是理想的人机交互所强调的“用户自由”之所在。
传统的头部动作识别方法中，会在用户的颈部设置肌电传感器，当用户想要转头时，其颈部肌肉驱动用户的头部执行该转头动作，此时可以检测到相应的肌电信号，基于该肌电信号可以识别用户的头部动作。
上述头部动作识别方法检测得到的肌电信号的最大幅度值在0.5mV左右，因此导致识别准确度较差。
发明内容
本申请的目的是：提供一种头部动作确定方法和设备，以提高识别准确度。
根据本申请至少一个实施例的第一方面，提供了一种头部动作确定方法，所述方法包括：
响应于用户执行一头部动作，获取所述用户的一眼部的肌电信息；
根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息。
结合第一方面的任一种可能的实现方式，在第二种可能的实现方式中，所述根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息包括：
根据所述肌电信息和所述至少一参考信息确定所述头部动作的类型。
结合第一方面的任一种可能的实现方式，在第三种可能的实现方式中，所述头部动作的类型包括：点头、摇头中至少一项。
结合第一方面的任一种可能的实现方式，在第四种可能的实现方式中，所述根据所述肌电信息和所述至少一参考信息确定所述头部动作的类型包括：
确定所述肌电信息中的目标波形；
根据所述目标波形和至少一参考波形确定所述头部动作的类型。
结合第一方面的任一种可能的实现方式，在第五种可能的实现方式中，所述根据所述目标波形和至少一参考波形确定所述头部动作的类型包括：
将所述目标波形分别与所述至少一参考波形做互相关计算，根据计算结果确定所述头部动作的类型。
结合第一方面的任一种可能的实现方式，在第六种可能的实现方式中，所述根据所述肌电信息和所述至少一参考信息确定所述头部动作的类型包括：
确定所述肌电信息中的目标信号特征；
根据所述目标信号特征和至少一参考信号特征确定所述头部动作的类型。
结合第一方面的任一种可能的实现方式，在第七种可能的实现方式中，所述头部动作包括第一类型头部动作；
所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息；
所述根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息还包括：
根据所述肌电信息和所述第一参考信息确定所述第一类型头部动作的次数。
结合第一方面的任一种可能的实现方式，在第八种可能的实现方式中，所述根据所述肌电信息和所述第一参考信息确定所述第一类型头部动作的次数包括：
确定所述肌电信息中的目标波形；
根据所述目标波形中包含一第一参考波形的数量确定所述第一类型头部动作的次数。
结合第一方面的任一种可能的实现方式，在第九种可能的实现方式中，所述根据所述肌电信息和所述第一参考信息确定所述第一类型头部动作的次数包括：
确定所述肌电信息中的目标信号特征；
根据所述目标信号特征中包含一第一参考信号特征的数量确定所述第一类型头部动作的次数。
结合第一方面的任一种可能的实现方式，在第十种可能的实现方式中，所述方法还包括：
根据确定结果执行操作。
根据本申请至少一个实施例的第二方面，提供了一种头部动作确定设备，所述设备包括：
一获取模块，用于响应于用户执行一头部动作，获取所述用户的一眼部的肌电信息；
一确定模块，用于根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息。
结合第二方面的任一种可能的实现方式，在第二种可能的实现方式中，所述确定模块包括：
一类型确定子模块，用于根据所述肌电信息和所述至少一参考信息确定所述头部动作的类型。
结合第二方面的任一种可能的实现方式，在第三种可能的实现方式中，所述类型确定子模块包括：
一目标波形确定单元，用于确定所述肌电信息中的目标波形；
一类型确定单元，用于根据所述目标波形和至少一参考波形确定所述头部动作的类型。
结合第二方面的任一种可能的实现方式，在第四种可能的实现方式中，所述类型确定单元，用于将所述目标波形分别与所述至少一参考波形做互相关计算，根据计算结果确定所述头部动作的类型。
结合第二方面的任一种可能的实现方式，在第五种可能的实现方式中，所述类型确定子模块包括：
一目标信号特征确定单元，用于确定所述肌电信息中的目标信号特征；
一类型确定单元，用于根据所述目标信号特征和至少一参考信号特征确定所述头部动作的类型。
结合第二方面的任一种可能的实现方式，在第六种可能的实现方式中，所述头部动作包括第一类型头部动作；
所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息；
所述确定模块还包括：
一次数确定子模块，用于根据所述肌电信息和所述第一参考信息确定所述第一类型头部动作的次数。
结合第二方面的任一种可能的实现方式，在第七种可能的实现方式中，所述次数确定子模块包括：
一目标波形确定单元，用于确定所述肌电信息中的目标波形；
一次数确定单元，用于根据所述目标波形中包含一第一参考波形的数量确定所述第一类型头部动作的次数。
结合第二方面的任一种可能的实现方式，在第八种可能的实现方式中，所述次数确定子模块包括：
一目标信号特征确定单元，用于确定所述肌电信息中的目标信号特征；
一次数确定单元，用于根据所述目标信号特征中包含一第一参考信号特征的数量确定所述第一类型头部动作的次数。
结合第二方面的任一种可能的实现方式，在第九种可能的实现方式中，所述设备还包括：
一执行模块，用于根据确定结果执行操作。
本申请实施例所述方法和设备，响应于用户执行一头部动作，获取所述用户的一眼部的肌电信息，根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息。从而，提供了一种根据眼部的肌电信息识别头部动作的方法，其肌电信息的最高幅度值高于2mV，可以提高识别准确度；对于一些集成有肌电传感器的设备，比如智能眼镜等，采用所述方法可以复用该肌电传感器采集的所述肌电信息，减少了实现成本。
附图说明
图1是本申请一个实施例中一种头部动作确定方法的流程图；
图2是本申请一个实施方式中对应摇头动作的眼部肌电信息的波形示意图；
图3是本申请一个实施方式中对应点头动作的眼部肌电信息的波形示意图；
图4是本申请一个实施方式中所述头部动作确定方法的流程图；
图5是本申请另一个实施例中所述头部动作确定设备的模块图；
图6是本申请一个实施方式中所述确定模块的模块图；
图7是本申请一个实施方式中所述类型确定子模块的模块图；
图8是本申请另一个实施方式中所述类型确定子模块的模块图；
图9是本申请另一个实施方式中所述确定模块的模块图；
图10是本申请一个实施方式中所述次数确定子模块的模块图；
图11是本申请另一个实施方式中所述次数确定子模块的模块图；
图12是本申请另一个实施方式中所述头部动作确定设备的模块图；
图13是本申请一个实施方式中所述头部动作确定设备的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。
本领域技术人员理解，在本申请的实施例中，下述各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图1是本申请一个实施例所述头部动作确定方法的流程图，所述方法可以在例如一头部动作确定设备上实现。如图1所示，所述方法包括：
S120：响应于用户执行一头部动作，获取所述用户的一眼部的肌电信息；
S140：根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息。
本申请实施例所述方法，响应于用户执行一头部动作，获取所述用户的一眼部的肌电信息，根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息。从而，提供了一种根据眼部的肌电信息识别头部动作的方法，采用该方法采集到的肌电信息的幅度值的最大值可以达到2mV，有利于提高头部动作识别的准确度。
以下将结合具体实施方式，详细说明所述步骤S120和S140的功能。
S120：响应于用户执行一头部动作，获取所述用户的一眼部的肌电信息。
所述头部动作即所述用户的头部所做的动作，比如点头、摇头等。所述肌电信息可以是所述用户的左眼的肌电信息或右眼的肌电信息。以左眼的肌电信息为例，其可以在左眼的眼轮匝肌(orbicularis oculi muscle)上采集获得。眼轮匝肌是位于眼睑的组织中的围绕眼球的环状肌肉，它的自主和非自主(involuntarily)的强力的收缩使得人可不自主和自主的眨眼。具体的，比如可以通过智能眼镜上的肌电传感器采集获取所述肌电信息。
图2是响应于用户执行摇头动作采集到的眼部肌电信息的波形图，椭圆内的波形是对应用户摇头动作的肌电波形，椭圆外的波形是用户未执行任何头部动作时的肌电波形。可以看到，当用户执行摇头动作时，会导致眼部肌电的幅值明显增大，其最大幅值可以超过2mV。
发明人在研究过程中发现，眼部肌电信号，比如眼轮匝肌的肌电信号的主要能量集中在50～150Hz范围内，平均幅值约0.5mV,当用户做头部动作如点头时，肌电采集电极和皮肤之间的相对运动以及面部和眼部其它肌肉运动的影响，使得眼轮匝肌的肌电信号引入了0～5Hz，平均幅值约1.5mV，最大幅值超过2mV的波形明显的眼肌电信号。也就是说，头部动作引起的眼部肌电的幅度值明显大于颈部肌电的幅度值，因此本申请利用此眼肌电信号来识别用户的头部动作。
另外，发明人还发现，当用户执行不同的头部动作时，得到的眼部肌电信息的波形具有明显区别。图3是响应于用户执行点头动作采集到的眼部肌电信息的波形图，椭圆内的波形是对应用户点头动作的肌电波形，椭圆外的波形是用户未执行任何头部动作时的肌电波形。可以看到，当用户执行点头动作时，会导致眼部肌电的最大幅值可以超过2mV。同时，可以发现，图3中椭圆内的波形与图2中椭圆内的波形具有明显的区别，比如图2的椭圆内的波形变化趋势是先上升后下降，图3的椭圆内的波形的变化趋势是先下降后上升。
类似的，当用户执行其他的头部动作，也会得到对应的其他的眼部肌电的波形。因此，基于采集到的眼部肌电信息可以实现对不同动作的识别，并且，头部动作触发的眼部肌电信息的幅度值明显高于其他部位的肌电信息的幅度值，通过眼部肌电信息对头部动作进行识别，可以提高识别准确度。
S140：根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息。
其中，所述头部动作的相关信息可以包括所述头部动作的类型，比如点头、摇头。相应的，所述步骤S140可以包括：
S141：根据所述肌电信息和所述至少一参考信息确定所述头部动作的类型。
在一种实施方式中，所述步骤S141可以包括：
S1411a：确定所述肌电信息中的目标波形；
S1412a：根据所述目标波形和至少一参考波形确定所述头部动作的类型。
所述步骤S1411a中，所述目标波形是所述肌电信息的波形中对应所述头部动作的波形，其明显区别于所述头部未执行任何动作情况下采集的肌电信息的波形。
以所述头部动作的类型是摇头动作为例，得到的所述肌电信息的波形如图2所示。其中，椭圆内的波形是所述用户的头部执行摇头动作时的波形，椭圆外的波形是所述用户的头部未执行任何动作时的波形。可以看到，图2中椭圆内的波形明显区别于椭圆外的波形，具体的，是椭圆内的波形的振幅明显大于椭圆外的波形的振幅，基于此，可以从所述肌电信息中提取出所述目标波形，即确定所述椭圆内的波形为所述目标波形。
类似的，图3是所述头部动作的类型为点头时得到的所述肌电信息的波形。其中，椭圆内的波形是所述用户的头部执行点头动作时的波形，椭圆外的波形是所述用户的头部未执行任何动作时的波形。可以看到，该图3中椭圆内的波形的振幅也明显大于椭圆外的波形的振幅，基于此，可以确定所述椭圆内的波形为所述目标波形。
所述步骤S1412a中，所述参考波形可以是预先训练得到的对应相应头部动作的波形，比如在训练阶段，可以让用户分别执行不同类型的头部动作，并对应获取相应的波形作为所述参考波形。比如，在训练阶段，让用户执行点头动作，并对应获取图3中椭圆内的波形作为对应点头动作的参考波形。
在所述至少一参考波形的数量较少，即所述头部动作的类型较少的情况下，可以通过比如图像识别的方式，判断所述目标波形中是否包含所述至少一参考波形，如果存在，则判断所述头部动作的类型为与被包含的参考波形相对应的类型。以图2和图3为例，可以看到，图2中目标波形和图3中的目标波形具有明显的区别，比如，图2中的目标波形的走势是先上升后下降，图3中的目标波形的走势是先下降后上升，基于上述区别，可以确定所述目标波形对应的不同的参考波形，也即识别所述目标波形。
在所述至少一参考波形的数量较多的情况下，不同参考波形的之间混淆的可能性增大，为了避免识别错误，在一种实施方式中，所述步骤S1412a可以包括：
S1412a’：将所述目标波形分别与所述至少一参考波形做互相关计算，根据计算结果确定所述头部动作的类型。
具体的，可以将所述目标波形分别与所述至少一参考波形做互相关计算，得到每一个参考波形对应的计算结果，然后可以选择计算结果的值最高的参考波形(即与所述目标波形相关度最高的参考波形)对应的类型作为所述头部动作的类型。比如，假设所述至少一参考波形包括对应点头的第一参考波形和对应摇头的第二参考波形，令所述第一参考波形与所述目标波形做互相关计算得到第一结果，令所述第二参考波形与所述目标波形做互相关计算得到第二结果，如果第一结果的值高于第二结果的值，则可以确定所述头部动作的类型为点头。
在另一种实施方式中，所述步骤S141可以包括：
S1411b：确定所述肌电信息中的目标信号特征；
S1412b：根据所述目标信号特征和至少一参考信号特征确定所述头部动作的类型。
所述步骤S1411b中，所述目标信号特征可以理解为是上一实施方式中所述目标波形的信号特征，其可以与所述目标波形的幅度、相位、频谱中至少一项相关。具体的，所述目标信号特征可以包括：指纹、平均值、差分中至少一项；所述指纹可以由所述目标波形的幅度、相位、频谱中至少一项组成；所述平均值可以是所述目标波形的幅度、相位、频谱中至少一项的平均值；所述差分可以是所述目标波形的幅度、相位、频谱中至少一项的差分。当然，本领域技术人员理解，所述目标信号特征可以直接根据所述肌电信息的数据确定，并不必须需要根据所述目标波形确定。
所述步骤S1412b中，所述参考信号特征可以是预先训练得到的对应相应头部动作的信号特征，比如在训练阶段，可以让用户分别执行不同类型的头部动作，并对应获取眼部的相应肌电信息的信号特征作为所述参考信号特征。比如，在训练阶段，让用户执行摇头动作，并对应获取图2中椭圆内的波形的信号特征作为对应摇头动作的参考信号特征。
该步骤S1412b中，可以通过比如信号特征比对的方式，判断所述目标信号特征中是否包含所述至少一参考信号特征，如果存在，则判断所述头部动作的类型为与被包含的参考信号特征相对应的类型。
所述头部动作的类型可以表示不同的操作命令，比如点头表示确认，摇头表示取消。同时，对于不同类型的头部动作，执行不同的次数也可以表示不同的操作命令，比如单次点头表示选中，连续两次点头表示打开。因此，在一种实施方式中，所述头部动作包括第一类型头部动作；所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息。
相应的，所述步骤S140还可以包括：
S142：根据所述肌电信息和所述第一参考信息确定所述第一类型头部动作的次数。
在一种实施方式中，所述步骤S142可以包括：
S1421a：确定所述肌电信息中的目标波形；
S1422a：根据所述目标波形中包含一第一参考波形的数量确定所述第一类型头部动作的次数。
其中，所述步骤S1421a的实现原理与所述步骤S1411a的实现原理相同，不再赘述。
所述步骤S1422a中，所述目标波形中所包含的所述第一参考波形的数量与所述第一类型的头部动作的次数是相对应的。假设所述第一类型的头部动作是摇头，所述第一参考波形是对应摇头的参考波形，以图2为例，可以看到所述目标波形中包含两个所述第一参考波形，进而可以确定用户做了两次摇头动作。类似的，图3所示的肌电信息表明用户做了两次点头动作。
在另一种实施方式中，所述步骤S142可以包括：
S1421b：确定所述肌电信息中的目标信号特征；
S1422b：根据所述目标信号特征中包含一第一参考信号特征的数量确定所述第一类型头部动作的次数。
所述步骤S1421b的实现原理与所述步骤S1411b的实现原理相同，此处不再赘述。
所述步骤S1422b中，所述目标信号特征中包含所述第一参考信号特征的数量，与所述第一类型头部动作的次数相对应。仍旧假设所述第一类型的头部动作是摇头，假设所述第一参考信号特征是对应摇头的幅度值变化数据(比如幅度值先上升至大于2mV，再下降至小于-2mV)，以图2为例，可以看到该肌电信息中的目标信号特征中包含两个所述第一参考信号特征，进而可以确定用户做了两次摇头动作。当然了，本领域技术人员理解，该步骤中并不必须得到图2所示的波形曲线。类似的，图3所示的肌电信息表明用户做了两次点头动作。
另外，所述头部动作还可能包括其他类型的头部动作，比如第二类型的头部动作，或者，所述头部动作可能同时包括多种类型的头部动作，比如同时包括第一类型的头部动作和第二类型的头部动作，均可按照上述实现原理分别实现对各种类型的头部动作的次数的识别。
参见图4，在一种实施方式中，所述方法还可以包括：
S150：根据确定结果执行操作。
所述执行操作，可以包括切换模式、输入内容、提醒用户、匹配设备等操作。
比如用户在佩戴智能眼镜过程中，可以监测用户的头部动作，如果用户单次点头，则选中当前对象，比如选中当前显示的应用图标；如果用户连续点头两次，则直接打开当前对象；如果用户摇头，则切换至下一对象。
此外，本申请实施例还提供一种计算机可读介质，包括在被执行时进行以下操作的计算机可读指令：执行上述图1所示实施方式中的方法的步骤S120和S140的操作。
综上，本申请实施例所述方法，可以根据眼部的肌电信息确定用户的头部动作，进而执行相应的操作，由于该肌电信息的幅度值较高，从而有利于提高动作识别准确度，并且在一些穿戴式设备具有该肌电传感器的情况下，可以在不增加实现成本的情况下，方便了用户通过头部动作控制相应的电子设备。
图5是本申请一个实施例所述头部动作确定设备的模块结构示意图，所述设备可以是一个独立的用于识别头部动作的设备，当然，也可以作为一个功能模块集成设置于比如智能眼镜等可穿戴式设备中。参见图，所述设备500可以包括：
一获取模块510，用于响应于用户执行一头部动作，获取所述用户的一眼部的肌电信息；
一确定模块520，用于根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息。
本申请实施例所述设备，响应于用户执行一头部动作，获取所述用户的一眼部的肌电信息，根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息。从而，提供了一种根据眼部的肌电信息识别头部动作的设备，有利于提高头部动作识别的准确度。
以下将结合具体实施方式，详细说明所述获取模块510和所述确定模块520的功能。
所述获取模块510，用于响应于用户执行一头部动作，获取所述用户的一眼部的肌电信息。
所述头部动作即所述用户的头部所做的动作，比如点头、摇头等。所述肌电信息可以是所述用户的左眼肌电信息或右眼肌电信息，比如所述获取模块510可以通过一肌电传感器获取所述眼部的所述肌电信息。
所述确定模块520，用于根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息。
其中，所述头部动作的相关信息可以包括所述头部动作的类型，比如点头、摇头。在一种实施方式中，参见图6，所述确定模块520包括：
一类型确定子模块521，用于根据所述肌电信息和所述至少一参考信息确定所述头部动作的类型。
在一种实施方式中，参见图7，所述类型确定子模块521可以包括：
一目标波形确定单元5211a，用于确定所述肌电信息中的目标波形；
一类型确定单元5212a，用于根据所述目标波形和至少一参考波形确定所述头部动作的类型。
所述目标波形确定单元5211a中，所述目标波形是所述肌电信息的波形中对应所述头部动作的波形，其明显区别于所述头部未执行任何动作情况下采集的肌电信息的波形。
以所述头部动作的类型是摇头动作为例，得到的所述肌电信息的波形如图2所示。其中，椭圆内的波形是所述用户的头部执行摇头动作时的波形，椭圆外的波形是所述用户的头部未执行任何动作时的波形。可以看到，图2中椭圆内的波形明显区别于椭圆外的波形，具体的，是椭圆内的波形的振幅明显大于椭圆外的波形的振幅，基于此，可以从所述肌电信息中提取出所述目标波形，即确定所述椭圆内的波形为所述目标波形。
类似的，图3是所述头部动作的类型为点头时得到的所述肌电信息的波形。其中，椭圆内的波形是所述用户的头部执行点头动作时的波形，椭圆外的波形是所述用户的头部未执行任何动作时的波形。可以看到，该图3中椭圆内的波形的振幅也明显大于椭圆外的波形的振幅，基于此，可以确定所述椭圆内的波形为所述目标波形。
所述类型确定单元5212a中，所述参考波形可以是预先训练得到的对应相应头部动作的波形，比如在训练阶段，可以让用户分别执行不同类型的头部动作，并对应获取相应的波形作为所述参考波形。比如，在训练阶段，让用户执行摇头动作，并对应获取图2中椭圆内的波形作为对应摇头动作的参考波形。
在所述至少一参考波形的数量较少，即所述头部动作的类型较少的情况下，可以通过比如图像识别的方式，判断所述目标波形中是否包含所述至少一参考波形，如果存在，则判断所述头部动作的类型为与被包含的参考波形相对应的类型。以图2和图3为例，可以看到，图2中目标波形和图3中的目标波形具有明显的区别，比如，图2中的目标波形的走势是先上升后下降，图3中的目标波形的走势是先下降后上升，基于上述区别，可以确定所述目标波形对应的不同的参考波形，也即识别所述目标波形。
在所述至少一参考波形的数量较多的情况下，不同参考波形的之间混淆的可能性增大，为了避免识别错误，在一种实施方式中，所述类型确定单元5212a，用于将所述目标波形分别与所述至少一参考波形做互相关计算，根据计算结果确定所述头部动作的类型。
具体的，所述类型确定单元5212a可以将所述目标波形分别与所述至少一参考波形做互相关计算，得到每一个参考波形对应的计算结果，然后可以选择计算结果的值最高的参考波形(即与所述目标波形相关度最高的参考波形)对应的类型作为所述头部动作的类型。比如，假设所述至少一参考波形包括对应点头的第一参考波形和对应摇头的第二参考波形，令所述第一参考波形与所述目标波形做互相关计算得到第一结果，令所述第二参考波形与所述目标波形做互相关计算得到第二结果，如果第一结果的值高于第二结果的值，则可以确定所述头部动作的类型为点头。
在另一种实施方式中，参见图8，所述类型确定子模块521可以包括：
一目标信号特征确定单元5211b，用于确定所述肌电信息中的目标信号特征；
一类型确定单元5212b，用于根据所述目标信号特征和至少一参考信号特征确定所述头部动作的类型。
所述目标信号特征确定单元5211b中，所述目标信号特征可以理解为是上一实施方式中所述目标波形的信号特征，其可以与所述目标波形的幅度、相位、频谱中至少一项相关。具体的，所述目标信号特征可以包括：指纹、平均值、差分中至少一项；所述指纹可以由所述目标波形的幅度、相位、频谱中至少一项组成；所述平均值可以是所述目标波形的幅度、相位、频谱中至少一项的平均值；所述差分可以是所述目标波形的幅度、相位、频谱中至少一项的差分。当然，本领域技术人员理解，所述目标信号特征可以直接根据所述肌电信息的数据确定，并不必须需要根据所述目标波形确定。
所述类型确定单元5212b中，所述参考信号特征可以是预先训练得到的对应相应头部动作的信号特征，比如在训练阶段，可以让用户分别执行不同类型的头部动作，并对应获取相应肌电信息的信号特征作为所述参考信号特征。比如，在训练阶段，让用户执行摇头动作，并对应获取图2中椭圆内的波形的信号特征作为对应摇头动作的参考信号特征。
该类型确定单元5212b中，可以通过比如信号特征比对的方式，判断所述目标信号特征中是否包含所述至少一参考信号特征，如果存在，则判断所述头部动作的类型为与被包含的参考信号特征相对应的类型。
所述头部动作的类型可以表示不同的操作命令，比如点头表示确认，摇头表示取消。同时，对于不同类型的头部动作，执行不同的次数也可以表示不同的操作命令，比如单次点头表示选中，连续两次点头表示打开。因此，在一种实施方式中，所述头部动作包括第一类型头部动作；所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息。相应的，参见图9，在另一种实施方式中，所述确定模块520还包括：
一次数确定子模块522，用于根据所述肌电信息和所述第一参考信息确定所述第一类型头部动作的次数。
在一种实施方式中，参见图10，所述次数确定子模块522可以包括：
一目标波形确定单元5221a，用于确定所述肌电信息中的目标波形；
一次数确定单元5222a，用于根据所述目标波形中包含一第一参考波形的数量确定所述第一类型头部动作的次数。
其中，所述目标波形确定单元5221a的实现原理与上述实施方式中所述目标波形确定单元5211a的实现原理相同，不再赘述。
所述次数确定单元5222a中，所述目标波形中所包含的所述第一参考波形的数量与所述第一类型的头部动作的次数是相对应的。假设所述第一类型的头部动作是摇头，所述第一参考波形是对应摇头的参考波形，以图2为例，可以看到所述目标波形中包含两个所述第一参考波形，进而可以确定用户做了两次摇头动作。类似的，图3所示的肌电信息表明用户做了两次点头动作。
在另一种实施方式中，参见图11，所述次数确定子模块522包括：
一目标信号特征确定单元5221b，用于确定所述肌电信息中的目标信号特征；
一次数确定单元5222b，用于根据所述目标信号特征中包含一第一参考信号特征的数量确定所述第一类型头部动作的次数。
所述目标信号特征确定单元5221b的实现原理与上述实施方式中所述目标信号特征确定单元5211b的实现原理相同，此处不再赘述。
所述次数确定单元5222b中，所述目标信号特征中包含所述第一参考信号特征的数量，与所述第一类型头部动作的次数相对应。仍旧假设所述第一类型的头部动作是摇头，假设所述第一参考信号特征是对应摇头的幅度值变化数据(比如幅度值先上升至大于2mV，再下降至小于-2mV)，以图2为例，可以看到该肌电信息中的目标信号特征中包含两个所述第一参考信号特征，进而可以确定用户做了两次摇头动作。当然了，本领域技术人员理解，该步骤中并不必须得到图2所示的波形曲线。类似的，图3所示的肌电信息表明用户做了两次点头动作。
另外，所述头部动作还可能包括其他类型的头部动作，比如第二类型的头部动作，或者，所述头部动作可能同时包括多种类型的头部动作，比如同时包括第一类型的头部动作和第二类型的头部动作，均可按照上述实现原理分别实现对各种类型的头部动作的次数的识别。
参见图12，在一种实施方式中，所述设备500还包括：
一执行模块530，用于根据确定结果执行操作。
所述执行操作，可以包括切换模式、输入内容、提醒用户、匹配设备等操作。
综上，本申请实施例所述设备，可以根据眼部的肌电信息确定用户的头部动作，进行执行相应的操作，从而有利于提高动作识别的准确度，并且，在一些穿戴式设备本身具有相应传感器的情况下，可以在不增加实现成本的情况下，方便了用户通过头部动作控制相应的电子设备。
本申请实施例所述信息处理方法和设备的一个应用场景可以如下：用户佩戴一智能眼镜，智能眼镜初始进入一级菜单，其上的肌电传感器获取用户的眼部的肌电信号；用户执行摇头动作，智能眼镜识别该摇头动作，从而控制一级菜单选项按照预定顺序在眼镜显示窗口中切换；当切换至用户想要打开的应用时，用户执行点头动作，该应用被选中，然后用户连续两次执行点头动作，该应用被打开。
本申请另一个实施例所述头部动作确定设备的硬件结构如图13所示。本申请具体实施例并不对所述信息处理设备的具体实现做限定，参见图13，所述设备1300可以包括：
处理器(processor)1310、通信接口(Communications Interface)1320、存储器(memory)1330，以及通信总线1340。其中：
处理器1310、通信接口1320，以及存储器1330通过通信总线1340完成相互间的通信。
通信接口1320，用于与其他网元通信。
处理器1310，用于执行程序1332，具体可以执行上述图1所示的方法实施例中的相关步骤。
具体地，程序1332可以包括程序代码，所述程序代码包括计算机操作指令。
处理器1310可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器1330，用于存放程序1332。存储器1330可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。程序1332具体可以执行以下步骤：
响应于用户执行一头部动作，获取所述用户的一眼部的肌电信息；
根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息。
程序1332中各步骤的具体实现可以参见上述实施例中的相应步骤或模块，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，控制器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。

Claims (6)

1.一种头部动作确定方法，其特征在于，所述方法包括：
响应于用户执行一头部动作，获取所述用户的一眼部的肌电信息；
根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息；所述头部动作包括：点头或摇头；
其中，根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息包括：
根据所述肌电信息和所述至少一参考信息确定所述头部动作的类型；
根据所述肌电信息和所述至少一参考信息确定所述头部动作的类型包括：
确定所述肌电信息中的目标波形，所述目标波形是所述肌电信息的波形中对应所述头部动作的波形；
将所述目标波形分别与至少一参考波形做互相关计算，根据计算结果确定所述头部动作的类型。
2.一种头部动作确定设备，其特征在于，所述设备包括：
一获取模块，用于响应于用户执行一头部动作，获取所述用户的一眼部的肌电信息；
一确定模块，用于根据所述肌电信息和至少一参考信息确定所述头部动作的相关信息；所述头部动作包括：点头或摇头；
所述确定模块包括：
一类型确定子模块，用于根据所述肌电信息和所述至少一参考信息确定所述头部动作的类型；
所述类型确定子模块包括：
一目标波形确定单元，用于确定所述肌电信息中的目标波形，所述目标波形是所述肌电信息的波形中对应所述头部动作的波形；
一类型确定单元，用于将所述目标波形分别与至少一参考波形做互相关计算，根据计算结果确定所述头部动作的类型。
3.如权利要求2所述的设备，其特征在于，所述头部动作包括第一类型头部动作；
所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息；
所述确定模块还包括：
一次数确定子模块，用于根据所述肌电信息和所述第一参考信息确定所述第一类型头部动作的次数。
4.如权利要求3所述的设备，其特征在于，所述次数确定子模块包括：
一目标波形确定单元，用于确定所述肌电信息中的目标波形；
一次数确定单元，用于根据所述目标波形中包含一第一参考波形的数量确定所述第一类型头部动作的次数。
5.如权利要求2至4任一项所述的设备，其特征在于，所述设备还包括：
一执行模块，用于根据确定结果执行操作。
6.一种穿戴式设备，其特征在于，所述穿戴式设备包括权利要求2至5任一项所述的头部动作确定设备。
CN201510219954.6A 2015-04-30 2015-04-30 头部动作确定方法和设备 Active CN106293013B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510219954.6A CN106293013B (zh) 2015-04-30 2015-04-30 头部动作确定方法和设备
PCT/CN2016/080600 WO2016173522A1 (en) 2015-04-30 2016-04-29 Method and device for determining head movement
US15/570,310 US10646141B2 (en) 2015-04-30 2016-04-29 Method and device for determining head movement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510219954.6A CN106293013B (zh) 2015-04-30 2015-04-30 头部动作确定方法和设备

Publications (2)

Publication Number Publication Date
CN106293013A CN106293013A (zh) 2017-01-04
CN106293013B true CN106293013B (zh) 2022-04-15

Family

ID=57198180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510219954.6A Active CN106293013B (zh) 2015-04-30 2015-04-30 头部动作确定方法和设备

Country Status (3)

Country Link
US (1) US10646141B2 (zh)
CN (1) CN106293013B (zh)
WO (1) WO2016173522A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368676A (zh) * 2020-02-26 2020-07-03 上海幂方电子科技有限公司 一种数据采集方法、设备及计算机可读存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1610862B1 (en) 2003-04-01 2016-11-23 Sunstar Suisse SA Apparatus for monitoring of muscle activity
US20070010748A1 (en) * 2005-07-06 2007-01-11 Rauch Steven D Ambulatory monitors
DE102005038542A1 (de) * 2005-08-16 2007-02-22 Forschungszentrum Karlsruhe Gmbh Künstliches Akkommodationssystem
CN101711709B (zh) * 2009-12-07 2012-05-23 杭州电子科技大学 利用眼电和脑电信息的电动假手控制方法
CN202096374U (zh) * 2010-12-15 2012-01-04 南开大学 基于眼电信号和头部运动信号的智能轮椅
US20120265080A1 (en) * 2011-04-15 2012-10-18 Xiong Yu Non-contact sensing of physiological signals
WO2013017985A1 (en) * 2011-08-03 2013-02-07 Koninklijke Philips Electronics N.V. Command detection device and method
US8223024B1 (en) * 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
CN102968072A (zh) * 2012-11-09 2013-03-13 上海大学 基于校正/训练的眼电控制系统和方法
CN104010089B (zh) * 2014-06-18 2016-05-25 中南大学 一种基于眨眼肌电信号检测的手机拨号方法及系统
CN104199546A (zh) * 2014-08-31 2014-12-10 上海威璞电子科技有限公司 基于腕带和手环类产品采用四种手势实现控制的方法
CN104503593A (zh) * 2015-01-23 2015-04-08 北京智谷睿拓技术服务有限公司 控制信息确定方法和装置
CN104503592A (zh) * 2015-01-23 2015-04-08 北京智谷睿拓技术服务有限公司 头部动作确定方法和装置
KR20160128119A (ko) * 2015-04-28 2016-11-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법

Also Published As

Publication number Publication date
US10646141B2 (en) 2020-05-12
CN106293013A (zh) 2017-01-04
WO2016173522A1 (en) 2016-11-03
US20180132763A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
US20210064132A1 (en) Systems, methods, and interfaces for performing inputs based on neuromuscular control
KR102570068B1 (ko) 동작 인식 방법, 동작 인식 장치 및 웨어러블 장치
Wu et al. A wearable system for recognizing American sign language in real-time using IMU and surface EMG sensors
CN108351701B (zh) 辅助技术控制系统及相关方法
KR102269587B1 (ko) 뇌-컴퓨터 인터페이스 시스템 및 동작 상상에 의해 발현된 뇌파 신호를 분석하는 방법
CN101464728B (zh) 视觉运动相关神经信号为载体的人机交互方法
CN111149104B (zh) 用于生物特征识别的装置、方法和计算机可读存储介质
Achanccaray et al. A p300-based brain computer interface for smart home interaction through an anfis ensemble
CN114546102A (zh) 眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置
US11442536B2 (en) EOG-based method and apparatus for asynchronous character input
CN106293013B (zh) 头部动作确定方法和设备
KR101630398B1 (ko) 역치 이하 자극을 이용한 보안 서비스 제공 방법 및 장치
CN108491792B (zh) 基于眼电信号的办公场景人机交互行为识别方法
Abdel-Hadi et al. Classification of motor imagery tasks with LS-SVM in EEG-based self-paced BCI
Dietrich et al. Towards EEG-based eye-tracking for interaction design in head-mounted devices
Bhowmick et al. A Framework for Eye-Based Human Machine Interface
CN116048266A (zh) 一种融合基于摄像头式视线跟踪技术的脑机接口系统
CN107390873B (zh) 基于脑电控制的多尺度光标定位方法
Zhang et al. A maximum mutual information approach for constructing a 1D continuous control signal at a self-paced brain–computer interface
Xiahou et al. Integrated approach of dynamic human eye movement recognition and tracking in real time
US10936052B2 (en) Method and device for determining head movement according to electrooculographic information
WO2016173523A1 (en) Control method and equipment
Zhang et al. An Asynchronous Mi-Based BCI for Brain-Actuated Robot Grasping Control
Mohammadi et al. EEG based foot movement onset detection with the probabilistic classification vector machine
WO2016169478A1 (en) Control method and equipment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant