CN106155296A - 控制方法和设备 - Google Patents
控制方法和设备 Download PDFInfo
- Publication number
- CN106155296A CN106155296A CN201510187397.4A CN201510187397A CN106155296A CN 106155296 A CN106155296 A CN 106155296A CN 201510187397 A CN201510187397 A CN 201510187397A CN 106155296 A CN106155296 A CN 106155296A
- Authority
- CN
- China
- Prior art keywords
- headwork
- information
- waveform
- electrical information
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Hardware Design (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种控制方法和设备,涉及电子设备领域。所述方法包括:响应于用户执行一头部动作,获取所述用户的一眼电信息;根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作。所述方法和设备,提供了一种根据眼电信息执行相应操作的控制方法,对于一些集成有眼电传感器的设备,采用所述方法可以复用该眼电传感器采集所述眼电信息实现相应控制功能,减少了实现成本。
Description
技术领域
本申请涉及电子设备领域,尤其涉及一种控制方法和设备。
背景技术
当前,可穿戴计算、移动计算、普适计算等新技术发展迅速,对人机交互技术提出了新的挑战和更高的要求,同时也提供了许多新的机遇。在这一阶段,自然和谐的人机交互方式得到了一定的发展,其主要特点是基于姿势、语音、手写体、或者跟踪、表情等输入手段进行多通道交互,其目的是使人能以动作、声音、表情等自然方式进行交互操作,这正是理想的人机交互所强调的“用户自由”之所在。
传统的基于头部动作的控制方法,一般都是在头部设置加速度传感器、陀螺仪等,然后根据头部动作过程中产生的速度改变、角度改变等信息执行相应的控制操作。
上述方法由于需要增加加速度传感器等硬件设备,显然增加了实现成本。
发明内容
本申请的目的是:提供一种控制方法和设备,以减少实现成本。
根据本申请至少一个实施例的一个方面,提供了一种控制方法,所述方法包括:
响应于用户执行一头部动作,获取所述用户的一眼电信息;
根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作。
结合第一方面的任一种可能的实现方式,在第二种可能的实现方式中,所述根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作包括:
根据所述眼电信息和所述至少一参考信息确定所述头部动作的相关信息;
根据所述相关信息执行所述操作。
结合第一方面的任一种可能的实现方式,在第三种可能的实现方式中,所述根据所述眼电信息和所述至少一参考信息确定所述头部动作的相关信息包括:
根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型。
结合第一方面的任一种可能的实现方式,在第四种可能的实现方式中,所述头部动作的类型包括:点头、摇头中至少一项。
结合第一方面的任一种可能的实现方式,在第五种可能的实现方式中,所述根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型包括:
确定所述眼电信息中的目标波形;
根据所述目标波形和至少一参考波形确定所述头部动作的类型。
结合第一方面的任一种可能的实现方式,在第六种可能的实现方式中,所述根据所述目标波形和至少一参考波形确定所述头部动作的类型包括:
将所述目标波形分别与所述至少一参考波形做互相关计算,根据计算结果确定所述头部动作的类型。
结合第一方面的任一种可能的实现方式,在第七种可能的实现方式中,所述根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型包括:
确定所述眼电信息中的目标信号特征;
根据所述目标信号特征和至少一参考信号特征确定所述头部动作的类型。
结合第一方面的任一种可能的实现方式,在第八种可能的实现方式中,所述头部动作包括第一类型头部动作;
所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息;
所述根据所述眼电信息和所述至少一参考信息确定所述头部动作的相关信息还包括:
根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数。
结合第一方面的任一种可能的实现方式,在第九种可能的实现方式中,所述根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数包括:
确定所述眼电信息中的目标波形;
根据所述目标波形中包含一第一参考波形的数量确定所述第一类型头部动作的次数。
结合第一方面的任一种可能的实现方式,在第十种可能的实现方式中,所述根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数包括:
确定所述眼电信息中的目标信号特征;
根据所述目标信号特征中包含一第一参考信号特征的数量确定所述第一类型头部动作的次数。
根据本申请至少一个实施例的一个方面,提供了一种控制设备,所述设备包括:
一获取模块,用于响应于用户执行一头部动作,获取所述用户的一眼电信息;
一执行模块,用于根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作。
结合第二方面的任一种可能的实现方式,在第二种可能的实现方式中,所述执行模块包括:
一确定子模块,用于根据所述眼电信息和所述至少一参考信息确定所述头部动作的相关信息;
一执行子模块,用于根据所述相关信息执行所述操作。
结合第二方面的任一种可能的实现方式,在第三种可能的实现方式中,所述确定子模块包括:
一类型确定单元,用于根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型。
结合第二方面的任一种可能的实现方式,在第四种可能的实现方式中,所述类型确定单元包括:
一目标波形确定子单元,用于确定所述眼电信息中的目标波形;
一类型确定子单元,用于根据所述目标波形和至少一参考波形确定所述头部动作的类型。
结合第二方面的任一种可能的实现方式,在第五种可能的实现方式中,所述类型确定子单元,用于将所述目标波形分别与所述至少一参考波形做互相关计算,根据计算结果确定所述头部动作的类型。
结合第二方面的任一种可能的实现方式,在第六种可能的实现方式中,所述类型确定单元包括:
一目标信号特征确定子单元,用于确定所述眼电信息中的目标信号特征;
一类型确定子单元,用于根据所述目标信号特征和至少一参考信号特征确定所述头部动作的类型。
结合第二方面的任一种可能的实现方式,在第七种可能的实现方式中,所述头部动作包括第一类型头部动作;
所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息;
所述确定子模块还包括:
一次数确定单元,用于根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数。
结合第二方面的任一种可能的实现方式,在第八种可能的实现方式中,所述次数确定单元包括:
一目标波形确定子单元,用于确定所述眼电信息中的目标波形;
一次数确定子单元,用于根据所述目标波形中包含一第一参考波形的数量确定所述第一类型头部动作的次数。
结合第二方面的任一种可能的实现方式,在第九种可能的实现方式中,所述次数确定单元包括:
一目标信号特征确定子单元,用于确定所述眼电信息中的目标信号特征;
一次数确定子单元,用于根据所述目标信号特征中包含一第一参考信号特征的数量确定所述第一类型头部动作的次数。
本申请实施例所述方法和设备,响应于用户执行一头部动作,获取所述用户的一眼电信息,根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作。从而,提供了一种根据眼电信息执行相应操作的控制方法,对于一些集成有眼电传感器的设备,比如智能眼镜等,采用所述方法可以复用该眼电传感器采集所述眼电信息,减少了实现成本。
附图说明
图1是本申请一个实施例中一种控制方法的流程图;
图2是本申请一个实施方式中对应点头动作的眼电信息的波形示意图;
图3是本申请一个实施方式中对应摇头动作的眼电信息的波形示意图;
图4是本申请另一个实施例中所述控制设备的模块图;
图5是本申请一个实施方式中所述执行模块的模块图;
图6是本申请一个实施方式中所述确定子模块的模块图;
图7是本申请一个实施方式中所述类型确定单元的模块图;
图8是本申请另一个实施方式中所述类型确定单元的模块图;
图9是本申请另一个实施方式中所述确定子模块的模块图;
图10是本申请一个实施方式中所述次数确定单元的模块图;
图11是本申请另一个实施方式中所述次数确定单元的模块图;
图12是本申请一个实施方式中所述控制设备的硬件结构示意图。
具体实施方式
下面结合附图和实施例,对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。
本领域技术人员理解,在本申请的实施例中,下述各步骤的序号的大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
图1是本申请一个实施例所述控制方法的流程图,所述方法可以在例如一控制设备上实现。如图1所示,所述方法包括:
S120:响应于用户执行一头部动作,获取所述用户的一眼电信息;
S140:根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作。
本申请实施例所述方法,响应于用户执行一头部动作,获取所述用户的一眼电信息,根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作。从而,提供了一种根据眼电信息执行相应操作的控制方法,对于一些集成有眼电传感器的设备,比如智能眼镜等,采用所述方法可以复用该眼电传感器采集的所述眼电信息实现相应控制功能,减少了实现成本。
以下将结合具体实施方式,详细说明所述步骤S120和S140的功能。
S120:响应于用户执行一头部动作,获取所述用户的一眼电信息。
所述头部动作即所述用户的头部所做的动作,比如点头、摇头等。所述眼电信息可以是所述用户的左眼眼电信息或右眼眼电信息,比如可以通过智能眼镜上的眼电传感器获取。
S140:根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作。
在一种实施方式中,所述步骤S140可以包括:
S141:根据所述眼电信息和所述至少一参考信息确定所述头部动作的相关信息。
S142:根据所述相关信息执行所述操作。
一种实施方式中,所述头部动作的相关信息可以包括所述头部动作的类型,比如点头、摇头。相应的,所述步骤S141可以包括:
S1411:根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型。
在一种实施方式中,所述步骤S1411可以包括:
S14111a:确定所述眼电信息中的目标波形;
S14112a:根据所述目标波形和至少一参考波形确定所述头部动作的类型。
所述步骤S14111a中,所述目标波形是所述眼电信息的波形中对应所述头部动作的波形,其明显区别于所述头部未执行任何动作情况下采集的眼电信息的波形。
以所述头部动作的类型是点头动作为例,得到的所述眼电信息的波形如图2所示。其中,椭圆内的波形是所述用户的头部执行点头动作时的波形,椭圆外的波形是所述用户的头部未执行任何动作时的波形。可以看到,图2中椭圆内的波形明显区别于椭圆外的波形,具体的,是椭圆内的波形的振幅明显大于椭圆外的波形的振幅,基于此,可以从所述眼电信息中提取出所述目标波形,即确定所述椭圆内的波形为所述目标波形。
类似的,图3是所述头部动作的类型为摇头时得到的所述眼电信息的波形。其中,椭圆内的波形是所述用户的头部执行摇头动作时的波形,椭圆外的波形是所述用户的头部未执行任何动作时的波形。可以看到,该图3中椭圆内的波形的振幅也明显大于椭圆外的波形的振幅,基于此,可以确定所述椭圆内的波形为所述目标波形。
所述步骤S14112a中,所述参考波形可以是预先训练得到的对应相应头部动作的波形,比如在训练阶段,可以让用户分别执行不同类型的头部动作,并对应获取相应的波形作为所述参考波形。比如,在训练阶段,让用户执行点头动作,并对应获取图2中椭圆内的波形作为对应点头动作的参考波形。
在所述至少一参考波形的数量较少,即所述头部动作的类型较少的情况下,可以通过比如图像识别的方式,判断所述目标波形中是否包含所述至少一参考波形,如果存在,则判断所述头部动作的类型为与被包含的参考波形相对应的类型。以图2和图3为例,可以看到,图2中目标波形和图3中的目标波形具有明显的区别,比如,图2中的目标波形的走势是先下降后上升,图3中的目标波形的走势是先上升后下降,基于上述区别,可以确定所述目标波形对应的不同的参考波形,也即识别所述目标波形。
在所述至少一参考波形的数量较多的情况下,不同参考波形的之间混淆的可能性增大,为了避免识别错误,在一种实施方式中,所述步骤S14112a可以包括:
S14112a’:将所述目标波形分别与所述至少一参考波形做互相关计算,根据计算结果确定所述头部动作的类型。
具体的,可以将所述目标波形分别与所述至少一参考波形做互相关计算,得到每一个参考波形对应的计算结果,然后可以选择计算结果的值最高的参考波形(即与所述目标波形相关度最高的参考波形)对应的类型作为所述头部动作的类型。比如,假设所述至少一参考波形包括对应点头的第一参考波形和对应摇头的第二参考波形,令所述第一参考波形与所述目标波形做互相关计算得到第一结果,令所述第二参考波形与所述目标波形做互相关计算得到第二结果,如果第一结果的值高于第二结果的值,则可以确定所述头部动作的类型为点头。
在另一种实施方式中,所述步骤S1411可以包括:
S14111b:确定所述眼电信息中的目标信号特征;
S14112b:根据所述目标信号特征和至少一参考信号特征确定所述头部动作的类型。
所述步骤S14111b中,所述目标信号特征可以理解为是上一实施方式中所述目标波形的信号特征,其可以与所述目标波形的幅度、相位、频谱中至少一项相关。具体的,所述目标信号特征可以包括:指纹、平均值、差分中至少一项;所述指纹可以由所述目标波形的幅度、相位、频谱中至少一项组成;所述平均值可以是所述目标波形的幅度、相位、频谱中至少一项的平均值;所述差分可以是所述目标波形的幅度、相位、频谱中至少一项的差分。当然,本领域技术人员理解,所述目标信号特征可以直接根据所述眼电信息的数据确定,并不必须需要根据所述目标波形确定。
所述步骤S14112b中,所述参考信号特征可以是预先训练得到的对应相应头部动作的信号特征,比如在训练阶段,可以让用户分别执行不同类型的头部动作,并对应获取相应眼电信息的信号特征作为所述参考信号特征。比如,在训练阶段,让用户执行点头动作,并对应获取图2中椭圆内的波形的信号特征作为对应点头动作的参考信号特征。
该步骤S14112b中,可以通过比如信号特征比对的方式,判断所述目标信号特征中是否包含所述至少一参考信号特征,如果存在,则判断所述头部动作的类型为与被包含的参考信号特征相对应的类型。
所述头部动作的类型可以表示不同的操作命令,比如点头表示确认,摇头表示取消。同时,对于不同类型的头部动作,执行不同的次数也可以表示不同的操作命令,比如单次点头表示选中,连续两次点头表示打开。因此,在一种实施方式中,所述头部动作包括第一类型头部动作;所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息。
相应的,所述步骤S141还可以包括:
S1412:根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数。
在一种实施方式中,所述步骤S1412可以包括:
S14121a:确定所述眼电信息中的目标波形;
S14122a:根据所述目标波形中包含一第一参考波形的数量确定所述第一类型头部动作的次数。
其中,所述步骤S14121a的实现原理与所述步骤S14111a的实现原理相同,不再赘述。
所述步骤S14122a中,所述目标波形中所包含的所述第一参考波形的数量与所述第一类型的头部动作的次数是相对应的。假设所述第一类型的头部动作是点头,所述第一参考波形是对应点头的参考波形,以图2为例,可以看到所述目标波形中包含两个所述第一参考波形,进而可以确定用户做了两次点头动作。类似的,图3所示的眼电信息表明用户做了两次摇头动作。
在另一种实施方式中,所述步骤S1412可以包括:
S14121b:确定所述眼电信息中的目标信号特征;
S14122b:根据所述目标信号特征中包含一第一参考信号特征的数量确定所述第一类型头部动作的次数。
所述步骤S14121b的实现原理与所述步骤S14111b的实现原理相同,此处不再赘述。
所述步骤S14122b中,所述目标信号特征中包含所述第一参考信号特征的数量,与所述第一类型头部动作的次数相对应。仍旧假设所述第一类型的头部动作是点头,假设所述第一参考信号特征是对应点头的幅度值变化数据(比如幅度值先下降至小于-20,再上升至大于20,再下降至小于-20),以图2为例,可以看到该眼电信息中的目标信号特征中包含两个所述第一参考信号特征,进而可以确定用户做了两次点头动作。当然了,本领域技术人员理解,该步骤中并不必须得到图2所示的波形曲线。类似的,图3所示的眼电信息表明用户做了两次摇头动作。
另外,所述头部动作还可能包括其他类型的头部动作,比如第二类型的头部动作,或者,所述头部动作可能同时包括多种类型的头部动作,比如同时包括第一类型的头部动作和第二类型的头部动作,均可按照上述实现原理分别实现对各种类型的头部动作的次数的识别。
所述步骤S142中,根据所述相关信息执行所述操作。
所述执行操作,可以包括切换模式、输入内容、提醒用户、匹配设备等操作。
比如用户在佩戴智能眼镜过程中,可以监测用户的头部动作,如果用户单次点头,则选中当前对象,比如选中当前显示的应用图标;如果用户连续点头两次,则直接打开当前对象;如果用户摇头,则切换至下一对象。
另外,需要说明的是,为了方便说明所述方法的原理,上述实施方式中所述步骤S140,实质上是根据所述至少一参考信息与所述头部动作的相关信息之间的第一对应关系,以及所述相关信息和所述操作之间的第二对应关系,实现了上述控制方法。
本领域技术人员理解,所述步骤S140中并不必须需要确定所述第一对应关系,因为只要根据所述至少一参考信息与所述操作之间的第三对应关系,即可实现所述控制方法。也就是说,在另一种实施方式中,所述至少一参考信息与所述操作之间直接具有一对应关系,从而根据所述眼电信息和所述至少一参考信息可以直接确定所述操作并执行所述操作。比如,假设所述至少一参考信息中包括一对应关机命令的目标参考信息,当用户执行一头部动作触发一眼电信息,并且所述眼电信息与所述目标参考信息相匹配的情况下,可以直接控制相应电子设备关机。
此外,本申请实施例还提供一种计算机可读介质,包括在被执行时进行以下操作的计算机可读指令:执行上述图1所示实施方式中的方法的步骤S120和S140的操作。
综上,本申请实施例所述方法,可以由用户的头部动作触发一眼电信息,进行控制执行相应的操作,从而不增加实现成本的情况下,方便了用户通过头部动作控制相应的电子设备。
图4是本申请一个实施例所述控制设备的模块结构示意图,所述设备可以是一个独立的控制设备,当然,也可以作为一个功能模块集成设置于比如智能眼镜等可穿戴式设备中。参见图,所述设备400可以包括:
一获取模块410,用于响应于用户执行一头部动作,获取所述用户的一眼电信息;
一执行模块420,用于根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作。
本申请实施例所述设备,响应于用户执行一头部动作,获取所述用户的一眼电信息,根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作。从而,提供了一种根据眼电信息执行相应操作的控制设备,对于一些集成有眼电传感器的设备,比如智能眼镜等,其可以复用该眼电传感器采集的所述眼电信息实现对该设备或其他设备的控制,减少了实现成本。
以下将结合具体实施方式,详细说明所述获取模块410和所述执行模块420的功能。
所述获取模块410,用于响应于用户执行一头部动作,获取所述用户的一眼电信息。
所述头部动作即所述用户的头部所做的动作,比如点头、摇头等。所述眼电信息可以是所述用户的左眼眼电信息或右眼眼电信息,比如可以通过智能眼镜上的眼电传感器获取。
所述执行模块420,用于根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作。
参见图5,在一种实施方式中,所述执行模块420可以包括:
一确定子模块421,用于根据所述眼电信息和所述至少一参考信息确定所述头部动作的相关信息。
一执行子模块422,用于根据所述相关信息执行所述操作。
在一种实施方式中,所述头部动作的相关信息可以包括所述头部动作的类型,比如点头、摇头。相应的,参见图6,所述确定子模块421可以包括:
一类型确定单元4211,用于根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型。
在一种实施方式中,参见图7,所述类型确定单元4211可以包括:
一目标波形确定子单元42111a,用于确定所述眼电信息中的目标波形;
一类型确定子单元42112a,用于根据所述目标波形和至少一参考波形确定所述头部动作的类型。
所述目标波形确定子单元42111a中,所述目标波形是所述眼电信息的波形中对应所述头部动作的波形,其明显区别于所述头部未执行任何动作情况下采集的眼电信息的波形。
以所述头部动作的类型是点头动作为例,得到的所述眼电信息的波形如图2所示。其中,椭圆内的波形是所述用户的头部执行点头动作时的波形,椭圆外的波形是所述用户的头部未执行任何动作时的波形。可以看到,图2中椭圆内的波形明显区别于椭圆外的波形,具体的,是椭圆内的波形的振幅明显大于椭圆外的波形的振幅,基于此,可以从所述眼电信息中提取出所述目标波形,即确定所述椭圆内的波形为所述目标波形。
类似的,图3是所述头部动作的类型为摇头时得到的所述眼电信息的波形。其中,椭圆内的波形是所述用户的头部执行摇头动作时的波形,椭圆外的波形是所述用户的头部未执行任何动作时的波形。可以看到,该图3中椭圆内的波形的振幅也明显大于椭圆外的波形的振幅,基于此,可以确定所述椭圆内的波形为所述目标波形。
所述类型确定子单元42112a中,所述参考波形可以是预先训练得到的对应相应头部动作的波形,比如在训练阶段,可以让用户分别执行不同类型的头部动作,并对应获取相应的波形作为所述参考波形。比如,在训练阶段,让用户执行点头动作,并对应获取图2中椭圆内的波形作为对应点头动作的参考波形。
在所述至少一参考波形的数量较少,即所述头部动作的类型较少的情况下,可以通过比如图像识别的方式,判断所述目标波形中是否包含所述至少一参考波形,如果存在,则判断所述头部动作的类型为与被包含的参考波形相对应的类型。以图2和图3为例,可以看到,图2中目标波形和图3中的目标波形具有明显的区别,比如,图2中的目标波形的走势是先下降后上升,图3中的目标波形的走势是先上升后下降,基于上述区别,可以确定所述目标波形对应的不同的参考波形,也即识别所述目标波形。
在所述至少一参考波形的数量较多的情况下,不同参考波形的之间混淆的可能性增大,为了避免识别错误,在一种实施方式中,所述类型确定子单元42112a,用于将所述目标波形分别与所述至少一参考波形做互相关计算,根据计算结果确定所述头部动作的类型。
具体的,所述类型确定子单元42112a可以将所述目标波形分别与所述至少一参考波形做互相关计算,得到每一个参考波形对应的计算结果,然后可以选择计算结果的值最高的参考波形(即与所述目标波形相关度最高的参考波形)对应的类型作为所述头部动作的类型。比如,假设所述至少一参考波形包括对应点头的第一参考波形和对应摇头的第二参考波形,令所述第一参考波形与所述目标波形做互相关计算得到第一结果,令所述第二参考波形与所述目标波形做互相关计算得到第二结果,如果第一结果的值高于第二结果的值,则可以确定所述头部动作的类型为点头。
在另一种实施方式中,参见图8,所述类型确定单元4211可以包括:
一目标信号特征确定子单元42111b,用于确定所述眼电信息中的目标信号特征;
一类型确定子单元42112b,用于根据所述目标信号特征和至少一参考信号特征确定所述头部动作的类型。
所述目标信号特征确定子单元42111b中,所述目标信号特征可以理解为是上一实施方式中所述目标波形的信号特征,其可以与所述目标波形的幅度、相位、频谱中至少一项相关。具体的,所述目标信号特征可以包括:指纹、平均值、差分中至少一项;所述指纹可以由所述目标波形的幅度、相位、频谱中至少一项组成;所述平均值可以是所述目标波形的幅度、相位、频谱中至少一项的平均值;所述差分可以是所述目标波形的幅度、相位、频谱中至少一项的差分。当然,本领域技术人员理解,所述目标信号特征可以直接根据所述眼电信息的数据确定,并不必须需要根据所述目标波形确定。
所述类型确定子单元42112b中,所述参考信号特征可以是预先训练得到的对应相应头部动作的信号特征,比如在训练阶段,可以让用户分别执行不同类型的头部动作,并对应获取相应眼电信息的信号特征作为所述参考信号特征。比如,在训练阶段,让用户执行点头动作,并对应获取图2中椭圆内的波形的信号特征作为对应点头动作的参考信号特征。
该类型确定子单元42112b中,可以通过比如信号特征比对的方式,判断所述目标信号特征中是否包含所述至少一参考信号特征,如果存在,则判断所述头部动作的类型为与被包含的参考信号特征相对应的类型。
所述头部动作的类型可以表示不同的操作命令,比如点头表示确认,摇头表示取消。同时,对于不同类型的头部动作,执行不同的次数也可以表示不同的操作命令,比如单次点头表示选中,连续两次点头表示打开。因此,在一种实施方式中,所述头部动作包括第一类型头部动作;所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息。相应的,参见图9,所述确定子模块421还包括:
一次数确定单元4212,用于根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数。
在一种实施方式中,参见图10,所述次数确定单元4212可以包括:
一目标波形确定子单元42121a,用于确定所述眼电信息中的目标波形;
一次数确定子单元42122a,用于根据所述目标波形中包含一第一参考波形的数量确定所述第一类型头部动作的次数。
其中,所述目标波形确定子单元42121a的实现原理与所述目标波形确定子单元42111a的实现原理相同,不再赘述。
所述次数确定子单元42122a中,所述目标波形中所包含的所述第一参考波形的数量与所述第一类型的头部动作的次数是相对应的。假设所述第一类型的头部动作是点头,所述第一参考波形是对应点头的参考波形,以图2为例,可以看到所述目标波形中包含两个所述第一参考波形,进而可以确定用户做了两次点头动作。类似的,图3所示的眼电信息表明用户做了两次摇头动作。
在另一种实施方式中,参见图11,所述次数确定单元4212可以包括:
一目标信号特征确定子单元42121b,用于确定所述眼电信息中的目标信号特征;
一次数确定子单元42122b,用于根据所述目标信号特征中包含一第一参考信号特征的数量确定所述第一类型头部动作的次数。
所述目标信号特征确定子单元42121b的实现原理与所述目标信号特征确定子单元42111b的实现原理相同,此处不再赘述。
所述次数确定子单元42122b中,所述目标信号特征中包含所述第一参考信号特征的数量,与所述第一类型头部动作的次数相对应。仍旧假设所述第一类型的头部动作是点头,假设所述第一参考信号特征是对应点头的幅度值变化数据(比如幅度值先下降至小于-20,再上升至大于20,再下降至小于-20),以图2为例,可以看到该眼电信息中的目标信号特征中包含两个所述第一参考信号特征,进而可以确定用户做了两次点头动作。当然了,本领域技术人员理解,该步骤中并不必须得到图2所示的波形曲线。类似的,图3所示的眼电信息表明用户做了两次摇头动作。
另外,所述头部动作还可能包括其他类型的头部动作,比如第二类型的头部动作,或者,所述头部动作可能同时包括多种类型的头部动作,比如同时包括第一类型的头部动作和第二类型的头部动作,均可按照上述实现原理分别实现对各种类型的头部动作的次数的识别。
所述执行子模块422,用于根据所述相关信息执行所述操作。
所述执行操作,可以包括切换模式、输入内容、提醒用户、匹配设备等操作。
比如用户在佩戴智能眼镜过程中,可以监测用户的头部动作,如果用户单次点头,则选中当前对象,比如选中当前显示的应用图标;如果用户连续点头两次,则直接打开当前对象;如果用户摇头,则切换至下一对象。
综上,本申请实施例所述设备,可以根据头部动作触发的眼电信息执行相应的操作,从而不增加实现成本的情况下,方便了用户通过头部动作控制相应的电子设备。
本申请实施例所述信息处理方法和设备的一个应用场景可以如下:用户佩戴一智能眼镜,智能眼镜初始进入一级菜单,其上的眼电传感器获取用户的眼电信息;用户执行摇头动作触发一第一眼电信息,智能眼镜根据该第一眼电信息控制一级菜单选项按照预定顺序在眼镜显示窗口中切换;当切换至用户想要打开的应用时,用户执行点头动作触发一第二眼电信息,该应用被选中,然后用户连续两次执行点头动作触发一第三眼电信息,该应用被打开。
本申请另一个实施例所述控制设备的硬件结构如图12所示。本申请具体实施例并不对所述控制设备的具体实现做限定,参见图12,所述设备1200可以包括:
处理器(processor)1210、通信接口(Communications Interface)1220、存储器(memory)1230,以及通信总线1240。其中:
处理器1210、通信接口1220,以及存储器1230通过通信总线1240完成相互间的通信。
通信接口1220,用于与其他网元通信。
处理器1210,用于执行程序1232,具体可以执行上述图1所示的方法实施例中的相关步骤。
具体地,程序1232可以包括程序代码,所述程序代码包括计算机操作指令。
处理器1210可能是一个中央处理器CPU,或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器1230,用于存放程序1232。存储器1230可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序1232具体可以执行以下步骤:
响应于用户执行一头部动作,获取所述用户的一眼电信息;
根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作。
程序1232中各步骤的具体实现可以参见上述实施例中的相应步骤或模块,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,控制器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。
Claims (10)
1.一种控制方法,其特征在于,所述方法包括:
响应于用户执行一头部动作,获取所述用户的一眼电信息;
根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作。
2.如权利要求1所述的方法,其特征在于,所述根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作包括:
根据所述眼电信息和所述至少一参考信息确定所述头部动作的相关信息;
根据所述相关信息执行所述操作。
3.如权利要求2所述的方法,其特征在于,所述根据所述眼电信息和所述至少一参考信息确定所述头部动作的相关信息包括:
根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型。
4.如权利要求3所述的方法,其特征在于,所述头部动作包括第一类型头部动作;
所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息;
所述根据所述眼电信息和所述至少一参考信息确定所述头部动作的相关信息还包括:
根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数。
5.一种控制设备,其特征在于,所述设备包括:
一获取模块,用于响应于用户执行一头部动作,获取所述用户的一眼电信息;
一执行模块,用于根据所述眼电信息和至少一参考信息执行所述头部动作对应的操作。
6.如权利要求5所述的设备,其特征在于,所述执行模块包括:
一确定子模块,用于根据所述眼电信息和所述至少一参考信息确定所述头部动作的相关信息;
一执行子模块,用于根据所述相关信息执行所述操作。
7.如权利要求6所述的设备,其特征在于,所述确定子模块包括:
一类型确定单元,用于根据所述眼电信息和所述至少一参考信息确定所述头部动作的类型。
8.如权利要求7所述的设备,其特征在于,所述类型确定单元包括:
一目标波形确定子单元,用于确定所述眼电信息中的目标波形;
一类型确定子单元,用于根据所述目标波形和至少一参考波形确定所述头部动作的类型。
9.如权利要求7所述的设备,其特征在于,所述头部动作包括第一类型头部动作;
所述至少一参考信息包括对应所述第一类型头部动作的第一参考信息;
所述确定子模块还包括:
一次数确定单元,用于根据所述眼电信息和所述第一参考信息确定所述第一类型头部动作的次数。
10.一种穿戴式设备,其特征在于,所述穿戴式设备包括权利要求5至9任一项所述的控制设备。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510187397.4A CN106155296A (zh) | 2015-04-20 | 2015-04-20 | 控制方法和设备 |
PCT/CN2016/079752 WO2016169478A1 (en) | 2015-04-20 | 2016-04-20 | Control method and equipment |
US15/567,955 US10613623B2 (en) | 2015-04-20 | 2016-04-20 | Control method and equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510187397.4A CN106155296A (zh) | 2015-04-20 | 2015-04-20 | 控制方法和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106155296A true CN106155296A (zh) | 2016-11-23 |
Family
ID=57142818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510187397.4A Pending CN106155296A (zh) | 2015-04-20 | 2015-04-20 | 控制方法和设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10613623B2 (zh) |
CN (1) | CN106155296A (zh) |
WO (1) | WO2016169478A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106681509A (zh) * | 2016-12-29 | 2017-05-17 | 北京七鑫易维信息技术有限公司 | 界面操作的方法和系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599127A (zh) * | 2009-06-26 | 2009-12-09 | 安徽大学 | 眼电信号的特征提取与识别方法 |
CN101711709A (zh) * | 2009-12-07 | 2010-05-26 | 杭州电子科技大学 | 利用眼电和脑电信息的电动假手控制方法 |
CN102968072A (zh) * | 2012-11-09 | 2013-03-13 | 上海大学 | 基于校正/训练的眼电控制系统和方法 |
CN103513770A (zh) * | 2013-10-09 | 2014-01-15 | 中国科学院深圳先进技术研究院 | 基于三轴陀螺仪的人机接口设备及人机交互方法 |
CN104503588A (zh) * | 2014-12-31 | 2015-04-08 | 北京奇艺世纪科技有限公司 | 一种终端控制方法及装置 |
CN104503592A (zh) * | 2015-01-23 | 2015-04-08 | 北京智谷睿拓技术服务有限公司 | 头部动作确定方法和装置 |
CN104503593A (zh) * | 2015-01-23 | 2015-04-08 | 北京智谷睿拓技术服务有限公司 | 控制信息确定方法和装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002065898A2 (de) * | 2001-02-19 | 2002-08-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und verfahren zur blickrichtungsbestimmung bezüglich eines festen referenzkoordinatensystems |
DK1610862T3 (en) | 2003-04-01 | 2017-03-06 | Sunstar Suisse Sa | Apparatus for monitoring muscle activity |
US8355769B2 (en) * | 2009-03-17 | 2013-01-15 | Advanced Brain Monitoring, Inc. | System for the assessment of sleep quality in adults and children |
US9366862B2 (en) * | 2010-02-28 | 2016-06-14 | Microsoft Technology Licensing, Llc | System and method for delivering content to a group of see-through near eye display eyepieces |
CN101890719B (zh) | 2010-07-09 | 2015-06-03 | 中国科学院深圳先进技术研究院 | 机器人远程控制装置及机器人系统 |
KR20130057166A (ko) * | 2011-11-23 | 2013-05-31 | 현대자동차주식회사 | 운전자 부주의 운전 판단 장치 |
CN103294180B (zh) * | 2012-03-01 | 2017-02-15 | 联想(北京)有限公司 | 一种人机交互控制方法及电子终端 |
TW201443816A (zh) | 2013-05-02 | 2014-11-16 | Chih-Tsung Chang | 依據生理訊號進行裝置控制的系統及其方法 |
CN105578954B (zh) * | 2013-09-25 | 2019-03-29 | 迈恩德玛泽控股股份有限公司 | 生理参数测量和反馈系统 |
CN104182041B (zh) | 2014-08-08 | 2017-07-14 | 北京智谷睿拓技术服务有限公司 | 眨眼类型确定方法及眨眼类型确定装置 |
-
2015
- 2015-04-20 CN CN201510187397.4A patent/CN106155296A/zh active Pending
-
2016
- 2016-04-20 WO PCT/CN2016/079752 patent/WO2016169478A1/en active Application Filing
- 2016-04-20 US US15/567,955 patent/US10613623B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599127A (zh) * | 2009-06-26 | 2009-12-09 | 安徽大学 | 眼电信号的特征提取与识别方法 |
CN101711709A (zh) * | 2009-12-07 | 2010-05-26 | 杭州电子科技大学 | 利用眼电和脑电信息的电动假手控制方法 |
CN102968072A (zh) * | 2012-11-09 | 2013-03-13 | 上海大学 | 基于校正/训练的眼电控制系统和方法 |
CN103513770A (zh) * | 2013-10-09 | 2014-01-15 | 中国科学院深圳先进技术研究院 | 基于三轴陀螺仪的人机接口设备及人机交互方法 |
CN104503588A (zh) * | 2014-12-31 | 2015-04-08 | 北京奇艺世纪科技有限公司 | 一种终端控制方法及装置 |
CN104503592A (zh) * | 2015-01-23 | 2015-04-08 | 北京智谷睿拓技术服务有限公司 | 头部动作确定方法和装置 |
CN104503593A (zh) * | 2015-01-23 | 2015-04-08 | 北京智谷睿拓技术服务有限公司 | 控制信息确定方法和装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106681509A (zh) * | 2016-12-29 | 2017-05-17 | 北京七鑫易维信息技术有限公司 | 界面操作的方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2016169478A1 (en) | 2016-10-27 |
US20180136717A1 (en) | 2018-05-17 |
US10613623B2 (en) | 2020-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105912990B (zh) | 人脸检测的方法及装置 | |
CN109147810B (zh) | 建立语音增强网络的方法、装置、设备和计算机存储介质 | |
CN106845406A (zh) | 基于多任务级联卷积神经网络的头肩检测方法及装置 | |
CN107885316A (zh) | 一种基于手势的交互方法及装置 | |
CN108845930A (zh) | 界面操作测试方法和装置、存储介质及电子装置 | |
CN109513208A (zh) | 对象的显示方法、装置、存储介质及电子装置 | |
EP3827380A1 (en) | Secure exploration for reinforcement learning | |
CN110349082A (zh) | 图像区域的裁剪方法和装置、存储介质及电子装置 | |
CN109889893A (zh) | 视频处理方法、装置及设备 | |
CN109670517A (zh) | 目标检测方法、装置、电子设备和目标检测模型 | |
CN106096043A (zh) | 一种拍照方法和移动终端 | |
CN105183280B (zh) | 一种列表界面的操作方法及电子终端 | |
CN110196654A (zh) | 虚拟资源的选取方法及装置 | |
KR101906663B1 (ko) | 다양한 컬러 공간에서 협동 얼굴 컬러 특징 학습 방법 및 장치 | |
CN106155296A (zh) | 控制方法和设备 | |
CN106156709A (zh) | 头部动作确定方法和设备 | |
CN109829909A (zh) | 一种目标检测方法、装置及存储介质 | |
CN108543308A (zh) | 虚拟场景中的虚拟对象的选择方法和装置 | |
CN106355247B (zh) | 数据处理方法和装置、芯片和电子设备 | |
CN107992193A (zh) | 手势确认方法、装置及电子设备 | |
KR102260882B1 (ko) | 순차적인 이미지 기반의 상호작용력 측정 방법 및 장치 | |
CN106293013A (zh) | 头部动作确定方法和设备 | |
CN106293023A (zh) | 姿态确定方法和设备 | |
CN105681539B (zh) | 一种解锁处理的方法、装置以及终端 | |
CN107566718A (zh) | 一种两用监控摄像机以及实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161123 |