CN106489111B - 输入设备、生物体传感器、存储介质以及模式设定方法 - Google Patents

输入设备、生物体传感器、存储介质以及模式设定方法 Download PDF

Info

Publication number
CN106489111B
CN106489111B CN201580038510.0A CN201580038510A CN106489111B CN 106489111 B CN106489111 B CN 106489111B CN 201580038510 A CN201580038510 A CN 201580038510A CN 106489111 B CN106489111 B CN 106489111B
Authority
CN
China
Prior art keywords
waveform
sensor
input equipment
roughly
time intervals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580038510.0A
Other languages
English (en)
Other versions
CN106489111A (zh
Inventor
冈本明浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asahi Kasei Corp
Original Assignee
Asahi Kasei Kogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kasei Kogyo KK filed Critical Asahi Kasei Kogyo KK
Publication of CN106489111A publication Critical patent/CN106489111A/zh
Application granted granted Critical
Publication of CN106489111B publication Critical patent/CN106489111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的目的在于提供一种能够使进行是否设定被控制对象的模式的判定的错误减少的输入设备、生物体传感器、程序、计算机可读取的介质以及模式设定方法。输入设备(100)具备：传感器信号获取部(101)，其获取传感器信号；波形对照部(102)，其将传感器信号中的两个以上的时间区间的波形彼此对照；以及模式设定部(103)，其基于波形对照部(102)的对照结果来设定被控制对象装置(110)的模式。

Description

输入设备、生物体传感器、存储介质以及模式设定方法
技术领域
本发明涉及一种输入由佩戴于用户的传感器探测用户的动作所得到的信号的输入设备、生物体传感器、程序、计算机可读取的介质以及模式设定方法。
背景技术
专利文献1中公开了如下方法：预先登记以眨眼时闭着眼睛的时间的长度和睁着眼睛的时间的长度为特征量的眨眼的图案，检测用户是否再现了与所登记的眨眼图案相同图案的眨眼，来增加所能够切换的模式的种类。
专利文献1：日本特开2013-214073号公报
发明内容
发明要解决的问题
然而，在专利文献1所记载的技术中，要预先登记眨眼的动作图案，因此在使用户一个人一个人地登记眨眼的动作图案上花费工夫。并且，用户准确地再现与自己登记过的眨眼动作相同的眨眼动作并不容易。另一方面，在预先对全部用户决定共同的眨眼动作图案的方法中，要求用户准确地再现眨眼动作图案中的动作时间的长度，这并不容易。
即，上述的现有技术具有如下问题：再现预先登记的眨眼动作图案并不容易，因此使进行是否设定被控制对象的模式的判断错误的可能性高。
本发明的目的在于提供一种能够使进行是否设定被控制对象的模式的判定的错误减少的输入设备、生物体传感器、程序、计算机可读取的介质以及模式设定方法。
用于解决问题的方案
为了实现上述目的，基于本发明的一个方式的输入设备的特征在于，具备：传感器信号获取部，其获取传感器信号；波形对照部，其将所述传感器信号中的两个以上的时间区间的波形彼此对照；以及模式设定部，其基于所述波形对照部的对照结果来设定被控制对象装置的模式。
为了实现上述目的，基于本发明的一个方式的程序的特征在于，使计算机作为上述基于本发明的一个方式的输入设备发挥功能。
为了实现上述目的，基于本发明的一个方式的计算机可读取的介质的特征在于，具有基于本发明的一个方式的程序。
为了实现上述目的，基于本发明的一个方式的模式设定方法的特征在于，将传感器信号中的两个以上的时间区间的波形彼此对照，基于所述波形彼此对照的结果来设定被控制对象装置的模式。
为了实现上述目的，基于本发明的一个方式的生物体传感器佩戴于生物体来从该生物体获取生物体信息，该生物体传感器的特征在于，具备：传感器信号获取部，其获取由该生物体传感器进行采样所得到的传感器信号；波形对照部，其将该传感器信号中的两个以上的区间的波形彼此对照；以及模式设定部，其基于所述波形对照部的对照结果来设定被控制对象装置的模式。
发明的效果
根据本发明的各方式，能够使进行是否设定被控制对象的模式的判定的错误减少。
附图说明
图1是本发明的第一实施方式的输入设备的功能框图。
图2是说明本发明的第一实施方式的图，是示出节奏(rhythm)与节拍(tempo)的组合的图。
图3是说明发明的第一实施方式的图，是示出基于动作时间与动作次数的9种变化的图。
图4是说明本发明的第一实施方式的图，是示出波形对照部102中的使用了相关系数的波形对照方法的流程的一例的流程图。
图5是本发明的第二实施方式的输入设备的功能框图。
图6是说明本发明的第二实施方式的图，是示出符号图案的曲线图。
图7是说明本发明的第二实施方式的图，是示出波形对照部102中的使用了符号图案和面积的波形对照方法的流程的一例的流程图。
图8是说明本发明的第二实施方式的图，是示出相关性判定处理的流程的一例的流程图。
图9是说明本发明的第三实施方式的图，是皮肤导电率传感器的外观图。
图10是说明本发明的第三实施方式的图，是设置于皮肤导电率传感器的传感器信号获取部的功能框图。
图11是说明本发明的第三实施方式的图，是皮肤电阻传感器的信号的相临差的曲线图。
图12是本发明的第四实施方式的输入设备的功能框图。
图13是说明本发明的第五实施方式的图，是示出佩戴于手腕的脉搏波传感器中的检测波形的一例的图。
图14是说明本发明的第五实施方式的图，是生物体传感器800的功能框图。
图15是说明本发明的第六实施方式的图，是将手移动时来自红外线传感器的信号曲线图化所得到的图。
具体实施方式
(第一实施方式)
本发明的第一实施方式着眼于用户易于使某个动作有节奏地连续重复进行两次以上，其特征在于，对进行采样所得到的输入信号能够被视作连续的两个周期的波形的程度进行评价来切换被控制对象的模式。该重复动作不需要事前登记，可以由用户当场自由地想出，并能够随时变更。以下对本实施方式的输入设备进行说明。
图1是第一实施方式的输入设备的功能框图。
本实施方式的输入设备100具备：传感器信号获取部101，其获取传感器信号；波形对照部102，其将传感器信号中的两个以上的时间区间的波形彼此对照；以及模式设定部103，其基于波形对照部的对照结果来设定被控制对象装置110的模式。该传感器信号是由构成为能够佩戴于生物体的传感器进行采样所得到的信号。另外，输入设备100具备存储评价数据的评价数据串存储部104，其中，该评价数据是传感器信号，或者是通过规定的加工方法对传感器信号进行加工所得到的数据。输入设备100与作为模式设定对象的被控制对象装置110相连接。输入设备100与被控制对象装置110通过有线或无线相连接，或者经由网络相连接。例如在使用输入设备100执行的模式设定方法中，由波形对照部102将传感器信号中的两个以上的时间区间的波形彼此对照，并由模式设定部103基于波形彼此对照的结果来设定被控制对象装置110的模式。
传感器信号获取部101是传感器的硬件部分。传感器信号获取部101不仅可以是检测用户的动作的加速度传感器或角速度传感器(陀螺仪)等运动传感器，也可以是例如检测上下的动作的气压传感器。并且，传感器信号获取部101还可以是通过在指尖佩戴磁体并在手腕佩戴磁传感器来检测伴随手的动作的磁体与磁传感器之间的位置关系的变化的传感器。
并且，传感器信号获取部101还可以利用皮肤导电率传感器中的运动伪影(motionartifact)，该皮肤导电率传感器佩戴于手掌或手腕的内侧来测定两个电极之间的皮肤导电率(皮肤电阻的倒数)从而检测用户的情绪的产生。运动伪影是由于用户的动作而皮肤与电极的接触状态发生变化所产生的信号。运动伪影不是由情绪引起的信号，因此通常全部作为噪声而被排除。同样地，在使用了发光二极管(LED)和光电二极管(PD)的脉搏波传感器中也能够利用运动伪影。
本发明中使用的传感器不限定于上述的传感器。本发明中使用的传感器只要是能够以固定时间间隔获取数字数据的传感器即可。即使是通常作为噪声而被排除的信号，若其波形与用户的动作相应地变化，则这样的传感器全都为本发明中使用的传感器的对象。
另外，将皮肤导电率传感器和加速度传感器设置在佩戴于手腕的一个设备，当用户在静止时进行手的开闭时，仅在皮肤导电率传感器中产生用户所意图那样的周期性的运动伪影的信号，当用户走路或跑步时，在皮肤导电率传感器和加速度传感器这两方的传感器中产生用户不意图的周期性的运动伪影的信号，利用上述情形，能够区分皮肤导电率传感器中产生的周期性的运动伪影的信号是用户意图产生的信号还是用户不意图产生的信号。也可以使用角速度传感器来代替加速度传感器。
波形对照部102、模式设定部103以及评价数据串存储部104由未图示的具有CPU(Central Processing Unit：中央运算处理装置)和存储器装置的微计算机实现。
波形对照部102以由传感器信号获取部101进行采样所得到的传感器信号为输入。波形对照部102可以将传感器信号直接作为评价数据。另外，波形对照部102也可以取被输入的传感器信号中的相邻的传感器信号的N次差(N为1以上)来作为评价数据。
评价数据串存储部104设置于上述的未图示的存储器装置中，按时间序列保存由波形对照部102生成的上述的评价数据。评价数据串存储部104所存储的评价数据是传感器信号或通过规定的加工方法对传感器信号进行加工所得到的数据。
取上述相邻的传感器信号的差所得到的相邻差不限于与前一个传感器信号之间的差，也可以使用与M个之前的传感器信号之间的差。通过将M取得大，能够减小由传感器所具有的电气性波动而产生的噪声的影响。优选的是，根据传感器的采样频率和由于用户的动作而产生的波形变化的速度来设定该M。例如在使用采样频率为20Hz的传感器来捕捉以0.5秒间隔变化的动作时，该M被设定为2～6。
在上述的皮肤导电率传感器、脉搏波传感器中，通过取1次差，能够得到值被平衡良好地分配为正负的评价数据。因此，皮肤导电率传感器、脉搏波传感器在按后述的相同符号的数据连续的图案进行对照时是优选的。此外，在着眼于相同符号的方法中，需要辨别传感器信号长期处于上升趋势还是下降趋势来进行校正。已知在上述的皮肤导电率传感器中，在佩戴后由于温热性发汗而皮肤传导率逐渐上升。此时例如为了捕捉两个周期的最大长度为4秒的动作，优选求出仅使用最近的8秒以上的数据的50％中间值的数据所得到的相加平均(trim mean：截尾均值)来进行校正。
波形对照部102根据两个以上的时间区间的波形的相关系数来将波形彼此对照。在提供包括2组数值的数据串{(xi，yi)}(i＝1，2，…，n)时，如以下的文字式(1)那样求出相关系数。
[数式1]
是数据χ:{χi}的相加平均，
是数据y＝{yi}的相加平均。
在波形对照部102中，对这样获取到的评价数据的波形能够被视作连续的两个周期的波形的程度进行评价，并作为对照结果输出。对照结果的信息包含用户是否重复进行了相同动作的信息、以及用户重复进行了相同动作的情况下的每次的动作时间和重复的次数的信息。
在两个以上的时间区间的波形大致相同的情况下，模式设定部103设定被控制对象装置110的模式，或者根据被判定为大致相同的波形的时间长度来设定被控制对象装置110的模式。例如，模式设定部103以上述的对照结果为输入。在用户重复进行了相同动作的情况下，模式设定部103根据动作时间、动作次数来切换地设定被控制对象装置110的模式。为了增加动作时间的变化，优选使用节奏和节拍。
图2是示出节奏与节拍的组合的图。图2的(a)示出动作时间短的组合，图2的(b)示出动作时间普通的组合，图2的(c)示出动作时间长的组合。能够以“合上、打开”为1组来以节奏与节拍的组合增加切换的变化。
例如在图2的(c)的上部示出了通过加长每次合上手或打开手的时间来实现动作时间长的组合的例子，但是实际上对用户来说难以有节奏地划分长的时间，期望如图2的(c)的下部所示那样缩短每次合上手或打开手的时间。在图2的(c)的下部，一个区间中存在两组“合上打开”的组，但是在前半部分的一组与后半部分的一组中开闭的速度即节奏不同，因此不具有相关性，而在将后续的第二个区间中的两组与第一个区间中的两组之间进行比较后初次判定为具有相关性。
能够如图2的(b)的上部、图2的(c)的下部所示的开闭要领那样设计以下动作：该动作是使两个区间的波形大致相同的动作，但该动作在1个区间内不存在能够被视作大致相同波形的波形，且用户能够以大致相同的节拍重复进行该动作。
图3是示出基于动作时间与动作次数的9种变化的图，是与以下的表1相对应的波形图。图3中的上部与表1所示的“动作时间”栏的“短”相对应，图3中的中部与表1所示的“动作时间”栏的“普通”相对应，图3中的下部与表1所示的“动作时间”栏的“长”相对应。例如在被控制对象装置为音乐播放器的情况下，将动作时间分类为短、普通、长这样的3种，将动作次数分类为2～4次这3种，从而能够设定表1的9种模式。
在此，设想利用佩戴于手腕的皮肤导电率传感器来设定安装于智能手机、头戴式耳机中的音乐播放器的模式的例子来进行了说明，但是传感器与被控制对象装置也可以相互独立的设备，还能够将皮肤导电率传感器和音乐播放器安装于智能手表。
[表1]
或者也可以不利用阈值对动作时间进行分类，而根据动作时间计算节拍，自动地选择与计算出的节拍匹配的乐曲。基于节拍的乐曲的自动选择在慢跑中选择与自己跑步的节拍匹配的BGM(Background music，背景音乐)时是有用的。在被控制对象装置为游戏机的情况下，还能够将动作时间换算为速度来控制游戏中的与速度有关的特性。基于检测出的动作时间的控制对象不必限定于与时间、速度有关的特性，音量、明度、色彩、容积、面积、距离、温度、湿度、硬度、角度等连续且平稳地变化的特性全部都能够成为控制对象。
对将波形对照部102中的两个以上的时间区间的波形彼此对照的方法进行说明。特别是，着眼于用户易于使某个动作有节奏地重复进行两次以上，针对输入信号能够被视作连续的两个周期的波形的程度的评价方法，以上述的皮肤导电率传感器中采样频率为20Hz的情况为例进行说明。
两个以上的时间区间是在时间轴上相邻的两个区间。当在像这样两个区间在时间轴上相邻的情况下使用相关系数时，从最新的输入数据起回溯而将N个数据设为1个区间，将从N+1个之前到N+N个之前为止的N个数据设为比较对象的1个区间，求出这两个区间的相关系数。
每输入1个传感器信号，就针对人所能够实施的动作时间的所有N求出相关系数。例如在将1个周期为0.5秒到2秒设计为对象的情况下，使N从10个逐个地错位到40个来针对31种N计算相关系数，根据相关系数是否超过了预先设定的阈值来判定是否具有相关性。如果为文字式(1)所示的相关系数，则例如优选将0.95设为阈值。显而易见的是，为了省略分母的平方根的计算而将分子平方后与0.95×0.95＝0.9相比较，由此能够削减处理量。
图4是用于说明波形对照部102中的使用了相关系数的波形对照方法的一例的流程图。
在步骤S301中，由传感器信号获取部101的传感器以固定时间间隔获取传感器信号。
在步骤S301的接下来的步骤S302中，将从所获取到的传感器信号的值减去获取到的前1个传感器信号的值所得到的值作为评价数据。关于评价数据，一边从当前的评价数据起向过去回溯一边赋予序号，标记为评价数据(No.1)、评价数据(No.2)。在以20Hz进行采样且进行评价的1个周期最大为2秒的情况下，1个区间中有40个评价数据，在连续检查到3次的情况下，3个区间中有120个评价数据，因此在上述的评价数据串存储部104中最大保存到评价数据(No.120)。然后，为了根据评价数据(No.1)至评价数据(No.10)以及评价数据(No.11)至评价数据(No.20)的组合来求出相关系数，而对变量N设置10。
在步骤S302的接下来的步骤S303中，进行用于以下判定的判定处理：如果变量N为40以下，则重复进行用于求出相关系数的步骤S304，如果变量N超过了40，则前进到步骤S305。
在步骤S304中，求出评价数据(No.1)至评价数据(No.N)与评价数据(No.N+1)至评价数据(No.N+N)的相关系数，作为相关系数(N)保存到上述的波形对照部102的未图示的存储器装置中。对还承担循环处理的计数器作用的变量N加1后返回到步骤S303。
在步骤S305中，求出相关系数(10)至相关系数(40)中的最大值的相关系数(M)。
在步骤S305的接下来的步骤S306中，进行用于以下判定的判定处理：如果最大值的相关系数(M)为0.95以上，则前进到步骤S307以进行具有相关性的处理，如果相关系数(M)小于0.95，则判断为不具有相关性，前进到步骤S308。
在步骤S307中，进行判定为具有相关性的情况下的规定的模式设定的处理。M相当于动作时间，因此能够判定出该M后在上述的音乐播放器的模式设定中使用。
在步骤S308中，为了准备获取新的传感器信号，逐个地使评价数据(No.119)错位到评价数据(No.120)、使评价数据(No.118)错位到评价数据(No.119)、…、使评价数据(No.1)错位到评价数据(No.2)，返回到步骤S301。
在利用相关系数进行评价的情况下，当相关系数(M)超过0.95时，在获取接下来的传感器信号来求出相关系数时相关系数(M)或相关系数(M+1)还是再次超过阈值0.95的情形多。这会导致进行不需要的模式设定，因此重复进行步骤S301、步骤S302以及步骤S308，以使得不对接下来输入的M个传感器信号进行相关性的评价。此外，在重复次数为第二次的时间点不进行模式设定而等待是否存在第三次以后的重复的情况下，设置重复次数存储变量来进行计数即可。即，在启动时将重复次数存储变量事先设定为零，在初次判定为具有相关性的时间点将重复次数存储变量设定为2。然后，跳过M个传感器信号并重新评价相关系数(M)，如果判定为具有相关性，则对重复次数存储变量加1而设为3。
还能够考虑如下情况：由于每个用户的节奏感、操作的熟练程度的不同而两个区间的界线不紧密地相邻。或者在采样频率大的情况下也同样。在该情况下，只要设想两个区间重叠或分离的情况而设置缓冲，例如将上述的N+1个之前至N+N个之前为止的N个数据设为“N+1+B个之前至N+N+B个之前为止的N个数据、其中B为±1”即可。这样，两个以上的时间区间允许相当于规定时间以内的时间的采样数(在本例中为B个)互相重合或分离。此外，如图3所示的那样，普通(Middle)的动作时间比短(Short)的动作时间增加50％，因此优选将B的范围设定为N的±25％以内以区别这两个动作时间。
关于上述的相关系数，在每个时间区间内使用相加平均来进行标准化。现实中存在如下噪声：在一方的时间区间偏向正值，在另一方的时间区间偏向负值。但是，有时当相关系数在各个时间区间被标准化时针对该噪声的相关系数的值变大。着眼于用户反复进行相同动作时的波形在每个这种时间区间不发生不同的偏差，在两个时间区间中共同使用两个时间区间内的所有评价数据的相加平均，由此能够进行仅排除噪声的改善。
另外，现实中存在两个时间区间内振幅不同但形状相似的相似形的噪声，并且依然存在相关系数的值变大的情况。着眼于用户反复进行相同动作时的波形的振幅也为大致相同的大小，为了排除该相似形的噪声，使用1个区间内的信号的绝对值、平方值来比较其总和、平均值、最大值等，由此能够改善上述的基于相关系数的评价方法。
相关系数具有以下特征：只要振幅变为峰值的时间点匹配，相关系数的值就变大。例如还有时在采样频率为20Hz且动作周期为1秒时，当两个峰值一致时相关系数超过0.95。这会导致在用户的动作中途实施模式设定的问题。
作为该问题的对策，还能够应用以下方法：求出时间上相对应的时间点、例如1个之前与N+1个之前、2个之前与N+2个之前的数据之差的绝对值的总和来进行判定。
求出振幅的绝对值的总和并与阈值进行比较，以避免在用户完全不进行动作从而为零排列而成的数据中误判定为具有相关性。
在评价数据的符号被平衡良好地分配为正负从而相加平均能够长期被视作零的情况下，优选的是着眼于符号。首先，将不存在用户的动作的状态下的接近零的微小值全部置换为零，将其余的数据以只着眼于符号的方式置换为±1后计算相关系数。在该情况下，将平均值视作零来省略基于平均值的校正处理，分母的平方计算被汇总为1或0，分子的乘法运算通过符号的组合而被汇总为±1或0，因此能够大幅地削减计算量。对于仅振幅不同的相似形的波形的问题，能够通过求出振幅的绝对值的总和并与阈值进行比较来解决。
(第二实施方式)
如图5所示，关于硬件的结构、功能模块的结构，除了波形对照部102具备状态信息串存储部102a这一点以外，与第一实施方式相同，因此省略详细的说明。
作为解决相似形的波形的问题且大幅地削减处理量的方法，优选的是着眼于相同符号的数据持续的时间的长度和面积的图案。例如通过在皮肤导电率传感器、脉搏波传感器中取输入数据的相邻差，能够获取根据用户的运动而符号被平衡良好地分配为正负的数据串。波形对照部102将符号相同的评价数据连续的区间设为作为1个单位的小区间，将符号信息、表示属于该小区间的评价数据的个数的区间长度、以及属于该小区间的评价数据的值的总和或表示属于该小区间的评价数据的值的绝对值的总和的面积作为状态信息，以小区间为单位将该状态信息按时间序列存储到状态信息串存储部102a中，在后面叙述波形对照部102的详细内容。并且，波形对照部102根据相邻的两个时间区间内的按时间序列对应的每个小区间的状态信息，来将相邻的两个时间区间的波形彼此对照。
图6是根据符号和面积来进行两个以上的时间区间的波形彼此的对照时的波形例。
如果有5个正值的数据连续，则表示为P(5)，如果有7个负值的数据连续，则表示为M(7)，如果有3个不存在用户的动作的状态下的振幅接近零的微小值连续，则表示为Z(3)。P(n)、M(n)以及Z(n)(n为任意的整数)相当于将符号相同的评价数据连续的区间设为作为1个单位的小区间。P、M以及Z分别表示符号信息，n表示区间长度，该区间长度表示属于小区间的评价数据的个数。从当前时间点向过去回溯，例如如果排列为“P(5)Z(3)M(7)P(5)Z(3)M(7)”，则将5+3+7＝15个数据作为1个周期而判定为具有相关性。此外，在“P(5)Z(3)M(7)P(5)Z(3)M(7)”中，区间长度n的值从左边起依次为5、3、7、5、3、7。
在“P(5)Z(3)P(7)P(5)Z(3)M(7)”这种排列中，符号的图案为[P，Z，P]和[P，Z，M]而不一致，因此判定为不具有相关性。
在“P(5)Z(3)M(7)P(3)Z(3)M(7)”这种排列中，符号的图案为[P，Z，M]和[P，Z，M]而一致，但是当查看符号连续的个数时，为[5，3，7][3，3，7]而不一致，因此判定为不具有相关性。
状态变化不限定于上述的3个的组合，例如以“P(6)M(6)P(3)M(3)P(6)M(6)P(3)M(3)”这种4个的组合也能够实施。此外，如果系统设计者判断为“显然不可能被人实施”，则还能够对状态变化的个数设置限制以削减处理量。
接着，对用于解决相似形的波形的问题的面积的利用进行说明。只要在连续输入的数据的符号相同的期间内单纯地将这些数据相加即可。如图6所示，例如将“P(5)Z(3)M(7)P(5)Z(3)M(7)”的原本的数据、即属于各小区间的评价数据设为以下那样。
P(5)：100，150，500，300，100
Z(3)：1，0，-2
M(7)：-100，-200，-300，-500，-400，-300，-100
P(5)：90，160，490，310，110
Z(3)：2，0，1
M(7)：-110，-210，-320，-500，-380，-300，-70
在该情况下，例如如上述的那样，表示属于原本的数据为“100，150，500，300，100”的小区间P(5)的评价数据的值的总和的面积为“100+150+500+300+100＝1150”。其它各小区间也能够以同样的方式求出表示属于小区间的评价数据的值的总和的面积。因而，表示属于小区间P(5)、M(7)、Z(3)的评价数据的值的总和的面积被计算为“P(1150)Z(-1)M(-1900)P(1160)Z(3)M(-1890)”。作为负的区间的M的面积也可以使用绝对值来表示为M(1900)、M(1890)。这样求出的各面积、符号信息以及区间长度作为状态信息以小区间为单位按时间序列存储到状态信息串存储部102a中。
Z原本就微小，因此可以不评价面积。对于小区间P(5)和小区间M(7)，求出与相关的组合的对方之间的面积比，例如如果将1.5倍以内规定为具有相关性，则是优选的。
波形对照部102对相邻的两个时间区间内的按时间序列对应的每个小区间P(5)和每个小区间M(7)的状态信息(计算出的面积)进行对照。关于小区间P(5)的组，为1150×1.5>1160且1150<1160×1.5，因此判定为具有相关性。关于小区间M(7)的组，使用其绝对值，为1900×1.5>1890且1900<1890×1.5，因此判定为具有相关性。这样，在小区间P(5)的组和小区间M(7)的组中的所有组中均判定为面积具有相关性，因此判定为整体上具有相关性。此外，不需要每获取1个传感器信号就进行该评价。通过仅在评价数据的符号变化时进行评价，能够削减处理量，并且能够在用户的动作完成的时间点时机良好地给出判定结果。
图7是用于说明波形对照部102中的使用上述的符号图案和面积的波形对照方法的一例的流程图。
在此，定义以下用语。
状态序列(No.)(符号标志)(连续数)(面积)
No.：当前为1。越向过去回溯，则按连续序号赋予越大的序号。
符号标志：正值为P，负值为M，接近零的微小值为Z。
连续数：相同符号标志连续的评价数据的个数。
面积：相同符号标志连续的评价数据的值的总和。
初期只存在没有动作的状态持续了100秒而得到的状态序列(No.1)(标志Z)(连续数2000)(面积0)。在此，“符号标志”相当于符号信息，“连续数”相当于表示属于小区间的评价数据的个数的区间长度，“面积”相当于表示属于小区间的评价数据的值的总和或属于小区间的评价数据的值的绝对值的总和的面积。
当前状态数
当前有效的上述状态序列的个数。
初始值为1。
相关性状态数
评价相关性的1个区间的波形的状态序列的个数。
例如在如以下那样的状态序列的排列中，相关性状态数：3，具有相关性。
状态序列(No.1)(标志P)(连续数5)(面积200)
状态序列(No.2)(标志Z)(连续数3)(面积0)
状态序列(No.3)(标志M)(连续数7)(面积-300)
状态序列(No.4)(标志P)(连续数5)(面积200)
状态序列(No.5)(标志Z)(连续数3)(面积0)
状态序列(No.6)(标志M)(连续数7)(面积-300)
最大判定对象数据数
以数据数表示用户能够重复进行的动作时间的最大值。
例如当将1个周期设为5秒、以20Hz进行采样、将重复次数设为3次时，
最大判定对象数据数为“5×20×3＝300”。
在步骤S401中，由传感器信号获取部101的传感器以固定时间间隔获取传感器信号。
在步骤S401的接下来的步骤S402中，将从所获取到的传感器信号的值减去获取到的前一个传感器信号的值所得到的值作为当前数据。设置能够根据预先设定的阈值或所获取到的传感器信号的大小而自动调整的阈值，并在当前数据的绝对值小于该阈值的情况下，将当前数据置换为0。
在步骤S402的接下来的步骤S403中，判定当前数据的符号标志是否与状态序列(No.1)的符号标志相同，如果相同则前进到进入步骤S404，如果不同则前进到步骤S405。
在步骤S404中，对状态序列(No.1)的连续数加1，对面积加上当前数据的值。
在步骤S405中，进行使用图8在后面叙述的相关性判定处理。
在步骤S405的接下来的步骤S406中，为了将状态序列(No.1)设为空闲的序号以准备接下来的步骤中创建新的状态序列(No.1)，而对所有状态序列的序号No.加1来使状态序列的序号逐一错位。
在步骤S406的接下来的步骤S407中，新创建状态序列(No.1)，对符号标志设置当前数据的符号标志，对连续数设置1，对面积设置当前数据的值。由于状态序列增加了1个，因此对当前状态数加1。
在步骤S404或步骤S407的接下来的步骤S408中，为了判定保存数据是否超过了上限，求出所有状态序列的连续数的总和后与最大判定对象数据数进行比较。如果所求出的总和大于最大判定对象数据数，则前进到步骤S409，如果所求出的总和等于或小于最大判定对象数据数，则返回到步骤S401。
在步骤S409中，将作为最早的状态序列的状态序列(No.当前状态数)废弃，状态序列由于废弃而减少1个，因此从当前状态数减1。
接着，对图8的相关性判定处理块进行说明。
在步骤S501中，由于要调查状态序列以每几个相关，因此为了将作为相关的最少个数的2个作为初始值而对相关性状态数N设置2。关于状态序列，每次符号标志变化时创建新的状态序列。由此，相临的状态序列的符号标志一定不同。符号标志不同是指不相关，因此状态序列为一个的情况不设为评价对象，因此初始值设为2即可。
在步骤S501的接下来的步骤S502中，为了判定评价对象的状态序列是否已到最后，如果相关性状态数N的2倍为当前状态数以下，则前进到步骤S503，否则返回并前进到步骤S406。
在步骤S502的接下来的步骤S503中，判定要对照的两个时间区间在符号图案(符号标志和连续数)上是否相关。更具体地说，判定状态序列(No.1)与状态序列(No.1+N)、状态序列(No.2)与状态序列(No.2+N)、…、状态序列(No.N)与状态序列(No.N+N)中的所有符号标志与连续数是否一致。如果一致，则前进到步骤S504，如果不一致，则前进到步骤S505。此外，通过以要对照的两个时间区间各自的连续数的总和大致一致为条件而允许各个状态序列的连续数最大相差±1个，能够在考虑每个用户的节奏感或熟练程度、或者缓和采样频率大时的反复动作的准确性上进行研究。例如，如果排列为“P(5)Z(3)M(7)P(6)Z(4)M(6)”，则连续数的总和为5+3+7＝15和6+4+6＝16即相差1，因此认为大致一致，而各自的对应的状态序列“P(5)-P(6)，Z(3)-Z(4)，M(7)-M(6)”的连续数的差异为±1，因此判定为总的来说具有相关性。在此示出了连续数的总和相差1的例子，但是如图3示出的那样，普通的动作时间比短的动作时间增加50％，因此优选的是，将连续数的总和的差设定为连续数的总和大的一方的25％以内以区别这两个动作时间。
在步骤S504中，为了判定要对照的两个时间区间在面积上是否相关，判定状态序列(No.1)与状态序列(No.1+N)、状态序列(No.2)与状态序列(No.2+N)、…、状态序列(No.N)与状态序列(No.N+N)的所有面积比(将大的一方除以小的一方所得到的比率)是否为1.5倍以内。如果为1.5倍以内，则前进到步骤S506，否则前进到步骤S505。
在步骤S505中，对相关性状态数N加1以使要对照的状态序列增加1个。
在步骤S506中，在进行了判定为具有相关性的情况下的规定的模式设定的处理之后返回，前进到步骤S406。状态序列(No.1)～(No.N)的连续数的总和相当于动作时间，因此能够判定该值来在上述的音乐播放器的模式设定中使用。
例如在正在驾驶车辆时为了给朋友打电话而打算以重复次数两次来调用地址簿检索应用程序并且在动作的中途突然想起某事而想要取消该动作的情况下，如果通过进一步追加1次重复动作就能够取消，则很方便。在对重复次数为第3次进行判定时，使上述的相关性状态数N固定，评价状态序列(No.1)～(No.N)和状态序列(No.N+N+1)～(No.N+N+N)的符号标志、连续数、面积比。能够实现以下处理：如果重复动作为第3次，则将紧接在该第3次之前的第2次时的模式设定取消。
在以上所说明的使用符号图案和面积的波形对照方法中，通过进一步在1个周期的最后设置不进行动作的状态，能够对不擅长快速动作的用户提供一种增加动作的变化的方法。
例如通过瞬间进行使手紧接在“打开合上休息”、“打开合上休息”之后打开的动作，来使系统检测符号标志的变化。
例如，有时存在如下一种用户，这种用户不擅长如图2的(b)中的上部使用“四分音符、四分音符、八分音符、八分音符、四分音符、四分音符、八分音符、八分音符”表示的那样的“嗒～嗒～嗒嗒、嗒～嗒～嗒嗒”P(6)M(6)P(3)M(3)P(6)M(6)P(3)M(3)的节奏中的嗒嗒P(3)M(3)这种快速动作。在该情况下，如图2的(b)中的下部使用“四分音符、四分音符、四分休止符、四分音符、四分音符、四分休止符”表示的那样使用“嗒～嗒～_、嗒～嗒～_”P(6)M(6)Z(6)P(6)M(6)Z(6)，在1个周期的最后设置不进行动作的状态，由此产生能够实现相同长度的周期这样的优点。此外，“_”表示不进行动作的状态。
在1个周期的开头设置不进行动作的状态也能够同样地实施。
(第三实施方式)
说明对佩戴于手腕的皮肤导电率传感器(佩戴于生物体的传感器的一例)安装本发明的例子。除传感器以外的硬件的结构、功能块的结构与第一实施方式相同，因此省略说明。在本实施方式中，由佩戴于生物体的传感器进行采样所得到的信号被用作传感器信号。
图9示出作为生物体传感器之一的皮肤导电率传感器的外观图，图10是设置于皮肤导电率传感器中的传感器信号获取部的功能框图。图9的(a)示出皮肤导电率传感器201的从与人的皮肤接触的一侧观看到的状态，图9的(b)示出人佩戴时的状态。
如图9的(a)和图9的(b)所示，皮肤导电率传感器201具有收纳有微计算机和电池的盒部202、与人的皮肤紧密贴合的两个电极203、204以及佩戴时卷绕在人的手腕上的佩戴用带205。如图9的(b)所示，在盒部202的侧面设置有电源开关。
如图10所示，设置于盒部202的传感器信号获取部210具有电流源213、用于对电流源213的电流量进行控制的电流控制部212、与电流控制部212连接的两个电极203、204以及用于将流过两个电极203、204之间的电流转换为导电率的导电率转换部211。
皮肤导电率传感器201是使两个电极203、204与人的皮肤紧密贴合后向电极203、204之间施加微弱的电压并将流过电极之间的电流转换为导电率来进行监视的传感器。人的皮肤因出汗而皮肤的导电率发生变化。皮肤导电率传感器201的主要用途是，通过对由交感神经的作用引起的手掌、手腕的出汗所导致的皮肤导电率的变化进行监视，来探测引起交感神经的兴奋的情绪的产生。然而，当两个电极203、204与皮肤的接触状态发生变化时，皮肤导电率传感器201也发生反应。在佩戴于手腕的情况下，由于使手指运动、使手腕弯曲或者使手腕转动而接触状态发生变化。通常，基于这些动作的检测信号被视作噪声而排除，但是本发明在检测用户是否有节奏地重复进行了相同动作中使用该检测信号。
图11是皮肤电阻传感器的信号的相临差“Skin Conductance Response(SCR)(皮肤导电反应)”的曲线图。图11的(a)是源自鉴赏运动图像中产生的情绪的曲线图，图11的(b)是基于手指的屈伸的运动伪影的曲线图。通过使用上述的相关系数、符号信息进行解析，能够检测出图11的(b)中有节奏地重复进行了相同动作。
该安装的第一优点在于，即使在将手放在衣兜中或戴着手套的状态下也能够检测由单手进行的动作。如果是在进行作为将人叫到跟前时的动作方式之一的“过来过来”时的使食指至小拇指一起运动的动作，则即使戴着连指手套也能够进行动作。在隆冬时节用便携式音乐播放器听音乐的场景下，在对装备于头戴式耳机的开关进行操作的现有技术中，不得不将手从衣兜拿出并摘下手套，但是如果使用佩戴于手腕的本发明的皮肤导电率传感器201，则无需这样做。
该安装的第二优点在于，即使是使用佩戴于同一手腕的加速度传感器无法检测出的细微的动作，皮肤导电率传感器201也能够检测。反过来说，在佩戴于同一手腕的加速度传感器检测出同样的有节奏的动作的情况下，能够将该动作作为噪声而排除。能够在模式设定中使用上述的使手指运动的动作，能够将跳舞或一边摆手一边走路时的有节奏的信号作为噪声忽略。
该安装的第三优点在于，能够削减由预备动作引起的对作为识别对象的手势的误识别。例如在重复进行手的开闭动作的情况下，本发明不需要预先登记动作图案。因此，用户只要进行以下动作即可：如果自己是从将手打开的状态起开始进行动作的，则进行“合上打开、合上打开”，如果自己是从将手合上的状态起开始进行动作的，则进行“打开合上、打开合上”。由于预备动作本身不再存在，因此能够削减预备动作招致误识别的问题。当应用于握着汽车的方向盘的情况时，只要进行“打开合上、打开合上”即可，不需要预备动作，并且在动作结束时再次返回到握住方向盘的状态，因此在安全方面也可以说是优良的方法。
在皮肤导电率传感器201的实施例中，对不设置阈值的优点进行说明。
皮肤导电率传感器201能够捕捉到通过因手的开闭动作而手腕内侧的肌肉重复进行隆起和凹陷而产生的皮肤与电极203、204的接触状态的变化。对于皮下脂肪少的用户而言，由于肌肉的凹陷而皮肤与电极203、204分离，皮肤导电率几乎变为零，因此能够设置阈值来与噪声进行区分。但是，如果是皮下脂肪厚的用户，则皮肤与电极203、204不会分离，皮肤导电率只是平稳地变化而不变为零。因此，本发明不通过皮肤导电率是否超过阈值来判定是否为用户有意识的动作，而是根据信号平稳地变化的情形是否周期性地重复来判定是否为用户有意识的动作。
根据本发明，不仅能够帮助皮下脂肪厚的用户，还能够应对使手腕向手背侧弯曲而使手腕内侧的皮肤伸展的动作，并且还能够应对只是握紧拳头或放松拳头这种微小动作。
在本实施方式中，作为生物体信息，取皮肤导电率即皮肤电阻的信息为例子进行了说明，但是还能够将心率、脉搏、血压、血氧浓度、体温、呼吸、脑电波、眨眼以及步数中的任意的信息设为对象。
(第四实施方式)
对本发明与音乐播放之间的关联进行说明。如图12所示，在本实施方式中，在被控制对象装置110中安装具备音乐播放功能的音乐播放部110a、音乐信息获取功能，除此以外，输入设备中的硬件的结构、功能块的结构与第一实施方式相同，因此省略详细的说明。本实施方式中的模式设定部103将两个以上的时间区间的波形被判定为是大致相同的波形的波形的时间长度换算为节拍，在将该节拍与音乐播放部110a中正在播放的音乐的节拍进行比较而判定为具有相关性的情况下，将判定为是大致相同的波形的该判定废弃。
在输入信号被视作连续的两个周期的波形的情况下，实际上有可能只是用户正在随着音乐跳舞，而并不是用户意识到输入而进行了动作。为了对此进行确认，在模式设定部103中，从被控制对象装置110获得音乐播放的信息(音乐播放部110a中正在播放的音乐的节拍)，将输入信号被视作连续的两个周期的波形(两个以上的时间区间的波形)的波形的时间的长度(时间长度)换算为节拍，判定换算出的节拍与正在播放的音乐的节拍是否一致或者某一方是否为另一方的整数倍。在判定的结果为两个节拍一致、即具有相关性的情况下，判定为是用户在跳舞，将被视作为连续的两个周期的波形的波形废弃，不进行模式的设定。
在该实施方式中，说明了模式设定部103中的判定要领，但是也可以是模式设定部103向被控制对象装置110提供输入信号被视作为连续的两个周期的波形的波形长度的信息。被控制对象装置110根据被提供的波形长度来计算节拍，并与自身正在播放的音乐的节拍进行比较。
或者，被控制对象装置110也可以具备麦克风来代替音乐播放功能，根据被输入的声音信号来检测外部环境音乐的节拍，并将检测出的节拍与根据从模式设定部103提供的波形的长度计算出的节拍进行比较。通过该结构能够削减卡拉OK房间中的误动作。
接着，对以下安装进行说明：即使节拍一致，如果是预先已登记的动作，则不将该动作废弃而进行模式设定。着眼于如果是播放着相同节拍的音乐则用户能够容易准确地再现过去的动作，本实施方式进行了在预先登记动作的以往的方式中使用音乐的研究。
在登记时，一边播放音乐一边进行用户自己所决定的动作，来登记该动作图案、播放的音乐的节拍以及模式设定要领。在模式设定时，一边播放音乐一边等待接收用户的动作，当检测出是连续的两个周期的波形时，判定是否与正在播放的音乐的节拍匹配。如果与正在播放的音乐的节拍匹配，则判定是否与已登记的动作图案的波形相关，如果判定为具有相关性，则按照已登记的模式设定要领进行模式设定。
另外，在要进行对照的波形中的两个以上的时间区间在时间轴上不相邻并且在该两个以上的时间区间中播放音乐的环境下使用输入设备100的情况下，波形对照部102在播放的音乐的节拍在两个以上的时间区间内不同的情况下，根据在进行对照的两个时间区间内播放的音乐的节拍的不同，对进行对照的两个时间区间中的一方的区间的波形的信息进行编辑以使得能够视作该一方的区间的波形的长度与另一方的区间的波形的长度大致一致，之后将波形彼此对照。
例如，在登记时和模式设定时的两个时间区间在时间轴上不相邻并且该登记时播放的音乐与该模式设定时播放的音乐不同的情况下，根据登记时的音乐的节拍与模式设定时的音乐的节拍之间的比率来使所登记的动作的长度伸缩。在使用相关系数的第一实施方式中，能够使用未图示的采样率转换器来实现该伸缩。例如在以20Hz进行采样的皮肤导电率传感器中，在登记时播放的音乐的节拍为“将四分音符设为40”并且模式设定时的音乐的节拍为“将四分音符设为80”的情况下，使用采样率转换器来将模式设定时的采样数以40Hz的采样进行上采样后进行对照。另外，能够通过增减第二实施方式中的相关性判定处理块的步骤S503中的连续数的数量、或者增减相关性判定处理块的步骤S504中的面积的比率来实现。
除了重复进行两次已登记的动作图案的实施例以外，以下应用程序也属于本发明的范畴，该应用程序为：在紧挨在重复进行两次用于启动模式设定功能的未登记的动作之后，进行一次用于指定模式的已登记的动作图案。
根据本发明，在一边播放音乐一边驾驶车辆时只通过手的动作就能够向指定的对方拨打电话或者调用重拨、回拨的功能。例如要调用拨打电话的功能时，进行以下过程。当重复进行两次未登记的相同动作时，地址簿检索应用程序启动。为了指定拨打电话的对方，最好为容易记忆的动作，用户事先登记例如如下动作来作为动作图案，该动作为：在要向山下先生拨打电话时在空中书写字母Y字，在要向冈本先生拨打电话时在空中书写字母O字。一边播放音乐一边实际地进行书写字母的动作，来登记动作图案、节拍以及功能。在用户要向山下先生拨打电话的情况下，用户使手开闭两次后随着正在播放的音乐在空中书写一次Y。系统将使手开闭两次的部分的评价数据检测为连续的两个周期的动作，并判定为与启动地址簿检索应用程序的动作图案匹配。接着，该系统一边逐次获取使手开闭两次的部分的接下来的评价数据，一边根据正在播放的音乐的节拍和已登记的节拍来使已登记的动作图案伸缩，并且重复进行与已登记的电话号码的动作图案的对照。接着，该系统在用户写完Y的时刻判定为与已登记的山下先生的Y的动作图案匹配，从而向山下先生拨打电话。也可以将两个以上的传感器组合，在本例中，优选的是，利用皮肤导电率传感器来检测手的开闭，利用加速度传感器来检测书写字母的动作。
在通常的手势识别中，为了吸收用户的动作时间不稳定的情况而使用隐马尔可夫模型(Hidden Markov Model)、动态时间伸缩法(Dynamic time warping)，但是存在计算量大这种问题。在本发明中，通过播放音乐来使用户的动作时间保持固定，从而能够应用计算量少的算法。
(第五实施方式)
在佩戴于手腕、手臂、手指、头、耳、腰、腹、胸等生物体的各种部位的佩戴型设备所具备的生物体传感器中，除了存在由于本来的生物体反应而产生的传感器信号波动以外，还存在由于佩戴者的动作而产生的传感器信号波动。
本发明的重要的视点之一在于，不妨碍根据由于生物体反应而产生的传感器信号波动来检测生物体信息的生物体传感器的本来的功能，能够从由于佩戴者的动作而产生的传感器信号波动中检测由于佩戴者有意的动作而产生的传感器信号波动。
近年来，开发出了腕带型(手表型)、眼镜型、戒指型、其它各种形式的佩戴型设备。这种佩戴型设备被用于如下用途：与便携式电话设备、智能手机等移动信息终端协作地获取并显示各种信息。特别是，佩戴型设备被用于如下用途：检测佩戴者的生物体信息，进行各种信息处理、信息管理，由佩戴者阅览这些信息，系统向佩戴者发出各种警报，掌握佩戴者的活动量、健康状态、感情状态来进一步进行控制。
生物体传感器设为检测对象的生物体信息为心率、心音、脉搏、血压、血氧浓度、体温、呼吸、皮肤导电率、皮肤电位、脑电波、眨眼数等各种生物体信息。该生物体传感器大多直接或间接地与皮肤接触来测定皮肤的电阻、静电电容等，或者向测定对象照射光、电磁波、超声波并测定这些光、电磁波、超声波的反射、吸收，来获取并解析传感器信号。
在这些测定方法中，不仅由于佩戴了具备生物体传感器的佩戴型设备的佩戴者的生物体反应而在传感器信号中产生波动，还由于佩戴者的动作而在传感器信号中产生波动。不仅存在直接移动佩戴部位的情况，例如还存在如下情况：在佩戴于手腕的皮肤导电率传感器中，由于佩戴者的深呼吸而间接地在传感器信号中产生波动。
在图11所示的皮肤导电率传感器中，利用由情绪产生的波形不存在周期性，来检测由于佩戴者有意进行的周期性的动作而产生的波形，由此在保持本来的情绪检测的功能的状态下，实现新添加检测有意的动作的功能。
图13是示出佩戴于手腕的脉搏波传感器中的检测波形的一例的图。图13的(a)示出基于手指的屈伸的周期性动作的检测波形，图13的(b)将纵轴扩大60倍来示出图13的(a)中的期间T的一部分的期间。
在图13所示的脉搏波传感器中，虽然脉搏波本身呈现周期性的波形，但是由于佩戴者有意进行的周期性的动作而产生的波形的最大振幅为脉搏波的最大振幅的50倍到100倍。因此，通过对评价数据的绝对值设置阈值并将基于脉搏波的振幅近似为零，能够检测由于佩戴者有意进行的周期性的动作而产生的波形。反之，能够通过使振幅超过阈值的时间区间在前后留有余量并忽略该余量来从其余的时间区间检测脉搏波。
这样，由于有意进行的周期性的动作而产生的传感器信号能够以其波动的周期性、振幅的大小来与由于生物体反应而产生的传感器信号波动区分地进行处理，其周期性的判定能够通过本发明中的方法来实施。
根据本发明，能够不妨碍佩戴型设备所具备的生物体传感器本来的生物体信息的检测功能地将该生物体传感器还用作如下的输入设备：通过还检测由用户有意进行的周期性的动作引起的传感器信号波动来进行用户所意图的模式设定。
图14是生物体传感器800的功能框图。生物体传感器800包含：生物体信号获取部801，其获取由构成为能够佩戴于生物体的传感器进行采样所得到的传感器信号；评价数据串存储部803，其存储评价数据，其中，该评价数据是传感器信号，或者是通过规定的加工方法对传感器信号进行加工所得到的数据；生物体信息检测部804，其根据评价数据检测生物体信息；有意动作检测部805，其按照本发明来根据评价数据检测周期性的动作；以及评价数据分配部802，如果有必要则设置阈值来一边加工评价数据一边根据应检测的信息来将评价数据分配给生物体信息检测部804和有意动作检测部805。
由此，不需要配置用于检测意图进行模式设定的动作的专用的传感器，只通过追加对由生物体传感器获取到的传感器信号施加适当的信号处理的工序，就能够在进行作为生物体传感器的本来的功能的生物体信息检测的同时，实现用于检测意图进行模式设定的动作并进行设备操作、信息输入等的输入设备。
在此使用皮肤导电率传感器和脉搏波传感器这两个例子进行了说明，但是显而易见的是，在其它现有的生物体传感器或者今后开发的生物体传感器中，也能够通过在使用上述的测定方法的生物体传感器中使用本发明的方法，而不妨碍本来的生物体信息的检测功能地检测由于用户有意进行的周期性的动作而产生的传感器信号波动。
关于测定来源于生物体的体温的红外线的传感器的用途，例如还存在如个人计算机的离席探测系统那样不佩戴于生物体的情况。能够应用于以下应用程序：根据是否在离席前进行周期性的动作来区分地设定是否在省电模式下施加锁定。另外，在智能手机中，还能够对配置于扬声器附近的红外线传感器应用本发明，以减少由于用户的脸与操作面接触而产生的误动。在该情况下，由该红外线传感器进行采样所得到的信号(采样信号)被用作传感器信号。例如，能够应用于以下应用程序：在将智能手机设置于音乐播放用的对接台(docking station)来播放音乐时，不需要将智能手机拿到手中，而通过用手遮住该红外线传感器并有节奏地进行动作来进行表1所记载的模式设定。
(第六实施方式)
对在根据生物体的体温发生反应的红外线传感器中安装本发明的例子进行说明。除传感器以外的硬件的结构、功能块的结构与第一实施方式相同，因此省略说明。在本实施方式中，由红外线传感器进行采样所得到的信号(采样信号)被用作传感器信号。用于检测作为生物体的手与红外线传感器之间的位置关系的变化。
图15是将使手时而靠近时而远离红外线传感器时的信号、以及使手靠近红外线传感器后快速地晃动手时的信号曲线图化所得到的图。图15中的信号波形α是使手缓慢地时而靠近时而远离传感器时的波形。图15中的信号波形β是进行使手靠近传感器后在传感器前快速地晃动手的动作时的波形。可知当用户进行周期性的动作时红外线传感器的输入信号能够被视作连续的两个周期的波形。
另外，可知能够通过一个波形的区间长度(或信号的波峰与波峰的间隔的长度)的不同来区分缓慢地进行动作时(信号波形α)与快速地进行动作时(信号波形β)。
只是传感器不佩戴于生物体这一点与第一实施方式不同，能够与第一实施方式同样地处理所获取的信号。
本发明能够具体化为计算机程序。例如，还能够将输入设备100、传感器信号获取部210的各部的功能或者图4、图7以及图8所示的各流程图以程序实现。因而，本发明的一部分或全部能够编入硬件或软件(包括固件、常驻软件、微代码、状态机、门阵列等)。并且，本发明能够取能够由计算机使用的存储介质或计算机可读的存储介质上的计算机程序制品的形式，在该介质中编入能够由计算机使用的程序代码或计算机可读的程序代码。在本说明书的上下文中，能够由计算机使用的介质或计算机可读的介质能够设为由命令执行系统、装置或设备使用或与这些一起使用的能够对程序进行收录、存储、通信、传输或输送的任意的介质。
如以上说明的那样，根据本发明，能够实现以下的信号处理：对由用户所佩戴的传感器进行采样所得到的(以固定时间间隔获取到的)数据进行解析，探测用户有意识地有节奏地重复进行了多次的动作，来切换被控制对象的模式。另外，根据本发明，起到如下效果：取消了预先登记动作图案，或者使预先登记的动作图案的准确再现变得容易，由此使进行是否设定被控制对象的模式的判定的错误减小。
附图标记说明
100：输入设备；101：传感器信号获取部；102：波形对照部；102a：状态信息存储部；103：模式设定部；104、803：评价数据串存储部；110：被控制对象装置；110a：音乐播放部；201：皮肤导电率传感器；201：皮肤导电率传感器；202：盒部；203、204：电极；205：佩戴用带；210：传感器信号获取部；211：导电率转换部；212：电流控制部；213：电流源；800：生物体传感器；801：生物体信号获取部；802：评价数据分配部；804：生物体信息检测部；805：有意动作检测部。

Claims (27)

1.一种输入设备，其特征在于，具备：
传感器信号获取部，其获取传感器信号；
波形对照部，其将所述传感器信号中的两个以上的时间区间的波形彼此对照；以及
模式设定部，其基于所述波形对照部的对照结果来设定被控制对象装置的模式，
其中，在所述两个以上的时间区间的波形大致相同的情况下，所述模式设定部设定所述被控制对象装置的模式，
在判定为相邻的两个时间区间的波形彼此大致相同时，所述模式设定部进一步进行将相对于该两个时间区间向过去回溯且相邻的区间的波形与被判定为大致相同的该波形对照的对照处理，以及/或者
在判定为所述两个以上的时间区间的波形彼此大致相同时，所述模式设定部等待分别构成该两个以上的时间区间的评价数据的数量的新的评价数据的输入或与该数量相近的数量的新的评价数据的输入，进行将新输入的该评价数据的波形与判定为大致相同的该波形对照的对照处理，
所述模式设定部重复进行该对照处理来检测大致相同的波形连续的次数，并对所述被控制对象装置设定与该次数相应的模式。
2.根据权利要求1所述的输入设备，其特征在于，
所述传感器信号是由构成为能够佩戴于生物体的传感器进行采样所得到的信号。
3.根据权利要求1所述的输入设备，其特征在于，
所述传感器信号是由红外线传感器进行采样所得到的信号。
4.根据权利要求1～3中的任一项所述的输入设备，其特征在于，
所述两个以上的时间区间是在时间轴上相邻的两个区间。
5.根据权利要求1～3中的任一项所述的输入设备，其特征在于，
允许所述两个以上的时间区间互相重合或分离相当于规定时间以内的时间的采样数。
6.根据权利要求1所述的输入设备，其特征在于，
所述模式设定部根据被判定为大致相同的所述波形的时间长度来设定所述被控制对象装置的模式。
7.根据权利要求1～3中的任一项所述的输入设备，其特征在于，
还具备评价数据串存储部，该评价数据串存储部存储评价数据，其中，该评价数据是所述传感器信号，或者是通过规定的加工方法对所述传感器信号进行加工所得到的数据。
8.根据权利要求7所述的输入设备，其特征在于，
所述波形对照部根据所述两个以上的时间区间的波形的相关系数进行对照。
9.根据权利要求7所述的输入设备，其特征在于，
所述波形对照部根据所述两个以上的时间区间内的按时间序列对应的每个所述评价数据的值的差或通过规定的加工方法对该差进行加工所得到的值来进行对照。
10.根据权利要求7所述的输入设备，其特征在于，
所述波形对照部还具备状态信息串存储部，
所述波形对照部将符号相同的所述评价数据连续的区间设为作为一个单位的小区间，将符号信息、表示属于该小区间的评价数据的个数的区间长度、以及表示属于该小区间的评价数据的值的总和或该值的绝对值的总和的面积设为状态信息，以小区间为单位将该状态信息按时间序列存储到所述状态信息串存储部中，
所述波形对照部根据相邻的两个时间区间内的按时间序列对应的每个所述小区间的所述状态信息来进行对照。
11.根据权利要求10所述的输入设备，其特征在于，
关于所述符号信息，设置预先设定的阈值或能够根据输入信号的大小被自动调整的阈值，在所述评价数据的绝对值小于该阈值的情况下，将该评价数据置换为0，从而以正、负以及0这3种模式构成符号信息。
12.根据权利要求1所述的输入设备，其特征在于，
所述模式设定部还具备重复次数存储部，
当初次判定为所述两个以上的时间区间的波形彼此大致相同时，所述模式设定部对所述重复次数存储部设定初始值。
13.根据权利要求12所述的输入设备，其特征在于，
当再次判定为新输入的所述评价数据的波形与已被判定为大致相同的所述波形大致相同时，所述模式设定部对所述重复次数存储部中存储的重复次数进行累加。
14.根据权利要求1所述的输入设备，其特征在于，
所述被控制对象装置还具有音乐播放部，
所述模式设定部将被判定为是大致相同的波形的所述波形的时间长度换算为节拍，在对该节拍与所述音乐播放部中正在播放的音乐的节拍进行比较而判断为具有相关性的情况下，将是大致相同的波形的该判定废弃。
15.根据权利要求1所述的输入设备，其特征在于，
进行所述对照的两个以上的区间在时间轴上不相邻，
在该两个以上的区间内播放音乐的环境下使用所述输入设备。
16.根据权利要求15所述的输入设备，其特征在于，
在播放的所述音乐的节拍在所述两个以上的区间内不同的情况下，所述波形对照部根据在进行所述对照的两个区间内播放的音乐的节拍的不同对进行所述对照的两个区间中的一方的波形的信息进行编辑以使得能够视作该一方的波形的长度与另一方的区间的波形的长度大致一致，之后进行对照。
17.根据权利要求1～3中的任一项所述的输入设备，其特征在于，
所述输入设备被用作所述被控制对象装置。
18.根据权利要求1～3中的任一项所述的输入设备，其特征在于，
所述被控制对象装置通过有线或无线或者经由网络而与所述输入设备连接。
19.一种存储有使计算机作为根据权利要求1～18中的任一项所述的输入设备发挥功能的程序的计算机可读取的存储介质。
20.一种模式设定方法，其特征在于，
将传感器信号中的两个以上的时间区间的波形彼此对照，
基于所述波形彼此对照的结果来设定被控制对象装置的模式，
其中，在所述两个以上的时间区间的波形大致相同的情况下，设定所述被控制对象装置的模式，
在判定为相邻的两个时间区间的波形彼此大致相同时，进一步进行将相对于该两个时间区间向过去回溯且相邻的区间的波形与被判定为大致相同的该波形对照的对照处理，以及/或者
在判定为所述两个以上的时间区间的波形彼此大致相同时，等待分别构成该两个以上的时间区间的评价数据的数量的新的评价数据的输入或与该数量相近的数量的新的评价数据的输入，进行将新输入的该评价数据的波形与判定为大致相同的该波形对照的对照处理，
重复进行该对照处理来检测大致相同的波形连续的次数，并对所述被控制对象装置设定与该次数相应的模式。
21.根据权利要求20所述的模式设定方法，其特征在于，
所述传感器信号是由构成为能够佩戴于生物体的传感器进行采样所得到的信号。
22.根据权利要求20所述的模式设定方法，其特征在于，
所述传感器信号是来自红外线传感器的采样信号。
23.一种佩戴于生物体来从该生物体获取生物体信息的生物体传感器，该生物体传感器的特征在于，具备：
传感器信号获取部，其获取进行采样所得到的传感器信号；
波形对照部，其将所述传感器信号中的两个以上的时间区间的波形彼此对照；以及
模式设定部，其基于所述波形对照部的对照结果来设定被控制对象装置的模式，
其中，在所述两个以上的时间区间的波形大致相同的情况下，所述模式设定部设定所述被控制对象装置的模式，
在判定为相邻的两个时间区间的波形彼此大致相同时，所述模式设定部进一步进行将相对于该两个时间区间向过去回溯且相邻的区间的波形与被判定为大致相同的该波形对照的对照处理，以及/或者
在判定为所述两个以上的时间区间的波形彼此大致相同时，所述模式设定部等待分别构成该两个以上的时间区间的评价数据的数量的新的评价数据的输入或与该数量相近的数量的新的评价数据的输入，进行将新输入的该评价数据的波形与判定为大致相同的该波形对照的对照处理，
所述模式设定部重复进行该对照处理来检测大致相同的波形连续的次数，并对所述被控制对象装置设定与该次数相应的模式。
24.根据权利要求23所述的生物体传感器，其特征在于，
关于所述生物体信息，将心率、脉搏、血压、血氧浓度、体温、呼吸、皮肤电阻、脑电波、眨眼、步数中的任意的信息设为对象。
25.根据权利要求23所述的生物体传感器，其特征在于，
所述波形对照部将由于所述生物体同所述传感器信号获取部之间的位置关系的变化或接触状态的变化而产生的波形和来源于所述生物体信息的波形区分开来进行处理。
26.根据权利要求25所述的生物体传感器，其特征在于，
所述波形对照部根据振幅的大小的不同来将由于所述位置关系的变化或接触状态的变化而产生的波形和来源于所述生物体信息的波形区分开。
27.根据权利要求23所述的生物体传感器，其特征在于，
还具备能够佩戴于与所述生物体相同的生物体的加速度传感器或角速度传感器，
在以与被判定为大致相同的两个以上的时间区间大致相同的时刻且大致相同的时间长度判定为在所述加速度传感器或所述角速度传感器中两个以上的时间区间的波形彼此大致相同的情况下，将该生物体传感器中的是大致相同的波形的该判定废弃。
CN201580038510.0A 2014-07-15 2015-07-14 输入设备、生物体传感器、存储介质以及模式设定方法 Active CN106489111B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-144744 2014-07-15
JP2014144744 2014-07-15
PCT/JP2015/003561 WO2016009644A1 (ja) 2014-07-15 2015-07-14 入力デバイス、生体センサ、プログラム、コンピュータ読み取り可能な媒体及びモード設定方法

Publications (2)

Publication Number Publication Date
CN106489111A CN106489111A (zh) 2017-03-08
CN106489111B true CN106489111B (zh) 2019-05-10

Family

ID=55078152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580038510.0A Active CN106489111B (zh) 2014-07-15 2015-07-14 输入设备、生物体传感器、存储介质以及模式设定方法

Country Status (5)

Country Link
US (1) US10698484B2 (zh)
JP (1) JP6244026B2 (zh)
CN (1) CN106489111B (zh)
DE (1) DE112015003279T5 (zh)
WO (1) WO2016009644A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10712204B2 (en) * 2017-02-10 2020-07-14 Google Llc Method, apparatus and system for passive infrared sensor framework
CN107316641B (zh) * 2017-06-30 2021-06-15 联想(北京)有限公司 一种语音控制方法及电子设备
DE112018006847B4 (de) * 2018-02-16 2022-12-08 Mitsubishi Electric Corporation Anzeigedatenerzeugungsvorrichtung, Anzeigedatenerzeugungsverfahren und Programm
US10895915B2 (en) * 2019-01-01 2021-01-19 Logan Amstutz Systems, devices, and/or methods for reporting
US11474603B2 (en) 2019-06-12 2022-10-18 Hewlett-Packard Development Company, L.P. Extended reality grasp controller
CN113641967B (zh) * 2021-07-08 2022-08-30 荣耀终端有限公司 一种可穿戴设备解锁终端设备的方法及通信系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2798135Y (zh) * 2005-01-10 2006-07-19 捷飞科研有限公司 监测生理系统参数的眼镜
CN1846610A (zh) * 2005-03-22 2006-10-18 索尼株式会社 身体运动检测装置和方法以及内容回放装置和方法
JP2008099834A (ja) * 2006-10-18 2008-05-01 Sony Corp 表示装置、表示方法
CN101807113A (zh) * 2009-02-12 2010-08-18 索尼公司 手势识别装置、手势识别方法和程序
CN102016757A (zh) * 2008-07-11 2011-04-13 松下电器产业株式会社 使用了脑电波的设备的控制方法和脑电波接口系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4172793B2 (ja) * 2004-06-08 2008-10-29 株式会社東芝 ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置
JP5225548B2 (ja) * 2005-03-25 2013-07-03 ソニー株式会社 コンテンツ検索方法、コンテンツリスト検索方法、コンテンツ検索装置、コンテンツリスト検索装置および検索サーバ
JP2007301003A (ja) * 2006-05-09 2007-11-22 Hitachi Ltd 運動機能検査装置および運動波形間の位相比較方法
JP4697165B2 (ja) * 2007-03-27 2011-06-08 ヤマハ株式会社 音楽再生制御装置
JP5251270B2 (ja) * 2008-06-04 2013-07-31 三菱化学株式会社 パーキンソン病の評価装置
JP2010079848A (ja) * 2008-09-29 2010-04-08 Waseda Univ 項目選択方法および装置
WO2011115060A1 (ja) * 2010-03-15 2011-09-22 日本電気株式会社 入力装置、入力方法及びプログラム
SG11201403481YA (en) * 2011-12-21 2014-07-30 Mashinery Pty Ltd Gesture-based device
US9072465B2 (en) 2012-04-03 2015-07-07 Johnson & Johnson Vision Care, Inc. Blink detection system for electronic ophthalmic lens
US9314666B2 (en) * 2013-03-15 2016-04-19 Ficus Ventures, Inc. System and method for identifying and interpreting repetitive motions
US9971414B2 (en) * 2013-04-01 2018-05-15 University Of Washington Through Its Center For Commercialization Devices, systems, and methods for detecting gestures using wireless communication signals
KR101374720B1 (ko) * 2013-07-15 2014-03-17 전자부품연구원 손동작 기반 가상 마우스 제어장치 및 그 방법
CN206021193U (zh) * 2013-07-18 2017-03-15 谷歌公司 用于处理超声输入的系统
US9558336B2 (en) * 2013-10-04 2017-01-31 Salutron Inc. Persistent authentication using sensors of a user-wearable device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2798135Y (zh) * 2005-01-10 2006-07-19 捷飞科研有限公司 监测生理系统参数的眼镜
CN1846610A (zh) * 2005-03-22 2006-10-18 索尼株式会社 身体运动检测装置和方法以及内容回放装置和方法
JP2008099834A (ja) * 2006-10-18 2008-05-01 Sony Corp 表示装置、表示方法
CN102016757A (zh) * 2008-07-11 2011-04-13 松下电器产业株式会社 使用了脑电波的设备的控制方法和脑电波接口系统
CN101807113A (zh) * 2009-02-12 2010-08-18 索尼公司 手势识别装置、手势识别方法和程序

Also Published As

Publication number Publication date
US10698484B2 (en) 2020-06-30
JPWO2016009644A1 (ja) 2017-04-27
WO2016009644A1 (ja) 2016-01-21
JP6244026B2 (ja) 2017-12-06
DE112015003279T5 (de) 2017-04-06
CN106489111A (zh) 2017-03-08
US20170083091A1 (en) 2017-03-23

Similar Documents

Publication Publication Date Title
CN106489111B (zh) 输入设备、生物体传感器、存储介质以及模式设定方法
Nirjon et al. Musicalheart: A hearty way of listening to music
US20200097081A1 (en) Neuromuscular control of an augmented reality system
US9848823B2 (en) Context-aware heart rate estimation
CN104808783B (zh) 移动终端及其控制方法
US9720515B2 (en) Method and apparatus for a gesture controlled interface for wearable devices
CN203075421U (zh) 一种基于情绪变化的音乐播放系统
US7783487B2 (en) Information processing terminal and communication system
US9037530B2 (en) Wearable electromyography-based human-computer interface
JP4396175B2 (ja) コンテンツ再生装置及びコンテンツ再生方法
EP2406698B1 (en) Wearable electromyography-based controllers for human-computer interface
US20140285326A1 (en) Combination speaker and light source responsive to state(s) of an organism based on sensor data
US20040068409A1 (en) Method and apparatus for analysing gestures produced in free space, e.g. for commanding apparatus by gesture recognition
CN106464996A (zh) 用于体育活动的多功能耳机系统
TW200724204A (en) Method and apparatus of interactive gaming with emotion perception ability
CN108939251A (zh) 内容提供方法、内容提供装置以及记录介质
CN106464995A (zh) 用于体育活动的独立多功能耳机
WO2005048832A1 (ja) 入力装置及び入力方法、並びに電子機器
CN106236098A (zh) 可穿戴设备、基于可穿戴设备的健康检测系统和方法
KR102046515B1 (ko) 넥밴드 타입 헬스케어 서비스 시스템 및 방법
US20240323582A1 (en) Ear-worn electronic device incorporating gesture control system using frequency-hopping spread spectrum transmission
Nguyen et al. Cover your cough: Detection of respiratory events with confidence using a smartwatch
US20150264459A1 (en) Combination speaker and light source responsive to state(s) of an environment based on sensor data
CN110839180A (zh) 一种视频播放进度控制方法、装置及电子设备
CN212067683U (zh) 投篮手势分析手环

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant