CN102227616A - 行为识别装置 - Google Patents

Abstract

行为识别装置具备：手动作观测部(101)，输出表示用户的手的运动的手的运动数据；速度变化检测部(102)，根据手的运动数据，检测用户的手的运动采取规定的行为模式的时刻；特征选择部(103)，选择在由上述速度变化检测部(102)检测到的时刻输出的上述手的运动数据；行为标准模式存储部(104)，按照用户的每个行为，存储了用手的运动数据的序列来表现的动作模式数据序列；以及行为识别部(105)，将由相似度最大的动作模式数据序列表现的行为识别为上述用户的行为，该相似度是按照存储在行为标准模式存储部中(104)的每个上述动作模式数据序列，根据该动作模式数据序列和由特征选择部(103)选择的上述手的运动数据来求出的。

Description

行为识别装置

技术领域

本发明涉及基于手的运动来识别用户的行为的行为识别装置。

背景技术

以往，作为能够识别用户的行为的装置，提出了能够基于来自设置在环境中的多个加速度传感器的信息来识别用户的运动的运动识别系统(例如参照专利文献1)。

先行技术文献

专利文献

专利文献1：日本特开2007-187555号公报

发明的概要

发明要解决的问题

但是，在以往的识别用户的运动的装置中，按照每规定时间宽度切取数据，并将切取的数据用于运动的识别。因此，必须进行考虑到环境差异的识别。例如，在使用物品的行为的情况下，根据放置物品的场所等的环境，拿取物品为止的手的轨迹不同。但是，如果一律地按照每规定时间宽度切取数据，则导致关于手的轨迹的数据也被切取而用于运动的识别。因此，必须考虑相互不同的所有的手的轨迹而进行运动的识别，为了制作用于进行考虑了环境差异的运动识别的标准模式，需要收集手的所有的轨迹。

发明内容

所以，本发明是鉴于上述的情况而做出的，目的是提供一种能够根据用户的手的运动数据、不考虑环境差异而识别用户的行为的行为识别装置。

为了达到上述目，有关本发明的一技术方案的行为识别装置，基于手的运动，识别用户的行为，具备：手动作观测部，通过检测用户的手的运动，输出表示该手的运动的手的运动数据；速度变化检测部，根据从上述手动作观测部输出的上述手的运动数据，检测上述用户的手的运动采取规定的行为模式的时刻；特征选择部，选择在由上述速度变化检测部检测到的时刻从上述手动作观测部输出的上述手的运动数据；行为标准模式存储部，按照用户的每个行为，存储了用手的运动数据的序列来表现的动作模式数据序列；以及行为识别部，将由相似度最大的动作模式数据序列表现的行为识别为上述用户的行为，该相似度是按照存储在上述行为标准模式存储部中的每个上述动作模式数据序列，根据该动作模式数据序列和由上述特征选择部选择的上述手的运动数据来求出的。

根据该结构，即使在相同的行为种类中每个行为在一次一次的动作轨迹中发生差异的情况下，也能够不考虑该动作轨迹的差异而仅提取用户有意移动手的动作、即对行为赋予特征的手的运动作为识别对象。由此，能够根据用户的手的运动数据，不考虑环境差而识别用户的行为。

另外，本发明不仅能够作为具备这样的特征性的处理部的行为识别装置实现，也能够作为以行为识别装置中包括的特征性的处理部为步骤的行为识别方法实现。此外，也可以作为使计算机执行行为识别方法中包括的特征性的步骤的程序实现。并且，这样的程序当然可以经由CD-ROM(Compact Disc-Read Only Memory)等的记录媒体、或因特网等的通信网络流通。

发明效果

根据本发明，能够提供一种能够根据用户的手的运动数据、不考虑环境差异而识别用户的行为的行为识别装置。

附图说明

图1是表示实施方式1的行为识别装置的结构的模块图。

图2是表示在实施方式1的行为识别装置中使用的行为标准模式存储部所存储的数据的一例的图。

图3是表示实施方式1的行为识别装置的动作的流程图。

图4是表示实施方式1的行为的一例的图。

图5是表示实施方式1的手的速度变化的一例的图。

图6是表示实施方式1的手的加速度和速度变化的一例的图。

图7A是用来说明实施方式1的基于速度变化的速度数据的选择方法的图。

图7B是用来对余弦距离进行说明的图。

图8是表示实施方式2的行为识别装置的结构的模块图。

图9是表示在实施方式2的行为识别装置中使用的行为标准模式存储部所存储的数据的一例的图。

图10是表示实施方式2的行为与相对于用户的空间的位置关系的一例的图。

图11是表示实施方式2的行为识别装置的动作的流程图。

图12是表示实施方式3的行为识别装置的结构的模块图。

图13是表示在实施方式3的行为识别装置中使用的行为标准模式存储部所存储的数据的一例的图。

图14是表示实施方式3的行为识别装置的动作的流程图。

图15是实施方式4的行为识别装置的结构图。

图16是表示在实施方式4的行为识别装置中使用的行为标准模式存储部所存储的数据的一例的图。

图17是表示实施方式4的行为识别装置的动作的流程图。

图18是实施方式5的行为识别装置的结构图。

图19是表示在实施方式5的行为识别装置中使用的行为标准模式存储部所存储的数据的一例的图。

图20是表示实施方式5的行为识别装置的动作的流程图。

具体实施方式

(实施方式1)

以下，参照附图对有关本发明的实施方式1的行为识别装置进行说明。

图1是表示有关本发明的实施方式1的行为识别装置的结构的模块图。

行为识别装置是基于手的运动来识别用户的行为的行为识别装置。行为识别装置包括手动作观测部101、速度变化检测部102、特征选择部103、行为标准模式存储部104和行为识别部105。

手动作观测部101通过检测用户的手的运动，输出表示该手的运动的手的运动数据。例如，手动作观测部101由加速度传感器及角速度传感器等的对手的运动进行传感检测的输入装置构成。通过该输入装置，手动作观测部101输出手的3轴(XYZ方向)的加速度数据、角速度数据及速度数据等的手的运动数据。例如，手动作观测部101安装在手腕上。

速度变化检测部102根据从手动作观测部101输出的手的运动数据，检测用户的手的运动采取规定的行为模式的时刻。另外，在以下的说明中，检测发生手的速度变化的时刻，作为用户的手的运动采取规定的行为模式的时刻，。

特征选择部103在发生了由速度变化检测部102检测到的手的速度变化的时刻，选择从手动作观测部101输出的手的运动数据。

行为标准模式存储部104按照用户的每个行为，存储用发生手的速度变化的时刻的手的运动数据的序列表现了该行为的动作模式数据序列。图2是表示存储在行为标准模式存储部104中的数据的一例的图。如图2所示，在行为标准模式存储部104中，按照用户的每个行为，存储有动作模式数据序列ID、行为标签和动作模式数据序列。动作模式数据序列ID是动作模式数据序列的识别码。行为标签是表示该行为的数据。作为动作模式数据序列的一例，这里表示发生手的速度变化的时刻的手的加速度数据的序列。但是，动作模式数据序列并不限定于此。例如，也可以是手的速度数据的序列，在使用HMM(隐马尔科夫模型)进行行为识别的情况下，也可以是HMM参数的序列。作为(动作模式数据序列ID、行为标签)，存储有((1、饮用饮料)、(2、食用食物)、(3、刷牙)、…)。此外，与行为标签“饮用饮料”对应的动作模式数据序列ID为“1”的动作模式数据序列是将环境差异较少的手的速度变化较大的时刻的手的运动的数据按时间序列学习的数据序列。作为环境差异较少的手的速度变化较大的时刻的手的运动的数据列的一例，可以考虑手的运动“抓杯子”、“将杯子拿到嘴边”、“将杯子倾斜而使饮料流入到喉中”、“放置杯子”。此外，所谓环境差异较少的手的速度变化较大的时刻，可以考虑运动的手停止的时刻、以某个一定以下的角度改变朝向而运动的时刻等。

行为识别部105按照存储在行为标准模式存储部104中的每个动作模式数据序列，求出该动作模式数据序列与由特征选择部103选择的手的运动数据之间的相似度。此外，行为识别部105将与相似度最大的动作模式数据序列对应的行为标签输出。即，行为识别部105识别用户的行为。

对这样构成的有关本实施方式的行为识别装置的动作例，使用图1的模块图和图3的流程图进行说明。

手动作观测部101传感检测用户的手的运动，输出手的运动数据(手的加速度数据、角速度数据、速度数据)(步骤S101)。作为具体的一例，用户进行拿起放置在桌子上的装有水的杯子并饮用的行为。手动作观测部101输出该饮用饮料行为中的手的运动数据(手的加速度数据、角速度数据、速度数据)。在图4中表示此时的示意图。在图4中，“抓杯子”处的手的运动和“将杯子拿到嘴边”处的手的运动与杯子的位置无关，是相同的。但是，将杯子从桌子移动到嘴时的手的轨迹表现出根据放置在桌子上的杯子的位置而不同。

速度变化检测部102根据从手动作观测部101输出的手的运动数据检测发生手的速度变化的时刻，作为一例而检测手的速度成为指定的阈值以下的时刻(步骤S102)。在上述例子中，手进行运动而去抓杯子后的、抓杯子的时刻的手的速度为指定的阈值以下。因此，速度变化检测部102检测该时刻。在图5中表示此时的示意图。在图5中，还有将杯子倾斜而使水流入到喉中、将杯子的倾斜复原的时刻的手的速度为指定的阈值以下。

特征选择部103从由手动作观测部101输出的手的运动数据中选择发生由速度变化检测部102检测的手的速度变化的时刻的手的运动数据(步骤S103)。在上述例子中，特征选择部103以手抓住杯子的时刻为中心选择前后指定的时间的手的运动数据。在图6中表示此时的示意图。例如，特征选择部103以手抓住杯子的时刻为中心选择前后指定的时间的手的加速度数据作为手的运动数据。在步骤S103中，选择多个手的运动数据。即，在图6的例子中，除了选择抓住桌子上的杯子的时刻的运动数据以外，还选择例如将杯子拿到了嘴边的时刻的运动数据、以及将杯子倾斜而使饮料流入到喉中的时刻的运动数据等。更具体地讲，在图6所示的速度数据中，由特征选择部103选择阈值以下的速度数据。

此外，也可以考虑选择速度变化较急剧的速度数据。速度变化是否急剧，如图7A所示，可以通过将时刻t-1时的速度矢量701与时刻t时的速度矢量702的余弦距离与规定的阈值比较来判断。即，在余弦距离比规定的阈值小的情况下可以判断为速度变化较急剧，在余弦距离为规定的阈值以上的情况下可以判断为速度变化不急剧。这里，所谓余弦距离，如图7B所示，是将两个速度矢量701及702所成的角度设为θ时的cosθ的值。即，在两个速度矢量701及702具有相同的朝向的情况下，为θ＝0°，余弦距离的值为最大值1。此外，在两个速度矢量701及702具有相互相反的朝向的情况下，为θ＝180°，余弦距离的值为最小值-1。如果以图6所示的速度数据考虑，则通过速度变化检测部102检测“抓住桌子上的杯子”时的时刻、和“将杯子倾斜”时的时刻。此外，通过特征选择部103选择“抓住桌子上的杯子”时的极值附近的速度数据、和“将杯子倾斜”时的极值附近的速度数据。另外，作为上述规定的阈值，可以考虑使用基于手的运动而统计性地计算的值(例如θ＝45°时的余弦的值)。例如，可以采样“抓住桌子上的杯子”时的速度的极值附近的两点的速度矢量所成的角度，使用已知的统计处理计算上述规定的阈值。

另外，速度变化是否急剧，也可以通过将速度矢量701与速度矢量702的速度梯度差与规定的阈值比较来判断。即，在速度梯度差是规定的阈值以上的情况下可以判断为速度变化较急剧，在速度梯度差小于规定的阈值的情况下可以判断为速度变化不急剧。这里，所谓速度矢量701与速度矢量702的速度梯度差，是速度矢量701与速度矢量702所成的角度。即，在两个速度矢量701及702具有相同的朝向的情况下，速度梯度差θ为0°。此外，在两个速度矢量701及702具有相互相反的朝向的情况下，速度梯度差θ为180°。通过速度变化检测部102检测速度梯度差为规定的阈值以上时的时刻。另外，上述规定的阈值通过与用于求出余弦距离的规定的阈值的方法相同的方法求出，例如将规定的阈值θ决定为45°。

行为识别部105按照存储在行为标准模式存储部104中的每个动作模式数据序列ID，求出该动作模式数据序列与由特征选择部103选择的多个运动数据之间的相似度(步骤S104)。相似度的计算使用公知的技术进行，其详细的说明省略。

行为识别部105将求出的相似度与指定的阈值比较(步骤S105)。在相似度为指定的阈值以上的情况下(步骤S105中是)，行为识别部105将与相似度最大的动作模式数据序列对应的行为标签输出(步骤S106)。

在上述例子中，行为识别部105对存储在行为标准模式存储部104中的多个动作模式数据序列，分别使用以由特征选择部103选择的手抓住杯子的时刻为中心前后指定的时间的手的运动数据，求出与动作模式数据序列的相似度。这里，存储在行为标准模式存储部104中的多个动作模式数据序列是对应于行为“饮用饮料”的动作模式数据序列、对应于行为“食用食物”的动作模式数据序列、对应于行为“刷牙”的动作模式数据序列的。在相似度小于指定的阈值的情况下(步骤S105中否)，行为识别部105使用还添加了以下一发生速度变化的时刻为中心前后指定的时间的手的运动数据后的手的运动数据，求出与动作模式数据序列的相似度。所谓下一发生速度变化的时刻，例如是“将杯子拿到嘴边”的时刻。像这样，通过使用依次添加了与发生速度变化的时刻对应的手的运动数据后的手的运动数据来求出与动作模式数据序列的相似度，使得相似度逐渐变大。更具体地讲，例如，接着是“将杯子倾斜而使饮料流入到喉中”的时刻、再接着是“放置杯子”的时刻那样，使用依次添加的手的运动数据来求出相似度。在相似度为指定的阈值以上的情况下(步骤S105中是)，行为识别部105输出与相似度最大的动作模式数据序列对应的行为标签“饮用饮料”。

如以上说明，根据有关实施方式1的行为识别装置，仅将发生了手的速度变化的时刻的手的运动数据选择为用于行为识别的手的运动数据。因此，能够仅使用环境的影响较少的手的运动数据进行行为识别。由此，不再需要考虑例如手运动的轨迹等的环境差异，并且为了用于行为识别而收集的行为标准模式的数据数量少也可以。此外，由于能够排除环境差异的差别，所以能够高精度地识别行为。

(实施方式2)

在有关实施方式1的行为识别装置中，根据手的运动数据检测发生手的速度变化的时刻，或使用手的运动数据计算与动作模式序列的相似度。相对于此，在实施方式2中，除了手的运动数据以外，还使用表示用户的手臂姿势的数据来检测发生手的速度变化的时刻，或计算相似度。

图8是表示有关本发明的实施方式2的行为识别装置的结构的模块图。对于与图1所示的有关实施方式1的行为识别装置相同的构成单元赋予相同的标号。其功能及名称也相同，所以在这里不重复其详细的说明。

有关实施方式2的行为识别装置具备手动作观测部201、速度变化检测部102、手臂姿势推测部202、特征选择部203、行为标准模式存储部204和行为识别部205。

手动作观测部201与手动作观测部101同样，将手的加速度数据、角速度数据及速度数据作为手的运动数据来输出。除此以外，手动作观测部201还传感检测从在前臂、上臂、肩的部分上安装了加速度传感器和角速度传感器的传感器输出的加速度和角速度，将传感检测结果作为手的运动数据来输出。

手臂姿势推测部202根据从手动作观测部201输出的手的运动数据中的、前臂、上臂及肩的加速度及角速度，推测肘、肩的关节的角度，推测相对于用户的身体的手臂姿势。此外，也可以通过使用光学式的运动捕获设备来传感检测手腕、肘及肩的关节的角度。另外，本发明只要是能够取得手腕、肘及肩的关节的角度的方法，则不限制实现手段。

特征选择部203使用速度变化检测部102中检测到的表示速度变化的数据、和手臂姿势推测部202中推测的表示手臂姿势的数据，选择用于行为识别的手的运动数据。即，在手臂姿势推测部202中推测的手臂姿势表示规定的手臂姿势的情况下，在由速度变化检测部102检测到发生了速度变化的时刻的情况下，特征选择部203选择由速度变化检测部102检测到的发生了速度变化的时刻的手的运动数据。

行为标准模式存储部204按照用户的每个行为存储：用发生手的速度变化的时刻的手的运动数据的序列来表现该行为的动作模式数据序列、及发生手的速度变化的时刻的手臂姿势的组。如图9所示，在行为标准模式存储部204中，按照用户的每行为存储有动作模式序列ID、行为标签、动作模式数据序列和手臂姿势。动作模式序列ID、行为标签和动作模式数据序列与图2所示的存储在实施方式1的行为标准模式存储部204中的数据序列相同。手臂姿势表示进行行为时的手臂姿势，作为一例，行为“饮用饮料”的手臂姿势表示是“手在胸前”和“嘴前”。

行为识别部205求出存储在行为标准模式存储部204中的动作模式数据序列及手臂姿势的组、与由特征选择部203选择的手的运动数据及发生手的速度变化的时刻的由手臂姿势推测部202推测的手臂姿势的相似度。此外，行为识别部205通过输出与相似度最大的组对应的行为标签，来识别用户的行为。

使用图10说明本实施方式的发明的概念。用户高效率地使用道具及物品的位置(例如容易用力的位置、容易看到物品的位置等)是已指定的。即，使用道具或物的行为能够与对用户的空间建立对应。因此，如果使用用户的手臂姿势，则能够在某种程度上确定用户采取的行为，将此用于行为识别。作为一例，对用户的空间可以如以下这样求出。即，在用户多次使用指定的道具时，传感检测使用道具的位置，将传感检测到的位置取平均，从而将指定的阈值以上的位置的集合作为对用户的空间，由此来求出。此外，在求出对用户的空间时，传感检测的用户既可以是相同的人物，也可以是不同的人物。

对这样构成的有关本实施方式的行为识别装置的动作例进行说明。图11是表示有关本实施方式的行为识别装置的处理的流程图。关于与图3所示的有关实施方式1的行为识别装置的处理相同的处理，赋予相同的步骤号。

手动作观测部201传感检测用户的手的运动，输出手的运动数据(手的加速度数据、角速度数据、速度数据、前臂、上臂及肩的加速度、角速度)(步骤S101)。

手臂姿势推测部202根据从手动作观测部201输出的手的运动数据中的、前臂、上臂及肩的加速度、角速度，推测肘、肩的关节的角度。此外，根据肘及肩等的关节的角度，推测相对于用户身体的手臂姿势(步骤S201)。例如，作为一例，在用户阅读报纸的情况下，由手臂姿势推测部202推测的手的位置为身体前方的区域1001。

速度变化检测部102根据从手动作观测部101输出的手的运动数据，检测发生手的速度变化的时刻，作为一例而检测手的速度为指定的阈值以下的时刻(步骤S102)。

在手臂姿势推测部202中推测的手臂姿势表示规定的手臂姿势的情况下，在由速度变化检测部102检测到发生速度变化的时刻的情况下，特征选择部203选择由速度变化检测部102检测到的发生速度变化的时刻的手的运动数据(步骤S203)。这里，所谓规定的手臂姿势，是行为识别装置设想的人能够采取的所有的手臂姿势，例如是手位于图10所示的区域1001～1004的某个中时的手臂姿势。被选择的运动数据的例子与实施方式1同样。

作为特征选择部203从由手动作观测部201输出的手的运动数据中选择用于行为识别的手的运动数据的一例，可以考虑以下这样的情况。特征选择部203在由手臂姿势推测部202推测为手的位置是身体前方1m周围(区域1001～1004的某个)、并且手的运动数据的检测时刻是由速度变化检测部102检测到的速度变化的检测时刻的情况下，从由手动作观测部201输出的手的运动数据中选择用于行为识别的手的运动数据。通过这样，能够仅选择手接触到身体上的情况、或在作为手的存在位置认为是重要的地方(作为一例，当用刀削水果时是胸前，当用刀切食材时是腰前等)发生手的速度变化的情况下的运动数据。即，在总是观测手的运动的情况下，能够根据以高频度发生的手的速度变化点(发生速度变化的时刻)，选择根据手的位置认为是重要的速度变化点。

另外，作为一例，将手的位置存在于身体的前方1m周围的情况设为了作为手的存在位置认为重要的地方，但也可以将认为重要的地方例如如胸前、腰前、接触到身体上的情况那样细分而设定。在此情况下，例如，能够仅选择与在胸前检测到速度变化的时刻对应的手的运动数据。

行为识别部205按照存储在行为标准模式存储部204中的每个动作模式数据序列ID，求出动作模式数据序列及手臂姿势的组、与由特征选择部203选择的手的运动数据及发生手的速度变化的时刻的由手臂姿势推测部202推测的手臂姿势的相似度(步骤S204)。例如，仅在存储在行为标准模式存储部204中的手臂姿势与由手臂姿势推测部202推测的手臂姿势一致的情况下，求出动作模式数据序列与手的运动数据之间的相似度，在不一致的情况下将相似度设为0。另外，相似度的计算使用公知的技术进行，其详细的说明省略。

行为识别部205将求出的相似度与指定的阈值比较(步骤S105)。在相似度为指定的阈值以上的情况下(步骤S105中是)，行为识别部205输出与相似度最大的动作模式数据序列对应的行为标签(步骤S106)。

如以上说明，根据有关实施方式2的行为识别装置，仅将手臂姿势表示规定的姿势、并且发生了手的速度变化的时刻的手的运动数据选择为用于行为识别的手的运动数据。此外，将手臂姿势还用于行为识别。因此，可以考虑发生行为时的手的位置来进行行为识别。因此，与实施方式1相比，能够更高精度地识别行为。

(实施方式3)

在有关实施方式2的行为识别装置中，基于手的运动数据及手臂姿势，进行了手的运动数据的选择及相似度的计算。相对于此，在实施方式3中，还基于身体姿势进行手的运动数据的选择及相似度的计算。

图12是表示有关本发明的实施方式3的行为识别装置的结构的模块图。关于与实施方式1及2所示的行为识别装置的结构相同的构成单元赋予相同的标号。

有关实施方式3的行为识别装置具备手动作观测部201、速度变化检测部102、手臂姿势推测部202、身体姿势观测部301、身体姿势推测部302、特征选择部303、行为标准模式存储部304和行为识别部305。

身体姿势观测部301由加速度传感器及角速度传感器等的传感检测腰的运动的输入装置构成，如果用户运动腰，则输出三个轴(XYZ方向)的加速度数据、角速度数据及速度数据等的腰的运动数据。例如，身体姿势观测部301安装在用户的腰上。

身体姿势推测部302能够根据由身体姿势观测部301输出的用户的腰的运动数据，判断用户的身体姿势。根据身体姿势，当用户在立位下将手拿到头附近、从前向后移动时、和躺下来将手拿到头附近、从前向后移动时，身体姿势不同。因此，能够将前者判断为立位、将后者判断为卧位。

特征选择部303也可以使用在速度变化检测部102中检测到的表示速度变化的数据、在手臂姿势推测部202中推测的表示手臂姿势的数据、和在身体姿势推测部302中推测的表示身体姿势的数据，从由手动作观测部201输出的手的运动数据中选择用于行为识别的手的运动数据。即，在手臂姿势推测部202中推测的手臂姿势表示规定的手臂姿势、并且由身体姿势推测部302推测的身体姿势表示规定的身体姿势的情况下，当速度变化检测部102检测到发生速度变化的时刻的情况下，特征选择部303选择由速度变化检测部102检测到的发生了速度变化的时刻的手的运动数据。例如，在由手臂姿势表示用户的手位于胸前、用户的身体姿势是立位的情况下，选择发生速度变化的时刻的手的运动数据。由此，例如在仅能够在立位下进行的手的运动在躺下时发生的情况下，在特征选择部303中也能够设定身体姿势作为选择运动数据时的条件。由此，能够仅选择更与行为相关的手的运动数据。

行为标准模式存储部304按照用户的每个行为，存储了用发生手的速度变化的时刻的手的运动数据的序列来表现该行为的动作模式数据序列、发生手的速度变化的时刻的手臂姿势及发生手的速度变化的时刻的身体姿势的组。如图13所示，在行为标准模式存储部304中，按照用户的每个行为，存储了动作模式序列ID、行为标签、动作模式数据序列、手臂姿势以及身体姿势。动作模式序列ID、行为标签、动作模式数据序列以及手臂姿势与图9所示的实施方式2的行为标准模式存储部304所存储的相同。身体姿势表示进行行为时的身体姿势，作为一例，行为“饮用饮料”的身体姿势表示是“立位”。

行为识别部305求出存储在行为标准模式存储部304中的动作模式数据序列、手臂姿势及身体姿势的组、与由特征选择部303选择的手的运动数据、发生了手的速度变化的时刻的由手臂姿势推测部202推测的手臂姿势及发生了手的速度变化的时刻的由身体姿势推测部302推测的身体姿势的相似度。行为识别部305输出与相似度最大的组对应的行为标签输出，由此识别用户的行为。

对这样构成的有关本实施方式的行为识别装置的动作例进行说明。图14是表示有关本实施方式的行为识别装置的处理的流程图。关于与有关实施方式1及2的行为识别装置的处理相同的处理，赋予相同的步骤号。

手动作观测部101传感检测用户的手的运动，输出手的运动数据(手的加速度数据、角速度数据、速度数据、前臂、上臂及肩的加速度、角速度)(步骤S101)。

手臂姿势推测部202根据从手动作观测部201输出的手的运动数据中的、前臂、上臂及肩的加速度、角速度，推测肘、肩的关节的角度，推测相对于用户身体的手臂姿势(步骤S201)。

身体姿势观测部301传感检测用户的腰的运动，输出腰的运动数据(步骤S301)。

身体姿势推测部302根据从身体姿势观测部301输出的腰的运动数据推测用户的身体姿势(步骤S302)。

速度变化检测部102根据从手动作观测部101输出的手的运动数据，检测发生手的速度变化的时刻，作为一例而检测手的速度成为指定的阈值以下的时刻(步骤S102)。

在手臂姿势推测部202中推测的手臂姿势表示规定的手臂姿势、并且在身体姿势推测部302中推测的身体姿势表示规定的身体姿势的情况下，在由速度变化检测部102检测到发生了手的速度变化的时刻的情况下，特征选择部303选择检测到的发生了手的速度变化的时刻的手的运动数据(步骤S303)。这里，所谓规定的身体姿势，例如是立位等。

行为识别部305按照存储在行为标准模式存储部304中的每个动作模式数据序列ID，求出动作模式数据序列、手臂姿势及身体姿势的组、与由特征选择部203选择的手的运动数据、发生了手的速度变化的时刻的由手臂姿势推测部202推测的手臂姿势及发生了手的速度的时刻的由身体姿势推测部302推测的身体姿势的相似度(步骤S304)。例如，仅在存储在行为标准模式存储部304中的手臂姿势与由手臂姿势推测部202推测的手臂姿势一致、并且存储在行为标准模式存储部304中的身体姿势与由身体姿势推测部302推测的身体姿势一致的情况下，求出动作模式数据序列与手的运动数据之间的相似度。在不一致的情况下将相似度设为0。另外，相似度的计算使用公知的技术进行，其详细的说明省略。

行为识别部305将求出的相似度与指定的阈值比较(步骤S105)。在相似度为指定的阈值以上的情况下(步骤S105中是)，行为识别部305输出与相似度最大的动作模式数据序列对应的行为标签(步骤S106)。

如以上说明，根据有关实施方式3的行为识别装置，在手臂姿势表示规定的手臂姿势、并且身体姿势表示规定的身体姿势的情况下，在检测到发生了手的速度变化的时刻下，仅选择检测到的发生手的速度变化的时刻的手的运动数据作为用于行为识别的手的运动数据。此外，将表示手臂姿势及身体姿势的数据还用于行为识别。因此，能够考虑发生行为时的手的位置及身体姿势而进行行为识别。因此，与实施方式1相比能够更高精度地识别行为。

(实施方式4)

在有关实施方式2的行为识别装置中，基于手的运动数据及手臂姿势来进行手的运动数据的选择及相似度的计算。相对于此，在实施方式4中，代替手臂姿势而使用物品的把持状态，基于手的运动数据及把持状态进行手的运动数据的选择及相似度的计算。

图15是表示有关本发明的实施方式4的行为识别装置的结构的模块图。关于与上述实施方式所示的行为识别装置的结构相同的构成单元赋予相同的标号。其功能及名称也相同，所以在这里不重复其详细的说明。

有关实施方式4的行为识别装置具备手动作观测部401、速度变化检测部102、把持检测部402、特征选择部403、行为标准模式存储部404和行为识别部405。

手动作观测部401与手动作观测部101同样，将手的加速度数据、角速度数据及速度数据作为手的运动数据来输出。除此以外，手动作观测部401还传感检测并输出手的肌肉的电位即手的肌电信息。

把持检测部402根据从手动作观测部401输出的手的肌电信息，推测手把持住物品的状态即把持状态。

特征选择部403使用在速度变化检测部102中检测到的表示速度变化的数据、和在把持检测部402中推测的表示把持状态的数据，选择行为识别中使用的手的运动数据。即，在把持检测部402中推测的把持状态表示规定的把持状态的情况下，速度变化检测部102检测到发生速度变化的时刻的情况下，特征选择部403选择由速度变化检测部102检测到的速度变化发生的时刻的手的运动数据。

行为标准模式存储部404按照用户的每个行为，存储有用发生手的速度变化的时刻的手的运动数据的序列来表现该行为的动作模式数据序列、以及发生手的速度变化的时刻的把持状态的组。如图16所示，在行为标准模式存储部404中，按照用户的每个行为，存储有动作模式序列ID、行为标签、动作模式数据序列和把持状态。动作模式序列ID、行为标签和动作模式数据序列与图2所示的实施方式1的行为标准模式存储部204所存储的相同。把持状态表示进行行为时的物品的把持状态，作为一例，行为“饮用饮料”的把持状态表示“把持”。

行为识别部405求出存储在行为标准模式存储部404中的动作模式数据序列及把持状态的组、与由特征选择部403选择的手的运动数据以及发生了手的速度变化的时刻的由把持检测部402推测的把持状态的相似度。并且，通过将与相似度最大的组对应的行为标签输出，来识别用户的行为。

对这样构成的有关本实施方式的行为识别装置的动作例进行说明。图17是表示有关本实施方式的行为识别装置的处理的流程图。关于与有关上述实施方式的行为识别装置的处理相同的处理赋予相同的步骤号。

手动作观测部401将手的加速度数据、角速度数据及速度数据作为手的运动数据来输出。除此以外，手动作观测部401还传感检测手的肌肉的电位即手的肌电信息并进行输出(步骤S101)。

把持检测部402根据从手动作观测部401输出的手的肌电信息，推测是否是手把持着物品的状态即把持状态(步骤S401)。

速度变化检测部102根据从手动作观测部401输出的手的运动数据来检测发生手的速度变化的时刻，作为一例而检测手的速度为指定的阈值以下的时刻(步骤S102)。

在由把持检测部402推测的把持状态表示规定的把持状态的情况下，速度变化检测部102检测到发生了速度变化的时刻的情况下，特征选择部403选择由速度变化检测部102检测到发生了速度变化的时刻的手的运动数据(步骤S403)。这里，所谓规定的把持状态，例如是表示把持着物品的“把持”等。由此，能够仅选择把持物品而使用的情况、并且发生了手的速度变化的情况下的运动数据。即，在总是观测到手的运动的情况下，能够根据高频度发生的手的速度变化点，选择在把持着物品的状态下认为重要的速度变化点。

行为识别部405按照存储在行为标准模式存储部404中的每个动作模式数据序列ID，求出动作模式数据序列及把持状态的组、与由特征选择部403选择的手的运动数据及发生了手的速度变化的时刻的由把持检测部402推测的把持状态的相似度(步骤S404)。例如，仅在存储在行为标准模式存储部404中的把持状态与由把持检测部402推测的把持状态一致的情况下，求出动作模式数据序列与手的运动数据之间的相似度，在不一致的情况下将相似度设为0。另外，相似度的计算使用公知的技术进行，其详细的说明省略。

行为识别部405将求出的相似度与指定的阈值比较(步骤S105)。在相似度为指定的阈值以上的情况下(步骤S105中是)，行为识别部405输出与相似度最大的动作模式数据序列对应的行为标签(步骤S106)。

如以上说明，根据有关实施方式4的行为识别装置，仅将物品的把持状态表示规定的把持状态、并且发生了手的速度变化的时刻的手的运动数据的选择为用于行为识别的手的运动数据。此外，将物品的把持状态还用于行为识别。因此，能够考虑发生行为时的物品的把持状态而进行行为识别，与实施方式1相比，能够更高精度地识别行为。

(实施方式5)

在有关实施方式5的行为识别装置中，基于手的运动数据、用户的手臂姿势及物的把持状态，进行手的运动数据的选择及相似度的计算。

图18是表示有关本发明的实施方式5的行为识别装置的结构的模块图。关于与上述实施方式所示的行为识别装置的结构相同的构成单元赋予相同的标号。其功能及名称也是相同的，所以在这里不重复其详细的说明。

有关实施方式5的行为识别装置具备手动作观测部501、速度变化检测部102、手臂姿势推测部202、把持检测部402、特征选择部503、行为标准模式存储部504和行为识别部505。

手动作观测部501与手动作观测部101同样，将手的加速度数据、角速度数据及速度数据作为手的运动数据来输出。除此以外，手动作观测部501还传感检测前臂、上臂及肩的加速度、角速度，将传感检测结果作为手的运动数据来输出。进而，手动作观测部501还传感检测手的肌肉的电位即手的肌电信息并进行输出。即，手动作观测部501具有兼具备手动作观测部201和手动作观测部401的功能的结构。

特征选择部503使用在速度变化检测部102中检测到的表示速度变化的数据、在手臂姿势推测部202中推测的表示手臂姿势的数据、和在把持检测部402中推测的表示把持状态的数据，选择用于行为识别的手的运动数据。即，在手臂姿势推测部202中推测的手臂姿势表示规定的手臂姿势、并且在把持检测部402中推测的把持状态表示规定的把持状态的情况下，由速度变化检测部102检测到发生了手的速度变化的时刻的情况下，特征选择部503选择检测到的发生手的速度变化的时刻的手的运动数据。

行为标准模式存储部504按照用户的每行为，存储有用发生手的速度变化的时刻的手的运动数据的序列来表现该行为的动作模式数据序列、发生手的速度变化的时刻的手臂姿势以及发生手的速度变化的时刻的把持状态的组。如图19所示，在行为标准模式存储部204中，按照用户的每个行为，存储有动作模式序列ID、行为标签、动作模式数据序列、手臂姿势、和把持状态。“手臂姿势”及“把持状态”如上述实施方式中说明。例如表示：行为“饮用饮料”的“手臂姿势”是“手在胸前”，“把持状态”是“把持”。

行为识别部505求出存储在行为标准模式存储部504中的动作模式数据序列、手臂姿势及把持状态的组、与由特征选择部503选择的手的运动数据、发生了手的速度变化的时刻的由手臂姿势推测部202推测的手臂姿势以及发生了手的速度变化的时刻的由把持检测部402推测到的把持状态的相似度。并且，通过将与相似度最大的组对应的行为标签输出，来识别用户的行为。

对这样构成的有关本实施方式的行为识别装置的动作例进行说明。图20是表示有关本实施方式的行为识别装置的处理的流程图。关于与有关上述的实施方式的行为识别装置的处理相同的处理赋予相同的步骤号。

手动作观测部501传感检测用户的手的运动，输出手的运动数据(手的加速度数据、角速度数据、速度数据、前臂、上臂及肩的加速度、角速度、手的肌电信息)(步骤S101)。

手臂姿势推测部202根据从手动作观测部501输出的手的运动数据中的、前臂、上臂及肩的加速度、角速度，推测肘、肩的关节的角度。此外，根据肘、肩的关节的角度，推测相对于用户身体的手臂姿势(步骤S201)。

把持检测部402根据从手动作观测部501输出的手的肌电信息，推测是否是手把持着物品的状态即把持状态(步骤S401)。

速度变化检测部102根据从手动作观测部501输出的手的运动数据，检测发生手的速度变化的时刻，作为一例而检测手的速度为指定的阈值以下的时刻(步骤S102)。

在手臂姿势推测部202中推测的手臂姿势表示规定的手臂姿势、并且由把持检测部402推测的把持状态表示规定的把持状态的情况下，由速度变化检测部102检测到发生了手的速度变化的时刻时，特征选择部503选择检测到的发生了手的速度变化的时刻的手的运动数据(步骤S503)。作为一例，设想由手臂姿势推测部202推测的手臂姿势表示手的位置存在于身体的前方1m周围、并且由把持检测部402推测的把持状态表示手把持着物品的情况。在此情况下，在由速度变化检测部102检测到发生了手的速度变化的时刻的情况下，特征选择部503从由手动作观测部501输出的手的运动数据中，选择检测到的发生了手的速度变化的时刻的手的运动数据。由此，特征选择部503在把持着物品而使用的情况下，能够仅选择手接触到身体上的情况或手位于作为手的存在位置而被认为是重要的地方的情况、并且发生了手的速度变化的情况下的运动数据。作为作为手的存在位置而被认为是重要的地方的具体的一例，可以举出在用刀削水果时为胸前、在用刀切食材时为腰前等。因此，在总是观测手的运动的情况下，能够根据高频度发生的手的速度变化点、选择作为手的位置被认为是重要的速度变化点。另外，作为一例，将手的位置存在于身体的前方1m周围的情况设为了作为手的存在位置被认为是重要的地方，但也可以将认为重要的部位例如胸前、腰前、接触到身体上的情况那样细分而设定。

行为识别部505按照存储在行为标准模式存储部504中的每个动作模式数据序列ID，求出动作模式数据序列、手臂姿势及把持状态的组、与由行为标准模式存储部504选择的手的运动数据、发生了手的速度变化的时刻的由手臂姿势推测部202推测的手臂姿势及发生了手的速度变化的时刻的由把持检测部402推测的把持状态的相似度(步骤S504)。例如，仅在存储在行为标准模式存储部504中的手臂姿势及把持状态、与由手臂姿势推测部202推测的手臂姿势及由把持检测部402推测的把持状态一致的情况下，行为识别部505求出动作模式数据序列与手的运动数据之间的相似度。在不一致的情况下，行为识别部505将相似度设为0。另外，相似度的计算使用公知的技术进行，其详细的说明省略。

行为识别部505将求出的相似度与指定的阈值比较(步骤S105)。在相似度为指定的阈值以上的情况下(步骤S105中是)，行为识别部505输出与相似度最大的动作模式数据序列对应的行为标签(步骤S106)。

如以上说明，根据有关实施方式5的行为识别装置，在手臂姿势表示规定的姿势、并且物品的把持状态表示规定的把持状态的情况下，检测到发生了手的速度变化的时刻时，仅将检测到的发生了手的速度变化的时刻的手的运动数据选择为用于行为识别的手的运动数据。此外，将手臂姿势及把持状态还用于行为识别。因此，能够考虑发生行为时的手的位置及物品的把持状态来进行行为识别。因此，与实施方式1相比，能够更高精度地识别行为。

以上，对有关本发明的实施方式的行为识别装置进行了说明，但本发明并不限定于该实施方式。

例如，在上述实施方式中，将在速度变化检测部102中检测到的发生了速度变化的时刻设为手的运动的速度是指定的阈值以下的时刻，但并不限定于此。例如，也可以检测进行了规定的动作的时刻。例如，也可以在关注时刻的速度矢量与关注时刻的下一时刻的速度矢量的余弦距离小于指定的阈值的情况下，将关注时刻设为发生了手的速度变化的时刻。由此，能够检测用户有意使手的运动急剧地变化的时刻。作为一例，考虑将手相对于地面水平地伸到杯子后拿起杯子并拉回而将杯子移动到嘴边的情况。在此情况下，如果将手伸展的运动的速度矢量与拉回的运动的速度矢量的余弦距离小于指定的阈值，则表示手运动的方向较大地变化。由此，能够检测运动的连续性中断的时刻、即进行有某种有意图的动作的时刻。

此外，上述的各装置具体而言也可以构成为由微处理器、ROM、RAM、硬盘驱动器、显示单元、键盘、鼠标等构成的计算机系统。在RAM或硬盘驱动器中存储有计算机程序。通过由微处理器按照计算机程序动作，各装置实现其功能。这里，计算机程序是为了实现规定的功能而将多个表示对计算机的指令的命令代码组合而构成的。

进而，构成上述各装置的构成单元的一部分或全部也可以由1个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个结构部集成在1个芯片上而制造的超多功能LSI，具体而言是包括微处理器、ROM、RAM等而构成的计算机系统。在RAM中存储有计算机程序。通过由微处理器按照计算机程序动作，系统LSI实现其功能。

进而，构成上述各装置的构成单元的一部分或全部也可以由相对于各装置能够拆装的IC卡或单体的模块构成。IC卡或模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或模块也可以包括上述超多功能LSI。通过由微处理器按照计算机程序动作，IC卡或模块实现其功能。该IC卡或该模块也可以具有防篡改性。

此外，本发明也可以是上述所示的方法。此外，也可以是由计算机实现这些方法的计算机程序，也可以是由上述计算机程序构成的数字信号。

进而，本发明也可以是将上述计算机程序或上述数字信号记录到计算机可读取的记录媒体、例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc(注册商标))、半导体存储器等中的产品。此外，也可以是记录在这些记录媒体中的上述数字信号。

此外，本发明也可以是将上述计算机程序或上述数字信号经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等传送的系统。

此外，本发明也可以是具备微处理器和存储器的计算机系统，上述存储器存储有上述计算机程序，上述微处理器按照上述计算机程序动作。

此外，通过将上述程序或上述数字信号记录到上述记录媒体中并移送、或通过将上述程序或上述数字信号经由上述网络等移送，由独立的其他计算机系统实施。

进而，也可以将上述实施方式分别进行组合。

此次公开的实施方式在所有的方面都是例示，而不应被认为是限制性的。本发明的范围不是由上述说明示出，而是由权利要求书示出，意味着包含与权利要求书等同的意义及范围内的全部的变更。

工业实用性

本发明作为能够观测用户的行为、总是持续地传感检测用户的行为的可佩戴设备或持续记录用户的行为的生活日志收集设备、监视用户的健康等的健康家电等具有实用性。

标号说明

101、201、401、501手动作观测部

102速度变化检测部

103、203、303、403、503特征选择部

104、204、304、404、504行为标准模式存储部

105、205、305、405、505行为识别部

202手臂姿势推测部

301身体姿势观测部

302身体姿势推测部

402把持检测部

701、702速度矢量

1001～1004区域

Claims (13)

1.一种行为识别装置，基于手的运动来识别用户的行为，具备：

手动作观测部，通过检测用户的手的运动，输出表示该手的运动的手的运动数据；

速度变化检测部，根据从上述手动作观测部输出的上述手的运动数据，检测上述用户的手的运动采取规定的行为模式的时刻；

特征选择部，选择在由上述速度变化检测部检测到的时刻从上述手动作观测部输出的上述手的运动数据；

行为标准模式存储部，按照用户的每个行为，存储了用手的运动数据的序列来表现的动作模式数据序列；以及

行为识别部，将由相似度最大的动作模式数据序列表现的行为识别为上述用户的行为，该相似度是按照存储在上述行为标准模式存储部中的每个上述动作模式数据序列，根据该动作模式数据序列和由上述特征选择部选择的上述手的运动数据来求出的。

2.如权利要求1所述的行为识别装置，其中，

上述行为识别装置还具备手臂姿势推测部，该手臂姿势推测部根据从上述手动作观测部输出的上述手的运动数据，推测相对于上述用户的身体的手臂姿势；

上述特征选择部在上述手臂姿势表示规定的手臂姿势的情况下，由上述速度变化检测部检测到上述用户的手的运动采取了规定的行为模式的时刻的情况下，选择检测到的上述用户的手的运动采取上述规定的行为模式的时刻的上述手的运动数据。

3.如权利要求2所述的行为识别装置，其中，

上述行为识别装置还具备推测上述用户的身体姿势的身体姿势推测部；

上述特征选择部在上述手臂姿势表示规定的手臂姿势、并且上述身体姿势表示规定的身体姿势的情况下，在由上述速度变化检测部检测到上述用户的手的运动采取了规定的行为模式的时刻的情况下，选择检测到的上述用户的手的运动采取上述规定的行为模式的时刻的上述手的运动数据。

4.如权利要求2所述的行为识别装置，其中，

上述行为标准模式存储部按照用户的每个行为，存储了用手的运动数据的序列来表现该行为的动作模式数据序列及发生上述手的速度变化的时刻的手臂姿势的组；

上述行为识别部将由相似度最大的组表现的行为识别为上述用户的行为，该相似度是按照每个上述组，根据该组、和由上述特征选择部选择的上述手的运动数据及上述用户的手的运动采取上述规定的行为模式的时刻的由上述手臂姿势推测部推测的上述手臂姿势来求出的。

5.如权利要求1所述的行为识别装置，其中，

上述行为识别装置还具备把持检测部，该把持检测部推测上述用户的手抓住物品时的把持状态；

上述特征选择部在上述把持状态表示规定的把持状态的情况下，由上述速度变化检测部检测到上述用户的手的运动采取上述规定的行为模式的时刻的情况下，选择检测到的上述用户的手的运动采取上述规定的行为模式的时刻的上述手的运动数据。

6.如权利要求5所述的行为识别装置，其中，

上述行为标准模式存储部按照用户的每个行为，存储了用手的运动数据的序列了表现该行为的动作模式数据序列及上述用户的手的运动采取上述规定的行为模式的时刻的把持状态的组；

上述行为识别部将由相似度最大的组表现的行为识别为上述用户的行为，该相似度是按照每个上述组，根据该组、和由上述特征选择部选择的上述手的运动数据及上述用户的手的运动采取上述规定的行为模式的时刻的由上述把持检测部检测到的上述把持状态来求出的。

7.如权利要求2所述的行为识别装置，其中，

上述行为识别装置还具备把持检测部，该把持检测部推测上述用户的手抓住物品时的把持状态；

上述特征选择部在上述手臂姿势表示规定的手臂姿势、并且上述把持状态表示规定的把持状态的情况下，在由上述速度变化检测部检测到上述用户的手的运动采取上述规定的行为模式的时刻的情况下，选择检测到的上述用户的手的运动采取上述规定的行为模式的时刻的上述手的运动数据。

8.如权利要求4所述的行为识别装置，其中，

上述行为标准模式存储部按照用户的每个行为，存储了用手的运动数据的序列来表现该行为的动作模式数据序列、上述用户的手的运动采取上述规定的行为模式的时刻的手臂姿势及上述用户的手的运动采取上述规定的行为模式的时刻的把持状态的组；

上述行为识别部将由相似度最大的组表现的行为识别为上述用户的行为，该相似度是按照每个上述组，根据该组、和由上述特征选择部选择的上述手的运动数据、上述用户的手的运动采取上述规定的行为模式的时刻的由上述手臂姿势推测部推测的上述手臂姿势及上述用户的手的运动采取上述规定的行为模式的时刻的由上述把持检测部检测到的上述把持状态来求出的。

9.如权利要求1～8中任一项所述的行为识别装置，其中，

上述速度变化检测部基于上述手的运动数据，检测手的速度为规定的阈值以下的时刻，作为上述用户的手的运动采取上述规定的行为模式的时刻。

10.如权利要求1～8中任一项所述的行为识别装置，其中，

上述速度变化检测部基于上述手的运动数据，检测某个检测时刻的手的速度矢量与下一检测时刻的手的速度矢量之间的余弦距离小于规定的阈值的上述某个检测时刻，作为上述用户的手的运动采取上述规定的行为模式的时刻。

11.如权利要求1～8中任一项所述的行为识别装置，其中，

上述速度变化检测部基于上述手的运动数据，检测某个检测时刻的手的速度矢量与下一检测时刻的手的速度矢量之间的速度梯度差为规定的阈值以上的上述某个检测时刻，作为上述用户的手的运动采取上述规定的行为模式的时刻。

12.一种行为识别方法，基于手的运动来识别用户的行为，包括：

手动作观测步骤，通过检测用户的手的运动，输出表示该手的运动的手的运动数据；

速度变化检测步骤，根据在上述手动作观测步骤中输出的上述手的运动数据，检测上述用户的手的运动采取规定的行为模式的时刻；

特征选择步骤，选择在上述速度变化检测步骤中检测到的时刻上述手动作观测步骤中输出的上述手的运动数据；以及

行为识别步骤，将由相似度最大的动作模式数据序列表现的行为识别为上述用户的行为，该相似度是按照存储在行为标准模式存储部中的每个上述动作模式数据序列、根据该动作模式数据序列和在上述特征选择步骤中选择的上述手的运动数据来求出的，上述行为标准模式存储部按照用户的每个行为，存储有用手的运动数据的序列来表现的动作模式数据序列。

13.一种程序，基于手的运动来识别用户的行为，使计算机执行：

手动作观测步骤，通过检测用户的手的运动，输出表示该手的运动的手的运动数据；

速度变化检测步骤，根据在上述手动作观测步骤中输出的上述手的运动数据，检测上述用户的手的运动采取规定的行为模式的时刻；

特征选择步骤，选择在上述速度变化检测步骤中检测到的时刻上述手动作观测步骤中输出的上述手的运动数据；以及

行为识别步骤，将由相似度最大的动作模式数据序列表现的行为识别为上述用户的行为，该相似度是按照存储在行为标准模式存储部中的每个上述动作模式数据序列，根据该动作模式数据序列和在上述特征选择步骤中选择的上述手的运动数据来求出的，上述行为标准模式存储部按照用户的每个行为，存储有用手的运动数据的序列来表现的动作模式数据序列。

Images