CN102283654A - 肌肉活动诊断装置、方法和程序 - Google Patents

Abstract

本发明公开了肌肉活动诊断装置、方法以及程序，该肌肉活动诊断装置包括：获取部，从测试对象中获取肌电信号；变换信号生成部，使用肌电信号作为原始信号，通过对原始信号执行希尔伯特变换和逆傅里叶变换来生成变换信号；相位速度计算部，基于原始信号和变换信号的相位来计算肌电信号的相位速度；以及状态确定部，基于单位时间内肌电信号的波形的多个特征量，确定每个单位时间内测试对象的身体的预定部位的肌肉活动状态，该多个特征量至少包括肌电信号的振幅大小和算出的相位速度。

Description

肌肉活动诊断装置、方法和程序

技术领域

本公开涉及肌肉活动诊断装置、方法和程序。具体地，本公开涉及能够在不给日常生活中带来许多麻烦的情况下有效地获得肌电位的变化，并且能够确定每时每刻都在变化的人的肌肉的活动状态的肌肉活动诊断装置、方法和程序。

背景技术

随着面部表情肌肉的动作而发生的肌电位的变化由许多块肌肉同时动作引起。因此，为了根据肌电信号来确定面部表情，需要将传感器附接至人体的各个部位(例如，参考日本未审查专利申请公开第2000-285221号、第10-143309号和第63-172322号)。

此外，通过合并有诸如耳机等的装置，能够从作为用于获得生物信息的器件的耳朵的外耳道获得诸如肌电位等的生物信息(例如，参考日本未审查专利申请公开第2008-67911号)。

此外，为了以定量的方式掌握肌电位的变化，已经提出了一种用于对检测到的数据应用傅里叶变换的技术(例如，参考日本未审查专利申请公开第01-86936号)。

此外，已经提出了一种其中将小波变换应用于肌电位数字数据，以及获得频率随时间的变化(动态频谱)，并且检测广频带中变化的发生时间以自动地检测动作开始时刻的技术(例如，参考日本专利第3983989号)。

发明内容

然而，如日本未审查专利申请公开第2000-285221号、第10-143309号和第63-172322号所描述的，如果将传感器附接至人的各个部位，则会给人带来日常生活中的不舒服感。例如，为了掌握面部表情肌肉的动作以推测面部表情并且基于推测的表情来操作机器，需要将许多个电极附接在那个人的脸上，这会给那个人带来日常生活中的很多麻烦。

此外，利用在日本未审查专利申请公开第2008-67911号所描述的技术，由于在实际生活环境中存在非常大的噪声，因此很难获得生物信号。

此外，如日本未审查专利申请公开第01-86936号所示出的，当通过执行傅里叶变换来检测各部位的肌电活动时，除了将信号波形存储相当长的时间并然后对其分析以外，很难预期可靠的检测结果。此外，如日本专利第3983989号所示，尽管通过执行小波变换能够获得肌电位的活动开始时刻，但很难确定在活动的肌肉。

鉴于上述情况，创作了本发明。期望能够在不带来日常生活中的许多麻烦的情况下有效地获得肌电位的变化，并且能够确定每时每刻都在变化的人的肌肉的活动状态。

根据本公开的实施方式，提供了一种肌肉活动诊断装置，其包括：获取部，从测试对象中获取肌电信号；变换信号生成部，使用该肌电信号作为原始信号，通过对原始信号执行希尔伯特变换和逆傅里叶变换来生成变换信号；相位速度计算部，基于原始信号和变换信号的相位来计算肌电信号的相位速度；以及状态确定部，基于单位时间内肌电信号的波形的多个特征量，确定每个单位时间内测试对象的身体的预定部位的肌肉活动状态，该多个特征量至少包括肌电信号的振幅大小和算出的相位速度。

在上述实施方式中，获取部可以对从插入测试对象的外耳道中的耳机型传感器所获得的电信号以差动方式进行检测，并将该信号数字化以获得肌电信号。

在上述实施方式中，状态确定部可以确定测试对象的脸部的多个部位的肌肉活动状态，并可以输出表示测试对象的面部表情的信号，其中该测试对象的面部表情基于所确定的多个部位的肌肉活动状态来推测。

在上述实施方式中，耳机型传感器可以设置有用于检测通过测试对象的肌肉活动所产生的电信号的肌电电极；用于检测参考电压的电压检测电极，该参考电压是测试对象的耳中的电位与耳机型传感器中的电路的电位之间的差；以及用于提供通过将参考电压反相放大所产生的反馈电压的反馈电极。

在上述实施方式中，状态确定部使用预先提供的、单位时间内肌电信号的波形的所述多个特征量作为参数，可以根据具有参数与测试对象的肌肉活动状态间的相对应关系的样本来执行机器学习，并可以基于机器学习的结果来确定肌电信号的多个特征量，以确定测试对象的身体的预定部位的肌肉活动状态。

在上述实施方式中，可以使用ADaboost作为利用机器学习的识别方法。

根据本公开的另一实施方式，提供一种诊断肌肉活动的方法，其包括：获取部从测试对象中获取肌电信号；变换信号生成部通过对原始信号执行希尔伯特变换和逆傅里叶变换生成变换信号；相位速度计算部基于原始信号和变换信号的相位计算肌电信号的相位速度；以及状态确定部基于单位时间内肌电信号的波形的多个特征量，确定每个单位时间内测试对象的身体的预定部位的肌肉活动状态，其中多个特征量至少包括肌电信号的振幅大小和算出的相位速度。

根据本公开的另一实施方式，提供了一种用于使计算机用作肌肉活动诊断装置的程序，该装置包括：获取部，从测试对象中获取肌电信号；变换信号生成部，使用该肌电信号作为原始信号，通过对原始信号执行希尔伯特变换和逆傅里叶变换来生成变换信号；相位速度计算部，基于原始信号和变换信号的相位来计算肌电信号的相位速度；以及状态确定部，基于单位时间内肌电信号的波形的多个特征量，确定每个单位时间内测试对象的身体的预定部位的肌肉活动状态，其中该多个特征量至少包括肌电信号的振幅大小和算出的相位速度。

利用本公开的实施方式，从测试对象中获取肌电信号；使用肌电信号作为原始信号，通过对原始信号执行希尔伯特变换和逆傅里叶变换来生成变换信号；基于原始信号和变换信号的相位来计算肌电信号的相位速度；并且基于单位时间内肌电信号的波形的多个特征量，确定每个单位时间内测试对象的身体的预定部位的肌肉活动状态，其中该多个特征量至少包括肌电信号的振幅大小和算出的相位速度。

通过本公开，能够在不给日常生活中带来许多麻烦的情况下有效地获得肌电位的变化，并且能够确定每时每刻都在变化的人的肌肉的活动状态。

附图说明

图1是示出了根据本公开实施方式的面部表情检测装置的构造的示例的框图；

图2A和图2B分别是示出了原始信号和变换信号的波形的示图；

图3是示出了相位图的示例的示图；

图4是相位速度的说明图；

图5是计算相位速度的方法的说明图；

图6是示出了人的颊肌在活动时的肌电信号的相位速度的示图；

图7是示出了人的下颚肌在活动时的肌电信号的相位速度的示图；

图8是其中基于肌电信号的相位速度和肌电信号的振幅来确定脸部动作和表情的示例的说明图；

图9是示出了肌电信号的频谱的示例的示图；

图10是耳机型传感器的侧视图；

图11是图10的耳机型传感器的正视图；

图12是将耳机型传感器塞入的说明图；

图13是肌电信号的机器学习的说明图；

图14是机器学习的优点的说明图；

图15是脸部表情检测处理的示例的流程图；以及

图16是示出了个人计算机的构造的示例的框图。

具体实施方式

下文中，将参考附图给出本发明的实施方式的描述。图1是示出了根据本公开实施方式的面部表情检测装置的构造的示例的框图。

图中所示的面部表情检测装置10通过附接至使用者20的耳朵的耳机型传感器来检测肌电信号，并且基于检测到的肌电信号来确定使用者20的脸部肌肉的活动。因此，能够检测使用者20的脸部动作和表情。在这点上，肌电信号是肌肉活动时所产生的微弱电信号。

注意，肌电信号显示依赖于活动的肌肉部位的不同的频率特性。例如，注意，当脸颊的肌肉活动时，输出具有相对低频的信号成分的肌电信号。但是，注意，当下颚的肌肉活动时，输出具有相对高频的信号成分的肌电信号。

面部表情检测装置10分析肌电信号的频率特性，并且基于所获得的频率特性来粗略地确定哪些部位的肌肉在活动。此外，面部表情检测装置10基于肌电信号的振幅来确定该部位的肌肉的活动量。并且，面部表情检测装置10基于正活动的肌肉部位和活动量来检测使用者20的脸部的动作和表情。

稍后将给出耳机型传感器的详细描述。该耳机型传感器设置有用于检测肌电信号的肌电电极、用于调整使用者20的耳中的电位以及耳机型传感器中的电路的电位的电压检测电极、以及反馈电极。肌电电极连接至信号线51和信号线52，并且电压检测电极和反馈电极分别连接至信号线53和信号线54。

反相放大器滤波器电路48将通过信号线53检测到的参考电压(使用者20的耳中的电位与耳机型传感器中的电路的电位间的差)反向放大，以产生反馈电压，并将该电压提供给信号线54。

在这点上，面部表情检测装置10可以构造为不具有反相放大器滤波器电路48。

由耳机型传感器检测到的肌电信号通过信号线51和信号线52被输入至输入信号处理部41。输入信号处理部41将分别从信号线51和信号线52获得的电信号之间的差放大，并将该信号输出。

输入信号处理部41在内部包括例如差动检测部、滤波器和放大器。在差动检测部中，从信号线51和信号线52获得的信号通过约0.1μF的电容器被耦合，并且穿过具有10GΩ以上的输入阻抗的计测(instrumentation)放大器，以产生差动信号。

滤波器包括例如带通滤波器和陷波滤波器，以消除差动信号的噪声。期望的是，滤波器具有例如从100Hz至1KHz通过的二阶以上(期望的是四阶)的带通滤波器，并且滤波器具有0.3至0.8的Q因数。并且，由于50Hz的信号非常大，所以插入了四阶陷波滤波器。

从滤波器输出的信号被放大器放大，并被输出。使用具有在1000至50000(包括两端点值)之间的可变放大系数的放大器。

在这点上，上述输入信号处理部41的构造为示例，并且可以采用与此不同的构造。

从输入信号处理部41输出的信号被提供给AD转换器42，并被转换为数字数据。AD转换器42例如以1000样本/秒和40000样本/秒之间(包括端点值)的采样速率来对该信号进行采样，并将该信号提供给希尔伯特变换部43、相位图生成部45和状态检测部47。

在这点上，从AD转换器42输出的信号是通过将从耳机型传感器实际检测到的肌电信号中的噪声消除、被放大、然后被采样以进行波形成形所产生的信号。因此，该信号应被认为是肌电信号。

希尔伯特变换部43对从AD转换器42输出的信号执行希尔伯特变换。

这里，将给出希尔伯特变换的描述。

傅里叶变换的算符由X来表示。关于预定频率ω的傅里叶变换由表达式(1)来表示。在这点上，表达式中的e表示自然对数的底。

X(e^iω)＝X_r(e^iω)+iX_i(e^iω)

(X_r(e^iω)实部，X_i(e^iω)虚部)...(1)

现在，表达式(1)的实部通过虚部来表示的表达式(2)被定义为如下。

$X_r\left(e^{\mathrm{i\ω}}\right)=\frac{1}{H\left(e^{\mathrm{i\ω}}\right)}{X}_i\left(e^{\mathrm{i\ω}}\right)=-H\left(e^{\mathrm{i\ω}}\right)X_i\left(e^{\mathrm{i\ω}}\right)...\left(2\right)$

由表达式(2)中所示的算符H所表示的运算为希尔伯特变换。在希尔伯特变换中，以与傅里叶变换相同的方式，计算预定值来作为多个频率ω中的每一个的元素。现在，假定具有n个频率ω，利用希尔伯特变换关于第n个频率ω_n计算出的元素h[n]由表达式(3)来表达。

$h\left[n\right]=\frac{1}{2\mathrm{\π}}{\∫}_{-\mathrm{\π}}^0{\mathrm{ie}}^{\mathrm{i\ωn}}\mathrm{d\ω}-\frac{1}{2\mathrm{\π}}{\∫}_0^{\mathrm{\π}}{\mathrm{ie}}^{\mathrm{i\ωn}}\mathrm{d\ω}...\left(3\right)$

希尔伯特变换部43将由表达式(3)表示的n个元素分别输出，这些元素通过对从AD转换器42输出的信号(被称作原始信号)执行希尔伯特变换来生成。

逆傅里叶变换部44对从希尔伯特变换部43输出的n个元素执行逆傅里叶变换。因此，在整个频带中，生成了具有其相位相对于原始信号的相位移动90°的波形的信号。

相位图生成部45基于原始信号和从逆傅里叶变换部44输出的信号(被称作变换信号)生成相位图。相位图生成部45生成其中原始信号的值绘制在水平轴上而变换信号的值绘制在垂直轴上的相位图。

图2A和图2B分别是示出了原始信号和变换信号的波形的示图。在图2A中，水平轴表示时间，垂直轴表示电压，并且示出了原始信号的波形。在图2B中，水平轴表示时间，垂直轴表示电压，并且示出了变换信号的波形。图2B中的波形的相位相对于图2A中的同时刻波形的相位移动90°。

图3是示出了基于图2A中示出的原始信号和图2B中示出的变换信号生成的相位图的示例的示图。在图3中，水平轴表示原始信号的电压，垂直轴表示变换信号的电压。在图3中，通过将同一时刻中的原始信号的电压和变换信号的电压绘制成曲线，以与画环相同的方式示出了波形。在该图中，以坐标(0，0)作为波形(环)的中心，由线R指示的距离表示原始信号(或变换信号)的振幅。

在这点上，相位图生成部45不生成且不显示如图3等所示的相位图，而实际上生成对应于相位图的数据。也就是说，图3中所示的相位图可以说是假象地生成的。

返回参考图1，相位速度计算部46基于通过相位图生成部45生成的相位图来计算信号的相位速度。例如，如图4所示，通过指定图中的线R1和线R2并且用线R1与线R2间的角度φ除以时间间隔来获得相位速度，线R1与线R2是类似画环的波形中的两个振幅。

使用通过相位图生成部45生成的相位图，相位速度计算部46获得例如如图5所示的位置A的坐标和位置B的坐标，这些坐标是随着时间t变化的坐标。并且，相位速度计算部46如下来计算相位(角度)φ。也就是说，通过图5中的点A、点B和中心点形成三角形。当三角形的各边的长度由a、b和c表示时，可以通过表达式(4)和表达式(5)来计算相位φ。

$\cos \mathrm{\φ}=\frac{b^2+c^{2-}-a^2}{2\mathrm{bc}}...\left(4\right)$

φ＝sin^-1(1-cos²φ)...(5)

如表达式(5)所示，即使时间很短并且φ具有较小的值，也能够通过获得φ的反正弦来使计算灵敏度保持较高。这里，可以通过用所计算的φ除以时间t来获得相位速度。相位速度计算部46以该方式计算φ。

这里，计算了相位速度。然而，如果确定了相位速度，也可以确定肌电信号的频率。如上所述，肌电信号表示依赖于活动的肌肉部位的不同的频率特性。也就是说，代替检测肌电信号的频率，而是计算相位速度。例如，当检测信号的频率时，需要等待信号振荡至少一个周期。然而，相位速度的计算可以不需要等待信号振荡一个周期。

图6是示出了人的颊肌活动时的肌电信号的相位速度的示图。图7是示出了人的下颚肌活动时的肌电信号的相位速度的示图。在图6和图7中，水平轴表示肌电信号的振幅(图3中所示的线R)，垂直轴表示肌电信号的相位速度，并且肌电信号的相位速度的变化呈现为波形。

如图6所示，当颊肌活动时，不管电信号的振幅是多大，相位速度都未超过由线61表示的阈值。另一方面，如图7所示，当下颚肌活动时，肌电信号的相位速度超过了由线61所表示的阈值。

以这种方式，例如通过将相位速度和阈值相比较，能够推测现在是下颚肌在主要活动还是颊肌在主要活动。

返回参考图1，如上所述，相位速度计算部46将所算得与时刻相关联的肌电信号相位速度输出。也就是说，从AD转换器42输出的信号在每个时刻的相位速度是由相位速度计算部46算出的，并且每个时刻的相位速度信息被输出至状态检测部47。在这点上，输出该信息来作为表示相位速度随着时间的经过变化的信号。

状态检测部47基于从AD转换器42输出的信号和从相位速度计算部46输出的信号，来输出确定使用者20的脸部动作和表情等的信号。

图8是其中基于肌电信号的相位速度和肌电信号的振幅来确定使用者20的脸部动作和表情的示例的说明图。在图8中，图的上部中的曲线表示肌电信号(从AD转换器42输出的信号)的波形，其中时间作为水平轴，电压值作为垂直轴。在图8中，图的下部中的曲线表示图的上部中所示的肌电信号的相位速度的变化(从相位速度计算部46输出的信号的波形)，其中时间作为水平轴，相位速度作为垂直轴。

基于图的上部中的曲线的波形，例如，能够通过阈值判定振幅大小等，来推测使用者20脸部的哪个肌肉部位正在活动。换句话说，如果图的上部中的曲线的波形的振幅大小小于阈值，则认为使用者20的脸部肌肉几乎不活动。

此外，例如，如参考图6和图7所描述的，能够设定用于确定活动的肌肉部位的相位速度的阈值，并且能够基于图8的下部中的曲线的波形来推测使用者20的脸部肌肉中的哪块肌肉在活动。

以这种方式，如上述图8的上部曲线所示的，状态检测部47确定每个时刻(实际上，每单位时间)使用者20的脸部肌肉中的哪块肌肉(如“下颚”、“脸颊”...)正在活动。

在这点上，这里，给出了其中基于振幅的大小和相位速度进行阈值判定的示例的描述。如稍后所述，会对多个样本进行机器学习，并且可以确定使用者20脸部的哪个肌肉部位在活动。

例如，如果状态检测部47确定颊肌在主要活动，则认为使用者20在微笑，从而状态检测部47输出对应于脸部表情“微笑”的信号。此外，例如，如果状态检测部47确定下颚肌在活动，则认为使用者20具有不快的脸部表情。因此，状态检测部47输出对应于表情“不快”的信号。可替换地，可以输出与诸如“脸颊”、“下颚”等的肌肉部位相关的信号。

状态检测部47以这种方式输出确定使用者20的脸部动作和表情等的信号。

例如，如果从状态检测部47输出的信号被传输至另一机器，则使用者20可以仅通过改变脸部表情来操作该机器。

如上所述，在本公开中，肌电信号经过了希尔伯特变换，并经过了逆傅里叶变换，以根据基于原始信号和变换信号的相位图来计算相位速度。

例如，到此为止，通过对肌电信号执行傅里叶变换并分析频率特性，已检测出各部位的肌肉活动。

图9是示出了人的颊肌动时和人的下颚肌动时的肌电信号的频谱的示例的示图。在图9中，水平轴表示频率，垂直轴表示功率。图9的上部示出了颊肌动时的频谱。图9的下部示出了下颚肌动时的频谱。

如图9所示，应当理解，当颊肌活动时，输出具有相对较大的低频信号成分的肌电信号，而当下颚肌活动时，输出具有相对较大的高频信号成分的肌电信号。以这种方式，如果肌电信号经过傅里叶变换来获得频谱，则能够确定哪一肌肉部位在主要活动。

然而，当通过对肌电信号执行傅里叶变换来获得频谱时，除了将信号波形存储相当长的时间并然后对其分析以外，很难预期可靠的检测结果。例如，为了获得图9中所示的频谱，需花费10秒以上的时间。

认为人的脸部动作和表情通常不会长时间连续地没有变化，而是每时每刻在变化的。因此，利用对肌电信号执行傅里叶变换来获得频谱的方法，很难依次精确地确定人脸部动作和表情。

与之相比，在本公开中，对肌电信号进行希尔伯特变换，然后进行逆傅里叶变换，以通过使用原始信号和变换信号的相位来获得相位速度。因此，能够确定哪一肌肉部位在主要活动。因此，与现有技术相比较，能够使信号波形的存储时间非常短(例如，约0.4秒)。

也就是说，在本公开中，例如，每约0.4秒的单位时间对肌电信号的波形进行分析，并获得相位速度和振幅大小。因此，能够检测各单位时间内的使用者20的脸部动作和表情。以该方式，能够依次精确地确定人脸动作和表情。

以这种方式，面部表情检测装置10检测使用者20的面部动作和表情。

接下来，将给出耳机型传感器的描述。

图10是耳机型传感器70的侧视图。如图10所示，耳机型传感器70在一端设置有听筒71，该听筒由诸如低弹性聚亚安酯、硅树脂、聚丙烯、软橡胶等的软材料形成。并且电极装在听筒71上。在图10中，装有肌电电极81、肌电电极82和电压检测电极83。此外，如下文所述，反馈电极84装在图10中的盲区。

在这点上，如上所述，电压检测电极83是用于检测作为使用者20的耳中的电位与耳机型传感器中的电路的电位之间的差的参考电压的电极。此外，反馈电极84是用于提供通过将参考电压反相放大所产生的反馈电压的电极。

为了防止由弯曲引起的折皱，各个电极(其通过将银、氯化银等附着在诸如双侧胶带、PET膜等的膜态材料上来制成)被附接在听筒71上。在这点上，为了防止听筒71插入耳中时被挂住(stick)等，听筒71应设置有埋入各个电极的沟槽。

由各个电极检测的信号通过电缆72中的信号线被传输。在这点上，电缆72内部包括参考图1所描述的信号线51至信号线54。

图11是从图10的左侧截取的听筒71的正视图。如图11所示，包括三个电极的反馈电极84附接至听筒71的图中左侧。此外，肌电电极81、肌电电极82和电压检测电极83附接至图中的右侧。电压检测电极83被附接为置于肌电电极81与肌电电极82之间。

图12是将耳机型传感器70塞入的说明图。如图中所示，当将耳机型传感器70塞入使用者20的耳朵时，耳机型传感器70以肌电电极面向耳珠的方式插入外耳道。

在这点上，为了在耳机型传感器70的插入方向上不出错，例如，听筒71可以具有特定形状。也就是说，当使用者20将耳机型传感器70插入外耳道时，期望听筒71具有迫使使用者20将肌电电极指向耳珠的形状。

以这种方式，通过本发明，仅通过将耳机型传感器70插入使用者的耳中就能够确定使用者20的脸部的面部表情和动作。

例如，使用现有技术，如果获知了面部表情肌肉的动作，则推测出面部表情，并且机器基于推测的面部表情来运作，需要将许多电极附接至脸部。这在日常生活中给使用者带来许多麻烦。

另一方面，在本公开中，仅需要将耳机型传感器70插入耳中，因而不会在日常生活中给使用者带来较多麻烦。

接下来，将给出机器学习的描述。如上所述，面部表情检测装置10的状态检测部47可以基于机器学习结果来确定使用者20的面部表情和面部动作。

这里，假设“AdaBoost”用作机器学习的方法。“AdaBoost”是在学习时在边界区域中重复进行学习并通过一次学习就能够有效地分离(识别)结果为失败的事例的方法。肌电信号的振幅大小和相位速度的上述组合被用作机器学习参数。

例如，图13中所示的肌电信号被分为0.4秒帧，并且针对使用者20的脸部的三个状态(“静止”(没有表情)、“微笑”和“咀嚼”)提供了50个样本。在图13中，水平轴表示时间，垂直轴表示电压，并且示出了肌电信号(从AD转换器42输出的信号)的波形。

图13中的上部曲线的波形是颊肌活动时的肌电信号的波形。在该情况下，使用者20的脸部状态变为“微笑”。图13中的下部曲线的波形是下颚肌活动时的肌电信号的波形。在该情况下，使用者20的脸部状态变为“咀嚼”。在这点上，尽管图中没有示出，但也获得并获知了使用者20的脸部状态为“静止”时的肌电信号。

图13的底部处所示的U形图解符号101和102表示0.4秒帧的时间间隔。肌电信号的波形除以这样的帧。

当进行机器学习时，针对三个状态“静止”、“微笑”和“咀嚼”中的每个肌电信号产生50个0.4秒帧，并获得了每一帧的波形。并且波形的振幅大小和相位速度的组合作为分别与“静止”、“微笑”和“咀嚼”相关联的学习参数被学习。此外，基于学习结果，根据实际输入的肌电信号来确定使用者20的脸部状态。

图14是机器学习的优点的说明图。在图14中，针对三个状态“静止”、“微笑”和“咀嚼”，对利用机器学习的识别方法和未利用机器学习的识别方法之间进行了比较，并且使用“10折交叉验证”来计算识别的精度。在这点上，在“10折交叉验证”中，所有数据的90％被用作学习数据，并且剩下的10％被用作测试数据，以确定使用者20的脸部状态。

这里，如上所述，“AdaBoost”被用作利用机器学习的识别方法，并且采用单纯的阈值判定来作为未利用机器学习的识别方法。此外，这里，对于学习参数的比较，除了振幅大小和相位速度的组合之外，还采用了多个零交叉和均方误差的组合。在这点上，这里，振幅大小、相位速度、多个零交叉以及均方误差分别是从每一帧的波形提取的特征量。

在图14中，具有“阈值-相位速度-振幅”描述的情况表示振幅大小和相位速度的组合用作参数时的正确回答率，并且通过单纯的阈值判定来识别使用者20的脸部状态。

同样，在图14中，具有“AdaBoost-相位速度-振幅”描述的情况表示振幅大小和相位速度的组合用作参数时的正确回答率，并且通过“AdaBoost”来识别使用者20的脸部状态。

此外，在图14中，具有“阈值-均方误差-零交叉”描述的情况表示多个零交叉和均方误差的组合用作参数时的正确回答率，并且通过单纯的阈值判定来识别使用者20的脸部状态。

同样，在图14中，具有“AdaBoost-均方误差-零交叉”描述的情况表示多个零交叉和均方误差的组合用作参数时的正确回答率，并且通过“AdaBoost”来识别使用者20的脸部状态。

如图14所示，在分别的三个状态“静止”、“微笑”和“咀嚼”中，其中振幅大小和相位速度的组合用作参数，并且通过机器学习(“AdaBoost”)来执行识别的情况均具有最高的正确回答率。

在这点上，作为利用机器学习的识别方法，除“AdaBoost”之外，可以采用“神经网络”、“线性判定”和“支持向量机”等。同样，对于参数，可以使用大量特征量。例如，振幅大小、相位速度和特征量(诸如多个零交叉、均方误差、倒谱系数、频带功率等)的组合可以用作参数。

同样，这里所示的三个状态“静止”、“微笑”和“咀嚼”均为示例。使用包括振幅大小和相位速度的参数还能够识别其他状态。

接下来，将参考图15中的流程图给出利用根据本公开的面部表情检测装置10进行面部表情检测处理的示例的描述。

在步骤S21中，输入信号处理部41对通过耳机型传感器70检测到的肌电信号(信号线51和信号线52上的信号)执行差动检测。并且输入信号处理部41通过带通滤波器和陷波滤波器执行滤波器处理，以消除已经过滤波器处理的差动检测信号的噪声，并使用放大器放大该信号。

在步骤S22中，AD转换器42对通过步骤S21中进行的处理所生成的信号执行AD转换。此时，例如，以预定采样速率对通过步骤S21中的处理所生成的信号进行采样，以生成一信号。

在这点上，在步骤S22中生成的信号作为上述原始信号。

在步骤S23中，希尔伯特变换部43对步骤S22中生成的信号执行希尔伯特变换。此时，例如，分别输出通过上述表达式(3)所算得的n个元素。

在步骤S24中，逆傅里叶变换部44对在步骤S23中从希尔伯特变换部43输出的n个元素执行逆傅里叶变换。因此，在整个频带中生成具有其相位相对于原始信号(在步骤S22中生成的信号)的相位移动90°的波形的信号。

在这点上，在步骤S24中生成的信号作为上述变换信号。

在步骤S25中，相位图生成部45基于原始信号和变换信号(在步骤S24中生成)来生成相位图。此时，例如，生成如参考图3所描述的相位图(实际上为对应于相位图的数据)。

在步骤S26，相位速度计算部46基于在步骤S25中的处理中生成的相位图来计算相位速度。此时，例如，如上述参考图4和图5所描述的，执行表达式(4)和表达式(5)的运算，并计算相位速度。并且，相位速度计算部46将算得的与时间相关联的相位速度输出。也就是说，从AD转换器42输出的信号的每个时刻的相位速度通过相位速度计算部46来计算，并被输出至状态检测部47，来作为表示相位速度随时间经过的变化的信号。

在步骤S27中，状态检测部47检测使用者20的面部表情(或面部动作等)。此时，状态检测部47基于通过步骤S22中的处理所生成的信号和通过步骤S26中的处理所获得的相位速度的信号，输出识别使用者20的面部动作和面部表情的信号。例如，如图8中的上部曲线所示，输出确定各时刻使用者20的面部肌肉中的哪块肌肉(如“下颚”、“脸颊”...)在主要活动的信号。

以这种方式，执行面部表情检测处理。

将给出其中通过将耳机型传感器70插入使用者20的耳中来检测使用者20的面部动作和表情的示例的描述。然而，如果传感器附接至使用者20的手或脚，则能够检测使用者20的手或脚在各时刻时的状态。也就是说，本公开不仅可以应用于面部表情检测装置，而且还可以应用于一般的肌肉活动诊断装置。

在这点上，上述的一系列处理可以通过硬件或通过软件来执行。当通过软件执行该一系列处理时，构成该软件的程序可从网络或记录介质安装到内置于专用硬件中的计算机中。可选地，可以将来自网络或记录介质的各种程序例如安装在图16中所示的通用个人计算机700(其通过安装各种程序而能够执行各种功能)中。

在图16中，CPU(中央处理单元)701根据存储在ROM(只读存储器)702中的程序或从存储部708载入RAM(随机存取存储器)703中的程序来执行各种处理。此外，RAM 703适当地存储通过CPU 701等执行各种处理所需要的数据。

CPU 701、ROM 702和RAM 703通过总线704而互相连接。输入/输出接口705也连接至总线704。

包括键盘、鼠标等的输入部706、包括显示器(包括LCD(液晶显示器)等)和扬声器的输出部707等连接至输入/输出接口705。此外，包括硬盘等的存储部708；包括调制解调器、诸如LAN卡的网络接口卡的通信部709连接至输入/输出接口705。通信部709通过包括因特网的网络执行通信处理。

驱动器710根据需要而连接至输入/输出接口705。诸如磁盘、光盘、磁光盘或半导体存储器等的可移动介质711适当地装入驱动器710，并且从可移动介质读取的计算机程序根据需要而安装在存储部708中。

如果通过软件执行上述一系列处理，则将来自于诸如因特网的网络或包括可移动介质711的记录介质的构成软件的程序安装。

在这点上，记录介质不仅包括可移动介质711而且包括ROM 702和包括在存储部708中的硬盘等，其中该可移动介质将从图16中所示的装置主单元独立分配给使用者的程序存储，并包括例如磁盘(包括软盘(注册商标))、光盘(CD-ROM(光盘)-只读存储器)、DVD(数字多用途光盘)、磁光盘(包括MD(微小光盘)(注册商标))或半导体存储器等，存储部在结合在装置主单元中的状态之前存储程序。

在这点上，该说明书中的上述一系列处理当然包括根据上述顺序以时间顺序执行的处理，而且包括无需以时间顺序执行的处理，即，并行或单独执行的处理。

此外，本公开的实施方式不限于上述实施方式，在不背离本发明的要旨的前提下，能够进行各种改变。

本发明包含于2010年6月16日向日本专利局提交的日本优先专利申请JP 2010-137099的相关主题，其全部内容结合于此作为参考。

Claims (8)

1.一种肌肉活动诊断装置，包括：

获取部，从测试对象中获取肌电信号；

变换信号生成部，使用所述肌电信号作为原始信号，通过对所述原始信号执行希尔伯特变换和逆傅里叶变换来生成变换信号；

相位速度计算部，基于所述原始信号和所述变换信号的相位来计算所述肌电信号的相位速度；以及

状态确定部，基于单位时间内所述肌电信号的波形的多个特征量，确定每个所述单位时间内所述测试对象的身体的预定部位的肌肉活动状态，所述多个特征量至少包括所述肌电信号的振幅大小和算出的所述相位速度。

2.根据权利要求1所述的肌肉活动诊断装置，

其中，所述获取部对从插入所述测试对象的外耳道中的耳机型传感器所获得的电信号以差动方式进行检测，并将所述电信号数字化以获得所述肌电信号。

3.根据权利要求2所述的肌肉活动诊断装置，

其中，所述状态确定部确定所述测试对象的脸部的多个部位的肌肉活动状态，并输出表示所述测试对象的面部表情的信号，所述测试对象的所述面部表情基于所确定的所述多个部位的肌肉活动状态来推测。

4.根据权利要求2所述的肌肉活动诊断装置，

其中，所述耳机型传感器设置有：

肌电电极，用于检测通过所述测试对象的肌肉活动所产生的电信号；

电压检测电极，用于检测参考电压，所述参考电压是所述测试对象的耳中的电位与所述耳机型传感器中的电路的电位之间的差；以及

反馈电极，用于提供通过将所述参考电压反相放大所产生的反馈电压。

5.根据权利要求1所述的肌肉活动诊断装置，

其中，所述状态确定部使用预先提供的、所述单位时间内所述肌电信号的波形的所述多个特征量作为参数，根据具有所述参数与所述测试对象的肌肉活动状态间的相对应关系的样本来执行机器学习，并且

所述状态确定部基于所述机器学习的结果来确定所述肌电信号的所述多个特征量，以确定所述测试对象的身体的预定部位的肌肉活动状态。

6.根据权利要求5所述的肌肉活动诊断装置，

其中，AdaBoost被用作利用所述机器学习的识别方法。

7.一种肌肉活动诊断方法，包括：

获取部从测试对象中获取肌电信号；

变换信号生成部使用所述肌电信号作为原始信号，通过对所述原始信号执行希尔伯特变换和逆傅里叶变换生成变换信号；

相位速度计算部基于所述原始信号和所述变换信号的相位计算所述肌电信号的相位速度；以及

状态确定部基于单位时间内所述肌电信号的波形的多个特征量，确定每个所述单位时间内所述测试对象的身体的预定部位的肌肉活动状态，所述多个特征量至少包括所述肌电信号的振幅大小和算出的所述相位速度。

8.一种用于使计算机用作肌肉活动诊断装置的程序，所述肌肉活动诊断装置包括：

获取部，从测试对象中获取肌电信号；

变换信号生成部，使用所述肌电信号作为原始信号，通过对所述原始信号执行希尔伯特变换和逆傅里叶变换来生成变换信号；

相位速度计算部，基于所述原始信号和所述变换信号的相位来计算所述肌电信号的相位速度；以及

状态确定部，基于单位时间内所述肌电信号的波形的多个特征量，确定每个所述单位时间内所述测试对象的身体的预定部位的肌肉活动状态，所述多个特征量至少包括所述肌电信号的振幅大小和算出的所述相位速度。

Images