JP2018139630A - 単位空間からの離隔度合いで判定を行う生体信号処理装置、プログラム及び方法 - Google Patents

単位空間からの離隔度合いで判定を行う生体信号処理装置、プログラム及び方法 Download PDF

Info

Publication number
JP2018139630A
JP2018139630A JP2017034145A JP2017034145A JP2018139630A JP 2018139630 A JP2018139630 A JP 2018139630A JP 2017034145 A JP2017034145 A JP 2017034145A JP 2017034145 A JP2017034145 A JP 2017034145A JP 2018139630 A JP2018139630 A JP 2018139630A
Authority
JP
Japan
Prior art keywords
signal
biological signal
input signal
biological
unit space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017034145A
Other languages
English (en)
Other versions
JP6695817B2 (ja
Inventor
大作 若松
Daisaku Wakamatsu
大作 若松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2017034145A priority Critical patent/JP6695817B2/ja
Publication of JP2018139630A publication Critical patent/JP2018139630A/ja
Application granted granted Critical
Publication of JP6695817B2 publication Critical patent/JP6695817B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】信号処理の計算量の増大を抑制しつつ、検知対象である生体信号の発生をより精度良く判定可能な装置を提供する。【解決手段】本装置は、生体信号を含み得る入力信号を処理する生体信号処理装置であって、生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量によって1つ又は複数の単位空間を設計する単位空間設計手段と、判定対象の入力信号から生成された特徴量に基づいて、判定対象の入力信号における単位空間から離隔した度合いである1つ又は複数の離隔度合いを算出する離隔度合い算出手段と、算出された離隔度合いに基づいて、判定対象の入力信号における生体信号の発生を判定する信号発生判定手段とを有する。ここで、少なくとも生体信号発生の基準状態に係る単位空間が設計されることも好ましい。また、上記の特徴量は、入力信号の振幅成分及び周期に係る成分を含むことも好ましい。【選択図】図3

Description

本発明は、人の生体信号を検知する技術に関する。
近年、人間や動物の各種活動に起因する種々の生体信号をセンサによって検知し、信号処理して得られる生体データを様々な場面で利用する技術が開発されている。ここで使用されるセンサとしては、例えば、腕時計型脈拍センサ、イヤホン型脈拍センサや、ヘッドバンド型脳波センサ等が挙げられる。また、これらのセンサによって検知された生体信号は、例えばユーザに携帯されたスマートフォンによって処理・加工され、様々なアプリで利用される。
このようなセンサを利用した具体的技術例として、特許文献1には、センサ付きイヤホンによって、脳波、体温、動き加速度や、脈拍等に係る生体信号を検知するシステムが開示されている。このシステムでは、イヤホンに装着されたセンサによって耳付近の生体信号を検知し、その生体信号をユーザ所持の携帯電話機を介して外部装置へ伝送している。
また、特許文献2及び3には、筋電センサ付きイヤホンやヘッドバンドで検知された筋電信号に基づいて、表情を判定する筋活動診断装置が開示されている。この装置では、耳付近の筋肉に係る筋電信号から、人の笑顔、咀嚼状態や、無表情が判別されている。さらに、特許文献4には、脳波、心拍、瞳孔、視線等に係る生体情報や、動作、表情、ため息等に係る行動情報から、ユーザの嗜好を判断するシステムが開示されている。
特開2003−31056号公報 特開2012−000228号公報 特許5574407号公報 特開2014−219937号公報
上述した特許文献1〜4に記載された技術のように、従来、生体信号を処理して生体に関する情報を判定・推定する技術はたしかに存在する。しかしながら、生体信号は通常、非常に微弱な信号である。一方で、センサから取得される信号には、対象となる生体部位以外の部位に起因する信号や、外乱ノイズ、さらには皮膚上に付された電極のズレ等から生じるノイズ等が混入していることが一般的である。その結果、生体信号の有無を誤って判別してしまう場合が少なくない。
1つの具体例として、口角上げに係る筋肉に起因する筋電信号(生体信号)を検知して、顔表情の1つである「笑み」を判定することを考える。この場合、上述したような検知対象外の生体信号や種々のノイズが邪魔をして、この微弱な筋電信号の有無の判定を誤ってしまう問題が生じてしまう。例えば、実際には表情が「笑み」ではないにもかかわらず、ノイズを検知対象筋電信号であると判定して、「笑み」であると決定する可能性が生じるのである。
さらに、障害となる種々のノイズを的確に除去し、検知対象となる微弱な生体信号だけを特定するためには、従来、FFT(Fast Fourier Transform)等を利用した大きな計算量を必要とする信号処理が必要となってきた。したがって、必然的に信号処理によって消費される電力量が増大してしまう。その結果、電池で電力消費を賄うウェアブルデバイスでは、生体信号を例えば定常的に又は所定の期間継続して処理することが困難となっていた。
そこで、本発明は、信号処理の計算量の増大を抑制しつつ、検知対象である生体信号の発生をより精度良く判定可能な生体信号処理装置、システム、プログラム及び方法を提供することを目的とする。
本発明によれば、生体信号を含み得る入力信号を処理する生体信号処理装置であって、
当該生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量によって1つ又は複数の単位空間を設計する単位空間設計手段と、
判定対象の入力信号から生成された特徴量に基づいて、当該判定対象の入力信号における当該単位空間から離隔した度合いである1つ又は複数の離隔度合いを算出する離隔度合い算出手段と、
算出された当該離隔度合いに基づいて、当該判定対象の入力信号における当該生体信号の発生を判定する信号発生判定手段と
を有する生体信号処理装置が提供される。
この本発明による生体信号処理装置の一実施形態として、単位空間設計手段は、少なくとも、当該生体信号が発生した基準状態に係る単位空間を設計することも好ましい。さらに、単位空間設計手段は、当該生体信号が発生していない基準状態に係る単位空間と、当該生体信号が発生した状態及び当該生体信号が発生していない状態を合わせた基準状態に係る単位空間とを更に設計し、信号発生判定手段は、少なくとも、設計された当該3つの単位空間について算出された3つの当該離隔度合いに基づいて当該生体信号の発生を判定することも好ましい。
ここで、信号発生判定手段は、より具体的に、当該生体信号が発生していない基準状態に係る単位空間からの離隔度合いから、当該生体信号が発生した状態及び当該生体信号が発生していない状態を合わせた基準状態に係る単位空間からの離隔度合いと、当該生体信号が発生した基準状態に係る単位空間からの離隔度合いとを差し引いた量に基づいて、当該生体信号の発生を判定することも好ましい。
また、本発明による生体信号処理装置において、本装置は、当該入力信号の振幅に係る成分及び当該入力信号の周期に係る成分のうちの両方又は一方を含む特徴量を生成する特徴量生成手段を更に有することも好ましい。
さらに、本発明による生体信号処理装置の更なる他の実施形態として、本生体信号処理装置は、
当該生体信号に係る周波数と主ノイズに係る周波数との間に遮断周波数を設定し、当該主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を当該入力信号に施すフィルタ処理手段と、
当該フィルタ処理を施された当該入力信号の特徴量を生成する特徴量生成手段と
を更に有し、
単位空間設計手段は、当該フィルタ処理を施された当該入力信号の特徴量によって1つ又は複数の単位空間を設計し、
離隔度合い算出手段は、当該フィルタ処理を施された当該判定対象の入力信号の特徴量に基づいて、当該離隔度合いを算出する
ことも好ましい。また、この実施形態において、フィルタ処理手段は、遮断周波数が当該生体信号に係る周波数と当該主ノイズに係る周波数との間となるように移動区間サンプル数を設定し、当該入力信号に対して移動平均を用いたフィルタ処理を施すことも好ましい。
さらに、本発明による生体信号処理装置の更なる他の実施形態として、本生体信号処理装置は、当該生体信号が発生した回数を計数する生体信号計数手段を更に有し、
生体信号計数手段は、当該生体信号が発生したと判定された場合において、当該判定対象の入力信号における当該離隔度合いが所定のヒステリシスを示した際に当該回数のカウントを行うことも好ましい。
また、本発明による生体信号処理装置においては、具体的に、当該生体信号は、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左(又は右)の耳介周辺から頬近傍の1つの皮膚位置に接し、検出用電極が右(又は左)の耳介周辺から頬近傍の1つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることも好ましい。また、当該生体信号は、口角上げに係る筋肉に起因する筋電信号であることも好ましい。
さらに、本発明による生体信号処理装置の単位空間設計手段及び離隔度合い算出手段は、それぞれ当該単位空間及び当該離隔度合いとして、
MT(Mahalanobis Taguchi)法における単位空間、及びマハラノビス距離から算出される値、
MTA(Mahalanobis-Taguchi Adjoint)法における単位空間、及びマハラノビス距離から算出される値、
T法における単位空間、及び特性値から算出される値、又は
RT(Recognition Taguchi)法における単位空間、及びRT距離から算出される値
を採用することも好ましい。
本発明によれば、また、生体信号を含み得る入力信号を処理する生体信号処理システムであって、
当該生体信号に係る周波数と主ノイズに係る周波数との間に遮断周波数を設定し、当該主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を当該入力信号に施すフィルタ処理手段を有する装置と、
当該フィルタ処理を施された当該入力信号を処理する、上述した生体信号処理装置と
を備えている生体信号処理システムが提供される。
本発明によれば、さらに、生体信号を含み得る入力信号を処理する装置に搭載されたコンピュータを機能させるプログラムであって、
当該生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量によって1つ又は複数の単位空間を設計する単位空間設計手段と、
判定対象の入力信号から生成された特徴量に基づいて、当該判定対象の入力信号における当該単位空間から離隔した度合いである1つ又は複数の離隔度合いを算出する離隔度合い算出手段と、
算出された当該離隔度合いに基づいて、当該判定対象の入力信号における当該生体信号の発生を判定する信号発生判定手段と
してコンピュータを機能させる生体信号処理プログラムが提供される。
本発明によれば、さらにまた、生体信号を含み得る入力信号を処理する装置に搭載されたコンピュータによる生体信号処理方法であって、
当該生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量によって1つ又は複数の単位空間を設計するステップと、
判定対象の入力信号から生成された特徴量に基づいて、当該判定対象の入力信号における当該単位空間から離隔した度合いである1つ又は複数の離隔度合いを算出するステップと、
算出された当該離隔度合いに基づいて、当該判定対象の入力信号における当該生体信号の発生を判定するステップと
を有する生体信号処理方法が提供される。
本発明の生体信号処理装置、システム、プログラム及び方法によれば、信号処理の計算量の増大を抑制しつつ、検知対象である生体信号の発生をより精度良く判定することができる。
本発明による生体信号処理装置を含む生体信号処理システムの一実施形態を示す模式図である。 本発明による生体信号処理装置を含む生体信号処理システムの他の実施形態を示す模式図である。 本発明による生体信号処理装置の一実施形態における機能構成を示す機能ブロック図である。 フィルタ処理部におけるSMAフィルタ処理の実施例を示すグラフである。 口角上げに係る筋電信号を含む入力信号に対するSMAフィルタ処理の実施例を示すグラフである。 MT法及びMTA法を用いた単位空間の設計及び離隔度合いの算出を概略的に示す模式図である。 T法及びRT法を用いた単位空間の設計及び離隔度合いの算出を概略的に示す模式図である。 MT法を用いた本発明による単位空間の設計及び離隔度合いの算出の一実施例を示すグラフである。 MT法を用いた本発明による判定用距離算出及び信号発生判定処理の実施例を示すグラフである MT法を用いた本発明による判定用距離算出及び信号発生判定処理の実施例を示すグラフである MT法を用いた本発明による判定用距離算出及び信号発生判定処理の実施例を示すグラフである MT法を用いた本発明による判定用距離算出及び信号発生判定処理の他の実施例を示すグラフである。 生体信号計数部における離隔度合いのヒステリシスを勘案した生体信号計数処理を説明するためのグラフである。 生体信号計数部における離隔度合いのヒステリシスを勘案した生体信号計数処理の一実施例を示すグラフである。 本発明による生体信号処理システムの更なる他の実施形態における機能構成を示す機能ブロック図である。 本発明による生体信号処理方法の一実施形態を概略的に示すフローチャートである。
以下では、本発明の実施形態について、図面を用いて詳細に説明する。
[生体信号処理システム]
図1は、本発明による生体信号処理装置を含む生体信号処理システムの一実施形態を示す模式図である。また、図2は、同システムの他の実施形態を示す模式図である。
図1(A)に示した本実施形態の生体信号処理システムは、携帯端末2と、この携帯端末2に連携するウェアラブルデバイス、特に頭部装着デバイスとしてのヘッドフォン1とを含んでいる。本実施形態では、このヘッドフォン1が本発明に係る生体信号処理装置となっている。具体的に、ヘッドフォン1は、検知された生体信号としての筋電信号を含み得る入力信号を処理し、所定の筋肉の作動の有無を判定して、この判定結果に係る情報、本実施形態では顔表情「笑み」が生じたか否かに係る情報を、無線又は有線(ケーブル)を介して携帯端末2に送信する。
ここで、無線は、例えばBluetooth(登録商標)や、Wi-Fi(登録商標)等の無線LANとすることができる。また、有線は、例えば携帯端末2のヘッドフォン・マイクロフォン用アナログ音声入出力端子(ジャック)に接続されるものであってもよく、USB(Universal Serial Bus)で接続されるものであってもよい。いずれにしても、当該無線又は有線を介し、携帯端末2からヘッドフォン1へ、例えばコンテンツの音声信号が伝送されるとともに、ヘッドフォン1から携帯端末2へ、筋電センサによって検知された筋電信号に係る判定結果情報が伝送される。なお、携帯端末2は、スマートフォン、携帯電話機、PDA(Personal Digital Assistant)、タブレット型コンピュータ等とすることができるが、例えばパーソナルコンピュータ等の他の情報処理装置であってもよい。
また、ヘッドフォン1は、左右の(スピーカを含む)イヤパッドに渡って筋電センサを備えている。筋電センサは、計測対象となるユーザの筋肉の作動によって皮膚表面に発生する電気的物理量を非侵襲的に計測可能なセンサであり、ヘッドフォン1がユーザの頭部に装着された際、図1(B)に示すように、筋電センサの電極がユーザの耳前下方の頬近傍におけるいずれか1点の皮膚表面に接触するように配置されている。これにより、大頬骨筋等の作動を確実に捉え、顔表情の中でも特に「笑み」に係る判定を行うことが可能となる。ちなみに、ヘッドフォン1のイヤカップは、密閉型、オープンエア型、又はセミオープンエア型等、種々の形式のものとすることができる。
ここで、本実施形態において、1チャンネルの筋電センサは、「検出用+(プラス)電極」、「リファレンス用−(マイナス)電極」、及び「DRL(Driven Right Leg)電極」の3つの電極を有している。このうち、「検出用+(プラス)電極」及び「リファレンス用−(マイナス)電極」は、イヤパッドにおける顔の前向き前方且つ下方であって頬にできる限り近い位置に配置されることも好ましい。一方、「DRL(Driven Right Leg)電極」は、商用電源等に起因するコモンモードノイズを低減させるノイズキャンセル用電極であり、皮膚に接触するいずれかの位置に設けられる。また、これらの電極は、繰り返し使用可能な乾式電極であり、皮膚との接触抵抗が小さく導電性の高い金属、例えば、銀‐塩化銀やステンレススチール等で形成された鋲であってもよい。または、同様な性質を有する導電性ゴムの鋲とすることもできる。
なお、筋電センサの電極の配置は、当然に上記の形態に限定されるものではない。例えば、オープンエア型のイヤカップやイヤパッドの無いヘッドフォンの場合、ヘッドフォンを頭部に装着するため支持機構のうち耳周辺の皮膚に当接する面の中から頬に近い位置に電極を配置してもよい。また、筋電センサ(の電極)は、図2に示すように、頭部装着デバイスとしてのイヤホン1’に備えられてもよい。このイヤホン1’も、本発明に係る生体信号処理装置であり、検知された生体信号としての筋電信号を含み得る入力信号を処理し、所定の筋肉の作動の有無を判定して、この判定結果に係る情報を、無線又は有線(ケーブル)を介して携帯端末2に送信する。さらに、筋電センサ(の電極)を設置可能なデバイスとして、メガネ(グラス)型、腕時計型、カチューシャ型、リスト(腕)バンド型等、身体の表面部分に面する部分を有する情報機器であれば様々な形式のデバイスが採用可能である。
いずれにしても、耳を含む位置に装着されるヘッドフォン1やイヤホン1’を用いて、「笑み」を含む顔表情に係る筋電信号を検知することができる。ちなみに、このような筋電信号は、ユーザの意識的反応による信号である場合、ユーザインタフェースとして利用可能となる。一方、無意識的反応による信号ならば、ユーザの感情及びその推移の測定結果として利用することができる。例えば、携帯端末2が再生中のコンテンツの音声をヘッドフォン1に送信し、ヘッドフォン1を装着したユーザにおける音声体験中での筋電信号を検知することによって、当該コンテンツに対してユーザの抱く感情に係る情報を取得することが可能となる。また、ユーザによるヘッドフォン1の装着/未装着も、筋電信号の検知状況から判断可能となるのである。
ちなみに、耳を含む位置に装着されるヘッドフォン1やイヤホン1’は、頭部内の筋肉による筋電信号のみならず、耳付近の位置から検知可能な、体温、発汗、脈波、眼球運動に係る筋電信号、眼電位信号や、さらには脳波といった生体信号を検出することも可能とする。以下に説明するように、本発明は、筋電信号に限らず、このような様々な種別の生体信号(例えば他にも心電信号や心音信号等)の処理を実施することも可能な発明となっている。なお当然に、判定対象が耳付近の位置以外での筋電信号である場合でも、筋電センサの電極は、この筋電信号に係る筋肉を挟み込むように配置されることになる。
ここで、入力信号から、障害となる種々のノイズを的確に除去し、通常、非常に微弱である生体信号のみを特定するためには、従来、FFT等を利用した大きな計算量を必要とする信号処理が必要となっており、必然的に信号処理によって消費される電力量が増大する傾向にあった。その結果、電池で電力消費を賄うヘッドフォンのようなウェアブルデバイスでは、生体信号を例えば定常的に又は所定期間継続して処理することが困難となっていた。
このような問題に対し、本発明による生体信号処理装置としてのヘッドフォン1は、生体信号を含み得る入力信号を処理可能であり、具体的に、
(A)生体信号の発生の有無に係る1つ又は複数の予め設定された「基準状態」に該当する入力信号から生成された「特徴量」によって1つ又は複数の「単位空間」を設計(生成)し、
(B)判定対象の入力信号から生成された「特徴量」に基づいて、判定対象の入力信号における「単位空間」から離隔した度合いである1つ又は複数の「離隔度合い」を算出し、
(C)算出された「離隔度合い」に基づいて、判定対象の入力信号における生体信号の発生(生体信号が発生したか否か)を判定する
ことを特徴としている。
このように、ヘッドフォン1は、生体信号の発生の有無に係る「基準状態」に係る「単位空間」からの「離隔度合い」に着目することによって、FFTやウェーブレット(wavelet)変換等を利用した大きな計算量を必要とする信号処理を用いずとも、また周期性の分析に依ることなしに、生体信号の発生の有無を判定することを可能としている。また、後に詳しく説明するが、この「単位空間」からの「離隔度合い」として、品質工学の分野で実績のあるタグチメソッドの概念が採用可能となっている。このように、ヘッドフォン1は、信号処理の計算量の増大を抑制しつつ、検知対象である生体信号の発生をより精度良く判定することが可能となるのである。
[生体信号処理装置の構成]
図3は、本発明による生体信号処理装置の一実施形態における機能構成を示す機能ブロック図である。
図3(A)によれば、生体信号処理装置としてのヘッドフォン1は、筋電センサと、信号変換部と、生体信号処理部3と、信号インタフェースと、音声変換部と、左右スピーカとを有する。ここで、装置の主要部である生体信号処理部3は、ヘッドフォン1に搭載されたコンピュータを機能させるプログラムを実行することによって、生体信号処理機能を実現させる。すなわち、ヘッドフォン1は、本発明による生体信号処理プログラムを搭載したコンピュータを含むものとすることができる。
一方、携帯端末2は、様々なユーザエクスペリエンスを提供するアプリケーションを実行可能な装置とすることができる。携帯端末2から出力される音声信号は、通信インタフェースを介して送信されて、ヘッドフォン1の信号インタフェースで受信され、音声変換部においてアナログ信号に変換され増幅されて左右スピーカに出力され、これらの左右スピーカで音声に変換されてユーザに提供される。
ヘッドフォン1の生体信号処理部3は、図3(B)に示すように、計算区間設定部311及び処理実行部312を含むフィルタ処理部31と、特徴量生成部321、単位空間設計部322、離隔度合い算出部323及び信号発生判定部324を含む信号判定部32と、信号強度算出部33aを含む生体信号計数部33とを有する。ここで、図3(A)及び(B)に示された、各機能構成部を矢印で接続した処理の流れは、本発明による生体信号処理方法の一実施形態としても理解される。
なお、本発明による生体信号処理装置は当然に、上記の実施形態に限定されるものではない。例えば、図3(C)に示すように、ヘッドフォン1から生体信号を含み得る信号を入力し処理する携帯端末2とすることもできる。この場合、ヘッドフォン1は図3(A)の信号変換部を有し、筋電センサの電極から得られた生体信号を増幅しデジタル化した上で携帯端末2に送信することも好ましい。
一方で、ヘッドフォン1及び携帯端末2の信号インタフェースがアナログインタフェースの場合は、筋電センサによって検出された筋電信号をマイクレベルにまで増幅して携帯端末2に送信することも好ましい。この際、筋電信号は人間の可聴範囲内に収まる周波数特性を有しており周波数変換の必要は生じない。また、携帯端末2に受信された筋電信号は、携帯端末2の信号変換部で、マイク入力による音声同様にアナログ/デジタル変換(デジタル化)される。
ここで、図3(C)の携帯端末2は、図3(A)のヘッドフォン1と同じく生体信号処理部3を有し、さらに、信号処理結果に係る情報を入力して、この情報を所定のアプリケーション・プログラムで利用するためのAP(アプリケーション)処理部21も有している。要するに、本発明に係る生体信号処理部3は、生体信号を取得する装置・デバイスに備えられてもよく、当該装置とは別の装置に備えられてもよいのである。
図3(A)において、ヘッドフォン1の筋電センサ(及びその電極)は、図1を用いて説明した実施形態のものとすることができる。すなわち、少なくともリファレンス用電極が左(又は右)の耳介周辺から頬近傍の1つの皮膚位置に接し、検出用電極が右(又は左)の耳介周辺から頬近傍の1つの皮膚位置に接するような電極構成を有するものであってよい。ちなみに、この場合、検知され得る生体信号には、口角上げに係る筋肉(大頬骨筋等)に起因する筋電信号が含まれる。
また、信号変換部は、筋電センサとして、商用電源等に起因するコモンモードノイズを軽減するDRL回路を有し、検出用電極とリファレンス電極との電位差の交流成分をGNDとの差動増幅によって増幅し、このアナログの筋電計測結果を一定のサンプリング周波数でデジタル化してもよい。これにより、例えば、プラスマイナス0.1〜数百μVの範囲の皮膚電位検出が可能となる。なお、デジタル化の条件として、サンプリング周波数が500Hz以上であって量子化10bit以上でアナログ/デジタル(A/D)変換を行うことも好ましい。なお、このような回路構成は、例えば、Neurosky社製のTGAM1等を利用して実現可能となっている。
信号変換部は、次いで、デジタル化された生体信号に対してウィンドウ分割処理を行うことも好ましい。実際、連続して時系列をなすセンサデータ(筋電センサ出力信号データ)は、リアルタイムに逐次分析することによって、ユーザに対しリアルタイムにフィードバックを行うユーザインタフェースを実現可能とする。また、アプリケーションでの利用も容易となる。このウィンドウ分割処理では、センサデータの波形を分析するために、予めウィンドウ分析区間を設け、この分析区間をずらしながら逐次分析を行う。例えば、デジタル化のサンプリング周波数が512Hzである場合、ウィンドウ分析区間を256サンプルとし、時系列センサデータを0.5秒毎(256サンプル毎)に区切りながら、区切った区間毎に、当該区間内のセンサデータの分析を行ってもよい。
図3(B)において、生体信号処理部3のフィルタ処理部31は、生体信号に係る周波数と、主ノイズに係る周波数との間に遮断周波数を設定し、主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を、例えば所定時間毎に区分けしたウィンドウ毎の入力信号に施す。ここで、本実施形態において、主ノイズは商用電源(国内では50Hz又は60HzのAC電源)に起因するノイズとなっている。また、同じく本実施形態において、判定対象となる生体信号は、口角上げに係る筋肉(大頬骨筋等)に起因する筋電信号であり、この商用電源の周波数未満の周波数(40Hz付近)に係る信号となっている。
そこで具体的に、フィルタ処理部31の計算区間設定部311は、遮断周波数が生体信号に係る周波数(例えば40Hz付近)と主ノイズに係る周波数(例えば50Hz)との間となるように「移動区間サンプル数」を設定し、次いで、処理実行部312は、入力信号に対して単純移動平均(SMA, Simple Moving Average)を用いたフィルタ処理を施すことができる。
ここで、SMAフィルタは、周波数成分抽出を可能とするデジタルフィルタであるFIR(Finite Impulse Response)フィルタであって、ローパスフィルタの一種と捉えることができる。具体的には、移動区間(サンプル数)を単位時間区間として、その区間のN倍(Nは自然数)の周期性を持つ信号に対してフィルタ効果を奏し、例えば、後述するように、商用電源ノイズのみならず、商用電源ノイズの倍数周波数ノイズをもフィルタリングすることを可能にするのである。
実際、商用電源に起因する周期性を有する電磁誘導ノイズが、処理対象の信号に強く混入する場合は少なくない。このような周期性の高いノイズを排除するため、従来、多くの場面においてバンドエリミネーションフィルタ等が利用されてきた。しかしながら、このような高度なデジタルフィルタは一般に、多大な処理計算量を必要とし、バッテリー駆動のモバイルデバイスには不適である。一方、上記の処理実行部312におけるSMAフィルタ処理は、それに比較して処理計算量を十分に抑制することができ、それ故、生体信号を検知可能なモバイルデバイスでのフィルタ手段として非常に適しているのである。
ここで、計算区間設定部311は、具体的に、デジタル化で使用されたサンプリング周波数(例えば512Hz)と、商用電源(主ノイズ)に係る周波数(例えば50Hz)との比(例えば10.24)に基づいて算出されるサンプル数(例えば10)のさらに整数分の1の値(例えば5)に基づいて、1回のSMAフィルタ処理の対象となるサンプルの数を算出し、移動区間サンプル数(例えば5)を設定してもよい。これにより、主ノイズをフィルタリングし、判定対象の生体信号(例えば口角上げに係る筋肉に起因する筋電信号)を特定することが可能となる。次に、このような移動区間サンプル数設定のメリットを、図4を用いて具体的に説明する。
図4は、フィルタ処理部31におけるSMAフィルタ処理の実施例を示すグラフである。本実施例において、デジタル化で使用されたサンプリング周波数は512Hzであり、主ノイズの発生源とされる商用(AC)電源の周波数は50Hzである。
図4(A)に、移動区間サンプル数を10(約50Hzに相当)に設定したSMAフィルタの特性(周波数依存性)を示す。同図によれば、遮断周波数(通過利得が3dB低下する周波数)が約25Hzのローパスフィルタ(LPF)が形成されており、商用電源及びその高調波ノイズを大きくカットすることが可能となっている。すなわち、このLPFでは、主ノイズとしての商用電源ノイズの周波数を含む遮断帯域として、この主ノイズの高調波の周波数をも含む遮断帯域が設定されている。しかしながら、口角上げに係る筋肉(大頬骨筋等)に起因する(約40Hzでピークをなす)筋電信号を判定対象とする場合、このようなLPFはパスバンド帯域が狭すぎるので、この対象の筋電信号をもカットしてしまう。
これに対し、図4(B)に、移動区間サンプル数を5(約100Hzに相当)に設定したSMAフィルタの特性(周波数依存性)を示す。同図によれば、遮断周波数が50Hz弱のLPFが形成されている。このLPFによって、商用電源及びその高調波ノイズを大きくカットし、且つ判定対象である口角上げに係る筋肉(大頬骨筋等)に起因する(約40Hzでピークをなす)筋電信号はパスさせることが可能となるのである。ちなみに、筋電信号の中でも、例えば歯を食い縛る噛み締め動作に係る筋電信号は、より高い周波数である約80Hzでピークを有する信号となっている。この場合、このLPFは、この判定対象外の筋電信号をもノイズとしてカットすることが可能となっている。
すなわち、上記のSMAフィルタ処理では、判定対象となっている生体信号に係る周波数(例えば約40Hz)と、主ノイズに係る周波数(例えば50Hz)との間に遮断周波数が位置するように移動区間サンプル数を設定することが重要となる。上記の実施例では、結局、商用電源の周波数50Hzに相当する10サンプル分を周期としたノイズが入力信号に混入しやすいのであり、この入力信号に対し、その半分(1/2)の5サンプル毎の平均を移動させながら(ずらしながら)計算し、SMAフィルタ処理とするのである。
図5は、口角上げに係る筋電信号を含む入力信号に対するSMAフィルタ処理の実施例を示すグラフである。
図5(A1)及び(A2)にはそれぞれ、口角上げに係る筋肉(大頬骨筋等)に起因する筋電信号を含む入力信号の波形、及びその周波数特性が示されている。ちなみに、図5(A1)の筋電波形を表すグラフの横軸は、サンプリング周波数512Hzでデジタル化された入力信号サンプルのサンプル単位(サンプル・インデックス)であり、512個で1秒間に相当する単位となっている。また、この横軸の範囲は、サンプル・インデックス0〜255の範囲、すなわち時間換算で0.5秒の範囲となっている。一方、縦軸は、信号強度であって計測電圧となっている。すなわち、このグラフは、入力信号サンプルにおける電圧値の時系列を表したグラフとなっている。
この図5(A1)及び(A2)に示した入力信号に対し、移動区間サンプル数を5(約100Hzに相当)に設定したSMAフィルタ処理を実施した結果(信号波形及び周波数特性)を、図5(B1)及び(B2)に示す。これらの図によれば、この入力信号は、ローパスフィルタ処理を施されており、特に、商用電源(50Hz)及びその高調波ノイズ(100Hz)は減衰させられ、一方で、判定対象である40Hz付近でピークをなす口角上げに係る筋電信号はパスしていることが分かる。
ちなみに、以上に示した実施例とは異なり、サンプリング周波数が512Hzであって、商用電源の周波数が60Hzである場合、その高調波を含むノイズを除去したい場合の移動区間サンプル数は、両周波数の比(512/60=8.53)からすると8又は9となる。しかしながら、このような値に設定すると遮断周波数が低くなりすぎるため、移動区間サンプル数は、例えば4(=8/2)とすることになる。
さらに、変更態様として、SMAによってハイパスフィルタ(HPF)を形成し、主ノイズに係る周波数よりも高い周波数に係る生体信号をパスさせ、主ノイズをカットすることも可能である。例えば、歯を食い縛る噛み締め動作に係る筋電信号を判定対象とした場合、この筋電信号に係る周波数(約80Hz)と、主ノイズである商用電源の周波数(50Hz)との間に遮断周波数がくるようなHPFを形成してもよい。ここで、SMAによるHPFとしては、例えば、SMAによって形成されたLPFによる処理を入力信号に施した結果を、当該入力信号から差し引く構成とすることができる。
図3(B)に戻って、生体信号処理部3の信号判定部32は、特徴量生成部321と、単位空間設計部322と、離隔度合い算出部323と、信号発生判定部324とを有し、例えば品質工学のタグチメソッドに基づき、予め設定した(生体信号の発生の有無に係る)基準状態に係る単位空間を設計(生成)し、判定対象であるフィルタ処理を施された(ウィンドウ毎の)入力信号から生成された特徴量に基づいて、この判定対象の入力信号における単位空間からの離隔度合いを算出し、当該離隔度合いに基づいて、この判定対象の入力信号における生体信号の発生を判定する。
具体的に、信号判定部32の特徴量生成部321は、
(ア)単位空間を設計するための(フィルタ処理を施された)入力信号の特徴量(単位空間設計用サンプル)、及び
(イ)判定対象の(フィルタ処理を施された)入力信号の特徴量(判定対象信号サンプル)
を生成する。このように生成される特徴量によって、判定対象となる生体信号と、ノイズ及びその他の生体信号とを特徴付けて区別することが可能となる。
ここで、本実施形態では、特徴量生成部321は、(フィルタ処理を施された)入力信号の(a)振幅に係る成分、及び(b)当該入力信号の周期に係る成分、のうちの両方又は一方を項目として含む特徴量を生成する。具体的に、(a)振幅(の代表値)に係る特徴量成分の項目としては、標準偏差、実効値、平均値、最頻値、絶対値の平均値、絶対値の最頻値、中央値、最大値等、が挙げられる。このような項目の成分において情報量を残す方法としては、例えば、振幅の大きさを所定の段階に区切ることによって度数分布を生成し、当該分布の度数値を成分としてもよい。なお、区切りの分割幅は等間隔でなくてもよい。
一方、(b)周期(の代表値)に係る特徴量成分の項目としては、ゼロクロス数、ゼロクロス間の周期の標準偏差、ゼロクロス間の周期の平均値等、が挙げられる。このような項目の成分において情報量を残す方法としては、例えば、ゼロクロス間の周期を所定の段階に区切ることによって度数分布を生成し、当該分布の度数値を成分としてもよい。なお、ここでも区切りの分割幅は等間隔でなくてもよい。
なお、特徴量成分の項目として上記以外の他の項目、例えば振幅分布や周期分布等、を採用してもよい。また、例えば複数の多種多様なセンサからの出力を項目とし、当該センサの出力値を特徴量成分とすることも可能である。さらに、入力信号の自己相関係数を算出し、相関係数値の集合を特徴量とすることもできる。また、特徴量として、(フィルタ処理を施された)入力信号の波形分析結果、例えば、微分波形や積分波形を生成して特徴量化することも可能である。
さらに、特徴量として、(フィルタ処理を施された)入力信号における、ある一定の信号強度Icのラインを横切るクロス数Ncを計測し、IcとNcとの関係を示したヒストグラムを採用することも可能である。また、下から上に横切る際のクロス点と上から下に横切る際のクロス点との間のサンプル区間の長さの合計Lcを測定し、IcとLcとの関係を示したヒストグラムを特徴量に採用してもよい。
ちなみに、以上示したような特徴量は、SVM等の分類器に入力されるような特徴量と比較すると、周波数分析が不要であって、基本特徴量空間を作るために必要となるデータ量も少なく済み、その分計算量も小さくなる。したがって、ヘッドフォン1のような装着モバイルデバイスにも特徴量計算処理手段を組み込みやすい。なお、ある程度の処理計算量の増大を許容するならば、例えば、入力信号のFFT処理の結果を所定の周波数範囲で複数に分割し、各分割結果におけるパワー平均を成分とする特徴量を生成することも可能である。この場合でも、分割のための周波数範囲は、特徴が出やすいように等間隔でなくてもよい。
次いで、上記(ア)の単位空間設計用の特徴量(単位空間設計用サンプルデータ群)の生成手順、すなわちキャリブレーション方法を考える。例えば、生体信号として口角上げに係る筋肉に起因する筋電信号を対象とする場合、ユーザに対し、無表情の状態を1分程度維持してもらい、次いで、弱い口角上げ状態から強い口角上げ状態までの顔表情を1分程度の間作ってもらう指示を画面表示や音声によって行い、この指示中に取得された(さらにフィルタ処理された)入力信号から特徴量を算出して単位空間設計用の特徴量群に加えてもよい。なお、この場合、無表情の状態でのノイズ及び口角上げの状態でのノイズについても調査していることになる。また当然に、このような単位空間設計用の特徴量生成は、単位空間をユーザの現状に適合したものに更新するため、適宜、使用開始時又は定期的に実施されてもよい。
さらに、ユーザが正しい顔の表情を作っているかどうかを確認するために、例えば、携帯端末2の(図示されていない)インカメラによってユーザの顔画像を取得し、顔表情認識技術を用いて無表情状態や口角上げ状態といった指示した表情状態にあるか否かを判定し、指示した表情状態であると判定された時間区間における入力信号の特徴量を算出することも好ましい。
同じく図3(B)において、信号判定部32の単位空間設計部322は、(フィルタ処理を施された)生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量を、単位空間設計のために必要なサンプル数分だけ集めることによって、1つ又は複数の「単位空間」を設計(生成)する。すなわち、設定された基準状態毎に、生成された特徴量群に基づいて「単位空間」を設計し、記憶する。
ここで、基準状態として、少なくとも、(a)生体信号が発生した基準状態が設定されてこの基準状態に係る単位空間が設計されることも好ましい。またさらに、(b)生体信号が発生していない基準状態に係る単位空間と、(c)生体信号が発生した状態及び生体信号が発生していない状態を合わせた基準状態に係る単位空間とが更に設計されることも好ましい。この場合、後に詳述するように、信号発生判定部324は、設計された3つの単位空間について算出された3つの離隔度合いに基づいて生体信号の発生を判定することになる。
同じく図3(B)において、信号判定部32の離隔度合い算出部323は、単位空間が設計されていれば、単位空間との「離隔度合い」を計算する。具体的には、「離隔度合い」の判定対象である(フィルタ処理を施された)入力信号から生成された特徴量に基づいて、判定対象の(フィルタ処理を施された)入力信号における「単位空間」から離隔した度合いである1つ又は複数の「離隔度合い」を算出する。
以上に説明した単位空間設計部322及び離隔度合い算出部323は、それぞれ「単位空間」及び「離隔度合い」として、
(a)MT(Mahalanobis Taguchi)法における単位空間、及びマハラノビス距離から算出される値、
(b)MTA(Mahalanobis-Taguchi Adjoint)法における単位空間、及びマハラノビス距離から算出される値、
(c)T法における単位空間、及び特性値から算出される値、又は
(d)RT(Recognition Taguchi)法における単位空間、及びRT距離から算出される値を採用することができる。ここで、(a)のMT法、(b)のMTA法、(c)のT法及び(d)のRT法はいずれも、品質工学のタグチメソッドの1つとなっている。以下、これらの方法を用いた「単位空間」及び「離隔度合い」の設計(生成)・算出方法を具体的に説明する。
図6は、MT法及びMTA法を用いた単位空間の設計及び離隔度合いの算出を概略的に示す模式図である。
図6(A)には、MT法を適用した場合が示されている。最初に、単位空間を設計するための信号サンプルi(i=1, 2, ・・・, n)の項目j(j=1, 2, ・・・, k;例えば振幅標準偏差、ゼロクロス数等)についての観測された各信号サンプルから計算した特徴量の値をxijとする。この信号サンプルxij(i=1〜n,j=1〜k)の相関行列Rは、次式
Figure 2018139630

のように表される。また、Rはk×kの正方行列であり、相関行列の各要素は各項目間(j=1〜k)の相関係数であり、例えばr12=Σn i=1ui1・ui2/nで計算でき、r21=r12である。ここで、uijは、基準化サンプルuij=(xij−mj)/σj(mj:xijのi(=1〜n)についての平均、σj:xijのi(=1〜n)についての標準偏差)である。また、主対角線上の要素は同一項目同士の相関係数であるため全て1となる。MT法では、この相関行列Rの逆行列R-1と、mj及びσjとを算出することが、単位空間を設計(生成)することになる。
次いで、判定対象の(フィルタ処理された1つのウィンドウ内の)1つの観測値としての入力信号サンプルの項目j(j=1〜k)について、観測された各信号サンプルから計算した特徴量の値をyjとすると、ベクトルVとして、
(2) VT=[v1, v2, ・・・, vk]
とすることができる。ここで、vjは、基準化信号サンプルvj=(yj−mj)/σj(mj:単位空間で計算された平均,σj:単位空間で計算された標準偏差)である。このベクトルVで表される判定対象の入力信号における、設計した単位空間との離隔度合いMDは、MT法において、次式
(3) MD=k-1・VT・R-1・V
を用いて算出される。ここで、この離隔度合いMDは、いわゆるマハラノビス距離の2乗値をkで割り算した値となっている。
次に、図6(B)には、MTA法を適用した場合が示されている。MTA法は、MT法とは異なり、単位空間を構成するデータの項目に標準偏差σ=0となる項目が存在していても計算処理が可能な方法となっている。最初に、単位空間を設計するための信号サンプルi(i=1, 2, ・・・, n)の項目Dj(j=1, 2, ・・・, k;例えば振幅標準偏差、ゼロクロス数等)について、観測された各信号サンプルから計算した特徴量の値をxiDjとする。ちなみに、振幅標準偏差やゼロクロス数といった項目Djは、標準偏差σ≠0の項目となる。ここで、このようなσ≠0の項目についてのxiDj(i=1〜n,j=1〜k)について、次式
Figure 2018139630

で表される分散共分散行列Sを算出する。ここで、Sはk×kの正方行列であり、主対角線上の行列要素は1つの項目の分散となっており、一方、主対角線上以外の行列要素は項目間の共分散となっている。例えばs12は項目Dj=1と項目Dj=2との間の共分散であり、s12=s21である。また、例えばs11は項目Dj=1の分散である。次いで、このSの余因子行列Bを算出する。MTA法では、このような余因子行列Bを算出することが、単位空間を設計(生成)することになっている。一方、σ=0となる項目a(a=1, 2, ・・・, j)のxiaは、単位空間では用いられないが、後述する信号空間で使用される。
次いで、信号空間を設計するための(単位空間で使用したものとは別の)信号サンプルi(i=1〜p)における単位空間でσ≠0であった項目Dj(j=1〜k)についての、観測された各信号サンプルから計算した信号空間における特徴量の値をyiDjとすると、ベクトルViとして、
(5) Vi T=[viD1, viD2, ・・・, viDk]
とすることができる。ここで、viDjは、正規化された信号サンプルviDj=yiDj−mDj(mDj:単位空間で計算された平均)である。また、信号サンプルiには、信号真値Miが設定される。この信号真値Miについては、例えば、口角上げに係る筋肉に起因する筋電信号を判定対象とした場合に、口角上げ状態の信号空間を形成する信号サンプルの信号真値Miを2とし、無表情状態の信号真値が−1等に設定されるのに対して、判定したい状態の信号真値をより大きな値に設定する。さらに、このベクトルViで表される入力信号における、設計した単位空間との距離の2乗Di 2は、次式
(6) Di 2=k-1・Vi T・B・Vi
を用いて算出される。
次いで、設定された信号真値を用いて、MTA法の有効除数r、線形式L0、全変動St0、当てはまりの良さSβ0、当てはまりの悪さVe0、傾きβ0、及びSN比η0を、下記の式によって算出する。
(7) r=Σp i=1Mi 2
L0=Σp i=1(Mi・Di)
St0=Σp i=1(Di・Di)
0=L0 2/r
Ve0=(St0−Sβ0)/(p−1)
β0=L0/r
η0= (Sβ0−Ve0)/(r・Ve0)
また、単位空間を構成するデータの項目に標準偏差σ=0の項目が存在する場合、このような項目a(a=1〜j)についての値をyiaとすると、正規化した信号サンプルviaは、via=yia−ma(ma:単位空間で計算された平均)となるが、これにより次式を用いて、標準偏差σ=0の項目毎の線形式La、全変動Sta、当てはまりの良さSβa、当てはまりの悪さVea、傾きβa、及びSN比ηaを算出する。
(8) La=Σp i=1(Mi・via)
Sta=Σp i=1(via・via)
a=La 2/r
Vea=(Sta−Sβa)/(p−1)
βa=La/r
ηa= (Sβa−Vea)/(r・Vea)
次いで、1つの観測値としての判定対象となるフィルタ処理された1つのウィンドウ内より得られた入力信号サンプルから計算された各特徴量における単位空間でσ≠0であった項目Dj(j=1〜k)についての値をzDjとすると、ベクトルWとして、
(9) WT=[wD1, wD2, ・・・, wDk]
とすることができる。ここで、wDjは、正規化信号サンプルwDj=zDj−mDj(mDj:単位空間で計算された平均)である。
このベクトルWで表される判定対象の入力信号における、設計した単位空間との距離の2乗D2は、MTA法において、次式
(10) D2=k-1・WT・B・W
を用いて算出される。ここで、このD2も、いわゆるマハラノビス距離の2乗値をkで割り算した値となっている。このD2(D)を用いると、正規化信号サンプルwDjで表される判定対象の入力信号における、単位空間との離隔度合い(予測信号真値)MPは、MTA法において、次式
(11a) MP=((η0・(D/β0)2)0.5 (σ=0の項目が無い場合)
(11b) MP=((η0・(D/β0)2j a=1ηa・(waa)2)/Σj a=0ηa)0.5
(σ=0の項目が有る場合)
で表すことができるのである。ここで、waは、1つの観測値としてのフィルタ処理された1つのウィンドウ内の入力信号サンプルから計算された各特徴量における単位空間でσ=0であった項目a(a=1〜j)についての値をzaとすると、wa=za−ma(ma:単位空間で計算された平均)として算出される。ちなみに、本実施形態の信号判定部32(図3)での処理は、σ=0の項目が無い場合である上式(11a)を用いて実施される。
図7は、T法及びRT法を用いた単位空間の設計及び離隔度合いの算出を概略的に示す模式図である。
図7(A)には、T法を適用した場合が示されている。最初に、単位空間を設計するための観測された信号サンプルi(i=1, 2, ・・・, n)について各信号サンプルから計算された特徴量における項目j(j=1, 2, ・・・, k;例えば振幅標準偏差、ゼロクロス数等)についての値をxijとし、さらに、正規化サンプルuijを、uij=xij−mj(mj:xijのi(=1〜n)についての平均)とする。
また、この信号サンプルiの特性値をXiとする。この特性値Xiについては、例えば、口角上げに係る筋肉に起因する筋電信号を判定対象とした場合に、無表情状態の単位空間を形成する信号サンプルの特性値Xを−1としてもよい。
次いで、信号空間を設計するための観測された信号サンプルi(i=1〜p)について各信号サンプルから計算された特徴量における項目j(j=1〜k)についての値をyijとし、さらに、正規化サンプルvijを、vij=yij−mj(mj:各項目j(j=1〜k)について単位空間で計算された平均)とする。また、この信号サンプルiの特性値をYiとする。この特性値Yiについては、例えば、口角上げに係る筋肉に起因する筋電信号を判定対象とした場合に、口角上げ状態の信号空間を形成する信号サンプルの特性値Yiを(単位空間での特性値Xi=−1に対し、より大きい値として)2とすることができる(なお、この場合、特性値Yiを例えば200にしても同様の結果が得られることが確認されている)。さらに、正規化特性値Miとして、
(12) Mi=Yi−mx
を算出する。ここで、mxは単位空間のXiについての平均である。また、次式を用いて、有効除数r、各項目に対する線形式Lj、全変動Stj及び誤差分散Veを算出する。
(13) r=Σp i=1Mi 2
Lj=Σp i=1(Mi・vij)
Stj=Σp i=1(vij・vij)
=L 2/r
Vej=(Stj−Sβj)/(p−1)
次いで、判定対象の(フィルタ処理された1つのウィンドウ内の)1つの観測値としての入力信号サンプルから計算された特徴量の項目j(j=1〜k)についての値をzjとした場合に、正規化信号サンプルwjとして、wj=zj−mj(mj:各項目j(j=1〜k)について単位空間で計算された各項目の平均)を算出する。このような正規化信号サンプルwjで表される判定対象の入力信号における、単位空間との離隔度合い(特性値)Zは、T法において、次式
(14) Z=(Σk j=1ηj・(wj))/(Σk j=1ηj)+XAV
を用いて算出されるのである。
この上式(14)において、ηjは、項目jのSN比であり、次式
(15) ηj=(r・Vej)-1・(Sβj−Vej)
を用いて算出される。また、同じく上式(14)において、βjは項目jの傾きであり、次式
(16) βj=Lj/r
によって算出される。なお、T法では、このようなSN比ηjや傾きβjを算出することが、単位空間及び単位空間と信号空間との関係を設計(生成)することになる。
次に、図7(B)には、RT法を適用した場合が示されている。最初に、単位空間を設計するための観測された信号サンプルi(i=1, 2, ・・・, n)から計算された特徴量における各項目j(j=1, 2, ・・・, k;例えば振幅標準偏差、ゼロクロス数等)についての値をxijとし、各項目データの平均(mj:m1〜mk)を説明変数にし、単位空間のサンプル(xi1〜xik)を目的変数にして、標準SN比の概念に基づき次式を用いて傾きβi及び誤差分散Veiを算出する。
(17) r=Σk j=1 mj 2
Li=Σk j=1(mj・xij)
βi=Li/r
Sti=Σk j=1(xij・xij)
i=Li 2/r
Vei=(Sti−Sβi)/(k-1)
ηi=Vei -1
si=Vei 0.5
ここで、mjは各項目の平均値であり、さらに、rは有効除数、Liは線形式、Stiは全変動、Sβiは当てはまりの良さ、ηiはSN比、及びsiは誤差分散の平方根である。さらに、この単位空間サンプルxijのベクトルWiを、次式
(18) Wi T=[wi1, wi2]
wi1=βi−βAV
wi2=si−sAV
を用いて算出する。ここで、βAV及びsAVはそれぞれ、βi及びsiのi(=1〜n)についての平均である。
次いで、このベクトルWi(i=1〜n)について、(βi, si)の分散共分散行列Sを算出し、さらに、次式
Figure 2018139630

を用いてSの余因子行列Bを算出する。ここで、行列Bの各成分は、
(20) V11=Σn i=1i−βAV)2/(n−1)
V12=V21=Σn i=1i−βAV)(si−sAV)/(n−1)
V22=Σn i=1(si−sAV)2/(n−1)
によって算出される。RT法では、この余因子行列BとβAV及びsAVとを算出することが、単位空間を設計(生成)することになる。
次いで、判定対象の(フィルタ処理された1つのウィンドウ内の)1つの入力信号サンプルから計算された特徴量の各項目j(j=1〜k)についての値をzjとし、単位空間と同様に単位空間の各項目データの平均(mj:m1〜mk)を説明変数にし、観測信号空間のサンプル(zj:z1〜zk)を目的変数にして、標準SN比の概念に基づき次式を用いて傾きβ及び誤差分散Veを算出する。
(21) L=Σk j=1(mj・zj)
β=L/r
St=Σk j=1(zj・zj)
Sβ=L2/r
Ve=(St−Sβ)/(k-1)
η=Ve-1
s=Ve0.5
ここで、rは単位空間で求めた有効除数である。これにより、ベクトルWとして、
(22) WT=[w1, w2]
w1=β−βAV
w2=s−sAV
を算出することができる。ここで、βAV及びsAVはそれぞれ、単位空間で計算されていた同項目の平均である。このベクトルWiで表される判定対象の入力信号における、設計した単位空間との離隔度合い(RT距離)Dは、次式
(23) D=(0.5・WT・B・W)0.5
を用いて算出される。
以上、図6及び7を用いて、単位空間設計部322及び離隔度合い算出部323は、品質工学のタグチメソッドであるMT法、MTA法、T法及びRT法のいずれを用いても、「単位空間」及び「離隔度合い」を設計・算出することができることを示した。ちなみに、ここでいう「単位空間」の設計(生成)とは、上述したように、相関行列の逆行列R-1や、余因子行列B、さらには、単位空間(や信号空間)を構成するデータ群から求められる標準偏差σ、平均値m、傾きβや、SN比η等の値を算出することになっている。例えば、このような情報を予め記憶しておき、離隔度合いの算出に使用してもよい。
また、これらの情報を予め記憶しておいて、適宜、離隔度合いを算出することも可能である。以上のことから、「単位空間を設計(生成)する」とは、単位空間、すなわち入力信号を比較する際の基準となるデータを特徴付ける量を生成・算出することと捉えることができる。
次に、本発明の実施例として、口角上げに係る筋肉(大頬骨筋等)に起因する筋電信号を、判定すべき生体信号とし、MT法を用いて単位空間の設計及び離隔度合いの算出を行い、生体信号発生の判定を行った結果を示す。
図8は、MT法を用いた本発明による単位空間の設計及び離隔度合いの算出の一実施例を示すグラフである。
図8には、MT法を用いて3つの単位空間を設計し、判定対象入力信号において、これらの単位空間からの離隔度合いをそれぞれ距離1、距離2及び距離3として算出した結果が示されている。
これらの3つの単位空間は、基準状態として、
(a)無表情状態及び口角上げ状態(を合わせた状態群)
(b)無表情状態
(c)口角上げ状態
を設定した上で、それぞれの状態で観測される入力信号から特徴量化したデータサンプル群から単位空間を設計したものである。ここで、MT法における、上記(a)状態の異常状態は、ノイズの混入した状態であると捉えることができ、上記(b)状態の異常状態は、口角上げ状態又はノイズ混入状態であると捉えることができ、上記(c)状態の異常状態は、無表情状態又はノイズ混入状態であると捉えることができる。
図8のグラフは、判定対象入力信号サンプルについて、これらの単位空間(a)、(b)及び(c)からの離隔度合いを、それぞれ距離1、距離2及び距離3として上式(3)(MD=k-1・VT・R-1・V)を用いて算出した結果となっている。
ここで、距離1は無表情状態及び口角上げ状態(を合わせた状態群)を基準としており、それ以外の(すなわち想定していない)ノイズの発生のみに反応する量となっている。また、距離2は無表情状態を基準としており、無表情状態以外の場合、すなわちノイズの発生か、又は口角上げの状態かに反応する量となっている。さらに、距離3は口角上げ状態を基準としており、口角上げ状態以外の場合、すなわち無表情の状態か、又はノイズの発生に反応する量となっている。そこで、口角上げ状態か否か(口角上げに係る筋電信号発生の有無)を判定するべく、口角上げに反応する距離2から、口角上げ時に反応しない距離1を差し引いた量、すなわち、次式
(24) (判定用距離)=(距離2)−(距離1)
を採用し、この判定用距離を用いて判定を行うことが可能である。しかしながら、さらに、口角上げ状態でないものを当該状態であると誤判定する状況をより確実に排除するため、無表情又はノイズに反応する距離3を用い、判定用距離として次式
(25) (判定用距離)=(距離2)−(距離1)−(距離3)
を採用することがより好ましい。これにより判定精度がより向上することは、後に図9及び図12の実施例を用いて示される。
なお、単位空間設計用の信号サンプルや、判定対象信号サンプルから生成する特徴量(項目)の設定の仕方によっても、口角上げ状態か否かの判定結果の精度が大きな影響を受けることが本願発明者等によって確認されている。この確認実験の結果も、後に図9〜11の実施例を用いて示される。
図3に戻って、信号発生判定部324は、上述したように、算出された離隔度合い(上記の例では距離1、距離2及び距離3)に基づいて、判定対象の入力信号における生体信号(ここでは口角上げに係る筋電信号)の発生を判定する。
ここで、好適な実施形態(上式(25))として、信号発生判定部324は、
(a)生体信号が発生していない基準状態に係る単位空間からの離隔度合いから、
(b)生体信号が発生した状態及び生体信号が発生していない状態を合わせた基準状態に係る単位空間からの離隔度合いと、
(c)生体信号が発生した基準状態に係る単位空間からの離隔度合いと
を差し引いた量に基づいて、生体信号の発生を判定することができる。
ちなみに、その有無を判定すべき生体信号が2種、例えば口角上げの筋電信号及び食い縛りの筋電信号、又はそれ以上設定される場合、基準状態としては、例えば(a)口角上げ状態、(b)食い縛り状態、(c)無表情状態、(d)口角上げ状態及び無表情状態を合わせた状態、並びに(e)食い縛り状態及び無表情状態を合わせた状態、といったように、それらの生体信号発生状態と無発生状態との組合せを含む複数の状態が設定可能となる。また、この場合、それらの複数の基準状態に対応した複数の単位空間が設計され、さらに、それらの複数の単位空間からの複数の離隔度合いが算出されるのである。
図9、図10及び図11は、MT法を用いた本発明による判定用距離算出及び信号発生判定処理の実施例を示すグラフである。
ここで、図9、図10及び図11の実施例では、特徴量(項目)としてそれぞれ、
{(振幅の標準偏差), (振幅のゼロクロス数)}、
{(振幅加速度の標準偏差), (振幅加速度のゼロクロス数)}、及び
{(振幅の標準偏差), (振幅のゼロクロス数), (振幅加速度の標準偏差), (振幅加速度のゼロクロス数)}
を採用している。
ここで、ウィンドウ分割されてSMAフィルタ処理を施された信号やノイズは、振幅がゼロラインを中心にしてプラス及びマイナス方向へ変化することによって、例えば図5(B1)に示すように、山型や谷型の波が幾重にも重なって連続した波形を示す。このような振幅の波形において、上記の「振幅のゼロクロス数」は、離散振幅値の変化の軌跡が分析ウィンドウ内においてゼロラインと交差した回数のことである。また、上記の「振幅の標準偏差」は、分析ウィンドウ内における離散振幅値について算出される標準偏差となる。さらに、上記の「振幅加速度のゼロクロス数」及び「振幅加速度の標準偏差」についても、振幅加速度の波形(離散振幅加速度値の変化の軌跡)において同様に定義される。
これらの実施例の各々について、上記の3つの単位空間(a)〜(c)を設計し、それぞれに対応する距離1〜3を算出して、上式(25)の判定用距離(=(距離2)−(距離1)−(距離3))を算出した結果が、図9〜11のグラフとなっている。なお、いずれの実施例においても、入力信号サンプルは、SMAフィルタ処理後のサンプルであり、また、各図に示したように、無表情状態が正解であるサンプル群と、口角上げ状態が正解であるサンプル群と、無表情状態又はノイズ発生が正解であるサンプル群とがこの順で時間的に並んだものとなっている。
これらのグラフにおいては、判定用距離が所定閾値よりも大きい(サンプル・インデックスの)サンプルにおいて、口角上げ(に係る筋電信号)が発生したと判定している。ちなみに、MT法の特徴として、単位空間からの距離は単位空間を設計した際の項目数を自由度とするχ2乗分布を示すことが知られている。そこで、図9〜11の実施例では、上記の判定用の所定閾値として、用いる項目数(2又は4)を自由度とするχ2乗分布における外側5%の位置を採用している。
具体的に、図9の実施例では、口角上げであるとの判定が正しいサンプル・インデックス区間における判定精度を表す正判定率(当該区間の全サンプル数に対する口角上げ判定されたサンプル数の割合)が85.1%であって、図10の実施例での正判定率(77.6%)及び図10の実施例での正判定率(83.6%)と比較してより良好な結果となっている。ちなみに、この区間以外の区間で口角上げとの誤判定を行う誤判定率は、いずれの実施例でも0.0%及び2%台であって、同程度に低い値となっている。したがって、この場合、特徴量としては、図9の実施例で採用された
{(振幅の標準偏差), (振幅のゼロクロス数)}
が最も好適であることが理解される。もちろん、その他の(図10や図11で採用された)特徴量をもってしても十分に高い判定精度が得られることは上述した通りである。
図12は、MT法を用いた本発明による判定用距離算出及び信号発生判定処理の他の実施例を示すグラフである。
図12に示した実施例は、図9に示した実施例と比較して、判定用距離として距離3、すなわち、
(26) (判定用距離)=(距離3)
を採用しているが、この点以外は、特徴量の設定を含めて同様の条件で判定を行っている。
また、本実施例では、判定に用いる所定閾値として、
(a)χ2乗分布における外側5%の位置、
(b)χ2乗分布における外側5%の位置から見て0.3ポイントだけ低い位置、及び
(c)χ2乗分布における外側5%の位置から見て0.8ポイントだけ低い位置
の各々を用い、判定用距離が当該所定閾値未満となった(サンプル・インデックスの)サンプルにおいて、口角上げ(に係る筋電信号)が発生したと判定している。
ここで、上記の所定閾値(a)を採用した場合、口角上げとの判定が正しいサンプル・インデックス区間における正判定率は、93.3%となり非常に良好ではあるが、一方で、無表情又はノイズ発生との判定が正しい区間で口角上げとの誤判定を行う誤判定率は、18.2%であって非常に高くなってしまう。また、これより低い所定閾値(b)を採用した場合でも、正判定率(85.1%)は図9の実施例と同等となるが、誤判定率が5.5%であって、なお高い値になってしまう。
さらに、より低い所定閾値(c)を採用した場合には、誤判定率は2.6%であり、図9の実施例と同等の低い値となるが、一方で、正判定率は67.2%まで低下してしまう。したがって、判定用距離として距離3を採用することは十分に可能であって高い判定精度を実現できるように調整可能ではあるが、やはり、判定用距離としては、図9の実施例(上式(25))のように、(距離2)−(距離1)−(距離3)を採用することがより好ましいことが理解される。
以上、MT法による生体信号発生の判定処理の実施例について説明したが、本願発明者等は、さらに、
(a)MTA法を用い、上式(11a)によって算出した離隔度合いを用いた判定処理、
(b)T法を用い、上式(14)によって算出した離隔度合いを用いた判定処理、及び
(c)RT法を用い、上式(23)によって算出した離隔度合いを用いた判定処理
のいずれをも実施した。
ここで、RT法を用いた上記実施例(c)では、以上に説明したMT法と同様、上述した3つの単位空間(a)〜(c)を設計し、対応する3つの距離(離隔度合い)によって判定を行った。これに対し、MTA法を用いた上記実施例(a)、及びT法を用いた上記実施例(b)では、無表情状態を基準状態として単位空間を設計し、さらに、口角上げの状態に係る信号空間を設計して判定を行った。
その結果、最も判定精度の高い結果となったのが上述したMT法による判定であった。また、このMT法の結果と同程度の判定精度が得られたのが、MTA法による判定であった。一方、T法及びRT法による判定精度は、これらに次ぐ高さであることが分かった。このような実験結果から、MT法を用い、上述した3つの単位空間(a)〜(c)を設計して、対応する3つの距離(離隔度合い)によって判定を行う手法が、判定精度の点でより優れていることが理解される。
図3(B)に戻って、生体信号計数部33は、信号判定部32(信号発生判定部324)において判定対象の生体信号が発生したと判定したその判定回数を計数する。判定対象が大頬骨筋等の口角を上げる筋肉に起因する筋電信号である場合は、ユーザが「笑み(微笑)」状態にあると判定された回数がカウントされることになる。また、変更態様として、生体信号における「離隔度合い」のヒステリシスを勘案して当該回数をカウントすることも好ましい。この場合、生体信号計数部33は、信号判定部32で当該生体信号が発生したと判定された場合において、当該生体信号における離隔度合いが所定のヒステリシスを示した際に回数のカウントを行ってもよい。
図13は、生体信号計数部33における離隔度合いのヒステリシスを勘案した生体信号計数処理を説明するためのグラフである。
図13のグラフでは、「笑み」に係る判定を行った時刻毎の判定用距離(=(距離2)−(距離1)−(距離3))の推移が折れ線で示されている。同グラフでは、2つのノイズ判定期間(「笑み」状態ではないとの判定がなされた期間)に挟まれる形で、「笑み」判定期間(「笑み」状態であるとの判定がなされた期間)が存在している。
生体信号計数部33は、この「笑み」判定期間において、
(a)判定用距離(の推移を示す折れ線)が閾値Thhのラインを下(距離の小さい方)から横切って上(距離の大きい方)に向かう点(丸印)をカウント開始点とし、
(b)判定用距離(の推移を示す折れ線)が閾値Thl(<Thh)のラインを上(距離の大きい方)から横切って下(距離の小さい方)に向かう点(三角印)をカウント終了点として、
これらのカウント開始点とそれに次ぐカウント終了点との組毎に1だけカウントを増分する。図13の実施例では、この組が4つ存在しているので、これらの4つの組がグラフに現出した(グラフで決定された)段階で、「笑み」の回数が4回であるとカウントされることになる。
さらに、生体信号計数部33は、カウント開始点を決定してから所定の時間閾値Tmaxだけ時間が経過してもカウント終了点が現出しない(決定されない)場合、このカウント開始点からその時点までで1回をカウントした上で、この時間閾値Tmax経過後は、判定用距離が閾値Thlを下回るまでノイズ判定期間とする。したがって、図13の実施例では、結局、この「笑み」判定期間における「笑み」の回数は5回であるとカウントされることになる。
図14は、生体信号計数部33における離隔度合いのヒステリシスを勘案した生体信号計数処理の一実施例を示すグラフである。
図14には、図9に示した実施例における判定用距離(=(距離2)−(距離1)−(距離3))の推移が示されている。本実施例では、この判定用距離におけるヒステリシスを用いて、口角上げ(笑み)の回数をカウントしている。ここで、閾値Thhは、図9の閾値よりも外側となるχ2乗分布の外側1%の位置であり、一方、閾値Thlは、(判定用距離)=0の位置となっている。
このようなヒステリシスを考慮した判定の結果、ノイズを口角上げとする誤判定が若干増えてはいるものの、口角上げ(笑み)との正判定の精度(正判定率)が91.8%に達し、図9の実施例に比べて+6.7%向上した。
以上説明したように、離隔度合いのヒステリシスを勘案して回数のカウントを行うことによって、判定精度の向上を期することができる。また、意に反して回数カウントが進んでしまうチャタリング現象も軽減可能となるのである。なお当然に、チャタリングを回避すべく離隔度合いを考慮する実施形態は、以上に述べたものに限定されるものではない。例えば、離隔度合いのヒステリシスの代わりに、「笑み」判定期間における離隔度合い又は信号強度の総和を筋肉活動量として採用し、この筋肉活動量に応じてカウントを行うことも可能である。
なお、生体信号計数部33は、算出された離隔度合い及び判定用距離や、信号判定部32での判定結果、さらには、上述したような計数(カウント)処理結果を、時系列情報として記憶(バッファリング)することも好ましい。このように離隔度合い(判定用距離)もバッファリングすることによって、前後の判定結果も勘案して、対象とする生体信号の発生の判定をより確実に行うことが可能になる。例えば、前後の一定サンプル数の区間において口角上げの判定がなされていて、一時的に(例えば1サンプルだけ)口角上げではないと判定された場合、これを口角上げであると判定し直すことも可能となる。
また、算出される離隔度合いとは直接的には関係しない信号強度を、信号強度算出部33aで算出し、同様にバッファリングすることも好ましい。「微笑」と判定した区間の信号強度を記憶しておくこともできる。この信号強度の大きさ又はヒステリシスに基づいて判定回数をカウントすることも可能である。なお、この信号強度は、公知の種々の方法によって算出可能であるが、例えば信号振幅(電圧)の二乗平均に基づく一般的なパワー計算式で算出されてもよい。
さらに、これらの情報をログとして記録してもよく、これらの情報を、信号インタフェースを介し(好ましくはデジタル情報として)、携帯端末2等の外部の情報処理装置に送信して活用させてもよい。また、これらの情報を(例えば携帯端末2の)ディスプレイに表示させることも好ましい。この際、単位時間(1時間や1日等)当たりの信号発生回数(例えば「笑み」の起こった回数)や生体活動量(例えば「笑み」に係る筋肉の収縮活動の量)に換算して表示してもよく、時系列のグラフとして表示することも好ましい。
[生体信号処理システムの他形態]
図15は、本発明による生体信号処理システムの更なる他の実施形態における機能構成を示す機能ブロック図である。
図15によれば、本実施形態の生体信号処理システムは、
(a)生体信号に係る周波数と主ノイズに係る周波数との間に遮断周波数を設定し、主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を入力信号に施すフィルタ処理部31を有するヘッドフォン1と、
(b)フィルタ処理を施された入力信号を処理する(図3(B)に示したものと同等の)信号判定部32を備えた携帯端末2と
を備えている。なお、本実施形態では、携帯端末2は、生体信号計数部33及びAP処理部21も有している。
このように、本実施形態では、フィルタ処理部31を、生体信号の測定に係るモバイルデバイスに持たせ、一方、このフィルタ処理後の情報を、信号判定部32を備えたユーザ端末に送信して、当該ユーザ端末で生体信号判定処理を行うのである。これにより、ヘッドフォン1等のモバイルデバイスにおける処理計算量が低減可能となるので、当該モバイルデバイスへの実装を容易にすることができる。また、測定された生体信号をモバイルデバイス側で予めフィルタ処理するので、携帯端末2等のユーザ端末へ送信する処理信号データ量を低減させることも可能となるのである。
さらに、フィルタ処理部31においてSMAによるLPFを採用する場合、高い周波数成分は不要になるので、サンプリング周波数を間引くデシメーションフィルタを用いて、通信するデータ量をより低減させることも可能となる。この際、例えば5サンプルを1つのサンプルにして、周波数を102.4(=512/5)Hzに落としてもよい。
[生体信号処理方法]
図16は、本発明による生体信号処理方法の一実施形態を概略的に示すフローチャートである。ここで、本実施形態では、判定すべき生体信号は、大頬骨筋等の口角上げに係る筋肉に起因する筋電信号となっている。
(S101)最初に、信号変換部において、ヘッドフォン1の筋電センサからのセンサ出力信号を、差動増幅しデジタル化した上でバッファに保存する。
(S102)信号変換部において、バッファに保存された時系列(離散サンプルの列)のセンサ出力信号に対し、ウィンドウ分割処理を行い、当該信号列をウィンドウに分割する。
(S103)フィルタ処理部31において、ウィンドウ毎に、SMAフィルタ処理を実行する。
(S104)信号判定部32において、フィルタ処理されたウィンドウ毎の判定対象の信号について、予め設定された項目に係る特徴量を算出する。
(S105)信号判定部32において、算出された特徴量から、設定された基準状態に対応させて予め設計された3つの単位空間からの離隔度合いを算出し、判定用距離(=(距離2)−(距離1)−(距離3))を算出する。
(S106)信号判定部32において、算出した判定用距離が、所定閾値を超えているか否かを判定する。ここで、真の判定(判定用距離が所定閾値よりも大きいとの判定)が行われた場合、ステップS107aに移行する。
(S107b)一方、ステップS106で偽の判定が行われた場合、判定対象の筋電信号は発生していないと判定し、ステップS108に移行する。
(S107a)信号判定部32において、(ステップS106で真の判定が行われた場合であるので)判定対象の筋電信号が発生したとの判定を行う。
(S108)ステップS107a及び107bで判定(決定)された対象筋電信号発生の有無、及び判定用距離(のヒステリシス)に基づいて、対象生体現象である「笑み」の発生した回数がカウントされる。
ちなみに、上記のステップS103〜S108のフローは、例えばウィンドウ毎に繰り返され、ステップS108で順次カウント処理が進むことも好ましい。
以上詳細に説明したように、本発明によれば、一般に処理の容易でない微弱な信号である生体信号を、FFTやウェーブレット変換等を利用した大きな計算量を必要とする信号処理を用いずとも、確実に処理することができる。その結果、信号処理の計算量の増大を抑制しつつ、検知対象である生体信号の発生をより精度良く判定することが可能となるのである。
これにより、例えば、生体信号として大頬骨筋等の口角上げに係る筋肉に起因する筋電信号を判定対象とした場合、本発明を利用して「笑み」を定量的に計測し、例えばお笑い電子コンテンツの面白さを、笑み回数や口角上げ活動量から定量化することができる。また、ユーザの口角上げ動作をトリガとするユーザからのコマンド指示、例えばカメラのシャッタ動作やズーミング等、さらには視聴中コンテンツのお気に入り登録等を実行可能にする。さらには、「笑み」の定量計測を定常的に実施し、ユーザが健全な生活を送っているのかどうかを定量化することも可能となる。
さらに、本発明は、上記の筋電信号以外にも様々な生体信号を特定し、その生体信号に係る生体現象の発生を判定することもできる。したがって、これらの判定結果や発生回数計測結果を、様々なタイプのコンテンツ等の評価、意志による生体現象のユーザインタフェース化、さらには身体状態や感情・精神状態の定量化等に生かすことも可能にするのである。
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
1 ヘッドフォン
1’ イヤホン
2 携帯端末
21 AP処理部
3 生体信号処理部
31 フィルタ処理部
311 計算区間設定部
312 処理実行部
32 信号判定部
321 特徴量生成部
322 単位空間設計部
323 離隔度合い算出部
324 信号発生判定部
33 生体信号計数部
33a 信号強度算出部

Claims (14)

  1. 生体信号を含み得る入力信号を処理する生体信号処理装置であって、
    当該生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量によって1つ又は複数の単位空間を設計する単位空間設計手段と、
    判定対象の入力信号から生成された特徴量に基づいて、当該判定対象の入力信号における当該単位空間から離隔した度合いである1つ又は複数の離隔度合いを算出する離隔度合い算出手段と、
    算出された当該離隔度合いに基づいて、当該判定対象の入力信号における当該生体信号の発生を判定する信号発生判定手段と
    を有することを特徴とする生体信号処理装置。
  2. 前記単位空間設計手段は、少なくとも、当該生体信号が発生した基準状態に係る単位空間を設計することを特徴とする請求項1に記載の生体信号処理装置。
  3. 前記単位空間設計手段は、当該生体信号が発生していない基準状態に係る単位空間と、当該生体信号が発生した状態及び当該生体信号が発生していない状態を合わせた基準状態に係る単位空間とを更に設計し、
    前記信号発生判定手段は、少なくとも、設計された当該3つの単位空間について算出された3つの当該離隔度合いに基づいて当該生体信号の発生を判定する
    ことを特徴とする請求項2に記載の生体信号処理装置。
  4. 前記信号発生判定手段は、当該生体信号が発生していない基準状態に係る単位空間からの離隔度合いから、当該生体信号が発生した状態及び当該生体信号が発生していない状態を合わせた基準状態に係る単位空間からの離隔度合いと、当該生体信号が発生した基準状態に係る単位空間からの離隔度合いとを差し引いた量に基づいて、当該生体信号の発生を判定することを特徴とする請求項3に記載の生体信号処理装置。
  5. 当該入力信号の振幅に係る成分及び当該入力信号の周期に係る成分のうちの両方又は一方を含む特徴量を生成する特徴量生成手段を更に有することを特徴とする請求項1から4のいずれか1項に記載の生体信号処理装置。
  6. 前記生体信号処理装置は、
    当該生体信号に係る周波数と主ノイズに係る周波数との間に遮断周波数を設定し、当該主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を当該入力信号に施すフィルタ処理手段と、
    当該フィルタ処理を施された当該入力信号の特徴量を生成する特徴量生成手段と
    を更に有し、
    前記単位空間設計手段は、当該フィルタ処理を施された当該入力信号の特徴量によって1つ又は複数の単位空間を設計し、
    前記離隔度合い算出手段は、当該フィルタ処理を施された当該判定対象の入力信号の特徴量に基づいて、当該離隔度合いを算出する
    ことを特徴とする請求項1から5のいずれか1項に記載の生体信号処理装置。
  7. 前記フィルタ処理手段は、遮断周波数が当該生体信号に係る周波数と当該主ノイズに係る周波数との間となるように移動区間サンプル数を設定し、当該入力信号に対して移動平均を用いたフィルタ処理を施すことを特徴とする請求項6に記載の生体信号処理装置。
  8. 前記生体信号処理装置は、当該生体信号が発生した回数を計数する生体信号計数手段を更に有し、
    前記生体信号計数手段は、当該生体信号が発生したと判定された場合において、当該判定対象の入力信号における当該離隔度合いが所定のヒステリシスを示した際に当該回数のカウントを行う
    ことを特徴とする請求項1から7のいずれか1項に記載の生体信号処理装置。
  9. 当該生体信号は、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左(又は右)の耳介周辺から頬近傍の1つの皮膚位置に接し、検出用電極が右(又は左)の耳介周辺から頬近傍の1つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることを特徴とする請求項1から8のいずれか1項に記載の生体信号処理装置。
  10. 当該生体信号は、口角上げに係る筋肉に起因する筋電信号であることを特徴とする請求項1から9のいずれか1項に記載の生体信号処理装置。
  11. 前記単位空間設計手段及び前記離隔度合い算出手段は、それぞれ当該単位空間及び当該離隔度合いとして、
    MT(Mahalanobis Taguchi)法における単位空間、及びマハラノビス距離から算出される値、
    MTA(Mahalanobis-Taguchi Adjoint)法における単位空間、及びマハラノビス距離から算出される値、
    T法における単位空間、及び特性値から算出される値、又は
    RT(Recognition Taguchi)法における単位空間、及びRT距離から算出される値
    を採用することを特徴とする請求項1に記載の生体信号処理装置。
  12. 生体信号を含み得る入力信号を処理する生体信号処理システムであって、
    当該生体信号に係る周波数と主ノイズに係る周波数との間に遮断周波数を設定し、当該主ノイズに係る周波数を含む遮断帯域によるフィルタ処理を当該入力信号に施すフィルタ処理手段を有する装置と、
    当該フィルタ処理を施された当該入力信号を処理する、請求項1から5のいずれか1項に記載の生体信号処理装置と
    を備えていることを特徴とする生体信号処理システム。
  13. 生体信号を含み得る入力信号を処理する装置に搭載されたコンピュータを機能させるプログラムであって、
    当該生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量によって1つ又は複数の単位空間を設計する単位空間設計手段と、
    判定対象の入力信号から生成された特徴量に基づいて、当該判定対象の入力信号における当該単位空間から離隔した度合いである1つ又は複数の離隔度合いを算出する離隔度合い算出手段と、
    算出された当該離隔度合いに基づいて、当該判定対象の入力信号における当該生体信号の発生を判定する信号発生判定手段と
    してコンピュータを機能させることを特徴とする生体信号処理プログラム。
  14. 生体信号を含み得る入力信号を処理する装置に搭載されたコンピュータによる生体信号処理方法であって、
    当該生体信号の発生の有無に係る1つ又は複数の予め設定された基準状態に該当する入力信号から生成された特徴量によって1つ又は複数の単位空間を設計するステップと、
    判定対象の入力信号から生成された特徴量に基づいて、当該判定対象の入力信号における当該単位空間から離隔した度合いである1つ又は複数の離隔度合いを算出するステップと、
    算出された当該離隔度合いに基づいて、当該判定対象の入力信号における当該生体信号の発生を判定するステップと
    を有することを特徴とする生体信号処理方法。
JP2017034145A 2017-02-24 2017-02-24 単位空間からの離隔度合いで判定を行う生体信号処理装置、プログラム及び方法 Active JP6695817B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017034145A JP6695817B2 (ja) 2017-02-24 2017-02-24 単位空間からの離隔度合いで判定を行う生体信号処理装置、プログラム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017034145A JP6695817B2 (ja) 2017-02-24 2017-02-24 単位空間からの離隔度合いで判定を行う生体信号処理装置、プログラム及び方法

Publications (2)

Publication Number Publication Date
JP2018139630A true JP2018139630A (ja) 2018-09-13
JP6695817B2 JP6695817B2 (ja) 2020-05-20

Family

ID=63526029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017034145A Active JP6695817B2 (ja) 2017-02-24 2017-02-24 単位空間からの離隔度合いで判定を行う生体信号処理装置、プログラム及び方法

Country Status (1)

Country Link
JP (1) JP6695817B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500965B2 (en) 2019-06-28 2022-11-15 Mitsubishi Heavy Industries, Ltd. Abnormality detection device, abnormality detection method, and non-transitory computer-readable medium
CN115944309A (zh) * 2022-12-22 2023-04-11 广州医科大学附属第一医院(广州呼吸中心) 吞咽肌障碍的检测装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000139863A (ja) * 1998-11-05 2000-05-23 Nec Corp F波の開始点・終了点検出装置および開始点・終了点検出方法
JP2000316827A (ja) * 1999-05-11 2000-11-21 Nabco Ltd 筋活動測定装置
US20030233198A1 (en) * 2001-11-13 2003-12-18 Genichi Taguchi Multivariate data analysis method and uses thereof
JP2011005026A (ja) * 2009-06-26 2011-01-13 Toshiba Corp 超音波診断装置及び自動診断支援装置
JP2011010775A (ja) * 2009-06-30 2011-01-20 Toshiba Corp 自動診断支援装置、超音波診断装置及び自動診断支援プログラム
JP2011129997A (ja) * 2009-12-15 2011-06-30 Victor Co Of Japan Ltd ユーザ情報処理プログラム、再生プログラム、ユーザ情報処理装置、再生装置、ユーザ情報処理方法、及び、再生方法
JP2012185657A (ja) * 2011-03-04 2012-09-27 Mitsubishi Electric Corp パターン認識装置およびパターン認識方法
JP2017018236A (ja) * 2015-07-09 2017-01-26 Kddi株式会社 脈拍測定装置、ウェアラブル端末及び脈拍測定方法
JP2017029323A (ja) * 2015-07-30 2017-02-09 Kddi株式会社 筋電信号を用いて顔表情を識別するデバイス、端末及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000139863A (ja) * 1998-11-05 2000-05-23 Nec Corp F波の開始点・終了点検出装置および開始点・終了点検出方法
JP2000316827A (ja) * 1999-05-11 2000-11-21 Nabco Ltd 筋活動測定装置
US20030233198A1 (en) * 2001-11-13 2003-12-18 Genichi Taguchi Multivariate data analysis method and uses thereof
JP2011005026A (ja) * 2009-06-26 2011-01-13 Toshiba Corp 超音波診断装置及び自動診断支援装置
JP2011010775A (ja) * 2009-06-30 2011-01-20 Toshiba Corp 自動診断支援装置、超音波診断装置及び自動診断支援プログラム
JP2011129997A (ja) * 2009-12-15 2011-06-30 Victor Co Of Japan Ltd ユーザ情報処理プログラム、再生プログラム、ユーザ情報処理装置、再生装置、ユーザ情報処理方法、及び、再生方法
JP2012185657A (ja) * 2011-03-04 2012-09-27 Mitsubishi Electric Corp パターン認識装置およびパターン認識方法
JP2017018236A (ja) * 2015-07-09 2017-01-26 Kddi株式会社 脈拍測定装置、ウェアラブル端末及び脈拍測定方法
JP2017029323A (ja) * 2015-07-30 2017-02-09 Kddi株式会社 筋電信号を用いて顔表情を識別するデバイス、端末及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500965B2 (en) 2019-06-28 2022-11-15 Mitsubishi Heavy Industries, Ltd. Abnormality detection device, abnormality detection method, and non-transitory computer-readable medium
CN115944309A (zh) * 2022-12-22 2023-04-11 广州医科大学附属第一医院(广州呼吸中心) 吞咽肌障碍的检测装置
CN115944309B (zh) * 2022-12-22 2023-07-18 广州医科大学附属第一医院(广州呼吸中心) 吞咽肌障碍的检测装置

Also Published As

Publication number Publication date
JP6695817B2 (ja) 2020-05-20

Similar Documents

Publication Publication Date Title
JP6423487B2 (ja) 痙攣の検出のためのシステムおよびその作動方法
CN111867475B (zh) 次声生物传感器系统和方法
JP5373631B2 (ja) 脳波信号処理システムに基づいて精神状態を定量的に評価するための装置
JP6580497B2 (ja) 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法
US20220007964A1 (en) Apparatus and method for detection of breathing abnormalities
JP2012000228A (ja) 筋活動診断装置および方法、並びにプログラム
JP2013518607A (ja) 携帯型モニタリングのための生理学的信号の品質を分類する方法およびシステム
AU2019204112B2 (en) Localized collection of biological signals, cursor control in speech-assistance interface based on biological electrical signals and arousal detection based on biological electrical signals
JP7009342B2 (ja) 咀嚼や笑みに係る量に基づき食事を評価可能な装置、プログラム及び方法
US11494001B2 (en) Gesture detection system for personal head wearable device
JP6765352B2 (ja) 本体と電極部とを弾性をもって接続した生体信号取得装置
JP6452248B2 (ja) 筋電信号を用いて顔表情を識別するデバイス、端末及びプログラム
US20220218941A1 (en) A Wearable System for Behind-The-Ear Sensing and Stimulation
JP6695817B2 (ja) 単位空間からの離隔度合いで判定を行う生体信号処理装置、プログラム及び方法
JP6685891B2 (ja) フィルタ処理及び周波数判定処理を用いた生体信号処理装置、プログラム及び方法
US20230210400A1 (en) Ear-wearable devices and methods for respiratory condition detection and monitoring
JP6821549B2 (ja) 加速度成分の代表値で生体信号発生を判定する生体信号処理装置、プログラム及び方法
JP6810682B2 (ja) 加速度成分の代表値で周期的生体信号発生を判定する生体信号処理装置、プログラム及び方法
JP7082956B2 (ja) 信号データに応じた基準値に基づき生体信号の計数を行う生体信号処理装置、プログラム及び方法
JP2023527742A (ja) 複数の生体信号を監視するためのシステム及び方法、並びそのシステムにおいて動作可能なゲートウェイ・デバイス
WO2023002664A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
TWI471120B (zh) 頭部生理參數偵測裝置及其方法及其應用設備

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200422

R150 Certificate of patent or registration of utility model

Ref document number: 6695817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150