JP2004049623A - 作業中ストレス判定装置、作業中ストレス判定プログラム及び作業中ストレス判定方法 - Google Patents

作業中ストレス判定装置、作業中ストレス判定プログラム及び作業中ストレス判定方法 Download PDF

Info

Publication number
JP2004049623A
JP2004049623A JP2002212683A JP2002212683A JP2004049623A JP 2004049623 A JP2004049623 A JP 2004049623A JP 2002212683 A JP2002212683 A JP 2002212683A JP 2002212683 A JP2002212683 A JP 2002212683A JP 2004049623 A JP2004049623 A JP 2004049623A
Authority
JP
Japan
Prior art keywords
work
stress
subject
masseter
during
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002212683A
Other languages
English (en)
Other versions
JP3813552B2 (ja
JP2004049623A5 (ja
Inventor
Akira Kuramori
倉森 章
Noritaka Takaguchi
高口 紀貴
Masayoshi Kamijo
上條 正義
Ahei Sadoyama
佐渡山 亜兵
Satoshi Hosoya
細谷 聡
Yoshio Shimizu
清水 義雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokohama Rubber Co Ltd
Original Assignee
Yokohama Rubber Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokohama Rubber Co Ltd filed Critical Yokohama Rubber Co Ltd
Priority to JP2002212683A priority Critical patent/JP3813552B2/ja
Priority to US10/522,022 priority patent/US7421293B2/en
Priority to PCT/JP2003/009160 priority patent/WO2004008958A1/ja
Priority to EP03741484A priority patent/EP1535571B1/en
Publication of JP2004049623A publication Critical patent/JP2004049623A/ja
Publication of JP2004049623A5 publication Critical patent/JP2004049623A5/ja
Application granted granted Critical
Publication of JP3813552B2 publication Critical patent/JP3813552B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/22Ergometry; Measuring muscular strength or the force of a muscular blow
    • A61B5/224Measuring muscular strength
    • A61B5/228Measuring muscular strength of masticatory organs, e.g. detecting dental force
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528Joints

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】自動車の運転などの作業中のストレスを判定すること。
【解決手段】被験者の顎の開閉を行う咬筋の活動と独立した筋肉の活動によって行う対象作業中に咬筋の筋電信号を入力する筋電信号入力モジュール30と、対象作業が被験者のストレッサーとして働いた場合に現れる筋肉の活動の変化を作業中筋電信号の変化から認識してストレスを判定するストレス判定モジュール35とを含むプログラムを実行することによって、ストレスを判定するようにした。
【選択図】図1

Description

【0001】
【発明の属する技術分野】
本発明は、作業中ストレス判定装置、作業中ストレス判定プログラム及び作業中ストレス判定方法に関し、特に、作業中の動作によって被験者が受けるストレスを判定するのに有用である。
【0002】
【従来の技術】
一般に、心的な負担(ストレス)の測定方法としては、心電図、脳波などの生体情報を用いる方法がある。この種の生体情報を用いる方法は、被験者の統制を必要とする場合が多く、解析の都合上ある程度の時間を必要とするため、安静時のストレスの判定に用いられている。
【0003】
ところで、人は、自動車などの運転時(作業時)には大きなストレスを受けることが多い。そのストレスは、人によって受ける場面も大きさも異なる。例えば、自動車の乗り心地や操縦性などが悪いと、力みを生じやすい。このような力みは、円滑な運転を妨げ事故の原因にもなる。
【0004】
そのため、自動車などの開発・設計では、腕や足といった運転中に負荷が大きい箇所の筋肉の活動を示す筋電信号によって、生体情報の中でも計測が簡便で即応性の優れた筋電図を得て、運転中の被験者の人体にかかる負担を直接的に判定している。
【0005】
【発明が解決しようとする課題】
一般に、人がストレスを受けた精神的負担の状態では、不随意な過剰な筋肉の活動である「力み」が現れる。そのため、ストレスは、その筋肉の活動状態を測定することによって判定することが可能である。
【0006】
しかし、従来の場合では、運転等の作業自体に大きくかかわる腕や足などの筋肉の活動を筋電図で得て、作業中の筋肉の運動を測定して人体の負担を判定していたけれども、筋電図を基に作業中の心的な負担(ストレス)を客観的に表す方法は知られていなかった。
【0007】
また、腕や足などの作業中の筋肉の活動の筋電図では、自動車の運転などの作業による筋肉の活動の筋電信号とストレスによる筋肉の「力み」の筋電信号とが重畳されて得られるため、自動車の運転などの作業による筋肉の活動かストレスによる筋肉の活動かを判別することができなかった。
【0008】
また、筋電図以外の生体情報を用いる方法では、被験者に統制が必要な場合が多く、解析の都合上ある程度の記録時間が必要であるため、作業中のストレスを正しく再現・評価することが困難であった。
【0009】
また、従来の自動車などの開発・設計では、乗り心地や操縦性といった心的な負担(ストレス)に関わる項目は被験者が感じた状態を主観的に言葉で表していたに過ぎず、客観的にストレスを判定することができなかった。
【0010】
そこで、本発明は、上記に鑑みてなされたものであって、被験者の顎の開閉を行う咬筋にストレスによって生じる「力み」を定量的に測定して、自動車の運転などの作業中のストレスを客観的に判定することができるストレス判定装置、作業中ストレス判定プログラム及び作業中ストレス判定方法を提供することを目的とする。
【0011】
【課題を解決するための手段】
上述の目的を達成するために、本発明による作業中ストレス判定装置は、被験者の顎の開閉を行う咬筋の活動と独立した筋肉の活動によって行う対象作業中に咬筋の筋電信号を入力する筋電信号入力手段と、対象作業が被験者のストレッサーとして働いた場合に現れる咬筋の活動の変化を示す筋電信号からストレスを判定するストレス判定手段とを有することを特徴とする。
【0012】
この構成によれば、被験者が作業中に受けるストレスを作業中筋電信号の変化から認識して作業中のストレスを判定できるため、例えば、被験者がドライバーとして操舵中(作業中)、自動車の乗り心地や操縦性といった精神的負担となって現れる項目を定量的に表し、客観的に操舵中(作業中)のストレスを判定することができるようになる。
【0013】
被験者にストレスが掛かると、筋肉に「力み」が生じる。このときの「力み」の度合いを測定すれば、ストレスを判定することができる。しかし、作業中には種々の筋肉も作業に伴って活動しているため、「力み」を正確に測定するためには、作業中は主に使用しないと思われる筋肉の活動を測定すればよいことが推察される。特に、顎はストレスが生じると噛締めによって強い力が掛かるため、主に腕や足といった部位の筋肉を使用する作業の場合には、被験者の顎の咬筋の活動を計測することによって、その活動の強度や時間変化を把握することによってストレスを判定することができる。
【0014】
なお、対象作業は、積極的に顎を使う作業を除く意味であり、例えば、手を使う作業、足を使う作業、指を使う作業、腰を使う作業、背中を使う作業である。具体的な被験者は、例えば、自動車、自動二輪車、船舶、航空機などの運転者、工場などのプラントオペレーターや、OA(オフィスオートメーション)オペレーターや、事務員などである。また、被験者の顎の開閉を行う咬筋の活動と独立した筋肉の活動とは、積極的に発話や欠伸や咀嚼といった顎を使った動作を除く意味である。また、ストレッサーとは、ストレスの原因となる刺激である。
【0015】
つぎの発明による作業中ストレス判定装置は、前記ストレス判定手段は、被験者が前記対象作業と独立して咬筋を用いた所望の作業を行う期間をストレスの判定の対象期間から除外することを特徴とする。
【0016】
この構成によれば、被験者が対象作業中に対象作業と独立して咬筋を用いた所望の作業を行った場合でも、対象作業と独立して咬筋を用いた所望の作業による筋肉の活動の変化があるときには、そのときの筋電信号をストレスの判定には使用しないで、対象作業と独立して咬筋を用いた所望の作業中と判断するようにしたため、ストレスの判定を正確に行うことができるようになる。
【0017】
例えば、自動車の運転中に、被験者の咬筋の筋電図を得てストレスを判定する場合に、被験者が咬筋を使用して喋るという動作を行ったときには、喋るという行為によって咬筋が活動しているため、ストレスによる「力み」とは別に筋電図に表れてしまう。このようなときに、喋るという動作中は、対象作業と独立して咬筋を用いた所望の作業中と判断してストレスの判定に使用しないこととすることによって、ストレスを正確に判定することができるようになる。
【0018】
つぎの発明による作業中ストレス判定装置は、前記ストレス判定手段は、被験者の発話を入力した音声データ又は被験者の顔面の画像を入力した画像データから、被験者が前記対象作業と独立して咬筋を用いた所望の作業を行っている期間を特定する。
【0019】
この構成によれば、被験者が前記対象作業と独立して咬筋を用いた所望の作業を行う期間を特定できる。
【0020】
なお、本発明による作業中ストレス判定装置では、前記対象作業を被験者の行う車両の操舵とするのが好ましい。
【0021】
また、ストレス判定に用いるパラメータとしては、例えば、一定時間での平均自乗根(RMS)や積分値(IEMG(Integrated Electromyogram ))がある。このようなパラメータは、筋電信号パラメータ算出手段によって算出させればよい。この筋電信号パラメータ算出手段は、RMSやIEMGを算出する関数を定義しておき、入力される筋電信号に対して時系列に従って算出処理を行えばよい。
【0022】
また、前記筋電信号の強度は、例えば、所定動作を行った時間毎に強度を算出する。例えば、複数の区間を走行している場合には、その区間毎に強度を算出し、各区間毎の傾向を見ることが可能になる。なお、この筋電信号の強度は、強度算出手段が算出すればよい。
【0023】
なお、前記対象作業と独立して咬筋を用いた所望の作業認識手段は、対象作業中に被験者が行った対象作業と独立して咬筋を用いた所望の作業である咀嚼や発話といった咬筋の主たる機能の動作を認識するのが好ましい。この場合には、前記ストレス判定手段は、前記作業中筋電信号の変化を咀嚼や発話といった対象作業と独立して咬筋を用いた所望の作業中と判定すればよい。
【0024】
また、上述の目的を達成するために、本発明の作業中判定プログラムは、作業中ストレス判定装置の各手段を、コンピューターが実行するプログラムモジュールとして含むことを特徴とする。
【0025】
なお、各手段を構成するプログラムは、モジュール単位に分割されたものだけでなく、各モジュールの各ステップを含む1つのプログラムであってもよく、本発明はこの場合も含む。各手段を実現する各ステップは、1つのプログラムに組み込まれたとしても、ステップ毎に組み込まれるため、実質的にモジュール化しているからである。
【0026】
さらに、上述の目的を達成するために、本発明による作業中ストレス判定方法は、被験者の顎の開閉を行う咬筋の活動と独立した筋肉の活動によって行う対象作業中に咬筋の筋電信号を入力する筋電信号入力ステップと、対象作業が被験者のストレッサーとして働いた場合に現れる咬筋の活動の変化を示す筋電信号からストレスを判定するストレス判定ステップとを含むことを特徴とする。
【0027】
この構成によれば、被験者が作業中に受けるストレスを作業中筋電信号の変化から認識して作業中のストレスを判定できるため、例えば、自動車の乗り心地や操縦性といった精神的負担となって現れる項目を定量的に表し、客観的に作業中のストレスを判定することができるようになる。
【0028】
【発明の実施の形態】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、以下の説明では、腕や足などの筋肉を使用して行う自動車の運転などの作業中の場合を説明する。
【0029】
図1は、本発明の実施形態の作業中ストレス判定装置の構成を説明するブロック図である。図2は、本発明の実施形態の作業中ストレスを検知する筋電信号を入力する電極の取付例を示す図である。
【0030】
図1において、この作業中ストレス判定システム1は、咬筋の活動電位を入力する咬筋電位入力装置10と、前記咬筋電位入力装置10が入力した筋電信号に基づいてストレスを判定するパーソナルコンピューター(PC)20とで構成されている。
【0031】
前記咬筋電位入力装置10は、センサー11によって咬筋の活動電位を検知する。このセンサー11は、約5mm程度離して配置する電極12,13と、基準電位をとるアース電極14とで構成する。図2に示すように、顔面Fの咬筋X(破線)の上部の皮膚に電極12,13を貼付するとともに、耳たぶにアース電極14を貼付する。
【0032】
ここで、咬筋は、顔の側面にある大きな筋で、側頭筋と共に咀嚼筋と呼ばれ顎の閉じ動作、例えば、咀嚼や発話を行う動作に作用する。そのため、咬筋は、腕や足などの筋肉を使用して行う自動車の運転などの作業中では、通常、活動しない。ところが、被験者にストレスが生じて全身に力が入ってしまう場合には、咬筋にも「力み」が生じる。本実施形態では、そのストレスが生じているときの咬筋の筋電信号を計測するようにしたものである。
【0033】
また、図1に戻って、この咬筋電位入力装置10は、前記センサー11からの筋電信号を増幅する生体アンプ15と、交流波形の筋電信号を直流波形の筋電信号に整流する整流器16と、筋電信号中の雑音を除去する平滑化フィルタ17と、アナログ信号としての筋電信号をディジタル信号に変換するA/Dコンバータ18と、前記PC20側とのデータのやり取りを制御するインターフェース(I/F)19とを有している。
【0034】
この咬筋電位入力装置10では、被験者が自動車を運転中(作業中)に、右旋回や左旋回などによってストレスを受けて、被験者の全身に力が入って咬筋に「力み」が生じると、そのときの「力み」による咬筋電信号のアナログ波形からなる筋電信号は、電極12,13から入力され、生体アンプ15で増幅されて整流器16によって整流され、さらに、平滑化フィルタ17によって雑音を除去されてA/Dコンバータ18によってディジタル信号に変換され、I/F19によってPC20側に転送される。
【0035】
一方、前記PC20は、前記咬筋電位入力装置10から転送される筋電信号を基に作業中のストレスを判定する作業中ストレス判定装置であり、各種プログラムモジュールを適宜呼び出して全体の処理を司るCPU21と、前記咬筋電位入力装置10との間のデータのやり取りを制御するインターフェース(I/F)22と、前記CPU21の実行する各種プログラムや各種データを格納するROM23、RAM24と、ストレス判定結果などを表示するディスプレイ25と、前記咬筋電位入力装置10から転送されてくる筋電信号や各種プログラムや各種データを格納するハードディスク(HD)26とを主に有している。なお、CPU21とI/F22とROM23とRAM24とディスプレイ25とHD26とはバスによってそれぞれ接続されている。
【0036】
また、前記CPU21は、特に、被験者の顎の開閉を行う咬筋の活動と独立した筋肉の活動によって行う対象作業中に咬筋の筋電信号を入力する筋電信号入力モジュール30と、ストレス判定の指標としてのパラメータに筋電信号を加工する信号処理モジュール31(例えば、一定時間での平均自乗根(RMS)や積分値(IEMG(Integrated Electromyogram )の関数に基づく筋電信号パラメータを算出する筋電信号パラメータ算出モジュール32又は筋電信号の強度によるパラメータを算出する強度算出モジュール33)と、対象作業中に被験者が行った対象作業と独立して咬筋を用いた所望の作業を認識する対象外作業認識モジュール34と、対象作業が被験者のストレッサーとして働いた場合に現れる筋肉の活動の変化を作業中筋電信号の変化から認識してストレスを判定するストレス判定モジュール35とを呼び出してストレス判定処理を実行する。
【0037】
これら各モジュールは、ROM23、RAM24、HD26のいずれの記憶媒体に記憶させておいてもよい。また、それぞれのモジュールをばらばらに記憶させてもよい。さらに、図示しないCD−ROMその他の記憶媒体に記憶させておいてもよい。
【0038】
前記筋電信号入力モジュール30は、被験者の顎の開閉を行う咬筋の活動と独立した筋肉の活動によって行う対象作業中に咬筋の作業中筋電信号を入力する手段である。例えば、この筋電信号入力モジュール30は、ストレス判定作業を自動車の運転とした場合に、被験者が自動車の運転中(作業中)の咬筋の筋電信号を入力する。特に、被験者がストレスを感じているときには、咬筋の「力み」として現れる。この「力み」時の筋電信号は、被験者がストレスを感じていない「力み」の無い時の筋電信号に比べて高い電位となる。
【0039】
なお、この筋電信号入力モジュール30は、咬筋電位入力装置10からリアルタイムに転送されてくる筋電信号を入力するばかりでなく、咬筋電位入力装置10から転送された筋電信号をHD26に蓄積しておき、そのHD26から読み出すようにしてもよい。
【0040】
前記信号処理モジュール31は、ストレス判定モジュール35が判定する指標としてのパラメータに加工する手段である。この信号処理モジュール31は、例えば、RMSやIEMGを算出する関数を定義しておき、入力される筋電信号に対して時系列に従って算出処理を行う筋電信号パラメータ算出モジュール32や筋電信号の強度によるパラメータとする強度算出モジュール33によって構成される。
【0041】
前記筋電信号パラメータ算出モジュール32は、例えば、咬筋電位入力装置10側から転送されてくる咬筋の筋電信号の変化の微分値を取り、急峻な変化を生じたときには、動作によってストレスを生じたことを示すため、その値をストレス判定モジュール35に渡す。
【0042】
また、前記強度算出モジュール33は、例えば、所定動作毎の筋電信号の強度のピーク値や平均値などの値を取り、所定動作毎の筋電信号の強度同士の比較を行い、その結果をストレス判定モジュール35に渡す。なお、強度の判定は、予め計測された最大筋電位によって正規化されたEMGやRMSを用い、予め用意された閾値によって行ってもよい。
【0043】
前記対象外作業認識モジュール34は、対象作業中に被験者が行った対象作業と独立して咬筋を用いた所望の作業を認識して、その結果を前記ストレス判定モジュール35に渡す手段である。また、この対象外作業認識モジュール34は、対象作業中に被験者が行った対象作業と独立して咬筋を用いた所望の作業である咀嚼や発話といった咬筋の主たる機能の動作を認識して、その結果を前記ストレス判定モジュール35に渡す手段としても機能するようにしてある。
【0044】
また、前記対象外作業認識モジュール34は、対象作業中の対象作業と独立して咬筋を用いた所望の作業を撮影した動画像データから対象作業と独立して咬筋を用いた所望の作業動作を認識して、その結果を前記ストレス判定モジュール35に渡す手段としても機能するようにしてもよい。この場合には、図示しないカメラを被験者に向けて設置しておき、そのカメラの映像をPC20側に取り込む必要がある。そして、この場合には、前記ストレス判定モジュール35は、咀嚼又は発話のいずれでも対象作業と独立して咬筋を用いた所望の作業と認識できる。
【0045】
また、前記対象外作業認識モジュール34は、発話を録音した音声データから発話を対象作業と独立して咬筋を用いた所望の作業動作と認識して、前記ストレス判定モジュール35に渡すようにしてもよい。この場合には、図示しないマイクロフォンを被験者近傍に設置しておき、そのマイクロフォンからの音声をPC20側に取り込む必要がある。そして、この場合には、前記ストレス判定モジュール35は発話中と認識することになる。
【0046】
前記ストレス判定モジュール35は、対象作業が被験者のストレッサーとして働いた場合に現れる筋肉の活動の変化を作業中筋電信号の変化から認識してストレスを判定する手段である。
【0047】
この場合には、このストレス判定モジュール35は、被験者が作業中に受けるストレスを筋電信号入力モジュール30によって作業中筋電信号の変化から認識して作業中のストレスをストレス判定モジュール35によって判定できるため、例えば、自動車の乗り心地や操縦性といった精神的負担となって現れる項目を定量的に表し、客観的に作業中のストレスを判定できる。
【0048】
このストレス判定モジュール35は、前記筋電信号から認識する筋電信号の大小、前記筋電信号の強度から認識する強弱の少なくとも1つで判定する手段でもある。
【0049】
例えば、前記筋電信号パラメータ算出モジュール32が、咬筋電位入力装置10側から転送されてくる咬筋の筋電信号の変化の微分値を取り、急峻な変化を生じたときに、その値をストレス判定モジュール35に渡した場合には、このストレス判定モジュール35は、その筋電信号ではストレスが生じていると判断する。
【0050】
また、例えば、前記強度算出モジュール33が、所定動作毎の筋電信号の強度のピーク値や平均値などの値を取り、所定動作毎の筋電信号の強度同士の比較を行い、その結果をストレス判定モジュール35に渡した場合には、このストレス判定モジュール35では、その比較結果によってばらつきや強度を判断して、ストレスが発生している動作を特定する。
【0051】
したがって、このストレス判定モジュール35は、作業前後の筋電信号が小さく、作業中の筋電信号が大きければ、作業中にストレスを受けていると判定することができ、また、作業前後の筋電信号が弱く、作業中の筋電信号が強ければ、作業中にストレスを受けていると判定することができる。また、ストレスは、筋肉の「力み」による筋電信号の大小又は筋電信号の強弱として定量的に表すことができる。
【0052】
また、このストレス判定モジュール35は、前記対象作業と独立して咬筋を用いた所望の作業が前記作業中筋電信号を入力している筋肉を使った動作の場合には前記作業中筋電信号の変化を対象作業と独立して咬筋を用いた所望の作業中と判定する手段としても機能する。例えば、このストレス判定モジュール35は、前記対象外作業認識モジュール34が対象作業と独立して咬筋を用いた所望の作業を咀嚼や発話といった咬筋の主たる機能の動作と認識した場合に、前記作業中筋電信号の変化を咀嚼や発話といった対象作業と独立して咬筋を用いた所望の作業中と判定する。
【0053】
この場合には、このストレス判定モジュール35は、被験者が対象作業中に対象作業と独立して咬筋を用いた所望の作業を行った場合でも、対象作業と独立して咬筋を用いた所望の作業による筋肉の活動の変化があるときには、対象外作業認識モジュール34が対象作業と独立して咬筋を用いた所望の作業であることを認識して、ストレス判定モジュール35がそのときの作業中筋電信号をストレスの判定には使用しないで、対象作業と独立して咬筋を用いた所望の作業中と判断する。そのため、このストレス判定モジュール35は、対象作業と独立して咬筋を用いた所望の作業による筋電変化を選別し、ストレスの判定を正確に行える。
【0054】
例えば、自動車の運転中に、被験者の咬筋の筋電図を得てストレスを判定する場合に、被験者が発話したときには、このストレス判定モジュール35が、被験者の咬筋の活動を発話によるものとして対象作業と独立して咬筋を用いた所望の作業中と判断し、ストレスの判定には用いないこととすることによって、ストレスを正確に判定できる。
【0055】
それでは、上述した作業中ストレス判定システム1の判定処理をPC20側の動作を主にして説明する。なお、上述したように、電極12, 13及びアース電極14は、被験者の咬筋の上部及び耳たぶの皮膚に貼付しておく。この状態で、電極12, 13からは咬筋の筋電信号が、生体アンプ15、整流器16、平滑化フィルタ17、A/Dコンバータ18及びI/F19を介してPC20側に伝送されているものとする。
【0056】
図3に、本発明の実施形態の作業中ストレス判定処理を説明するフローチャートを示す。CPU21では、筋電信号入力モジュール30は、筋電信号を入力して、信号処理モジュール31に筋電信号を渡す(S1)。信号処理モジュールでは、筋電信号パラメータ算出モジュール32が、上述したように、例えば、咬筋電位入力装置10側から転送されてくる咬筋の筋電信号の変化の微分値を取り、急峻な変化を生じたときには、動作によってストレスを生じたことを示すため、その値をストレス判定モジュール35に渡す(S2)。また、強度算出モジュール33では、上述したように、例えば、所定動作毎の筋電信号の強度のピーク値や平均値などの値を取り、所定動作毎の筋電信号の強度同士の比較を行い、その結果をストレス判定モジュール35に渡す(S3)。ここで、対象外作業認識モジュール34が、対象作業と独立して咬筋を用いた所望の作業の有無を判断し、対象作業中に被験者が行った対象作業と独立して咬筋を用いた所望の作業を認識して、その結果を前記ストレス判定モジュール35に渡す(S4)。
【0057】
すると、ストレス判定モジュール35では、対象作業が被験者のストレッサーとして働いた場合に現れる筋肉の活動の変化を作業中筋電信号の変化から認識してストレスを判定する(S5)。例えば、前記筋電信号パラメータ算出モジュール32が、咬筋電位入力装置10側から転送されてくる咬筋の筋電信号の変化の微分値を取り、急峻な変化を生じたときに、その値をストレス判定モジュール35に渡した場合には、このストレス判定モジュール35は、その筋電信号ではストレスが生じていると判断する。また、例えば、前記強度算出モジュール33が、所定動作毎の筋電信号の強度のピーク値や平均値などの値を取り、所定動作毎の筋電信号の強度同士の比較を行い、その結果をストレス判定モジュール35に渡した場合には、このストレス判定モジュール35では、その比較結果によってばらつきや強度を判断して、ストレスが発生している動作を特定する。なお、このストレス判定モジュール35は、上記S4で対象作業と独立して咬筋を用いた所望の作業が認識された場合には、対象作業と独立して咬筋を用いた所望の作業中と判定する。
【0058】
上記実施形態によれば、自動車の運転などの作業中のストレスを判定するために、力みとなって現れる筋肉の活動としてストレスを感知して、客観的に作業中のストレスを判定することができるようになる。特に、上記実施形態によれば、咬筋の筋電信号を測定して、その測定結果を基に、噛締めによる「力み」からストレスを判定することができる。また、上記実施形態によれば、筋電図を用いて判定するようにしたため、脳波や心電図など他の生体情報を用いる場合に比べ、被験者への統制が少なく、非常に短時間の計測結果からも被験者の心理状態を把握することができるため、より精度の高い評価ができるようになる。
【0059】
したがって、上記実施形態によれば、被験者が作業中に受けるストレスを作業中の筋電信号の変化から認識して作業中のストレスを判定できるようになる。そのため、例えば、被験者がドライバーとして操舵中(作業中)、自動車の乗り心地や操縦性といった精神的負担となって現れる項目を定量的に表し、客観的に操舵中(作業中)のストレスを判定することができるようになる。
【0060】
なお、上記実施形態では、咬筋の活動を計測の対象とした場合を説明したが、作業中に主に活動する筋肉とは別の筋肉であれば、咬筋に限らない。例えば、発話中のストレスを判定する場合には、発話とは直接関係しない腕や足の筋肉の活動電位を計測するようにしてもよい。
【0061】
また、上記実施形態では、ストレス判定手段などの各手段は、プログラムを構成するモジュールとし、CPUが実行するものとして説明したが、これに限らず、LSIチップなどに電子回路として構成するようにしてもよい。
【0062】
また、上記実施形態では、前記咬筋電位入力装置10には整流器16を設け、直流成分として扱う場合を説明したが、交流成分のまま扱うようにしてもよい。この場合は、生体アンプ15と平滑化フィルタ17とを直接接続する。
【0063】
【実施例】
以下に、上記実施形態のストレス判定処理によって得られるストレス評価例を示す。なお、ここでは、作業として車両の操舵の場合を示す。また、複数の作業は、異なる走行条件下での作業を表す。
【0064】
図4は、筋電信号―時間を示すグラフである。この例では、異なる条件下で単位時間毎の筋電信号を得た。グラフには筋電信号の変化が波形に現れている。波形A,B,C,D,Eは、それぞれ異なる条件下での作業A,B,C,D,E時の筋電信号を示す。中でも、波形Eは、急峻な変化を持っている。この急峻な変化は、前記筋電信号パラメータ算出モジュール32によって判別できる。この波形Eのように急峻な変化が、ストレスの発現を示し、ストレス判定モジュール35がストレスと判定する。
【0065】
図5は、筋電信号強度―作業を示すグラフである。A,B,C,D,Eは、図4で表した各作業を示す。筋電信号強度は、ここではRMSを用いている。このグラフでは、作業Eが、他の作業に比べて高い強度を持っている。このようなグラフで表される関係では、前記強度算出モジュール33が、作業毎のRMSを算出し、ストレス判定モジュール35が、各値を比較して作業Eの場合に大きなストレスが被験者に掛かっていると判定する。
【0066】
次に、比較例として被験者の官能値判断のサンプルを示す。
図6は、筋電信号―官能値(力み)を示す散布図である。○は作業A、×は作業B、□は作業C、△は作業D、▽は作業Eを示す。なお、この散布図は、5人の被験者のサンプルである。また、力みがない場合には、正で表す。中でも、▽の作業Eでは、全ての人が力みを生じていると回答した。このことは、図4及び5で示した作業Eが大きなストレスが掛かるという結果と一致する。
【0067】
図7は、筋電信号―官能値(反応)を示す散布図である。○は作業A、×は作業B、□は作業C、△は作業D、▽は作業Eを示す。ここでは、各作業は、所定条件を与えた場合である。なお、この散布図は、5人の被験者のサンプルである。また、車両の反応が良い場合には、正で表す。中でも、▽の作業Eでは、全ての人が車両の反応が悪いと回答している。このことは、車両の反応が悪い場合には、図4及び5で表した大きなストレスを感じていることを示している。
【0068】
【発明の効果】
以上説明したように、本発明によれば、被験者が作業中に受けるストレスを作業中の筋電信号の変化から認識して作業中のストレスを判定できる効果を奏する。そのため、本発明によれば、例えば、被験者がドライバーとして操舵中(作業中)、自動車の乗り心地や操縦性といった精神的負担となって現れる項目を定量的に表し、客観的に操舵中(作業中)のストレスを判定できる効果を奏する。
【図面の簡単な説明】
【図1】本発明の実施形態の作業中ストレス判定装置の構成を説明するブロック図である。
【図2】図2は、本発明の実施形態の作業中ストレスを検知する筋電信号を入力する電極の取付例を示す図である。
【図3】本発明の実施形態の作業中ストレス判定処理を説明するフローチャートである。
【図4】筋電信号―時間を示すグラフである。
【図5】筋電信号強度―作業を示すグラフである。
【図6】筋電信号―官能値(力み)を示す散布図である。
【図7】筋電信号―官能値(反応)を示す散布図である。
【符号の説明】
1    作業中ストレス判定システム
10  咬筋電位入力装置
11  センサー
12,13  電極
14  アース電極
15  生体アンプ
16  整流器
17  平滑化フィルタ
18  コンバータ
19  I/F
20  PC
21  CPU
22  I/F
23  ROM
24  RAM
25  ディスプレイ
26  HD
30  筋電信号入力モジュール
31  信号処理モジュール
32  筋電信号パラメータ算出モジュール
33  強度算出モジュール
34  対象外作業認識モジュール
35  ストレス判定モジュール

Claims (6)

  1. 被験者の顎の開閉を行う咬筋の活動と独立した筋肉の活動によって行う対象作業中に咬筋の筋電信号を入力する筋電信号入力手段と、対象作業が被験者のストレッサーとして働いた場合に現れる咬筋の活動の変化を示す筋電信号からストレスを判定するストレス判定手段とを有することを特徴とする作業中ストレス判定装置。
  2. 前記ストレス判定手段は、被験者が前記対象作業と独立して咬筋を用いた所望の作業を行う期間をストレスの判定の対象期間から除外することを特徴とする請求項1に記載の作業中ストレス判定装置。
  3. 前記ストレス判定手段は、被験者の発話を入力した音声データ又は被験者の顔面の画像を入力した画像データから、被験者が前記対象作業と独立して咬筋を用いた所望の作業を行っている期間を特定することを特徴とする請求項2に記載の作業中ストレス判定装置。
  4. 前記対象作業を、被験者の行う車両の操舵とすることを特徴とする請求項1〜3のいずれかに記載の作業中ストレス判定装置。
  5. 請求項1〜3のいずれかに記載の作業中ストレス判定装置の各手段を、コンピューターが実行するプログラムモジュールとして含むことを特徴とする作業中ストレス判定プログラム。
  6. 被験者の顎の開閉を行う咬筋の活動と独立した筋肉の活動によって行う対象作業中に咬筋の筋電信号を入力する筋電信号入力ステップと、対象作業が被験者のストレッサーとして働いた場合に現れる咬筋の活動の変化を示す筋電信号からストレスを判定するストレス判定ステップとを含むことを特徴とする作業中ストレス判定方法。
JP2002212683A 2002-07-22 2002-07-22 作業中ストレス判定装置、作業中ストレス判定プログラム及び作業中ストレス判定方法 Expired - Fee Related JP3813552B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002212683A JP3813552B2 (ja) 2002-07-22 2002-07-22 作業中ストレス判定装置、作業中ストレス判定プログラム及び作業中ストレス判定方法
US10/522,022 US7421293B2 (en) 2002-07-22 2003-07-18 Stress-at-work judging apparatus, stress-at-work judging program, and stress-at-work judging method
PCT/JP2003/009160 WO2004008958A1 (ja) 2002-07-22 2003-07-18 作業中ストレス判定装置、作業中ストレス判定プログラム及び作業中ストレス判定方法
EP03741484A EP1535571B1 (en) 2002-07-22 2003-07-18 Stress-at-work judging device, stress-at-work judging program, and stress-at-work judging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002212683A JP3813552B2 (ja) 2002-07-22 2002-07-22 作業中ストレス判定装置、作業中ストレス判定プログラム及び作業中ストレス判定方法

Publications (3)

Publication Number Publication Date
JP2004049623A true JP2004049623A (ja) 2004-02-19
JP2004049623A5 JP2004049623A5 (ja) 2005-10-27
JP3813552B2 JP3813552B2 (ja) 2006-08-23

Family

ID=30767817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002212683A Expired - Fee Related JP3813552B2 (ja) 2002-07-22 2002-07-22 作業中ストレス判定装置、作業中ストレス判定プログラム及び作業中ストレス判定方法

Country Status (4)

Country Link
US (1) US7421293B2 (ja)
EP (1) EP1535571B1 (ja)
JP (1) JP3813552B2 (ja)
WO (1) WO2004008958A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006026088A (ja) * 2004-07-15 2006-02-02 Sony Corp 信号処理装置及び信号処理方法、並びに機械装置
JP2006271648A (ja) * 2005-03-29 2006-10-12 Yokohama Rubber Co Ltd:The 作業特性評価装置、作業特性評価方法及びプログラム
US7313957B1 (en) 2006-06-15 2008-01-01 The Yokohama Rubber Co., Ltd. Apparatus, method and program for evaluating work characteristic
EP1875860A1 (en) 2006-07-05 2008-01-09 The Yokohama Rubber Co., Ltd. Apparatus, method and program for evaluating work characteristic
US7467010B2 (en) 2003-09-17 2008-12-16 Yokohama Rubber Co., Ltd. Stress-at-work evaluating device and method
JP2009520551A (ja) * 2005-12-23 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ストレッサーセンサ及びストレス管理システム
JP2010227483A (ja) * 2009-03-30 2010-10-14 Yokohama Rubber Co Ltd:The 車両のロール感の評価方法および車両のロール感の評価装置
JP2019122655A (ja) * 2018-01-18 2019-07-25 パシフィックメディコ株式会社 筋電位取得装置
JP2021106669A (ja) * 2019-12-27 2021-07-29 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050130717A1 (en) * 2003-11-25 2005-06-16 Gosieski George J.Jr. System and method for managing audio and visual data in a wireless communication system
US7231233B2 (en) * 2003-11-25 2007-06-12 G Squared, Llc Combined multi-media and in ear monitoring system and method of remote monitoring and control thereof
US20070060830A1 (en) * 2005-09-12 2007-03-15 Le Tan Thi T Method and system for detecting and classifying facial muscle movements
JP4957202B2 (ja) * 2006-11-17 2012-06-20 横浜ゴム株式会社 強感受性骨格筋の選択方法、強感受性骨格筋の選択装置、作業中ストレスの評価方法、および作業中ストレスの評価システム
US8117047B1 (en) 2007-04-16 2012-02-14 Insight Diagnostics Inc. Healthcare provider organization
US8118712B2 (en) * 2008-06-13 2012-02-21 Gil Thieberger Methods and systems for computerized talk test
JP4531864B2 (ja) * 2008-07-11 2010-08-25 パナソニック株式会社 咀嚼筋電を用いたインタフェースシステム
EP2408358A4 (en) 2009-03-18 2014-08-20 A M P S Llc STRESS MONITORING SYSTEM AND METHOD
US9873038B2 (en) * 2013-06-14 2018-01-23 Intercontinental Great Brands Llc Interactive electronic games based on chewing motion
MX2015004078A (es) * 2015-03-30 2016-09-29 Centro De Investigación Y De Estudios Avanzados Del I P N Dispositivo para registro superficial de musculos maseteros.
US20170186444A1 (en) * 2015-12-24 2017-06-29 Intel Corporation Tracking user feeling about exercise

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4344441A (en) 1980-07-03 1982-08-17 Myo-Tronics Research, Inc. Mandibular electromyograph
US4934378A (en) 1989-03-31 1990-06-19 Perry Jr John D Bruxism method and apparatus using electrical signals
US5195531A (en) * 1991-03-01 1993-03-23 Bennett Henry L Anesthesia adequacy monitor and method
US6233472B1 (en) * 1995-06-06 2001-05-15 Patient Comfort, L.L.C. Electrode assembly and method for signaling a monitor
JP2002214083A (ja) 2001-01-17 2002-07-31 Mazda Motor Corp 車両の操安性評価装置、操安性評価プログラムを記録した記録媒体、及び操安性評価方法
JP2002230699A (ja) * 2001-01-31 2002-08-16 Mazda Motor Corp 運転負担判定装置、運転負担判定方法、当該方法を実行するコンピュータプログラム、並びに当該コンピュータプログラムを格納した記憶媒体
JP3912227B2 (ja) 2001-09-03 2007-05-09 株式会社豊田中央研究所 操舵感計測装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7467010B2 (en) 2003-09-17 2008-12-16 Yokohama Rubber Co., Ltd. Stress-at-work evaluating device and method
JP2006026088A (ja) * 2004-07-15 2006-02-02 Sony Corp 信号処理装置及び信号処理方法、並びに機械装置
JP4661115B2 (ja) * 2004-07-15 2011-03-30 ソニー株式会社 信号処理装置及び信号処理方法、並びに機械装置
JP2006271648A (ja) * 2005-03-29 2006-10-12 Yokohama Rubber Co Ltd:The 作業特性評価装置、作業特性評価方法及びプログラム
JP2009520551A (ja) * 2005-12-23 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ストレッサーセンサ及びストレス管理システム
US7313957B1 (en) 2006-06-15 2008-01-01 The Yokohama Rubber Co., Ltd. Apparatus, method and program for evaluating work characteristic
EP1875860A1 (en) 2006-07-05 2008-01-09 The Yokohama Rubber Co., Ltd. Apparatus, method and program for evaluating work characteristic
JP2010227483A (ja) * 2009-03-30 2010-10-14 Yokohama Rubber Co Ltd:The 車両のロール感の評価方法および車両のロール感の評価装置
JP2019122655A (ja) * 2018-01-18 2019-07-25 パシフィックメディコ株式会社 筋電位取得装置
JP2021106669A (ja) * 2019-12-27 2021-07-29 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム

Also Published As

Publication number Publication date
US7421293B2 (en) 2008-09-02
JP3813552B2 (ja) 2006-08-23
EP1535571B1 (en) 2012-08-29
US20050245838A1 (en) 2005-11-03
EP1535571A4 (en) 2008-06-25
EP1535571A1 (en) 2005-06-01
WO2004008958A1 (ja) 2004-01-29

Similar Documents

Publication Publication Date Title
JP3813552B2 (ja) 作業中ストレス判定装置、作業中ストレス判定プログラム及び作業中ストレス判定方法
EP1516586B1 (en) Stress-at-work evaluating device and method
KR100927643B1 (ko) 무구속 수면상태 판단 장치
US20070179396A1 (en) Method and System for Detecting and Classifying Facial Muscle Movements
US8200337B2 (en) Method of selecting specific skeletal muscle highly sensitive to human psychological state, device for selecting specific skeletal muscle, method of evaluating stress during work, and system for evaluating stress during work
EP1529487A1 (en) Electrocardiogram analysis device and method thereof
KR101854812B1 (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
JP4857580B2 (ja) 作業特性評価装置、作業特性評価方法及びプログラム
EP1535570B1 (en) Device and method for assessing driver comfort
KR100612046B1 (ko) 뇌파의 감마파 미세 변화를 이용한 긍/부정 의사 인식방법 및 장치
KR101435905B1 (ko) 안전도와 근전도를 이용한 전자기기 제어 방법 및 장치
RU2378984C2 (ru) Устройство контроля и оценки физиологических процессов
JP4983892B2 (ja) 作業中ストレス評価装置及び作業中ストレス評価方法
JPH10244480A (ja) ロボットの制御装置
JP2020174756A (ja) 自律神経活動のモニタリング方法及びそのシステム
KR20190084663A (ko) 생체 신호 수집 및 보정 시스템과, 방법
Mehendale et al. Review on electromyography signal acquisition, processing and its applications
JP2020103495A (ja) 自律神経活動のモニタリング方法及びそのシステム
EP1875860B1 (en) Apparatus, method and program for evaluating work characteristic
Mina et al. Multi-parameter data acquisition on interface devices for the development of adaptive input systems

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060531

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3813552

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090609

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100609

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100609

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120609

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120609

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130609

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130609

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130609

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees