JP2009195556A - 生体信号分析装置 - Google Patents

生体信号分析装置 Download PDF

Info

Publication number
JP2009195556A
JP2009195556A JP2008041777A JP2008041777A JP2009195556A JP 2009195556 A JP2009195556 A JP 2009195556A JP 2008041777 A JP2008041777 A JP 2008041777A JP 2008041777 A JP2008041777 A JP 2008041777A JP 2009195556 A JP2009195556 A JP 2009195556A
Authority
JP
Japan
Prior art keywords
feature point
unit
prediction
time
prediction unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008041777A
Other languages
English (en)
Other versions
JP4322302B1 (ja
Inventor
Kenji Bau
ケンジ バウ
Atsushi Yamanaka
篤 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008041777A priority Critical patent/JP4322302B1/ja
Priority to PCT/JP2009/052211 priority patent/WO2009104499A1/ja
Application granted granted Critical
Publication of JP4322302B1 publication Critical patent/JP4322302B1/ja
Publication of JP2009195556A publication Critical patent/JP2009195556A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427Details of sensor
    • A61B5/02433Details of sensor for infrared radiation

Abstract

【課題】脈波から心拍数の時間変化を初めとする豊富な生体情報を抽出するために、脈波中の反射波に影響されない脈波立上がり点の正確な検出技術を提供する。
【解決手段】特徴点検出部102からは、立上がり点と、直接波ピーク点の時刻とレベルからなる特徴点データが出力される。特徴点検出適応制御部103は、この特徴点データを入力として受け入れ、特徴点検出適応制御部内の、次期特徴点予測部1034と、記憶部1031と、予測結果判定部1033と、に入力する。立上がり点と、直接波ピーク点の組について、2組まで、特徴点データを記憶する。次期特徴点予測部は、現在の特徴点データと、記憶部から読み出した脈波波形上で2周期前までの特徴点データを使用して、脈波波形上の1周期未来の特徴点を予測する。制御情報生成部1035は、この予測範囲内でのみ、特徴点検出部が、特徴点検出の動作を行うようにする。
【選択図】図1

Description

本発明は、生体信号から精度の良い生体情報を抽出するための分析技術に関する。
近年の健康意識の高まりを背景にして、どこでも手軽に健康状態を計測できるシステムに対するニーズが拡大している。このニーズに応える技術として、例えば、図3に示すように、脈波センサ10により指先Fから脈波を検出し、各種生体情報を脈波から抽出するシステムが研究、開発されている。脈波センサの1つの方式としては、破線で示す指先収容部内の片側(図では上側)に赤外線LED(発光ダイオード)による発光部11を配置しておき、指を基準にして反対側図では下側)に例えば赤外線センサによる受光部12を配置しておき、赤外光の透過光量を計測する構成を有している。指先収容部内に挿入した指先の血液量(血液の割合)が多いほど赤外線が指先で一部吸収される割合が大きくなるため、赤外線の透過量は減少する。このような原理を利用して、指先の血液量を、赤外線の透過量の変化として計測することができる。
上記の脈波センサで計測した脈波の典型的な波形例を図4に示す。図4に示すように、図4の脈波センサで測定した脈波は、基本的には、心臓が血液を拍出することによって生じるため、脈波の周期は、ほぼ心拍の周期と一致する。また、心拍数の時間変化は、例えば、自律神経の状態推定にも用いるなど豊富な生体情報を引き出す基礎データとなる。従って、脈波から抽出できる最も基本的であり、かつ、重要な生体情報は、心拍間隔時間ということができる。その計測には、脈波の立上がり点を正確に検出することが重要になる。検出された信号は生体信号分析装置Cにおいて分析されて生体情報を取得することができる。
従来、この脈波の立上がり点の検出には、脈波信号の時間微分のゼロクロス点を利用する処理方式が多く用いられている。この処理手順について、図4、図5を参照しながら説明する。図4に示す脈波波形(横軸時間−縦軸血液量)の典型例においては、立上がり点は、脈波波形の繰り返し周期内における信号の最小点である。この点は、同時に極小点でもあることから、時間の1回微分がゼロであり、2回微分が正の値となる点として求めることができる。この方法を利用して装置化した従来例の構成を、図5のブロック図を利用して説明する。
まず、上述した、図3で示す脈波センサ3011を用いて、指先における血液量の相対変化を測定する。図5に示す生体信号計測部301は、脈波センサ3011と、この脈波センサ3011の出力する脈波信号をデジタル信号に変換するA/D変換器3012と、を含み、A/D変換器3012からの脈波信号を出力する。生体信号計測部301から出力される脈波信号(矢印で示す)は、特徴点検出部302に入力される。特徴点検出部302内においては、時間微分部1(3021)で1階の時間微分を求め、次いで、この結果(出力)を用いて、一方、ゼロクロス検出部3022で、値がゼロとなる時間を検出し、他方、時間微分部2(3023)で再度微分を行うことにより時間の2回微分を求め、立上がり検出部3024に両者の結果を入力する。
立上がり検出部3024は、入力された両者の情報から、ゼロクロス検出部3022でゼロクロスを検出した時刻に、同時に脈波の2回微分が正である場合を検出し、その時刻を立上がり点の時刻として認定する。
以上の動作により、立上がり点検出部3024は、判定された立上がり点の時刻を出力すると共に、入力されている脈波信号を用いて、その時刻に対応する脈波信号のレベルを取り出し、合わせて立上がり点の検出結果として出力する。
尚、「脈波上の特徴点をゼロクロスで検出する方法」は、例えば下記特許文献1に記載されている。
特開平10−295657号公報(図5等)
図に示した脈波の典型的な波形で見ると、脈波の1周期つまり、図4で示された2つの隣接した立上がり点間の波形は、双峰性であることがわかる。この波形は、心臓から血液の拍出の圧力波が最短の経路で直接伝播してくる第1の波W1と、心臓から一旦、末梢血管や動脈の分岐部に伝播した圧力波が、分岐部などで反射し測定部位に伝播して生じる第2の波W2から構成されている。第1の波W1を直接波と記述し、第2の波W2を反射波と記述することとする。
反射波の強度には、個人差、及び、経時変化があるため、1周期内の波形も単峰性である場合と、双峰性である場合と、がある。その結果、上記のような従来方式の時間微分のゼロクロスを用いる方法のみでは、誤検出が生じる可能性がある。図6を参照して、実際の脈波測定波形を従来法で分析した例について説明する。図6中の図6(A)は、実際に計測された脈波波形であり、図6(B)は、図6(A)の時間微分波形である。横軸は時間である。
図6(B)において、従来法で検出した立上がり点を白抜きの丸印でマーキングしている。図6(B)に示すように、得られた結果は、約1秒の脈波の周期について、0秒から約2秒までの2周期においては正しく検出されているが、続く約2秒から約3.5秒までの期間では、反射波の立上がりを誤って検出していることがわかる。このような立上がり点の誤検出が生じると、心拍数はもとより、以降、心拍間隔時間を使用した脈波からの生体情報の抽出がすべて誤った結果となるため、この問題を解決することは極めて重要である。
本発明の目的は、上記の検討で明らかになった問題点を解決し、脈波から心拍数の時間変化を初めとする豊富な生体情報を抽出するために、脈波中の反射波に影響されない脈波立上がり点の正確な検出技術を提供することである。
本発明の一観点によれば、生体時系列信号を計測するための生体信号計測部と、前記生体信号計測部によって計測された生体時系列信号を使用して、特徴点を検出するための特徴点検出部と、を備えた生体信号分析装置において、前記特徴点検出部から出力される特徴点時刻と、前記特徴点時刻に対応する前記生体時系列信号上の値の、いずれか一方または両方を含む特徴点データを使用して、特徴点検出部の動作を前記特徴点データを用いて算出される範囲のみに制限するように制御する特徴点検出適応制御部を備えたことを特徴とする生体信号分析装置が提供される。特徴点検出部の動作を前記特徴点データを用いて算出される範囲のみに制限するように制御することで、現在および過去のデータに基づき、次の立上がり点を精度良く予測し、検出精度を向上させる。
前記特徴点検出適応制御部は、入力される前記特徴点データを記憶する記憶部と、前記特徴点データと前記記憶部から取り出された過去の特徴点データとに基づいて、次期の特徴点の特徴点データの範囲を予測する次期特徴点予測部と、前記次期特徴点予測部からの出力を使用して特徴点検出部の動作を前記次期の特徴点の特徴点データの範囲のみに制限するように制御する制御情報を出力する制御情報生成部と、を含むことが好ましい。次期特徴点予測範囲内を探索する場合の立上がり点検出方法としては線分判別法を用いることができる。
前記特徴点検出適応制御部は、前記次期特徴点予測部から出力される特徴点データの予測範囲と、前記特徴点抽出部から入力される特徴点データとを比較し、前記次期特徴点予測部から出力された特徴点データの予測範囲内に、次期の特徴点が検出されたか否かを判定する予測結果判定部と、前記予測結果判定部の出力を使用して、前記記憶部と、前記次期特徴点予測部内の設定値と、を初期化する初期化制御部と、を含むものでも良い。例えば、記憶部内の特徴点データを、別に設定されたデフォルト値に置き換え、次期特徴点予測部内の設定値を、別に設定されたデフォルト値に置き換えるようにすることができる。
前記特徴点検出部は、前記特徴点検出適応制御部から出力される前記制御情報に含まれる特徴点データの予測範囲の条件内に、特徴点が検出されたか否かを判定する予測範囲内検出判定部を備え、前記特徴点検出適応制御部は、前記予測範囲内検出判定部からの判定結果を受けて、該判定結果が、前記制御情報に含まれる特徴点データの予測範囲の条件内に特徴点が検出されない場合に、前記特徴点検出適応制御部内の前記記憶部と、前記次期特徴点予測部内の設定値と、を初期化する初期化制御部を備えるものでも良い。
前記次期特徴点予測部は、次期の心拍間隔を予測する心拍間隔時間予測部と、次期の脈波上の直接波と反射波との時間間隔として定義される反射遅延時間を予測する反射遅延時間予測部と、のうちの少なくともいずれか一方を含み、かつ、前記心拍間隔時間予測部と、前記反射遅延時間予測部と、のうちの少なくともいずれか一方の出力と、最新の脈波立上がり点の時刻と、を使用して、次期の脈波立上がり点の時刻範囲を予測する立上がり点時刻予測部を含むものでも良い。
前記次期特徴点予測部は、次期の脈波波形の振幅を予測する振幅予測部と、次期の基線変動を予測する基線変動予測部のうちの少なくともいずれか一方と、 前記振幅予測部と、前記基線変動予測部のうちの少なくともいずれか一方の出力と、最新の脈波立上がり点のレベルと、を使用して、次期の脈波立上がり点のレベル範囲を予測する立上がり点レベル予測部を含むものでも良い。
前記次期特徴点予測部は、次期の心拍間隔を予測する心拍間隔時間予測部と、次期の脈波上の直接波と反射波の時間間隔として定義される反射遅延時間を予測する反射遅延時間予測部と、のうちの少なくともいずれか一方と、前記心拍間隔時間予測部と、前記反射遅延時間予測部とのうちの少なくともいずれか一方の出力と、最新の脈波立上がり点の時刻と、を使用して、次期の脈波立上がり点の時刻範囲を予測する立上がり点時刻予測部と、
次期の脈波波形の振幅を予測する振幅予測部と、次期の基線変動を予測する基線変動予測部と、のうちの少なくともいずれか一方と、前記振幅予測部と、前記基線変動予測部と、のうちの少なくともいずれか一方の出力と、最新の脈波立上がり点のレベルと、前記立上がり点時刻予測部が計算した情報と、を使用して、次期の脈波立上がり点のレベル範囲を予測する立上がり点レベル予測部と、を有するものでも良い。
本発明によれば、脈波上に反射波が重畳している場合にも、現在および過去のデータに基づき、次の立上がり点を精度良く予測し、検出精度を向上させることができ、反射波を、立上がりとして誤って検出してしまうという不具合を防止し、脈波波形の正しい立上がり点の検出を行うことができる。従って、従来からの課題であった、脈波から心拍数の時間変化を含む種々の生体情報を抽出することが可能となる。
以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
まず、本発明の第1の実施の形態について説明する。図1は、本実施の形態による生体信号分析装置100の一構成例を示す機能ブロック図であり、図2は、図1の構成中の次期特徴点予測部1034の内部構成例を示すブロック図である。
図1で示す生体信号分析装置100は、生体信号計測部101と特徴点検出部102と、特徴点検出部102からの出力に基づいて、次期特徴点の範囲を予測し、特徴点検出部102を制御する特徴点検出適応制御部103と、から構成されている。
特徴点検出適応制御部103は、特徴点検出部102からの入力を記憶する記憶部1031と、入力と記憶部1031に格納されたデータとから次期特徴点の範囲を予測する次期特徴点予測部1034と、次期特徴点予測部1034からの出力に基づいて、特徴点検出部102を制御する信号を生成する制御情報生成部1035と、次期特徴点予測部1034の出力と特徴点検出部102からの出力とを比較して予測結果を判定する予測結果判定部1033と、予測結果判定部1033における予測結果が外れた場合に、記憶部1031と次期特徴点予測部1034とを初期化する初期化制御部1032と、を有して構成されている。次期特徴点予測部1034について図2を参照しながら詳細に説明する。
図2に示すように、次期特徴点予測部1034は、入力される特徴点検出部102からの出力と、記憶部1031からの出力と、を使用して、心拍間隔時間を予測する心拍間隔時間予測部10341と、直接波と反射波との時間間隔を予測する反射遅延時間予測部10342と、脈波の振幅を予測する振幅予測部10344と、立上がり点のレベルの比較的長時間に渡る時間変動を意味する基線変動を予測する基線変動予測部10343と、心拍間隔時間予測部10341と反射遅延時間予測部10342の出力と、最新の立上がり点時刻と、を使用して立上がり点の時刻を予測する立上がり点時刻予測部10345と、振幅予測部10344と基線変動予測部10343の出力と、最新の立上がり点レベルと、立上がり点時刻予測部10343が計算した立上がり点時刻予測情報を使用して立上がり点のレベルを予測する立上がり点レベル予測部10346と、を有し構成されている。
以下、生体計測部101における計測対象が脈波であり、特徴点検出部102が検出する特徴点として、脈波波形の立上がり点と、直接波ピーク点と、を用いた場合を具体的な例として、本実施の形態による生体信号分析装置100の動作について詳細に説明する。
脈波の計測には、前述したように、図3に示した指先脈波センサ10が多く使われている。指先脈波センサ10は赤外光の発光部11と受光部12とで構成されているものが一般的である。この脈波センサ10の原理は血流量に応じて赤外光の透過度が変化することを利用し、脈波を得る方法に基づいている。従って、耳たぶ等、指先以外の部位に装着してもよい。脈波データは通常A/D変換されたデジタルデータとして、生体信号計測部101(図1)から出力され、以後の処理がなされる。回路の簡略化またはコスト低減が必要な場合には、アナログ回路を利用した信号処理に置き換えることも出来る。得られる脈波の典型的な形状をについて図4に示す。
次に、図1に示す構成において、特徴点検出部102では、生体計測部101から脈波波形のデータを受け取り、本実施例では、立上がり点と、直接波のピーク点と、を検出し、その時刻とレベルの組を特徴点データとして出力する。
ここで、本発明の実施の形態における第1の重要なポイントは、この特徴点検出部102が、この特徴点検出部102の出力先でもある特徴点検出適応制御部103の制御のもとで、次期立上がり点の予測範囲の情報を利用して、特徴点検出を行う点である。簡単かつ効果的な実施例としては、本実施例においても説明するように、予測範囲内のみで特徴点検出を行わせる方法である。しかしながら、より精密な検出を行いたい場合には、予測範囲を中心から周辺に向かって減少する連続的な信頼度分布を仮定し、信頼度の高い部分では検出感度を高め、信頼度の低い部分では検出感度を低めて、誤動作防止と感度向上の両立を図る方法を採用してもよい。
図7は、特徴点検出適応制御部103が提供する次期立上がり点の予測範囲の計算例を示す図であり、横軸は時間、縦軸は信号である。特徴点検出適応制御部103から特徴点検出部102に対しては、図7中の次期特徴点予測範囲内(図において白抜きの破線で示された四角により囲まれた領域RG1からRG4までであって矢印で指示された範囲)のみを探索するように制御が行われる。従って、上記の「発明が解決しようとする課題」の項目で従来法の問題点として指摘した、反射波による波形の上昇を立上がりと誤検出する不具合を回避することができることがわかる。
特徴点検出部102が、次期特徴点予測範囲内を探索する場合の立上がり点検出方法を、本明細書では、線分判別式法と呼ぶ。以下に、線分判別式法で検出する手順について説明する。
(1)生体信号計測部から出力される、脈波の時系列データを、Di(iは、時刻に対応する整数)と表すとき、そこから、最新のデータから一定間隔に過去に向かってデータを数点取り出す。本実施の形態では、データを5点取り出し、次の変数で表す。
DSj (j=0〜4、尚、jが大きい方が、最新のデータを表す。)
(2)立上がりを判定するため、DSjが、次式の全ての判別式を満たすか否かを計算する。
DS1−DS0<0
DSj−DSj−1>−a(j=2〜4、a は正の小さい定数である。)
DS4−DS0>0
(3)上記(2)の全ての判別式が満たされた場合は、DS0とDS2との間に立上がり点があると考え、元のDiの中から、DS0とDS2に対応するデータの間での最小値を求め、立上がり点とする。
(4)上記(2)の判別式のいずれかが満たされない場合は、新しいDiのデータを読み込み、DSjを取り出し直して上記(2)の処理を行う。
この線分判別法によれば、3点以上のデータから立上がり点を検出するため、ノイズに強い検出が可能となる。
尚、上記とは別の方法として、ノイズが少ない信号の場合には、上述の従来技術で採用されている時間微分のゼロクロスを用いる方法をそのまま用いることもできる。
次に、直接波のピーク検出について説明する。立上がり点が検出された直後は、理論的に信号の時間微分は正であるが、その後、信号の時間軸に対する勾配をチェックして行き、初めて負に変化する部分を検出すれば、ピーク点が得られる。実際のアルゴリズムは、立上がり検出と同様であり、ピークを検出する場合は、立下がりを検出する必要があるため、立上がり検出の場合の判別式中のaの符号と、不等号を反転させることにより、ピークを検出する線分判別法のアルゴリズムを容易に得ることができる。また、時間微分のゼロクロスを用い、ピークを検出する場合は、2階微分が負になる点を検出する方法を使用してもよい。
また、上記の説明では、特徴検出部102の制御方法として、特徴点検出適応制御部103が、特徴検出部102を制御する方法を例に説明したが、もちろん特徴点検出適応制御部103からは、次期特徴点予測範囲の情報のみが出力されるようにし、特徴点検出部102が自主的にその予測範囲内のみを探索するように制御する方法を用いても良い。このように、「特徴点検出部が、予測範囲の情報のみ(制御信号ではなく)を受け取り、この間だけ、検出動作を行うように処理する。」点を特徴とし、システム全体の構成は同様である(下記実施の形態2がこの処理を行っている。)。もちろん、システム全体としての機能は同一であるため、結果としての検出範囲は同じものとなる。
次に図1と図2とを参照しながら、特徴点検出適応制御部103の内部動作について説明する。本実施の形態においては、特徴点検出部102からは、立上がり点と、直接波ピーク点の時刻とレベルからなる特徴点データが出力される。
尚、この「立上がり点と、直接波ピーク点の時刻とレベルからなる特徴点データ」とは、「立上がり点と、直接波ピーク点と、における、それぞれの時刻とレベルからなる特徴点データ」である。つまり2次元ベクトルが2組となる。
特徴点検出適応制御部103は、この特徴点データを入力として受け入れ、特徴点検出適応制御部103内の、次期特徴点予測部1034と、記憶部1031と、予測結果判定部1033と、に入力する。
記憶部1031には、少なくとも次期特徴点予測部1034が使用するだけの特徴点データを、最新のものから過去に遡って記憶されている。本実施の形態では、立上がり点と、直接波ピーク点の組について、2組まで、特徴点データを記憶する。
次期特徴点予測部1034は、現在の特徴点データと、記憶部1031から読み出した脈波波形上で2周期前までの特徴点データと、を使用して、脈波波形上の1周期未来の特徴点を予測する。その構成と動作を以下に説明する。
次期特徴点予測部1034は、図2に示すように構成されており、入力されたデータは、心拍間隔時間予測部10341と、反射遅延時間予測部10342と、基線変動予測部10343と、振幅予測部10344と、に入力され、各部は、それぞれ、次期の心拍間隔時間と、反射遅延時間と、基線変動と、振幅の予測値と、を出力する。現在の特徴点データと、前述の各部から出力された心拍間隔時間と、反射遅延時間と、は、立上がり点時刻予測部10345に入力され、立上がり点時刻予測部10345は、次期立上がり点が生起すると予測される時刻範囲を算出し、制御情報生成部へ向けて出力する。一方、現在の特徴点データと、基線変動と、振幅と、立上がり点時刻予測部10345の計算した情報は、立上がり点レベル予測部10346に入力され、立上がり点レベル予測部10346は、次期立上がり点が示すと予測されるレベル範囲を算出し、制御情報生成部へ向けて出力する。
以下に順次、上述の各部が次期特徴点データの範囲を予測する方法を説明する。
まず、入力されたデータを表す変数を定義する。
R_time_0: 最新の立上がり点時刻
R_level_0: 最新の立上がり点レベル
R_time_i: iは正整数、i周期過去の立上がり点時刻
R_level_i: iは正整数、i周期過去の立上がり点レベル
T_time_0: 最新の直接波ピーク点時刻
T_level_0: 最新の直接波ピーク点レベル
T_time_i: iは正整数、i周期過去の直接波ピーク点時刻
T_level_i: iは正整数、i周期過去の直接波ピーク点レベル
(1)心拍間隔時間予測部
図4に示すように、心拍間隔時間とは、隣り合う脈波周期波形の立上がり点P1、P2の間隔時間である。そこで、入力された上記変数のデータから、最新の心拍間隔時間B0と、1周期前の心拍間隔時間B1とを、次式で計算する。
B0 = R_time_0 − R_time_1
B1 = R_time_1 − R_time_2
最も簡単な予測法は、最新の心拍間隔時間B0を、そのまま、次期の心拍間隔予測値として出力する方法であり、予測精度よりも計算の簡略化を優先する場合は、この方法を使うこともできる。但し、本実施の形態では、心拍間隔時間の変化のトレンドも考慮に入れて、次式で次期心拍間隔時間Bnextを予測した。
Bnext= B0 + KT*(B0−B1)
但し、 KTは、 0〜1までの値を取り、トレンドを考慮する程度を表す値である。
さらに、精度を必要とする場合には、本実施の形態よりもさらに過去のデータを用い、一般にN周期過去までのN+1個のデータから、予測式を用いて予測値を算出してもよい。
(2)反射遅延時間予測部
反射遅延時間とは、図4に示す直接波と反射波のピーク点時間間隔のことである。
本実施例では、この反射遅延時間の予測値Lnextは、生理学的計測の平均値 0.267[秒]に基づき一定とした。
Lnext=0.267 [秒]
但し、システムを複雑にすることが許容される場合には、特徴点検出部102で反射波ピーク点まで検出する構成とし、この反射遅延時間予測部10342で、反射遅延時間を実際に計算して、より精度の高い予測を行うこともできる。
(3)立上がり点時刻予測部
立上がり点時刻予測部は、次期立上がり点時刻の範囲を以下の方法で予測する。
まず、予測範囲の中心R_time_next_centerを、最新の立上がり点時刻R_time_0に、(1)の心拍間隔時間予測部で求めた次期心拍間隔時間の予測値Bnextを加算することで求める。
R_time_next_center = R_time_0 + Bnext
次に、予測範囲の下限を求める。予測範囲の下限は、反射波ピーク点の予測時刻と、次期立上がり点の予測時刻と、の中点とすることにより、反射波の誤検出への影響を低減し、かつ、立上がり点の検出感度を両立させることができる。従って、本実施の形態では、次式によりこの中点を算出し、次期立上がり点時刻の予測範囲の下限R_time_next_underとした。
R_time_next_under = ((T_time_0 + Lnext)+ R_time_next_center)/2
一方、予測範囲の上限R_time_next_upperは、予測範囲の中心が、中心点と一致するように、次式で計算した。
R_time_next_upper = 2×R_time_next_center− R_time_next_under
(4)基線変動予測部
本明細書において、基線変動とは、「脈波に重畳している脈波に比べ低周波の成分」と定義する。この成分のため、例えば、図7の2秒以降のように、脈波波形全体が増加方向へのトレンドを持つ波形となる場合がある。図8は、図7の2秒以降の部分を拡大し、典型的な脈波波形例として計算方法の説明に用いるための図である。図8に示す脈波波形において、実線は、すでに測定されたデータを表し、破線は、将来測定されるデータを表す。図8において、最新の立上がり点検出結果が、A点であるとし、1周期前の点がB点であるとする。基線変動が時間の1次関数になっていると仮定し、基線をA点とB点とを結ぶ直線A−Bと定義してする。すると、基線の傾きBLAは、次式で求まる。
BLA = (R_level_0 − R_level_1)/(R_time_0 − R_time_1)
本実施の形態では、求まったBLAが、次の周期にも維持されるものと予測し、次期基線変動の傾きBLAnextを、次式のように最新のBLAと同一として算出し、基線変動予測部の出力として、立上がり点レベル予測部へ出力した。
BLAnext= BLA
但し、システムの複雑化を許容する場合は、基線変動が時間の高次関数であるとして、より精度の高い推定を行ってもよい。
(5)振幅予測部
振幅とは、基線変動がない場合は、直接波ピーク点と立上がり点とのレベル差で定義される。基線変動がある場合は、基線変動を推定し、直接波ピーク点と立上がり点とのレベル差から、基線変動推定分を差し引いた値として推定することができる。
再び、図8により、振幅の推定について説明する。
本実施の形態では、上記(4)に記したように、基線をA点とB点とを結ぶ直線と定義している。そこで、振幅の推定値は、C点で示した最新の直接波ピーク点の時刻における基線延長線からC点までのレベル差として計算することができる。以上の結果、次期振幅の予測値Anextは、次式で計算し、立上がり点レベル予測部へ出力した。
Anext= T_level_0 − R_level_0
− BLAnext × (T_time_0 − R_time_0)
但し、システムの複雑化が許容される場合には、過去の振幅の記録を、振幅予測部10344内に保持し、これを用いて、次期振幅を予測してもよい。
(6)立上がり点レベル予測部
次期立上がり点レベルの予測範囲(図8の点線で示される)の中心点は、次期に予測される周期の間は次期に予測される基線変動が継続するという仮定の下に予測される。従って、次期立上がり点の中心点R_level_next_centerは、次式により算出した。図8に示す例では、中心点はD点で示される。
R_level_next_center = R_level_0
+ BLAnext × Bnext
また、次期立上がり点レベルの予測範囲の上限は、中心とのレベル差が振幅に比例すると考えられ、かつ、直接波と反射波の間にある極小点を避けるため、この極小点のレベル以下にする必要がある。以上の条件を満たす算出方法として、経験的に振幅の1/2を、中心点レベルに加算する方法を採用した。従って、予測範囲の上限R_level_next_upperは、次式で算出した。図8の例では、E点で示される。
R_level_next_upper = R_level_next_center + Anext × 0.5
一方、予測範囲の下限R_level_next_under は、予測範囲の中心が、中心点と一致するように、次式で計算した。
R_level_next_under = 2× R_level_next_center − R_level_next_upper
以上の処理の結果出力された次期特徴点予測範囲を元に、制御情報生成部1035は、この予測範囲内でのみ、特徴点検出部102が、特徴点検出の動作を行うように制御情報を生成し、特徴点検出部102へ向けて出力する。この制御情報とは、例えば、先頭に、本実施の形態では、“NEXT RANGE”とするデータの意味を表すヘッダーを置き、その後に、次期特徴点予測範囲として、予測時刻の下限、上限、予測レベルの下限、上限のように並べた、データ列として構成することができる。結果として、「“NEXT RANGE”, 11.5, 11.7, 2.0, 3.5」のようなデータ列となる。
次に、特徴点検出適応制御部103全体の動作説明に戻り、本実施の形態における予測結果判定部1033と、初期化制御部1032と、の動作を説明する。
予測結果判定部1033は、次期特徴点予測部1034から出力される次期特徴点の予測範囲に、特徴点検出部102が、予測通りに特徴点を検出したか否かを判定する。本実施の形態の場合は、特徴点として、脈波の立上がり点と、直接波のピーク点と、を検出するが、予測は立上がり点のみしか行わないため、予測結果判定部1033も、立上がり点のみを取り扱う。
また、本実施の形態では、特徴点検出部102は、予測範囲内のみ特徴点検出を行うので、予測結果判定部1033の機能は、次期特徴点予測部1034が予測する次期立上がり点の予測時刻範囲内に、新しい特徴点が検出されたか否かを確認する動作を行うことになる。
予測結果判定部1033は、予測範囲内に、新しい特徴点が検出された場合は、何も出力しない。一方、予測範囲内に、新しい特徴点が検出されず、予測時刻を過ぎた場合は、脈波波形の形状が急変するなどの理由で、予測が正しく行われなくなったことを意味すると考えられるため、初期化制御部1032に対して、記憶部1031と次期特徴点予測部1034とが初期化動作に入るように制御するための制御信号を出力する。
初期化制御部1032は、この予測結果判定部1033からの制御信号を受けて、以下の初期化動作を開始する。
(1)記憶部1031内の特徴点データを、別に設定されたデフォルト値に置き換える。
(2)次期特徴点予測部1034内のパラメータを、別に設定されたデフォルト値に置き換える。
上記(1)、(2)のデフォルト値は、事前に計測した脈波の典型的なパラメータを用いて、初期化制御部1032に記憶しておくことにより実現することができる。或いは、使用者の使用履歴に基づいてそのデフォルト値を変更できるように構成されていても良い。
以上の各部の動作により、本実施の形態による技術を用いることで、当初課題であった脈波波形上の反射波の影響による立上がり点検出の誤動作を防止し、立上がり点と、直接波ピーク点と、の精度の良い検出を達成することができる。
次に、本発明の第2の実施の形態について説明を行う。生体信号計測部101からの脈波データを、CPUあるいはDSPにおいて処理するためのプログラムを実装する場合の処理手順を、図9と図10のフローチャート図を参照しながら説明する。
全体の処理は、2つのプログラムで構成される。第1のプログラムは、図9に示すフローチャート図で表され、特徴点検出と、次期特徴点予測と、を処理し、第2のプログラムは、図10に示すフローチャート図で表され、予測結果の判定と、必要に応じた初期化を処理する。
図9に示すように、第1のプログラムは、まず、ステップS1において、特徴点データの記録と、次期特徴点予測データを算出する際に用いるパラメータを初期化し、続くステップS2で、生体信号計測部101から脈波データを読み込み、後述する第2のプログラムで利用するために、以前の処理で、処理済となったデータの時刻を装置の記録部又は記録媒体等に記録する。次にステップS3において、図9で情報の流れと記したようにステップS8において前の周期で設定された情報か、または初期化処理によって設定された情報により定まる特徴点予測範囲と、ステップS2で読み込んだ脈波データとを比較し、脈波データが特徴点予測範囲内であるか否かを判定する。特徴点予測範囲内ではない場合は、ステップS2に戻り、次の脈波データを読み込む。一方、特徴点予測範囲内である場合は、ステップS4において、特徴点を探索する。特徴点を探索する手法は、第1の実施の形態で特徴点検出部102の機能として説明した手法を用いて実現することができる。続くステップS5では、特徴点を検出できたか否かを検査し、特徴点を検出しない場合は、ステップS1に戻り、次の脈波データを読み込む。一方、特徴点を検出した場合は、ステップS6に進み、検出した特徴点データをメモリー、ハードディスクなどの記録媒体に記録する。続くステップS7では、記録媒体上に記録された、現在と過去との特徴点データから次期特徴点予測範囲を算出し、ステップS8で、ステップS7において算出した特徴点予測範囲を装置の記録部又は記録媒体等に記録する。さらに、ステップS9において、未処理の脈波データがあるか否かを判定し、未処理の脈波データがある場合は(Yes)、ステップS2に戻って、処理を繰り返す。未処理の脈波データがない場合は(No)、処理を終了する。
次の第2のプログラムは、まず、ステップS10で、第1のプログラムが処理を終了した脈波データの時刻を、第1のプログラムが設定した装置の記録部又は記録媒体等の領域から読み込み、ステップS11で、この時刻が特徴点予測範囲内であるか否かを判定する。特徴点予測範囲内でない場合は(No)、ステップS10に戻る。特徴点予測範囲内である場合は(Yes)、ステップS12に進み、特徴点予測時刻範囲内に、新しい特徴点が検出されるか否かを検査する。言い換えると、特徴点予測時刻範囲の終る時刻まで、第1のプログラムの検出結果を監視しつづける。特徴点予測時刻範囲を終了した時点で、ステップS13に進み、ステップS12の処理の結果、特徴点予測時刻範囲に新しい特徴点が検出されたか否かによって、検出されていた場合は(Yes)、ステップS10に戻り、検出されていなかった場合は(No)、ステップS14に進み、特徴点データの記録と、次期特徴点予測データを算出する際に用いるパラメータを初期化し、これらの処理後に、ステップS10に戻る。
以上の処理手順により、本実施の形態による構成を、プログラムで実現することもできる。
次に、本発明の第3の実施の形態による技術について図面を参照しながら説明を行う。
図11は、本発明の第3の実施の形態における生体信号分析装置400の一構成例を示す機能ブロック図である。
第1の実施の形態との違いは、第1の実施の形態において、特徴点検出適応制御部103内に備えられていた予測結果判定部1033をなくし、その機能が特徴点検出部102の内部に予測範囲内検出判定部4022として備えられている点である。
従って、第3の実施の形態では、特徴点検出適応制御部403が出す、次期特徴点予測範囲の当否は、特徴点検出部402の内部で判定され、判定結果の情報が、特徴点検出適応制御部403内の初期化制御部4032に伝達される。
そもそも、予測範囲の当否は、特徴点を検出する際、常に確認されるものであるので、本実施の形態によると、システム全体としては、処理の重複が除かれ計算資源の節約できるという利点がある。
以上、本発明の実施の形態について説明してきたが、本発明はこのような実施の形態に説明した例に限定されるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても、それらは、本発明に含まれるものである。例えば、前記実施の形態では、脈波センサを用いて脈波波形の立上がりを検出しているが、本発明はこれに限定されるものではなく、心電計を用いて計測した、心電波形から特徴点を検出する方法にも適用できる。また、連続血圧計を用いて計測した、血圧波形から特徴点を検出する方法にも適応できる。或いは、脳波信号等にも利用可能である。
また、上記の第2の実施の形態は、測定される生体情報をリアルタイムに分析するプログラムを用いた方法にも適用できる。例えば、生体から新たな生体信号か計測された時に生体信号を同時処理するスレッドを起動させ、計測されたデータを順次分析するプログラムの制御構造として用いることが可能である。
以上のように、本発明の各実施の形態では、誤検出を防ぎ、脈波から正確な心拍数を計測可能とすることから、心拍数を基礎とする既存の多様な生理指標を正確に計算することにも貢献する。しかも、脈波は背景技術の説明で前述したように、脈波センサで手軽に計測できる。従い、いつでも、どこでも、自分の健康状態を確認できる健康管理モニターのような携帯型の健康機器類にも利用可能である。
本発明は、生体信号分析装置に利用可能である。
本発明の第1の実施の形態における生体信号分析装置の一構成例を示す機能ブロック図である 図1中の次期特徴点予測部の内部構成例を示す機能ブロック図である 本実施の形態による脈波センサの一構成例を示す図である。 脈波の典型的な波形例を示す図である。 一般的な従来技術による生体信号分析装置の一例を示す図である。 脈波測定波形を従来法で分析した例を示す図である。 次期立上がり点の予測範囲の計算例を示す図である 脈波波形全体が増加方向へのトレンドを持つ波形の拡大図である 本発明の第2の実施の形態におけるプログラム処理の流れを示すフローチャート図である 本発明の第2の実施の形態におけるプログラム処理の流れを示すフローチャート図である 本発明の第3の実施の形態における生体信号分析装置の一構成例を示す機能ブロック図である
符号の説明
10 脈波センサ
11 発光部
12 受光部
100 生体信号分析装置
101 生体信号計測部
102 特徴点検出部
103 特徴点検出適応制御部
1031 記憶部
1032 初期化制御部
1033 予測結果判定部
1034 次期特徴点予測部
1035 制御情報生成部
10341 心拍間隔時間予測部
10342 反射遅延時間予測部
10343 基線変動予測部
10344 振幅予測部
10345 立上がり点時刻予測部
10346 立上がり点レベル予測部
300 従来技術の生体信号分析装置
301 生体信号計測部
302 特徴点検出部
3011 脈波センサ
3012 A/D変換器
3021 時間微分部1
3022 ゼロクロス検出部
3023 時間微分部2
3024 立ち上がり検出部
400 生体信号分析装置
401 生体信号計測部
402 特徴点検出部
403 特徴点検出適応制御部
4021 特徴点検出モジュール
4022 予測範囲内検出判定部
4031 記憶部
4032 初期化制御部
4033 次期特徴点予測部
4034 制御情報生成部

Claims (7)

  1. 生体時系列信号を計測するための生体信号計測部と、前記生体信号計測部によって計測された生体時系列信号を使用して、特徴点を検出するための特徴点検出部と、を備えた生体信号分析装置において、
    前記特徴点検出部から出力される特徴点時刻と、前記特徴点時刻に対応する前記生体時系列信号上の値の、いずれか一方または両方を含む特徴点データを使用して、特徴点検出部の動作を制御する特徴点検出適応制御部を備えたことを特徴とする生体信号分析装置。
  2. 前記特徴点検出適応制御部は、
    入力される前記特徴点データを記憶する記憶部と、
    前記特徴点データと前記記憶部から取り出された過去の特徴点データとに基づいて、次期の特徴点の特徴点データの範囲を予測する次期特徴点予測部と、
    前記次期特徴点予測部からの出力を使用して特徴点検出部の動作を制御する制御情報を出力する制御情報生成部と
    を含むことを特徴とする請求項1に記載の生体信号分析装置。
  3. 前記特徴点検出適応制御部は、
    前記次期特徴点予測部から出力される特徴点データの予測範囲と、前記特徴点検出部から入力される特徴点データとを比較し、前記次期特徴点予測部から出力された特徴点データの予測範囲内に、次期の特徴点が検出されたか否かを判定する予測結果判定部と、
    前記予測結果判定部の出力を使用して、前記記憶部と、前記次期特徴点予測部内の設定値と、を初期化する初期化制御部と
    を含むことを特徴とする請求項2に記載の生体信号分析装置。
  4. 前記特徴点検出部は、前記特徴点検出適応制御部から出力される前記制御情報に含まれる特徴点データの予測範囲の条件内に、特徴点が検出されたか否かを判定する予測範囲内検出判定部を備え、
    前記特徴点検出適応制御部は、前記予測範囲内検出判定部からの判定結果を受けて、該前記判定結果が、前記制御情報に含まれる特徴点データの予測範囲の条件内に特徴点が検出されない場合に、前記特徴点検出適応制御部内の前記記憶部と、前記次期特徴点予測部内の設定値と、を初期化する初期化制御部を備えることを特徴とする請求項2に記載の生体信号分析装置。
  5. 前記次期特徴点予測部は、
    次期の心拍間隔を予測する心拍間隔時間予測部と、次期の脈波上の直接波と反射波との時間間隔として定義される反射遅延時間を予測する反射遅延時間予測部と、のうちの少なくともいずれか一方を含み、かつ、前記心拍間隔時間予測部と、前記反射遅延時間予測部と、のうちの少なくともいずれか一方の出力と、最新の脈波立上がり点の時刻と、を使用して、次期の脈波立上がり点の時刻範囲を予測する立上がり点時刻予測部を含むことを特徴とする請求項2から4までのいずれか1項に記載の生体信号分析装置。
  6. 前記次期特徴点予測部は、
    次期の脈波波形の振幅を予測する振幅予測部と、
    次期の基線変動を予測する基線変動予測部のうちの少なくともいずれか一方と、
    前記振幅予測部と、前記基線変動予測部のうちの少なくともいずれか一方の出力と、最新の脈波立上がり点のレベルと、を使用して、次期の脈波立上がり点のレベル範囲を予測する立上がり点レベル予測部を含むことを特徴とする請求項2から4までのいずれか1項に記載の生体信号分析装置。
  7. 前記次期特徴点予測部は、
    次期の心拍間隔を予測する心拍間隔時間予測部と、次期の脈波上の直接波と反射波の時間間隔として定義される反射遅延時間を予測する反射遅延時間予測部と、のうちの少なくともいずれか一方と、
    前記心拍間隔時間予測部と、前記反射遅延時間予測部とのうちの少なくともいずれか一方の出力と、最新の脈波立上がり点の時刻と、を使用して、次期の脈波立上がり点の時刻範囲を予測する立上がり点時刻予測部と、
    次期の脈波波形の振幅を予測する振幅予測部と、次期の基線変動を予測する基線変動予測部と、のうちの少なくともいずれか一方と、
    前記振幅予測部と、前記基線変動予測部と、のうちの少なくともいずれか一方の出力と、最新の脈波立上がり点のレベルと、前記立上がり点時刻予測部が計算した情報と、を使用して、次期の脈波立上がり点のレベル範囲を予測する立上がり点レベル予測部と
    を有することを特徴とする請求項2から4までのいずれか1項に記載の生体信号分析装置。
JP2008041777A 2008-02-22 2008-02-22 生体信号分析装置 Active JP4322302B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008041777A JP4322302B1 (ja) 2008-02-22 2008-02-22 生体信号分析装置
PCT/JP2009/052211 WO2009104499A1 (ja) 2008-02-22 2009-02-10 生体信号分析装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008041777A JP4322302B1 (ja) 2008-02-22 2008-02-22 生体信号分析装置

Publications (2)

Publication Number Publication Date
JP4322302B1 JP4322302B1 (ja) 2009-08-26
JP2009195556A true JP2009195556A (ja) 2009-09-03

Family

ID=40985382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008041777A Active JP4322302B1 (ja) 2008-02-22 2008-02-22 生体信号分析装置

Country Status (2)

Country Link
JP (1) JP4322302B1 (ja)
WO (1) WO2009104499A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180020990A1 (en) * 2016-07-20 2018-01-25 Samsung Electronics Co., Ltd. Apparatus and method for extracting feature of bio-signal, and apparatus for detecting bio- information
CN109635958A (zh) * 2018-12-12 2019-04-16 成都航天科工大数据研究院有限公司 一种基于边缘计算的预测性工业设备维护方法及维护系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107822608B (zh) * 2017-10-26 2020-04-17 中国民航大学 基于高斯混合模型的脉搏波特征提取方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4454785B2 (ja) * 1999-04-28 2010-04-21 セイコーインスツル株式会社 脈波検出装置
JP2007244478A (ja) * 2006-03-14 2007-09-27 Mitsuba Corp 脈波計及び脈波検出方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180020990A1 (en) * 2016-07-20 2018-01-25 Samsung Electronics Co., Ltd. Apparatus and method for extracting feature of bio-signal, and apparatus for detecting bio- information
KR20180010062A (ko) * 2016-07-20 2018-01-30 삼성전자주식회사 생체신호의 특징 추출 장치 및 방법과, 생체정보 검출 장치
KR102655669B1 (ko) 2016-07-20 2024-04-05 삼성전자주식회사 생체신호의 특징 추출 장치 및 방법과, 생체정보 검출 장치
CN109635958A (zh) * 2018-12-12 2019-04-16 成都航天科工大数据研究院有限公司 一种基于边缘计算的预测性工业设备维护方法及维护系统

Also Published As

Publication number Publication date
WO2009104499A1 (ja) 2009-08-27
JP4322302B1 (ja) 2009-08-26

Similar Documents

Publication Publication Date Title
US11529101B2 (en) Method to quantify photoplethysmogram (PPG) signal quality
JP4855721B2 (ja) 血圧測定装置
US5792062A (en) Method and apparatus for detecting nonlinearity in an electrocardiographic signal
EP2962633B1 (en) Pulse wave propagation time calculation device
JP5562805B2 (ja) 脈拍数測定方法及び血中酸素飽和度測定方法
KR20150113700A (ko) 진단 시스템 및 방법
KR20180052943A (ko) 신경망을 이용한 심방세동 판별장치 및 심방세동 판별방법
JP5718126B2 (ja) 微細振動特徴量算出装置、微細振動特徴量算出方法及びプログラム
JP3729143B2 (ja) 脈波計測装置
US20200352504A1 (en) Image Drunken Driving Judgment System and Related Method
US7353127B2 (en) Apparatus and method for detection and quantification of oscillatory signals
JP2001198094A (ja) 脈拍数検出装置
CA2623270C (en) Signal processing for pulse oximetry
JP4322302B1 (ja) 生体信号分析装置
US20100198088A1 (en) Method, apparatus and system for detection of arterial stiffness and artery tonus by pulse curve geometry analysis
CN101897578B (zh) 一种动脉压信号逐拍分割方法
Ghahjaverestan et al. Switching Kalman filter based methods for apnea bradycardia detection from ECG signals
KR101746159B1 (ko) 동맥 혈압 파형의 특징점을 이용한 두개내압 파형의 피크 검출 장치 및 방법
JP2010213809A (ja) 生体信号分析装置
KR20080030189A (ko) 혈관의 건강 상태를 감시하는 방법 및 장치
JP7472719B2 (ja) 脈波特定装置およびプログラム
KR20170054030A (ko) 생체 신호의 특징을 추출하는 방법 및 장치
JP5328614B2 (ja) 脈波解析装置および脈波解析プログラム
CN110916624A (zh) 一种用于检测血管阻力的智能诊脉方法及系统
KR102230289B1 (ko) 광용적맥파(ppg) 신호 파형을 분석하는 방법, 이를 이용하여 사용자의 병리 상태를 추정하는 장치 및 그 방법

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090526

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090602

R150 Certificate of patent or registration of utility model

Ref document number: 4322302

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130612

Year of fee payment: 4