JP2021049322A - 訓練装置、訓練方法、識別装置、識別方法及びプログラム - Google Patents

訓練装置、訓練方法、識別装置、識別方法及びプログラム Download PDF

Info

Publication number
JP2021049322A
JP2021049322A JP2020094915A JP2020094915A JP2021049322A JP 2021049322 A JP2021049322 A JP 2021049322A JP 2020094915 A JP2020094915 A JP 2020094915A JP 2020094915 A JP2020094915 A JP 2020094915A JP 2021049322 A JP2021049322 A JP 2021049322A
Authority
JP
Japan
Prior art keywords
identification reference
reference point
point
identification
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020094915A
Other languages
English (en)
Other versions
JP7040557B2 (ja
Inventor
中嶋 光康
Mitsuyasu Nakajima
光康 中嶋
浩一 中込
Koichi Nakagome
浩一 中込
崇史 山谷
Takashi Yamatani
崇史 山谷
泰士 前野
Hiroshi Maeno
泰士 前野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to US16/986,379 priority Critical patent/US20210085256A1/en
Publication of JP2021049322A publication Critical patent/JP2021049322A/ja
Application granted granted Critical
Publication of JP7040557B2 publication Critical patent/JP7040557B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】脈波データからCAP(周期性脳波活動)を識別するための技術を提供することである。【解決手段】本開示の一態様は、生体反応情報が付与された脈波データを取得するデータ取得部と、前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出し、前記生体反応情報に基づき前記識別基準点に正解ラベルを設定する識別基準点抽出部と、前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定する特徴ベクトル決定部と、前記特徴ベクトルと前記正解ラベルとを含む訓練データによって、周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する識別器を訓練する訓練部と、を有する訓練装置に関する。【選択図】図7

Description

本開示は、生体反応識別技術に関する。
睡眠状態を判定する睡眠状態モニタリングシステムとして、脳波による睡眠ステージ(浅い睡眠、深い睡眠、レム睡眠、ノンレム睡眠等)の判定が広範に利用されている(例えば、特許文献1)。また、脳波に比較して取得が容易な体動や脈波を利用した睡眠モニタリングシステムもまた提案されている(例えば、特許文献2)。
一方、睡眠ステージは1つの睡眠指標として用いられているが、被検者の睡眠に対する充足度を示す睡眠主観との相関は高いとは言えず、睡眠主観と相関が高いと言われる睡眠指標として、脳波に基づき定義されたCAP(Cyclic Alternating Pattern)(周期性脳波活動)が知られている(例えば、非特許文献1)。一般に、CAPの発生頻度が高い期間では、睡眠状態の質が不良となる。
特開2011−83393号公報 特開2018−161432号公報
Terzano MG, Parrino L, Spaggiari MC, Palomba V, Rossi M, Smerieri A, et al. CAP variables and arousals as sleep electroencephalogram markers for primary insomnia. Clin Neurophysiol 2003 Sep; 114(9): 1715-23.
上記特許文献1及び特許文献2においては、睡眠ステージの判定を行なうことは可能であるが、CAP(周期性脳波活動)を識別することはできない。
本開示の課題は、本発明は上記課題に鑑みてなされたもので、その目的とするところは、脈波データからCAP(周期性脳波活動)を識別するための技術を提供することである。
上記課題を解決するため、本開示の一態様は、生体反応情報が付与された脈波データを取得するデータ取得部と、前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出し、前記生体反応情報に基づき前記識別基準点に正解ラベルを設定する識別基準点抽出部と、前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定する特徴ベクトル決定部と、前記特徴ベクトルと前記正解ラベルとを含む訓練データによって、周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する識別器を訓練する訓練部と、を有する訓練装置に関する。
本開示の他の態様は、脈波データを取得するデータ取得部と、前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出する識別基準点抽出部と、前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定する特徴ベクトル決定部と、周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する訓練済み識別器に前記特徴ベクトルを入力し、CAPの識別結果を取得する識別部と、を有する識別装置に関する。
本開示によると、脈波データからCAP(周期性脳波活動)を識別するための技術を提供することができる。
本開示の一実施例による生体反応識別処理を示す概略図である。 本開示の一実施例による訓練装置及び識別装置のハードウェア構成を示すブロック図である。 本開示の一実施例による訓練装置の機能構成を示すブロック図である。 本開示の一実施例による脈波データの前処理を示す概略図である。 本開示の一実施例による識別基準点抽出処理を示す概略図である。 本開示の一実施例によるCAPサブクラスの波形を示す図である。 本開示の一実施例による訓練処理を示すフローチャートである。 本開示の一実施例による識別装置の機能構成を示すブロック図である。 本開示の一実施例による識別処理を示すフローチャートである。 本開示の一実施例による識別装置の識別性能を示す評価結果である。
以下の実施例では、被検者の脈波データからCAP(Cyclic Alternating Pattern)(周期性脳波活動)を識別する識別器の訓練装置と、訓練済み識別器を利用して脈波データからCAPを識別する識別装置とが開示される。
[本開示の概要]
後述される実施例を概略すると、図1に示されるように、訓練装置100は、CAPの発生期間などの生体反応情報が付与された脈波データを取得すると、当該脈波データの基線を導出し、導出した基線の局所最大点を識別基準点として抽出する。訓練装置100は、各識別基準点に対して生体反応情報に基づき生体反応の有無や種別を示す正解ラベルを設定すると共に、各識別基準点に対して異なる長さの解析窓を設定し、設定した解析窓における各種統計量から構成される特徴ベクトルを決定する。訓練装置100は、各識別基準点について取得した特徴ベクトルと正解ラベルとのペアから構成される訓練データを利用して、特徴ベクトルから生体反応識別結果を推定する識別器を訓練し、訓練済みの識別器を識別装置に提供する。
識別装置200は、入力された被検者の脈波データを訓練済み識別器に入力し、当該被検者の生体反応の識別結果を取得する。このようにして、識別装置200は、相対的に取得が困難な脳波データの代わりに、装着が容易な脈波センサによって睡眠中の被検者から時系列に収集された脈波データから、被検者の睡眠主観を考慮した睡眠状態などの生体反応を推定することができる。
[ハードウェア構成]
ここで、訓練装置100及び識別装置200は、例えば、サーバなどの計算装置であってもよく、図2に示されるようなハードウェア構成を有してもよい。すなわち、訓練装置100及び識別装置200は、バスBを介し相互接続されるドライブ装置101、補助記憶装置102、メモリ装置103、CPU(Central Processing Unit)104、インタフェース装置105及び通信装置106を有する。
訓練装置100及び識別装置200における後述される各種機能及び処理を実現するプログラム又は命令を含む各種コンピュータプログラムは、CD−ROM(Compact Disk−Read Only Memory)などの記録媒体107によって提供されてもよい。プログラムを記憶した記録媒体107がドライブ装置101にセットされると、プログラムが記録媒体107からドライブ装置101を介して補助記憶装置102にインストールされる。但し、プログラムのインストールは必ずしも記録媒体107により行う必要はなく、ネットワークなどを介し何れかの外部装置からダウンロードするようにしてもよい。補助記憶装置102は、インストールされたプログラムを格納すると共に、必要なファイルやデータなどを格納する。メモリ装置103は、プログラムの起動指示があった場合に、補助記憶装置102からプログラムやデータを読み出して格納する。補助記憶装置102及びメモリ装置103は、プログラム又は命令を格納する非一時的なコンピュータ可読記憶媒体として実現される。プロセッサとして機能するCPU104は、メモリ装置103に格納されたプログラムやプログラムを実行するのに必要なパラメータなどの各種データに従って、訓練装置100及び識別装置200の各種機能及び処理を実行する。インタフェース装置105は、ネットワーク又は外部装置に接続するための通信インタフェースとして用いられる。通信装置106は、外部装置と通信するための各種通信処理を実行する。
しかしながら、訓練装置100及び識別装置200は、上述したハードウェア構成に限定されるものでなく、例えば、訓練装置100及び識別装置200による機能及び処理の1つ以上を実現する1つ以上の回路などの他の何れか適切なハードウェア構成により実現されてもよく、例えば、被験者の腕に装着される腕時計型のウェアラブルタイプや、被験者の耳に挿入するイヤホン型のヒアラブルタイプの装置、または、スマートフォンとして実現されてもよい。
[訓練装置]
次に、図3を参照して、本開示の一実施例による訓練装置100を説明する。図3は、本開示の一実施例による訓練装置100の機能構成を示すブロック図である。
図3に示されるように、訓練装置100は、データ取得部110、識別基準点抽出部120、特徴ベクトル決定部130及び訓練部140を有する。
データ取得部110は、生体反応情報が付与された脈波データを取得する。例えば、睡眠ポリグラフィ装置と脈波センサとが被検者に装着され、睡眠中の脳波データと脈波データとが同時に取得される。取得した脳波データを技師等が解析し、CAPなどの生体反応を特定し、特定した生体反応の発生期間を脈波データに付与する。このようにして、生体反応情報が付与された脈波データが生成される。
ここで、脈波データは、脈波センサ又は脈波センサを搭載したウェアラブルな装置によって睡眠中の被検者から収集される。例えば、脈波データは、図4(a)に示されるようなものであってもよい。ここで、縦軸は脈波センサからの出力を表し、横軸は時間を表す。脈波センサの出力は、約1秒周期で増減を繰り返しており、脈拍に相当する。例えば、脈波センサは、フォトプレチスモグラフィ(PPG:Photoplethysmography)方式による容積脈波を検知するセンサ、血流脈波を検知するドップラー血流計、圧脈波を検知する圧電センサなどの各種センサにより実現されてもよい。
一実施例では、データ取得部110は、CAPサブクラスの発生期間が付与された脈波データを取得してもよい。CAPは、脳波成分の違いからサブクラスとしてA1、A2及びA3に細分することができる。CAPサブクラスの構成比率の変化は、睡眠障害と相関があると言われている。例えば、睡眠時無呼吸症候群ではA3の比率が上がり、睡眠時遊行症や睡眠状態誤認ではA1の比率が上がる。つまり、CAPの発生頻度と、CAPサブクラスの構成比率とが検出できれば、被検者の睡眠状態のより詳細な推定が可能になる。
データ取得部110は、取得した生体反応情報が付与された脈波データを識別基準点抽出部120に提供する。
識別基準点抽出部120は、脈波データから導出された基線の局所最大点を識別基準点として抽出し、生体反応情報に基づき識別基準点に正解ラベルを設定する。具体的には、識別基準点抽出部120はまず、脈波データの基線を導出する。例えば、識別基準点抽出部120は、データ取得部110から図4(a)に示されるような脈波データを取得すると、取得した脈波データに対してバンドパスフィルタ処理を実行し、図4(b)に示されるような当該脈波データの基線を導出する。例えば、当該バンドパスフィルタ処理は、データ取得部110から取得した脈波データについて、例えば、0.08Hz〜0.2Hzの範囲を抽出するものであってもよい。
このようにして基線を導出すると、識別基準点抽出部120は更に、導出した基線の局所最大点を抽出する。例えば、図4(b)に示された基線に対して、識別基準点抽出部120は、図5に示されるような局所最大点t,t+1,t+2,・・・を抽出し、生体反応を示す正解ラベルを設定するための識別基準点として抽出した局所最大点を保持する。図5に示される基線には、データ取得部110によって取得された生体反応情報としてのCAP発生期間A3,A2,A1が重畳されている。ここで、A3,A2,A1はそれぞれ、CAPサブクラスA3,A2,A1を示す。一般に、CAPはPhase Aとこれに続くPhase Bとから構成され、脳波に大きな変化として現れるのはPhase Aの期間であることが知られている。脈波においてもPhase Aの期間の近傍に脈波の変化が起きている。このため、脈波データに付与されたCAP発生期間は、Phase Aの期間とみなされうる。
本実施例における脈波データの取得システムは、血管収縮が起きたときに信号レベルが上昇するシステムとして構成されており、前述した識別基準点は、局所最大点を取っている。しかしながら、脈波データの取得システムが、血管収縮したときに信号レベルが低下するシステムの場合、局所最小点が識別基準点となる。
識別基準点抽出部120は、各識別基準点と生体反応の発生期間との包含関係に基づき識別基準点に設定する正解ラベルを決定してもよい。例えば、図5に示される具体例では、識別基準点抽出部120は、CAP発生期間に含まれない識別基準点t,t+1に"CAPなし"の正解ラベルを設定し、CAPサブクラスA3の発生期間に含まれる識別基準点t+2,t+3に"A3"の正解ラベルを設定してもよい。同様に、識別基準点抽出部120は、CAPサブクラスA2の発生期間に含まれる識別基準点t+13,t+14に"A2"の正解ラベルを設定し、その他の識別基準点に"CAPなし"の正解ラベルを設定してもよい。
しかしながら、本開示による正解ラベルの設定は、これに限定されず、識別基準点がCAP期間に含まれない場合であっても、CAP期間に隣接する識別基準点に"CAP有り"の正解ラベルを設定してもよい。例えば、図5に示される具体例において、CAPサブクラスA1は何れの識別基準点も含んでいないが、識別基準点抽出部120は、CAPサブクラスA1に隣接する識別基準点t+21,t+22の一方又は双方に"A1"の正解ラベルを設定してもよい。
また、上述した実施例では、正解ラベルは、"CAPなし"、"A1"、"A2"及び"A3"の4つであったが、本開示による正解ラベルはこれらに限定されず、検出対象の生体反応に応じて適切な数の正解ラベルが利用されてもよい。
識別基準点抽出部120は、正解ラベルが付与された識別基準点を特徴ベクトル決定部130及び訓練部140に提供する。
特徴ベクトル決定部130は、抽出した識別基準点に対して解析窓を設定し、解析窓における識別基準点の特徴ベクトルを決定する。ここで、特徴ベクトルの各成分は、各識別基準点に対して設定された1つ以上の解析窓によって規定される期間において算出される脈波データの各種統計量であってもよい。例えば、特徴ベクトルは、[W1_m,W2_sd,W2_max,W3_max,W4_mm,W5_mm]であってもよく、ここで、W1_mは解析窓W1における脈波基線の平均であり、W2_sd及びW2_maxはそれぞれ解析窓W2における脈波基線の標準偏差及び最大値であり、W3_maxは解析窓W3における脈波基線の最大値であり、W4_mm及びW5_mmはそれぞれ解析窓W4,W5における脈波基線の最大最小差である。このように、解析窓は、固定的な時間間隔でなく、基線の局所最大点を利用することによって脈波データの波形に応じて可変的に設定され、また、各識別基準点に対して異なる長さの複数の解析窓が設定されてもよい。
一実施例では、特徴ベクトル決定部130は、2つの識別基準点が開始点及び終了点となるように解析窓を設定してもよい。例えば、識別基準点t+1に対して、特徴ベクトル決定部130は、識別基準点t+1から識別基準点t+2までの期間を解析窓として設定してもよい。あるいは、特徴ベクトル決定部130は、識別基準点t+1に対して識別基準点t+1から識別基準点t+3までの期間を解析窓として設定してもよい。あるいは、特徴ベクトル決定部130は、識別基準点t+1に対して識別基準点tから識別基準点t+1までの期間を解析窓として設定してもよい。あるいは、特徴ベクトル決定部130は、識別基準点t+1に対して識別基準点t+2から識別基準点t+3までの期間を解析窓として設定してもよい。
また、一実施例では、特徴ベクトル決定部130は、1つの識別基準点が開始点となり、当該開始点に隣接する識別基準点の間の局所最小点が終了点となるように解析窓を設定してもよい。例えば、識別基準点t+1に対して、特徴ベクトル決定部130は、識別基準点t+1に隣接する識別基準点t+2から識別基準点t+3までの区間における局所最小点を特定し、識別基準点t+1から当該局所最小点までの期間を解析窓として設定してもよい。あるいは、特徴ベクトル決定部130は、識別基準点t+1に対して、当該識別基準点t+1に隣接する識別基準点tを開始点とし、識別基準点t+1に隣接する識別基準点t+2から識別基準点t+3までの区間における局所最小点を終了点とするように解析窓を設定してもよい。あるいは、特徴ベクトル決定部130は、識別基準点t+1に対して、当該識別基準点t+1に隣接する識別基準点tを開始点とし、識別基準点t+1から隣接する識別基準点t+2までの区間における局所最小点を終了点とするように解析窓を設定してもよい。
また、一実施例では、特徴ベクトル決定部130は、生体反応の波形に基づき解析窓を設定してもよい。例えば、CAPサブクラスA1,A2,A3はそれぞれ、図6(a)〜(c)に示されるような波形を有する。この波形に応じてT1,T2,T3の長さの解析窓が設定されてもよい。例えば、データ取得部110によって取得されたCAPサブクラスの発生期間が付与された脈波データから、各CAPサブクラスのPhase Aの平均値として、A1は6.5秒、A2は7.5秒、A3は11秒であったとする。この場合、T1=6.5秒,T2=7.5秒,T3=11秒に設定される。ここで、これら異なる長さの解析窓は、時間軸に関して前後の何れの方向に設定されてもよい。例えば、図5に示される識別基準点t+14に対して、特徴ベクトル決定部130は、時間軸に関して以前の方向にT1,T2,T3の期間の解析窓を設定してもよいし、時間軸に関して以降の方向にT1,T2,T3の期間の解析窓を設定してもよい。
例えば、上述した特徴ベクトル[W1_m,W2_sd,W2_max,W3_max,W4_mm,W5_mm]について、W1は上述した2つの識別基準点が開始点及び終了点となるように設定された解析窓であり、W2は上述した1つの識別基準点が開始点となり、当該開始点に隣接する識別基準点の間の局所最小点が終了点となるように設定された解析窓であり、W3,W4,W5はそれぞれ上述したCAPサブクラスA1,A2,A3に対応するT1,T2,T3の期間の解析窓であってもよい。なお、特徴ベクトルの成分は、上記又は他の統計量に限定されず、解析窓における脈波を表現する他の何れか適切な特徴量であってもよい。
このようにして設定した解析窓を用いて、特徴ベクトル決定部130は、各識別基準点の特徴ベクトルの各成分を算出し、算出した特徴ベクトルを訓練部140に提供する。
訓練部140は、特徴ベクトルと正解ラベルとから構成される訓練データによって識別器を訓練する。当該識別器は、特徴ベクトルからCAPサブクラスの発生などの生体反応の識別結果を推定する何れか適切な機械学習モデルであり、例えば、サポートベクターマシン、ロジスティック回帰モデル、ニューラルネットワーク、決定木などによって実現されうる。訓練部140は、各識別基準点に対して取得した特徴ベクトルと正解ラベルとを訓練データとして利用して、識別器の種別に応じて何れか適切なアルゴリズムによって識別器を訓練する。例えば、識別器がサポートベクターマシンにより実現される場合、訓練部140は、特徴空間上の訓練データの特徴ベクトル群を、正解ラベルにより分離超平面を決める際、訓練データからの距離が最大となる最大化超平面を求めるという基準で学習を行う。サポートベクターマシンの訓練処理は周知であるため、その詳細は省略する。
識別基準点抽出部120及び特徴ベクトル決定部130から提供された全ての訓練データについて訓練処理を完了したなど、所定の終了条件を充足すると、訓練部140は、最終的に獲得された識別器を訓練済み識別器として識別装置200に提供する。
[訓練処理]
次に、図7を参照して、本開示の一実施例による訓練処理を説明する。当該訓練処理は、上述した訓練装置100によって実行され、例えば、訓練装置100のプロセッサがプログラム又は命令を実行することによって実現されてもよい。図7は、本開示の一実施例による訓練処理を示すフローチャートである。
図7に示されるように、ステップS101において、訓練装置100は、生体反応情報付き脈波データを取得する。具体的には、訓練装置100は、被検者から同時に収集された脳波データと脈波データとに基づき技師などによる脳波データの解析によって作成された生体反応情報付き脈波データを取得する。例えば、生体反応は、限定することなく、CAP、脳波覚醒などの被検者の睡眠状態に関するものであってもよい。
ステップS102において、訓練装置100は、脈波データから導出された基線の局所最大点を識別基準点として抽出し、各識別基準点に識別対象の生体反応を示す正解ラベルを設定する。具体的には、訓練装置100は、脈波データに対してバンドパスフィルタ処理を実行することによって基線を導出し、導出した基線の局所最大点を識別基準点として抽出する。このようにして生体反応を識別するための識別基準点を抽出すると、訓練装置100は、各識別基準点に対して生体反応の識別結果を示す正解ラベルを付与する。例えば、訓練装置100は、識別基準点と生体反応の発生期間との包含関係に基づき正解ラベルを付与してもよい。具体的には、識別基準点が生体反応の発生期間内にある場合、訓練装置100は、当該識別基準点に対して対応する生体反応の発生を示す正解ラベルを付与してもよい。他方、識別基準点が生体反応の発生期間外にある場合、訓練装置100は、当該識別基準点に対して対応する生体反応の未発生を示す正解ラベルを付与してもよい。しかしながら、本開示による正解ラベルの付与はこれに限定されず、他の何れか適切な付与方法が適用されてもよい。
ステップS103において、訓練装置100は、各識別基準点に対して解析窓を設定し、当該解析窓における特徴ベクトルを決定する。例えば、訓練装置100は、2つの識別基準点が開始点及び終了点となるように解析窓を設定してもよい。あるいは、訓練装置100は、1つの識別基準点が開始点となり、当該開始点に隣接する識別基準点の間の局所最小点が終了点となるように解析窓を設定してもよい。あるいは、訓練装置100は、生体反応の波形に基づき解析窓を設定してもよい。特徴ベクトルの各成分を決定するため、訓練装置100は、当該成分に対して設定された解析窓を利用して、当該解析窓における脈波データの統計量を算出する。
ステップS104において、訓練装置100は、各識別基準点に対して決定された特徴ベクトルと正解ラベルとのペアを訓練データとして利用して、特徴ベクトルから生体反応を推定する識別器を訓練する。例えば、識別器は、サポートベクターマシン、ロジスティック回帰モデル、ニューラルネットワーク、決定木などとして実現されてもよい。訓練装置100は、識別器の実現形態に応じた何れか既知のアルゴリズムに従って識別器を訓練してもよい。訓練装置100は、最終的に獲得された識別器を識別装置200に提供する。
[識別装置]
次に、図8を参照して本開示の一実施例による識別装置200を説明する。図8は、本開示の一実施例による識別装置200の機能構成を示すブロック図である。
図8に示されるように、識別装置200は、データ取得部210、識別基準点抽出部220、特徴ベクトル決定部230及び識別部240を有する。
データ取得部210は、脈波データを取得する。具体的には、脈波データは、脈波センサ又は脈波センサを搭載したウェアラブルな装置によって睡眠中の被検者から収集される。例えば、脈波センサは、フォトプレチスモグラフィ(PPG:Photoplethysmography)方式による容積脈波を検知するセンサ、血流脈波を検知するドップラー血流計、圧脈波を検知する圧電センサなどの各種センサにより実現されてもよい。好ましくは、脈波データは、訓練処理において利用された脈波センサと同種別の脈波センサにより収集されたものであってもよい。あるいは、異なる種別の脈波センサが利用される場合、収集された脈波データに何れか適切な補正がなされてもよい。
識別基準点抽出部220は、脈波データから導出された基線の局所最大点を識別基準点として抽出する。具体的には、識別基準点抽出部220はまず、脈波データに対してバンドパスフィルタ処理を実行し、脈波データの基線を導出する。そして、識別基準点抽出部220は更に、導出した基線の局所最大点を識別基準点として抽出し、特徴ベクトル決定部230に提供する。
特徴ベクトル決定部230は、抽出した識別基準点に対して解析窓を設定し、解析窓における識別基準点の特徴ベクトルを決定する。ここで、特徴ベクトルは、訓練済み識別器への入力用のデータであり、特徴ベクトルの各成分の統計量及び解析窓は、訓練済み識別器について予め規定されており、特徴ベクトル決定部230は、予め規定された解析窓において各成分の統計量を算出する。
例えば、訓練済み識別器に入力される特徴ベクトルが、[W1_m,W2_sd,W2_max,W3_max,W4_mm,W5_mm]であると規定されている場合、特徴ベクトル決定部230は、各識別基準点に対してW1〜W5の各解析窓を決定し、決定した各解析窓における脈波データの統計量を算出する。すなわち、特徴ベクトル決定部230は、2つの識別基準点が開始点及び終了点となる解析窓W1を決定し、解析窓W1における脈波基線の平均W1_mを算出する。また、特徴ベクトル決定部230は、1つの識別基準点が開始点となり、当該開始点と隣接する識別基準点との間の局所最小点が終了点となる解析窓W2を決定し、解析窓W2における脈波基線の標準偏差W2_sd及び最大値W2_maxを算出する。さらに、特徴ベクトル決定部230は、生体反応の波形に基づき設定された長さT1,T2,T3の解析窓を決定し、解析窓W3における脈波基線の最大値W3_max、解析窓W4における脈波基線の最大最小差W4_mm,解析窓W5における脈波基線の最大最小差W5_mmを算出する。特徴ベクトル決定部230は、算出した特徴ベクトルを識別部240に提供する。
識別部240は、訓練済み識別器に特徴ベクトルを入力し、識別結果を取得する。具体的には、識別部240は、特徴ベクトルからCAPサブクラスの発生などの生体反応を識別する訓練済み識別器を利用して、特徴ベクトルから生体反応を識別する。当該識別器は、特徴ベクトルからCAPサブクラスの発生などの生体反応の識別結果を推定する何れか適切な機械学習モデルであり、例えば、サポートベクターマシン、ロジスティック回帰モデル、ニューラルネットワーク、決定木などによって実現されうる。
[識別処理]
次に、図9を参照して、本開示の一実施例による識別処理を説明する。当該識別処理は、上述した識別装置200によって実行され、例えば、識別装置200のプロセッサがプログラム又は命令を実行することによって実現されてもよい。図9は、本開示の一実施例による識別処理を示すフローチャートである。
図9に示されるように、ステップS201において、識別装置200は、脈波データを取得する。具体的には、脈波データは、脈波センサ又は脈波センサを搭載したウェアラブルな装置によって睡眠中の被検者から収集される。例えば、脈波データは、訓練処理において利用された脈波センサと同種別の脈波センサにより収集されたものであってもよいし、あるいは、異なる種別の脈波センサが利用される場合、収集された脈波データに何れか適切な補正がなされてもよい。
ステップS202において、識別装置200は、脈波データから導出した基線の局所最大点を識別基準点として抽出する。例えば、識別装置200は、脈波データに対してハンドパスフィルタ処理を実行し、基線を導出してもよい。
ステップS203において、識別装置200は、各識別基準点に対して解析窓を設定し、解析窓における特徴ベクトルを決定する。特徴ベクトルの各成分の統計量及び解析窓は、訓練済み識別器に対して予め規定されており、識別装置200は、予め規定された解析窓を決定し、各成分に対して決定された解析窓において脈波データの統計量を算出する。
ステップS204において、識別装置200は、訓練済み識別器に特徴ベクトルを入力し、識別結果を取得する。例えば、訓練済み識別器が脈波データの識別基準点における特徴ベクトルから当該識別基準点でのCAPサブクラスの発生を識別するモデルである場合、訓練済み識別器は、入力された特徴ベクトルから"CAPなし"、"A1"、"A2"又は"A3"の識別結果を出力する。
図10の表は、本発明によるCAP(Cyclic Alternating Pattern)(周期性脳波活動)を識別する識別器を訓練する訓練装置により訓練された識別器を有する識別装置を用いて、複数人(今回の評価においては8人)の被験者の耳から取得した脈波データを用いた訓練及びCAP有り無しの2クラスの識別を行なった結果の識別性能を示す評価結果である。尚、識別性能の評価はLOOCV(Leave−one−out cross−validation:1個抜き交差検証)を用いている。
この表において、recall(感度)は正解の中で識別できた割合を表す数値、precision(適合率)は識別したものがどれだけ正解であるかの割合を表す数値となる。recallとprecisionは、パラメータにより相反し、例えばrecallを向上させようとするとprecisionが低下する。できるだけ正解を識別させようとrecallの数値を良くさせると、識別したものに不正解が含まれつまりprecisionが低下する。用途によっては、見逃しを無くすためにわざとrecallを高く設定する。
一方F1は総合的な識別性能を見るための数値で、recall(感度)とprecision(適合率)の調和平均により算出される。
また、kappaもF1と同様に総合的な識別性能を示す数値として一般に使われている。本kappaの数値は、識別が偶然の結果ではないことを示している(一般的に0以上であれば、偶然とはいえない)。
この表から分かるように、本発明の訓練装置により訓練された識別器を有する識別装置を用いることによりCAP識別が実用的な範囲で可能となった。
また識別性能については、今回の評価が僅か8人による結果であり(LOOCVなので実際の学習は7人)、訓練人数が増えれば更に識別性能は向上すると思われる。
なお、上述した実施例では、脈波データの基線の局所最大点を識別基準点として抽出したが、本開示による識別基準点はこれに限定されず、局所最小点であってもよい。例えば、血管膨張に由来する生体反応を検出する場合、識別基準点として局所最小点が効果的に利用されうる。
また、脳波覚醒が生体反応として解析される場合、本開示は脳波覚醒の有無の2クラス分類問題に適用されてもよい。このとき、上述したT1,T2,T3は、脳波覚醒期間に基づき設定されてもよい。例えば、脳波覚醒期間の分布が、3〜15秒にかけて一様分布している場合、2〜15秒において1秒毎に複数のTiを設定してもよい。あるいは、脳波覚醒期間の分布が約5秒の周囲に集中している場合、5秒の規定値のみ使用してもよい。
本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[付記]
本開示の一態様では、
生体反応情報が付与された脈波データを取得するデータ取得部と、
前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出し、前記生体反応情報に基づき前記識別基準点に正解ラベルを設定する識別基準点抽出部と、
前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定する特徴ベクトル決定部と、
前記特徴ベクトルと前記正解ラベルとを含む訓練データによって、周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する識別器を訓練する訓練部と、
を有する訓練装置が提供される。
一実施例では、前記特徴ベクトル決定部は、2つの識別基準点が開始点及び終了点となるように前記解析窓を設定してもよい。
一実施例では、前記特徴ベクトル決定部は、1つの識別基準点が開始点となり、前記基線の局所最大点を前記識別基準点として抽出した場合は前記開始点に隣接する識別基準点の間の局所最小点が終了点となるように前記解析窓を設定し、前記基線の局所最小点を前記識別基準点として抽出した場合は前記開始点に隣接する識別基準点の間の局所最大点が終了点となるように前記解析窓を設定してもよい。
一実施例では、前記特徴ベクトル決定部は、生体反応の波形に基づき前記解析窓を設定してもよい。
一実施例では、前記特徴ベクトルの各成分は、該成分に対して設定された解析窓から算出される統計量を示すものであってもよい。
一実施例では、前記データ取得部は、CAPサブクラスの発生期間が付与された脈波データを取得し、前記識別器は、前記CAPサブクラスの発生を識別してもよい。
一実施例では、前記識別基準点抽出部は、前記識別基準点と生体反応の発生期間との包含関係に基づき前記識別基準点に設定する正解ラベルを決定してもよい。
一実施例では、前記識別器は、サポートベクターマシンにより実現されてもよい。
本開示の他の態様では、
生体反応情報が付与された脈波データを取得するステップと、
前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出し、前記生体反応情報に基づき前記識別基準点に正解ラベルを設定するステップと、
前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定するステップと、
前記特徴ベクトルと前記正解ラベルとを含む訓練データによって、周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する識別器を訓練するステップと、
を有する訓練方法が提供される。
本開示の他の態様では、
訓練装置のコンピュータが実行するプログラムであって、前記コンピュータに、
生体反応情報が付与された脈波データを取得する処理と、
前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出し、前記生体反応情報に基づき前記識別基準点に正解ラベルを設定する処理と、
前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定する処理と、
前記特徴ベクトルと前記正解ラベルとを含む訓練データによって、周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する識別器を訓練する処理と、
を実行させるプログラムが提供される。
本開示の他の態様では、
脈波データを取得するデータ取得部と、
前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出する識別基準点抽出部と、
前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定する特徴ベクトル決定部と、
周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する訓練済み識別器に前記特徴ベクトルを入力し、CAPの識別結果を取得する識別部と、
を有する識別装置が提供される。
一実施例では、前記特徴ベクトル決定部は、2つの識別基準点が開始点及び終了点となるように前記解析窓を設定してもよい。
一実施例では、前記特徴ベクトル決定部は、1つの識別基準点が開始点となり、前記基線の局所最大点を前記識別基準点として抽出した場合は前記開始点に隣接する識別基準点の間の局所最小点が終了点となるように前記解析窓を設定し、前記基線の局所最小点を前記識別基準点として抽出した場合は前記開始点に隣接する識別基準点の間の局所最大点が終了点となるように前記解析窓を設定してもよい。
一実施例では、前記特徴ベクトル決定部は、生体反応の波形に基づき前記解析窓を設定してもよい。
一実施例では、前記特徴ベクトルの各成分は、該成分に対して設定された解析窓から算出される統計量を示すものであってもよい。
一実施例では、前記識別器は、CAPサブクラスの発生を識別してもよい。
一実施例では、前記識別器は、サポートベクターマシンにより実現されてもよい。
本開示の他の態様では、
脈波データを取得するステップと、
前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出するステップと、
前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定するステップと、
周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する訓練済み識別器に前記特徴ベクトルを入力し、CAPの識別結果を取得するステップと、
を有する識別方法が提供される。
本開示の他の態様では、
識別装置のコンピュータが実行するプログラムであって、前記コンピュータに、
脈波データを取得する処理と、
前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出する処理と、
前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定する処理と、
周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する訓練済み識別器に前記特徴ベクトルを入力し、CAPの識別結果を取得する処理と、
をコンピュータに実行させるプログラムが提供される。
また、上述したプログラムを記憶するコンピュータ可読記憶媒体が提供される。
100 訓練装置
110、210 データ取得部
120、220 識別基準点抽出部
130、230 特徴ベクトル決定部
140 訓練部
200 識別装置
240 識別部

Claims (19)

  1. 生体反応情報が付与された脈波データを取得するデータ取得部と、
    前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出し、前記生体反応情報に基づき前記識別基準点に正解ラベルを設定する識別基準点抽出部と、
    前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定する特徴ベクトル決定部と、
    前記特徴ベクトルと前記正解ラベルとを含む訓練データによって、周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する識別器を訓練する訓練部と、
    を有する訓練装置。
  2. 前記特徴ベクトル決定部は、2つの識別基準点が開始点及び終了点となるように前記解析窓を設定する、請求項1記載の訓練装置。
  3. 前記特徴ベクトル決定部は、1つの識別基準点が開始点となり、前記基線の局所最大点を前記識別基準点として抽出した場合は前記開始点に隣接する識別基準点の間の局所最小点が終了点となるように前記解析窓を設定し、前記基線の局所最小点を前記識別基準点として抽出した場合は前記開始点に隣接する識別基準点の間の局所最大点が終了点となるように前記解析窓を設定する、請求項1又は2記載の訓練装置。
  4. 前記特徴ベクトル決定部は、生体反応の波形に基づき前記解析窓を設定する、請求項1乃至3何れか一項記載の訓練装置。
  5. 前記特徴ベクトルの各成分は、該成分に対して設定された解析窓から算出される統計量を示す、請求項1乃至4何れか一項記載の訓練装置。
  6. 前記データ取得部は、CAPサブクラスの発生期間が付与された脈波データを取得し、
    前記識別器は、前記CAPサブクラスの発生を識別する、請求項1乃至5何れか一項記載の訓練装置。
  7. 前記識別基準点抽出部は、前記識別基準点と生体反応の発生期間との包含関係に基づき前記識別基準点に設定する正解ラベルを決定する、請求項1乃至6何れか一項記載の訓練装置。
  8. 前記識別器は、サポートベクターマシンにより実現される、請求項1乃至7何れか一項記載の訓練装置。
  9. 生体反応情報が付与された脈波データを取得するステップと、
    前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出し、前記生体反応情報に基づき前記識別基準点に正解ラベルを設定するステップと、
    前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定するステップと、
    前記特徴ベクトルと前記正解ラベルとを含む訓練データによって、周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する識別器を訓練するステップと、
    を有する訓練方法。
  10. 訓練装置のコンピュータが実行するプログラムであって、前記コンピュータに、
    生体反応情報が付与された脈波データを取得する処理と、
    前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出し、前記生体反応情報に基づき前記識別基準点に正解ラベルを設定する処理と、
    前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定する処理と、
    前記特徴ベクトルと前記正解ラベルとを含む訓練データによって、周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する識別器を訓練する処理と、
    を実行させるプログラム。
  11. 脈波データを取得するデータ取得部と、
    前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出する識別基準点抽出部と、
    前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定する特徴ベクトル決定部と、
    周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する訓練済み識別器に前記特徴ベクトルを入力し、CAPの識別結果を取得する識別部と、
    を有する識別装置。
  12. 前記特徴ベクトル決定部は、2つの識別基準点が開始点及び終了点となるように前記解析窓を設定する、請求項11記載の識別装置。
  13. 前記特徴ベクトル決定部は、1つの識別基準点が開始点となり、前記基線の局所最大点を前記識別基準点として抽出した場合は前記開始点に隣接する識別基準点の間の局所最小点が終了点となるように前記解析窓を設定し、前記基線の局所最小点を前記識別基準点として抽出した場合は前記開始点に隣接する識別基準点の間の局所最大点が終了点となるように前記解析窓を設定する、請求項11又は12記載の識別装置。
  14. 前記特徴ベクトル決定部は、生体反応の波形に基づき前記解析窓を設定する、請求項11乃至13何れか一項記載の識別装置。
  15. 前記特徴ベクトルの各成分は、該成分に対して設定された解析窓から算出される統計量を示す、請求項11乃至14何れか一項記載の識別装置。
  16. 前記識別器は、CAPサブクラスの発生を識別する、請求項11乃至15何れか一項記載の識別装置。
  17. 前記識別器は、サポートベクターマシンにより実現される、請求項11乃至16何れか一項記載の識別装置。
  18. 脈波データを取得するステップと、
    前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出するステップと、
    前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定するステップと、
    周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する訓練済み識別器に前記特徴ベクトルを入力し、CAPの識別結果を取得するステップと、
    を有する識別方法。
  19. 識別装置のコンピュータが実行するプログラムであって、前記コンピュータに、
    脈波データを取得する処理と、
    前記脈波データから導出された基線の局所最大点又は基線の局所最小点を識別基準点として抽出する処理と、
    前記抽出した識別基準点に対して解析窓を設定し、前記解析窓における前記識別基準点の特徴ベクトルを決定する処理と、
    周期性脳波活動を示すCAP(Cyclic Alternating Pattern)を識別する訓練済み識別器に前記特徴ベクトルを入力し、CAPの識別結果を取得する処理と、
    を実行させるプログラム。
JP2020094915A 2019-09-19 2020-05-29 訓練装置、訓練方法、識別装置、識別方法及びプログラム Active JP7040557B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/986,379 US20210085256A1 (en) 2019-09-19 2020-08-06 Training device, training method, identification device, identification method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019170826 2019-09-19
JP2019170826 2019-09-19

Publications (2)

Publication Number Publication Date
JP2021049322A true JP2021049322A (ja) 2021-04-01
JP7040557B2 JP7040557B2 (ja) 2022-03-23

Family

ID=75156611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020094915A Active JP7040557B2 (ja) 2019-09-19 2020-05-29 訓練装置、訓練方法、識別装置、識別方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7040557B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009501060A (ja) * 2005-07-12 2009-01-15 ベス イスラエル デアコネス メディカル センター, インコーポレイテッド 心肺結合に基づく睡眠の質と睡眠障害呼吸の評価
US20110092831A1 (en) * 2008-04-14 2011-04-21 Itamar Medical Ltd. Non invasive method and apparatus for determining light-sleep and deep-sleep stages
WO2016035460A1 (ja) * 2014-09-03 2016-03-10 株式会社アクトメディカルサービス 睡眠状態モニタリングシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009501060A (ja) * 2005-07-12 2009-01-15 ベス イスラエル デアコネス メディカル センター, インコーポレイテッド 心肺結合に基づく睡眠の質と睡眠障害呼吸の評価
US20110092831A1 (en) * 2008-04-14 2011-04-21 Itamar Medical Ltd. Non invasive method and apparatus for determining light-sleep and deep-sleep stages
WO2016035460A1 (ja) * 2014-09-03 2016-03-10 株式会社アクトメディカルサービス 睡眠状態モニタリングシステム

Also Published As

Publication number Publication date
JP7040557B2 (ja) 2022-03-23

Similar Documents

Publication Publication Date Title
US9946942B2 (en) Method, apparatus and system for biometric identification
Chen et al. An automatic screening approach for obstructive sleep apnea diagnosis based on single-lead electrocardiogram
US20210085256A1 (en) Training device, training method, identification device, identification method, and recording medium
CN110742585B (zh) 基于bcg信号的睡眠分期方法
CN107205652B (zh) 具有特征生成和自动映射的睡眠分析系统
US11903724B2 (en) Method and a system for detecting a respiratory event of a subject and a method for forming a model for detecting a respiratory event
KR20150113700A (ko) 진단 시스템 및 방법
JPWO2018221750A1 (ja) 睡眠判定装置、睡眠判定方法、および、睡眠判定プログラム
Migliorelli et al. SGM: a novel time-frequency algorithm based on unsupervised learning improves high-frequency oscillation detection in epilepsy
Crespo et al. Automatic identification of activity–rest periods based on actigraphy
JP2021517504A (ja) 複数の信号を処理するためのシステムおよび方法
Kusmakar et al. Novel features for capturing temporal variations of rhythmic limb movement to distinguish convulsive epileptic and psychogenic nonepileptic seizures
Odenstedt Hergès et al. Machine learning analysis of heart rate variability to detect delayed cerebral ischemia in subarachnoid hemorrhage
JP7216408B2 (ja) 睡眠時無呼吸症候群判定装置、睡眠時無呼吸症候群判定方法および睡眠時無呼吸症候群判定プログラム
JP6957011B2 (ja) 睡眠段階判定装置、睡眠段階判定方法及びプログラム
US20230263400A1 (en) System and method for filtering time-varying data for physiological signal prediction
JP7040557B2 (ja) 訓練装置、訓練方法、識別装置、識別方法及びプログラム
JP2020048622A (ja) 生体状態推定装置
JP2010012100A (ja) 眠気検出装置
Ferretti et al. INCLASS: incremental classification strategy for self-aware epileptic seizure detection
JP6932351B2 (ja) 睡眠段階判定装置、睡眠段階判定方法及びプログラム
Pietrzak et al. New indices for sleep apnea detection from long-time ECG recordings
US11653876B2 (en) Cyclic alternative pattern (CAP) detection device, cyclic alternative pattern (CAP) detection method, and recording medium
EP4012722A1 (en) Sleep quality analysis
US20240260872A1 (en) System and method for quantifying a mental state

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220221

R150 Certificate of patent or registration of utility model

Ref document number: 7040557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150