JP2021174046A - 学習装置、学習方法、および測定装置 - Google Patents

学習装置、学習方法、および測定装置 Download PDF

Info

Publication number
JP2021174046A
JP2021174046A JP2020074590A JP2020074590A JP2021174046A JP 2021174046 A JP2021174046 A JP 2021174046A JP 2020074590 A JP2020074590 A JP 2020074590A JP 2020074590 A JP2020074590 A JP 2020074590A JP 2021174046 A JP2021174046 A JP 2021174046A
Authority
JP
Japan
Prior art keywords
sensor data
data
learning
subject
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020074590A
Other languages
English (en)
Other versions
JP7479909B2 (ja
Inventor
哲也 廣田
Tetsuya Hirota
大輔 河村
Daisuke Kawamura
隆吾 藤田
Ryugo Fujita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Priority to JP2020074590A priority Critical patent/JP7479909B2/ja
Priority to DE112021002427.2T priority patent/DE112021002427T5/de
Priority to PCT/JP2021/004094 priority patent/WO2021215070A1/ja
Priority to US17/917,393 priority patent/US20230153684A1/en
Publication of JP2021174046A publication Critical patent/JP2021174046A/ja
Application granted granted Critical
Publication of JP7479909B2 publication Critical patent/JP7479909B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】ノイズの影響が少ないバイタルデータをより効率的に取得する。【解決手段】被験者から第１の方式により取得された第１のセンサデータを学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行う学習部、を備え、前記学習部は、前記第１のセンサデータおよび前記第２のセンサデータの取得期間と同期間に取得され、前記第１のセンサデータに生じる前記ノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいて学習を行う、学習装置が提供される。【選択図】図８

Description

本発明は、学習装置、学習方法、および測定装置に関する。
近年、被験者のバイタルデータを取得する種々の装置が開発されている。例えば、特許文献１には、移動体のシートとステアリングとに設けた電極を用いて被験者の心電波形を計測する技術が開示されている。当該技術によれば、心電波形の取得に伴う被験者の負担を低減することができる。
特開２００９−１４２５７５号公報
しかし、特許文献１に記載の技術では、移動体の振動や被験者の体動等によりノイズが発生しやすく、心電波形の取得精度が低下する可能性がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ノイズの影響が少ないバイタルデータをより効率的に取得することが可能な仕組みを提供することにある。
上記課題を解決するために、本発明のある観点によれば、被験者から第１の方式により取得された第１のセンサデータを学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行う学習部、を備え、前記学習部は、前記第１のセンサデータおよび前記第２のセンサデータの取得期間と同期間に取得され、前記第１のセンサデータに生じる前記ノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいて学習を行う、学習装置が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、被験者から第１の方式により取得された第１のセンサデータを学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行うこと、を含み、前記学習することは、前記第１のセンサデータおよび前記第２のセンサデータの取得期間と同期間に取得され、前記第１のセンサデータに生じる前記ノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいて学習を行うこと、をさらに含む、学習方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、被験者から第１の方式により取得された第１のセンサデータを入力として、前記被験者の生命兆候を示すバイタルデータを出力する測定部、を備え、前記測定部は、前記第１のセンサデータを学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データとし、前記第１のセンサデータおよび前記第２のセンサデータの取得期間と同期間に取得され、前記第１のセンサデータに生じる前記ノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいて、前記バイタルデータの出力に係る学習を行った学習済みモデルを用いて、前記バイタルデータを出力する、測定装置が提供される。
以上説明したように、本発明によれば、ノイズの影響が少ないバイタルデータをより効率的に取得することが可能な仕組みが提供される。
本発明の一実施形態に係る学習装置１０の機能構成例を示す図である。 同実施形態に係る測定装置２０の機能構成例を示す図である。 一周期における一般的な心電波形の例を示す図である。 本発明の一実施形態に係る学習データおよび教師データの一例を示す図である。 同実施形態に係る測定部２２０の入出力の一例を示す図である。 同実施形態に係る測定部２２０の入出力の一例を示す図である。 同実施形態に係る第１のセンサデータに含まれるノイズの影響により出力されるバイタルデータの精度が低下する場合の一例について説明するための図である。 同実施形態に係る第３のセンサデータに基づく学習について説明するための図である。 同実施形態に係る学習フェーズの流れを示すフローチャートである。 同実施形態に係る測定フェーズの流れを示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜構成例＞
（学習装置１０）
本実施形態に係る学習装置１０は、異なる２つの方式により同期間に取得された同一種のセンサデータを少なくとも入力として教師あり学習を行う装置であってよい。ここで、教師あり学習とは、入力データ（学習データ）と当該入力データに対する正解データ（教師データ）のセットをコンピュータに与え、コンピュータに両者の対応を学習させる手法を指す。図１は、本実施形態に係る学習装置１０の機能構成例を示す図である。図１に示すように、本実施形態に係る学習装置１０は、学習部１１０および記憶部１２０を備えてもよい。なお、以下においては、学習装置１０が被験者の生命兆候を示すバイタルデータの出力に係る学習を行う場合を一例として説明する。
本実施形態に係る学習部１１０は、例えば、被験者から第１の方式により取得された第１のセンサデータを学習データとし、第１の方式と比較してノイズの影響が少ない第２の方式により、第１のセンサデータの取得期間と同期間に当該被験者から取得された第２のセンサデータ、を教師データとして、バイタルデータの出力に係る学習を行ってもよい。係る構成によれば、ノイズが多く含まれる第１のセンサデータとノイズの影響が少ない第２のセンサデータの対応関係を学習することで、第１のセンサデータからノイズを除去したバイタルデータを出力する学習済みモデルを生成することが可能となる。
また、本実施形態に係る学習部１１０は、第１のセンサデータおよび第２のセンサデータの取得期間と同期間に取得され、第１のセンサデータに生じるノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいた学習を行ってもよい。本実施形態に係る第３のセンサデータに基づく学習については別途詳細に説明する。
本実施形態に係る学習部１１０は、教師あり学習を実現可能な任意の機械学習手法を用いて上記のような学習を行ってよい。学習部１１０は、例えば、ニューラルネットワーク、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などのアルゴリズムを用いて学習を行う。
学習部１１０の機能は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサによって実現される。本実施形態に係る学習部１１０が有する機能の詳細については別途詳細に説明する。
本実施形態に係る記憶部１２０は、学習装置１０の動作に係る各種の情報を記憶する。記憶部１２０は、例えば、学習部１１０の学習に用いられる第１のセンサデータ、第２センサデータ、第３のセンサデータ、各種のパラメータ等を記憶する。
以上、本実施形態に係る学習装置１０の機能構成例について述べた。なお、図１を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る学習装置１０の構成は係る例に限定されない。本実施形態に係る学習装置１０は、例えば、操作者による操作を受け付ける操作部や、各種のデータを出力するための出力部等をさらに備えてもよい。本実施形態に係る学習装置１０の構成は、仕様や運用に応じて柔軟に変形され得る。
続いて、本実施形態に係る測定装置２０の機能構成例について述べる。本実施形態に係る測定装置２０は、学習装置１０が構築した学習済みモデルを用いてバイタルデータの測定を実施する装置であってよい。図２は、本実施形態に係る測定装置２０の機能構成例を示す図である。図２に示すように、本実施形態に係る測定装置２０は、取得部２１０および測定部２２０を備えてもよい。
本実施形態に係る取得部２１０は、被験者から第１のセンサデータを取得する。このために、本実施形態に係る取得部２１０は、取得する第１のセンサデータの特性に応じた各種のセンサを備える。また、本実施形態に係る取得部２１０は、第３のセンサデータを第３のセンサデータを取得する。このために、本実施形態に係る取得部２１０は、取得する第３のセンサデータの特性に応じた各種のセンサを備える。例えば、本実施形態に係る第３のセンサデータの一例としては、被験者または被験者に接触することが予測される装置を検出対象とした加速度データが挙げられる。この場合、取得部２１０は、加速度センサを備えてもよい。
本実施形態に係る測定部２２０は、取得部２１０が取得した第１のセンサデータや第３のセンサデータを入力として、被験者の生命兆候を示すバイタルデータを出力する。この際、本実施形態に係る測定部２２０は、学習部１１０による学習により構築された学習済みモデルを用いてバイタルデータの出力を行う。例えば、本実施形態に係る測定部２２０は、第１のセンサデータを学習データとし、第１の方式と比較してノイズの影響が少ない第２の方式により、第１のセンサデータと同期間に被験者から取得された第２のセンサデータに基づく教師データを用いて、バイタルデータの出力に係る学習を行った学習済みモデルを用いて、バイタルデータを出力してもよい。
上記の構成によれば、ノイズの混入が想定される第１のセンサデータのみを用いて、当該ノイズの影響を取り除いた高精度のバイタルデータを得ることが可能となる。なお、本実施形態に係る測定部２２０の機能は、各種のプロセッサにより実現される。
また、本実施形態に係る測定部２２０は、第１のセンサデータおよび第２のセンサデータに加え、第３のセンサデータにさらに基づいて、バイタルデータの出力に係る学習を行った学習済みモデルを用いて、バイタルデータの出力を行ってもよい。本実施形態に係る第３のセンサデータに基づく学習の効果については別途詳細に説明する。
以上、本実施形態に係る測定装置２０の機能構成例について述べた。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る測定装置２０の機能構成は係る例に限定されない。本実施形態に係る測定装置２０は、操作部や出力部、バイタルデータの解析を行う解析部、解析結果に基づいて各種の報知を行う報知部等をさらに備えてもよい。本実施形態に係る測定装置２０の構成は、測定対象とするバイタルデータの特性や、バイタルデータの活用用途等に応じて柔軟に変形され得る。
＜詳細＞
次に、本実施形態に係るセンサデータについて具体例を挙げながら説明する。近年では、様々な種別のセンサデータを取得する装置が開発されている。また、同一種のセンサデータを取得する場合であっても、複数の方式が存在する場合がある。ここでは、被験者の心臓の活動により生じる電圧の変化を心電波形として取得する場合を想定する。
心電波形を取得する方式としては、被験者の皮膚に複数の電極を直接装着し、当該複数の電極により電圧の変化を記録する、例えば１２誘導心電図等の方式が挙げられる。係る方式によれば、ノイズの影響が少ない高精度の心電波形を得ることができる。一方、係る方式は、被験者の行動を制限する場合も多く、また皮膚に電極を直接装着するために、被験者に煩わしさを感じさせる場合もある。
また、心電波形を取得する他の方式としては、被験者と接触することが予想される複数の箇所に電極を設置し、複数の当該電極に被験者が接触した際に得られた電圧の変化を記録する方式が挙げられる。このような方式は、例えば、装置の操作を行う被験者の心電波形を取得したい場合等に用いられる。一例としては、車両等の移動体を運転する運転手が、運転中に接触することが予想されるステアリングや運転席の座席等に電極を配置し、当該運転手の心電図を取得する技術が知られている。係る技術によれば、運転手の皮膚に電極を直接貼り付ける必要がないため、運転手に意識させることなく心電波形を取得することが可能である。一方、この場合、運転行動に伴う運転手の体動や、車両の振動等によりノイズが生じやすく、取得される心電波形の精度が低下する可能性がある。
このように、センサデータを取得するための複数の方式には、それぞれに利点がある一方で、取得されるセンサデータの精度に差が生じるケースも存在する。このため、ある方式が有する利点を活かしながら、同時にセンサデータの取得精度を向上させる技術が求められている。
上記の点を解決するために、本実施形態に係る学習部１１０は、例えば、第１の方式により得られた第１のセンサデータを学習データとし、第１の方式と比較してノイズの影響が少ない第２の方式により、第１のセンサデータと同期間に取得された第２のセンサデータに基づく教師データを用いて学習を行ってもよい。これによれば、第１のセンサデータのみからでもノイズの影響が少ない高精度のバイタルデータを出力する学習済みモデルを構築することが可能となる。
以下では、本実施形態に係るバイタルデータが心臓の活動に係るデータである場合を一例として説明する。この場合、学習部１１０は、第１の方式により取得された第１の心電波形を学習データとし、第２の方式により第１の心電波形と同期間に取得された第２の心電波形に基づく教師データを用いて、被験者の被検査の心臓の活動に係るデータの出力を学習してもよい。
この場合、上記の第１の方式は、被験者と接触することが予想される少なくとも２つの電極を用いて心電波形を取得する方式であり、上記の第２の方式は、被験者の皮膚に直接装着された少なくとも２つの電極を用いて心電波形を取得する方式であってもよい。
例えば、被験者が車両等の移動体を運転する運転手である場合、上記の第１の方式において用いられる２つの電極は、被験者が着座する座席と、被験者が操作する被操作装置（例えば、ステアリング）とに設けられてもよい。
上記のような構成によれば、運転手に煩わしさを感じさせない等の第１の方式が有する利点をそのままに、かつ運転手の体動や車両の振動等により生じるノイズを排除した高精度のデータを取得することが可能となる。
なお、本実施形態に係る学習部１１０は、第２の心電波形そのものを教師データとして、第１の心電波形からノイズが除去された補正心電波形の出力に係る学習を行ってもよい。この場合、補正心電波形を目的に応じて解析することで、様々な生理指標を得ることができる。
一方で、予め心電波形から得たい生理指標が定まっている場合においては、当該整理指標に応じた規定の特徴点を学習部１１０に学習させることも可能である。ここで、一般的な心電波形における特徴点（特徴波形）について説明する。
図３は、一周期における一般的な心電波形の例を示す図である。なお、図３においては、横軸において時間の経過が、縦軸において電圧の変化が示されている。図３に示すように、一般的な心電波形には、特徴的な形状を示す複数の特徴波形が観察され得る。特徴波形の一例としては、Ｐ波、Ｑ波、Ｒ波、Ｓ波、ＱＲＳ波（Ｑ波、Ｒ波、およびＳ波から形成される）Ｔ波、およびＵ波等が挙げられる。
このうち、例えば、Ｒ波は、心拍変動（揺らぎ）の指標として重要な特徴波形である。ある周期におけるＲ波と次周期におけるＲ波の間隔（ＲＲＩ：Ｒ−Ｒ Ｉｎｔｅｒｖａｌ）は、心拍の周期を算出するために用いられる。また、ＲＲＩにはストレスや疲労により揺らぎが生じることも知られており、被験者の身体的負担や心理的負担を検出する際にも有効な生理指標となる。その他、例えば、一周期におけるＱ波とＴ波の間隔であるＱＴＩ（Ｑ−Ｔ Ｉｎｔｅｒｖａｌ）は、心室の興奮の始まりから興奮が消退するまでの時間を示しており、不整脈の検出等に重要な生理指標である。
このことから、本実施形態に係る学習部１１０は、第２の心電波形から得られた、第２の心電波形における特徴点の存在確率を示す存在確率データを教師データとして、第１の心電波形における上記規定の特徴点の存在確率を示す存在確率データの出力に係る学習を行ってもよい。
本実施形態に係る学習部１１０は、例えば、第２の心電波形におけるＲ波の存在確率を示す存在確率データを教師データとして、第１の心電波形におけるＲ波の存在確率を示す存在確率データの出力に係る学習を行ってもよい。
上記のような学習によれば、例えば、Ｒ波等の任意の特徴点を高精度に検出する学習済みモデルを構築することができる。また、当該学習済みモデルを用いることで、被験者のＲＲＩ等の生理指標をリアルタイムに測定することが可能となる。
このように、本実施形態に係る学習部１１０は、学習済みモデルが搭載される測定装置２０の利用用途に応じた教師データを用いて学習を行ってよい。
図４は、本実施形態に係る学習データおよび教師データの一例を示す図である。図４の上段には、学習データとして用いられる第１のセンサデータ（第１の心電波形）が示されている。また、図４の中段には、教師データＡとして用いられる、第１のセンサデータと同期間に取得された第２のセンサデータ（第２の心電波形）が示されている。また、図４の下段には、教師データＢとして用いられる、上記第２のセンサデータに基づいて生成されたＲ波の存在確率データが示されている。なお、図４においては、各データにおけるＲ波（Ｒ波ピーク）の位置が点線により示されている。
図４に示すように、第１の方式により取得される第１のセンサデータは、ノイズを多く含むものであり、そのままでは、Ｒ波をうまく検出できない場合がある。この際、ノイズの影響が少ない第２のセンサデータを教師データＡとして用いることで、第１のセンサデータと第２のセンサデータとの対応関係を学習部１１０に学習させることが可能である。
本実施形態に係る測定部２２０は、上記のような学習により構築された学習済みモデルを用いることで、図５に示すように、第１のセンサデータを入力として、ノイズが排除された補正センサデータ（補正心電波形）を出力することができる。これによれば、出力された補正センサデータに対し任意の加工や解析を行うことで、被験者に係る様々な生理指標を精度高く得ることが可能となる。
一方、図４に示したような存在確率データを教師データＢとして用いる場合、第１のセンサデータと任意の特徴点の対応関係を直接的に学習部１１０に学習させることが可能である。
この場合、本実施形態に係る測定部２２０は、図６に示すように、第１のセンサデータを入力として、例えばＲ波等の規定の特徴点に係る存在確率データを出力することができる。これによれば、例えば、ＲＲＩ等の生理指標をリアルタイムに測定し、測定値に応じた各種のアクションを行うこと等が可能となる。なお、図４および図５においては、存在確率データが０（存在しない）または１（存在する）の２値をとる場合を例示したが、本実施形態係る存在確率データは、３値以上をとってもよい。
次に、本実施形態に係る第３のセンサデータに基づく学習について説明する。上述したように、本実施形態に係る学習装置１０は、第１のセンサデータを学習データとし、第２のセンサデータに基づく教師データを用いた学習を行うことで、バイタルデータの出力に係る学習を行うことができる。また、本実施形態に係る測定装置２０は、上記のような学習を行った学習済みモデルを用いてバイタルデータの出力を行ってもよい。
しかし、ここで、第１のセンサデータに含まれるノイズの強度が著しく高い場合などにおいては、学習装置１０が第１のセンサデータと第２のセンサデータとの対応を正しく学習できず、結果として、測定装置２０が出力するバイタルデータの精度が低下してしまう可能性もある。
図７は、第１のセンサデータに含まれるノイズの影響により出力されるバイタルデータの精度が低下する場合の一例について説明するための図である。なお、図７では、学習部１１０が第１のセンサデータを学習データとし、第２のセンサデータを教師データとして、第１のセンサデータと第２のセンサデータとの対応を学習し、補正センサデータを出力する場合を例示している。
本例においては、第２のセンサデータが３つのＲ波ピークＲ１〜Ｒ３を含んでいるの対し、出力される補正センサデータでは、Ｒ波ピークＲ１〜Ｒ３に加え、第２のセンサデータにおいてＲ波ピークが存在しない時点において疑似Ｒ波ピークＮＲが誤検出されている。
これは、当該時点付近において第１のセンサデータに含まれるノイズの強度が高いことが要因であることが予測される。このように、第１のセンサデータに含まれるノイズの強度は、出力データにおける各種特徴点の検出精度に強く影響し得る。
このために、本実施形態に係る学習部１１０は、第１のセンサデータおよび第２のセンサデータに加え、上記２つのセンサデータの取得期間と同期間に取得された第３のセンサデータにさらに基づく学習を行ってもよい。ここで、本実施形態に係る第３のセンサデータは、第１のセンサデータに生じるノイズの影響の大きさを示す指標として利用可能な各種のセンサデータであってよい。
すなわち、本実施形態に係る学習部１１０は、第１のセンサデータに加え、第３のセンサデータを学習データとして用いることで、第１のセンサデータに生じるノイズの影響の大きさを学習することが可能である。
図８は、本実施形態に係る第３のセンサデータに基づく学習について説明するための図である。なお、図８では、学習部１１０が第１のセンサデータおよび第３のセンサデータを学習データとし、第２のセンサデータを教師データとして、補正センサデータを出力する場合を例示している。
例えば、移動体に搭乗する被験者が着座する座席と、被験者が操作するステアリング等の被操作装置とに配置される電極を用いて第１のセンサデータを取得する場合を想定する。この場合、被験者と電極との接触が一時的に解除される状況等において、第１のセンサデータに生じるノイズの強度が上昇することが予想される。
上記の状況としては、例えば、走行路や走行の状態により移動体に強い振動が生じる状況が挙げられる。このことから、本実施形態に係る第３のセンサデータは、例えば、被験者または被験者に接触することが予測される装置（例えば、座席、ステアリング、移動体等）を検出対象として取得された加速度データを含んでもよい。この場合、本実施形態に係る学習部１１０は、第３のセンサデータとして加速度データに基づく学習を行ってもよい。
また、被験者と電極との接触が一時的に解除されるような状況には、特に、重力方向（。以下、ｚ軸方向とも称する）における振動が強く影響することが想定される。
このため、本実施形態に係る学習部１１０は、第３のセンサデータとして少なくとも重力方向における加速度データに基づく学習を行ってもよい。
本実施形態に係る学習部１１０は、例えば、第３のセンサデータとして、ｚ軸方向における加速度データのみを用いた学習を行ってもよいし、第３のセンサデータとして、ｚ軸方向、ｙ軸方向、ｘ軸方向のそれぞれにおける加速度データを用いた学習を行ってもよい。この他、本実施形態に係る第３のセンサデータとしては、例えば、上記３軸方向における加速度データのノルムや、各軸方向における躍度（加加速度、ジャークとも称される）が採用されてもよい。
なお、加速度データは、移動体に備えられた加速度センサにより取得されてもよいし、速度計が取得した速度に基づいて演算されてもよい。
上記のような第３のセンサデータに基づく学習によれば、第１のセンサデータに生じるノイズの影響をキャンセルすることで、図８の下段に示すように、疑似Ｒ波ピークＮＲなどの誤検出を防止することが可能となる。このように、本実施形態に係る第３のセンサデータに基づく学習によれば、第１のセンサデータおよび第２のセンサデータのみを用いた場合と比較して、バイタルデータの検出精度をさらに向上させた学習済みモデルを生成することが可能となる。
なお、本実施形態に係る第３のセンサデータは、加速度データ、また加速度データを加工したデータに限定されない。本実施形態に係る第３のセンサデータは、被験者と電極との接触が一時的に解除されるような状況の予測に利用可能な各種のデータであり得る。
本実施形態に係る第３のセンサデータは、例えば、角速度データや地磁気データ、また画像データであってもよい。当該画像データの一例としては、例えば、走行路の状態を撮影したデータや、被験者の状態を撮影したデータなどが挙げられる。上記のような各データは、振動の発生予測に利用可能である。
また、本実施形態に係る第３のセンサデータは、移動体に搭載される空調設備やオーディオ設備に係る操作情報であってもよい。このようなデータによれば、被験者の指が、ステアリングに配置される電極から一時的に離れたこと等を予測することが可能である。
＜学習フェーズおよび測定フェーズの流れ＞
次に、本実施形態に係る学習装置１０を用いた学習を行う学習フェーズ、および測定装置２０を用いた測定を行う測定フェーズの流れについて説明する。図９は、本実施形態に係る学習フェーズの流れを示すフローチャートである。
図９に示すように、本実施形態に係る学習フェーズにおいては、まず、第１のセンサデータ、第２のセンサデータ、第３のセンサデータの取得が行われる（Ｓ１０２）。この際、第１のセンサデータ、第２のセンサデータ、および第３のセンサデータは、時間軸における同期が可能なようにタイムスタンプ等の情報と共に取得されてよい。また、第１のセンサデータ、第２のセンサデータ、および第３のセンサデータは、学習装置１０とは別途の装置により取得されてもよい。取得された第１のセンサデータ、第２のセンサデータ、および第３のセンサデータは、学習装置１０の記憶部１２０に記憶される。
次に、必要に応じて第１のセンサデータ、第２のセンサデータ、および第３のセンサデータの加工が行われる（Ｓ１０４）。例えば、教師データとして、規定の特徴点に係る存在確率データを用いる場合、ステップＳ１０４では、ステップＳ１０２において取得された第２のセンサデータを存在確率データに変換する処理が行われてよい。また、第１のセンサデータ、第２のセンサデータ、および第３のセンサデータに含まれるノイズを軽減するための各種のフィルタ処理等が行われてもよい。なお、上記のような加工は学習装置１０とは別途の装置により実行されてもよい。
次に、学習部１１０は、第１のセンサデータおよび第３のセンサデータを学習データとし、第２のセンサデータに基づく教師データを用いた学習を行う（Ｓ１０６）。この際、学習部１１０は、第２のセンサデータそのもの（あるいはフィルタ処理が施された第２のセンサデータ）を教師データとして用いてもよいし、ステップＳ１０４において生成された存在確率データを教師データとしてもよい。
以上、本実施形態に係る学習フェーズの流れについて説明した。続いて、本実施形態に係る測定フェーズの流れについて説明する。図１０は、本実施形態に係る測定フェーズの流れを示すフローチャートである。
図１０に示すように、本実施形態に係る測定フェーズにおいては、まず、取得部２１０が第１の方式により第１のセンサデータを、また第３のセンサデータを取得する（Ｓ２０２）。取得部２１０は、例えば、車両のスタリングと座席に配置した複数の電極により運転手の心電波形を第１のセンサデータとして取得してもよい。また、取得部２１０は、例えば、ステアリング等に配置された加速度センサにより、第３のセンサデータとして加速度データを取得してもよい。
次に、測定部２２０は、ステップＳ２０２において取得された第１のセンサデータおよび第３のセンサデータを学習済みモデルに入力し、バイタルデータの出力を行う（Ｓ２０４）。学習フェーズにおいて第２のセンサデータを教師データとして学習を行った場合、上記のバイタルデータは、第１のセンサデータからノイズが除去された補正センサデータであり得る。一方、学習フェーズにおいて存在確率データを教師データとして学習を行った場合、上記のバイタルデータは、任意の特徴点の存在確率を示す存在確率データであり得る。
次に、必要に応じて、ステップＳ２０４において出力されたバイタルデータに基づく各種の動作が実行される（Ｓ２０６）。上記の動作は、例えば、バイタルデータから検出されたＲＲＩに基づく報知等であってもよい。上記の動作は、測定装置２０とは別途の装置により実行されてもよい。
＜補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記の実施形態では、学習部１１０が被験者の生命兆候を示すバイタルデータの出力に係る学習を行う場合を主な例として述べた。一方、学習部１１０による学習の対象は、バイタルデータの出力に限定されない。学習部１１０は、例えば、任意の装置の稼働状況を示すデータ等の出力に係る学習を行うことも可能である。
また、上記の実施形態では、心電波形を取得する第１の方式として、被験者が接触することが予想される箇所に電極を配置する方式を、第２の方式として、被験者の皮膚に電極を直接する方式を例に挙げた。一方、本技術における第１の方式および第２の方式は、ノイズの影響の受けやすさに差がある任意の異なる方式であってよい。例えば、心拍を取得する場合、第１の方式は、ドップラーセンサを用いた非接触方式であってもよいし、第２の方式は、被験者の皮膚に電極を装着する接触方式であってもよい。
また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（非一時的な媒体：ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
１０：学習装置、１１０：学習部、１２０：記憶部、２０：測定装置、２１０：取得部、２２０：測定部

Claims (9)

  1. 被験者から第１の方式により取得された第１のセンサデータを学習データとし、
    前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、
    前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行う学習部、
    を備え、
    前記学習部は、前記第１のセンサデータおよび前記第２のセンサデータの取得期間と同期間に取得され、前記第１のセンサデータに生じる前記ノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいて学習を行う、
    学習装置。
  2. 前記第３のセンサデータは、前記被験者または前記被験者に接触することが予測される装置を検出対象として取得された加速度データを含み、
    前記学習部は、前記第３のセンサデータとして加速度データに基づく学習を行う、
    請求項１に記載の学習装置。
  3. 前記学習部は、前記第３のセンサデータとして少なくとも重力方向における加速度データに基づく学習を行う、
    請求項２に記載の学習装置。
  4. 前記バイタルデータは、心臓の活動に係るデータを含み、
    前記学習部は、前記第１の方式により取得された第１の心電波形、および前記第１の心電波形の取得期間と同期間に取得された前記第３のセンサデータを学習データとし、前記第２の方式により前記第１の心電波形の取得期間と同期間に取得された第２の心電波形に基づく教師データを用いて、前記被験者の心臓の活動に係るデータの出力を学習する、
    請求項１〜請求項３のうちいずれか一項に記載の学習装置。
  5. 前記第１の方式は、前記被験者と接触することが予想される少なくとも２つの電極を用いて心電波形を取得する方式であり、
    前記第２の方式は、前記被験者の皮膚に装着された少なくとも２つの電極を用いて心電波形を取得する方式である、
    請求項４に記載の学習装置。
  6. 前記第１の方式において用いられる２つの前記電極は、前記被験者が着座する座席と、前記被験者が操作する被操作装置と、に設けられる、
    請求項５に記載の学習装置。
  7. 前記被験者は、移動体を運転する運転手である、
    請求項１から請求項６までのいずれか一項に記載の学習装置。
  8. 被験者から第１の方式により取得された第１のセンサデータを学習データとし、
    前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データを用いて、
    前記被験者の生命兆候を示すバイタルデータの出力に係る学習を行うこと、
    を含み、
    前記学習することは、前記第１のセンサデータおよび前記第２のセンサデータの取得期間と同期間に取得され、前記第１のセンサデータに生じる前記ノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいて学習を行うこと、をさらに含む、
    学習方法。
  9. 被験者から第１の方式により取得された第１のセンサデータを入力として、前記被験者の生命兆候を示すバイタルデータを出力する測定部、
    を備え、
    前記測定部は、前記第１のセンサデータを学習データとし、前記第１の方式と比較してノイズの影響が少ない第２の方式により、前記第１のセンサデータの取得期間と同期間に前記被験者から取得された第２のセンサデータに基づく教師データとし、前記第１のセンサデータおよび前記第２のセンサデータの取得期間と同期間に取得され、前記第１のセンサデータに生じる前記ノイズの影響の大きさを示す指標として利用可能な第３のセンサデータにさらに基づいて、前記バイタルデータの出力に係る学習を行った学習済みモデルを用いて、前記バイタルデータを出力する、
    測定装置。
JP2020074590A 2020-04-20 2020-04-20 学習装置、学習方法、および測定装置 Active JP7479909B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020074590A JP7479909B2 (ja) 2020-04-20 2020-04-20 学習装置、学習方法、および測定装置
DE112021002427.2T DE112021002427T5 (de) 2020-04-20 2021-02-04 Lernvorrichtung, Lernverfahren und Messvorrichtung
PCT/JP2021/004094 WO2021215070A1 (ja) 2020-04-20 2021-02-04 学習装置、学習方法、および測定装置
US17/917,393 US20230153684A1 (en) 2020-04-20 2021-02-04 Learning device, learning method, and measurement device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020074590A JP7479909B2 (ja) 2020-04-20 2020-04-20 学習装置、学習方法、および測定装置

Publications (2)

Publication Number Publication Date
JP2021174046A true JP2021174046A (ja) 2021-11-01
JP7479909B2 JP7479909B2 (ja) 2024-05-09

Family

ID=78269382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020074590A Active JP7479909B2 (ja) 2020-04-20 2020-04-20 学習装置、学習方法、および測定装置

Country Status (4)

Country Link
US (1) US20230153684A1 (ja)
JP (1) JP7479909B2 (ja)
DE (1) DE112021002427T5 (ja)
WO (1) WO2021215070A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5050828B2 (ja) 2007-12-17 2012-10-17 富士通株式会社 片手対応ステアリング心電検知装置
US9681819B2 (en) 2013-08-30 2017-06-20 Joseph Wiesel Method and apparatus for detecting atrial fibrillation
KR101483756B1 (ko) 2013-10-18 2015-01-16 상명대학교서울산학협력단 맥파 검출 방법
US10463314B1 (en) 2018-07-19 2019-11-05 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for predicting and detecting a cardiac event

Also Published As

Publication number Publication date
DE112021002427T5 (de) 2023-02-23
WO2021215070A1 (ja) 2021-10-28
JP7479909B2 (ja) 2024-05-09
US20230153684A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
EP2698112B1 (en) Real-time stress determination of an individual
US7892189B2 (en) Movement analysis display apparatus and movement analyzing method
Kajiwara Evaluation of driver’s mental workload by facial temperature and electrodermal activity under simulated driving conditions
JP3581319B2 (ja) 脳活動自動判定装置
JP2001000407A (ja) 生体信号計測装置
KR101947676B1 (ko) 생체 신호를 측정하는 장치 및 방법
Zontone et al. Car driver's sympathetic reaction detection through electrodermal activity and electrocardiogram measurements
JP2018521830A (ja) 注意欠陥を監視し改善する方法およびシステム
KR100956406B1 (ko) 긴장도를 조절하는 드라이빙 시뮬레이션 시스템 및 방법과이에 사용되는 기록매체
Yeh et al. A virtual-reality system integrated with neuro-behavior sensing for attention-deficit/hyperactivity disorder intelligent assessment
JP5343790B2 (ja) 脳活動情報出力装置、脳活動情報出力方法、およびプログラム
Pereira et al. Physiotherapy Exercises Evaluation using a Combined Approach based on sEMG and Wearable Inertial Sensors.
WO2021215070A1 (ja) 学習装置、学習方法、および測定装置
Zontone et al. Low-complexity classification algorithm to identify drivers’ stress using electrodermal activity (EDA) measurements
Zontone et al. Stress recognition in a simulated city environment using Skin Potential Response (SPR) signals
US20230165511A1 (en) Cognitive ability detection device and cognitive ability detection method
JP4649429B2 (ja) 心拍測定システム及び方法
CN114435373B (zh) 疲劳驾驶检测方法、装置、计算机设备和存储介质
WO2021100265A1 (ja) 学習装置、学習方法、および測定装置
JP7002168B1 (ja) 心電図分析装置、心電図分析方法及びプログラム
RU2125399C1 (ru) Устройство для анализа психофизиологической информации
JP7256380B2 (ja) 情報処理装置、危険状況検出システム、および危険状況検出方法
Murphey et al. Personalized driver workload estimation in real-world driving
JP2021081917A (ja) 学習データ拡張方法、および学習データ生成装置
JPH02112098A (ja) 情報選択提供装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240424