JP2022163395A - 生体情報取得装置、処理装置、およびコンピュータプログラム - Google Patents
生体情報取得装置、処理装置、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2022163395A JP2022163395A JP2021068291A JP2021068291A JP2022163395A JP 2022163395 A JP2022163395 A JP 2022163395A JP 2021068291 A JP2021068291 A JP 2021068291A JP 2021068291 A JP2021068291 A JP 2021068291A JP 2022163395 A JP2022163395 A JP 2022163395A
- Authority
- JP
- Japan
- Prior art keywords
- importance
- inference result
- biological information
- probability
- inference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 29
- 238000004590 computer program Methods 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims abstract description 7
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000010365 information processing Effects 0.000 abstract description 4
- 238000005259 measurement Methods 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 230000003183 myoelectrical effect Effects 0.000 description 10
- 239000003086 colorant Substances 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010003658 Atrial Fibrillation Diseases 0.000 description 1
- 206010010904 Convulsion Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 208000028329 epileptic seizure Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 201000002859 sleep apnea Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Veterinary Medicine (AREA)
- Cardiology (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Psychiatry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
【課題】深層学習技術を用いてなされる生体情報の処理結果の解釈性を高める。【解決手段】生体情報取得装置10は、被検者20の生体情報を取得する。入力インターフェース111は、センサ30から生体情報の測定波形に対応する波形データWDを受け付ける。推論部112aは、畳み込みニューラルネットワークを用いて波形データWDから特徴量を抽出するとともに当該波形データWDが複数のクラスの各々に分類される確率を推論する。重要度特定部112bは、前記複数のクラスの少なくとも一つについて前記確率の推論結果に対する前記特徴量の重要度を特定する。出力部12は、測定波形WFとともに前記推論結果および前記重要度を示す指標を出力する。【選択図】図1
Description
本発明は、被検者の生体情報を取得する装置に関連する。本発明は、当該生体情報を処理する処理装置、および当該処理装置のプロセッサにより実行可能なコンピュータプログラムにも関連する。
特許文献1は、被検者の生体情報の一例である脈波を測定する装置を開示している。センサから取得される脈波の測定波形に所定レベル以上のノイズが混入していると判断されると、ユーザへの通知がなされる。
本発明の目的は、深層学習技術を用いてなされる生体情報の処理結果の解釈性を高めることである。
上記の目的を達成するための一態様は、被検者の生体情報を取得する生体情報取得装置であって、
センサから前記生体情報の測定波形に対応する波形データを受け付ける入力インターフェースと、
畳み込みニューラルネットワークを用いて前記波形データから特徴量を抽出するとともに当該波形データが複数のクラスの各々に分類される確率を推論する推論部と、
前記複数のクラスの少なくとも一つについて前記確率の推論結果に対する前記特徴量の重要度を特定する重要度特定部と、
前記測定波形とともに前記推論結果および前記重要度を示す指標を出力する出力部と、
を備えている。
センサから前記生体情報の測定波形に対応する波形データを受け付ける入力インターフェースと、
畳み込みニューラルネットワークを用いて前記波形データから特徴量を抽出するとともに当該波形データが複数のクラスの各々に分類される確率を推論する推論部と、
前記複数のクラスの少なくとも一つについて前記確率の推論結果に対する前記特徴量の重要度を特定する重要度特定部と、
前記測定波形とともに前記推論結果および前記重要度を示す指標を出力する出力部と、
を備えている。
上記の目的を達成するための一態様は、被検者の生体情報を処理する処理装置であって、
センサから前記生体情報の測定波形に対応する波形データを受け付ける入力インターフェースと、
畳み込みニューラルネットワークを用いて前記波形データから特徴量を抽出して当該波形データが複数のクラスの各々に分類される確率を推論し、前記複数のクラスの少なくとも一つについて前記確率の推論結果に対する前記特徴量の重要度を特定し、かつ前記推論結果および前記重要度を示す指標を前記測定波形とともに出力装置に出力させるプロセッサと、
を備えている。
センサから前記生体情報の測定波形に対応する波形データを受け付ける入力インターフェースと、
畳み込みニューラルネットワークを用いて前記波形データから特徴量を抽出して当該波形データが複数のクラスの各々に分類される確率を推論し、前記複数のクラスの少なくとも一つについて前記確率の推論結果に対する前記特徴量の重要度を特定し、かつ前記推論結果および前記重要度を示す指標を前記測定波形とともに出力装置に出力させるプロセッサと、
を備えている。
上記の目的を達成するための一態様は、被検者の生体情報を処理する処理装置のプロセッサにより実行可能なコンピュータプログラムであって、
実行されることにより、前記処理装置は、
センサから前記生体情報の測定波形に対応する波形データを受け付け、
畳み込みニューラルネットワークを用いて前記波形データから特徴量を抽出して当該波形データが複数のクラスの各々に分類される確率を推論し、
前記複数のクラスの少なくとも一つについて前記確率の推論結果に対する前記特徴量の重要度を特定し、
前記測定波形とともに前記推論結果および前記重要度を示す指標を出力装置に出力させる。
実行されることにより、前記処理装置は、
センサから前記生体情報の測定波形に対応する波形データを受け付け、
畳み込みニューラルネットワークを用いて前記波形データから特徴量を抽出して当該波形データが複数のクラスの各々に分類される確率を推論し、
前記複数のクラスの少なくとも一つについて前記確率の推論結果に対する前記特徴量の重要度を特定し、
前記測定波形とともに前記推論結果および前記重要度を示す指標を出力装置に出力させる。
被検者の生体情報に対してなされる判断に深層学習済みモデルを利用する試みがなされている。他方、深層学習済みモデルを用いた場合、推論結果の明確な根拠を求めることが原理的に困難である。医療分野においては判断の根拠が曖昧であることが忌避される傾向にある。
上記の各態様に係る構成によれば、生体情報に対してなされる判断に深層学習技術である畳み込みニューラルネットワークを利用しつつも、測定波形のどの部分が当該判断に寄与したのか示す指標を通じて推論の根拠となりうる情報をユーザに視覚的に提示することにより、判断結果の解釈あるいは検証を当該ユーザに委ねることができる。したがって、深層学習技術を用いてなされる生体情報の処理結果の解釈性を高めることができる。
添付の図面を参照しつつ、実施形態の例を以下詳細に説明する。
図1は、一実施形態に係る生体情報取得装置10の構成を例示している。生体情報取得装置10は、被検者20の心電図を取得するように構成されている。心電図は、生体情報の一例である。
生体情報取得装置10は、処理装置11を備えている。処理装置11は、生体情報取得装置10により取得された被検者20の心電図を処理するように構成されている。
処理装置11は、入力インターフェース111を備えている。入力インターフェース111は、センサ30を通じて被検者20の心電図の測定波形WFに対応する波形データWDを受け付けるように構成されている。波形データWDは、測定された心電位の経時変化に対応している。波形データWDは、センサ30の仕様に応じてアナログデータの形態であってもよいし、デジタルデータの形態であってもよい。波形データWDがアナログデータの形態である場合、入力インターフェース111は、A/Dコンバータを含む適宜の変換回路を備える。
処理装置11は、プロセッサ112を備えている。プロセッサ112は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、CPU、MPU、GPUが例示されうる。汎用メモリとしては、ROMやRAMが例示されうる。この場合、ROMには、上述した処理を実行するコンピュータプログラムが記憶されうる。ROMは、コンピュータプログラムを記憶している非一時的なコンピュータ可読媒体の一例である。汎用マイクロプロセッサは、ROM上に記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上述した処理を実行する。当該コンピュータプログラムは、汎用メモリにプリインストールされてもよいし、通信ネットワークを介して外部サーバからダウンロードされてから汎用メモリにインストールされてもよい。この場合、外部サーバは、コンピュータプログラムを記憶している非一時的なコンピュータ可読媒体の一例である。
プロセッサ112は、マイクロコントローラ、ASIC、FPGAなどの上記のコンピュータプログラムを実行可能な専用集積回路によって実現されてもよい。この場合、当該専用集積回路に含まれる記憶素子に上記のコンピュータプログラムがプリインストールされる。当該記憶素子は、コンピュータプログラムを記憶しているコンピュータ可読媒体の一例である。プロセッサ112は、汎用マイクロプロセッサと専用集積回路の組合せによっても実現されうる。
上記のコンピュータプログラムが実行されることにより、プロセッサ112は、推論部112aとして動作しうる。推論部112aは、畳み込みニューラルネットワーク(CNN;Convolutional Neural Network)を用いて波形データWDから特徴量を抽出し、当該波形データWDが複数のクラスの各々に分類される確率を推論するように構成されている。CNNとしては、GoogleNet、ResNet、LeNet、AlexNet、VGGなどが例示されうる。
本例においては、「ノイズなし」クラスと「ノイズあり」クラスに波形データWDが分類される。「ノイズなし」クラスは、被検者20から取得された心電図の測定波形WFにノイズが重畳していないと判断される状態に対応している。「ノイズあり」クラスは、被検者20から取得された心電図の測定波形WFにノイズが重畳していると判断される状態に対応している。
CNNとしては、ノイズが重畳していることが判っている心電図の測定波形に対応する大量の波形データと、ノイズが重畳していないことが判っている心電図の測定波形に対応する大量の波形データとを教師データとして事前に学習を行なうことにより得られた学習済みモデルを用いる。具体的には、CNNから出力される推論結果と正解との差が小さくなるように特徴抽出層や分類層における重み値とバイアス値の少なくとも一方が調整される。
したがって、本例における特徴量とは、推論結果を得るに際して手掛かりとなる形状を有する測定波形WFの一部に対応している。
生体情報取得装置10は、出力部12を備えている。処理装置11は、出力インターフェース113を備えている。プロセッサ112は、推論部131による推論結果を出力部12に出力させる出力制御信号OCを、出力インターフェース113から出力するように構成されている。出力制御信号OCは、出力部12の仕様に応じてアナログ信号であってもよいし、デジタル信号であってもよい。出力制御信号OCがアナログ信号である場合、出力インターフェース113は、D/Aコンバータを含む適宜の変換回路を備える。
出力部12は、出力制御信号OCに基づいて推論部131による推論結果をユーザに通知するユーザインターフェースである。推論結果の出力は、視覚的通知、聴覚的通知、および触覚的通知の少なくとも一つを通じてなされる。出力部12は、出力装置の一例である。出力部12は、表示部121を含んでいる。推論結果の出力が視覚的通知を通じてなされる場合、表示部121が使用されうる。
図1に示される例においては、被検者20から取得された心電図の測定波形WFにノイズが重畳している確率が95.4%であると推論されており、測定波形WFにノイズが重畳していない確率が4.6%であると推論されている。
上記のコンピュータプログラムが実行されることにより、プロセッサ112は、重要度特定部112bとして動作しうる。重要度特定部112bは、勾配加重クラス活性化マッピング(Grad-CAM;Gradient-weighted Class Activation Mapping)を用いて、推論部112aにより抽出された特徴量の推論結果に対する重要度を特定する処理を行なうように構成されている。
重要度特定部112bは、推論部112aによる分類に用いられた複数のクラスの少なくとも一つについて、Grad-CAMを適用するように構成されている。すなわち、上記の例においては、「ノイズあり」クラスと「ノイズなし」クラスの少なくとも一方について、Grad-CAMが適用される。
図2は、「ノイズあり」クラスについてGrad-CAMが適用された場合を例示している。破線は、特定された重要度を表している。重要度は、0から1あるいは0%から100%の値をとる確率として示される。すなわち、本例においては、被検者20から取得された心電図の測定波形WFにノイズが重畳している確率が95.4%であるという上記の推論結果に対して、推論部112aにより抽出された各特徴量の重要度が特定される。
具体的には、推論部112aにより抽出された各特徴量について、当該特徴量に係る測定波形WFの一部に対応する波形データWDの値を同量だけ変更する処理が行なわれ、当該変更により生じる推論結果(確率値)の変化量が観測される。変更に伴いより大きな確率値の変化を引き起こした特徴量は、より大きな重要度を有すると判断される。
これにより、図2に例示される測定波形WFのどの部分が、ノイズが重畳している確率の推論結果に対してより高い重要度を有しているかが特定される。
プロセッサ112は、重要度特定部112bにより特定された重要度を示す色を測定波形WFとともに表示部121に表示させる表示制御信号DCを、出力インターフェース113から出力するように構成されている。表示制御信号DCは、表示部121の仕様に応じてアナログ信号であってもよいし、デジタル信号であってもよい。表示制御信号DCがアナログ信号である場合、出力インターフェース113は、D/Aコンバータを含む適宜の変換回路を備える。
図3に例示されるように、表示部121は、表示制御信号DCに基づいて、重要度特定部112bにより特定された重要度を示す色を測定波形WFに重ねて表示するように構成されうる。本例においては、「ノイズあり」の確率が95.4%であるとの推論結果に対して、より高い重要度により濃い色が割り当てられている。「濃い色」は、特定の色の明度や彩度を変更することにより実現されてもよいし、より濃い色と認識されうる色相を有する別の色を用いることにより実現されてもよい。色は、指標の一例である。
なお、重要度は複数の数値範囲に区分されうる。この場合、複数の数値範囲を相互に区別可能とするために、各数値範囲に異なる色と模様の少なくとも一方が割り当てられうる。模様もまた、指標の一例である。
被検者の生体情報に対してなされる判断に深層学習済みモデルを利用する試みがなされている。他方、深層学習済みモデルを用いた場合、推論結果の明確な根拠を求めることが原理的に困難である。医療分野においては判断の根拠が曖昧であることが忌避される傾向にある。
本実施形態に係る構成によれば、生体情報に対してなされる判断に深層学習技術である畳み込みニューラルネットワークを利用しつつも、測定波形WFのどの部分が当該判断に寄与したのか示す指標を通じて推論の根拠となりうる情報をユーザに視覚的に提示することにより、判断結果の解釈あるいは検証を当該ユーザに委ねることができる。例えば図3に示される例の場合、ユーザは、濃い色が表示されている箇所に対応する測定波形WFの一部を重点的に確認することにより、推論部112aによる推論結果が妥当であるかを検証できる。したがって、深層学習技術を用いてなされる生体情報の処理結果の解釈性を高めることができる。
図4から図7を参照しつつ、生体情報取得装置10において実行されうる処理の別例について説明する。
図4は、ノイズが重畳した心電図の測定波形を例示している。測定波形N1は、基線動揺に由来するノイズが重畳した測定波形の一例である。測定波形N2は、筋電ノイズが重畳した測定波形の一例である。測定波形N3は、電極の劣化や位置ずれなどに起因するノイズが重畳した測定波形の一例である。
本例に係る推論部112aは、被検者20から取得された心電図の測定波形WFに対応する波形データWDから特徴量を抽出し、当該波形データWDが「ノイズなし」クラス、「基線動揺ノイズ」クラス、「筋電ノイズ」クラス、および「電極ノイズ」クラスの各々に分類される確率を推論する。「基線動揺ノイズ」クラスは、被検者20から取得された心電図の測定波形WFに基線動揺に由来するノイズが重畳していると判断される状態に対応している。「筋電ノイズ」クラスは、被検者20から取得された心電図の測定波形WFに筋電ノイズが重畳していると判断される状態に対応している。「電極ノイズ」クラスは、被検者20から取得された心電図の測定波形WFに電極に由来するノイズが重畳していると判断される状態に対応している。
図5に示される例においては、被検者20から取得された心電図の測定波形WFにノイズが重畳していない確率が4.6%であると推論されている。被検者20から取得された心電図の測定波形WFに基線動揺に由来するノイズが重畳している確率は、0.1%であると推論されている。被検者20から取得された心電図の測定波形WFに筋電ノイズが重畳している確率は、92.1%であると推論されている。被検者20から取得された心電図の測定波形WFに電極に由来するノイズが重畳している確率は、3.2%であると推論されている。すなわち、推論部112aは、被検者20から取得された心電図の測定波形WFにはノイズが重畳しており、当該ノイズは概ね筋電ノイズであると推論している。
本例に係る重要度特定部112bは、「基線動揺ノイズ」クラス、「筋電ノイズ」クラス、および「電極ノイズ」クラスの各々に係る推論結果にGrad-CAMを適用し、推論部112aにより抽出された波形データWDの特徴量の各クラスに係る推論結果に対する重要度を特定する。
結果として、図6に例示されるように、測定波形WFが「基線動揺ノイズ」クラスに分類される確率に対する特徴量の重要度を示す指標I1、測定波形WFが「筋電ノイズ」クラスに分類される確率に対する特徴量の重要度を示す指標I2、および測定波形WFが「電極ノイズ」クラスに分類される確率に対する特徴量の重要度を示す指標I3が、測定波形WFとともに表示部121に表示される。
指標I1、指標I2、および指標I3の各々は、特定された重要度に対応する色を含んでいる。図3に示された例と同様に、より高い重要度により濃い色が割り当てられている。但し、色の濃さは、各クラス内における相対的な重要度の高低に基づいて定められており、全てのクラスを通じての絶対的な重要度の高低を示しているのではない。
「基線動揺ノイズ」クラス、「筋電ノイズ」クラス、および「電極ノイズ」クラスの一つは、第一クラスの一例になりうる。この場合、「基線動揺ノイズ」クラス、「筋電ノイズ」クラス、および「電極ノイズ」クラスの別の一つは、第二クラスの一例になりうる。
ここで、推論部112aにより推論された波形データWDが第一クラスに分類される確率は、第一推論結果の一例である。重要度特定部112bにより特定された特徴量の第一推論結果に対する重要度は、第一重要度の一例である。第一重要度を示す指標は、第一指標の一例である。
同様に、推論部112aにより推論された波形データWDが第二クラスに分類される確率は、第二推論結果の一例である。重要度特定部112bにより特定された特徴量の第二推論結果に対する重要度は、第二重要度の一例である。第二重要度を示す指標は、第二指標の一例である。
本例に係る構成によれば、推論部112aによる分類に供された複数のクラスについて推論結果に対する特徴量の重要度を示す指標が提供される。したがって、ユーザは、複数のノイズ原因候補について推論部112aによる推論結果が妥当であるかを検証できる。例えば、筋電ノイズが重畳している確率が最も高いとの判断に測定波形WFのどの部分が寄与したのかを確認できるだけでなく、電極ノイズが重畳している可能性があるとの判断に測定波形WFのどの部分が寄与したのかを確認できる。これにより、深層学習技術を用いてなされる判断に対するより多角的な解釈や検証が可能とされうる。
本例においては、指標I1、指標I2、および指標I3が、測定波形WFと重ならないように表示部121に表示されている。
このような構成によれば、複数の指標が表示部121に表示されることによって測定波形WFの視認性が低下することを抑制できる。単一のクラスについて指標が提供されている図3の例においても、本例に係る表示手法が適用可能である。
他方、図7に例示されるように、分類されるクラスごとに異なる色を割り当てた複数の指標を、測定波形WFと重なるように表示してもよい。例えば、「基線動揺ノイズ」クラスに係る推論結果に対する特徴量の重要度を示すために第一の色を有する指標が割り当てられる。「筋電ノイズ」クラスに係る推論結果に対する特徴量の重要度を示すために、第二の色を有する指標が割り当てられる。「電極ノイズ」クラスに係る推論結果に対する特徴量の重要度を示すために、第三の色を有する指標が割り当てられる。本明細書で用いられる「異なる色」という表現は、色相、明度、および彩度の少なくとも一つが異なる色を意味する。
なお、分類される複数のクラスを相互に区別可能であれば、クラスごとに異なる模様が割り当てられてもよい。
この場合、複数種の指標が重畳表示されることによる測定波形WFの視認性の低下を抑制するため、閾値を上回る重要度を有する特徴量に対応する領域についてのみ指標が表示されることが好ましい。
上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。
上記の実施形態においては、表示部121に表示される指標は、重要度特定部112bにより特定された重要度に応じて変化する色を含んでいる。しかしながら、重要度の説明のために図2において使用したグラフ表示もまた、指標として採用されうる。この場合、当該指標は、測定波形WFと重なるように表示されてもよいし、重ならないように表示されてもよい。
なお、測定波形WFの一部が、重要度特定部112bにより特定された重要度に応じて異なる態様で表示されてもよい。例えば、重要度が高いと判断された測定波形WFの一部の色や線種が変更されたり、点滅するなどの強調表示がなされたりしうる。このような表示態様もまた、指標の一例である。
生体情報取得装置10により取得される被検者20の生体情報は、心電図に限られない。脈波、脳波、観血血圧、呼吸などの測定波形についても、ノイズ重畳の有無や重畳しているノイズの種別が推論されうる。図8は、脈波の測定波形WFから抽出された特徴量に基づいて当該測定波形WFにノイズが重畳していると推論された場合において、当該推論結果に対する特徴量の重要度を示す指標が表示部121に表示された例を示している。
具体的には、重要度に対応する色が、指標として測定波形WFに重なるように表示されている。図3の例と同様に、より高い重要度により濃い色が割り当てられている。
推論部112aによる推論の対象は、ノイズ重畳の有無に限られない。例えば、取得される生体情報と、当該生体情報に関連付けられる症状の有無が推論の対象とされうる。症状の有無は、複数のクラスの一例である。生体情報と症状の組合せの例としては、心電図と心房細動、脈波と不整脈、脳波とてんかん発作、観血血圧と高血圧、呼吸と無呼吸症候群などが挙げられる。
上記の実施形態においては、推論部112aと重要度特定部112bは、同一のプロセッサ112により実現される機能モジュールとして説明されている。しかしながら、推論部112aの機能を実現するプロセッサと、重要度特定部112bの機能を実現するプロセッサは、異なっていてもよい。
上記の実施形態においては、測定波形WFとともに推論結果と指標の出力を行なう出力部12が生体情報取得装置10に搭載されている。しかしながら、出力部12の機能は、通信ネットワークを介して生体情報取得装置10とデータ通信が可能である独立した出力装置において実現されうる。この場合、処理装置11のプロセッサ112は、推論結果の通知と測定波形WFおよび指標の表示を当該出力装置に行なわせる出力制御信号OCおよび表示制御信号DCを、出力インターフェース113から送信する。
上記の実施形態においては、処理装置11が生体情報取得装置10に搭載されている。しかしながら、処理装置11の機能の少なくとも一部は、通信ネットワークを介して生体情報取得装置10とデータ通信が可能であるクラウドサーバ装置に搭載されたプロセッサにより実現されてもよい。この場合、波形データWDがセンサ30または生体情報取得装置10からクラウドサーバ装置へ送信され、当該プロセッサにより推論処理と重要度特定処理が実行されうる。当該プロセッサは、推論結果の通知と測定波形WFおよび指標の表示を生体情報取得装置10に行なわせる出力制御信号OCおよび表示制御信号DCを、クラウドサーバ装置から生体情報取得装置10へ送信する。生体情報取得装置10は、受信した出力制御信号OCおよび表示制御信号DCに基づく動作を実行する。クラウドサーバ装置から送信される出力制御信号OCおよび表示制御信号DCに基づく動作を実行する装置は、生体情報取得装置10とは独立した出力装置であってもよい。
10:生体情報取得装置、11:処理装置、111:入力インターフェース、112:プロセッサ、112a:推論部、112b:重要度特定部、12:出力部、121:表示部、20:被検者、I1~I3:指標、WD:波形データ、WF:測定波形
Claims (7)
- 被検者の生体情報を取得する生体情報取得装置であって、
センサから前記生体情報の測定波形に対応する波形データを受け付ける入力インターフェースと、
畳み込みニューラルネットワークを用いて前記波形データから特徴量を抽出するとともに当該波形データが複数のクラスの各々に分類される確率を推論する推論部と、
前記複数のクラスの少なくとも一つについて前記確率の推論結果に対する前記特徴量の重要度を特定する重要度特定部と、
前記測定波形とともに前記重要度を示す指標を出力する出力部と、
を備えている、
生体情報取得装置。 - 前記指標は、前記重要度に対応する色である、
請求項1に記載の生体情報取得装置。 - 前記指標は、前記測定波形と重なるように表示される、
請求項1または2に記載の生体情報取得装置。 - 前記出力部は、前記複数のクラスに含まれる第一クラスについての前記確率の推論結果である第一推論結果と、前記複数のクラスに含まれる第二クラスについての前記確率の推論結果である第二推論結果を出力し、
前記重要度特定部は、前記第一推論結果に対する前記特徴量の重要度である第一重要度と、前記第二推論結果に対する前記特徴量の重要度である第二重要度を特定し、
前記指標は、前記第一重要度を示す第一指標と、前記第二重要度を示し当該第一指標と異なる第二指標を含んでいる、
請求項1から3のいずれか一項に記載の生体情報取得装置。 - 前記出力部は、前記複数のクラスに含まれる第一クラスについての前記確率の推論結果である第一推論結果と、前記複数のクラスに含まれる第二クラスについての前記確率の推論結果である第二推論結果を出力し、
前記重要度特定部は、前記第一推論結果に対する前記特徴量の重要度である第一重要度と、前記第二推論結果に対する前記特徴量の重要度である第二重要度を特定し、
前記指標は、前記第一重要度を示す第一指標と前記第二重要度を示す第二指標を含んでおり、
前記第一指標と前記第二指標は、前記測定波形と重ならないように表示される、
請求項1または2に記載の生体情報取得装置。 - 被検者の生体情報を処理する処理装置であって、
センサから前記生体情報の測定波形に対応する波形データを受け付ける入力インターフェースと、
畳み込みニューラルネットワークを用いて前記波形データから特徴量を抽出して当該波形データが複数のクラスの各々に分類される確率を推論し、前記複数のクラスの少なくとも一つについて前記確率の推論結果に対する前記特徴量の重要度を特定し、かつ前記推論結果および前記重要度を示す指標を前記測定波形とともに出力装置に出力させるプロセッサと、
を備えている、
制御装置。 - 被検者の生体情報を処理する処理装置のプロセッサにより実行可能なコンピュータプログラムであって、
実行されることにより、前記処理装置は、
センサから前記生体情報の測定波形に対応する波形データを受け付け、
畳み込みニューラルネットワークを用いて前記波形データから特徴量を抽出して当該波形データが複数のクラスの各々に分類される確率を推論し、
前記複数のクラスの少なくとも一つについて前記確率の推論結果に対する前記特徴量の重要度を特定し、
前記測定波形とともに前記推論結果および前記重要度を示す指標を出力装置に出力させる、
コンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021068291A JP2022163395A (ja) | 2021-04-14 | 2021-04-14 | 生体情報取得装置、処理装置、およびコンピュータプログラム |
EP22164354.7A EP4115810A1 (en) | 2021-04-14 | 2022-03-25 | Physiological information acquisition device, processing device, and computer program |
US17/712,514 US20220336105A1 (en) | 2021-04-14 | 2022-04-04 | Physiological information acquisition device, processing device, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021068291A JP2022163395A (ja) | 2021-04-14 | 2021-04-14 | 生体情報取得装置、処理装置、およびコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022163395A true JP2022163395A (ja) | 2022-10-26 |
Family
ID=81326240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021068291A Pending JP2022163395A (ja) | 2021-04-14 | 2021-04-14 | 生体情報取得装置、処理装置、およびコンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220336105A1 (ja) |
EP (1) | EP4115810A1 (ja) |
JP (1) | JP2022163395A (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009100934A (ja) | 2007-10-23 | 2009-05-14 | Mitsuba Corp | 脈派測定装置 |
GB2582124A (en) * | 2018-09-07 | 2020-09-16 | Transf Ai Ltd | Analysis of cardiac data |
AU2020245769A1 (en) * | 2019-03-28 | 2021-10-14 | Sunrise Sa | System comprising a sensing unit and a device for processing data relating to disturbances that may occur during the sleep of a subject |
US20220346856A1 (en) * | 2019-05-06 | 2022-11-03 | Skolkovo Institute Of Science And Technology | Artificial intelligence trained with optical mapping to improve detection of cardiac arrhythmia sources |
-
2021
- 2021-04-14 JP JP2021068291A patent/JP2022163395A/ja active Pending
-
2022
- 2022-03-25 EP EP22164354.7A patent/EP4115810A1/en active Pending
- 2022-04-04 US US17/712,514 patent/US20220336105A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220336105A1 (en) | 2022-10-20 |
EP4115810A1 (en) | 2023-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11272887B2 (en) | Electroanatomical mapping tools facilitated by activation waveforms | |
KR102141617B1 (ko) | 인공 신경망을 이용하여 부정맥을 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
US20170105662A1 (en) | Emotion estimating method, emotion estimating apparatus, and recording medium storing program | |
JP4828538B2 (ja) | 医療監視方法 | |
US10890972B2 (en) | Prefrontal-based cognitive brain-machine interfacing apparatus and method thereof | |
TW201806370A (zh) | 提供即時訊號分段和基準點對準架構的系統與方法 | |
US20160106327A1 (en) | Apparatus and method for acquiring bio-information | |
Fadzil et al. | Analysis of foveal avascular zone in colour fundus images for grading of diabetic retinopathy severity | |
KR102031958B1 (ko) | 전전두엽 기반 인지적 뇌-기계 인터페이스 장치 및 방법 | |
Valenza et al. | Autonomic nervous system dynamics for mood and emotional-state recognition: Significant advances in data acquisition, signal processing and classification | |
Alvarado-González et al. | P300 detection based on EEG shape features | |
JP2019025311A (ja) | データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム | |
KR102517366B1 (ko) | 비접촉식 생체센서 기반의 행동 추천 시스템 및 그 방법 | |
JP2022163395A (ja) | 生体情報取得装置、処理装置、およびコンピュータプログラム | |
JP2016030096A (ja) | 生体電気ノイズ同定システム及び生体電気ノイズ除去システム | |
US10588577B2 (en) | Patient signal analysis based on affine template matching | |
US11317845B2 (en) | Physiological information waveform processing method, program, computer readable storage medium, and physiological information waveform processing apparatus | |
JP6201520B2 (ja) | 生理指標を用いる視線分析システムおよび方法 | |
US20220225928A1 (en) | Detection of paralysis, weakness and/or numbness in a part of a body of a subject | |
KR20150026083A (ko) | 뇌파 영상 분석 장치 | |
JP7058383B2 (ja) | 情動判定装置、情動判定方法、及びプログラム | |
US20210275048A1 (en) | Biometric information processing apparatus and biometric information processing method | |
JP7458170B2 (ja) | 学習装置、学習方法、および測定装置 | |
KR101665946B1 (ko) | 뇌파를 이용한 의사표현 장치 | |
De Palma et al. | ECG wave segmentation algorithm for complete P-QRS-T detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240130 |