JP2023017923A - Biological information acquisition method, biological information acquisition model learning method, device, and program - Google Patents
Biological information acquisition method, biological information acquisition model learning method, device, and program Download PDFInfo
- Publication number
- JP2023017923A JP2023017923A JP2022177523A JP2022177523A JP2023017923A JP 2023017923 A JP2023017923 A JP 2023017923A JP 2022177523 A JP2022177523 A JP 2022177523A JP 2022177523 A JP2022177523 A JP 2022177523A JP 2023017923 A JP2023017923 A JP 2023017923A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- information
- subject
- learning data
- biological information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000005259 measurement Methods 0.000 claims abstract description 71
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000013500 data storage Methods 0.000 description 7
- 229920000642 polymer Polymers 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 229920000747 poly(lactic acid) Polymers 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000004020 conductor Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 239000004626 polylactic acid Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920001184 polypeptide Polymers 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Abstract
Description
本開示は、生体情報取得方法、生体情報取得モデル学習方法、装置、及びプログラムに関する。 The present disclosure relates to a biometric information acquisition method, a biometric information acquisition model learning method, an apparatus, and a program.
近年、ヘリカルキラル高分子を含む圧電体を、センサー、アクチュエータ等の圧電デバイスへ応用をすることが検討されている。このような圧電デバイスには、フィルム形状の圧電体が用いられている。 In recent years, the application of piezoelectric materials containing helical chiral polymers to piezoelectric devices such as sensors and actuators has been studied. Film-shaped piezoelectric bodies are used in such piezoelectric devices.
上記圧電体におけるヘリカルキラル高分子として、ポリペプチド、ポリ乳酸系高分子等の光学活性を有する高分子を用いることが着目されている。中でも、ポリ乳酸系高分子は、機械的な延伸操作のみで圧電性を発現することが知られている。ポリ乳酸系高分子を用いた圧電体においては、ポーリング処理が不要であり、また、圧電性が数年にわたり減少しないことが知られている。 As the helical chiral polymer in the piezoelectric material, the use of optically active polymers such as polypeptides and polylactic acid polymers is drawing attention. Among them, polylactic acid-based polymers are known to exhibit piezoelectricity only by a mechanical stretching operation. It is known that a piezoelectric body using a polylactic acid-based polymer does not require poling treatment, and its piezoelectricity does not decrease over several years.
例えば、ポリ乳酸系高分子を含む圧電体として、圧電定数d14が大きく、透明性に優れる圧電体が報告されている(例えば、特許文献1及び2参照)。
For example, as a piezoelectric body containing a polylactic acid-based polymer, a piezoelectric body having a large piezoelectric constant d14 and excellent transparency has been reported (see
また、最近、圧電性を有する材料を、導体に被覆して利用する試みもなされている。例えば、中心から外側に向って順に同軸状に配置された中心導体、圧電材料層、外側導体及び外被から構成される、ピエゾケーブルが知られている(例えば、特許文献3参照)。 Also, recently, attempts have been made to use a conductor coated with a material having piezoelectricity. For example, a piezo cable is known, which is composed of a center conductor, a piezoelectric material layer, an outer conductor and an outer jacket, which are coaxially arranged in order from the center toward the outside (see, for example, Patent Document 3).
また、圧電性高分子からなる繊維を導電性繊維に被覆してなる圧電単位が知られている(例えば、特許文献4参照)。 Also, a piezoelectric unit is known in which a conductive fiber is covered with a fiber made of a piezoelectric polymer (see, for example, Patent Document 4).
ところで、例えば、上記特許文献1~4に記載されているような圧電材料を用いて製造された圧電素子を被験者に取り付け、その圧電素子から得られる計測情報から被験者の生体情報を取得しようとする場合には、計測情報に対して適切な変換処理を施す必要がある。
By the way, for example, a piezoelectric element manufactured using a piezoelectric material as described in
しかし、被験者に取り付けられた圧電素子から得られる計測情報に対してどのような変換処理を施せば被験者の生体情報を取得できるのかが分からない、という課題がある。 However, there is a problem that it is not known what kind of conversion processing should be performed on the measurement information obtained from the piezoelectric element attached to the subject to acquire the biological information of the subject.
本開示の課題は、被験者から得られる計測情報から生体情報を取得することができる生体情報取得方法、生体情報取得モデル学習方法、装置、及びプログラムを提供することである。 An object of the present disclosure is to provide a biological information acquisition method, a biological information acquisition model learning method, an apparatus, and a program capable of acquiring biological information from measurement information obtained from a subject.
本開示の生体情報取得方法は、被験者から得られる計測情報を取得するステップと、取得された前記計測情報を、前記計測情報から前記被験者の状態を表す生体情報を取得するための予め学習された学習済みモデルへ入力して、前記被験者の前記生体情報を取得するステップと、を含む処理をコンピュータが実行する生体情報取得方法である。 A biological information acquisition method of the present disclosure includes a step of acquiring measurement information obtained from a subject; and obtaining the biometric information of the subject by inputting it to a learned model.
また、本開示の生体情報取得方法の前記学習済みモデルは、学習用の前記計測情報と学習用の前記生体情報との組み合わせを表す学習用データに基づき予め学習されたニューラルネットワークとすることができる。 Further, the trained model of the biological information acquisition method of the present disclosure may be a neural network trained in advance based on learning data representing a combination of the measurement information for learning and the biological information for learning. .
また、本開示の生体情報取得方法の前記計測情報は、前記被験者に接触している圧電素子から得られる電圧値を表す圧電情報であり、前記生体情報は、前記被験者の心拍の状態を表す心拍情報であるようにすることができる。 Further, the measurement information in the biological information acquisition method of the present disclosure is piezoelectric information representing a voltage value obtained from a piezoelectric element in contact with the subject, and the biological information is a heartbeat representing a heartbeat state of the subject. can be informational.
前記圧電素子は、前記被験者が着座する椅子に設置される圧電素子であるようにすることができる。 The piezoelectric element may be a piezoelectric element installed in a chair on which the subject sits.
本開示の生体情報取得モデル学習方法は、学習用の被験者の計測情報と学習用の被験者の状態を表す生体情報との組み合わせを表す学習用データを取得するステップと、取得された前記学習用データに基づいて、前記計測情報から前記生体情報を取得するための学習済みモデルを取得するステップと、を含む処理をコンピュータが実行する生体情報取得モデル学習方法である。 The biological information acquisition model learning method of the present disclosure includes a step of acquiring learning data representing a combination of measurement information of a subject for learning and biological information representing the state of the subject for learning; a step of acquiring a trained model for acquiring the biological information from the measurement information, based on the method, wherein a computer executes a process including:
本開示の生体情報取得モデル学習方法は、学習用の被験者の計測情報のうちのドリフト領域を補正し、補正された前記計測情報を前記生体情報とし、学習用の前記計測情報と学習用の前記生体情報との組み合わせを前記学習用データとして生成するステップを更に含むようにすることができる。 The biological information acquisition model learning method of the present disclosure corrects the drift region of the measurement information of the subject for learning, uses the corrected measurement information as the biological information, and uses the measurement information for learning and the measurement information for learning. A step of generating a combination with biometric information as the learning data may be further included.
本開示の生体情報取得モデル学習方法は、学習用の被験者の計測情報のうちの未計測の領域を除外し、前記未計測の領域が除外された前記計測情報を前記生体情報とし、学習用の前記計測情報と学習用の前記生体情報との組み合わせを前記学習用データとして生成するステップを更に含むようにすることができる。 The biological information acquisition model learning method of the present disclosure excludes an unmeasured area from the measurement information of the subject for learning, uses the measurement information with the unmeasured area excluded as the biological information, and uses the measurement information for learning The method may further include a step of generating a combination of the measurement information and the biometric information for learning as the learning data.
本開示の生体情報取得装置は、被験者の計測情報を取得する計測情報取得部と、前記計測情報取得部によって取得された前記計測情報を、前記計測情報から前記被験者の状態を表す生体情報を取得するための予め学習された学習済みモデルへ入力して、前記被験者の前記生体情報を取得する生体情報取得部と、を含む生体情報取得装置である。 The biological information acquisition device of the present disclosure includes a measurement information acquisition unit that acquires measurement information of a subject, and acquires biological information representing the state of the subject from the measurement information acquired by the measurement information acquisition unit. and a biometric information acquisition unit that acquires the biometric information of the subject by inputting it to a learned model that has been learned in advance to acquire the biometric information.
本開示の生体情報取得モデル学習装置は、学習用の被験者の計測情報と学習用の被験者の状態を表す生体情報との組み合わせを表す学習用データを取得する学習用データ取得部と、前記学習用データ取得部によって取得された前記学習用データに基づいて、前記計測情報から前記生体情報を取得するための学習済みモデルを取得する学習部と、を含む生体情報取得モデル学習装置である。 The biological information acquisition model learning device of the present disclosure includes a learning data acquisition unit that acquires learning data representing a combination of measurement information of a subject for learning and biological information representing the state of the subject for learning; a learning unit that acquires a trained model for acquiring the biological information from the measurement information based on the learning data acquired by the data acquisition unit.
本開示の第1のプログラムは、コンピュータを、被験者の計測情報を取得する計測情報取得部、及び前記計測情報取得部によって取得された前記計測情報を、前記計測情報から前記被験者の状態を表す生体情報を取得するための予め学習された学習済みモデルへ入力して、前記被験者の前記生体情報を取得する生体情報取得部として機能させるためのプログラムである。 A first program of the present disclosure comprises: a computer, a measurement information acquisition unit that acquires measurement information of a subject; It is a program for functioning as a biometric information acquiring unit that acquires the biometric information of the subject by inputting to a pre-learned model for acquiring information.
本開示の第2のプログラムは、コンピュータを、学習用の被験者の計測情報と学習用の被験者の状態を表す生体情報との組み合わせを表す学習用データを取得する学習用データ取得部、及び前記学習用データ取得部によって取得された前記学習用データに基づいて、前記計測情報から前記生体情報を取得するための学習済みモデルを取得する学習部として機能させるためのプログラムである。 A second program of the present disclosure comprises a computer, a learning data acquisition unit for acquiring learning data representing a combination of measurement information of a subject for learning and biological information representing the state of the subject for learning, and the learning It is a program for functioning as a learning unit that acquires a trained model for acquiring the biological information from the measurement information based on the learning data acquired by the data acquisition unit.
本開示の生体情報取得方法、生体情報取得モデル学習方法、装置、及びプログラムによれば、被験者から得られる計測情報から生体情報を取得することができる、という効果を得られる。 According to the biological information acquisition method, the biological information acquisition model learning method, the device, and the program of the present disclosure, it is possible to acquire the biological information from the measurement information obtained from the subject.
以下、本実施形態について詳細に説明する。 The present embodiment will be described in detail below.
<本実施形態に係る生体情報取得装置のシステム構成> <System Configuration of Biological Information Acquisition Apparatus According to the Present Embodiment>
図1は、本実施形態の生体情報取得装置10の構成の一例を示す概略図である。図1に示す構成の生体情報取得装置10は、CPUと、RAMと、後述する各処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。
FIG. 1 is a schematic diagram showing an example of the configuration of a biological
例えば、生体情報取得装置10は、図2に示すコンピュータ50で実現することができる。コンピュータ50はCPU51、一時記憶領域としてのメモリ52、及び不揮発性の記憶部53を備える。また、コンピュータ50は、入出力装置等(図示省略)が接続される入出力interface(I/F)54、及び記録媒体に対するデータの読み込み及び書き込みを制御するread/write(R/W)部55を備える。また、コンピュータ50は、インターネット等のネットワークに接続されるネットワークI/F56を備える。CPU51、メモリ52、記憶部53、入出力I/F54、R/W部55、及びネットワークI/F56は、バス57を介して互いに接続される。
For example, the biometric
記憶部53は、Hard Disk Drive(HDD)、solid state drive(SSD)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部53には、コンピュータ50を機能させるためのプログラムが記憶されている。CPU51は、プログラムを記憶部53から読み出してメモリ52に展開し、プログラムが有するプロセスを順次実行する。
The
この生体情報取得装置10は、機能的には、図1に示されるように、入力部12と、演算部14と、出力部16とを備えている。
This biometric
本実施形態の生体情報取得装置10は、被験者から得られる計測情報を被験者の生体情報へ変換する。図3に、本実施形態の計測情報を説明するための説明図を示す。図3に示されるように、椅子Cには圧電素子Sが設置されている。この圧電素子Sは、椅子Cに着座した被験者Uの太ももの裏側部分に位置する。
The biological
本実施形態の生体情報取得装置10は、被験者Uに接触している圧電素子Sから得られる電圧を表す圧電情報を計測情報として用いる。そして、生体情報取得装置10は、圧電素子Sから得られる圧電情報を、被験者Uの心拍の状態を表す心拍情報へ変換する。心拍情報は、被験者の状態を表す生体情報の一例である。
The biological
入力部12は、被験者から得られる計測情報としての圧電情報を受け付ける。また、入力部12は、学習用の圧電情報と学習用の心拍情報との組み合わせを受け付ける。
The
学習用の圧電情報と学習用の心拍情報との組み合わせは、被験者から予め取得されたデータである。また、学習用の圧電情報と学習用の心拍情報との組み合わせにおける、学習用の圧電情報と学習用の心拍情報とは、計測された時刻が対応している。 A combination of learning piezoelectric information and learning heartbeat information is data obtained in advance from a subject. Further, in the combination of the piezoelectric information for learning and the heartbeat information for learning, the piezoelectric information for learning and the heartbeat information for learning correspond to the measured times.
例えば、被験者が着座する椅子に設置された圧電素子から得られる学習用の圧電情報と、その被験者の胸部に設置された心電計から得られる心拍情報とが一組のデータとして予め取得される。これらのデータに基づき、後述する処理によって学習用データが生成される。 For example, learning piezoelectric information obtained from a piezoelectric element installed on a chair on which a subject sits and heartbeat information obtained from an electrocardiograph installed on the subject's chest are acquired in advance as a set of data. . Based on these data, learning data is generated by the process described later.
演算部14は、入力部12により受け付けられた、学習用の圧電情報と学習用の心拍情報との組み合わせに基づいて、圧電情報から心拍情報を取得するための学習済みモデルを生成する。また、演算部14は、入力部12により受け付けられた圧電情報を心拍情報へ変換する。図1に示されるように、演算部14は、学習用データ生成部17と、学習用データ記憶部18と、学習用データ取得部20と、学習部22と、学習済みモデル記憶部24と、計測情報取得部25と、生体情報取得部26とを備える。
Based on the combination of learning piezoelectric information and learning heartbeat information received by the
学習用データ生成部17は、入力部12により受け付けられた、学習用の圧電情報と学習用の心拍情報との組み合わせの各々を取得する。そして、学習用データ生成部17は、学習用の心拍情報を加工して、学習用データを生成する。
The learning
図4に、学習用データを説明するための説明図を示す。図4に示されるグラフD1の横軸は時刻を表し、縦軸は電圧値を表している。図4に示される実線(ECG)は、学習用の心拍情報である。また、図4に示される破線(ECG_fir)は、学習用の心拍情報を加工することにより得られたデータである。 FIG. 4 shows an explanatory diagram for explaining the learning data. The horizontal axis of graph D1 shown in FIG. 4 represents time, and the vertical axis represents voltage value. A solid line (ECG) shown in FIG. 4 is heartbeat information for learning. A dashed line (ECG_fir) shown in FIG. 4 is data obtained by processing heartbeat information for learning.
図4に示される実線(ECG)の学習用の心拍情報の時系列データは、全体が波打っており、ドリフト成分を含んでいる。このドリフト成分は、例えば、学習用の心拍情報を計測している際に、被験者が動くことにより発生する。 The time-series data of heart rate information for learning indicated by the solid line (ECG) shown in FIG. 4 is entirely wavy and contains a drift component. This drift component is generated, for example, by the subject's movement while measuring heartbeat information for learning.
そこで、学習用データ生成部17は、ドリフト成分を含む学習用の心拍情報に対して、既存のハイパスフィルタを適用することにより、学習用の心拍情報を加工する。なお、学習用の心拍情報にドリフト成分が含まれているか否かは、学習用の心拍情報の波高値に応じて判定される。例えば、学習用データ生成部17は、学習用の心拍情報の波高値が予め定められた閾値以上である場合には、その学習用の心拍情報にドリフト成分が含まれていると判定する。本実施形態では、ハイパスフィルタとしてFIR(Finite Impulse Response)フィルタを用いる。
Therefore, the learning
学習用データ生成部17によるハイパスフィルタの適用により、図4に示される実線(ECG)の学習用の心拍情報は、破線(ECG_fir)のような時系列データとなる。なお、図4に示される破線(ECG_fir)の時系列データは、FIRフィルタのパラメータであるタップ数を127タップ、カットオフ周波数を1.5Hzと設定した場合に得られたデータである。なお、タップ数は、フィルタリングが行われる際にどの程度の遅延まで計算するかを表すパラメータである。
By applying the high-pass filter by the learning
このため、本実施形態の学習用データ生成部17は、学習用の圧電情報と、ドリフト成分が補正された処理済みの学習用の心拍情報との組み合わせを学習用データとして生成する。
For this reason, the learning
図5に、学習用データを説明するための他の説明図を示す。図4のグラフD1と同様に、図5に示されるグラフD2の横軸は時刻を表し、縦軸は電圧値を表している。 FIG. 5 shows another explanatory diagram for explaining the learning data. Similar to the graph D1 in FIG. 4, the horizontal axis of the graph D2 shown in FIG. 5 represents the time, and the vertical axis represents the voltage value.
図5のD2に示されるように、学習用の心拍情報には未計測の領域(図中の楕円によって囲まれた箇所)が含まれる場合がある。そのため、学習用データ生成部17は、学習用の心拍情報のうちの未計測の領域を除外する。なお、学習用の心拍情報の未計測の領域の有無は、学習用の心拍情報の波高値に応じて判定される。例えば、学習用データ生成部17は、学習用の心拍情報の波高値が予め定められた範囲(例えば、-4から+4)の値未満である時間が所定時間以上継続した場合には、その箇所に未計測の領域が含まれていると判定する。そして、学習用データ生成部17は、学習用の圧電情報と、未計測の領域が除外された処理済みの学習用の心拍情報との組み合わせを学習用データとして生成する。
As indicated by D2 in FIG. 5, the heartbeat information for learning may include an unmeasured region (a portion surrounded by an ellipse in the drawing). Therefore, the learning
なお、学習用データ生成部17は、ドリフト成分が含まれていない学習用の心拍情報及び未計測の領域が含まれていない学習用の心拍情報については、学習用の圧電情報と学習用の心拍情報との組み合わせを、そのまま学習用データとして生成する。
Note that the learning
そして、学習用データ生成部17は、学習用データの各々を学習用データ記憶部18へ格納する。これらの学習用データは、後述するニューラルネットワークの学習に用いられる。このように、学習用の心拍情報に含まれるドリフト成分の補正し、かつ学習用の心拍情報に含まれる未計測の領域を除外することにより、精度の良い学習済みモデルを得ることができる。
Then, the learning
学習用データ記憶部18には、学習用データ生成部17により生成された学習用データの各々が格納される。本実施形態の学習用データは、学習用の被験者の圧電情報と学習用の被験者の心拍情報との組み合わせを表すデータである。
Each of the learning data generated by the learning
学習用データ取得部20は、学習用データ記憶部18に格納された学習用データ各々を取得する。
The learning
学習部22は、学習用データ取得部20によって取得された学習用データに基づいて、計測情報から生体情報を取得するためのモデルの一例であるニューラルネットワークを学習させる。なお、学習アルゴリズムとしては、周知のディープラーニング等を用いてもよい。そして、学習部22は、学習済みモデルの一例としての学習済みニューラルネットワークを取得する。
The
図6に、本実施形態の学習済みニューラルネットワークを説明するための説明図を示す。図6に示されるように、本実施形態では、ニューラルネットワークの一種であるCNN(Convolutional Neural Network)を利用したU-Net(例えば、参考文献(Olaf Ronneberger, Philipp Fischer, and Thomas Brox, "U-Net: Convolutional Networks for Biomedical Image Segmentation")を参照)を用いる。なお、図6に示されるチャネルはU-Netのパラメータであり、本実施形態では図6に示されるような値に設定される。 FIG. 6 shows an explanatory diagram for explaining the trained neural network of this embodiment. As shown in FIG. 6, in the present embodiment, a U-Net (for example, a reference (Olaf Ronneberger, Philipp Fischer, and Thomas Brox, "U- Net: Convolutional Networks for Biomedical Image Segmentation")). Note that the channels shown in FIG. 6 are U-Net parameters, and are set to values as shown in FIG. 6 in this embodiment.
図6に示されるような学習済みニューラルネットワークに、入力データ(INPUT)としての被験者の圧電情報が入力されると、出力データ(OUTPUT)としての被験者の心拍情報が出力される。 When the subject's piezoelectric information as input data (INPUT) is input to the learned neural network as shown in FIG. 6, the subject's heart rate information is output as output data (OUTPUT).
例えば、図7に示されるような圧電情報が、学習済みニューラルネットワークへ入力された場合、図8に示されるような心拍情報が得られる。なお、図7及び図8におけるグラフの横軸は時刻を表し、縦軸は電圧値を表している。 For example, when piezoelectric information as shown in FIG. 7 is input to a trained neural network, heartbeat information as shown in FIG. 8 is obtained. The horizontal axis of the graphs in FIGS. 7 and 8 represents time, and the vertical axis represents voltage values.
学習済みモデル記憶部24には、学習部22によって取得された学習済みニューラルネットワークが格納される。
The trained
計測情報取得部25は、入力部12によって受け付けられた、被験者の変換対象の圧電情報を取得する。
The measurement
生体情報取得部26は、計測情報取得部25によって取得された被験者の変換対象の圧電情報を取得する。また、生体情報取得部26は、学習済みモデル記憶部24に格納された学習済みニューラルネットワークを読み出す。そして、生体情報取得部26は、被験者の変換対象の圧電情報を学習済みニューラルネットワークへ入力して、被験者の心拍情報を取得する。
The biological
このように、学習用の圧電情報と学習用の心拍情報とを対応付けた学習用データを用意し、この学習用データを用いてニューラルネットワークを学習させることにより、圧電情報から心拍情報への変換処理が適切に行われる。このため、被験者に対して心電計を取り付けることなく、被験者の心拍情報を逐次取得ことができる。 In this way, learning data in which learning piezoelectric information and learning heartbeat information are associated is prepared, and a neural network is trained using this learning data, thereby converting piezoelectric information into heartbeat information. Processing is done properly. Therefore, the heartbeat information of the subject can be acquired sequentially without attaching an electrocardiograph to the subject.
出力部16は、生体情報取得部26によって取得された、被験者の心拍情報を結果として出力する。
The
<生体情報取得装置の作用> <Action of biological information acquisition device>
次に、図9、図10、及び図11を参照して、生体情報取得装置10の作用を説明する。学習用の圧電情報と学習用の心拍情報との組み合わせの各々が生体情報取得装置10へ入力されると、入力部12が学習用の圧電情報と学習用の心拍情報との組み合わせの各々を受け付ける。そして、生体情報取得装置10は、図9に示される学習用データ生成処理ルーチンを実行する。
Next, with reference to FIGS. 9, 10, and 11, the action of the biological
<学習用データ生成処理ルーチン> <Learning data generation processing routine>
ステップS100において、学習用データ生成部17は、入力部12により受け付けられた、学習用の圧電情報と学習用の心拍情報との組み合わせの各々を取得する。
In step S<b>100 , the learning
ステップS102において、学習用データ生成部17は、上記ステップS100で取得された学習用の心拍情報のうちの、ドリフト成分を含む学習用の心拍情報に対して既存のハイパスフィルタを適用する。そして、学習用データ生成部17は、学習用の圧電情報と、ドリフト成分が補正された処理済みの学習用の心拍情報との組み合わせを学習用データとして生成する。
In step S102, the learning
また、ステップS102において、学習用データ生成部17は、上記ステップS100で取得された学習用の心拍情報のうちの、未計測の領域を除外する。そして、学習用データ生成部17は、学習用の圧電情報と、未計測の領域が除外された処理済みの学習用の心拍情報との組み合わせを学習用データとして生成する。
Further, in step S102, the learning
ステップS104において、学習用データ生成部17は、上記ステップS102で得られた学習用データの各々を学習用データ記憶部18に格納して、学習用データ生成処理ルーチンを終了する。
In step S104, the learning
次に、生体情報取得装置10は、学習処理の開始信号を受け付けると、図10に示される学習処理ルーチンを実行する。
Next, when receiving the start signal of the learning process, the biological
<学習処理ルーチン> <Learning processing routine>
ステップS200において、学習用データ取得部20は、学習用データ記憶部18に格納された学習用データ各々を取得する。
In step S<b>200 , the learning
ステップS202において、学習部22は、上記ステップS200で取得された学習用データの各々に基づいて、圧電情報から心拍情報を取得するためのニューラルネットワークを学習させる。そして、学習部22は、学習済みニューラルネットワークを取得する。
In step S202, the
ステップS204において、学習部22は、上記ステップS202で取得された学習済みニューラルネットワークを、学習済みモデル記憶部24に格納して学習処理ルーチンを終了する。
In step S204, the
次に、生体情報取得装置10は、変換対象の圧電情報の入力を受け付けると、図11に示される生体情報取得処理ルーチンを実行する。
Next, when receiving the input of the piezoelectric information to be converted, the biological
<生体情報取得処理ルーチン> <Biological information acquisition processing routine>
ステップS300において、計測情報取得部25は、入力部12によって受け付けられた、被験者の変換対象の圧電情報を取得する。
In step S<b>300 , the measurement
ステップS302において、生体情報取得部26は、学習済みモデル記憶部24に格納された学習済みニューラルネットワークを読み出す。
In step S<b>302 , the biometric
ステップS304において、生体情報取得部26は、上記ステップS300で取得された、被験者の変換対象の圧電情報を、上記ステップS302で読み出された学習済みニューラルネットワークへ入力して、被験者の心拍情報を取得する。
In step S304, the biological
ステップS306において、出力部16は、上記ステップS304で取得された、被験者の心拍情報を結果として出力する。
In step S306, the
以上説明したように、本実施形態に係る生体情報取得装置10は、被験者から得られる圧電情報を、圧電情報から心拍情報を取得するための予め学習された学習済みのニューラルネットワークへ入力して、被験者の心拍情報を取得する。これにより、被験者から得られる圧電情報から心拍情報を取得することができる。また、被験者に対して心電計を取り付けることなく、被験者の心拍情報を逐次取得ことができる。
As described above, the biological
また、本実施形態に係る生体情報取得装置10は、学習用の被験者の圧電情報と学習用の被験者の状態を表す心拍情報との組み合わせを表す学習用データに基づいて、圧電情報から心拍情報を取得するための学習済みモデルを取得する。これにより、被験者から得られる圧電情報から心拍情報を取得するための学習済みモデルを得ることができる。また、本実施形態に係る生体情報取得装置10は、学習用データを生成する際に、学習用の心拍情報に含まれる、ドリフト成分及び未計測の領域を除外することにより、精度の良い学習済みモデルを得ることができる。
Further, the biological
<実施例> <Example>
次に、実施例を示す。本実施例では、上記図6に示されるU-Netを学習させた。なお、本実例では、被験者が静止していたときに取得されたデータを表す静止時データと、被験者が動いていたときに取得されたデータである移動時データとの各々について、U-Netモデルを学習させた。また、U-Netを学習させる際には、それぞれ300epochの学習処理を実行した。なお、U-Netの学習に用いた学習用データの数と、学習済みのU-Netモデルを評価に用いた評価用データの数は、以下に示すとおりである。 Next, an example is shown. In this embodiment, the U-Net shown in FIG. 6 was learned. In this example, the U-Net model was learned. Also, when training the U-Net, 300 epochs of learning processing were executed for each. The number of learning data used for U-Net learning and the number of evaluation data used for evaluation of the trained U-Net model are as follows.
図12に、静止時データを用いて学習処理を行った場合の学習済みのU-Netの精度の推移を示す。 FIG. 12 shows changes in the accuracy of the learned U-Net when the learning process is performed using stationary data.
図12に示されるグラフの横軸は学習の繰り返し回数を表すepoch数であり、縦軸は学習済みのU-Netから出力された心拍情報と心電計(携帯型心電計 HCG-801 オムロン株式会社)によって得られた実際の心拍情報との差分(以下、単に「ロス値」と称する。)を表す。 The horizontal axis of the graph shown in FIG. 12 is the epoch number representing the number of repetitions of learning, and the vertical axis is the heartbeat information output from the U-Net that has been trained and an electrocardiogram (portable electrocardiograph HCG-801 Omron Co., Ltd.) represents the difference from the actual heartbeat information (hereinafter simply referred to as "loss value").
図12に示されるように、学習が進行しepoch数が増加するにつれてロス値が減少しており、問題なく学習が行われていることがわかる。なお、図12に示される点線(loss)は、学習用の圧電情報を、学習済みのU-Netへ入力した際に出力された心拍情報と実際の心拍情報との間のロス値を表している。また、図12に示される実線(val_loss)は、学習用の圧電情報とは異なる評価用の圧電情報を、学習済みのU-Netへ入力した際に出力された心拍情報と実際の心拍情報との間のロス値を表している。 As shown in FIG. 12, as learning progresses and the number of epochs increases, the loss value decreases, indicating that learning is being performed without problems. The dotted line (loss) shown in FIG. 12 represents the loss value between the heartbeat information output when the piezoelectric information for learning is input to the learned U-Net and the actual heartbeat information. there is The solid line (val_loss) shown in FIG. 12 indicates the difference between the heartbeat information output when the evaluation piezoelectric information different from the learning piezoelectric information is input to the learned U-Net and the actual heartbeat information. represents the loss value between
図13に、移動時データを用いて学習処理を行った場合の学習済みのU-Netの精度の推移を表す。図12と同様に、図13においても、学習が進行しepoch数が増加するにつれてロス値が減少しており、問題なく学習が行われていることがわかる。 FIG. 13 shows the transition of the accuracy of the learned U-Net when the learning process is performed using the moving data. Similarly to FIG. 12, in FIG. 13 as well, as learning progresses and the number of epochs increases, the loss value decreases, indicating that learning is being performed without problems.
また、図14、図15、図16、及び図17に、学習用の圧電情報とは異なる評価用の圧電情報を学習済みのU-Netへ入力した際に出力された心拍情報の波形の様子を示す。なお、図14及び図15は静止時データを対象とした場合の結果であり、図16及び図17は移動時データを対象とした場合の結果である。 14, 15, 16, and 17 show waveforms of heartbeat information output when evaluation piezoelectric information different from the learning piezoelectric information is input to the learned U-Net. indicates FIGS. 14 and 15 show the results for stationary data, and FIGS. 16 and 17 show the results for moving data.
図14、図15、図16、及び図17における、「X_test」は評価用の圧電情報の波形を表し、「Y_test」は実際に計測された正解の心拍情報の波形を表し、「Y_predict」は評価用の圧電情報が学習済みのU-Netに入力された際に出力された心拍情報の波形を表している。 14, 15, 16, and 17, "X_test" represents the waveform of piezoelectric information for evaluation, "Y_test" represents the waveform of actually measured correct heartbeat information, and "Y_predict" represents The waveform of the heartbeat information output when the piezoelectric information for evaluation is input to the learned U-Net is shown.
図14、図15、図16、及び図17に示されるように、学習済みのU-Netによって適切な変換処理がなされ、圧電情報から心拍情報を精度良く推定できていることがわかる。 As shown in FIGS. 14, 15, 16, and 17, appropriate conversion processing is performed by the learned U-Net, and heartbeat information can be accurately estimated from piezoelectric information.
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiments, and various modifications and applications are possible without departing from the gist of the present invention.
例えば、上記実施形態では、モデルとしてCNNを利用したU-Netを用いる場合を例に説明したが、これに限定されるものではない。計測情報の一例である圧電情報から生体情報の一例である心拍情報を得られるような学習済みモデルであれば、どのようなモデルであってもよい。 For example, in the above embodiment, the case of using U-Net using CNN as a model has been described as an example, but the present invention is not limited to this. Any model may be used as long as it is a trained model that can obtain heartbeat information, which is an example of biological information, from piezoelectric information, which is an example of measured information.
また、上記実施形態では、椅子に設置された圧電素子から計測情報の一例である圧電情報を得る場合を例に説明したが、これに限定されるものではない。被験者から計測情報を取得できれば、どのような態様であってもよい。 Further, in the above embodiment, the case of obtaining the piezoelectric information, which is an example of the measurement information, from the piezoelectric element installed on the chair has been described as an example, but the present invention is not limited to this. Any mode may be used as long as measurement information can be acquired from the subject.
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。 Further, in the specification of the present application, an embodiment in which the program is pre-installed has been described, but it is also possible to store the program in a computer-readable recording medium and provide it.
10 生体情報取得装置
12 入力部
14 演算部
16 出力部
17 学習用データ生成部
18 学習用データ記憶部
20 学習用データ取得部
22 学習部
24 学習済みモデル記憶部
25 計測情報取得部
26 生体情報取得部
10 biometric
Claims (12)
生成された前記学習用データを取得するステップと、
取得された前記学習用データに基づいて、前記計測情報から前記生体情報を取得するための学習済みモデルを取得するステップと、
を含む処理をコンピュータが実行する生体情報取得モデル学習方法。 When generating learning data representing a combination of the measurement information of the subject for learning and the biometric information representing the state of the subject for learning, the drift component of the biometric information of the subject for learning is corrected. generating a combination of the measured information and the corrected biological information for learning as the learning data;
obtaining the generated learning data;
a step of acquiring a trained model for acquiring the biological information from the measurement information based on the acquired learning data;
A biological information acquisition model learning method in which a computer executes processing including
生成された前記学習用データを取得するステップと、
取得された前記学習用データに基づいて、前記計測情報から前記生体情報を取得するための学習済みモデルを取得するステップと、
を含む処理をコンピュータが実行する生体情報取得モデル学習方法。 When generating learning data representing a combination of the measured information of the subject for learning and the biological information representing the state of the subject for learning, excluding unmeasured regions of the biological information of the subject for learning, generating, as the learning data, a combination of the measurement information for learning and the biometric information for learning from which the unmeasured region is excluded;
obtaining the generated learning data;
a step of acquiring a trained model for acquiring the biological information from the measurement information based on the acquired learning data;
A biological information acquisition model learning method in which a computer executes processing including
取得された前記計測情報を、請求項1又は請求項2に記載の生体情報取得モデル学習方法によって予め学習された学習済みモデルへ入力して、前記被験者の前記生体情報を取得するステップと、
を含む処理をコンピュータが実行する生体情報取得方法。 obtaining measurement information obtained from a subject;
A step of inputting the acquired measurement information into a learned model that has been pre-learned by the biometric information acquisition model learning method according to claim 1 or claim 2 to acquire the biometric information of the subject;
A biological information acquisition method in which a computer executes a process including
請求項3に記載の生体情報取得方法。 The trained model is a neural network trained in advance based on learning data representing a combination of the measurement information for learning and the biological information for learning.
The biometric information acquisition method according to claim 3 .
前記生体情報は、前記被験者の心拍の状態を表す心拍情報である、
請求項3又は請求項4に記載の生体情報取得方法。 The measurement information is piezoelectric information representing a voltage value obtained from a piezoelectric element in contact with the subject,
The biological information is heartbeat information representing the heartbeat state of the subject,
The biometric information acquisition method according to claim 3 or 4.
請求項5に記載の生体情報取得方法。 The piezoelectric element is a piezoelectric element installed in a chair on which the subject sits,
The biometric information acquisition method according to claim 5 .
前記学習用データ生成部によって生成された前記学習用データを取得する学習用データ取得部と、
前記学習用データ取得部によって取得された前記学習用データに基づいて、前記計測情報から前記生体情報を取得するための学習済みモデルを取得する学習部と、
を含む生体情報取得モデル学習装置。 When generating learning data representing a combination of the measurement information of the subject for learning and the biometric information representing the state of the subject for learning, the drift component of the biometric information of the subject for learning is corrected. a learning data generation unit that generates a combination of the measurement information and the corrected learning biological information as the learning data;
a learning data acquisition unit that acquires the learning data generated by the learning data generation unit;
a learning unit that acquires a trained model for acquiring the biological information from the measurement information based on the learning data acquired by the learning data acquisition unit;
biometric information acquisition model learning device.
前記学習用データ生成部によって生成された前記学習用データを取得する学習用データ取得部と、
前記学習用データ取得部によって取得された前記学習用データに基づいて、前記計測情報から前記生体情報を取得するための学習済みモデルを取得する学習部と、
を含む生体情報取得モデル学習装置。 When generating learning data representing a combination of the measured information of the subject for learning and the biological information representing the state of the subject for learning, excluding unmeasured regions of the biological information of the subject for learning, a learning data generation unit that generates, as the learning data, a combination of the measurement information for learning and the biological information for learning from which the unmeasured region is excluded;
a learning data acquisition unit that acquires the learning data generated by the learning data generation unit;
a learning unit that acquires a trained model for acquiring the biological information from the measurement information based on the learning data acquired by the learning data acquisition unit;
biometric information acquisition model learning device.
前記計測情報取得部によって取得された前記計測情報を、請求項7又は請求項8に記載の生体情報取得モデル学習装置によって予め学習された学習済みモデルへ入力して、前記被験者の前記生体情報を取得する生体情報取得部と、
を含む生体情報取得装置。 a measurement information acquisition unit that acquires measurement information of a subject;
The measured information acquired by the measured information acquisition unit is input to a trained model that has been trained in advance by the biological information acquisition model learning device according to claim 7 or claim 8, and the biological information of the subject is obtained. a biometric information acquisition unit to acquire;
A biometric information acquisition device including.
学習用の被験者の計測情報と学習用の被験者の状態を表す生体情報との組み合わせを表す学習用データを生成する際に、学習用の被験者の生体情報のうちのドリフト成分を補正し、学習用の前記計測情報と補正された学習用の前記生体情報との組み合わせを前記学習用データとして生成する学習用データ生成部、
前記学習用データ生成部によって生成された前記学習用データを取得する学習用データ取得部、及び
前記学習用データ取得部によって取得された前記学習用データに基づいて、前記計測情報から前記生体情報を取得するための学習済みモデルを取得する学習部
として機能させるためのプログラム。 When generating learning data representing a combination of measurement information of a subject for learning and biological information representing the state of the subject for learning, the computer corrects a drift component in the biological information of the subject for learning, a learning data generation unit that generates a combination of the measurement information for learning and the corrected biological information for learning as the learning data;
a learning data acquisition unit that acquires the learning data generated by the learning data generation unit; and a learning data acquisition unit that acquires the biological information from the measurement information based on the learning data acquired by the learning data acquisition unit. A program that functions as a learning part that acquires a trained model for acquisition.
学習用の被験者の計測情報と学習用の被験者の状態を表す生体情報との組み合わせを表す学習用データを生成する際に、学習用の被験者の生体情報のうちの未計測の領域を除外し、学習用の前記計測情報と前記未計測の領域が除外された学習用の前記生体情報との組み合わせを前記学習用データとして生成する学習用データ生成部、
前記学習用データ生成部によって生成された前記学習用データを取得する学習用データ取得部、及び
前記学習用データ取得部によって取得された前記学習用データに基づいて、前記計測情報から前記生体情報を取得するための学習済みモデルを取得する学習部
として機能させるためのプログラム。 When generating learning data representing a combination of the measured information of the subject for learning and the biometric information representing the state of the subject for learning, the computer excludes the unmeasured region in the biometric information of the subject for learning. and a learning data generation unit that generates, as the learning data, a combination of the measurement information for learning and the biological information for learning from which the unmeasured region is excluded,
a learning data acquisition unit that acquires the learning data generated by the learning data generation unit; and a learning data acquisition unit that acquires the biological information from the measurement information based on the learning data acquired by the learning data acquisition unit. A program that functions as a learning part that acquires a trained model for acquisition.
被験者の計測情報を取得する計測情報取得部、及び
前記計測情報取得部によって取得された前記計測情報を、請求項10又は請求項11に記載のプログラムによって予め学習された学習済みモデルへ入力して、前記被験者の前記生体情報を取得する生体情報取得部
として機能させるためのプログラム。 A computer comprising: a measurement information acquisition unit that acquires measurement information of a subject; and inputting the measurement information acquired by the measurement information acquisition unit to a learned model pre-learned by the program according to claim 10 or claim 11. and functioning as a biological information acquisition unit that acquires the biological information of the subject.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022177523A JP2023017923A (en) | 2018-09-25 | 2022-11-04 | Biological information acquisition method, biological information acquisition model learning method, device, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018178768A JP2020048674A (en) | 2018-09-25 | 2018-09-25 | Biological information acquisition method, biological information acquisition model learning method, device, and program |
JP2022177523A JP2023017923A (en) | 2018-09-25 | 2022-11-04 | Biological information acquisition method, biological information acquisition model learning method, device, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018178768A Division JP2020048674A (en) | 2018-09-25 | 2018-09-25 | Biological information acquisition method, biological information acquisition model learning method, device, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023017923A true JP2023017923A (en) | 2023-02-07 |
Family
ID=69994861
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018178768A Pending JP2020048674A (en) | 2018-09-25 | 2018-09-25 | Biological information acquisition method, biological information acquisition model learning method, device, and program |
JP2022177523A Pending JP2023017923A (en) | 2018-09-25 | 2022-11-04 | Biological information acquisition method, biological information acquisition model learning method, device, and program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018178768A Pending JP2020048674A (en) | 2018-09-25 | 2018-09-25 | Biological information acquisition method, biological information acquisition model learning method, device, and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP2020048674A (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115968271A (en) | 2020-09-30 | 2023-04-14 | 住友理工株式会社 | Biological information measuring device |
JP2022157156A (en) | 2021-03-31 | 2022-10-14 | 三井化学株式会社 | Model generation method, computer program, information processing apparatus, information processing system, information processing method, and training data generation method |
JP7199673B2 (en) * | 2021-03-31 | 2023-01-06 | 艾陽科技股▲分▼有限公司 | Radar heartbeat detection method and system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003079584A (en) * | 2001-07-03 | 2003-03-18 | Amenitex Inc | Device for detecting trouble with wheelchair rider |
JP4743534B2 (en) * | 2006-09-28 | 2011-08-10 | アイシン精機株式会社 | Heart rate detector |
HUE057576T2 (en) * | 2015-03-11 | 2022-05-28 | Precordior Oy | Method and apparatus for producing information indicative of cardiac malfunctions |
JP6599723B2 (en) * | 2015-10-01 | 2019-10-30 | ヘルスセンシング株式会社 | Biological information acquisition apparatus and signal processing method |
-
2018
- 2018-09-25 JP JP2018178768A patent/JP2020048674A/en active Pending
-
2022
- 2022-11-04 JP JP2022177523A patent/JP2023017923A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2020048674A (en) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023017923A (en) | Biological information acquisition method, biological information acquisition model learning method, device, and program | |
US11783627B2 (en) | Methods and apparatus for detecting and classifying facial motions | |
JP7014129B2 (en) | Estimator generator, monitoring device, estimator generator method and estimator generator | |
Xie et al. | Benchmark Machine Learning Approaches with Classical Time Series Approaches on the Blood Glucose Level Prediction Challenge. | |
CN109788920B (en) | Information processing apparatus, information processing method, and program | |
CN112773582A (en) | Artificial limb control method, device, system and medium | |
US10803335B2 (en) | Emotion estimating apparatus | |
US20160249862A1 (en) | Epsilon-tube filter for blunt noise removal | |
Hires et al. | Beyond cones: an improved model of whisker bending based on measured mechanics and tapering | |
CN109800733B (en) | Data processing method and device and electronic equipment | |
CN113742822B (en) | Method and device for eliminating temperature time lag effect of bridge structure response monitoring data | |
WO2020194591A1 (en) | Outlier detection device, outlier detection method, and outlier detection program | |
KR20200127702A (en) | Apparatus and Method of Speckle Reduction in Optical Coherence Tomography using Convolutional Networks | |
JP7186947B2 (en) | Brain-machine interface system capable of changing the amount of communication data from an intracorporeal device, and its control method | |
JP2020203051A (en) | Computer program, information processing device, information processing method, leaned model generation method, and learned model | |
JP6591724B1 (en) | Segmented electrode | |
Boyd et al. | A-mode ultrasound driven sensor fusion for hand gesture recognition | |
CN111839847A (en) | Myoelectric prosthesis control method, myoelectric prosthesis control device, electronic equipment and computer readable medium | |
US10799139B2 (en) | Method and system for EEG signal processing | |
JP6838259B2 (en) | Learning data generator, judgment device and program | |
JP2015217060A (en) | Heartbeat detection method and heartbeat detector | |
US9554753B2 (en) | Electrocardiogram (ECG) sensor and method of operating the same | |
Booth et al. | Validation of a piezoelectric sensor array for a wrist-worn muscle-computer interface | |
CN114423335A (en) | Sleep stage estimation device, sleep stage estimation method, and program | |
Szymaniak et al. | Recalibration of myoelectric control with active learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240311 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240409 |