JP2022016114A - Program, device, and method for predicting measurement value of living body - Google Patents

Program, device, and method for predicting measurement value of living body Download PDF

Info

Publication number
JP2022016114A
JP2022016114A JP2020119405A JP2020119405A JP2022016114A JP 2022016114 A JP2022016114 A JP 2022016114A JP 2020119405 A JP2020119405 A JP 2020119405A JP 2020119405 A JP2020119405 A JP 2020119405A JP 2022016114 A JP2022016114 A JP 2022016114A
Authority
JP
Japan
Prior art keywords
time point
measured value
predicted
measured values
learning engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020119405A
Other languages
Japanese (ja)
Other versions
JP6775792B1 (en
Inventor
裕樹 有光
Hiroki Arimitsu
茂和 大黒
Shigekazu Oguro
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbis Brain Co Ltd
Orbisbrain
Wacoal Corp
Original Assignee
Orbis Brain Co Ltd
Orbisbrain
Wacoal Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbis Brain Co Ltd, Orbisbrain, Wacoal Corp filed Critical Orbis Brain Co Ltd
Priority to JP2020119405A priority Critical patent/JP6775792B1/en
Application granted granted Critical
Publication of JP6775792B1 publication Critical patent/JP6775792B1/en
Publication of JP2022016114A publication Critical patent/JP2022016114A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide a program, etc. for learning a measurement value of a living body as teacher data and predicting a measurement value at a prediction time point from a measurement value at a current time point.SOLUTION: A measurement value at a prediction time point is predicted from a measurement value in a living body at a current time point. Teacher data is the data in which, on a plurality of living bodies, a first time point and a measurement value at the first time point are associated with a second time point and a measurement value at the second time point. A program is caused to function as a living body learning engine that has constructed a learning model so that the first time point and the measurement value at the first time point, and the second time point are input, and a measurement value at the second time point is output for each piece of the teacher data. In the living body learning engine, the current time point and the measurement value at the current time point, and the prediction time point are input, and the measurement value at the prediction time point is output for a living body of a prediction object. The living body is a human body, for example, and a past time point, a current time point, a future time point, and a prediction time point are ages of the human body.SELECTED DRAWING: Figure 2

Description

本発明は、機械学習エンジンを用いて、生体の計測値を予測する技術に関する。 The present invention relates to a technique for predicting a measured value of a living body using a machine learning engine.

人体の形状データを検知可能な3次元ボディスキャナの技術がある(例えば非特許文献1参照)。この技術によれば、非接触の光学測量によって、人体の3次元モデルを計測する。3次元モデルは、約150万点と超高密度で計測される。 There is a three-dimensional body scanner technique capable of detecting human body shape data (see, for example, Non-Patent Document 1). According to this technique, a three-dimensional model of the human body is measured by non-contact optical surveying. The 3D model is measured at an ultra-high density of about 1.5 million points.

従来、ユーザ自らの行動によって、当該ユーザの生体情報の計測値における将来の変化を予測する技術がある(例えば特許文献1参照)。この技術によれば、複数ユーザの所定行動の種類や量に対する計測値の変化値を予め記憶している。その上で、推定対象となる当該ユーザの計測値について、所定行動をした場合の変化値と、所定行動をしなかった場合の変化値とを予測する。計測値としては、具体的には身長、胸囲、腹囲のような採寸値や、体重、血圧のような生体情報などがある。但し、この技術は、機械学習エンジンを用いたものではない。 Conventionally, there is a technique for predicting future changes in the measured values of the biometric information of the user according to the user's own behavior (see, for example, Patent Document 1). According to this technique, the change value of the measured value with respect to the type and amount of predetermined actions of a plurality of users is stored in advance. Then, with respect to the measured value of the user to be estimated, the change value when the predetermined action is performed and the change value when the predetermined action is not performed are predicted. Specifically, the measured values include measured values such as height, chest circumference, and abdominal circumference, and biological information such as body weight and blood pressure. However, this technique does not use a machine learning engine.

特開2019-079391号公報Japanese Unexamined Patent Publication No. 2019-07391 特許6424309号公報Japanese Patent No. 6424309

「smart&try」、株式会社ワコール、[online]、[令和2年7月10日検索]、インターネット<URL:https://www.wacoal.jp/smart_try/>"Smart & try", Wacoal Co., Ltd., [online], [Search on July 10, 2nd year of Reiwa], Internet <URL: https://www.wacoal.jp/smart_try/> 「人間工学」、[online]、[令和2年7月10日検索]、インターネット<URL:https://www.cc.miyazaki-u.ac.jp/mitarai/room707/ergo002.html>"Ergonomics", [online], [Search on July 10, 2nd year of Reiwa], Internet <URL: https://www.cc.miyazaki-u.ac.jp/mitarai/room707/ergo002.html>

特許文献1に記載の技術に対して、例えば機械学習エンジンを用いて、ユーザの生体情報の計測値における将来の変化を予測することも想定できる。人間の生体情報は経年変化するために、時系列データとして扱われる。時系列データに対しては、一般的に、再帰型ニューラルネットワーク(RNN(Recurrent Neural Network))や、時系列CNN(Convolutional Neural Network)のような機械学習エンジンが用いられる。これによって、当該ユーザの過去の計測値を時系列順に入力することによって、未来の計測値を推定することができる。 For the technique described in Patent Document 1, it is possible to predict future changes in the measured values of the user's biometric information by using, for example, a machine learning engine. Human biometric information changes over time and is therefore treated as time-series data. For time-series data, a machine learning engine such as a recurrent neural network (RNN (Recurrent Neural Network)) or a time-series CNN (Convolutional Neural Network) is generally used. Thereby, the future measured value can be estimated by inputting the past measured value of the user in chronological order.

図1は、時系列の生体情報を、再帰型ニューラルネットワークの学習エンジンに適用した説明図である。 FIG. 1 is an explanatory diagram in which time-series biometric information is applied to a learning engine of a recurrent neural network.

教師データとして、多数の人体について、人体毎に年齢及び計測値を用意する。また、各人体について、所定期間間隔で複数の年齢(時点)の計測値が記録されている。具体的には、例えば複数の人体について、30歳、35歳、40歳、45歳、50歳の計測値が記録されている。
図1によれば、学習段階では、人体毎に、年齢の計測値を時系列順に、再帰型ニューラルネットワークへ入力して学習していく。これを、多数の人体について入力していくことによって、学習モデルを構築していく。
また、推定段階では、対象人体(ユーザx)について、過去の年齢に計測された計測値を時系列順に、再帰型ニューラルネットワークへ入力する。再帰型ニューラルネットワークは、過去の年齢に計測された計測値における時系列の変化によって、未来の年齢における計測値の変化を推定することができる。
As teacher data, age and measured values are prepared for each human body for a large number of human bodies. In addition, for each human body, measured values of a plurality of ages (time points) are recorded at predetermined period intervals. Specifically, for example, measured values of 30 years old, 35 years old, 40 years old, 45 years old, and 50 years old are recorded for a plurality of human bodies.
According to FIG. 1, in the learning stage, the measured values of age are input to the recurrent neural network in chronological order for each human body for learning. By inputting this for a large number of human bodies, we will build a learning model.
Further, in the estimation stage, for the target human body (user x), the measured values measured in the past age are input to the recurrent neural network in chronological order. Recurrent neural networks can estimate changes in measured values at future ages by changes in time series in measured values measured at past ages.

しかしながら、教師データとして、多数の人体の計測値を、所定期間間隔で時系列に記録することは極めて難しい。例えば18歳から80歳までの計測値を、62年間かけて記録することは現実的にできない。
前述した再帰型ニューラルネットワークは、本来、例えば株価予測のように所定期間間隔で確実に記録される時系列データに適する。そのために、人体のように、所定期間間隔で確実に計測できない生体の計測値のような時系列データは、再帰型ニューラルネットワークに対する教師データとしては適さない。また、現在高年齢のユーザについて、過去若年齢のときの計測値を知ることもできない。即ち、人体の計測値について、再帰型ニューラルネットワークに適した教師データを用意することは極めて難しい。
However, it is extremely difficult to record a large number of measured values of the human body as teacher data in time series at predetermined period intervals. For example, it is not realistic to record the measured values from 18 to 80 years old over 62 years.
The recurrent neural network described above is originally suitable for time-series data that is reliably recorded at predetermined period intervals, such as stock price forecasting. Therefore, time-series data such as measured values of living organisms that cannot be reliably measured at predetermined period intervals, such as the human body, are not suitable as teacher data for recurrent neural networks. In addition, it is not possible to know the measured values of the currently older users at the past younger ages. That is, it is extremely difficult to prepare teacher data suitable for a recurrent neural network for the measured values of the human body.

これに対し、本願の発明者らは、同一人体であっても、少なくとも2つの時点の計測値を取得することは可能である、と考えた。勿論、教師データとして、少なくとも異なる年齢で計測された計測値を、多数の人体で用意することは可能となる。そのような教師データを用いて、予測時点の計測値を予測可能な機械学習エンジンを構成することはできないか、と考えた。 On the other hand, the inventors of the present application considered that it is possible to acquire the measured values at at least two time points even in the same human body. Of course, as teacher data, it is possible to prepare measured values measured at least at different ages in a large number of human bodies. Using such teacher data, I wondered if it would be possible to construct a machine learning engine that can predict the measured values at the time of prediction.

また、本願の発明者らは、対象ユーザについて、現在年齢の計測値から予測年齢の計測値を統計的に推定することできれば、その予測年齢の計測値から人体の3次元モデルを再生することができないか、と考えた。それができれば、対象ユーザにとっては、現在年齢の自らの体型が、予測年齢ではどのような体型に変化しているかを、推定された3次元モデルを見ることによって、強く認識できるのではないか、と考えた。 Further, the inventors of the present application can reproduce a three-dimensional model of the human body from the measured value of the predicted age if the measured value of the predicted age can be statistically estimated from the measured value of the current age for the target user. I wondered if I could do it. If this can be done, the target user may be able to strongly recognize what kind of body shape the current age has changed at the predicted age by looking at the estimated 3D model. I thought.

そこで、本発明によれば、生体の計測値を教師データとして学習し、現在時点の計測値から予測時点の計測値を予測するプログラム、装置及び方法を提供することを目的とする。 Therefore, it is an object of the present invention to provide a program, an apparatus and a method for learning the measured value of a living body as teacher data and predicting the measured value at the predicted time from the measured value at the present time.

本発明によれば、生体における現在時点の計測値から、予測時点の計測値を予測する装置に搭載されたコンピュータを機能させるプログラムであって、
教師データは、複数生体について、第1時点及び当該第1時点の計測値と、第2時点及び当該第2時点の計測値とが対応付けられたものであり、
教師データ毎に、第1時点及び当該第1時点の計測値と、第2時点とを入力し、当該第2時点の計測値を出力するように学習モデルを構築した生体学習エンジンとして機能させ、
生体学習エンジンは、予測対象の生体について、現在時点及び当該現在時点の計測値と、予測時点とを入力し、当該予測時点の計測値を出力する
ようにコンピュータを機能させることを特徴とする。
According to the present invention, it is a program for operating a computer mounted on a device for predicting a measured value at a predicted time from a measured value at a current time in a living body.
The teacher data is a combination of the measured values at the first time point and the first time point and the measured values at the second time point and the second time point for a plurality of living bodies.
For each teacher data, the measured values of the first time point and the first time point and the second time point are input, and the learning model is constructed so as to output the measured values of the second time point.
The biological learning engine is characterized in that, for the living body to be predicted, the current time point, the measured value at the current time point, and the predicted time point are input, and the computer functions to output the measured value at the predicted time point.

本発明のプログラムにおける他の実施形態によれば、
生体は、人体であり、
過去時点、現在時点、未来時点及び予測時点は、当該人体の年齢である
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the invention
The living body is the human body,
It is also preferable to make the computer function so that the past time point, the present time point, the future time point, and the predicted time point are the age of the human body.

本発明のプログラムにおける他の実施形態によれば、
計測値は、採寸値及び/又は体組成値からなる
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the invention
It is also preferable to make the computer function so that the measured value consists of a measured value and / or a body composition value.

本発明のプログラムにおける他の実施形態によれば、
第1時点は、過去時点であり、第2時点は、未来時点であり、予測時点は、未来の予測時点であるか、又は、
第1時点は、未来時点であり、第2時点は、過去時点であり、予測時点は、過去の予測時点である
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the invention
The first time point is the past time point, the second time point is the future time point, and the prediction time point is the future prediction time point, or
It is also preferable to make the computer function so that the first time point is the future time point, the second time point is the past time point, and the prediction time point is the past prediction time point.

本発明のプログラムにおける他の実施形態によれば、
生体学習エンジンは、多層パーセプトロン(Multilayer perceptron)である
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the invention
It is also preferred that the biolearning engine behave the computer as if it were a Multilayer perceptron.

本発明のプログラムにおける他の実施形態によれば、
教師データは、複数生体について、第1時点及び当該第1時点の計測値に3次元モデルを更に対応付け、第2時点及び当該第2時点の計測値に3次元モデルを更に対応付けたものであり、
各3次元モデルを入力し、次元圧縮された次元数m(>1)の成分変数を出力するように、統計学習モデルを構築した統計学習エンジンと、
各3次元モデルについて、次元数n(>1)の計測値と、次元数mの成分変数と関係を相互に学習するように、相関学習モデルを構築した相関学習エンジンと
してコンピュータを機能させることも好ましい。
According to other embodiments in the program of the invention
The teacher data is obtained by further associating a three-dimensional model with the measured values at the first time point and the first time point, and further associating the three-dimensional model with the measured values at the second time point and the second time point, for a plurality of living organisms. can be,
A statistical learning engine that builds a statistical learning model so that each 3D model is input and a component variable with a dimensionally compressed dimension number m (> 1) is output.
For each 3D model, the computer can be made to function as a correlation learning engine in which a correlation learning model is constructed so as to mutually learn the relationship between the measured value of the dimension number n (> 1) and the component variable of the dimension number m. preferable.

本発明のプログラムにおける他の実施形態によれば、
生体学習エンジンから出力された予測時点の次元数nの計測値から、相関学習エンジンを用いて次元数mの成分変数を推定し、当該次元数mの成分変数から、統計学習エンジンを用いて3次元モデルを推定するデコーダと
してコンピュータを機能させることも好ましい。
According to other embodiments in the program of the invention
From the measured value of the dimension number n at the time of prediction output from the biological learning engine, the component variable of the dimension number m is estimated using the correlation learning engine, and the component variable of the dimension number m is estimated from the component variable of the dimension number m using the statistical learning engine. It is also preferable to have the computer function as a decoder that estimates the dimensional model.

本発明のプログラムにおける他の実施形態によれば、
予測対象のデータは、現在時点の3次元モデルからなり、
入力された現在時点の3次元モデルから、統計学習エンジンを用いて次元数mの成分変数を推定し、当該次元数mの成分変数から、相関学習エンジンを用いて次元数nの計測値を推定し、当該次元数nの計測値を生体学習エンジンに入力するエンコーダと
してコンピュータを機能させることも好ましい。
According to other embodiments in the program of the invention
The data to be predicted consists of a 3D model at the present time.
From the input 3D model at the present time, the component variable of the dimension number m is estimated using the statistical learning engine, and the measured value of the dimension number n is estimated from the component variable of the dimension number m using the correlation learning engine. However, it is also preferable to make the computer function as an encoder that inputs the measured value of the dimension number n to the biological learning engine.

本発明のプログラムにおける他の実施形態によれば、
統計学習エンジンは、主成分分析(Principal Component Analysis)又はオートエンコーダ(AutoEncoder)に基づくものであり、
相関学習エンジンは、最小二乗法又は多層パーセプトロンに基づくものである
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the invention
The statistical learning engine is based on Principal Component Analysis or AutoEncoder.
It is also preferable to make the computer function so that the correlation learning engine is based on the least squares method or the multi-layer perceptron.

本発明によれば、生体における現在時点の計測値から、予測時点の計測値を予測する装置であって、
教師データは、複数生体について、第1時点及び当該第1時点の計測値と、第2時点及び当該第2時点の計測値とが対応付けられたものであり、
教師データ毎に、第1時点及び当該第1時点の計測値と、第2時点とを入力し、当該第2時点の計測値を出力するように学習モデルを構築した生体学習エンジンとして機能させ、
生体学習エンジンは、予測対象の生体について、現在時点及び当該現在時点の計測値と、予測時点とを入力し、当該予測時点の計測値を出力する
ことを特徴とする。
According to the present invention, it is a device that predicts the measured value at the predicted time from the measured value at the present time in the living body.
The teacher data is a combination of the measured values at the first time point and the first time point and the measured values at the second time point and the second time point for a plurality of living bodies.
For each teacher data, the measured values of the first time point and the first time point and the second time point are input, and the learning model is constructed so as to output the measured values of the second time point.
The biological learning engine is characterized in that the current time point, the measured value at the present time point, and the predicted time point are input to the living body to be predicted, and the measured value at the predicted time point is output.

本発明によれば、生体における現在時点の計測値から、予測時点の計測値を予測する装置の予測方法であって、
教師データは、複数生体について、第1時点及び当該第1時点の計測値と、第2時点及び当該第2時点の計測値とが対応付けられたものであり、
装置は、
教師データ毎に、第1時点及び当該第1時点の計測値と、第2時点とを入力し、当該第2時点の計測値を出力するように学習モデルを構築し、
予測対象の生体について、現在時点及び当該現在時点の計測値と、予測時点とを入力し、当該予測時点の計測値を出力する
ように実行することを特徴とする。
According to the present invention, it is a prediction method of a device that predicts a measurement value at a prediction time from a measurement value at a current time in a living body.
The teacher data is a combination of the measured values at the first time point and the first time point and the measured values at the second time point and the second time point for a plurality of living bodies.
The device is
For each teacher data, input the measured values of the first time point and the first time point and the second time point, and build a learning model so as to output the measured values of the second time point.
A feature of the living body to be predicted is that the current time point, the measured value at the present time point, and the predicted time point are input, and the measured value at the predicted time point is output.

本発明のプログラム、装置及び方法によれば、生体の計測値を教師データとして学習し、現在時点の計測値から予測時点の計測値を予測することができる。また、対象ユーザについて予測した計測値から、3次元モデルを生成することもできる。 According to the program, apparatus and method of the present invention, the measured value of the living body can be learned as teacher data, and the measured value at the predicted time can be predicted from the measured value at the present time. It is also possible to generate a three-dimensional model from the measured values predicted for the target user.

時系列の生体情報を、再帰型ニューラルネットワークの学習エンジンに適用した説明図である。It is explanatory drawing which applied the time series biometric information to the learning engine of the recurrent neural network. 本発明における生体学習エンジンの説明図である。It is explanatory drawing of the biological learning engine in this invention. 3次元モデルから予測年齢の計測値を出力するエンコード側の機能構成図である。It is a functional block diagram of the encoding side which outputs the measured value of the predicted age from a 3D model. 予測年齢の計測値から3次元モデルを再生するデコード側の機能構成図である。It is a functional block diagram of the decoding side which reproduces a 3D model from the measured value of a predicted age. 統計学習エンジン及び相関学習エンジンの学習段階を表す説明図である。It is explanatory drawing which shows the learning stage of a statistical learning engine and a correlation learning engine. 統計学習エンジンにおける3次元モデルのベクトル空間を表す説明図である。It is explanatory drawing which shows the vector space of a 3D model in a statistical learning engine. 統計学習エンジンにおける統計形状空間を表す説明図である。It is explanatory drawing which shows the statistical shape space in a statistical learning engine. 統計学習エンジンにおける主成分分析を表す簡易なコードである。It is a simple code that represents the principal component analysis in the statistical learning engine. 計測値から導出した計測値空間を表す説明図である。It is explanatory drawing which shows the measured value space derived from the measured value. 統計形状空間と計測値空間との線形変換を表す説明図である。It is explanatory drawing which shows the linear transformation between a statistical shape space and a measured value space. 相関学習エンジンにおける統計形状空間と計測値空間との間の線形変換を表す簡易なコードである。It is a simple code that represents a linear transformation between the statistical shape space and the measured value space in the correlation learning engine.

以下では、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

本発明によれば、以下の2つの実施形態に基づく。
<第1の実施形態>生体の計測値の予測
<第2の実施形態>予測された生体の計測値に基づく3次元モデルの再生
According to the present invention, it is based on the following two embodiments.
<First embodiment> Prediction of measured values of living body <Second embodiment> Reproduction of a three-dimensional model based on predicted measured values of living body

<第1の実施形態>生体の計測値の予測
本発明は、生体における現在時点の計測値から、予測時点の計測値を予測する。
<First Embodiment> Prediction of measured values of a living body The present invention predicts the measured values at the time of prediction from the measured values at the present time in the living body.

本発明の実施形態によれば、以下のように定義する。
「生体」:経年変化する物体である。例えば「人体」であるとして説明する。
「時点」:経年に基づく時点である。例えば人体の場合、経年に基づく「年齢」であるとして説明する。
According to the embodiment of the present invention, it is defined as follows.
"Biological body": An object that changes over time. For example, it will be described as a "human body".
"Time point": A time point based on aging. For example, in the case of the human body, it is explained as "age" based on aging.

「現在時点」:必ずしも処理が実行される時点でなくてもよいが、説明変数となる計測値の基準時点を意味する。例えば対象ユーザの「現在年齢」であるとして説明する。
「予測時点」:目的変数となる計測値の時点を意味する。例えば対象ユーザが所望する「予測年齢」として説明する。
ここで、予測時点は、現在時点からみて未来時点であってもよいし、現在時点からみて過去時点であってもよい。尚、本発明の実施形態では、予測時点は、現在時点からみて未来時点であるとして説明する。
"Current time": It does not necessarily have to be the time when the process is executed, but it means the reference time of the measured value as an explanatory variable. For example, it will be described as the "current age" of the target user.
"Prediction time point": means the time point of the measured value which is the objective variable. For example, it will be described as the "predicted age" desired by the target user.
Here, the prediction time point may be a future time point when viewed from the present time point, or may be a past time point when viewed from the present time point. In the embodiment of the present invention, the predicted time point will be described as a future time point when viewed from the present time point.

「計測値」:採寸値及び/又は体組成値
採寸値は、人体の場合、外観から計測可能な寸法を意味する。例えば身長、トップバスト(胸囲)、アンダーバスト、ウエスト(腹囲)、ヒップ(尻囲)などがある。ここで、採寸値は、例えばマルチン式人体計測法に基づくものであってもよい(例えば非特許文献2参照)。
体組成値は、人体の場合、体組成計や血液検査などの機器から計測可能な値を意味する。例えば生体情報のような、体重、体脂肪率、内臓脂肪レベル、皮下脂肪率、基礎代謝、骨格筋率、筋肉率、BMI、活動量、歩数、血圧値、心拍(脈拍)数、体温、呼吸数、血液に関する指標値(血糖値、中性脂肪量、コレステロール量など)、消費カロリ、食事量、水分摂取量、排泄量、発汗量、肺活量、睡眠量などがある。
"Measured value": Measured value and / or body composition value In the case of a human body, the measured value means a dimension that can be measured from the appearance. For example, height, top bust (chest circumference), under bust, waist (abdominal circumference), hips (buttock circumference), etc. Here, the measured value may be based on, for example, a Martin-type anthropometry method (see, for example, Non-Patent Document 2).
In the case of the human body, the body composition value means a value that can be measured from a device such as a body composition meter or a blood test. For example, body weight, body fat percentage, visceral fat level, subcutaneous fat percentage, basal metabolism, skeletal muscle percentage, muscle percentage, BMI, activity amount, step count, blood pressure value, heart rate (pulse) count, body temperature, breathing. There are number, index value related to blood (blood glucose level, neutral fat amount, cholesterol amount, etc.), calorie consumption, meal amount, water intake amount, excretion amount, sweating amount, lung activity amount, sleep amount, etc.

図2は、本発明における生体学習エンジンの説明図である。 FIG. 2 is an explanatory diagram of the biological learning engine in the present invention.

図2によれば、学習エンジンとして、多層パーセプトロンを用いているが、勿論、他の深層学習エンジンであってもよい。
多層パーセプトロン(Multilayer perceptron)とは、順伝播型ニューラルネットワークであり、少なくとも入力層、隠れ層及び出力層の3つからなる。隠れ層及び出力層は、非線形活性化関数を使用するニューロンからなる。多層パーセプトロンは、誤差逆伝播法(backpropagation)と称される教師あり学習であり、非線形分類のデータも識別することができる。
According to FIG. 2, a multi-layer perceptron is used as the learning engine, but of course, another deep learning engine may be used.
A Multilayer perceptron is a feedforward neural network, which consists of at least an input layer, a hidden layer, and an output layer. The hidden layer and the output layer consist of neurons that use a nonlinear activation function. Multilayer perceptron is a supervised learning called backpropagation, which can also identify non-linear classification data.

生体学習エンジン10は、多数の人体について過去時点の計測値と未来時点の計測値との関係を、教師データとして学習することによって、対象ユーザにおける現在時点及び当該現在時点の計測値と、予測時点とから、当該予測時点の計測値を予測する。
生体学習エンジン10は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現できる。また、これら処理の流れは、装置の予測方法としても理解できる。
The biolearning engine 10 learns the relationship between the measured values at the past time point and the measured values at the future time point for a large number of human bodies as teacher data, so that the measured values at the current time point and the current time point of the target user and the predicted time point are predicted. From, the measured value at the time of the prediction is predicted.
The biolearning engine 10 can be realized by executing a program for operating a computer mounted on the device. Further, the flow of these processes can be understood as a method of predicting the device.

<教師データ>
教師データは、多数の人体(生体)について、第1時点及び当該第1時点の計測値と、第2時点及び当該第2時点の計測値とが対応付けられたものである。
過去時点の計測値 <-> 未来時点の計測値
「過去時点」:過去に計測した時点(年齢)
「未来時点」:過去時点よりも未来に計測した時点(年齢)
即ち、人体毎に、少なくとも2つの時点の計測値が対応付けられていれば、教師データとして用いることができる。
<Teacher data>
The teacher data is a combination of the measured values at the first time point and the first time point and the measured values at the second time point and the second time point for a large number of human bodies (living bodies).
Measured value at the past time <-> Measured value at the future time point "Past time point": Time point measured in the past (age)
"Future time point": Time point measured in the future rather than past time point (age)
That is, if the measured values at at least two time points are associated with each human body, it can be used as teacher data.

例えば2人の人体について、3回と4回の計測記録があったとする。この場合、教師データとしては、以下のように過去時点の計測値と未来時点の計測値との関係に区分する。
(現在52歳のユーザa)30歳、40歳、50歳と定期的に過去に3回計測
教師データa1: 30歳の計測値 <-> 40歳の計測値
教師データa2: 30歳の計測値 <-> 50歳の計測値
教師データa3: 40歳の計測値 <-> 50歳の計測値
(現在38歳のユーザb)22歳、25歳、26歳、38歳と不定期に過去に4回計測
教師データb1: 22歳の計測値 <-> 25歳の計測値
教師データb2: 22歳の計測値 <-> 26歳の計測値
教師データb3: 22歳の計測値 <-> 38歳の計測値
教師データb4: 25歳の計測値 <-> 26歳の計測値
教師データb5: 25歳の計測値 <-> 38歳の計測値
教師データb6: 26歳の計測値 <-> 38歳の計測値
このように3回計測のユーザaと、4回計測のユーザbとが記録されている場合、9個の教師データとして表現できる。即ち、同一ユーザの中で、2つの計測時点間の総当たりを導出する。
For example, suppose that there are three and four measurement records for two human bodies. In this case, the teacher data is classified into the relationship between the measured value at the past time point and the measured value at the future time point as follows.
(Currently 52-year-old user a) 30-year-old, 40-year-old, 50-year-old and regularly measured three times in the past Teacher data a1: 30-year-old measurement value <-> 40-year-old measurement value Teacher data a2: 30-year-old measurement Value <-> 50-year-old measured value Teacher data a3: 40-year-old measured value <-> 50-year-old measured value (currently 38-year-old user b) 22-year-old, 25-year-old, 26-year-old, 38-year-old irregularly in the past 4 times measurement Teacher data b1: 22-year-old measurement value <-> 25-year-old measurement value Teacher data b2: 22-year-old measurement value <-> 26-year-old measurement value Teacher data b3: 22-year-old measurement value <-> 38-year-old measurement value Teacher data b4: 25-year-old measurement value <-> 26-year-old measurement value Teacher data b5: 25-year-old measurement value <-> 38-year-old measurement value Teacher data b6: 26-year-old measurement value <- > 38-year-old measured value When the user a of 3 times measurement and the user b of 4 times measurement are recorded in this way, it can be expressed as 9 teacher data. That is, the round-robin between two measurement time points is derived in the same user.

本発明の特徴は、計測値が不定期に(異なる期間間隔で)計測されたものであっても、教師データとして用いることができる点にある。即ち、教師データとして、少なくとも2時点の計測値が取得されていればよく、時系列データとして連続している必要もない。 A feature of the present invention is that even if the measured values are measured irregularly (at different period intervals), they can be used as teacher data. That is, it is sufficient that the measured values at at least two time points are acquired as the teacher data, and it is not necessary that the measured values are continuous as the time series data.

<学習段階>
生体学習エンジン10は、教師データ毎に、第1時点及び当該第1時点の計測値と、第2時点とを入力し、当該第2時点の計測値を出力するように学習モデルを構築する。
(入力)第1時点・第1時点の計測値・第2時点
(出力) 第2時点の計測値
<Learning stage>
The biological learning engine 10 inputs the measured values of the first time point and the first time point and the second time point for each teacher data, and constructs a learning model so as to output the measured values of the second time point.
(Input) 1st time point, 1st time point measurement value, 2nd time point (output) 2nd time point measurement value

第1時点は、過去時点であり、第2時点は、未来時点であり、予測時点は、未来の予測時点であってもよい。この場合、生体学習エンジンは、過去時点から未来時点へ向かう計測値として学習する。
逆に、第1時点は、未来時点であり、第2時点は、過去時点であり、予測時点は、過去の予測時点であってもよい。この場合、生体学習エンジンは、未来時点から過去時点へ向かう計測値として学習する。
The first time point may be a past time point, the second time point may be a future time point, and the prediction time point may be a future prediction time point. In this case, the biological learning engine learns as a measured value from a past time point to a future time point.
Conversely, the first time point may be a future time point, the second time point may be a past time point, and the prediction time point may be a past prediction time point. In this case, the biological learning engine learns as a measured value from a future time point to a past time point.

前述の教師データa1~a3、b1~b6を、生体学習エンジンへの入出力によって学習モデルを構築する。
(現在52歳のユーザa)30歳、40歳、50歳と定期的に過去に3回計測
教師データa1:(入力)30歳・30歳の計測値・40歳
(出力) 40歳の計測値
教師データa2:(入力)30歳・30歳の計測値・50歳
(出力) 50歳の計測値
教師データa3:(入力)40歳・40歳の計測値・50歳
(出力) 50歳の計測値
(現在38歳のユーザb)22歳、25歳、26歳、38歳と不定期に過去に4回計測
教師データb1:(入力)22歳・22歳の計測値・25歳
(出力) 25歳の計測値
教師データb2:(入力)22歳・22歳の計測値・26歳
(出力) 26歳の計測値
教師データb3:(入力)22歳・22歳の計測値・38歳
(出力) 38歳の計測値
教師データb4:(入力)25歳・25歳の計測値・26歳
(出力) 26歳の計測値
教師データb5:(入力)25歳・25歳の計測値・38歳
(出力) 38歳の計測値
教師データb6:(入力)26歳・26歳の計測値・38歳
(出力) 38歳の計測値
これによって、人体の経年に伴う計測値の変位を表現する学習モデルを構築する。
A learning model is constructed by inputting / outputting the above-mentioned teacher data a1 to a3 and b1 to b6 to the biolearning engine.
(Currently 52-year-old user a) 30-year-old, 40-year-old, 50-year-old and regularly measured three times in the past Teacher data a1: (Input) 30-year-old / 30-year-old measured value / 40-year-old
(Output) 40-year-old measured value Teacher data a2: (Input) 30-year-old / 30-year-old measured value / 50-year-old
(Output) 50-year-old measurement value Teacher data a3: (Input) 40-year-old / 40-year-old measurement value / 50-year-old
(Output) 50-year-old measurement value (currently 38-year-old user b) 22-year-old, 25-year-old, 26-year-old, 38-year-old and irregularly measured 4 times in the past Teacher data b1: (Input) 22-year-old and 22-year-old measurement Value 25 years old
(Output) 25-year-old measurement value Teacher data b2: (Input) 22-year-old / 22-year-old measurement value / 26-year-old
(Output) 26-year-old measurement value Teacher data b3: (Input) 22-year-old / 22-year-old measurement value / 38-year-old
(Output) 38-year-old measurement value Teacher data b4: (Input) 25-year-old / 25-year-old measurement value / 26-year-old
(Output) 26-year-old measurement value Teacher data b5: (Input) 25-year-old / 25-year-old measurement value / 38-year-old
(Output) 38-year-old measurement value Teacher data b6: (Input) 26-year-old / 26-year-old measurement value / 38-year-old
(Output) 38-year-old measured value This constructs a learning model that expresses the displacement of the measured value over time of the human body.

<推定段階>
生体学習エンジン10は、予測対象の生体について、現在時点及び当該現在時点の計測値と、予測時点とを入力し、当該予測時点の計測値を出力する。
(入力)現在時点・現在時点の計測値・予測時点
(出力) 予測時点の計測値
<Estimation stage>
The biological learning engine 10 inputs the current time point, the measured value at the present time point, and the predicted time point for the living body to be predicted, and outputs the measured value at the predicted time point.
(Input) Current time / Current measurement value / Prediction time (Output) Prediction time measurement value

第1時点は、過去時点であり、第2時点は、未来時点である場合、予測時点は、未来の予測時点となる。
逆に、第1時点は、未来時点であり、第2時点は、過去時点である場合、予測時点は、過去の予測時点となる。
If the first time point is the past time point and the second time point is the future time point, the predicted time point is the future predicted time point.
On the contrary, when the first time point is the future time point and the second time point is the past time point, the predicted time point is the past predicted time point.

図2によれば、例えば現在年齢32歳のユーザxが、年齢48歳のときの計測値を予測したいとしている。
(入力)現在年齢32歳・32歳の計測値・予測年齢48歳
(出力) 48歳の計測値
学習段階で構築された学習モデルを用いて、ユーザxが予測時点に最も推移するであろう計測値を予測することができる。
According to FIG. 2, for example, a user x who is currently 32 years old wants to predict a measured value when he is 48 years old.
(Input) Current age 32 years old, 32 years old measured value, predicted age 48 years old (output) 48 years old measured value Using the learning model built at the learning stage, user x will most likely change to the time of prediction. The measured value can be predicted.

<第2の実施形態>予測された生体の計測値に基づく3次元モデルの再生
本発明は、第1の実施形態によって予測された人体の計測値から、3次元モデルを再生することができる。
<Second Embodiment> Reproduction of a three-dimensional model based on predicted biological measurement values The present invention can reproduce a three-dimensional model from the human body measurement values predicted by the first embodiment.

図3は、3次元モデルから予測年齢の計測値を出力するエンコード側の機能構成図である。 FIG. 3 is a functional configuration diagram on the encoding side that outputs the measured value of the predicted age from the three-dimensional model.

予測装置1は、外部の光学スキャナに接続されている。光学スキャナは、ユーザの外形を光学的に計測し、3次元モデルを生成する(例えば非特許文献1参照)。その3次元モデルは、予測装置1へ入力される。 The predictor 1 is connected to an external optical scanner. The optical scanner optically measures the external shape of the user and generates a three-dimensional model (see, for example, Non-Patent Document 1). The three-dimensional model is input to the prediction device 1.

図3によれば、予測装置1は、生体学習エンジン10と、エンコーダ11とを有する。
エンコーダ11は、光学スキャナによって生成された3次元モデルを入力し、その3次元モデルに基づく計測値を出力する。その計測値は、光学スキャナに入ったユーザxの現在年齢の計測値を意味する。
また、予測装置1は、ユーザxに対して、ユーザインタフェースを介して現在年齢及び予測年齢を入力させる。
そして、生体学習エンジン10は、エンコーダ11からの現在年齢の計測値と、ユーザインタフェースを介した現在年齢及び予測年齢とを入力する。
これによって、生体学習エンジン10は、前述した図2のように、予測年齢の計測値を出力する。
According to FIG. 3, the prediction device 1 has a biological learning engine 10 and an encoder 11.
The encoder 11 inputs a three-dimensional model generated by the optical scanner and outputs a measured value based on the three-dimensional model. The measured value means the measured value of the current age of the user x who has entered the optical scanner.
Further, the prediction device 1 causes the user x to input the current age and the predicted age via the user interface.
Then, the biological learning engine 10 inputs the measured value of the current age from the encoder 11 and the current age and the predicted age via the user interface.
As a result, the biological learning engine 10 outputs the measured value of the predicted age as shown in FIG. 2 described above.

図4は、予測年齢の計測値から3次元モデルを再生するデコード側の機能構成図である。 FIG. 4 is a functional configuration diagram on the decoding side that reproduces the three-dimensional model from the measured value of the predicted age.

予測装置1は、デコーダ12を更に有する。
図4によれば、デコーダ12は、生体学習エンジン10から予測年齢の計測値を入力し、その予測年齢の計測値に基づく3次元モデルを出力する。その3次元モデルは、ディスプレイのようなユーザインタフェースによって、ユーザに視認できるようになる。
The predictor 1 further includes a decoder 12.
According to FIG. 4, the decoder 12 inputs the measured value of the predicted age from the biological learning engine 10 and outputs a three-dimensional model based on the measured value of the predicted age. The three-dimensional model becomes visible to the user through a user interface such as a display.

前述した図3のエンコーダ及び図4のデコーダは、統計学習エンジン101と、相関学習エンジン102とを有する。これらは、学習段階と推定段階とからなり、教師データには、不特定多数の人体から光学スキャナによって予め取得された3次元モデルを用いる。 The encoder of FIG. 3 and the decoder of FIG. 4 described above have a statistical learning engine 101 and a correlation learning engine 102. These consist of a learning stage and an estimation stage, and for the teacher data, a three-dimensional model previously acquired by an optical scanner from an unspecified number of human bodies is used.

図5は、統計学習エンジン及び相関学習エンジンの学習段階を表す説明図である。
尚、図5に基づく機能構成は、本願の出願人によって特許が取得された、人体の採寸値のみから3次元モデルを簡易に生成する技術に基づくものである(例えば特許文献2参照)。
FIG. 5 is an explanatory diagram showing the learning stages of the statistical learning engine and the correlation learning engine.
The functional configuration based on FIG. 5 is based on a technique patented by the applicant of the present application to easily generate a three-dimensional model only from the measured values of the human body (see, for example, Patent Document 2).

<教師データ>
教師データは、複数人体(生体)について、3次元モデルを更に対応付けている。
第1時点及び当該第1時点の計測値 <-> 3次元モデル
第2時点及び当該第2時点の計測値 <-> 3次元モデル
<Teacher data>
The teacher data further associates a three-dimensional model with a plurality of human bodies (living bodies).
Measured values at the 1st time point and the 1st time point <-> 3D model Measured values at the 2nd time point and the 2nd time point <-> 3D model

[統計学習エンジン101]
統計学習エンジン101は、各3次元モデルを入力し、次元圧縮された成分変数(次元数m>1)を出力するように、統計学習モデルを構築する。
統計学習エンジンは、主成分分析(Principal Component Analysis)又はオートエンコーダ(AutoEncoder)に基づくものであってもよい。
[Statistical learning engine 101]
The statistical learning engine 101 inputs each three-dimensional model and constructs a statistical learning model so as to output a dimensionally compressed component variable (number of dimensions m> 1).
The statistical learning engine may be based on Principal Component Analysis or AutoEncoder.

図6は、統計学習エンジンにおける3次元モデルのベクトル空間を表す説明図である。 FIG. 6 is an explanatory diagram showing the vector space of the three-dimensional model in the statistical learning engine.

図6によれば、教師データとしては、様々な体形を持つ例えば6000体の人体を想定している。3次元モデルは、人体(生体)の形状データであって、同一頂点数で表現される。
図6(a)によれば、3次元モデルは、人体毎に頂点数がN=150万あり、各頂点は3次元(x,y,z)で表現される。即ち、人体の3次元モデルは、3N(=450万)次元のベクトルで表される。
図6(b)によれば、3次元モデルの人体毎に、3N次元空間における1点で表される。
According to FIG. 6, as the teacher data, for example, 6000 human bodies having various body shapes are assumed. The three-dimensional model is shape data of a human body (living body) and is represented by the same number of vertices.
According to FIG. 6A, the three-dimensional model has N = 1.5 million vertices for each human body, and each vertex is represented in three dimensions (x, y, z). That is, the three-dimensional model of the human body is represented by a 3N (= 4.5 million) dimensional vector.
According to FIG. 6B, each human body of the three-dimensional model is represented by one point in the 3N-dimensional space.

尚、一般的な機械学習エンジンによれば、膨大な数の教師データを必要とするのに対し、本発明によれば、教師データ群の複数体数は、3次元モデルの頂点数よりも少なくてもよい。即ち、教師データの人体数6,000は、3次元モデルのベクトル次元数450万よりも少ない。本発明によれば、教師データの複数体数は、3次元モデルのベクトル次元数以上に用意する必要がなく、そうであっても十分に精度を維持することができる。 According to a general machine learning engine, a huge amount of teacher data is required, whereas according to the present invention, the number of plural bodies of the teacher data group is smaller than the number of vertices of the three-dimensional model. You may. That is, the number of human bodies in the teacher data is 6,000, which is less than the vector dimension number of 4.5 million in the three-dimensional model. According to the present invention, it is not necessary to prepare the number of plural bodies of the teacher data to be larger than the vector dimension number of the three-dimensional model, and even so, the accuracy can be sufficiently maintained.

図7は、統計学習エンジンにおける統計形状空間を表す説明図である。
図8は、統計学習エンジンにおける主成分分析を表す簡易なコードである。
FIG. 7 is an explanatory diagram showing a statistical shape space in a statistical learning engine.
FIG. 8 is a simple code representing the principal component analysis in the statistical learning engine.

統計学習エンジン101は、具体的には、主成分分析(Principal Component Analysis)に基づくものであってもよい。
「主成分分析」によって、相関のある3N次元空間の6000点から、互いに無相関で全体のばらつきを最もよく表す少数(例えば500次元)の主成分(成分変数)を導出する。第1主成分の分散を最大化し、続く主成分はそれまでに決定した主成分と無相関という拘束条件の下で、分散を最大化するようにして選択される。主成分の分散を最大化することによって、観測値の変化に対する説明能力を可能な限り主成分に持たせる。主成分を与える主軸は3N次空間における6000点の群の直交基底となっている。主軸の直交性は、主軸が共分散行列の固有ベクトルになっており、共分散行列が実対称行列であることから導かれる。
Specifically, the statistical learning engine 101 may be based on Principal Component Analysis.
By "principal component analysis", a small number (for example, 500 dimensions) of principal components (component variables) that are uncorrelated with each other and best represent the overall variation are derived from 6000 points in a correlated 3N dimensional space. The variance of the first principal component is maximized, and the subsequent principal components are selected so as to maximize the variance under the constraint of no correlation with the previously determined principal components. By maximizing the variance of the principal components, the principal components have the ability to explain changes in observed values as much as possible. The main axis that gives the principal component is the orthogonal basis of the group of 6000 points in the 3Nth-order space. The orthogonality of the main axis is derived from the fact that the main axis is the eigenvector of the covariance matrix and the covariance matrix is a real symmetric matrix.

統計学習エンジン101は、3N次元空間に対して、主成分分析に基づく成分変数を次元数とする統計形状空間(例えば500次元)に射影させる統計学習モデルを構築する。
本発明によれば、3N(=450万)次元空間における各3次元モデルを、例えば500次元(成分変数)空間に射影する。主成分を与える変換は、観測値の集合からなる行列の特異値分解で表され、3N次元空間の6000点の群からなる矩形行列Xの特異値分解は、以下の式で表される。
X=U*Σ*VT
X:3N次元空間の6000点からなる行列(6000行×3N列)
U:n(6000)×n(6000)の正方行列(n次元単位ベクトルの直交行列)
Σ:n(6000)×p(3N)の矩形対角行列(対角成分は、Xの特異値)
V:p(3N)×p(3N)の正方行列(p次元単位ベクトルの直交行列)
ここで、Vの最初の30列からなる行列をVと改める。そして、その行列Vによる線形変換はXの主成分を与える。
V:3N次元空間->統計形状(500次元)空間への変換を表す行列
-1:統計形状(500次元)空間->3N次元空間への変換を表す行列
尚、行列の上付き添え字-1は逆行列を示す記号ではなく、行列が定めるベクトルの変換に対して、その逆変換を意味する抽象的な記号として用いている。ここでは、V-1は、Vの転置VTと等しい。
The statistical learning engine 101 constructs a statistical learning model that projects a component variable based on principal component analysis onto a statistical shape space (for example, 500 dimensions) whose number of dimensions is a 3N dimensional space.
According to the present invention, each three-dimensional model in a 3N (= 4.5 million) dimensional space is projected onto, for example, a 500-dimensional (component variable) space. The transformation that gives the principal component is expressed by the singular value decomposition of a matrix consisting of a set of observed values, and the singular value decomposition of a rectangular matrix X consisting of a group of 6000 points in a 3N-dimensional space is expressed by the following equation.
X = U * Σ * V T
X: Matrix consisting of 6000 points in 3N dimensional space (6000 rows x 3N columns)
U: Square matrix of n (6000) × n (6000) (Orthogonal matrix of n-dimensional unit vector)
Σ: N (6000) × p (3N) rectangular diagonal matrix (diagonal component is a singular value of X)
V: square matrix of p (3N) × p (3N) (orthogonal matrix of p-dimensional unit vector)
Here, the matrix consisting of the first 30 columns of V is changed to V. Then, the linear transformation by the matrix V gives the main component of X.
V: 3N dimensional space-> Matrix representing transformation to statistical shape (500 dimensional) space
V -1 : Statistical shape (500 dimensions) Matrix-> Matrix representing transformation to N-dimensional space Note that the subscript -1 of the matrix is not a symbol indicating the inverse matrix, but for the transformation of the vector defined by the matrix. , Is used as an abstract symbol meaning its inverse transformation. Here, V -1 is equal to the transposed V T of V.

図7からも明らかなとおり、行列V又はV-1による線形変換によって、3N次元空間と統計形状空間との間で、3次元モデルの人体毎に対応付けることができる。
s=x*V
x=s*V-1
s:統計形状空間のベクトル
x:3N次元空間のベクトル
V:統計学習モデル
As is clear from FIG. 7, by linear transformation by the matrix V or V -1 , it is possible to associate the 3N dimensional space with the statistical shape space for each human body of the 3D model.
s = x * V
x = s * V -1
s: Vector in statistical shape space
x: Vector in 3N dimensional space
V: Statistical learning model

また、統計学習エンジン101は、オートエンコーダ(AutoEncoder)に基づくものであってもよい。
オートエンコーダは、ニューラルネットワークの一種で、情報量を小さくした特徴表現を実現する。具体的には、入力データの次元数よりも、隠れ層の次元を圧縮したものである。入力データを、ニューラルネットワークを通して圧縮し、出力時には元のサイズに戻す。このとき、ニューラルネットワークは、入力データの抽象的概念(特徴量)を抽出する。
オートエンコーダも、主成分分析と同様に、相関のある3N次元空間の6000点から、互いに無相関で全体のばらつきを最もよく表す500次元の成分変数を導出する。
Further, the statistical learning engine 101 may be based on an autoencoder.
An autoencoder is a type of neural network that realizes feature expression with a small amount of information. Specifically, the dimension of the hidden layer is compressed rather than the number of dimensions of the input data. The input data is compressed through a neural network and returned to its original size at output. At this time, the neural network extracts the abstract concept (feature amount) of the input data.
Similar to principal component analysis, the autoencoder also derives 500-dimensional component variables that are uncorrelated with each other and best represent the overall variation from 6000 points in a correlated 3N-dimensional space.

[相関学習エンジン102]
相関学習エンジン102は、各3次元モデルについて、次元数nの計測値と、次元数mの成分変数と関係を相互に学習するように、相関学習モデルを構築する。
[Correlation learning engine 102]
The correlation learning engine 102 constructs a correlation learning model so as to mutually learn the relationship between the measured value of the number of dimensions n and the component variable of the number of dimensions m for each three-dimensional model.

図9は、計測値から導出した計測値空間を表す説明図である。 FIG. 9 is an explanatory diagram showing a measured value space derived from the measured values.

教師データにおける3次元モデルの人体毎に、次元数nの計測値が対応付けられている。
計測値は、3次元モデルと対応付けられているが、その3次元モデル自体から導出可能な1つ以上の計測値(採寸値及び/又は体組成値)を含むものであってもよい。但し、幾何学に基づく採寸箇所は、複数箇所であることが好ましい。身長だけでは難しく、身長+腹囲や、身長+腹囲+胸囲のように複数の計測値であることが好ましい。
そして、複数の計測値から、計測値空間を導出することができる。例えば12個の計測値が付与されている場合、計測値空間は12次元となる。
A measured value of the number of dimensions n is associated with each human body of the three-dimensional model in the teacher data.
Although the measured value is associated with the three-dimensional model, it may include one or more measured values (measured value and / or body composition value) that can be derived from the three-dimensional model itself. However, it is preferable that there are a plurality of measurement points based on geometry. It is difficult to use only the height, and it is preferable that there are multiple measured values such as height + abdominal circumference and height + abdominal circumference + chest circumference.
Then, the measured value space can be derived from a plurality of measured values. For example, when 12 measured values are given, the measured value space is 12-dimensional.

相関学習エンジン102は、最小二乗法又は多層パーセプトロンに基づくものであってもよい。 The correlation learning engine 102 may be based on the least squares method or the multi-layer perceptron.

図10は、統計形状空間と計測値空間との線形変換を表す説明図である。
図11は、相関学習エンジンにおける統計形状空間と計測値空間との間の線形変換を表す簡易なコードである。
FIG. 10 is an explanatory diagram showing a linear transformation between the statistical shape space and the measured value space.
FIG. 11 is a simple code representing a linear transformation between the statistical shape space and the measured value space in the correlation learning engine.

<最小二乗法>
相関学習エンジン102は、最小二乗法に基づくものであってもよい。
「最小二乗法(least squares method)」とは、複数の多次元ベクトル(データの組)から線形モデルで近似する際に、残差の二乗和が最小となる最も確からしい線形モデルを決定することをいう。
<Least squares method>
The correlation learning engine 102 may be based on the least squares method.
The "least squares method" is to determine the most probable linear model that minimizes the sum of squares of residuals when approximating with a linear model from multiple multidimensional vectors (sets of data). To say.

図10からも明らかなとおり、行列A又はA-1による線形変換によって、統計形状空間と計測値空間との間で、3次元モデルの人体毎に対応付けることができる。
s=d*A
d=s*A-1
A=(DT*D)-1*DT*S (||D*A-S||を最小化するAを導出する)
s:統計形状空間のベクトル
d:計測値空間のベクトル
S:統計形状空間のベクトルの組
D:計測値空間のベクトルの組
A:相関学習モデル
As is clear from FIG. 10, by the linear transformation by the matrix A or A -1 , the statistical shape space and the measured value space can be associated with each human body of the three-dimensional model.
s = d * A
d = s * A -1
A = (D T * D) -1 * D T * S (deriving A that minimizes || D * AS ||)
s: Vector in statistical shape space
d: Vector in measured space
S: Vector set of statistical shape space
D: Set of vectors in the measured value space
A: Correlation learning model

相関学習エンジン102は、多層パーセプトロンはに基づくものであってもよい。これは、線形パーセプトロンにおける最小二乗法アルゴリズムの一般化である。***
The correlation learning engine 102 may be based on the Multilayer Perceptron. This is a generalization of the least squares algorithm in a linear perceptron. ***

<エンコーダ11の推定段階>
前述した図3によれば、エンコーダ11は、予測対象のデータとして、現在時点の3次元モデルを入力する。
エンコーダ11は、以下のように実行される。
(S1)現在時点の3次元モデルを入力する。
(S2)統計学習エンジン101を用いて、現在時点の3次元モデルから、次元数mの成分変数を推定する。
(S3)相関学習エンジン102を用いて、当該次元数mの成分変数から、次元数nの計測値を推定する。
(S4)次元数nの計測値を生体学習エンジン10へ出力する。
<Estimation stage of encoder 11>
According to FIG. 3 described above, the encoder 11 inputs the current three-dimensional model as the data to be predicted.
The encoder 11 is executed as follows.
(S1) Input the 3D model at the present time.
(S2) Using the statistical learning engine 101, a component variable having a number of dimensions m is estimated from the current three-dimensional model.
(S3) Using the correlation learning engine 102, the measured value of the dimension number n is estimated from the component variable of the dimension number m.
(S4) The measured value of the number of dimensions n is output to the biological learning engine 10.

<デコーダ12の推定段階>
前述した図4によれば、デコーダ12は、予測時点の次元数nの計測値から、3次元モデルを再生する。
デコーダ12は、以下のように実行される。
(S1)生体学習エンジン10から、予測時点の次元数nの計測値を入力する。
(S2)相関学習エンジン102を用いて、予測時点の次元数nの計測値から、次元数mの成分変数を推定する。
(S3)統計学習エンジン101を用いて、当該次元数mの成分変数から、3次元モデルを推定する。
(S4)3次元モデルをユーザインタフェースへ出力する。
<Estimation stage of decoder 12>
According to FIG. 4 described above, the decoder 12 reproduces the three-dimensional model from the measured value of the number of dimensions n at the time of prediction.
The decoder 12 is executed as follows.
(S1) From the biological learning engine 10, the measured value of the number of dimensions n at the time of prediction is input.
(S2) Using the correlation learning engine 102, the component variable of the dimension number m is estimated from the measured value of the dimension number n at the time of prediction.
(S3) Using the statistical learning engine 101, a three-dimensional model is estimated from the component variables of the dimension number m.
(S4) Output the 3D model to the user interface.

前述した実施形態によれば、計測値には、採寸値に加えて、体組成値も含まれてもよい。人体の体形は、その体組成値によっても大きく変化するであろう。複数のユーザで、例えば同じ身長、腹囲及び胸囲であっても、体組成値によってはその外観が異なる場合もある、と考えられる。そのために、採寸値のみならず、体組成計や血液検査によって取得可能な体組成値も、採寸値外観となる3次元モデルに対応付けている。 According to the above-described embodiment, the measured value may include a body composition value in addition to the measured value. The body shape of the human body will also change significantly depending on its body composition value. It is considered that the appearance of a plurality of users may differ depending on the body composition value even if the height, abdominal circumference and chest circumference are the same, for example. Therefore, not only the measured value but also the body composition value that can be obtained by the body composition meter or the blood test is associated with the three-dimensional model that is the appearance of the measured value.

以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、生体の計測値を教師データとして学習し、現在時点の計測値から予測時点の計測値を予測することができる。また、対象ユーザについて予測した計測値から、3次元モデルを生成することもできる。 As described above in detail, according to the program, apparatus and method of the present invention, it is possible to learn the measured value of a living body as teacher data and predict the measured value at the predicted time from the measured value at the present time. It is also possible to generate a three-dimensional model from the measured values predicted for the target user.

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 Various changes, modifications and omissions of the technical idea and the scope of view of the present invention can be easily carried out by those skilled in the art with respect to the various embodiments of the present invention described above. The above explanation is just an example and does not attempt to limit anything. The present invention is limited only to the scope of claims and their equivalents.

1 予測装置
10 生体学習エンジン
101 統計学習エンジン
102 相関学習エンジン
11 エンコーダ
12 デコーダ
1 Predictor 10 Biological learning engine 101 Statistical learning engine 102 Correlation learning engine 11 Encoder 12 Decoder

本発明によれば、生体における基準時点の計測値から、予測時点の計測値を予測する装置に搭載されたコンピュータを機能させるプログラムであって、
教師データは、複数生体について、第1時点及び当該第1時点の計測値と、第2時点及び当該第2時点の計測値とが対応付けられたものであり、
学習段階として、教師データ毎に、第1時点及び当該第1時点の計測値と、第2時点とを入力し、当該第2時点の計測値を出力するように学習モデルを構築した生体学習エンジンとして機能させ、
推定段階として、生体学習エンジンは、予測対象の生体について、基準時点及び当該基準時点の計測値と、予測時点とを入力し、当該予測時点の計測値を出力する
ようにコンピュータを機能させることを特徴とする。
また、本発明のプログラムにおける他の実施形態によれば、
学習段階について、第2時点は、第1時点よりも未来の時点であり、
推定段階について、予測時点は、基準時点よりも未来の時点であるか、
又は、
学習段階について、第2時点は、第1時点よりも過去の時点であり、
推定段階について、予測時点は、基準時点よりも過去の時点である
ようにコンピュータを機能させることも好ましい。
According to the present invention, it is a program for operating a computer mounted on a device for predicting a measured value at a predicted time from a measured value at a reference time in a living body.
The teacher data is a combination of the measured values at the first time point and the first time point and the measured values at the second time point and the second time point for a plurality of living bodies.
As a learning stage, a biological learning engine that constructs a learning model so as to input the measured values of the first time point and the first time point and the second time point for each teacher data and output the measured values of the second time point. To function as
As an estimation stage, the biolearning engine inputs the reference time point, the measured value at the reference time point, and the predicted time point for the living body to be predicted, and causes the computer to function to output the measured value at the predicted time point. It is a feature.
Also, according to other embodiments in the program of the present invention.
Regarding the learning stage, the second time point is a time point in the future than the first time point.
For the estimation stage, is the prediction time point in the future than the reference time point?
Or,
Regarding the learning stage, the second time point is a time point earlier than the first time point.
For the estimation stage, the prediction time is a time earlier than the reference time.
It is also preferable to make the computer function as such.

本発明のプログラムにおける他の実施形態によれば、
生体は、人体であり、
第1時点、第2時点、基準時点及び予測時点は、当該人体の年齢である
ようにコンピュータを機能させることも好ましい。
According to other embodiments in the program of the invention
The living body is the human body,
It is also preferable to make the computer function so that the first time point, the second time point, the reference time point, and the predicted time point are the age of the human body.

本発明によれば、生体における基準時点の計測値から、予測時点の計測値を予測する装置であって、
教師データは、複数生体について、第1時点及び当該第1時点の計測値と、第2時点及び当該第2時点の計測値とが対応付けられたものであり、
学習段階として、教師データ毎に、第1時点及び当該第1時点の計測値と、第2時点とを入力し、当該第2時点の計測値を出力するように学習モデルを構築した生体学習エンジンとして機能させ、
推定段階として、生体学習エンジンは、予測対象の生体について、基準時点及び当該基準時点の計測値と、予測時点とを入力し、当該予測時点の計測値を出力する
ことを特徴とする。
According to the present invention, it is a device that predicts the measured value at the predicted time from the measured value at the reference time in the living body.
The teacher data is a combination of the measured values at the first time point and the first time point and the measured values at the second time point and the second time point for a plurality of living bodies.
As a learning stage, a biological learning engine that constructs a learning model so as to input the measured values of the first time point and the first time point and the second time point for each teacher data and output the measured values of the second time point. To function as
As an estimation stage, the biological learning engine is characterized in that, for a living body to be predicted, a reference time point, a measurement value at the reference time point, and a prediction time point are input, and the measurement value at the prediction time point is output.

本発明によれば、生体における基準時点の計測値から、予測時点の計測値を予測する装置の予測方法であって、
教師データは、複数生体について、第1時点及び当該第1時点の計測値と、第2時点及び当該第2時点の計測値とが対応付けられたものであり、
装置は、
学習段階として、教師データ毎に、第1時点及び当該第1時点の計測値と、第2時点とを入力し、当該第2時点の計測値を出力するように学習モデルを構築し、
推定段階として、予測対象の生体について、基準時点及び当該基準時点の計測値と、予測時点とを入力し、当該予測時点の計測値を出力する
ように実行することを特徴とする。
According to the present invention, it is a prediction method of a device that predicts a measurement value at a prediction time from a measurement value at a reference time in a living body.
The teacher data is a combination of the measured values at the first time point and the first time point and the measured values at the second time point and the second time point for a plurality of living bodies.
The device is
As a learning stage, a learning model is constructed so that the measured values of the first time point and the first time point and the second time point are input for each teacher data, and the measured values of the second time point are output.
The estimation step is characterized in that, for the living body to be predicted, the reference time point, the measured value at the reference time point, and the prediction time point are input, and the measurement value at the prediction time point is output.

Claims (11)

生体における現在時点の計測値から、予測時点の計測値を予測する装置に搭載されたコンピュータを機能させるプログラムであって、
教師データは、複数生体について、第1時点及び当該第1時点の計測値と、第2時点及び当該第2時点の計測値とが対応付けられたものであり、
教師データ毎に、第1時点及び当該第1時点の計測値と、第2時点とを入力し、当該第2時点の計測値を出力するように学習モデルを構築した生体学習エンジンとして機能させ、
生体学習エンジンは、予測対象の生体について、現在時点及び当該現在時点の計測値と、予測時点とを入力し、当該予測時点の計測値を出力する
ようにコンピュータを機能させることを特徴とするプログラム。
It is a program that makes the computer installed in the device that predicts the measured value at the predicted time function from the measured value at the current time in the living body.
The teacher data is a combination of the measured values at the first time point and the first time point and the measured values at the second time point and the second time point for a plurality of living bodies.
For each teacher data, the measured values of the first time point and the first time point and the second time point are input, and the learning model is constructed so as to output the measured values of the second time point.
The biolearning engine is a program characterized in that, for a living body to be predicted, the current time point, the measured value at the current time point, and the predicted time point are input, and the computer functions to output the measured value at the predicted time point. ..
生体は、人体であり、
過去時点、現在時点、未来時点及び予測時点は、当該人体の年齢である
ようにコンピュータを機能させることを特徴とする請求項1に記載のプログラム。
The living body is the human body,
The program according to claim 1, wherein the past time point, the present time point, the future time point, and the predicted time point are the functions of the computer so as to be the age of the human body.
計測値は、採寸値及び/又は体組成値からなる
ようにコンピュータを機能させることを特徴とする請求項1又は2に記載のプログラム。
The program according to claim 1 or 2, wherein the measured value comprises the function of the computer to consist of a measured value and / or a body composition value.
第1時点は、過去時点であり、第2時点は、未来時点であり、予測時点は、未来の予測時点であるか、又は、
第1時点は、未来時点であり、第2時点は、過去時点であり、予測時点は、過去の予測時点である
ようにコンピュータを機能させることを特徴とする請求項1から3のいずれか1項に記載のプログラム。
The first time point is the past time point, the second time point is the future time point, and the prediction time point is the future prediction time point, or
1 The program described in the section.
生体学習エンジンは、多層パーセプトロン(Multilayer perceptron)である
ようにコンピュータを機能させることを特徴とする請求項1から4のいずれか1項に記載のプログラム。
The program according to any one of claims 1 to 4, wherein the biolearning engine causes a computer to function as if it were a Multilayer perceptron.
教師データは、複数生体について、第1時点及び当該第1時点の計測値に3次元モデルを更に対応付け、第2時点及び当該第2時点の計測値に3次元モデルを更に対応付けたものであり、
各3次元モデルを入力し、次元圧縮された次元数m(>1)の成分変数を出力するように、統計学習モデルを構築した統計学習エンジンと、
各3次元モデルについて、次元数n(>1)の計測値と、次元数mの成分変数と関係を相互に学習するように、相関学習モデルを構築した相関学習エンジンと
してコンピュータを機能させることを特徴とする請求項1から5のいずれか1項に記載のプログラム。
The teacher data is obtained by further associating a three-dimensional model with the measured values at the first time point and the first time point, and further associating the three-dimensional model with the measured values at the second time point and the second time point, for a plurality of living organisms. can be,
A statistical learning engine that builds a statistical learning model so that each 3D model is input and a component variable with a dimension-compressed dimension number m (> 1) is output.
For each 3D model, to make the computer function as a correlation learning engine in which a correlation learning model is constructed so as to mutually learn the relationship between the measured value of the dimension number n (> 1) and the component variable of the dimension number m. The program according to any one of claims 1 to 5, which is characterized.
生体学習エンジンから出力された予測時点の次元数nの計測値から、相関学習エンジンを用いて次元数mの成分変数を推定し、当該次元数mの成分変数から、統計学習エンジンを用いて3次元モデルを推定するデコーダと
してコンピュータを機能させることを特徴とする請求項6に記載のプログラム。
From the measured value of the dimension number n at the time of prediction output from the biological learning engine, the component variable of the dimension number m is estimated using the correlation learning engine, and the component variable of the dimension number m is estimated from the component variable of the dimension number m using the statistical learning engine. The program according to claim 6, wherein the computer functions as a decoder for estimating a dimensional model.
予測対象のデータは、現在時点の3次元モデルからなり、
入力された現在時点の3次元モデルから、統計学習エンジンを用いて次元数mの成分変数を推定し、当該次元数mの成分変数から、相関学習エンジンを用いて次元数nの計測値を推定し、当該次元数nの計測値を生体学習エンジンに入力するエンコーダと
してコンピュータを機能させることを特徴とする請求項6又は7に記載のプログラム。
The data to be predicted consists of a 3D model at the present time.
From the input 3D model at the present time, the component variable of the dimension number m is estimated using the statistical learning engine, and the measured value of the dimension number n is estimated from the component variable of the dimension number m using the correlation learning engine. The program according to claim 6 or 7, wherein the computer functions as an encoder for inputting the measured value of the dimension number n to the biological learning engine.
統計学習エンジンは、主成分分析(Principal Component Analysis)又はオートエンコーダ(AutoEncoder)に基づくものであり、
相関学習エンジンは、最小二乗法又は多層パーセプトロンに基づくものである
ようにコンピュータを機能させることを特徴とする請求項6から8のいずれか1項に記載のプログラム。
The statistical learning engine is based on Principal Component Analysis or AutoEncoder.
The program according to any one of claims 6 to 8, wherein the correlation learning engine operates a computer so as to be based on a least squares method or a multi-layer perceptron.
生体における現在時点の計測値から、予測時点の計測値を予測する装置であって、
教師データは、複数生体について、第1時点及び当該第1時点の計測値と、第2時点及び当該第2時点の計測値とが対応付けられたものであり、
教師データ毎に、第1時点及び当該第1時点の計測値と、第2時点とを入力し、当該第2時点の計測値を出力するように学習モデルを構築した生体学習エンジンとして機能させ、
生体学習エンジンは、予測対象の生体について、現在時点及び当該現在時点の計測値と、予測時点とを入力し、当該予測時点の計測値を出力する
ことを特徴とする装置。
It is a device that predicts the measured value at the time of prediction from the measured value at the current time in the living body.
The teacher data is a combination of the measured values at the first time point and the first time point and the measured values at the second time point and the second time point for a plurality of living bodies.
For each teacher data, the measured values of the first time point and the first time point and the second time point are input, and the learning model is constructed so as to output the measured values of the second time point.
The biological learning engine is a device characterized in that the current time point, the measured value at the present time point, and the predicted time point are input to the living body to be predicted, and the measured value at the predicted time point is output.
生体における現在時点の計測値から、予測時点の計測値を予測する装置の予測方法であって、
教師データは、複数生体について、第1時点及び当該第1時点の計測値と、第2時点及び当該第2時点の計測値とが対応付けられたものであり、
装置は、
教師データ毎に、第1時点及び当該第1時点の計測値と、第2時点とを入力し、当該第2時点の計測値を出力するように学習モデルを構築し、
予測対象の生体について、現在時点及び当該現在時点の計測値と、予測時点とを入力し、当該予測時点の計測値を出力する
ように実行することを特徴とする予測方法。
It is a prediction method of a device that predicts the measured value at the time of prediction from the measured value at the current time in the living body.
The teacher data is a combination of the measured values at the first time point and the first time point and the measured values at the second time point and the second time point for a plurality of living bodies.
The device is
For each teacher data, input the measured values of the first time point and the first time point and the second time point, and build a learning model so as to output the measured values of the second time point.
A prediction method for a living body to be predicted, characterized in that the current time point, the measured value at the current time point, and the predicted time point are input, and the measured value at the predicted time point is output.
JP2020119405A 2020-07-10 2020-07-10 Programs, devices and methods for predicting biological measurements Active JP6775792B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020119405A JP6775792B1 (en) 2020-07-10 2020-07-10 Programs, devices and methods for predicting biological measurements

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020119405A JP6775792B1 (en) 2020-07-10 2020-07-10 Programs, devices and methods for predicting biological measurements

Publications (2)

Publication Number Publication Date
JP6775792B1 JP6775792B1 (en) 2020-10-28
JP2022016114A true JP2022016114A (en) 2022-01-21

Family

ID=72916113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020119405A Active JP6775792B1 (en) 2020-07-10 2020-07-10 Programs, devices and methods for predicting biological measurements

Country Status (1)

Country Link
JP (1) JP6775792B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012181843A (en) * 2007-07-23 2012-09-20 Procter & Gamble Co Method and apparatus for realistic simulation of wrinkle aging and de-aging
JP2018019611A (en) * 2016-08-01 2018-02-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Leash type vital measuring device for pet
JP2020027526A (en) * 2018-08-15 2020-02-20 裕樹 有光 Program and device for generating three-dimensional model based on size measurement value

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012181843A (en) * 2007-07-23 2012-09-20 Procter & Gamble Co Method and apparatus for realistic simulation of wrinkle aging and de-aging
JP2018019611A (en) * 2016-08-01 2018-02-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Leash type vital measuring device for pet
JP2020027526A (en) * 2018-08-15 2020-02-20 裕樹 有光 Program and device for generating three-dimensional model based on size measurement value

Also Published As

Publication number Publication date
JP6775792B1 (en) 2020-10-28

Similar Documents

Publication Publication Date Title
Murahari et al. On attention models for human activity recognition
Guo et al. A data imputation method for multivariate time series based on generative adversarial network
CN106778014B (en) Disease risk prediction modeling method based on recurrent neural network
Puchalsky et al. Agribusiness time series forecasting using Wavelet neural networks and metaheuristic optimization: An analysis of the soybean sack price and perishable products demand
Alvarez et al. Sparse convolved Gaussian processes for multi-output regression
Azadeh et al. A hybrid simulation-adaptive network based fuzzy inference system for improvement of electricity consumption estimation
Diego-Mas et al. Single users' affective responses models for product form design
Jie et al. Establishing a Genetic Algorithm-Back Propagation model to predict the pressure of girdles and to determine the model function
Taherinezhad et al. Nations performance evaluation during SARS-CoV-2 outbreak handling via data envelopment analysis and machine learning methods
Gustisyaf et al. Implementation of Convolutional Neural Network to Classification Gender based on Fingerprint.
JP6775792B1 (en) Programs, devices and methods for predicting biological measurements
CN114742116B (en) Generation method and system for analog acquisition of electroencephalogram signals
Chu et al. Compact broad learning system based on fused lasso and smooth lasso
El-Ibrahimi et al. Optimizing Machine Learning Algorithms for Heart Disease Classification and Prediction.
Zhong et al. A neural ode interpretation of transformer layers
Jayne et al. Neural network methods for one-to-many multi-valued mapping problems
Backenroth et al. Nonnegative decomposition of functional count data
Patil et al. Risk prediction of cardiovascular disease using logistic regression machine learning algorithm
Lei et al. Composing recipes based on nutrients in food in a machine learning context
Chen et al. Data envelopment analysis with missing data: a multiple imputation approach
Badías et al. Neural network layer algebra: A framework to measure capacity and compression in deep learning
Aswini et al. Exploratory Data Analysis for Social Big Data Using Regression and Recurrent Neural Networks.
Liu et al. Interpreting Learner Success: Enhancing Knowledge Tracing with Attention-Based IRT Models in Modern Education
Newaz et al. Visual object classification from fMRI data
He et al. Computed Tomography Image Recognition with Convolutional Neural Network Using Wearable Sensors.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200710

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200710

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200909

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200928

R150 Certificate of patent or registration of utility model

Ref document number: 6775792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250