JP2020201751A - User state estimation device - Google Patents
User state estimation device Download PDFInfo
- Publication number
- JP2020201751A JP2020201751A JP2019108692A JP2019108692A JP2020201751A JP 2020201751 A JP2020201751 A JP 2020201751A JP 2019108692 A JP2019108692 A JP 2019108692A JP 2019108692 A JP2019108692 A JP 2019108692A JP 2020201751 A JP2020201751 A JP 2020201751A
- Authority
- JP
- Japan
- Prior art keywords
- estimation
- estimation model
- user state
- dedicated
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 abstract description 40
- 230000006870 function Effects 0.000 description 112
- 238000012360 testing method Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 3
- 230000003920 cognitive function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000036578 sleeping time Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、ユーザ状態を推定するユーザ状態推定装置に関する。 The present invention relates to a user state estimation device that estimates a user state.
注意機能の低下は、労働生産性の低下につながるため国際的な問題となっている。そこで、人の注意機能を定量的に計ることが考えられている。例えば、PVT・GoNoGoなどの認知機能テストを実施することが考えられている。この認知機能テストでは、注意機能を定量的に計測することが出来る。しかしながら、これらの認知機能テストの実施には数分必要であり、かつ経時的な変化を捉えるためには一日に複数回試験を実施する必要があった。そのため、ユーザの負担が大きい。したがって、自動で注意機能の高低を判断するシステムが有用である。 Decreased attention function has become an international problem because it leads to a decrease in labor productivity. Therefore, it is considered to quantitatively measure the attention function of a person. For example, it is considered to carry out cognitive function tests such as PVT and GoNoGo. In this cognitive function test, attentional function can be measured quantitatively. However, it took several minutes to perform these cognitive function tests, and it was necessary to perform the tests multiple times a day in order to capture changes over time. Therefore, the burden on the user is large. Therefore, a system that automatically determines the level of attention function is useful.
非特許文献１には、スマートフォンの画面点灯回数・点灯時間や睡眠時間などの特徴量に基づいて、機械学習モデルにより人の注意機能（PVT試験の応答速度）を推定することが記載されている。 Non-Patent Document 1 describes that a human attention function (response speed of PVT test) is estimated by a machine learning model based on features such as the number of times the screen is lit, the lighting time, and the sleeping time of a smartphone. ..
非特許文献１に記載の技術では、ユーザの注意機能を推定することが記載されているが、ユーザの他の状態を推定することについての記載はない。ユーザの注意機能などの一のユーザ状態と、他のユーザ状態、例えばストレスなどは、相互に関連性があるものである。したがって、非特許文献１に記載の技術では、他のユーザ状態を推定することができず、多面的な観点からユーザ状態を推定することができない。 In the technique described in Non-Patent Document 1, it is described that the attention function of the user is estimated, but there is no description about estimating other states of the user. One user state, such as a user's attention function, and another user state, such as stress, are related to each other. Therefore, the technique described in Non-Patent Document 1 cannot estimate another user state, and cannot estimate the user state from a multifaceted viewpoint.
そこで、上述の課題を解決するために、本発明は、複数のユーザ状態を推定することができるユーザ状態推定装置を提供することを目的とする。 Therefore, in order to solve the above-mentioned problems, it is an object of the present invention to provide a user state estimation device capable of estimating a plurality of user states.
本発明のユーザ状態推定装置は、ユーザが所持している情報処理装置から得られる入力値から第１ユーザ状態を推定するための第１一般推定モデルと、前記入力値から第２ユーザ状態を推定するための第２一般推定モデルと、前記第１一般推定モデルに前記入力値を入力して、第１ユーザ状態を推定させ、前記第２一般推定モデルに前記入力値を入力して、第２ユーザ状態を推定させる推定部と、を備える。 The user state estimation device of the present invention estimates a first general estimation model for estimating a first user state from an input value obtained from an information processing device possessed by the user, and a second user state from the input value. The input value is input to the second general estimation model and the first general estimation model to estimate the first user state, and the input value is input to the second general estimation model to perform the second. It includes an estimation unit that estimates the user state.
この発明によれば、複数のユーザ状態を推定することができる。したがって、多面的な観点からユーザ状態を推定することができる。 According to the present invention, a plurality of user states can be estimated. Therefore, the user state can be estimated from a multifaceted perspective.
本発明によると、端末のログ情報に基づいて複数のユーザ状態を推定することができ、多面的な観点によるユーザ状態の把握を可能にする。 According to the present invention, a plurality of user states can be estimated based on the log information of the terminal, and the user states can be grasped from a multifaceted viewpoint.
添付図面を参照しながら本発明の実施形態を説明する。同一の部分には同一の符号を付して、重複する説明を省略することがある。 An embodiment of the present invention will be described with reference to the accompanying drawings. The same parts may be designated by the same reference numerals and duplicate description may be omitted.
図１は、本実施形態の推定サーバ１００の機能を示すブロック図である。図１に示されるように、推定サーバ１００は、通信端末２００のユーザのユーザ状態を推定するためのユーザ状態推定装置であって、通信端末２００において取得された端末ログ（動きログおよび操作ログ）から、当該通信端末２００を所持するユーザのユーザ状態（ストレスおよび注意機能の程度）を推定する。以降の説明において、ユーザ状態、ストレスおよび注意機能を推定することとは、それぞれの程度を推定することを意味する。
FIG. 1 is a block diagram showing a function of the
推定サーバ１００は、ログ取得部１０１，推定部１０２、提示部１０３、ログＤＢ１０４、第１一般推定モデル１０５、第２一般推定モデル１０６、第１専用推定モデル１０７、および第２専用推定モデル１０８を含んで構成される。
The
ログ取得部１０１は、通信端末２００から端末ログを取得する。ログ取得部１０１は、通信端末２００において端末ログに基づいた特徴量が生成された場合、当該特徴量を取得してもよい。また、ログ取得部１０１が、端末ログを取得した場合には、当該端末ログに基づいて特徴量を生成してもよい。
The
これら生成された（取得された）特徴量は、ユーザの注意機能およびストレスを推定するのに適した情報である。特徴量は、推定処理の演算を容易にするために、端末ログの数値が演算処理やクラスタリングによって、調整された数値であり、例えば、センサ値の平均値、標準偏差、最大値、最小値、最大最小差、軸ペアの相関係数、総移動距離、画面オン回数、アプリ起動回数、時間帯ＷＩＦＩ接続オン率、観測ＷＩＦＩアクセスポント数である。そのほか、加速度センサのセンサ値であれば、３軸のうち２軸の値系列のPearson相関係数、または３軸の二乗和の平方根（信号パワー）などを特徴量として算出する。ほか、角速度、傾き、加速度（重力成分除去）のセンサ値を用いて同様に特徴量を算出してもよい。 These generated (acquired) features are information suitable for estimating the user's attention function and stress. The feature quantity is a numerical value in which the numerical value of the terminal log is adjusted by arithmetic processing or clustering in order to facilitate the calculation of the estimation process. For example, the average value, standard deviation, maximum value, minimum value of the sensor values, The maximum and minimum differences, the correlation coefficient of the axis pair, the total movement distance, the number of screen ons, the number of application startups, the time zone WIFI connection on rate, and the number of observed WIFI access points. In addition, if it is the sensor value of the accelerometer, the Pearson correlation coefficient of the value series of two of the three axes or the square root (signal power) of the sum of squares of the three axes is calculated as the feature amount. In addition, the feature amount may be calculated in the same manner using the sensor values of angular velocity, inclination, and acceleration (removal of gravity component).
なお、以降、端末ログに基づいた推定処理およびモデル構築処理を行う態様について説明しているが、端末ログから生成された特徴量に基づいて推定処理およびモデル構築処理をしてもよい。 Although the mode of performing the estimation process and the model construction process based on the terminal log will be described below, the estimation process and the model construction process may be performed based on the feature amount generated from the terminal log.
推定部１０２は、ログ取得部１０１により取得された端末ログを、第１一般推定モデル１０５、第２一般推定モデル１０６、第１専用推定モデル１０７、および第２専用推定モデル１０８の全てまたはその一部に入力して、ユーザの注意機能およびストレスのそれぞれの程度を推定させ、推定結果を表すスコアを取得する。
The
提示部１０３は、推定部１０２が取得したユーザの注意機能およびストレスのそれぞれの推定結果を表すスコアを、当該ユーザまたは他のオペレータ等に提示する。提示は、ディスプレイなどへの表示、またはネットワークを介した他の端末への出力により、実現される。
The presenting
ログＤＢ（ログデータベース）１０４は、ログ取得部１０１により取得された端末ログを記録する。端末ログは、各センサ値および操作履歴と、当該各センサ値および操作履歴の生じた時間とを対応させた情報である。センサ値は、加速度センサ、角速度センサ、傾きセンサなどによるセンサ値である。操作履歴は、アプリ起動履歴などである。時間帯ＷＩＦＩ接続オンを示す情報、観測ＷＩＦＩアクセス先の履歴なども、センサ値である。
The log DB (log database) 104 records the terminal log acquired by the
第１一般推定モデル１０５は、端末ログからユーザのストレスの程度を推定する。第１一般推定モデル１０５は、ユーザごとに測定したＬＦ／ＨＦ（ストレスを示す値）を教師信号（目的変数）とし、そのときに所持された通信端末２００の端末ログを説明変数として、構築される。ＬＦ／ＨＦとは、ユーザの心拍間隔（ＲＲＩデータ）に基づく周波数領域（フーリエ変換することで得られる周波数領域）の低周波（低周波成分ＬＦ）と高周波（高周波成分ＨＦ）とに基づく値である。
The first
第２一般推定モデル１０６は、端末ログからユーザの注意機能を推定する。第２一般推定モデル１０６は、ユーザごとにＧｏＮｏＧｏ試験の試験結果（注意機能推定のための試験）を教師信号（目的変数）とし、そのときにユーザに所持された通信端末２００の端末ログを説明変数として、構築される。
The second
第１専用推定モデル１０７は、端末ログからユーザのストレスを推定する。なお、第１専用推定モデル１０７は、推定部１０２により注意機能が高いと推定された場合に（注意機能を示すスコアが所定値以上である場合）、選択される。第１専用推定モデル１０７は、ユーザごとにＧｏＮｏＧｏ試験の試験結果およびＬＦ／ＨＦの値（注意機能の試験結果およびストレスを示す値のうち、注意機能が高いときにおけるストレスの値）を教師信号（目的変数）とし、そのときにユーザに所持された通信端末２００の端末ログを説明変数として、構築される。
The first
第２専用推定モデル１０８は、端末ログからユーザのストレスを推定する。なお、第２専用推定モデル１０８は、推定部１０２により注意機能が低いと推定された場合に（注意機能を示すスコアが所定値未満である場合）、選択される。第２専用推定モデル１０８は、ユーザごとにＧｏＮｏＧｏ試験の試験結果およびＬＦ／ＨＦの値（注意機能の試験結果およびストレスを示す値のうち、注意機能が低いときにおけるストレスの値）を教師信号（目的変数）とし、そのときにユーザに所持された通信端末２００の端末ログを説明変数として、構築される。
The second
上述各推定モデルは、例えば、通信端末を所持したユーザのＧｏＮｏＧｏ試験の試験結果と、端末ログに基づいて事前に機械学習によって構築される。各推定モデルは、通信端末２００における所定時間帯の端末ログと、この端末ログの取得時間と時間帯を合わせて取得された試験結果とで構築してもよいが、通信端末２００における端末ログと異なる時間帯に取得された試験結果によって構築してもよい。例えば、当日０−６時の端末ログを、同時間に行った注意機能スコアまたはストレスのスコアと紐付けて構築してもよく、または、当日１２時に行った注意機能スコアまたはストレスのスコアと紐付けて構築してもよい。
Each of the above estimation models is constructed by machine learning in advance based on, for example, the test result of the GoNoGo test of the user who possesses the communication terminal and the terminal log. Each estimation model may be constructed by the terminal log of the
以降の説明において、推定部１０２が推定モデルを用いてストレスまたは注意機能のスコアを推定することは、推定部１０２が、端末ログを推定モデルに入力し、推定モデルからの出力値を得ることにより、ストレスまたは注意機能のスコアを推定する動作を意味する。推定部１０２が推定モデルを適用する、または利用する、も同様である。
In the following description, the
つぎに、通信端末２００について説明する。図１に示されるとおり、通信端末２００は、端末ログＤＢ２０１を備えている。端末ログＤＢ２０１は、通信端末２００の端末ログを記録している。端末ログは、加速度センサやジャイロなどのセンサを用いて通信端末２００の挙動・姿勢などを検出することにより得られる動きログと、ユーザが通信端末２００を操作することにより得られる操作ログとからなる。
Next, the
通信端末２００の通信部（図示せず）は、端末ログＤＢ２０１に記録されている端末ログを所定のタイミング、通信端末２００の操作または推定サーバ１００からの要求に基づいて、推定サーバ１００に送信する。
The communication unit (not shown) of the
つぎに、このように構成された推定サーバ１００における推定処理を模式的に説明する。図２は、推定処理の模式図を示す。通信端末２００において取得された端末ログが、それぞれ第１一般推定モデル１０５、第２一般推定モデル１０６に入力される。第１一般推定モデル１０５からは、ストレスの程度を表すスコアが出力され、第２一般推定モデル１０６からは、注意機能を表すスコアが出力される。
Next, the estimation process in the
注意機能を表すスコアに基づいて、第１専用推定モデル１０７または第２専用推定モデル１０８のいずれかが選択される。すなわち、当該スコアが高い場合（所定値以上）、第１専用推定モデル１０７が選択される。スコアが低い場合（所定値未満）、第２専用推定モデル１０８が選択される。
Either the first
そして、第１専用推定モデル１０７または第２専用推定モデル１０８のうち選択された専用推定モデルと、第１一般推定モデル１０５とに、端末ログが再度入力され、それぞれの推定モデルからストレスを表すスコアが出力される。これらスコアを所定の計算式に適用することで、統合され、ストレスを表す真スコアが算出される。
Then, the terminal log is input again to the dedicated estimation model selected from the first
例えば、推定部１０２は、第２一般推定モデル１０６からの注意機能のスコアが０．５以上のときは第１専用推定モデル１０７と第１一般推定モデル１０５とから出力されるそれぞれのストレスのスコアの平均値を算出することで、ストレスを表す真スコアを算出する。また、推定部１０２は、注意機能のスコアが０．５未満のときは第２専用推定モデル１０８と第１一般推定モデル１０５とのそれぞれのストレスのスコアの平均値を算出することで、ストレスを表す真スコアを算出する。
For example, when the score of the attention function from the second
また、以下説明するとおり、別のスコアの算出方法も考えられる。ここでは、ストレスを表す真スコアＸ’とし、注意機能を表すスコアＹとし、第１専用推定モデル１０７から出力されるストレスを表すスコアＸ１とし、第２専用推定モデル１０８から出力されるストレスを表すスコアＸ２とし、第１一般推定モデルから出力されるストレスを表すスコアＸとする。この場合、
Ｙ≧０．５のとき、
ストレスのスコアＸ’（真スコア）＝注意機能のスコアＹ＊ストレスのスコアＸ１+ (１−注意機能のスコアＹ)＊ストレスのスコアＸ
Ｙ＜０．５のとき、
ストレスのスコアＸ’（真スコア）＝（１−注意機能のスコアＹ）＊ストレスのスコアＸ２+ 注意機能のスコアＹ＊ストレスのスコアＸ
としてもよい。
Further, as explained below, another method of calculating the score can be considered. Here, the true score X'representing stress, the score Y representing attention function, the score X1 representing the stress output from the first
When Y ≧ 0.5
Stress score X'(true score) = attention function score Y * stress score X1 + (1-attention function score Y) * stress score X
When Y <0.5,
Stress score X'(true score) = (1-Attention function score Y) * Stress score X2 + Attention function score Y * Stress score X
May be.
これら別のスコアの算出方法の技術的意義は以下の通りである。すなわち、この算出方法においては、注意機能のスコア（＝確信度）に基づいて流動的にモデルを使い分けることができる。例えば、注意機能のスコアが０．８（＝注意機能が高い確信度が高い）ときは、注意機能が高い前提でのストレス推定結果（ストレススコアＸ１）の重みを大きくしたほうがよいと考えられる。一方、注意機能のスコアが０．５（＝注意機能が高いか低いかほぼ分からない）ときは、注意機能とは独立の、一般的なモデルでのストレス推定結果（ストレススコアＸ）の重みを大きくしたほうがよいと考えられる。 The technical significance of these different score calculation methods is as follows. That is, in this calculation method, the model can be used in a fluid manner based on the score (= conviction) of the attention function. For example, when the attention function score is 0.8 (= the attention function is high and the certainty is high), it is considered that the weight of the stress estimation result (stress score X1) on the premise that the attention function is high should be increased. On the other hand, when the attention function score is 0.5 (= it is almost unknown whether the attention function is high or low), the weight of the stress estimation result (stress score X) in a general model independent of the attention function is weighted. It is considered better to make it larger.
上述したとおり、注意機能のスコアに応じて、専用推定モデルを変えて、ストレスを算出することにより、より正確なストレスのスコアを算出することができる。一般的に、注意機能とストレスとは、相互に関連性があると知られてきている。したがって、注意機能に応じてストレスの生成モデル（または手法）を変えることで、正確なストレスのスコア算出を可能にする。 As described above, a more accurate stress score can be calculated by changing the dedicated estimation model according to the score of the attention function and calculating the stress. In general, attentional function and stress have been known to be interrelated. Therefore, by changing the stress generation model (or method) according to the attention function, it is possible to calculate the stress score accurately.
つぎに、推定サーバ１００の動作について説明する。図３は、推定サーバ１００の動作を示すフローチャートである。推定部１０２は、端末ログを第２一般推定モデル１０６に入力する。第２一般推定モデル１０６は入力された端末ログから、注意機能のスコアＹを推定し（Ｓ１０１）、推定部１０２に送る。推定部１０２は、当該スコアＹを出力する（Ｓ１０２）。
Next, the operation of the
推定部１０２は、スコアＹの値に基づいて第１専用推定モデル１０７または第２専用推定モデル１０８のいずれかを選択する（Ｓ１０３）。推定部１０２は、選択した専用推定モデルおよび第１一般推定モデル１０５に端末ログを入力して、専用推定モデルおよび第１一般推定モデル１０５により推定されたストレスを表すスコアＸ１（またはスコアＸ２）およびスコアＸを取得する（Ｓ１０４）。
The
推定部１０２は、スコアＸ１（またはスコアＸ２）およびスコアＸを統合して、真スコアＸ’を算出する（Ｓ１０５）。推定部１０２は、算出した真スコアＸ’を提示部１０３に送り、出力させる（Ｓ１０６）。提示部１０３は、この真スコアＸ’の提示処理を行う。なお、Ｓ１０５においては、スコアＹを考慮した統合処理を行ってもよい。
The
つぎに、変形例について説明する。図４は、変形例における推定サーバ１００ａの機能構成を示すブロック図である。この推定サーバ１００ａは、推定サーバ１００の機能構成に加えて、第３専用推定モデル１０９および第４専用推定モデル１１０を備えている。
Next, a modified example will be described. FIG. 4 is a block diagram showing a functional configuration of the
第３専用推定モデル１０９は、通信端末２００の端末ログからユーザの注意機能を推定するための推定モデルである。
The third
なお、第３専用推定モデル１０９は、推定部１０２ａによりストレスが高いと推定された場合に（ストレスを示すスコアが所定値以上である場合）、適用される推定モデルである。第３専用推定モデル１０９は、ユーザごとにＧｏＮｏＧｏ試験の試験結果およびＬＦ／ＨＦの値（注意機能の試験結果およびストレスを示す値のうち、ストレスが高いときにおける注意機能の値）を教師信号（目的変数）とし、そのときに所持された通信端末２００の端末ログを説明変数として、構築される。ほかのモデルの構築方法は上述の実施形態と同様である。
The third
第４専用推定モデル１１０は、端末ログからユーザの注意機能を推定するための推定モデルである。
The fourth
なお、第４専用推定モデル１１０は、推定部１０２ａによりストレスが低いと推定された場合に（ストレスを示すスコアが所定値未満である場合）、適用される推定モデルである。第４専用推定モデル１１０は、ユーザごとにＧｏＮｏＧｏ試験の試験結果およびＬＦ／ＨＦの値（注意機能の試験結果およびストレスを示す値のうち、ストレスが低いときにおける注意機能の値）を教師信号（目的変数）とし、そのときにユーザに所持された通信端末２００の端末ログを説明変数として、構築される。ほかのモデルの構築方法は上述の実施形態と同様である。
The fourth
図５は、変形例における注意機能およびストレスの推定処理を模式的に示した図である。この変形例においては、推定サーバ１００ａは、推定サーバ１００における専用推定モデルを利用したストレスを推定する機能に加えて、注意機能を推定するための専用推定モデルを用いて注意機能を推定する機能を備える。
FIG. 5 is a diagram schematically showing the attention function and the stress estimation process in the modified example. In this modification, the
より詳細には、推定サーバ１００ａは、以下の処理を行う。推定サーバ１００ａにおいて推定部１０２ａは、端末ログから、第１一般推定モデル１０５を用いて、ユーザのストレスを推定する。
More specifically, the
さらに推定部１０２ａは、推定したストレスを表すスコアに基づいて、第３専用推定モデル１０９または第４専用推定モデル１１０のいずれの推定モデルを適用するか、選択する。例えば、推定部１０２ａは、ストレスを表すスコアが所定値以上である場合には、第３専用推定モデル１０９を選択する。推定部１０２ａは、ストレスを表すスコアが所定値未満である場合には、第４専用推定モデル１１０を選択する。
Further, the
推定部１０２ａは、選択した専用推定モデルからのスコアおよび第２一般推定モデル１０６からのスコアを統合することにより注意機能を推定する。
The
つぎに、本実施形態の推定サーバ１００ａの動作について説明する。図６は、推定サーバ１００ａの動作を示すフローチャートである。推定部１０２ａは、注意機能のスコアＹおよびストレスのスコアＸを、第１一般推定モデル１０５および第２一般推定モデル１０６を利用して推定し（Ｓ２０１）、出力する（Ｓ２０２）。
Next, the operation of the
推定部１０２ａは、スコアＹに基づいて、ストレス推定のための専用推定モデルを選択する（Ｓ２０３）。そして、推定部１０２ａは、選択した専用推定モデルおよび一般推定モデルを用いてストレスを推定する（Ｓ２０４）。推定部１０２ａは、それぞれのモデルから推定した各ストレスを統合して、ストレスの真スコアＸ’を推定する（Ｓ２０５）。統合処理の具体例は、図２および図３において説明した通りである。推定部１０２ａは、ストレスの真スコアＸ’を出力する（Ｓ２０６）。
The
また、注意機能推定も同様である。推定部１０２ａは、スコアＸに基づいて、注意機能推定のための専用推定モデルを選択する（Ｓ２０７）。そして、推定部１０２ａは、選択した専用推定モデルおよび一般推定モデルを用いて注意機能を推定する（Ｓ２０８）。推定部１０２ａは、それぞれのモデルから推定した各注意機能を統合して、注意機能の真スコアＹ’を推定する（Ｓ２０９）。統合処理の具体例は、図２および図３において説明した通りである。推定部１０２ａは、注意機能の真スコアＹ’を出力する（Ｓ２１０）。
The same applies to attention function estimation. The
このような処理により、ストレスの真スコアＸ’および注意機能の真スコアＹ’を推定することができる。いずれも、ストレス、注意機能の相互作用を考慮した推定結果であり、その推定精度は高いものとなる。 By such processing, the true score X'of stress and the true score Y'of attention function can be estimated. All of these are estimation results that take into account the interaction between stress and attention function, and the estimation accuracy is high.
上述実施形態およびその変形例の説明では、動きログおよび操作ログの両方を端末ログとして扱っているが、ストレスまたは注意機能の高低に応じて、推定部１０２（１０２ａ）は、動きログを専用推定モデルに入力するか、操作ログを専用推定モデルに入力するか、判断してもよい。 In the above-described embodiment and the description of the modification thereof, both the motion log and the operation log are treated as terminal logs, but the estimation unit 102 (102a) exclusively estimates the motion log according to the level of stress or attention function. You may decide whether to input to the model or to input the operation log to the dedicated estimation model.
例えば、上記変形例において、推定部１０２ａは、第１一般推定モデル１０５から出力されるストレスのスコアに応じて、第２一般推定モデル１０６、第３専用推定モデル１０９、および第４専用推定モデル１１０に入力する端末ログとして、動きログまたは操作ログのいずれかを採用してもよい。一般的に、ユーザのストレスが高いときには、ユーザによる通信端末２００の操作が減少する傾向にあるため、動きログを用いて注意機能を推定することが効果的である。逆に、ストレスが低いときには、ユーザによる通信端末２００の操作が増加する傾向にあるため、操作ログを用いて注意機能を推定することが効果的である。
For example, in the above modification, the
これはストレスを推定する場合にも同様に適用することができる。すなわち、推定部１０２ａは、第２一般推定モデル１０６から出力される注意機能のスコアに応じて、第１一般推定モデル１０５、第１専用推定モデル１０７、および第２専用推定モデル１０８に入力する端末ログとして、動きログまたは操作ログのいずれかを採用してもよい。ここでは、注意機能が低い場合には、ユーザによる通信端末２００の操作が減少する傾向にあるため、動きログでストレスを推定することが効果的である。逆に、注意機能が高い場合には、ユーザによる通信端末２００の操作が増加する傾向にあるため、操作ログでストレスを推定することが効果的である。
This can be applied similarly when estimating stress. That is, the
つぎに、本実施形態の推定サーバ１００およびその変形例における推定サーバ１００ａの作用効果について説明する。
Next, the operation and effect of the
本実施形態の推定サーバ１００は、ユーザが所持している情報処理装置である通信端末２００から得られる入力値である端末ログ（またはその特徴量）から第１ユーザ状態であるストレスを推定するための第１一般推定モデル１０５と、端末ログから第２ユーザ状態である注意機能を推定するための第２一般推定モデル１０６とを備える。そして、推定部１０２は、第１一般推定モデル１０５に端末ログを入力し、端末ログからストレスを推定させ、第２一般推定モデル１０６に端末ログを入力し、端末ログから注意機能を推定する。図２においては、推定した注意機能の高低に応じた、ストレスを推定するために専用推定モデルを利用しているが、その専用推定モデルは必ずしも必須の構成ではない。
The
この推定サーバ１００によれば、端末ログからストレスおよび注意機能の両方を推定することができる。したがって、多面的な観点によるユーザ状態の把握を可能にする。例えば、注意機能が高いときにおけるストレスが高いというユーザ状態は、ほどよい緊張感をもって注意機能が高い（ある物事に集中している）状態であることが分かる。したがって、ユーザにとってストレスが高いことが必ずしも負のユーザ状態を示すものではないことが分かる。
According to this
また、本実施形態の推定サーバ１００は、さらに推定された注意機能に応じて選択される一または複数の専用推定モデル（第１専用推定モデル１０７および第２専用推定モデル１０８）をさらに備える。そして、推定部１０２は、端末ログを、当該注意機能に応じた専用推定モデルに入力して、新たな第１ユーザ状態を示すストレス（ストレスの真スコア）を推定させる。
Further, the
上述図２においては、第１一般推定モデル１０５をも考慮した推定を行っているが、必ずしも第１一般推定モデル１０５を考慮する必要は無い。
In FIG. 2 above, the estimation is performed in consideration of the first
これにより、より精度の高いストレスを推定することができる。近年、ストレスと注意機能とは、相互に関連性があることが知られてきている。例えば、適度なストレスはユーザの注意機能を高める場合がある。よって、このような相互作用のある状態に基づいてユーザ状態（ストレスまたは注意機能）を推定することは効果的である。 This makes it possible to estimate stress with higher accuracy. In recent years, it has become known that stress and attention function are related to each other. For example, moderate stress may enhance the user's attention function. Therefore, it is effective to estimate the user state (stress or attention function) based on the state of such interaction.
また、本実施形態の推定サーバ１００において、推定部１０２は、第１専用推定モデル１０７若しくは第２専用推定モデル１０８、並びに第１一般推定モデル１０５を用いた推定処理を行う。
Further, in the
この実施形態においては、第１一般推定モデル１０５をも考慮することで、ストレス推定の精度向上を可能にする。
In this embodiment, the accuracy of stress estimation can be improved by also considering the first
より詳細においては、専用推定モデルは、第１専用推定モデル１０７、および第２専用推定モデル１０８を含む。そして、推定部１０２は、注意機能が閾値以上であれば、第１専用推定モデル１０７を用いた推定処理を行い、注意機能が閾値未満であれば、第２専用推定モデル１０８を用いた推定処理を行う。
In more detail, the dedicated estimation model includes a first
本実施形態においては、各推定モデルに入力される入力値として通信端末２００から得られる端末ログとする。そして、第１ユーザ状態および前記第２ユーザ状態を、通信端末２００を所持するユーザのストレスを表すスコアおよび当該ユーザの注意機能を表すスコアとする。なお、上述実施形態の説明では、注意機能の高低に応じて選択された専用推定モデルを用いてストレスをさらに推定する処理を示したが、ストレスの高低に応じて選択された専用推定モデルを用いて、注意機能を推定してもよい。
In the present embodiment, the terminal log obtained from the
また、変形例の推定サーバ１００ａに示されるように、ストレスに応じた専用推定モデルを用いた注意機能を推定する機能および注意機能に応じた専用推定モデルを用いたストレスを推定する機能の両方を備えてもよい。
Further, as shown in the
また、本実施形態においては、第１一般推定モデル１０５および第２一般推定モデル１０６を用いて、ストレスおよび注意機能の両方を推定することを前提したものであるが、これに限らず、ストレスの高低に応じて選択された専用推定モデルを用いて注意機能を推定する、または注意機能の高低に応じて選択された専用推定モデルを用いてストレスを推定する装置としてもよい。
Further, in the present embodiment, it is assumed that both the stress and the attention function are estimated by using the first
例えば、推定サーバ１００は、ユーザが所持している通信端末２００から得られる端末ログから、注意機能を推定する第２一般推定モデル１０６と、注意機能に応じて選択される一または複数の専用推定モデル（第１専用推定モデル１０７および第２専用推定モデル１０８）とを備える。
For example, the
そして、推定部１０２は、第２一般推定モデル１０６に基づいて、端末ログから注意機能を推定し、注意機能に応じて、端末ログを第１専用推定モデル１０７または第２専用推定モデル１０８のいずれかに適用してストレスを推定する。
Then, the
この例示においては、第１一般推定モデル１０５は必要なく、ストレスおよび注意機能の両方を推定することができる。
In this example, the first
なお、上記では、注意機能の高低に応じて選択された専用推定モデルを用いてストレスを推定する説明をしたが、ストレスの高低に応じて選択された専用推定モデルを用いて注意機能を推定してもよい。その場合、第２一般推定モデル１０６が不要となり、その代わりに第１一般推定モデル１０５が必須の構成となる。
In the above, the stress is estimated using the dedicated estimation model selected according to the level of the attention function, but the attention function is estimated using the dedicated estimation model selected according to the level of the stress. You may. In that case, the second
また、端末ログは、通信端末２００の状態を表す第１入力値である動きログおよび第２入力値である操作ログとする。
Further, the terminal log is a motion log which is a first input value representing the state of the
そして、推定部１０２は、注意機能に応じて専用推定モデルを選択するとともに、動きログおよび操作ログのいずれかを選択し、選択された動きログまたは操作ログを専用推定モデルに適用することで、ユーザのストレスを推定してもよい。
Then, the
上述実施形態および変形例において、推定サーバ１００（または１００ａ）が各推定モデルを記憶しているが、通信端末２００が事前に構築された推定モデルを記憶し、通信端末２００がユーザ状態推定装置として機能して、端末ログに基づいてユーザ状態（ストレスおよび注意機能）を推定してもよい。
In the above-described embodiment and modification, the estimation server 100 (or 100a) stores each estimation model, but the
上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。 The block diagram used in the description of the above embodiment shows a block of functional units. These functional blocks (components) are realized by any combination of at least one of hardware and software. Further, the method of realizing each functional block is not particularly limited. That is, each functional block may be realized by using one physically or logically connected device, or directly or indirectly (for example, two or more physically or logically separated devices). , Wired, wireless, etc.) and may be realized using these plurality of devices. The functional block may be realized by combining the software with the one device or the plurality of devices.
機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。 Functions include judgment, decision, judgment, calculation, calculation, processing, derivation, investigation, search, confirmation, reception, transmission, output, access, solution, selection, selection, establishment, comparison, assumption, expectation, and assumption. There are broadcasting, notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, assigning, etc., but only these. I can't. For example, a functional block (constituent unit) for functioning transmission is called a transmitting unit or a transmitter. As described above, the method of realizing each of them is not particularly limited.
例えば、本開示の一実施の形態における推定サーバ１００および推定サーバ１００ａなどは、本開示のユーザ状態推定方法の処理を行うコンピュータとして機能してもよい。図７は、本開示の一実施の形態に係る推定サーバ１００のハードウェア構成の一例を示す図である。上述の推定サーバ１００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
For example, the
推定サーバ１００における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
For each function in the
本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。 The order of the processing procedures, sequences, flowcharts, and the like of each aspect / embodiment described in the present disclosure may be changed as long as there is no contradiction. For example, the methods described in the present disclosure present elements of various steps using exemplary order, and are not limited to the particular order presented.
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。 Although the present disclosure has been described in detail above, it is clear to those skilled in the art that the present disclosure is not limited to the embodiments described in the present disclosure. The present disclosure may be implemented as an amendment or modification without departing from the purpose and scope of the present disclosure, which is determined by the description of the scope of claims. Therefore, the description of this disclosure is for purposes of illustration and does not have any restrictive meaning to this disclosure.
本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。 The phrase "based on" as used in this disclosure does not mean "based on" unless otherwise stated. In other words, the statement "based on" means both "based only" and "at least based on".
本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。 Any reference to elements using designations such as "first", "second" as used in this disclosure does not generally limit the quantity or order of those elements. These designations can be used in the present disclosure as a convenient way to distinguish between two or more elements. Thus, references to the first and second elements do not mean that only two elements can be adopted, or that the first element must somehow precede the second element.
本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。 In the present disclosure, if articles are added by translation, for example a, an and the in English, the disclosure may include the nouns that follow these articles in the plural.
１００、１００ａ…推定サーバ、１０１…ログ取得部、１０２、１０２ａ…推定部、１０３…提示部、１０４…ログＤＢ、１０５…第１一般推定モデル、１０６…第２一般推定モデル、１０７…第１専用推定モデル、１０８…第２専用推定モデル、１０９…第３専用推定モデル、１１０…第４専用推定モデル、２００…通信端末、２０１…端末ログＤＢ。 100, 100a ... estimation server, 101 ... log acquisition unit, 102, 102a ... estimation unit, 103 ... presentation unit, 104 ... log DB, 105 ... first general estimation model, 106 ... second general estimation model, 107 ... first Dedicated estimation model, 108 ... 2nd dedicated estimation model, 109 ... 3rd dedicated estimation model, 110 ... 4th dedicated estimation model, 200 ... communication terminal, 201 ... terminal log DB.
Claims (8)
前記入力値から第２ユーザ状態を推定するための第２一般推定モデルと、
前記第１一般推定モデルに前記入力値を入力して、第１ユーザ状態を推定させ、前記第２一般推定モデルに前記入力値を入力して、第２ユーザ状態を推定させる推定部と、
を備えるユーザ状態推定装置。 The first general estimation model for estimating the first user state from the input value obtained from the information processing device possessed by the user, and
A second general estimation model for estimating the second user state from the input value, and
An estimation unit that inputs the input value to the first general estimation model to estimate the first user state, and inputs the input value to the second general estimation model to estimate the second user state.
A user state estimator comprising.
前記推定部は、
前記第２ユーザ状態に応じた専用推定モデルを選択して、前記入力値を、選択された専用推定モデルに入力して、新たな第１ユーザ状態を推定させる、
請求項１に記載のユーザ状態推定装置。 Further comprising one or more dedicated estimation models selected according to the second user state.
The estimation unit
A dedicated estimation model corresponding to the second user state is selected, and the input value is input to the selected dedicated estimation model to estimate a new first user state.
The user state estimation device according to claim 1.
請求項２に記載のユーザ状態推定装置。 The estimation unit estimates a user state that integrates the first user state output from the selected dedicated estimation model and the first user state output from the first general estimation model as a new first user state. To do
The user state estimation device according to claim 2.
第１専用推定モデル、および第２専用推定モデルを含み、
前記推定部は、
前記第２ユーザ状態が閾値以上であるときに、前記第１専用推定モデルに前記入力値を入力し、
前記第２ユーザ状態が閾値未満であるときに前記第２専用推定モデルに前記入力値を入力して、推定処理を行わせる、
請求項２または３に記載のユーザ状態推定装置。 The dedicated estimation model is
Including the first dedicated estimation model and the second dedicated estimation model,
The estimation unit
When the second user state is equal to or higher than the threshold value, the input value is input to the first dedicated estimation model.
When the second user state is less than the threshold value, the input value is input to the second dedicated estimation model to perform the estimation process.
The user state estimation device according to claim 2 or 3.
前記第２ユーザ状態に応じて選択される一または複数の専用推定モデルと、
前記一般推定モデルに前記入力値を入力して、前記入力値から前記第２ユーザ状態を推定させ、前記第２ユーザ状態に応じて、前記専用推定モデルを選択し、選択した前記専用推定モデルに前記入力値を入力して第１ユーザ状態を推定させる推定部と、
を備えるユーザ状態推定装置。 A general estimation model for estimating the second user state from the input value obtained from the information processing device possessed by the user, and
One or more dedicated estimation models selected according to the second user state,
The input value is input to the general estimation model, the second user state is estimated from the input value, the dedicated estimation model is selected according to the second user state, and the selected dedicated estimation model is used. An estimation unit that inputs the input value and estimates the first user state,
A user state estimator comprising.
前記第１ユーザ状態および前記第２ユーザ状態は、前記情報処理装置を所持するユーザのストレスを表すスコアおよび当該ユーザの注意機能を表すスコアである、
請求項１〜５のいずれか一項に記載のユーザ状態推定装置。 The input value is a terminal log obtained from the information processing device.
The first user state and the second user state are a score representing the stress of the user who possesses the information processing device and a score representing the attention function of the user.
The user state estimation device according to any one of claims 1 to 5.
前記推定部は、前記第２ユーザ状態に応じて専用推定モデルを選択するとともに、前記第１入力値および前記第２入力値のいずれかを選択し、前記専用推定モデルに、選択された前記第１入力値または前記第２入力値を入力することで、前記第１ユーザ状態を推定させる、
請求項２〜５のいずれか一項に記載のユーザ状態推定装置。 The input values are a first input value and a second input value representing the state of the information processing apparatus.
The estimation unit selects a dedicated estimation model according to the second user state, selects either the first input value or the second input value, and selects the first input value for the dedicated estimation model. By inputting one input value or the second input value, the first user state is estimated.
The user state estimation device according to any one of claims 2 to 5.
前記第２入力値は、端末ログのうち前記情報処理装置に対するユーザの操作を示す操作ログである、
請求項７に記載のユーザ状態推定装置。 The first input value is a movement log indicating the movement of the information processing device among the terminal logs.
The second input value is an operation log indicating a user's operation on the information processing device in the terminal log.
The user state estimation device according to claim 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019108692A JP7297240B2 (en) | 2019-06-11 | 2019-06-11 | User state estimation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019108692A JP7297240B2 (en) | 2019-06-11 | 2019-06-11 | User state estimation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020201751A true JP2020201751A (en) | 2020-12-17 |
| JP7297240B2 JP7297240B2 (en) | 2023-06-26 |
Family
ID=73743476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019108692A Active JP7297240B2 (en) | 2019-06-11 | 2019-06-11 | User state estimation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7297240B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7129727B1 (en) | 2021-12-24 | 2022-09-02 | 株式会社エルブズ | Specificity detection device, specificity detection method, specificity detection program and specificity detection system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016147010A (en) * | 2015-02-13 | 2016-08-18 | 日本電信電話株式会社 | Work awakening degree estimation device, method and program |
| JP2018011721A (en) * | 2016-07-20 | 2018-01-25 | 日本電気株式会社 | Stress estimation device, stress estimation method, and stress estimation program |
| JP2018180983A (en) * | 2017-04-14 | 2018-11-15 | ソニー株式会社 | Information processing device, information processing method, and program |
-
2019
- 2019-06-11 JP JP2019108692A patent/JP7297240B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016147010A (en) * | 2015-02-13 | 2016-08-18 | 日本電信電話株式会社 | Work awakening degree estimation device, method and program |
| JP2018011721A (en) * | 2016-07-20 | 2018-01-25 | 日本電気株式会社 | Stress estimation device, stress estimation method, and stress estimation program |
| JP2018180983A (en) * | 2017-04-14 | 2018-11-15 | ソニー株式会社 | Information processing device, information processing method, and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7129727B1 (en) | 2021-12-24 | 2022-09-02 | 株式会社エルブズ | Specificity detection device, specificity detection method, specificity detection program and specificity detection system |
| JP2023095289A (en) * | 2021-12-24 | 2023-07-06 | 株式会社エルブズ | Singularity detection device, singularity detection method, singularity detection program, and singularity detection system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7297240B2 (en) | 2023-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6093792B2 (en) | POSITIONING DEVICE, POSITIONING METHOD, POSITIONING PROGRAM, AND POSITIONING SYSTEM | |
| JP6453504B1 (en) | Anomaly monitoring device, anomaly monitoring method and anomaly monitoring program | |
| JP2022519283A (en) | 3D environmental risk identification using reinforcement learning | |
| CN107340964A (en) | The animation effect implementation method and device of a kind of view | |
| JP2016517058A (en) | Estimating time remaining for operation | |
| US10909224B2 (en) | Information processing device, information processing method, and program for tampering detection | |
| JP2013036887A (en) | Observed value reliability assessing apparatus, observed value reliability assessing method, and observed value reliability assessing program | |
| JP2018101201A (en) | Policy introduction effect prediction device, policy introduction effect prediction program and policy introduction effect prediction method | |
| JP6093791B2 (en) | POSITIONING DEVICE, POSITIONING METHOD, POSITIONING PROGRAM, AND POSITIONING SYSTEM | |
| JP2016075583A (en) | System and method for confirming soundness of building | |
| KR20140131471A (en) | Method and Apparatus for mining temporal pattern | |
| CN105308553A (en) | Dynamically provisioning storage | |
| JP6013229B2 (en) | Communication terminal, quality management system, and computer program | |
| WO2017007865A1 (en) | Inference-based visual map of organizational structure and resource usage | |
| JP2020201751A (en) | User state estimation device | |
| CN109739940A (en) | On-line analytical processing method, apparatus, storage medium and electronic equipment | |
| CN109325015A (en) | A kind of extracting method and device of the feature field of domain model | |
| JP5342025B2 (en) | Behavior estimation device | |
| EP3921747A1 (en) | Systems and methods for item response modelling of digital assessments | |
| JP6021193B2 (en) | Management system, terminal device, information management method, and information management program | |
| CN108896070B (en) | Method and device for detecting sensor error in mobile equipment and terminal | |
| JP2019145079A (en) | Abnormality monitoring apparatus, abnormality monitoring method, and abnormality monitoring program | |
| CN105868620B (en) | A kind of information processing method and electronic equipment | |
| WO2017154354A1 (en) | Information processing device, information processing method, and program | |
| JP2009032024A (en) | Order decision program, order decision method, and order decision device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20190704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190704 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220302 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230324 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230606 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7297240 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |