JP2023095289A - Singularity detection device, singularity detection method, singularity detection program, and singularity detection system - Google Patents
Singularity detection device, singularity detection method, singularity detection program, and singularity detection system Download PDFInfo
- Publication number
- JP2023095289A JP2023095289A JP2021211089A JP2021211089A JP2023095289A JP 2023095289 A JP2023095289 A JP 2023095289A JP 2021211089 A JP2021211089 A JP 2021211089A JP 2021211089 A JP2021211089 A JP 2021211089A JP 2023095289 A JP2023095289 A JP 2023095289A
- Authority
- JP
- Japan
- Prior art keywords
- user
- predetermined
- score
- storage device
- peculiarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000010801 machine learning Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000008520 organization Effects 0.000 description 3
- 239000012472 biological sample Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000491 multivariate analysis Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
本発明は、特異性検知装置、特異性検知方法、特異性検知プログラム及び特異性検知システムに関する。 The present invention relates to a peculiarity detection device, a peculiarity detection method, a peculiarity detection program, and a peculiarity detection system.
従来、組織の従業員のストレスから生じる勤怠リスクを高精度に予測する情報処理装置が提案されている(例えば、特許文献1)。本技術においては、記憶部は、複数の被験者のストレスチェックの結果を示すストレスチェックデータと、上記被験者の勤怠労務データと、上記被験者の生体試料データを基に多変量解析により生成された、ストレス予測重み付けパラメータ及び勤怠影響リスク予測重み付けパラメータとを記憶する。制御部は、組織に属する従業員の上記ストレスチェックデータ及び上記勤怠労務データに、上記ストレス予測重み付けパラメータを適用することで、現在から所定期間経過後における上記従業員のストレスを予測したストレス予測データを生成する。さらに制御部は、上記ストレス予測データに、上記勤怠影響リスク予測重み付けパラメータを適用することで、上記所定期間経過後における上記従業員の勤怠、生産性低下または退職のリスクを含む勤怠影響リスクを予測した勤怠影響リスク予測データを生成し、出力する。 Conventionally, there has been proposed an information processing device that highly accurately predicts the attendance risk caused by the stress of employees in an organization (eg, Patent Document 1). In the present technology, the storage unit stores stress check data indicating results of stress checks of a plurality of subjects, attendance data of the subjects, and biological sample data of the subjects by multivariate analysis. Prediction weighting parameters and attendance impact risk prediction weighting parameters are stored. The control unit applies the stress prediction weighting parameter to the stress check data and the attendance data of the employee belonging to the organization to generate stress prediction data that predicts the stress of the employee after a predetermined period from the present. to generate Furthermore, the control unit predicts the attendance impact risk including the risk of attendance, productivity decline, or retirement of the employee after the predetermined period of time by applying the attendance impact risk prediction weighting parameter to the stress prediction data. Generate and output attendance impact risk prediction data.
例えば勤怠影響リスクを予測する場合、被験者の生体試料データを基に多変量解析により生成されたパラメータを適用したとしても、ストレスチェックの結果及び勤怠労務データに表れる予兆に基づいて予測する際の精度には限界がある。そこで、本発明は、ユーザに表れる平常時からの変化を検知するための新規な技術を提供することを目的とする。 For example, when predicting attendance impact risk, even if parameters generated by multivariate analysis based on subject's biological sample data are applied, the accuracy of prediction based on the results of stress checks and signs appearing in attendance data has limits. SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a novel technique for detecting a change from normal that appears to a user.
特異性検知装置は、プロセッサと記憶装置とを含む。プロセッサは、ユーザ端末から、所定のプログラムに対してユーザが操作した位置を表す情報又は所定の基準時からユーザが操作するまでの時間を表す情報を含むユーザの操作の履歴を取得して記憶装置に格納し、記憶装置に蓄積された操作の履歴を用いて算出されるスコアの特徴を機械学習して学習済みモデルを作成し、学習済みモデルを用いて算出されるスコアの予測値と、ユーザの操作に基づいて算出されるスコアとの乖離の程度に応じた指標値を算出する。 The uniqueness detection device includes a processor and a storage device. The processor acquires, from the user terminal, a history of the user's operation including information representing the position of the user's operation on a predetermined program or information representing the time from a predetermined reference time to the user's operation, and stores the history. , a learned model is created by machine-learning the features of the score calculated using the operation history accumulated in the storage device, and the predicted value of the score calculated using the learned model and the user Calculates an index value according to the degree of divergence from the score calculated based on the operation of .
また、ユーザが操作した位置は、所定のプログラムがユーザ端末に表示させるコンテンツ上又はユーザ端末の画面上の位置であり、スコアは、ユーザが操作した位置が過去の操作の履歴に基づいて外れ値であると判断されたか否かに応じて変化するものであってもよい。 In addition, the position operated by the user is the position on the screen of the user terminal or the content displayed on the user terminal by a predetermined program, and the score is an outlier based on the history of past operations where the position operated by the user is an outlier. It may change depending on whether or not it is determined to be.
また、所定の基準時は、所定のプログラムがユーザ端末にコンテンツを表示させた時点であり、スコアは、所定の基準時からユーザが操作するまでの時間に応じて変化するものであってもよい。 Also, the predetermined reference time is the point in time when a predetermined program causes the user terminal to display the content, and the score may change according to the time from the predetermined reference time to the user's operation. .
また、所定のプログラムは、所定の設問をユーザ端末に表示させ、ユーザの操作は、所
定の設問に回答する操作であってもよい。
Also, the predetermined program may display a predetermined question on the user terminal, and the user's operation may be an operation of answering the predetermined question.
また、スコアは、所定の設問に対する正答率に応じてさらに変化するものであってもよい。 Also, the score may further change according to the percentage of correct answers to a predetermined question.
また、所定の設問は、Eラーニングにおけるテスト問題又はストレスチェックであり、指標値が所定の閾値を超える場合、所定の装置に通知するものであってもよい。 Further, the predetermined questions may be test questions or stress checks in E-learning, and when the index value exceeds a predetermined threshold, a notification may be given to a predetermined device.
また、スコアは、所定期間においてユーザの操作の履歴を取得した量に応じてさらに変化するものであってもよい。 Also, the score may further change according to the amount of history of user's operations acquired in a predetermined period.
学習済みモデルは、ニューラルネットワークを用いてスコアの遷移の特徴を機械学習し、作成されるものであってもよい。 The learned model may be created by performing machine learning of score transition features using a neural network.
なお、課題を解決するための手段に記載の内容は、本発明の課題や技術的思想を逸脱しない範囲で可能な限り組み合わせることができる。また、課題を解決するための手段の内容は、コンピュータ等の装置若しくは複数の装置を含むシステム、コンピュータが実行する方法、又はコンピュータに実行させるプログラムとして提供することができる。なお、プログラムを保持する記録媒体を提供するようにしてもよい。 It should be noted that the contents described in the means for solving the problems can be combined as much as possible without departing from the problems and technical ideas of the present invention. In addition, the content of the means for solving the problems can be provided as a system including a device such as a computer or a plurality of devices, a method executed by a computer, or a program to be executed by a computer. A recording medium holding the program may be provided.
ユーザに表れる平常時からの変化を検知するための新規な技術を提供することができる。 It is possible to provide a novel technique for detecting changes from normal that appear to the user.
以下、図面を参照して本発明を実施するための形態について説明する。 EMBODIMENT OF THE INVENTION Hereinafter, the form for implementing this invention is demonstrated with reference to drawings.
<システム構成>
図1は、実施形態に係るシステム全体の一例を示す図である。システム1は、ユーザ端末3(3A、3B)と、特異性検知装置2とを含み、これらがネットワーク(通信網)4を解して接続されている。ネットワーク4は、インターネット等の通信網であり、ネットワーク4に接続されたコンピュータは様々なプロトコルに基づいて相互に通信できるものとする。
<System configuration>
FIG. 1 is a diagram illustrating an example of an entire system according to an embodiment. The
特異性検知装置2は、本実施形態に係る特異性検知処理を行うサーバである。特異性検知装置2は、ユーザ端末3に対し、Eラーニングにおけるスキルチェック、ストレスチェック等に関する所定の設問を送信したり、ユーザ端末3から受信したユーザの操作履歴や設問に対する回答を蓄積及び分析したりする。また、特異性検知装置2は、複数の装置により機能を分担して実現するものであってもよいし、同一の処理を並列に実行するものであってもよい。
The
ユーザ端末3は、スマートフォンやタブレット、PC(Personal Computer)等の一般
的なコンピュータであり、例えば企業等の組織に属するユーザが使用する。また、ユーザ端末3は、本実施形態に係るプログラム(ソフトウェア、又はアプリケーションとも呼ぶ)を実行することにより、画面上に所定の設問を表示させたり、ユーザ端末3に対するユーザの操作履歴やユーザが選択した回答を特異性検知装置2に送信したりする。ユーザ端末3は、ネットワーク4に複数接続されていてもよい。
The
<装置構成>
図2は、特異性検知装置2及びユーザ端末3の構成の一例を示すブロック図である。
<Device configuration>
FIG. 2 is a block diagram showing an example of the configuration of the
特異性検知装置2は、入出力装置21と、記憶装置22と、通信インターフェース(I/F)23と、プロセッサ24とを備えており、これらの構成要素は例えばバスを介して接続されている。入出力装置21は、液晶ディスプレイ、LED(Light Emitting Diode)、キーボード、ポインティングデバイス等である。記憶装置22は、RAM(Random Access Memory)やROM(Read Only Memory)等の主記憶装置及びHDD(Hard-disk Drive)やSSD(Solid State Drive)、フラッシュメモリ等の補助記憶装置(二次記憶装置)である。主記憶装置は、プロセッサが読み出したプログラムを一時的に記憶したり、プロセッサの作業領域を確保したりする。補助記憶装置は、プロセッサが実行するプログラムや、ユーザ端末3と送受信するデータを記憶したりする。通信I/F23は、例えば有線又は無線で通信を行うネットワークアダプタであり、所定のプロトコルに基づき通信を行う。プロセッサ24は、CPU(Central Processing Unit)等の演算処理装置であ
り、プログラムを実行することにより本実施の形態に係る各処理を行う。図2の例では、プロセッサ24内に機能ブロックを示している。具体的には、プロセッサ24は、出題制御部241、特徴学習部242、スコア算出部243、及び特異性検知部244として機能する。出題制御部241は、予め記憶装置22に格納されている、Eラーニングにおけるスキルチェック、ストレスチェック等に関する所定の設問を読み出し、通信I/F21を介してユーザ端末3へ送信したり、ユーザ端末3から通信I/F21を介して受信したユーザの操作履歴や設問に対する回答を、記憶装置22に記憶させたりする。特徴学習部242は、記憶装置22が保持しているユーザの操作履歴や設問に対する回答を読み出し、機械学習を利用してその特徴を学習する。また、特徴学習部242は、特徴を学習したモデルを記憶装置22に記憶させる。スコア算出部243は、記憶装置22が保持しているユーザの操作履歴や設問に対する回答、特徴学習部242が出力した特徴データを読み出し、所定の演算式に当てはめて所定のスコアを算出する。所定のスコアは、例えば、ユーザの仕事に対するモチベーションの高さを予測した値であってもよい。特異性検知部244は、記憶装置22が保持しているユーザの操作履歴や設問に対する回答、特徴学習部242が出力した特徴データを読み出し、過去のデータに基づく将来的なスコアの予測値を算出する。予測値は、過去のデータに基づいて学習したスコアの変遷の特徴に基づいて算出されるものであってもよい。また、スコア算出部243が算出したスコアを読み出し、予測値との乖離の程度を示す指標値(異常度)を算出する。このような異常度が所定の基準よりも大きい場合は、ユーザの状態の特異性を示しているといえる。
The
ユーザ端末3は、入出力装置31と、記憶装置32と、通信I/F33と、プロセッサ
34とを備えており、これらの構成要素は例えば信号線を介して接続されている。入出力装置31は、例えばタッチパネル等のユーザインターフェースであり、入力装置と出力装置(例えば、表示装置)とを含む。記憶装置32は、RAMやROM等の主記憶装置及びHDDやSSD、フラッシュメモリ等の補助記憶装置である。主記憶装置は、プロセッサが読み出したプログラムを一時的に記憶したり、プロセッサの作業領域を確保したりする。補助記憶装置は、プロセッサが実行するプログラムやユーザの操作に関する情報等を記憶する。通信I/F33は、例えば有線又は無線で通信を行うネットワークアダプタであり、所定のプロトコルに基づき通信を行う。プロセッサ34は、CPU等の演算処理装置であり、プログラムを実行することにより本実施の形態に係る各処理を行う。ユーザ端末3についても、プロセッサ34内に機能ブロックを示している。具体的には、プロセッサ34は、出題制御部341、操作記録部342及び結果表示部343として機能する。出題制御部341は、特異性検知装置2から通信I/F33を介して所定の設問を受信し、入出力装置31に表示させる。また、操作記録部は、入出力装置31を介してユーザの操作を受け付け、操作の履歴及びユーザが選択した回答を、通信I/F33を介して特異性検知装置2へ送信する。結果表示部343は、特異性検知装置2から通信I/F33を介して算出されたスコア等の結果を受信し、記憶装置32に記憶させたり、入出力装置31に表示させたりする。
The
<特異性検知処理>
図3は、特異性検知処理の一例を示す処理フロー図である。例えば、ユーザ端末3において本実施形態に係るプログラムが起動されると、ユーザ端末3は特異性検知装置2と通信を行う。また、特異性検知装置2の出題制御部241は、ユーザ端末3へ所定の設問を送信する(図3:S1)。
<Singularity detection processing>
FIG. 3 is a processing flow diagram showing an example of the peculiarity detection processing. For example, when the
図4は、設問を記憶する設問テーブルの一例を示す図である。設問テーブルは、特異性検知装置2の記憶装置22に予め記憶されているものとする。また、設問テーブルは、「設問ID」、「問」、「選択肢1」、「属性1」、「選択肢2」、「属性2」、「選択肢3」、「属性3」、「選択肢4」、「属性4」の各属性を含む。「設問ID」のフィールドには、設問を一意に特定するための識別情報が格納される。「問」のフィールドには、ユーザに対して表示される問題文が格納される。「選択肢(1~4)」のフィールドには、ユーザに対して表示される回答の選択肢が格納される。「属性(1~4)」のフィールドには、対応する選択肢の属性を表す情報が格納される。例示した選択肢は、Eラーニングにおけるスキルチェックのように正答か誤答かが定まるものと、ストレスチェックのように程度の大小を表すものとを含む。図4の例においては、「属性」のフィールドに、正答か否かを表す情報や程度の大小を表す点数が格納されている。図3のS1においては、例えばこのような設問テーブルに登録されたレコードから所定の設問が抽出され、ユーザ端末3へ送信される。
FIG. 4 is a diagram showing an example of a question table that stores questions. It is assumed that the question table is stored in advance in the
一方、ユーザ端末3の出題制御部341は、所定の設問を受信し、入出力装置31へ表示させる(図3:S2)。図5は、ユーザ端末に表示される設問の一例を説明するための図である。図5においては、入出力装置31に、設問311と、回答の選択肢312と、スキルチェックを終了するための「やめる」ボタン313とが表示されている。また、選択肢312のラジオボタンの何れかが選択されると、回答を決定して次の問題に進むための「次へ」ボタン314が表示されるものとする。図3のS2においては、例えばこのような設問が表示される。
On the other hand, the question setting
また、例えば図5の画面において、ユーザが入出力装置31に対して操作を行うと、操作の履歴が記録される。また、ユーザが、選択肢312のラジオボタンの何れかを選択し、「次へ」ボタン314をタップすると、選択された回答が記録される。そして、ユーザによる操作の履歴や回答は、特異性検知装置2へ送信される(図3:S3)。一方、特異
性検知装置2の出題制御部241は、ユーザによる操作履歴や回答を受信すると、記憶装置22に記憶させる(図3:S4)。
For example, when the user operates the input/
図6は、特異性検知装置に蓄積される操作履歴の一例を示す図である。図6のテーブルは、「ユーザID」、「設問ID」、「日時」、「操作」、「座標」の各属性を含む。「ユーザID」のフィールドには、ユーザ端末3を操作するユーザを一意に特定するための識別情報が格納される。「設問ID」のフィールドには、ユーザに対して表示された設問を一意に特定するための識別情報が格納される。「日時」のフィールドには、ユーザが操作を行った日時を示す情報が格納される。「操作」のフィールドには、ユーザが行った操作を示す情報が格納される。「座標」のフィールドには、操作が行われた画面上(コンテンツ上)の位置を例えば座標の列によって表す情報が格納される。すなわち、座標の原点は、ユーザ端末3の画面における四隅のうちの1か所であってもよいし、画面に表示されるコンテンツがスクロール可能な大きさである場合は、コンテンツの四隅のうちの1か所であってもよい。また、操作がタップである場合は1つの座標が記録され、スワイプである場合は軌跡を表す複数の座標列や、始点及び終点の座標等が記録される。
FIG. 6 is a diagram showing an example of an operation history accumulated in the specificity detection device. The table in FIG. 6 includes attributes of "user ID", "question ID", "date and time", "operation", and "coordinates". The “user ID” field stores identification information for uniquely identifying the user who operates the
図7は、特異性検知装置に蓄積される回答履歴の一例を示す図である。図7のテーブルは、「ユーザID」、「設問ID」、「日時」、「回答」の各属性を含む。「ユーザID」のフィールドには、ユーザ端末3を操作するユーザを一意に特定するための識別情報が格納される。「設問ID」のフィールドには、ユーザに対して表示された設問を一意に特定するための識別情報が格納される。「日時」のフィールドには、ユーザが操作を行った日時を示す情報が格納される。「回答」のフィールドには、ユーザが選択した回答を示す情報が格納される。
FIG. 7 is a diagram showing an example of an answer history accumulated in the specificity detection device. The table in FIG. 7 includes attributes of "user ID", "question ID", "date and time", and "answer". The “user ID” field stores identification information for uniquely identifying the user who operates the
また、特異性検知装置2の出題制御部241は、出題を終了するか判断する(図3:S5)。例えば、出題制御部241は、予め定められた複数の設問のセットをすべて出題した場合に終了すると判断する。未出題の設問が存在する場合(S5:NO)、出題制御部241はS1に戻り未出題の設問について処理を繰り返す。
Further, the
一方、S5において出題を終了すると判断された場合(S5:YES)、特異性検知装置2の特徴学習部242は、ユーザの操作履歴の特徴を学習する(図3:S6)。本ステップは、S1~S4の処理を繰り返すことにより操作履歴が所定の閾値以上蓄積された場合に実行するようにしてもよい。本ステップでは、ユーザごとに操作履歴の特徴を表すモデルを作成する。
On the other hand, if it is determined in S5 to end the questioning (S5: YES), the
例えば、ユーザごと且つ操作画面ごとに、One Class SVM(Support Vector Machine) を利用して外れ値(異常値、特異性)を検知するための学習済みモデルを作成する。操作画面ごととは、例えば図4の各レコードに対応する設問ごとであってもよい。また、設問への回答画面だけでなく、アプリケーションのメニュー画面等についても操作履歴を収集しておき、本ステップにおいて操作の特徴を学習するようにしてもよい。 For example, a trained model for detecting outliers (abnormal values, singularities) is created for each user and each operation screen using One Class SVM (Support Vector Machine). For each operation screen, for example, each question corresponding to each record in FIG. 4 may be displayed. Further, operation histories may be collected not only for question answer screens, but also for menu screens of applications, etc., and characteristics of operations may be learned in this step.
図8は、ユーザが操作した場所及び頻度を可視化したヒートマップの一例を示す図である。ヒートマップは、例えば直近の所定回数分の操作履歴においてユーザがタップした座標の密度に基づいて、その境界を表したものである。上述したOne Class SVMによれば、
このようなヒートマップにおいて、ユーザがある画面においてタップする可能性の高い場所と、タップする可能性の低い場所との境界を学習することができるといえる。
FIG. 8 is a diagram illustrating an example of a heat map that visualizes locations and frequencies of user operations. The heat map represents the boundaries based on, for example, the density of coordinates tapped by the user in the operation history for the last predetermined number of times. According to the One Class SVM mentioned above,
In such a heat map, it can be said that it is possible to learn the boundary between a place where the user is likely to tap on a certain screen and a place where the user is unlikely to tap.
また、操作履歴における学習対象は、ユーザがタップ若しくはスワイプした位置、設問等の画面を表示してから操作を開始するまでの時間、又はこれらの組合せであってもよい。このようにすれば、使用者が同種の画面を見たときに左右いずれの手のいずれの指によ
ってどのような操作を行うかについてその特徴を抽出することができる。また、使用者が同種の画面を見たときに内容を把握してから回答する操作を行うするまでの標準的な時間の特徴を抽出することができる。
Also, the learning target in the operation history may be the position tapped or swiped by the user, the time from the display of a screen such as a question to the start of the operation, or a combination thereof. In this way, it is possible to extract the characteristics of what kind of operation the user performs with which finger of the left or right hand when viewing the same type of screen. In addition, it is possible to extract the characteristics of the standard time from when the user sees the same type of screen until he or she comprehends the content and performs the operation of answering.
また、例えばk-means法(k平均法)等のクラスタリング手法により、ユーザごと且つ
操作画面ごとに操作履歴の特徴を表すモデルを作成するようにしてもよい。すなわち、同一のユーザが同種の画面に対して行う操作の特徴を1つのクラスタに分類する学習済みモデルを作成しておく。このようにすれば、当該クラスタに分類されない操作は特異性があると判断できるようになる。
Alternatively, a model representing the characteristics of the operation history for each user and each operation screen may be created by a clustering method such as the k-means method. That is, a learned model is created that classifies the characteristics of operations performed by the same user on the same type of screen into one cluster. By doing so, it becomes possible to determine that an operation that is not classified into the relevant cluster has specificity.
また、特異性検知装置2のスコア算出部243は、所定の演算式に基づいてスコアを算出し、ユーザ端末3へ送信する(図3:S7)。図9は、演算式の一例を説明するための図である。なお、図9は説明の便宜上、表形式で表すが、データベースのテーブルとしてこのような情報は保持されていなくてもよい。本実施形態では、所定の基準を満たすか否かによって異なる点数を加点し、複数の基準について合計したスコアを算出する。図9のテーブルは、「加点基準ID」、「評価データ」、「学習データ」、「True条件」、「点数(True/False)」の各属性を含む。「加点基準ID」のフィールドには、加点基準を一意に識別するための識別情報が表示されている。「評価データ」のフィールドには、評価対象となるデータが表示されている。「学習データ」のフィールドには、機械学習する対象であって評価対象のデータと対比するために用いられるデータが表示されている。「True条件」のフィールドには、所定の点数を加点するために満たすべき条件が表示されている。「点数(True/False)」のフィールドには、True条件を満たす場合と満たさない場合において加点される点数が表示されている。なお、点数は一例であって図9の値には限定されない。
Also, the
「加点基準ID」がC1のレコードは、所定の画面においてユーザが操作した位置が、直近の所定件数の操作位置を学習した学習済みモデルに基づいて外れ値でないと判断された場合に20点を加点し、外れ値であると判断された場合に10点を加点することを示している。操作は、例えばタップを対象としてもよい。なお、学習対象である直近の所定件数は、最新の操作位置を含まないものであってもよい。学習済みモデルは、上述したOne Class SVM、k-means法、その他の機械学習手法によって予め作成されているものとする。 The record with the "scoring reference ID" of C1 gives 20 points if the position operated by the user on the predetermined screen is determined not to be an outlier based on the learned model that has learned the latest predetermined number of operation positions. 10 points are added when it is determined to be an outlier. The operation may target tapping, for example. Note that the most recent predetermined number of operations to be learned may not include the latest operation position. It is assumed that the trained model is created in advance by the above-mentioned One Class SVM, k-means method, or other machine learning techniques.
「加点基準ID」がC2のレコードは、所定の画面において表示後ユーザが操作を行うまでに要した時間が、直近の所定件数の、表示から所定の操作までに要した時間の平均値に対して誤差が所定の閾値以内である場合に20点を加点し、閾値を超えて早い場合又は遅い場合に10点を加点することを示している。なお、所定の操作は、最初のタップ又はスワイプであってもよいし、設問に対し回答を確定する操作であってもよい。また、閾値は、平均値に対する割合で表現されるものであってもよいし、絶対的な時間であってもよい。また、平均値等の基準値からの乖離の程度に応じて点数を増減してもよい。 The record with the "additional point ID" of C2 has a time required for the user to perform an operation after being displayed on a predetermined screen compared to the average value of the time required from display to predetermined operation for the most recent predetermined number of cases. 20 points are added when the error is within a predetermined threshold, and 10 points are added when the error is earlier or later than the threshold. Note that the predetermined operation may be the first tap or swipe, or may be an operation to confirm the answer to the question. Also, the threshold may be expressed as a ratio to the average value, or may be an absolute time. Also, the score may be increased or decreased according to the degree of deviation from the reference value such as the average value.
「加点基準ID」がC3のレコードは、所定の設問のセットに対する正解率が、閾値以上である場合に20点を加点し、閾値を下回る場合に10点を加点することを示している。なお、閾値は、固定値でなく、平均値に対する割合で表現されるものであってもよい。また、平均値等の基準値からの乖離の程度に応じて点数を増減してもよい。 The record with the “scoring reference ID” of C3 indicates that 20 points are added when the accuracy rate for a predetermined set of questions is equal to or higher than the threshold, and 10 points are added when it is below the threshold. Note that the threshold may not be a fixed value but may be expressed as a percentage of the average value. Also, the score may be increased or decreased according to the degree of deviation from the reference value such as the average value.
「加点基準ID」がC4のレコードは、1日における操作記録件数が、直近の所定期間における1日あたりの操作記録件数の平均値に対して誤差が所定の閾値以内である場合に10点を加点し、閾値を超えて少ない場合又は多い場合に5点を加点することを示している。なお、所定の期間は、例えば1週間や1か月等である。また、学習データと対比するのではなく、1日あたりの操作記録件数を絶対的な閾値と比較するようにしてもよい。ま
た、評価対象のデータは、単に1日あたりの件数でなく、直近の所定期間の1日あたりの移動平均等であってもよい。また、閾値は、平均値に対する割合で表現されるものであってもよいし、絶対的な時間であってもよい。また、平均値等の基準値からの乖離の程度に応じて点数を増減してもよい。
The record with the “additional reference ID” of C4 gives 10 points if the error in the number of operation records per day is within a predetermined threshold with respect to the average value of the number of operation records per day in the most recent predetermined period. 5 points are added when there is less or more than the threshold value. Note that the predetermined period is, for example, one week, one month, or the like. Also, the number of operation records per day may be compared with an absolute threshold instead of comparing with learning data. Moreover, the data to be evaluated may not be simply the number of cases per day, but may be a moving average per day for the most recent predetermined period, or the like. Also, the threshold may be expressed as a ratio to the average value, or may be an absolute time. Also, the score may be increased or decreased according to the degree of deviation from the reference value such as the average value.
「加点基準ID」がC5のレコードは、1日における所定の機能の操作記録件数が、直近の所定期間における平均値に対して誤差が所定の閾値以内である場合に10点を加点し、閾値を超えて少ない場合又は多い場合に0点を加点することを示している。所定の機能とは、例えばグループウェア等の何らかの業務に関するアプリケーションであってもよいし、AIと対話するためのアプリケーションのようなものであってもよい。なお、所定の期間は、例えば1週間や1か月等である。また、学習データと対比するのではなく、1日あたりの操作記録件数を絶対的な閾値と比較するようにしてもよい。また、評価対象のデータは、単に1日あたりの件数でなく、直近の所定期間の1日あたりの移動平均等であってもよい。また、閾値は、平均値に対する割合で表現されるものであってもよいし、絶対的な時間であってもよい。また、平均値等の基準値からの乖離の程度に応じて点数を増減してもよい。 In the record with the “scoring reference ID” of C5, 10 points are added when the error of the number of operation records of a predetermined function in one day is within a predetermined threshold with respect to the average value in the most recent predetermined period, and the threshold is It shows that 0 points are added when less or more than . The predetermined function may be, for example, an application related to some kind of business such as groupware, or an application for interacting with AI. Note that the predetermined period is, for example, one week, one month, or the like. Also, the number of operation records per day may be compared with an absolute threshold instead of comparing with learning data. In addition, the data to be evaluated may not be simply the number of cases per day, but may be a moving average per day for the most recent predetermined period, or the like. Also, the threshold may be expressed as a ratio to the average value, or may be an absolute time. Also, the score may be increased or decreased according to the degree of deviation from the reference value such as the average value.
図3のS7においては、図9に示した加点基準又は上述した変形例のうち少なくとも1つを用いて点数を積算し、所定のスコアを算出する。また、図9以外の加点基準に基づいてさらに点数を加算してもよい。例えば、ユーザが本実施形態に係るプログラムを起動して回答を行う時間帯の特徴を学習しておき、過去の実績における時間帯の特徴との乖離の程度が大きい場合に点数が低くなるような加点基準を採用してもよい。また、図4に示した設問はさらに設問の種別を示すカテゴリ情報を備え、総合点のほかにカテゴリごとにスコアの小計(内訳)を算出するようにしてもよい。 In S7 of FIG. 3, points are accumulated using at least one of the point addition criteria shown in FIG. 9 and the modified example described above, and a predetermined score is calculated. Moreover, points may be further added based on point addition criteria other than those shown in FIG. For example, the user starts the program according to the present embodiment and learns the characteristics of the time period during which the user answers, and if the degree of divergence from the characteristics of the time period in the past results is large, the score will be low. A point-adding criterion may be adopted. In addition, the questions shown in FIG. 4 may further include category information indicating the type of question, and a score subtotal (breakdown) for each category may be calculated in addition to the overall score.
一方、ユーザ端末3の結果表示部343は、算出されたスコアを受信すると、入出力装置31に出力させる(図3:S8)。本ステップでは、例えば図10に示すような結果がユーザ端末3の画面に表示される。図10は、スコアを表示する画面の一例を示す図である。図10の例では、スコアの総計315と、設問のカテゴリごとに算出した小計に基づくレーダーチャート316と、表示を終了するための「OK」ボタン317とが、入出力装置31に表示されている。
On the other hand, when the
また、特異性検知装置2の特異性検知部244は、過去のスコアに基づいて将来のスコアの予測値を算出すると共に、実際のスコアと予測値との乖離の程度を示す異常度を算出し、ユーザ端末3へ送信する(図3:S9)。本ステップでは、特異性検知部244又は特徴学習部242は、過去に記録されたスコアの変遷に基づいて機械学習を行い、将来のスコアの予測値を算出するための学習済みモデルを作成する。機械学習は、例えばニューラルネットワークを用いて行うことができる。
In addition, the
図11は、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)の一例を示す模式的な図である。CNNの入力層に含まれる複数のノードには、例えば過去の回答操作において算出されたスコアの総計が時系列に沿って入力される。また、畳み込み層においては、入力層のノード上を、所定の大きさのウィンドウを移動させながら、ウィンドウに含まれるノードの数値(初期的にはスコア)と所定のサイズのカーネル(フィルター)との積の和を算出し、テンソルに変換して特徴マップを作成する。プーリング層においては、ウィンドウに含まれる複数の数値に基づいてその特徴を表す1つの数値を生成し、層のデータ数を縮小する。なお、図11において各層の大きさ(高さ)は、各層のデータ数を表すものとする。全結合層は、2つの層に含まれるノードの組合せを全通りに結合させた多層パーセプトロンである。出力層は、ソフトマックス等の所定の活性化関数であり、例えば確率を表す出力値を出力する。例えば出力層は、0点から満点(例え
ば100点)までの100のスコアである確率を表す101のノードを含むものであってもよいし、0点から100点までのスコアを例えば10点刻みで表す11のノードを含むものであってもよい。このようにすれば、最も高い出力値(確率)を出力するノードに対応するスコアを、予測値とすることができる。また、出力値(確率)が所定の閾値以上であるノードの範囲を特定し、ノードに対応するスコアに基づいて、スコアの予測最高値と予測最低値を求めることもできる。なお、図11は模式的にCNNの構造を示すものであり、層の数や各層の大きさは、図11の例には限定されない。このようにして生成される学習済みモデルは、入力値に対する教師値を変更することにより、例えば2日後の予測値を出力するモデル、3日後の予測値を出力するモデル等を作成することもできる。また、CNN以外のニューラルネットワークを採用するようにしてもよい。
FIG. 11 is a schematic diagram showing an example of a convolutional neural network (CNN). A plurality of nodes included in the input layer of the CNN receives, for example, a total score calculated in past answer operations in chronological order. In the convolution layer, while moving a window of a predetermined size on the nodes of the input layer, the value of the node included in the window (initial score) and the kernel (filter) of a predetermined size are combined. Calculate the sum of the products and convert to a tensor to create a feature map. In the pooling layer, one numerical value representing the feature is generated based on multiple numerical values contained in the window, and the number of data in the layer is reduced. Note that the size (height) of each layer in FIG. 11 indicates the number of data in each layer. A fully connected layer is a multi-layer perceptron that connects all the way through combinations of nodes contained in two layers. The output layer is a predetermined activation function, such as softmax, which outputs an output value representing, for example, probability. For example, the output layer may contain 101 nodes representing probabilities of 100 scores from 0 to full (e.g. 100), 11 nodes represented by . In this way, the score corresponding to the node that outputs the highest output value (probability) can be used as the predicted value. It is also possible to identify a range of nodes whose output values (probabilities) are equal to or greater than a predetermined threshold value, and obtain the predicted maximum and minimum predicted scores based on the scores corresponding to the nodes. Note that FIG. 11 schematically shows the structure of the CNN, and the number of layers and the size of each layer are not limited to the example of FIG. For the trained model generated in this way, by changing the teacher value for the input value, for example, a model that outputs a predicted value for the next two days, a model that outputs a predicted value for the next three days, etc. can be created. . Also, a neural network other than CNN may be employed.
また、図3のS9においては、特異性検知部244は、算出された予測値とS7において算出された実際のスコアとの乖離の程度に基づいて、異常度を求める。すなわち、予測値と実際のスコアとの差が大きいほど、異常度が大きくなるものとする。また、異常度が所定の閾値以上である場合に、特異性検知部244は、特異性を検知したと判断するようにしてもよい。
In addition, in S9 of FIG. 3, the
特異性の検知によれば、ユーザが平常時とは異なる状態であることに本人や関係者がいち早く気づくことができる。例えばEラーニングにおけるスキルチェック、ストレスチェック、その他の業務に関するプログラムの操作に基づいて上述の異常度の算出や特異性の検知を行う場合、ユーザのメンタルの不調や離職の兆候を早期に発見し得る。特異性を検知した結果は、ユーザ端末3へ送信するようにしてもよいし、関係者の端末等、図示していない所定の装置に通知するようにしてもよい。すなわち、ユーザが端末を操作する際の特徴やユーザの能力を評価する正解率に基づいて変化するスコアを用いることで、平常時からのユーザの変化を検知することができる。
According to the detection of specificity, the person himself/herself or related parties can quickly notice that the user is in a state different from normal. For example, when calculating the above-mentioned degree of anomaly and detecting peculiarities based on skill checks, stress checks, and other work-related program operations in E-learning, early detection of signs of user's mental disorders and job separation . The result of detecting the peculiarity may be transmitted to the
また、S9においては、例えば予測値をユーザ端末3にも送信するものとする。一方、ユーザ端末3の結果表示部343は、特異性検知装置2から予測値等を受信し、入出力装置31に表示させる(図3:S10)。本ステップでは、例えば図12に示すような結果がユーザ端末3の画面に表示される。図12は、予測値を表示する画面の一例を示す図である。図12の例では、向こう1週間について予測されたユーザのスコアの最高値及び最低値を表すグラフ318と、予測に基づく過ごし方のアドバイス319と、表示を終了するための「OK」ボタン317とが、入出力装置31に表示されている。なお、アドバイス319は、予測値の周期性を分析した結果であってもよいし、スコアの低下が予測される日に注意を促す内容であってもよい。
Also, in S9, for example, the predicted value is transmitted to the
<変形例>
図4に示した加点基準において、ユーザの回答に対するネガポジ判定の結果を用いるようにしてもよい。ネガポジ判定は、例えば形態素解析により文を単語(品詞)に分解し、予め作成される極性辞書に登録された単語の印象を表す極性及び所定の演算式に基づいて判定結果を決定する手法である。ネガポジ判定は、ユーザが選択した回答に対して実行することもできるし、ユーザが自由入力したテキストに対して自然言語処理を行い実行することもできる。すなわち、選択肢のない設問を設けることができるようになる。
<Modification>
In addition criteria shown in FIG. 4, the result of negative/positive determination of the user's answer may be used. Negative-positive judgment is a technique in which a sentence is broken down into words (parts of speech) by, for example, morphological analysis, and judgment results are determined based on the polarities representing the impressions of words registered in a polarity dictionary created in advance and a predetermined arithmetic expression. . Negative/Positive determination can be performed on an answer selected by the user, or by performing natural language processing on text freely input by the user. That is, it becomes possible to set questions without options.
また、上述の実施形態においては、Eラーニングにおけるスキルチェック、ストレスチェック、その他の業務に関するプログラムの操作に基づいて特異性を検知する例を示したが、これ以外のプログラムにおいて特異性検知を行うこともできる。例えば、高齢者向けのアプリケーションにおいて、ユーザの操作の特異性を検知し、認知症の兆候を発見するようにしてもよい。また、例えばゲームアプリケーションにおいて、ユーザの操作の特異性を検知し、ユーザの継続率や離脱率の予測に用いるようにしたり、何らかのイベントの
成否を評価するために用いたりしてもよい。また、例えばオンラインショッピングのアプリケーションにおいて、ユーザの操作の特異性を検知し、ユーザに対して配信する広告の選択に用いるようにしてもよい。
In addition, in the above-described embodiment, an example of detecting specificity based on the operation of a program related to skill check, stress check, and other work in E-learning was shown, but specificity detection can be performed in other programs. can also For example, in an application for elderly people, the peculiarity of a user's operation may be detected to discover signs of dementia. Also, for example, in a game application, the peculiarities of user operations may be detected and used to predict the user's continuation rate or withdrawal rate, or may be used to evaluate the success or failure of some event. Also, for example, in an online shopping application, the peculiarity of a user's operation may be detected and used to select an advertisement to be distributed to the user.
<その他>
上述した実施形態の構成は例示であり、本発明の課題や技術的思想を逸脱しない範囲で可能な限り組み合わせたり、変更したりすることができる。
<Others>
The configuration of the embodiment described above is an example, and can be combined and changed as much as possible without departing from the subject and technical idea of the present invention.
また、本発明は上述の処理を実行するコンピュータプログラムを含む。また、当該プログラムを記録した、コンピュータ読み取り可能な記録媒体として提供するようにしてもよい。当該プログラムが記録された記録媒体については、コンピュータが読み出して実行することにより、上述の処理が可能となる。 The present invention also includes a computer program for performing the processes described above. Alternatively, the program may be provided as a computer-readable recording medium. A computer reads and executes the recording medium on which the program is recorded, thereby enabling the above processing.
ここで、コンピュータ読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータから取り外し可能なものとしては、フレキシブルディスク、光磁気ディスク、光ディスク、磁気テープ、メモリカード等がある。また、コンピュータに固定された記録媒体としては、ハードディスクドライブやROM等がある。 Here, a computer-readable recording medium is a recording medium that stores information such as data and programs by electrical, magnetic, optical, mechanical, or chemical action and can be read by a computer. Examples of such recording media that can be removed from the computer include flexible disks, magneto-optical disks, optical disks, magnetic tapes, memory cards, and the like. Recording media fixed to computers include hard disk drives, ROMs, and the like.
1:特異性検知システム
2:特異性検知装置
21:入出力装置
22:記憶装置
24:プロセッサ
241:出題制御部
242:特徴学習部
243:スコア算出部
244:特異性検知部
3(3A、3B):ユーザ端末
31:入出力装置
32:記憶装置
34:プロセッサ
341:出題制御部
342:操作記録部
343:結果表示部
4:ネットワーク
1: Singularity detection system 2: Singularity detection device 21: Input/output device 22: Storage device 24: Processor 241: Questioning control unit 242: Feature learning unit 243: Score calculation unit 244: Singularity detection unit 3 (3A, 3B ): User terminal 31: Input/output device 32: Storage device 34: Processor 341: Questioning control unit 342: Operation recording unit 343: Result display unit 4: Network
Claims (11)
前記プロセッサは、
ユーザ端末から、所定のプログラムに対してユーザが操作した位置を表す情報又は所定の基準時からユーザが操作するまでの時間を表す情報を含むユーザの操作の履歴を取得して前記記憶装置に格納し、
前記記憶装置に蓄積された前記操作の履歴を用いて算出されるスコアの特徴を機械学習して学習済みモデルを作成し、
前記学習済みモデルを用いて算出される前記スコアの予測値と、ユーザの操作に基づいて算出される前記スコアとの乖離の程度に応じた指標値を算出する
特異性検知装置。 including a processor and a storage device;
The processor
Acquire from the user terminal a user operation history including information representing the position where the user has operated on a predetermined program or information representing the time from a predetermined reference time to the user's operation, and store it in the storage device death,
creating a learned model by machine-learning the features of the score calculated using the history of the operation accumulated in the storage device;
A peculiarity detection device that calculates an index value according to a degree of divergence between a predicted value of the score calculated using the trained model and the score calculated based on a user's operation.
前記スコアは、前記ユーザが操作した位置が過去の操作の履歴に基づいて外れ値であると判断されたか否かに応じて変化する
請求項1に記載の特異性検知装置。 The position operated by the user is a position on the content displayed on the user terminal by the predetermined program or on the screen of the user terminal,
The peculiarity detection device according to claim 1, wherein the score changes depending on whether or not the position operated by the user is determined to be an outlier based on the history of past operations.
前記スコアは、前記所定の基準時からユーザが操作するまでの時間に応じて変化する
請求項1又は2に記載の特異性検知装置。 2. The predetermined reference time is the point in time when the predetermined program causes the user terminal to display the content, and the score changes according to the time from the predetermined reference time to the user's operation. 3. The specificity detection device according to 2.
前記ユーザの操作は、前記所定の設問に回答する操作である
請求項1から3のいずれか一項に記載の特異性検知装置。 The predetermined program causes the user terminal to display a predetermined question,
The peculiarity detection device according to any one of claims 1 to 3, wherein the user's operation is an operation of answering the predetermined question.
請求項4に記載の特異性検知装置。 The peculiarity detection device according to claim 4, wherein the score further changes according to the percentage of correct answers to the predetermined question.
前記指標値が所定の閾値を超える場合、所定の装置に通知する
請求項4又は5に記載の特異性検知装置。 The predetermined questions are test questions or stress checks in E-learning,
The peculiarity detection device according to claim 4 or 5, wherein when the index value exceeds a predetermined threshold, a predetermined device is notified.
請求項1から6のいずれか一項に記載の特異性検知装置。 The peculiarity detection device according to any one of claims 1 to 6, wherein the score further changes according to the amount of the user's operation history acquired in a predetermined period.
請求項1から7のいずれか一項に記載の特異性検知装置。 The peculiarity detection device according to any one of claims 1 to 7, wherein the trained model is created by machine-learning the transition characteristics of the score using a neural network.
ユーザ端末から、所定のプログラムに対してユーザが操作した位置を表す情報又は所定の基準時からユーザが操作するまでの時間を表す情報を含むユーザの操作の履歴を取得して前記記憶装置に格納し、
前記記憶装置に蓄積された前記操作の履歴を用いて算出されるスコアの特徴を機械学習して学習済みモデルを作成し、
前記学習済みモデルを用いて算出される前記スコアの予測値と、ユーザの操作に基づ
いて算出される前記スコアとの乖離の程度に応じた指標値を算出する
特異性検知方法。 said processor of a computer comprising a processor and a storage device,
Acquire from the user terminal a user operation history including information representing the position where the user has operated on a predetermined program or information representing the time from a predetermined reference time to the user's operation, and store it in the storage device death,
creating a learned model by machine-learning the features of the score calculated using the history of the operation accumulated in the storage device;
A method for detecting specificity, wherein an index value is calculated according to a degree of divergence between a predicted value of the score calculated using the trained model and the score calculated based on a user's operation.
ユーザ端末から、所定のプログラムに対してユーザが操作した位置を表す情報又は所定の基準時からユーザが操作するまでの時間を表す情報を含むユーザの操作の履歴を取得して前記記憶装置に格納させ、
前記記憶装置に蓄積された前記操作の履歴を用いて算出されるスコアの特徴を機械学習して学習済みモデルを作成させ、
前記学習済みモデルを用いて算出される前記スコアの予測値と、ユーザの操作に基づいて算出される前記スコアとの乖離の程度に応じた指標値を算出させる
特異性検知プログラム。 to said processor of a computer comprising a processor and a storage device;
Acquire from the user terminal a user operation history including information representing the position where the user has operated on a predetermined program or information representing the time from a predetermined reference time to the user's operation, and store it in the storage device let
create a learned model by machine learning the features of the score calculated using the history of the operation accumulated in the storage device;
A peculiarity detection program for calculating an index value according to the degree of divergence between the predicted score value calculated using the trained model and the score calculated based on a user's operation.
前記複数のサーバは、
ユーザ端末から、所定のプログラムに対してユーザが操作した位置を表す情報又は所定の基準時からユーザが操作するまでの時間を表す情報を含むユーザの操作の履歴を取得して前記記憶装置に格納し、
前記記憶装置に蓄積された前記操作の履歴を用いて算出されるスコアの特徴を機械学習して学習済みモデルを作成し、
前記学習済みモデルを用いて算出される前記スコアの予測値と、ユーザの操作に基づいて算出される前記スコアとの乖離の程度に応じた指標値を算出する
特異性検知システム。 including a plurality of servers and a storage device provided by any of the plurality of servers or other devices,
The plurality of servers are
Acquire from the user terminal a user operation history including information representing the position where the user has operated on a predetermined program or information representing the time from a predetermined reference time to the user's operation, and store it in the storage device death,
creating a learned model by machine-learning the features of the score calculated using the history of the operation accumulated in the storage device;
A specificity detection system that calculates an index value according to the degree of divergence between the predicted score value calculated using the trained model and the score calculated based on a user's operation.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021211089A JP7129727B1 (en) | 2021-12-24 | 2021-12-24 | Specificity detection device, specificity detection method, specificity detection program and specificity detection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021211089A JP7129727B1 (en) | 2021-12-24 | 2021-12-24 | Specificity detection device, specificity detection method, specificity detection program and specificity detection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7129727B1 JP7129727B1 (en) | 2022-09-02 |
JP2023095289A true JP2023095289A (en) | 2023-07-06 |
Family
ID=83148936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021211089A Active JP7129727B1 (en) | 2021-12-24 | 2021-12-24 | Specificity detection device, specificity detection method, specificity detection program and specificity detection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7129727B1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011072644A (en) * | 2009-09-30 | 2011-04-14 | Sogo Keibi Hosho Co Ltd | Mind and body condition announcement system and mind and body condition announcement method |
JP2020052757A (en) * | 2018-09-27 | 2020-04-02 | 株式会社メディリード | Information processing device, information processing method, and program |
JP2020086818A (en) * | 2018-11-22 | 2020-06-04 | 国立大学法人北海道大学 | Program for determining labor status, determination system, and determination device |
WO2020195147A1 (en) * | 2019-03-22 | 2020-10-01 | 株式会社Nttドコモ | Information processing device |
JP2020201751A (en) * | 2019-06-11 | 2020-12-17 | 株式会社Nttドコモ | User state estimation device |
JP2021043781A (en) * | 2019-09-12 | 2021-03-18 | 株式会社日立システムズ | Health management system and health management method |
-
2021
- 2021-12-24 JP JP2021211089A patent/JP7129727B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011072644A (en) * | 2009-09-30 | 2011-04-14 | Sogo Keibi Hosho Co Ltd | Mind and body condition announcement system and mind and body condition announcement method |
JP2020052757A (en) * | 2018-09-27 | 2020-04-02 | 株式会社メディリード | Information processing device, information processing method, and program |
JP2020086818A (en) * | 2018-11-22 | 2020-06-04 | 国立大学法人北海道大学 | Program for determining labor status, determination system, and determination device |
WO2020195147A1 (en) * | 2019-03-22 | 2020-10-01 | 株式会社Nttドコモ | Information processing device |
JP2020201751A (en) * | 2019-06-11 | 2020-12-17 | 株式会社Nttドコモ | User state estimation device |
JP2021043781A (en) * | 2019-09-12 | 2021-03-18 | 株式会社日立システムズ | Health management system and health management method |
Non-Patent Citations (1)
Title |
---|
鳥羽 美奈子: "PC操作ログの特徴量とオフィスワーカーのストレス量の相関分析", 電子情報通信学会論文誌 (J95−D) 第4号, vol. 第J95-D巻, JPN6022012988, 1 April 2012 (2012-04-01), JP, pages 747 - 757, ISSN: 0004744980 * |
Also Published As
Publication number | Publication date |
---|---|
JP7129727B1 (en) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11501862B2 (en) | Systems and methods for healthcare provider dashboards | |
KR20180118611A (en) | System and method for data base identification of talent | |
Bosse et al. | Computational model-based design of leadership support based on situational leadership theory | |
US20230386670A1 (en) | Method and system for recommending treatment plans, preventive actions, and preparedness actions | |
JP2017062842A (en) | Health management server and control method thereof and health management message application program | |
US11256873B2 (en) | Data processing system and method for dynamic assessment, classification, and delivery of adaptive personalized recommendations | |
JP6916310B2 (en) | Human-participatory interactive model training | |
US20210020060A1 (en) | Systems and methods for simulated reality based risk mitigation | |
US20180322942A1 (en) | Medical protocol evaluation | |
Souza et al. | An evaluation framework for user experience using eye tracking, mouse tracking, keyboard input, and artificial intelligence: A case study | |
JP5958284B2 (en) | Information processing program, information processing method, and information processing apparatus | |
Panagoulias et al. | A novel framework for artificial intelligence explainability via the Technology Acceptance Model and Rapid Estimate of Adult Literacy in Medicine using machine learning | |
Beriwal et al. | Techniques for suicidal ideation prediction: a qualitative systematic review | |
Medeiros et al. | Biases in ethical decision making among university faculty | |
JP7129727B1 (en) | Specificity detection device, specificity detection method, specificity detection program and specificity detection system | |
US11049299B2 (en) | System and method for improved data structures and related interfaces | |
KR20190080316A (en) | Method, apparatus for generating wrong answer notes | |
US20220351846A1 (en) | System and method for determining retention of caregivers | |
Ding et al. | EduAware: using tablet-based navigation gestures to predict learning module performance | |
JP7469966B2 (en) | Information processing device, information processing method, and program | |
Choi et al. | A Systematic Literature Review on Performance Prediction in Learning Programming Using Educational Data Mining | |
KR20210115233A (en) | Online subscription service-based learning services device and method | |
Shamshurin et al. | A predictive model to identify Kanban teams at risk | |
JP2021043781A (en) | Health management system and health management method | |
US20180322959A1 (en) | Identification of low-efficacy patient population |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211224 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7129727 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |