JP2016162000A - User monitoring system - Google Patents
User monitoring system Download PDFInfo
- Publication number
- JP2016162000A JP2016162000A JP2015037470A JP2015037470A JP2016162000A JP 2016162000 A JP2016162000 A JP 2016162000A JP 2015037470 A JP2015037470 A JP 2015037470A JP 2015037470 A JP2015037470 A JP 2015037470A JP 2016162000 A JP2016162000 A JP 2016162000A
- Authority
- JP
- Japan
- Prior art keywords
- user
- authentication information
- unit
- terminal
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
Description
本発明は、コンピュータ端末を操作するユーザを監視するユーザ監視システムに関する。 The present invention relates to a user monitoring system for monitoring a user who operates a computer terminal.
従来、パソコン等のコンピュータ端末を操作しているユーザが、操作途中で不正な者に変わっていないかを確認する方法として、例えば、特許文献1のような方法が存在する。特許文献1に記載の方法では、まず、コンピュータ端末を利用する前に(正当な)ユーザの顔画像データを登録しておく。そして、この登録済みの顔画像データと、ユーザが端末を使用している間に所定周期ごとにカメラで撮像されるユーザの顔画像データとを、その都度、比較する。もし、これらの顔画像データが異なると判断される場合には、端末をロックして端末を使用できない状態にする。
Conventionally, as a method for confirming whether a user operating a computer terminal such as a personal computer has changed to an unauthorized person during the operation, there is a method as disclosed in
しかしながら、特許文献1のような方法では、以下のような場合は不正を検知できない。すなわち、例えば、N回目の撮像が行われた時には正当なユーザAが端末を操作していたが、N+1回目の撮像が行われるまでの間に、不正ユーザBが端末を操作してから正当なユーザAが戻って端末を操作したような場合である。つまり、N回目とN+1回目の撮像が行われる時点において正当なユーザAが端末を操作してさえいれば、その間に不正なユーザが操作を行っても、検知することができない。
However, the method disclosed in
本発明は、上記課題に鑑みてなされたものであり、所定周期のユーザ認証時以外に不正ユーザが端末の操作を行った場合であっても、これを検知可能とするユーザ監視システムを提供することを目的とする。 The present invention has been made in view of the above problems, and provides a user monitoring system that can detect even when an unauthorized user operates a terminal other than during a period of user authentication. For the purpose.
上記課題を解決するために、本発明の一態様は、端末を操作するユーザを監視するユーザ監視システムであって、ユーザが前記端末を操作する少なくとも一部の期間において、一定の周期で前記ユーザから前記ユーザの認証情報を取得する認証情報取得部と、前記認証情報取得部が前記一定の周期で前記ユーザの認証情報を取得するごとに、前記ユーザの認証情報が、正当なユーザの認証情報であるか判断する認証部と、前記端末におけるユーザの入力操作の状態の変化を検知する入力デバイス監視部と、前記入力デバイス監視部が前記ユーザの入力操作の状態の変化を検知した場合に、前記認証情報取得部において前記認証情報を取得する前記周期を変更するタイミング変更部と、を備えるユーザ監視システムである。 In order to solve the above-described problem, an aspect of the present invention is a user monitoring system that monitors a user who operates a terminal, wherein the user operates at a constant cycle in at least a part of a period in which the user operates the terminal. The authentication information acquisition unit that acquires the user authentication information from the authentication information acquisition unit, and the authentication information acquisition unit acquires the user authentication information at regular intervals, so that the user authentication information is valid user authentication information. When the authentication unit that determines whether the input device monitoring unit detects a change in the state of the user's input operation in the terminal, and the input device monitoring unit detects a change in the state of the user's input operation, A timing change unit that changes the period for acquiring the authentication information in the authentication information acquisition unit.
また、本発明の他の態様は、認証情報取得部と、認証部と、入力デバイス監視部と、タイミング変更部と、を備え、端末を操作するユーザを監視するユーザ監視システムが実行する方法であって、前記認証情報取得部が、ユーザが前記端末を操作する少なくとも一部の期間において、一定の周期で前記ユーザから前記ユーザの認証情報を取得するステップと、前記認証部が、前記認証情報取得部が前記一定の周期で前記ユーザの認証情報を取得するごとに、前記ユーザの認証情報が、正当なユーザの認証情報であるか判断するステップと、前記入力デバイス監視部が、前記端末におけるユーザの入力操作の状態の変化を検知するステップと、前記タイミング変更部が、前記入力デバイス監視部が前記ユーザの入力操作の状態の変化を検知した場合に、前記認証情報取得部において前記認証情報を取得する前記周期を変更するステップと、を含む方法である。 Another aspect of the present invention is a method executed by a user monitoring system that includes an authentication information acquisition unit, an authentication unit, an input device monitoring unit, and a timing changing unit, and monitors a user who operates a terminal. The authentication information acquisition unit acquires the user authentication information from the user at a constant period in at least a part of the period during which the user operates the terminal; and the authentication unit includes the authentication information. Each time the acquisition unit acquires the user authentication information at the certain period, the step of determining whether the user authentication information is valid user authentication information, and the input device monitoring unit in the terminal A step of detecting a change in the state of the user's input operation; and the timing changing unit detects a change in the state of the input operation of the user by the input device monitoring unit. The case, the method comprising, a step of changing the period for acquiring the authentication information in the authentication information acquiring unit.
また、本発明の他の態様は、上記の方法を前記ユーザ監視システムに実行させるためのコンピュータプログラムである。 Moreover, the other aspect of this invention is a computer program for making the said user monitoring system perform said method.
本発明の上記態様によれば、ユーザの認証を実行する基本的な周期の間において不正なユーザが操作を行った場合であっても、これを検知することが可能である。 According to the said aspect of this invention, even if it is a case where an unauthorized user performed operation during the basic period which performs a user's authentication, this can be detected.
以下、図面を参照しながら、本発明の実施の形態について説明する。なお、以下の説明において参照する各図では、他の図と同等の部分は同一符号によって示される。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In each drawing referred to in the following description, parts equivalent to those in other drawings are denoted by the same reference numerals.
(ユーザ監視システムの構成)
図1は、本実施形態に係るユーザ監視システムの構成例を示す図である。図1に例示されるユーザ監視システム1は、ユーザが操作する端末10と、システムの管理者が操作する管理者装置20とを含む。
(User monitoring system configuration)
FIG. 1 is a diagram illustrating a configuration example of a user monitoring system according to the present embodiment. A
端末10は、撮像部102と、入力受付部(入力デバイス)104と、認証部106と、記憶部108と、入力デバイス監視部110と、撮像タイミング変更部112と、関連作業ログ抽出部114と、送信部116と、受信部118と、回復処理部120と、を備える。また、管理用装置20は、受信部202と、表示部204と、回復処理要否判断部206と、送信部208と、を備える。
The
(端末)
撮像部102は、ユーザが端末10を操作する少なくとも一部の期間において、一定の周期でユーザの顔(一部または全体)を撮像して、ユーザの顔画像データ(生体的特徴)を取得する。また、撮像部102は、一定の周期において撮像を行うことに加えて、後述する入力デバイス監視部110がユーザの入力操作の状態の変化を検知した時点で、ユーザの生体情報を取得するようになっていてもよい。
(Terminal)
The
入力受付部(入力デバイス)104は、端末10に対するユーザの操作入力を受け付ける。入力受付部104は、具体的には例えば、キーボード、マウス、タッチパネル、タッチペン、等の様々な入力デバイスであってよい。また、入力受付部104は、音声による入力を受け付けるようになっていてもよい。
The input receiving unit (input device) 104 receives a user operation input to the
認証部106は、撮像部102が一定の周期でユーザの顔画像データを取得するごとに、取得されたユーザの顔画像データが、正当なユーザの顔画像データであるか判断する。そして、取得された顔画像データが正当なユーザの顔画像データではないと判断する場合には、認証NGと判断する。また、本実施形態においては、認証部106における判断の結果、撮像部102で取得された顔画像データが正当なユーザの顔画像データではないと判断された場合には、ユーザの入力操作を制限する。なお、ユーザの入力操作を制限する方法としては、一部の入力操作のみを制限して、その他の入力操作は許容するようにしてもよい。
The
また、認証部106が、撮像部102で取得された顔画像データが正当なユーザの顔画像データであるか判断する方法としては、様々な方法が考えられる。例えば、顔画像全体のうち、一部のみを照合の対象としてもよいし、複数箇所(複数条件)を照合の対象としてもよい。また、これらの結果を組み合わせて照合結果を決定してもよい。また、照合対象箇所の一致率が所定の閾値を下回る場合に、認証NGにする等、としてもよい。
Various methods are conceivable for the
記憶部108は、各種のデータを記憶する機能を有する。本実施形態においては少なくとも、以下に説明する「プロセス管理ログ」ファイル、「作業内容ログ」ファイル、「入力情報ログ」ファイル、「ユーザID対応テーブル」、「プロセス関連性ログ」ファイルが、記憶部108に記憶される。
The
図2は、「プロセス管理ログ」ファイルの一例を示す図である。図2に示されるプロセス管理ログは、各ユーザが端末10への操作入力に基づいて実行されたプロセスを含む、端末10で起動しているプロセスを記録するためのファイルである。プロセス管理ログには、例えば、実行ユーザ、ユーザが実行したプロセスを特定するためのプロセスID、親プロセスを特定するための親プロセスID、プロセス名、プロセスの起動時刻および終了時刻、等が記録される。
FIG. 2 is a diagram illustrating an example of a “process management log” file. The process management log shown in FIG. 2 is a file for recording processes started on the
図3は、「作業内容ログ」ファイルの一例を示す図である。「作業内容ログ」ファイルは「プロセス管理ログ」ファイルと“プロセスID”によって紐付けられており、プロセス管理ログのプロセスIDで特定されるプロセスについてのより詳細な内容が記録されている。また、図4は、「入力情報ログ」ファイルの一例を示す図である。「入力情報ログ」ファイルには、ユーザに操作された端末10の入力デバイスの詳細が記録される。図5は、「ユーザID対応テーブル」の一例を示す図である。ユーザID対応テーブルは、ユーザごとに、そのユーザが端末10と連動して動作する他の機器に対して何らかの処理を行う際(例えば、端末10を介して他の機器にアクセスする場合等が挙げられる)のユーザIDを記憶するテーブルである。 FIG. 3 is a diagram illustrating an example of a “work content log” file. The “work content log” file is linked to the “process management log” file by the “process ID”, and more detailed content about the process specified by the process ID of the process management log is recorded. FIG. 4 is a diagram illustrating an example of an “input information log” file. Details of the input device of the terminal 10 operated by the user are recorded in the “input information log” file. FIG. 5 is a diagram illustrating an example of a “user ID correspondence table”. The user ID correspondence table is for each user when the user performs some processing on another device operating in conjunction with the terminal 10 (for example, when accessing another device via the terminal 10). This is a table for storing the user ID of
図1に戻り、入力デバイス監視部110は、端末10におけるユーザの入力操作の状態の変化を検知する。入力デバイス監視部110は、ユーザに操作された端末10の入力デバイスに関する情報を統計処理することによって、ユーザの入力操作の状態の変化を検知してもよい。また、入力デバイス監視部110は、入力受付部104がユーザの操作入力を受け付けると、ユーザに操作された入力デバイスに関する情報を記憶部108の「入力情報ログ」ファイル等に記憶する。
Returning to FIG. 1, the input
撮像タイミング変更部112は、入力デバイス監視部110がユーザの入力操作の状態の変化を検知した場合に、撮像部102において顔画像データを取得する周期を変更する(より短い周期にする)。ここで、撮像タイミングを変更する方法は、複数考えられる。例えば、入力デバイス監視部110で操作入力の変化を検知した後に到来する撮像処理の後に始まる撮像周期から短くする、操作入力の変化を検知した時点で顔画像の撮像を行い、その後に始まる撮像周期から短くする、操作入力の変化を検知した時点を含む撮像周期そのものを短くする(操作入力の変化の検出後に到来する撮像タイミングが早くなる)、等が考えられる。
When the input
また、撮像タイミング変更部112は、撮像タイミングを短く変更した後、所定の条件成立をトリガーとして撮像周期を元の長さに戻すようになっていてもよい。例えば、ユーザが端末10からログオフしたことを検知して、撮像周期を元の長さに戻すようになっていてもよい。またその際、段階的に撮像周期を長くしつつ、元の長さに戻していくようになっていてもよい。
In addition, the imaging
関連作業ログ抽出部114は、認証部106における判断の結果、撮像部102で取得された顔画像データが正当なユーザの顔画像データではないと判断された場合には、記憶部108からこの判断された時点から一定期間前までの間に実行された端末10に対するユーザの入力操作の一部または全てを抽出する。
If it is determined that the face image data acquired by the
送信部116は、管理用装置20へ各種のデータを送信する機能を有する。
The
受信部118は、管理用装置20から各種のデータを受信する機能を有する。端末10と管理用装置20との間の通信は、有線通信であっても無線通信であってもよい。
The receiving
回復処理部120は、認証部106における判断の結果、撮像部102で取得された顔画像データが正当なユーザの顔画像データではないと判断された場合には、この判断された時点から一定期間前までの間に実行された端末10に対するユーザの入力操作の一部または全てについて、入力操作の前の状態に戻す(ロールバックする)。
When it is determined that the face image data acquired by the
(ユーザ監視システムの処理フロー)
以下、本実施形態に係るユーザ監視システムにおける処理例について説明する。図6は、本実施形態に係るユーザ監視システム1における処理を示すメインフロー図である。
(Processing flow of user monitoring system)
Hereinafter, a processing example in the user monitoring system according to the present embodiment will be described. FIG. 6 is a main flowchart showing processing in the
まず、ユーザが端末10を操作し始める際、ユーザ監視システム1からのログイン要求に応じて、ユーザIDとパスワードとを入力する等のログイン操作を行う(入力受付部104にてユーザ入力を受け付ける)。この時、端末10は、撮像部102によって端末を操作しているユーザの顔を撮像して顔画像データを取得し、これをユーザの正当な顔画像データとして記憶部108に記憶して登録する(ステップS101)。
First, when a user starts operating the terminal 10, a login operation such as inputting a user ID and a password is performed in response to a login request from the user monitoring system 1 (user input is received by the input receiving unit 104). . At this time, the terminal 10 acquires the face image data by capturing the face of the user who is operating the terminal with the
その後、ユーザが端末10を操作している間、所定時間(撮像周期)が経過すると(ステップS103:Yes)、ステップS109に移行し、撮像部102はユーザの顔を撮像して顔画像データを取得する。そして、ユーザ監視システム1は、この顔画像データと、ステップS101で記憶部108に記憶された顔画像データとを比較して、この時点で端末10を操作しているユーザが正当なユーザ(ログイン時のユーザと同一)であるかをチェックする(ステップS109)。そして、認証結果がOK(操作しているユーザは正当なユーザ)である間は、ステップS103に戻る。
Thereafter, when a predetermined time (imaging cycle) elapses while the user operates the terminal 10 (step S103: Yes), the process proceeds to step S109, and the
また、所定時間(撮像周期)が経過していなくても(ステップS103:No)、入力デバイス監視処理によって端末10の操作者が変わった可能性があると判断された場合は(ステップS105:Yes)、顔画像の撮像周期をより短い周期に変更する(ステップS107)。ここで、入力デバイス監視処理とは、本メインフローとは別プロセスで実行される処理であり、端末10における操作者からの入力に基づいて端末10を操作している者が変わった可能性があることを検知するための処理である(入力デバイス監視処理については後に詳述する)。 Further, even when the predetermined time (imaging cycle) has not elapsed (step S103: No), when it is determined that the operator of the terminal 10 may have changed due to the input device monitoring process (step S105: Yes). ) The face image capturing period is changed to a shorter period (step S107). Here, the input device monitoring process is a process executed in a process different from the main flow, and the person operating the terminal 10 may have changed based on the input from the operator at the terminal 10. This is a process for detecting the presence (the input device monitoring process will be described in detail later).
操作者が変わった可能性があると判断された場合は(ステップS105:Yes)、さらに、撮像部102でその時点で端末10を操作している者の顔画像を取得して顔画像の照合を行う(ステップS109)。
When it is determined that there is a possibility that the operator has changed (step S105: Yes), the face image of the person who is operating the terminal 10 at that time is acquired by the
ステップS109における認証処理の結果が、記憶部108に記憶されているユーザの顔画像と、この時点で操作を行っているユーザの顔画像が異なる(認証NG)との結果だった場合には、端末10をロックしてユーザが操作できない状態にする(ステップS111)。そして、関連作業ログ抽出処理を実行する(ステップS113)。「関連作業ログ抽出処理」は、端末10の操作者が変わった可能性があることを検知した場合に、その操作者が行った可能性のある操作をキャンセルして操作前の状態に戻す(回復処理)ために、その操作者の行った操作を抽出する処理である(詳細は後述する)。
If the result of the authentication process in step S109 is a result that the face image of the user stored in the
そして、ステップS113にて抽出したログを、管理用装置20の表示部204に表示させる。管理用装置20を使用している管理者は、表示部204に表示されたログを確認して、端末10で回復処理を行うか否かを判断し、判断結果を管理用装置20に入力する(ステップS115)。判断結果は端末10に送信される。端末10では、管理用装置20から、回復処理が必要との判断結果を受信した場合には、回復処理を実行する(ステップS117)。
Then, the log extracted in step S113 is displayed on the
なお、上記においては、ログイン時(ステップS101)において撮像したユーザの画像を正当なユーザの顔画像として記憶部108に登録したが、端末10の操作開始前に、あらかじめユーザの顔画像を記憶部108に登録させておき、これをユーザの正当な顔画像データとしてもよい。そして、操作開始時(ステップS101)および顔画像の照合時(ステップS109)において、この操作開始前に登録させた顔画像と、撮像部102が撮像した顔画像とを比較するようになっていてもよい。また、ステップS103〜S107の処理については、所定時間が経過するか、入力デバイス監視処理からの通知結果をイベントとして受ける(それまではイベント待ち)ことによって、ステップS107以降の処理を行ってもよい。
In the above description, the user image captured at the time of login (step S101) is registered in the
(入力デバイス監視処理)
図7は、入力デバイス監視処理(図6のステップS105)の一例を示すフロー図である。
(Input device monitoring process)
FIG. 7 is a flowchart showing an example of the input device monitoring process (step S105 in FIG. 6).
入力待ち状態(ステップS1051)から、端末10の入力受付部(入力デバイス)104を介してユーザの操作入力を検知すると、オペレーション内容復元用データ取得処理を実行する(ステップS1053)。ここで、図8は、ステップS1053のオペレーション内容復元用データ取得処理の一例を示すフロー図である。 When a user operation input is detected from the input waiting state (step S1051) via the input receiving unit (input device) 104 of the terminal 10, an operation content restoration data acquisition process is executed (step S1053). Here, FIG. 8 is a flowchart illustrating an example of the operation content restoration data acquisition processing in step S1053.
ユーザの操作入力を検知すると、そのユーザの操作内容をデータに反映させる前に、操作内容を記憶部108に保持されている「作業内容ログ」ファイル(図3)に記録する。作業内容ログには、時刻YYYY/MM/DD hh:mm:ssにプロセスAがデータxをCreate(作成)/Read(読出し)/Delete(削除)、プロセスAがデータxをデータyにUpdate(更新)、等の情報が記録される(ステップS201)。
When a user operation input is detected, the operation content is recorded in a “work content log” file (FIG. 3) held in the
次に、検知したユーザ操作の操作種別がUpdate(更新)またはDelete(削除)である場合には(ステップS203)、元データのバックアップを取得してから(ステップS205)、検知したユーザ操作に応じた処理を実行する(ステップS207)。 Next, when the operation type of the detected user operation is Update (update) or Delete (deletion) (step S203), a backup of the original data is acquired (step S205), and the operation is performed according to the detected user operation. The process is executed (step S207).
図7に戻り、オペレーション内容復元用データ取得処理(ステップS1053)を実行した後は、入力情報記録処理を実行する(ステップS1055)。入力情報記録処理では、ユーザに操作された入力デバイスの詳細が、記憶部108に保持されている「入力情報ログ」ファイル(図4)に記録される。具体的には、例えば、入力時刻、入力デバイスの種類(キーボード、マウス、等)、入力内容(押下されたキー種別)、カナ入力/ローマ字入力、等の情報が入力情報ログに記録される。
Returning to FIG. 7, after executing the operation content restoration data acquisition process (step S1053), the input information recording process is executed (step S1055). In the input information recording process, details of the input device operated by the user are recorded in an “input information log” file (FIG. 4) held in the
また、入力待ち状態(ステップS1051)から、一定時間が経過すると、ユーザ操作の統計処理を実行する(ステップS1057)(なお、この「一定時間」は撮像周期とは無関係であってよい。)統計処理は、現在時刻(統計処理を実行する時刻)から一定時間前までの入力情報ログの記録に基づいて、例えば以下について計算する。
・入力数
・入力間隔の平均および/または中央値
・入力デバイスごとの操作割合(キーボードでxx%、マウスでyy%の入力があった、等)
・特定の操作キーの数および/または割合(backspace、delete、tab、alt、カーソルキー、home、end、等の操作キー)
・ローマ字入力による操作時間とカナ入力による操作時間の割合
Further, when a certain period of time has elapsed from the state of waiting for input (step S1051), statistical processing of the user operation is executed (step S1057) (Note that this “constant time” may be independent of the imaging cycle). For example, the following calculation is performed based on the record of the input information log from the current time (the time when the statistical process is executed) to a certain time before.
・ Number of inputs ・ Average and / or median of input intervals ・ Percentage of operations for each input device (xx% input with keyboard, yy% input with mouse, etc.)
-Number and / or percentage of specific operation keys (backspace, delete, tab, alt, cursor keys, home, end, etc. operation keys)
・ Ratio of operation time by Roman input and operation time by Kana input
例えば、図4に示される入力情報の例の場合、上記の各データは以下のように算出することができる。すなわち、「入力数」は“13”である。また、「入力間隔の平均」は、入力ID“1”と“2”の時間差、入力ID“2”と“3”の時間差、・・・、入力ID“12”と“13”の時間差の平均である。また、「入力間隔の中央値」は、これらの中央値である。また、「入力デバイスごとの操作割合」は、キーボード:12/13、マウス:1/13、等と算出できる。また、「特定の操作キーの数」は、backspace:1である。また、「特定の操作キーの割合」は、backspace:1/13である。また、「ローマ字入力の操作時間とカナ入力の操作時間の割合」は、ローマ字入力の割合が、(入力ID“6”の時刻−入力ID“1”の時刻)/(入力ID“13”の時刻−入力ID“1”の時刻)、カナ入力の割合が、(入力ID“12”の時刻−入力ID“8”の時刻)/(入力ID“13”の時刻−入力ID“1”の時刻)、と算出することができる。なお、以上に説明した各データおよびその算出方法は、あくまで一例であり、端末10のユーザの入力操作の特徴を示しうるものであれば他のデータであってもよい。また、ステップS1057においては、入力待ち状態(ステップS1051)から、一定時間が経過すると、ユーザ操作の統計処理を実行することとしているが、これに限定されるものではない。統計処理を行うのに十分なユーザ操作に関するデータが蓄積されていれば、統計処理を行うことができる。例えば、入力受付部(入力デバイス)104において1文字の入力を受け付けるごとに、統計処理を行うようになっていてもよい。 For example, in the example of the input information shown in FIG. 4, each of the above data can be calculated as follows. That is, the “number of inputs” is “13”. The “average input interval” is the time difference between the input IDs “1” and “2”, the time difference between the input IDs “2” and “3”,..., And the time difference between the input IDs “12” and “13”. Average. The “median value of input intervals” is the median of these values. In addition, the “operation ratio for each input device” can be calculated as keyboard: 12/13, mouse: 1/13, and the like. The “number of specific operation keys” is backspace: 1. The “ratio of specific operation keys” is backspace: 1/13. In addition, the ratio of the operation time for Roman character input to the operation time for Kana input indicates that the ratio of Roman character input is (time of input ID “6” −time of input ID “1”) / (input ID “13”). The time-input ID “1”) and the kana input ratio are (input ID “12” time-input ID “8” time) / (input ID “13” time-input ID “1”) Time). Note that each of the data and the calculation method described above are merely examples, and other data may be used as long as they can indicate the characteristics of the input operation of the user of the terminal 10. In step S1057, statistical processing of user operations is executed after a certain period of time has elapsed from the input waiting state (step S1051), but the present invention is not limited to this. If data related to user operations sufficient to perform statistical processing is accumulated, statistical processing can be performed. For example, each time an input of one character is received by the input receiving unit (input device) 104, statistical processing may be performed.
図7に戻り、ステップS1057において算出した統計情報を記憶部108に記憶する(ステップS1059)。前回の統計処理時の値と、今回の統計処理時の値とを比較する(ステップS1061)。その差があらかじめ定められた閾値未満である場合(すなわち、端末10の操作者は変わっていないと判断される場合)は、ステップS1051に戻り、処理を継続する。また、差があらかじめ定められた閾値以上である場合(すなわち、端末10の操作者が変わったと判断される場合)は、その旨の通知を行い(ステップS1063)、図6のステップS107およびS109に移行して、撮像周期の変更および認証処理を実行する。なお、端末10の操作者は変わったか否かの判断をするための閾値を段階的に複数設け、前回の統計処理時の値と今回の統計処理時の値との差がいずれの閾値の間に位置するかに基づいて、撮像周期も段階的に短くしたり長くしたり(戻したり)するようになっていてもよい。 Returning to FIG. 7, the statistical information calculated in step S1057 is stored in the storage unit 108 (step S1059). The previous statistical processing value is compared with the current statistical processing value (step S1061). When the difference is less than a predetermined threshold (that is, when it is determined that the operator of the terminal 10 has not changed), the process returns to step S1051 to continue the processing. If the difference is greater than or equal to a predetermined threshold (that is, if it is determined that the operator of the terminal 10 has changed), a notification to that effect is sent (step S1063), and steps S107 and S109 in FIG. Transition is made to change the imaging cycle and perform authentication processing. It should be noted that the operator of the terminal 10 is provided with a plurality of thresholds for determining whether or not the terminal 10 has changed, and the difference between the previous statistical processing value and the current statistical processing value is between which threshold value. The imaging cycle may be shortened or lengthened (returned) step by step based on whether the image is located in the position.
(関連作業ログ抽出処理)
次に、関連作業ログ抽出処理(図6のステップS113)について詳述する。図9は、関連作業ログ抽出処理の一例を示すフロー図である。
(Related work log extraction process)
Next, the related work log extraction process (step S113 in FIG. 6) will be described in detail. FIG. 9 is a flowchart showing an example of related work log extraction processing.
まず、関連作業ログ抽出の対象となるユーザのプロセスIDを取得する(ステップS1131)。ここで、関連作業ログ抽出の対象となるユーザとは、本実施形態においては、図6のステップS101にてログインを行ったユーザ(ユーザIDで特定される。本説明では、対象ユーザまたは対象ユーザIDという。)である。プロセスIDは、例えば、記憶部108に保持されている「プロセス管理ログ」ファイル(図2)を参照して、「実行ユーザ」=“対象ユーザID”であるプロセスIDを検索することで取得することができる。
First, the process ID of the user who is the target of the related work log extraction is acquired (step S1131). Here, in this embodiment, the user who is the target of the related work log extraction is specified by the user who logged in in step S101 of FIG. 6 (user ID. In this description, the target user or the target user. ID.) The process ID is acquired, for example, by searching for a process ID where “execution user” = “target user ID” with reference to the “process management log” file (FIG. 2) held in the
次に、顔画像の照合による認証がNGとなった時間および過去における直近で認証OKとなった時間(両者の間の時間を、以下、不正処理時間という)を取得する(ステップS1133)。 Next, the time when the authentication by the collation of the face image is NG and the time when the authentication was OK in the past (the time between the two is hereinafter referred to as the fraud processing time) are acquired (step S1133).
次に、対象ユーザIDによって端末10と連動して動作した他の機器における操作ログを特定する(ステップS1135)。具体的には、例えば、「ユーザID対応テーブル」(図5)を参照して、「ユーザID」=“対象ユーザID”である、機器AでのユーザID、機器BでのユーザID、・・・(機器XXでのユーザID)・・・を検索する。そして、機器A、機器B、・・・(機器XX)・・・のそれぞれについてのプロセス管理ログ(図2と同様のもの)を参照して、「ユーザID対応テーブル」から検索された各機器におけるユーザID(ユーザ名)を検索キーとして、プロセスIDを抽出する。これにより、端末10を経由して操作されていた他の機器における操作ログを特定することができる。 Next, an operation log in another device that operates in conjunction with the terminal 10 is specified by the target user ID (step S1135). Specifically, for example, referring to the “user ID correspondence table” (FIG. 5), “user ID” = “target user ID”, user ID on device A, user ID on device B, .. (User ID at device XX)... Each device retrieved from the “user ID correspondence table” with reference to the process management log (same as FIG. 2) for each of the devices A, B,... (Device XX). The process ID is extracted using the user ID (user name) at the search key. Thereby, the operation log in the other apparatus operated via the terminal 10 can be specified.
次に、ユーザのプロセスIDを基にして、再帰的にプロセスを検索し、対象ユーザの操作ログを抽出する(ステップS1137)。図10は、各ログの関連性の判断方法の一例を示す図である。図10に示される例では、「ログA」において、例えば、ユーザID=“logA_user1”と関連付けられているIPアドレスは“192.168.1.1”である。次に、「ログB」を参照すると、このIPアドレス“192.168.1.1” と関連付けられているノード名は“SV01”である。そして、「ログC」において、このノード“SV01”と関連付けられているプロセスIDは“1111”である。このように辿っていくことで、あるユーザが関連しているプロセスを抽出することができる。図9に戻り、ステップS1137において抽出したログから不正処理時間に該当する処理抽出する(ステップS1139)。 Next, the process is recursively searched based on the user process ID, and the operation log of the target user is extracted (step S1137). FIG. 10 is a diagram illustrating an example of a method for determining the relevance of each log. In the example illustrated in FIG. 10, in “Log A”, for example, the IP address associated with the user ID = “logA_user1” is “192.168.1.1”. Next, referring to “Log B”, the node name associated with this IP address “192.168.1.1” is “SV01”. In “Log C”, the process ID associated with the node “SV01” is “1111”. By tracing in this way, it is possible to extract processes related to a certain user. Returning to FIG. 9, processing corresponding to the unauthorized processing time is extracted from the log extracted in step S1137 (step S1139).
次に、「作業内容ログ」ファイル(図3)を参照して、ステップS1131〜S1139の処理によって抽出されたログのプロセスIDをキーとして、不正処理時間に実行された処理を抽出する(ステップS1141)。 Next, referring to the “work content log” file (FIG. 3), the process executed during the unauthorized processing time is extracted using the process ID of the log extracted by the processes of steps S1131 to S1139 as a key (step S1141). ).
以上のような処理によって、不正処理時間において端末10で実行された処理を抽出することができる。この抽出されたログは、管理者が操作する管理用装置20へ送信され、管理者はこれを表示部204で確認することができる(図6のステップS115)。
Through the processing as described above, it is possible to extract processing executed on the terminal 10 during the illegal processing time. The extracted log is transmitted to the
(回復処理)
次に、回復処理(図6のステップS117)について詳述する。図11は、回復処理の一例を示すフロー図である。本フロー図に示される処理は、管理用装置20から回復処理が必要との判断結果を受信した場合に実行される。
(Recovery processing)
Next, the recovery process (step S117 in FIG. 6) will be described in detail. FIG. 11 is a flowchart illustrating an example of the recovery process. The process shown in this flowchart is executed when a determination result indicating that a recovery process is necessary is received from the
図6のステップS113の関連作業ログ抽出処理により抽出されたログを読み切っていない場合は(ステップS1171:No)、関連作業ログ抽出処理により抽出されたログを1件取得する(ステップS1173)。 When the log extracted by the related work log extraction process of step S113 in FIG. 6 has not been read (step S1171: No), one log extracted by the related work log extraction process is acquired (step S1173).
取得したログの操作種別がCreate(作成)である場合には(ステップS1175:Yes)、作成の対象となったデータを削除する(ステップS1177)。一方、取得したログの操作種別がCreate(作成)ではなく(ステップS1175:No)、Update(更新)またはDelete(削除)である場合には(ステップS1179:Yes)、操作対象となったデータをバックアップデータから復元する(ステップS1181)。以上のいずれにも該当しなければ(ステップS1179:No)、操作種別はRead(読出し)なので、ここでは何もしない。 When the operation type of the acquired log is Create (creation) (step S1175: Yes), the creation target data is deleted (step S1177). On the other hand, when the operation type of the acquired log is not Create (creation) (step S1175: No) but Update (update) or Delete (deletion) (step S1179: Yes), the data to be operated is changed. Restore from the backup data (step S1181). If none of the above applies (step S1179: No), the operation type is Read (read), so nothing is done here.
以上に説明したステップS1173〜ステップS1181の処理は、図6のステップS113の関連作業ログ抽出処理により抽出されたログを読み切るまで(ステップS1171:Yes)、繰り返し実行される。 The processing in steps S1173 to S1181 described above is repeatedly executed until the log extracted by the related work log extraction processing in step S113 in FIG. 6 is completely read (step S1171: Yes).
(ハードウェア構成例)
端末10および管理用装置20は、一般的なコンピュータ装置と同様のハードウェア構成によって実現可能である。図12は、端末10および管理用装置20のハードウェア構成の一例を示す図である。図12に示されるコンピュータ装置30は、一例として、プロセッサ301と、RAM302と、ROM303と、ハードディスク装置304と、リムーバブルメモリ305と、通信インタフェース306と、ディスプレイ/タッチパネル307と、スピーカ308と、入力デバイス(キーボード/マウス等)309と、を備える。上述した端末10および管理用装置20の各機能は、例えば、プロセッサ301が、ハードディスク装置304にあらかじめ格納されたプログラムをメモリに読み出して実行することで実現可能である。ただし、図12に示される構成はあくまで一例であり、これに限定するものではない。
(Hardware configuration example)
The terminal 10 and the
(まとめ)
上記説明したように、本実施形態に係るユーザ監視システムによれば、本発明によれば、ユーザの認証を実行する基本的な周期の間において不正なユーザが操作を行った場合であっても、これを検知することが可能である。また、例えば特許文献1においては、データ(アプリケーション)の重要性によってユーザ認証の周期を変更することが開示されている。しかしながら、先行文献1は(ユーザの入力の状況とは無関係である)データの重要性によってユーザ認証の周期を変更しているため、ユーザが操作途中で別の者に変わるような不正行為を検出するのは困難であり、また、このような不正行為の検出に資するものでもない。これに対し、本実施形態に係るユーザ監視システムによれば、ユーザの操作入力が変わったことをもってユーザが別の者に変わったと判断することで、例えば、操作開始時のユーザと別のユーザとが共謀して不正を行おうとした場合や、操作開始時のユーザが一時的に不在にした場合に別のユーザが不正を行おうとした場合等であっても、検知することが可能である。
(Summary)
As described above, according to the user monitoring system according to the present embodiment, according to the present invention, even when an unauthorized user performs an operation during a basic cycle of executing user authentication. It is possible to detect this. Further, for example,
なお、上述の実施形態においては、ユーザの顔画像によってユーザ認証を行うこととしているが、他の生体的特徴によってユーザ認証を行ってもよい。例えば、指紋や虹彩等の身体的特徴によってユーザ認証を行ってもよい。また、ユーザの入力操作が声などの音声によるものであれば、声のトーンや声紋などを用いてユーザ認証を行ってもよい。さらに、生体的特徴以外の、ユーザの認証が可能な他の認証情報によってユーザ認証を行うようになっていてもよい。例えば、上述の実施形態の撮像部102がユーザを撮像することに代えて、一定期間ごとに、ユーザにパスワードを入力させる等となっていてもよい。なお、認証情報が生体的特徴である場合には、ユーザが認証情報を恣意的に変更したり同一にすることは困難である(例えば、ユーザAが自分の顔をユーザBに似せて同一ユーザになりすますことは困難であるし、指紋や虹彩等は各ユーザで同じものを共有できるものではない)ので、より好適である。また、上述のようにユーザの顔を撮像することでユーザの認証を行う場合には、端末10を操作しているユーザは正当なユーザであるが、背後から覗きこまれて情報を盗まれた場合(ショルダーハッキング)のトラブル等を検知して(撮像画像中で認識される顔の数で検知する等)、操作を一時停止させたり、ロールバックを行うことも可能である。
In the above-described embodiment, user authentication is performed using the user's face image, but user authentication may be performed using other biological features. For example, user authentication may be performed based on physical features such as fingerprints and irises. Further, if the user's input operation is by voice such as voice, user authentication may be performed using a voice tone or voiceprint. Furthermore, user authentication may be performed using other authentication information that can authenticate the user other than the biometric feature. For example, instead of imaging the user by the
また、上述の実施形態においては、ユーザ監視システム1が端末10と管理用装置20とを備えるようになっていたが、このような構成に限定するものではない。上述した端末10と管理用装置20とが備える各機能は、他の形態によって複数の装置で分散的に処理するようになっていてよい。また、逆に、端末10に管理者しかログインできない管理者用アプリケーションが備えられていれば、管理用端末20を別途設けず、端末10に管理用装置20の機能を備えさせることもできる。
In the above-described embodiment, the
また、上述の実施形態においては、撮像タイミング変更部112は、撮像部102は一定の周期で撮像するようになっていたが、ランダムな時間間隔で撮像を行うようになっていてもよい。これにより、端末10の操作者はいつ撮像が行われるかを予測することが困難となるため、その隙をついて不正ユーザが端末10を操作することを難しくすることができる。
In the above-described embodiment, the imaging
ここまで、本発明の一実施形態について説明したが、本発明は上述の実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。 Up to this point, one embodiment of the present invention has been described. However, the present invention is not limited to the above-described embodiment, and it is needless to say that the present invention may be implemented in various forms within the scope of the technical idea.
本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。 The scope of the present invention is not limited to the illustrated and described exemplary embodiments, but includes all embodiments that provide the same effects as those intended by the present invention. Further, the scope of the invention is not limited to the combinations of features of the invention defined by the claims, but may be defined by any desired combination of particular features among all the disclosed features. .
10 コンピュータ端末
20 管理用装置
102 撮像部
104 入力受付部(入力デバイス)
106 認証部
108 記憶部
110 入力デバイス監視部
112 撮像タイミング変更部
114 関連作業ログ抽出部
116 送信部
118 受信部
120 回復処理部
202 受信部
204 表示部
206 回復処理要否判断部
208 送信部
DESCRIPTION OF
106
Claims (7)
ユーザが前記端末を操作する少なくとも一部の期間において、一定の周期で前記ユーザから前記ユーザの認証情報を取得する認証情報取得部と、
前記認証情報取得部が前記一定の周期で前記ユーザの認証情報を取得するごとに、前記ユーザの認証情報が、正当なユーザの認証情報であるか判断する認証部と、
前記端末におけるユーザの入力操作の状態の変化を検知する入力デバイス監視部と、
前記入力デバイス監視部が前記ユーザの入力操作の状態の変化を検知した場合に、前記認証情報取得部において前記認証情報を取得する前記周期を変更するタイミング変更部と、
を備えるユーザ監視システム。 A user monitoring system for monitoring a user operating a terminal,
An authentication information acquisition unit that acquires the authentication information of the user from the user at a constant period in at least a part of the period in which the user operates the terminal;
An authentication unit that determines whether the user authentication information is valid user authentication information each time the authentication information acquisition unit acquires the user authentication information at the predetermined period;
An input device monitoring unit that detects a change in the state of a user input operation in the terminal;
A timing changing unit that changes the period for acquiring the authentication information in the authentication information acquiring unit when the input device monitoring unit detects a change in the state of the input operation of the user;
A user monitoring system comprising:
前記認証情報取得部が、ユーザが前記端末を操作する少なくとも一部の期間において、一定の周期で前記ユーザから前記ユーザの認証情報を取得するステップと、
前記認証部が、前記認証情報取得部が前記一定の周期で前記ユーザの認証情報を取得するごとに、前記ユーザの認証情報が、正当なユーザの認証情報であるか判断するステップと、
前記入力デバイス監視部が、前記端末におけるユーザの入力操作の状態の変化を検知するステップと、
前記タイミング変更部が、前記入力デバイス監視部が前記ユーザの入力操作の状態の変化を検知した場合に、前記認証情報取得部において前記認証情報を取得する前記周期を変更するステップと、
を含む方法。 An authentication information acquisition unit, an authentication unit, an input device monitoring unit, a timing changing unit, and a method executed by a user monitoring system that monitors a user who operates a terminal,
The authentication information acquisition unit acquires the user authentication information from the user at a constant period in at least a part of the period in which the user operates the terminal;
The authentication unit determining whether the user authentication information is valid user authentication information each time the authentication information acquisition unit acquires the user authentication information at the predetermined period;
The input device monitoring unit detecting a change in a state of a user input operation in the terminal;
The timing changing unit changing the period for acquiring the authentication information in the authentication information acquiring unit when the input device monitoring unit detects a change in the state of the input operation of the user;
Including methods.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015037470A JP6511293B2 (en) | 2015-02-26 | 2015-02-26 | User monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015037470A JP6511293B2 (en) | 2015-02-26 | 2015-02-26 | User monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016162000A true JP2016162000A (en) | 2016-09-05 |
| JP6511293B2 JP6511293B2 (en) | 2019-05-15 |
Family
ID=56846940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015037470A Active JP6511293B2 (en) | 2015-02-26 | 2015-02-26 | User monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6511293B2 (en) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020501212A (en) * | 2016-09-23 | 2020-01-16 | アップル インコーポレイテッドApple Inc. | Image data for extended user interaction |
| US10846905B2 (en) | 2017-05-16 | 2020-11-24 | Apple Inc. | Emoji recording and sending |
| US10845968B2 (en) | 2017-05-16 | 2020-11-24 | Apple Inc. | Emoji recording and sending |
| US10861248B2 (en) | 2018-05-07 | 2020-12-08 | Apple Inc. | Avatar creation user interface |
| US10860096B2 (en) | 2018-09-28 | 2020-12-08 | Apple Inc. | Device control using gaze information |
| US10902424B2 (en) | 2014-05-29 | 2021-01-26 | Apple Inc. | User interface for payments |
| US10956550B2 (en) | 2007-09-24 | 2021-03-23 | Apple Inc. | Embedded authentication systems in an electronic device |
| US11100349B2 (en) | 2018-09-28 | 2021-08-24 | Apple Inc. | Audio assisted enrollment |
| US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
| US11170085B2 (en) | 2018-06-03 | 2021-11-09 | Apple Inc. | Implementation of biometric authentication |
| US11200309B2 (en) | 2011-09-29 | 2021-12-14 | Apple Inc. | Authentication with secondary approver |
| US11206309B2 (en) | 2016-05-19 | 2021-12-21 | Apple Inc. | User interface for remote authorization |
| US11287942B2 (en) | 2013-09-09 | 2022-03-29 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces |
| US11386189B2 (en) | 2017-09-09 | 2022-07-12 | Apple Inc. | Implementation of biometric authentication |
| US11393258B2 (en) | 2017-09-09 | 2022-07-19 | Apple Inc. | Implementation of biometric authentication |
| US11676373B2 (en) | 2008-01-03 | 2023-06-13 | Apple Inc. | Personal computing device control using face detection and recognition |
| US12033296B2 (en) | 2018-05-07 | 2024-07-09 | Apple Inc. | Avatar creation user interface |
| US12079458B2 (en) | 2016-09-23 | 2024-09-03 | Apple Inc. | Image data for enhanced user interactions |
| US12099586B2 (en) | 2021-01-25 | 2024-09-24 | Apple Inc. | Implementation of biometric authentication |
| US12216754B2 (en) | 2021-05-10 | 2025-02-04 | Apple Inc. | User interfaces for authenticating to perform secure operations |
| US12218894B2 (en) | 2019-05-06 | 2025-02-04 | Apple Inc. | Avatar integration with a contacts user interface |
| US12262111B2 (en) | 2011-06-05 | 2025-03-25 | Apple Inc. | Device, method, and graphical user interface for accessing an application in a locked device |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001092783A (en) * | 1999-09-27 | 2001-04-06 | Hitachi Software Eng Co Ltd | Method and system for personal authentication, and recording medium |
| JP2004013831A (en) * | 2002-06-11 | 2004-01-15 | Canon Inc | Personal authentication system, personal authentication device and personal authentication method |
| JP2006243947A (en) * | 2005-03-01 | 2006-09-14 | Ricoh Co Ltd | Information input device, information input method, and recording medium |
| JP2007265218A (en) * | 2006-03-29 | 2007-10-11 | Toshiba Corp | User monitoring system |
| WO2008105231A1 (en) * | 2007-02-28 | 2008-09-04 | Nec Corporation | Information processor having lock function, lock (unlock) method for information processor, and program thereof |
| WO2008126507A1 (en) * | 2007-03-30 | 2008-10-23 | Nec Corporation | User authentication control device, user authentication device, data processing device, and user authentication control method and the like |
| JP2009009332A (en) * | 2007-06-27 | 2009-01-15 | Sharp Corp | User authentication system and image processing system having the same |
-
2015
- 2015-02-26 JP JP2015037470A patent/JP6511293B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001092783A (en) * | 1999-09-27 | 2001-04-06 | Hitachi Software Eng Co Ltd | Method and system for personal authentication, and recording medium |
| JP2004013831A (en) * | 2002-06-11 | 2004-01-15 | Canon Inc | Personal authentication system, personal authentication device and personal authentication method |
| JP2006243947A (en) * | 2005-03-01 | 2006-09-14 | Ricoh Co Ltd | Information input device, information input method, and recording medium |
| JP2007265218A (en) * | 2006-03-29 | 2007-10-11 | Toshiba Corp | User monitoring system |
| WO2008105231A1 (en) * | 2007-02-28 | 2008-09-04 | Nec Corporation | Information processor having lock function, lock (unlock) method for information processor, and program thereof |
| WO2008126507A1 (en) * | 2007-03-30 | 2008-10-23 | Nec Corporation | User authentication control device, user authentication device, data processing device, and user authentication control method and the like |
| JP2009009332A (en) * | 2007-06-27 | 2009-01-15 | Sharp Corp | User authentication system and image processing system having the same |
Cited By (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11468155B2 (en) | 2007-09-24 | 2022-10-11 | Apple Inc. | Embedded authentication systems in an electronic device |
| US10956550B2 (en) | 2007-09-24 | 2021-03-23 | Apple Inc. | Embedded authentication systems in an electronic device |
| US11676373B2 (en) | 2008-01-03 | 2023-06-13 | Apple Inc. | Personal computing device control using face detection and recognition |
| US12406490B2 (en) | 2008-01-03 | 2025-09-02 | Apple Inc. | Personal computing device control using face detection and recognition |
| US12262111B2 (en) | 2011-06-05 | 2025-03-25 | Apple Inc. | Device, method, and graphical user interface for accessing an application in a locked device |
| US11755712B2 (en) | 2011-09-29 | 2023-09-12 | Apple Inc. | Authentication with secondary approver |
| US11200309B2 (en) | 2011-09-29 | 2021-12-14 | Apple Inc. | Authentication with secondary approver |
| US11768575B2 (en) | 2013-09-09 | 2023-09-26 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs |
| US12314527B2 (en) | 2013-09-09 | 2025-05-27 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs |
| US11287942B2 (en) | 2013-09-09 | 2022-03-29 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces |
| US11494046B2 (en) | 2013-09-09 | 2022-11-08 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs |
| US10977651B2 (en) | 2014-05-29 | 2021-04-13 | Apple Inc. | User interface for payments |
| US10902424B2 (en) | 2014-05-29 | 2021-01-26 | Apple Inc. | User interface for payments |
| US11836725B2 (en) | 2014-05-29 | 2023-12-05 | Apple Inc. | User interface for payments |
| US11206309B2 (en) | 2016-05-19 | 2021-12-21 | Apple Inc. | User interface for remote authorization |
| US12079458B2 (en) | 2016-09-23 | 2024-09-03 | Apple Inc. | Image data for enhanced user interactions |
| JP2020501212A (en) * | 2016-09-23 | 2020-01-16 | アップル インコーポレイテッドApple Inc. | Image data for extended user interaction |
| US10997768B2 (en) | 2017-05-16 | 2021-05-04 | Apple Inc. | Emoji recording and sending |
| US10845968B2 (en) | 2017-05-16 | 2020-11-24 | Apple Inc. | Emoji recording and sending |
| US11532112B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Emoji recording and sending |
| US12045923B2 (en) | 2017-05-16 | 2024-07-23 | Apple Inc. | Emoji recording and sending |
| US10846905B2 (en) | 2017-05-16 | 2020-11-24 | Apple Inc. | Emoji recording and sending |
| US12450811B2 (en) | 2017-05-16 | 2025-10-21 | Apple Inc. | Emoji recording and sending |
| US11386189B2 (en) | 2017-09-09 | 2022-07-12 | Apple Inc. | Implementation of biometric authentication |
| US11393258B2 (en) | 2017-09-09 | 2022-07-19 | Apple Inc. | Implementation of biometric authentication |
| US11765163B2 (en) | 2017-09-09 | 2023-09-19 | Apple Inc. | Implementation of biometric authentication |
| US12462005B2 (en) | 2017-09-09 | 2025-11-04 | Apple Inc. | Implementation of biometric authentication |
| US12340481B2 (en) | 2018-05-07 | 2025-06-24 | Apple Inc. | Avatar creation user interface |
| US10861248B2 (en) | 2018-05-07 | 2020-12-08 | Apple Inc. | Avatar creation user interface |
| US11682182B2 (en) | 2018-05-07 | 2023-06-20 | Apple Inc. | Avatar creation user interface |
| US12033296B2 (en) | 2018-05-07 | 2024-07-09 | Apple Inc. | Avatar creation user interface |
| US11380077B2 (en) | 2018-05-07 | 2022-07-05 | Apple Inc. | Avatar creation user interface |
| US11170085B2 (en) | 2018-06-03 | 2021-11-09 | Apple Inc. | Implementation of biometric authentication |
| US11928200B2 (en) | 2018-06-03 | 2024-03-12 | Apple Inc. | Implementation of biometric authentication |
| US12189748B2 (en) | 2018-06-03 | 2025-01-07 | Apple Inc. | Implementation of biometric authentication |
| US12124770B2 (en) | 2018-09-28 | 2024-10-22 | Apple Inc. | Audio assisted enrollment |
| US12105874B2 (en) | 2018-09-28 | 2024-10-01 | Apple Inc. | Device control using gaze information |
| US11809784B2 (en) | 2018-09-28 | 2023-11-07 | Apple Inc. | Audio assisted enrollment |
| US11619991B2 (en) | 2018-09-28 | 2023-04-04 | Apple Inc. | Device control using gaze information |
| US11100349B2 (en) | 2018-09-28 | 2021-08-24 | Apple Inc. | Audio assisted enrollment |
| US10860096B2 (en) | 2018-09-28 | 2020-12-08 | Apple Inc. | Device control using gaze information |
| US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
| US12482161B2 (en) | 2019-01-18 | 2025-11-25 | Apple Inc. | Virtual avatar animation based on facial feature movement |
| US12218894B2 (en) | 2019-05-06 | 2025-02-04 | Apple Inc. | Avatar integration with a contacts user interface |
| US12099586B2 (en) | 2021-01-25 | 2024-09-24 | Apple Inc. | Implementation of biometric authentication |
| US12216754B2 (en) | 2021-05-10 | 2025-02-04 | Apple Inc. | User interfaces for authenticating to perform secure operations |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6511293B2 (en) | 2019-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6511293B2 (en) | User monitoring system | |
| Kambourakis et al. | Introducing touchstroke: keystroke‐based authentication system for smartphones | |
| CN112861139B (en) | Device security based on screen analysis | |
| CN105574388B (en) | A kind of unlocking method based on touch screen terminal, device and touch screen terminal | |
| US9384369B2 (en) | Information processing method and electronic device | |
| US9218474B1 (en) | Enhanced biometric security measures | |
| US20120204257A1 (en) | Detecting fraud using touchscreen interaction behavior | |
| US20210150006A1 (en) | Obscuring data when gathering behavioral data | |
| CN103745147A (en) | System mode starting method and application program starting method and device | |
| US20160085949A1 (en) | User verification using touch and eye tracking | |
| WO2016188268A1 (en) | Multi-user login method, device and storage medium | |
| US9641518B2 (en) | Method and system for password setting and authentication | |
| JPWO2016175333A1 (en) | Terminal device and computer program | |
| WO2016184092A1 (en) | Terminal operation method and apparatus | |
| EP2919422B1 (en) | Method and device for detecting spoofed messages | |
| US10430617B2 (en) | Terminal determination device and method | |
| US20220311792A1 (en) | Forensics Analysis for Malicious Insider Attack Attribution based on Activity Monitoring and Behavioral Biometrics Profiling | |
| CN106503504A (en) | An unlocking method and device | |
| US20220121293A1 (en) | Character editing on a physical device via interaction with a virtual device user interface | |
| JP7202951B2 (en) | Unauthorized remote login detection device, method, and program | |
| Rahman et al. | Movement pattern based authentication for smart mobile devices | |
| CN106888223B (en) | User account login method and mobile terminal | |
| JP2006243947A (en) | Information input device, information input method, and recording medium | |
| CN114048455A (en) | Abnormal login detection method, device, terminal device and storage medium | |
| JP2022183571A (en) | Terminal device, unauthorized use detection system, unauthorized use detection method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180828 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181024 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190319 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190408 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6511293 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |