JP2016162000A - User monitoring system - Google Patents

User monitoring system Download PDF

Info

Publication number
JP2016162000A
JP2016162000A JP2015037470A JP2015037470A JP2016162000A JP 2016162000 A JP2016162000 A JP 2016162000A JP 2015037470 A JP2015037470 A JP 2015037470A JP 2015037470 A JP2015037470 A JP 2015037470A JP 2016162000 A JP2016162000 A JP 2016162000A
Authority
JP
Japan
Prior art keywords
user
authentication information
unit
terminal
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015037470A
Other languages
Japanese (ja)
Other versions
JP6511293B2 (en
Inventor
憲太郎 本
Kentaro Moto
憲太郎 本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Group Corp
Original Assignee
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp filed Critical NTT Data Corp
Priority to JP2015037470A priority Critical patent/JP6511293B2/en
Publication of JP2016162000A publication Critical patent/JP2016162000A/en
Application granted granted Critical
Publication of JP6511293B2 publication Critical patent/JP6511293B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a user monitoring system capable of detecting even in the case that an unauthorized user operates a terminal except when a user is authenticated in a predetermined cycle.SOLUTION: A user monitoring system for monitoring a user who operates a terminal is configured to acquire the authentication information of the user from the user in a fixed cycle in at least a partial period in which the user operates a terminal 10, and to determine whether or not the acquired authentication information of the user is the authentication information of an authorized user each time the authentication information of the user is acquired in the fixed cycle, and to change a cycle for acquiring the authentication information of the user when detecting a change in the state of the input operation of the user in the terminal 10.SELECTED DRAWING: Figure 1

Description

本発明は、コンピュータ端末を操作するユーザを監視するユーザ監視システムに関する。   The present invention relates to a user monitoring system for monitoring a user who operates a computer terminal.

従来、パソコン等のコンピュータ端末を操作しているユーザが、操作途中で不正な者に変わっていないかを確認する方法として、例えば、特許文献1のような方法が存在する。特許文献1に記載の方法では、まず、コンピュータ端末を利用する前に(正当な)ユーザの顔画像データを登録しておく。そして、この登録済みの顔画像データと、ユーザが端末を使用している間に所定周期ごとにカメラで撮像されるユーザの顔画像データとを、その都度、比較する。もし、これらの顔画像データが異なると判断される場合には、端末をロックして端末を使用できない状態にする。   Conventionally, as a method for confirming whether a user operating a computer terminal such as a personal computer has changed to an unauthorized person during the operation, there is a method as disclosed in Patent Document 1, for example. In the method disclosed in Patent Document 1, first, (legitimate) user face image data is registered before using a computer terminal. Then, the registered face image data is compared with the user's face image data captured by the camera every predetermined period while the user is using the terminal. If it is determined that these face image data are different, the terminal is locked so that the terminal cannot be used.

特開2008−97647号公報JP 2008-97647 A

しかしながら、特許文献1のような方法では、以下のような場合は不正を検知できない。すなわち、例えば、N回目の撮像が行われた時には正当なユーザAが端末を操作していたが、N+1回目の撮像が行われるまでの間に、不正ユーザBが端末を操作してから正当なユーザAが戻って端末を操作したような場合である。つまり、N回目とN+1回目の撮像が行われる時点において正当なユーザAが端末を操作してさえいれば、その間に不正なユーザが操作を行っても、検知することができない。   However, the method disclosed in Patent Document 1 cannot detect fraud in the following cases. That is, for example, when the N-th imaging is performed, the legitimate user A operates the terminal, but before the N + 1th imaging is performed, the unauthorized user B operates the terminal until the legitimate user A operates the terminal. This is a case where the user A returns and operates the terminal. That is, as long as a legitimate user A operates the terminal at the time when the N-th and (N + 1) -th imaging is performed, even if an unauthorized user performs an operation during that time, it cannot be detected.

本発明は、上記課題に鑑みてなされたものであり、所定周期のユーザ認証時以外に不正ユーザが端末の操作を行った場合であっても、これを検知可能とするユーザ監視システムを提供することを目的とする。   The present invention has been made in view of the above problems, and provides a user monitoring system that can detect even when an unauthorized user operates a terminal other than during a period of user authentication. For the purpose.

上記課題を解決するために、本発明の一態様は、端末を操作するユーザを監視するユーザ監視システムであって、ユーザが前記端末を操作する少なくとも一部の期間において、一定の周期で前記ユーザから前記ユーザの認証情報を取得する認証情報取得部と、前記認証情報取得部が前記一定の周期で前記ユーザの認証情報を取得するごとに、前記ユーザの認証情報が、正当なユーザの認証情報であるか判断する認証部と、前記端末におけるユーザの入力操作の状態の変化を検知する入力デバイス監視部と、前記入力デバイス監視部が前記ユーザの入力操作の状態の変化を検知した場合に、前記認証情報取得部において前記認証情報を取得する前記周期を変更するタイミング変更部と、を備えるユーザ監視システムである。   In order to solve the above-described problem, an aspect of the present invention is a user monitoring system that monitors a user who operates a terminal, wherein the user operates at a constant cycle in at least a part of a period in which the user operates the terminal. The authentication information acquisition unit that acquires the user authentication information from the authentication information acquisition unit, and the authentication information acquisition unit acquires the user authentication information at regular intervals, so that the user authentication information is valid user authentication information. When the authentication unit that determines whether the input device monitoring unit detects a change in the state of the user's input operation in the terminal, and the input device monitoring unit detects a change in the state of the user's input operation, A timing change unit that changes the period for acquiring the authentication information in the authentication information acquisition unit.

また、本発明の他の態様は、認証情報取得部と、認証部と、入力デバイス監視部と、タイミング変更部と、を備え、端末を操作するユーザを監視するユーザ監視システムが実行する方法であって、前記認証情報取得部が、ユーザが前記端末を操作する少なくとも一部の期間において、一定の周期で前記ユーザから前記ユーザの認証情報を取得するステップと、前記認証部が、前記認証情報取得部が前記一定の周期で前記ユーザの認証情報を取得するごとに、前記ユーザの認証情報が、正当なユーザの認証情報であるか判断するステップと、前記入力デバイス監視部が、前記端末におけるユーザの入力操作の状態の変化を検知するステップと、前記タイミング変更部が、前記入力デバイス監視部が前記ユーザの入力操作の状態の変化を検知した場合に、前記認証情報取得部において前記認証情報を取得する前記周期を変更するステップと、を含む方法である。   Another aspect of the present invention is a method executed by a user monitoring system that includes an authentication information acquisition unit, an authentication unit, an input device monitoring unit, and a timing changing unit, and monitors a user who operates a terminal. The authentication information acquisition unit acquires the user authentication information from the user at a constant period in at least a part of the period during which the user operates the terminal; and the authentication unit includes the authentication information. Each time the acquisition unit acquires the user authentication information at the certain period, the step of determining whether the user authentication information is valid user authentication information, and the input device monitoring unit in the terminal A step of detecting a change in the state of the user's input operation; and the timing changing unit detects a change in the state of the input operation of the user by the input device monitoring unit. The case, the method comprising, a step of changing the period for acquiring the authentication information in the authentication information acquiring unit.

また、本発明の他の態様は、上記の方法を前記ユーザ監視システムに実行させるためのコンピュータプログラムである。   Moreover, the other aspect of this invention is a computer program for making the said user monitoring system perform said method.

本発明の上記態様によれば、ユーザの認証を実行する基本的な周期の間において不正なユーザが操作を行った場合であっても、これを検知することが可能である。   According to the said aspect of this invention, even if it is a case where an unauthorized user performed operation during the basic period which performs a user's authentication, this can be detected.

本発明の一実施形態に係るユーザ監視システムの構成の一例を示す図である。It is a figure which shows an example of a structure of the user monitoring system which concerns on one Embodiment of this invention. 「プロセス管理ログ」ファイルの一例を示す図である。It is a figure which shows an example of a "process management log" file. 「作業内容ログ」ファイルの一例を示す図である。It is a figure which shows an example of a "work content log" file. 「入力情報ログ」ファイルの一例を示す図である。It is a figure which shows an example of an "input information log" file. 「ユーザID対応テーブル」の一例を示す図である。It is a figure which shows an example of a "user ID corresponding table". 本発明の一実施形態に係るユーザ監視システムにおける処理の一例を示すメインフロー図である。It is a main flowchart which shows an example of the process in the user monitoring system which concerns on one Embodiment of this invention. 入力デバイス監視処理の一例を示すフロー図である。It is a flowchart which shows an example of an input device monitoring process. オペレーション内容復元用データ取得処理の一例を示すフロー図である。It is a flowchart which shows an example of the data acquisition process for operation content restoration. 関連作業ログ抽出処理の一例を示すフロー図である。It is a flowchart which shows an example of a related work log extraction process. 各ログの関連性の判断方法の一例を示す図である。It is a figure which shows an example of the judgment method of the relationship of each log. 回復処理の一例を示すフロー図である。It is a flowchart which shows an example of a recovery process. 本発明の一実施形態に係る端末および管理用装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the terminal and management apparatus which concern on one Embodiment of this invention.

以下、図面を参照しながら、本発明の実施の形態について説明する。なお、以下の説明において参照する各図では、他の図と同等の部分は同一符号によって示される。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In each drawing referred to in the following description, parts equivalent to those in other drawings are denoted by the same reference numerals.

(ユーザ監視システムの構成)
図1は、本実施形態に係るユーザ監視システムの構成例を示す図である。図1に例示されるユーザ監視システム1は、ユーザが操作する端末10と、システムの管理者が操作する管理者装置20とを含む。
(User monitoring system configuration)
FIG. 1 is a diagram illustrating a configuration example of a user monitoring system according to the present embodiment. A user monitoring system 1 illustrated in FIG. 1 includes a terminal 10 operated by a user and an administrator device 20 operated by a system administrator.

端末10は、撮像部102と、入力受付部(入力デバイス)104と、認証部106と、記憶部108と、入力デバイス監視部110と、撮像タイミング変更部112と、関連作業ログ抽出部114と、送信部116と、受信部118と、回復処理部120と、を備える。また、管理用装置20は、受信部202と、表示部204と、回復処理要否判断部206と、送信部208と、を備える。   The terminal 10 includes an imaging unit 102, an input reception unit (input device) 104, an authentication unit 106, a storage unit 108, an input device monitoring unit 110, an imaging timing change unit 112, and a related work log extraction unit 114. , A transmission unit 116, a reception unit 118, and a recovery processing unit 120. The management apparatus 20 includes a receiving unit 202, a display unit 204, a recovery process necessity determination unit 206, and a transmission unit 208.

(端末)
撮像部102は、ユーザが端末10を操作する少なくとも一部の期間において、一定の周期でユーザの顔(一部または全体)を撮像して、ユーザの顔画像データ(生体的特徴)を取得する。また、撮像部102は、一定の周期において撮像を行うことに加えて、後述する入力デバイス監視部110がユーザの入力操作の状態の変化を検知した時点で、ユーザの生体情報を取得するようになっていてもよい。
(Terminal)
The imaging unit 102 captures the user's face (a part or the whole) in a certain cycle during at least a part of the period when the user operates the terminal 10, and acquires the user's face image data (biological features). . The imaging unit 102 acquires the user's biological information when the input device monitoring unit 110 (to be described later) detects a change in the state of the user's input operation, in addition to performing imaging in a certain period. It may be.

入力受付部(入力デバイス)104は、端末10に対するユーザの操作入力を受け付ける。入力受付部104は、具体的には例えば、キーボード、マウス、タッチパネル、タッチペン、等の様々な入力デバイスであってよい。また、入力受付部104は、音声による入力を受け付けるようになっていてもよい。   The input receiving unit (input device) 104 receives a user operation input to the terminal 10. Specifically, the input receiving unit 104 may be various input devices such as a keyboard, a mouse, a touch panel, and a touch pen. Moreover, the input reception part 104 may receive the input by an audio | voice.

認証部106は、撮像部102が一定の周期でユーザの顔画像データを取得するごとに、取得されたユーザの顔画像データが、正当なユーザの顔画像データであるか判断する。そして、取得された顔画像データが正当なユーザの顔画像データではないと判断する場合には、認証NGと判断する。また、本実施形態においては、認証部106における判断の結果、撮像部102で取得された顔画像データが正当なユーザの顔画像データではないと判断された場合には、ユーザの入力操作を制限する。なお、ユーザの入力操作を制限する方法としては、一部の入力操作のみを制限して、その他の入力操作は許容するようにしてもよい。   The authentication unit 106 determines whether or not the acquired user face image data is valid user face image data each time the imaging unit 102 acquires user face image data in a certain cycle. If it is determined that the acquired face image data is not valid user face image data, it is determined as authentication NG. Further, in the present embodiment, when the authentication unit 106 determines that the face image data acquired by the imaging unit 102 is not valid user face image data, the user's input operation is restricted. To do. As a method for restricting user input operations, only some input operations may be restricted and other input operations may be permitted.

また、認証部106が、撮像部102で取得された顔画像データが正当なユーザの顔画像データであるか判断する方法としては、様々な方法が考えられる。例えば、顔画像全体のうち、一部のみを照合の対象としてもよいし、複数箇所(複数条件)を照合の対象としてもよい。また、これらの結果を組み合わせて照合結果を決定してもよい。また、照合対象箇所の一致率が所定の閾値を下回る場合に、認証NGにする等、としてもよい。   Various methods are conceivable for the authentication unit 106 to determine whether the face image data acquired by the imaging unit 102 is valid user's face image data. For example, only a part of the entire face image may be the target of collation, or a plurality of locations (multiple conditions) may be the target of collation. Moreover, you may determine a collation result combining these results. Moreover, it is good also as setting it as certification | authentication NG etc., when the matching rate of the collation object location is less than a predetermined threshold value.

記憶部108は、各種のデータを記憶する機能を有する。本実施形態においては少なくとも、以下に説明する「プロセス管理ログ」ファイル、「作業内容ログ」ファイル、「入力情報ログ」ファイル、「ユーザID対応テーブル」、「プロセス関連性ログ」ファイルが、記憶部108に記憶される。   The storage unit 108 has a function of storing various data. In this embodiment, at least a “process management log” file, a “work content log” file, an “input information log” file, a “user ID correspondence table”, and a “process relevance log” file described below are stored in the storage unit. 108 stored.

図2は、「プロセス管理ログ」ファイルの一例を示す図である。図2に示されるプロセス管理ログは、各ユーザが端末10への操作入力に基づいて実行されたプロセスを含む、端末10で起動しているプロセスを記録するためのファイルである。プロセス管理ログには、例えば、実行ユーザ、ユーザが実行したプロセスを特定するためのプロセスID、親プロセスを特定するための親プロセスID、プロセス名、プロセスの起動時刻および終了時刻、等が記録される。   FIG. 2 is a diagram illustrating an example of a “process management log” file. The process management log shown in FIG. 2 is a file for recording processes started on the terminal 10 including processes executed by each user based on operation inputs to the terminal 10. In the process management log, for example, an execution user, a process ID for specifying a process executed by the user, a parent process ID for specifying a parent process, a process name, a process start time and an end time, and the like are recorded. The

図3は、「作業内容ログ」ファイルの一例を示す図である。「作業内容ログ」ファイルは「プロセス管理ログ」ファイルと“プロセスID”によって紐付けられており、プロセス管理ログのプロセスIDで特定されるプロセスについてのより詳細な内容が記録されている。また、図4は、「入力情報ログ」ファイルの一例を示す図である。「入力情報ログ」ファイルには、ユーザに操作された端末10の入力デバイスの詳細が記録される。図5は、「ユーザID対応テーブル」の一例を示す図である。ユーザID対応テーブルは、ユーザごとに、そのユーザが端末10と連動して動作する他の機器に対して何らかの処理を行う際(例えば、端末10を介して他の機器にアクセスする場合等が挙げられる)のユーザIDを記憶するテーブルである。   FIG. 3 is a diagram illustrating an example of a “work content log” file. The “work content log” file is linked to the “process management log” file by the “process ID”, and more detailed content about the process specified by the process ID of the process management log is recorded. FIG. 4 is a diagram illustrating an example of an “input information log” file. Details of the input device of the terminal 10 operated by the user are recorded in the “input information log” file. FIG. 5 is a diagram illustrating an example of a “user ID correspondence table”. The user ID correspondence table is for each user when the user performs some processing on another device operating in conjunction with the terminal 10 (for example, when accessing another device via the terminal 10). This is a table for storing the user ID of

図1に戻り、入力デバイス監視部110は、端末10におけるユーザの入力操作の状態の変化を検知する。入力デバイス監視部110は、ユーザに操作された端末10の入力デバイスに関する情報を統計処理することによって、ユーザの入力操作の状態の変化を検知してもよい。また、入力デバイス監視部110は、入力受付部104がユーザの操作入力を受け付けると、ユーザに操作された入力デバイスに関する情報を記憶部108の「入力情報ログ」ファイル等に記憶する。   Returning to FIG. 1, the input device monitoring unit 110 detects a change in the state of a user input operation on the terminal 10. The input device monitoring unit 110 may detect a change in the state of the user's input operation by statistically processing information related to the input device of the terminal 10 operated by the user. Further, when the input receiving unit 104 receives a user operation input, the input device monitoring unit 110 stores information on the input device operated by the user in an “input information log” file or the like of the storage unit 108.

撮像タイミング変更部112は、入力デバイス監視部110がユーザの入力操作の状態の変化を検知した場合に、撮像部102において顔画像データを取得する周期を変更する(より短い周期にする)。ここで、撮像タイミングを変更する方法は、複数考えられる。例えば、入力デバイス監視部110で操作入力の変化を検知した後に到来する撮像処理の後に始まる撮像周期から短くする、操作入力の変化を検知した時点で顔画像の撮像を行い、その後に始まる撮像周期から短くする、操作入力の変化を検知した時点を含む撮像周期そのものを短くする(操作入力の変化の検出後に到来する撮像タイミングが早くなる)、等が考えられる。   When the input device monitoring unit 110 detects a change in the state of the user's input operation, the imaging timing changing unit 112 changes the period for acquiring the face image data in the imaging unit 102 (makes the period shorter). Here, a plurality of methods for changing the imaging timing can be considered. For example, an imaging cycle is started when a change in an operation input is detected, and a face image is captured at a time point that is shortened from an imaging cycle that starts after an imaging process that arrives after the input device monitoring unit 110 detects a change in the operation input. The imaging cycle itself including the time point when the change in the operation input is detected is shortened (the imaging timing that comes after the change in the operation input is detected).

また、撮像タイミング変更部112は、撮像タイミングを短く変更した後、所定の条件成立をトリガーとして撮像周期を元の長さに戻すようになっていてもよい。例えば、ユーザが端末10からログオフしたことを検知して、撮像周期を元の長さに戻すようになっていてもよい。またその際、段階的に撮像周期を長くしつつ、元の長さに戻していくようになっていてもよい。   In addition, the imaging timing changing unit 112 may change the imaging cycle back to the original length using a predetermined condition as a trigger after changing the imaging timing short. For example, it may be configured to detect that the user has logged off from the terminal 10 and return the imaging cycle to the original length. Further, at that time, the imaging period may be lengthened stepwise and returned to the original length.

関連作業ログ抽出部114は、認証部106における判断の結果、撮像部102で取得された顔画像データが正当なユーザの顔画像データではないと判断された場合には、記憶部108からこの判断された時点から一定期間前までの間に実行された端末10に対するユーザの入力操作の一部または全てを抽出する。   If it is determined that the face image data acquired by the imaging unit 102 is not valid user face image data as a result of the determination by the authentication unit 106, the related work log extraction unit 114 determines this determination from the storage unit 108. A part or all of the user's input operation with respect to the terminal 10 executed between the point in time and a certain period before is extracted.

送信部116は、管理用装置20へ各種のデータを送信する機能を有する。   The transmission unit 116 has a function of transmitting various data to the management apparatus 20.

受信部118は、管理用装置20から各種のデータを受信する機能を有する。端末10と管理用装置20との間の通信は、有線通信であっても無線通信であってもよい。   The receiving unit 118 has a function of receiving various data from the management device 20. Communication between the terminal 10 and the management apparatus 20 may be wired communication or wireless communication.

回復処理部120は、認証部106における判断の結果、撮像部102で取得された顔画像データが正当なユーザの顔画像データではないと判断された場合には、この判断された時点から一定期間前までの間に実行された端末10に対するユーザの入力操作の一部または全てについて、入力操作の前の状態に戻す(ロールバックする)。   When it is determined that the face image data acquired by the imaging unit 102 is not a valid user's face image data as a result of the determination by the authentication unit 106, the recovery processing unit 120 performs a certain period of time from this determination. A part or all of the user's input operation on the terminal 10 executed so far is returned to the state before the input operation (rolled back).

(ユーザ監視システムの処理フロー)
以下、本実施形態に係るユーザ監視システムにおける処理例について説明する。図6は、本実施形態に係るユーザ監視システム1における処理を示すメインフロー図である。
(Processing flow of user monitoring system)
Hereinafter, a processing example in the user monitoring system according to the present embodiment will be described. FIG. 6 is a main flowchart showing processing in the user monitoring system 1 according to the present embodiment.

まず、ユーザが端末10を操作し始める際、ユーザ監視システム1からのログイン要求に応じて、ユーザIDとパスワードとを入力する等のログイン操作を行う(入力受付部104にてユーザ入力を受け付ける)。この時、端末10は、撮像部102によって端末を操作しているユーザの顔を撮像して顔画像データを取得し、これをユーザの正当な顔画像データとして記憶部108に記憶して登録する(ステップS101)。   First, when a user starts operating the terminal 10, a login operation such as inputting a user ID and a password is performed in response to a login request from the user monitoring system 1 (user input is received by the input receiving unit 104). . At this time, the terminal 10 acquires the face image data by capturing the face of the user who is operating the terminal with the image capturing unit 102, and stores and registers the face image data in the storage unit 108 as the user's valid face image data. (Step S101).

その後、ユーザが端末10を操作している間、所定時間(撮像周期)が経過すると(ステップS103:Yes)、ステップS109に移行し、撮像部102はユーザの顔を撮像して顔画像データを取得する。そして、ユーザ監視システム1は、この顔画像データと、ステップS101で記憶部108に記憶された顔画像データとを比較して、この時点で端末10を操作しているユーザが正当なユーザ(ログイン時のユーザと同一)であるかをチェックする(ステップS109)。そして、認証結果がOK(操作しているユーザは正当なユーザ)である間は、ステップS103に戻る。   Thereafter, when a predetermined time (imaging cycle) elapses while the user operates the terminal 10 (step S103: Yes), the process proceeds to step S109, and the imaging unit 102 captures the face image data by capturing the user's face. get. The user monitoring system 1 compares the face image data with the face image data stored in the storage unit 108 in step S101, and the user operating the terminal 10 at this time is a valid user (login It is checked whether it is the same as the user at the time (step S109). And while an authentication result is OK (the user who is operating is a valid user), it returns to step S103.

また、所定時間(撮像周期)が経過していなくても(ステップS103:No)、入力デバイス監視処理によって端末10の操作者が変わった可能性があると判断された場合は(ステップS105:Yes)、顔画像の撮像周期をより短い周期に変更する(ステップS107)。ここで、入力デバイス監視処理とは、本メインフローとは別プロセスで実行される処理であり、端末10における操作者からの入力に基づいて端末10を操作している者が変わった可能性があることを検知するための処理である(入力デバイス監視処理については後に詳述する)。   Further, even when the predetermined time (imaging cycle) has not elapsed (step S103: No), when it is determined that the operator of the terminal 10 may have changed due to the input device monitoring process (step S105: Yes). ) The face image capturing period is changed to a shorter period (step S107). Here, the input device monitoring process is a process executed in a process different from the main flow, and the person operating the terminal 10 may have changed based on the input from the operator at the terminal 10. This is a process for detecting the presence (the input device monitoring process will be described in detail later).

操作者が変わった可能性があると判断された場合は(ステップS105:Yes)、さらに、撮像部102でその時点で端末10を操作している者の顔画像を取得して顔画像の照合を行う(ステップS109)。   When it is determined that there is a possibility that the operator has changed (step S105: Yes), the face image of the person who is operating the terminal 10 at that time is acquired by the imaging unit 102 and the face image is verified. Is performed (step S109).

ステップS109における認証処理の結果が、記憶部108に記憶されているユーザの顔画像と、この時点で操作を行っているユーザの顔画像が異なる(認証NG)との結果だった場合には、端末10をロックしてユーザが操作できない状態にする(ステップS111)。そして、関連作業ログ抽出処理を実行する(ステップS113)。「関連作業ログ抽出処理」は、端末10の操作者が変わった可能性があることを検知した場合に、その操作者が行った可能性のある操作をキャンセルして操作前の状態に戻す(回復処理)ために、その操作者の行った操作を抽出する処理である(詳細は後述する)。   If the result of the authentication process in step S109 is a result that the face image of the user stored in the storage unit 108 is different from the face image of the user operating at this time (authentication NG), The terminal 10 is locked so that the user cannot operate it (step S111). Then, related work log extraction processing is executed (step S113). In the “related work log extraction process”, when it is detected that the operator of the terminal 10 may have changed, the operation that may have been performed by the operator is canceled and returned to the state before the operation ( This is a process for extracting an operation performed by the operator (details will be described later).

そして、ステップS113にて抽出したログを、管理用装置20の表示部204に表示させる。管理用装置20を使用している管理者は、表示部204に表示されたログを確認して、端末10で回復処理を行うか否かを判断し、判断結果を管理用装置20に入力する(ステップS115)。判断結果は端末10に送信される。端末10では、管理用装置20から、回復処理が必要との判断結果を受信した場合には、回復処理を実行する(ステップS117)。   Then, the log extracted in step S113 is displayed on the display unit 204 of the management apparatus 20. An administrator using the management apparatus 20 checks the log displayed on the display unit 204, determines whether or not to perform recovery processing on the terminal 10, and inputs the determination result to the management apparatus 20. (Step S115). The determination result is transmitted to the terminal 10. When the terminal 10 receives a determination result indicating that the recovery process is necessary from the management apparatus 20, the terminal 10 executes the recovery process (step S117).

なお、上記においては、ログイン時(ステップS101)において撮像したユーザの画像を正当なユーザの顔画像として記憶部108に登録したが、端末10の操作開始前に、あらかじめユーザの顔画像を記憶部108に登録させておき、これをユーザの正当な顔画像データとしてもよい。そして、操作開始時(ステップS101)および顔画像の照合時(ステップS109)において、この操作開始前に登録させた顔画像と、撮像部102が撮像した顔画像とを比較するようになっていてもよい。また、ステップS103〜S107の処理については、所定時間が経過するか、入力デバイス監視処理からの通知結果をイベントとして受ける(それまではイベント待ち)ことによって、ステップS107以降の処理を行ってもよい。   In the above description, the user image captured at the time of login (step S101) is registered in the storage unit 108 as a legitimate user face image. However, before the operation of the terminal 10 is started, the user face image is stored in advance. It may be registered in 108, and this may be used as valid face image data of the user. Then, when the operation is started (step S101) and when the face image is collated (step S109), the face image registered before the start of the operation is compared with the face image captured by the imaging unit 102. Also good. As for the processes in steps S103 to S107, the processes after step S107 may be performed by receiving a notification result from the input device monitoring process as an event (until the event waits until that time). .

(入力デバイス監視処理)
図7は、入力デバイス監視処理(図6のステップS105)の一例を示すフロー図である。
(Input device monitoring process)
FIG. 7 is a flowchart showing an example of the input device monitoring process (step S105 in FIG. 6).

入力待ち状態(ステップS1051)から、端末10の入力受付部(入力デバイス)104を介してユーザの操作入力を検知すると、オペレーション内容復元用データ取得処理を実行する(ステップS1053)。ここで、図8は、ステップS1053のオペレーション内容復元用データ取得処理の一例を示すフロー図である。   When a user operation input is detected from the input waiting state (step S1051) via the input receiving unit (input device) 104 of the terminal 10, an operation content restoration data acquisition process is executed (step S1053). Here, FIG. 8 is a flowchart illustrating an example of the operation content restoration data acquisition processing in step S1053.

ユーザの操作入力を検知すると、そのユーザの操作内容をデータに反映させる前に、操作内容を記憶部108に保持されている「作業内容ログ」ファイル(図3)に記録する。作業内容ログには、時刻YYYY/MM/DD hh:mm:ssにプロセスAがデータxをCreate(作成)/Read(読出し)/Delete(削除)、プロセスAがデータxをデータyにUpdate(更新)、等の情報が記録される(ステップS201)。   When a user operation input is detected, the operation content is recorded in a “work content log” file (FIG. 3) held in the storage unit 108 before the user operation content is reflected in the data. In the work content log, at time YYYY / MM / DD hh: mm: ss, process A creates (creates) / Read (reads) / Delete (deletes) data x, and process A updates (writes data x to data y) Update), and the like are recorded (step S201).

次に、検知したユーザ操作の操作種別がUpdate(更新)またはDelete(削除)である場合には(ステップS203)、元データのバックアップを取得してから(ステップS205)、検知したユーザ操作に応じた処理を実行する(ステップS207)。   Next, when the operation type of the detected user operation is Update (update) or Delete (deletion) (step S203), a backup of the original data is acquired (step S205), and the operation is performed according to the detected user operation. The process is executed (step S207).

図7に戻り、オペレーション内容復元用データ取得処理(ステップS1053)を実行した後は、入力情報記録処理を実行する(ステップS1055)。入力情報記録処理では、ユーザに操作された入力デバイスの詳細が、記憶部108に保持されている「入力情報ログ」ファイル(図4)に記録される。具体的には、例えば、入力時刻、入力デバイスの種類(キーボード、マウス、等)、入力内容(押下されたキー種別)、カナ入力/ローマ字入力、等の情報が入力情報ログに記録される。   Returning to FIG. 7, after executing the operation content restoration data acquisition process (step S1053), the input information recording process is executed (step S1055). In the input information recording process, details of the input device operated by the user are recorded in an “input information log” file (FIG. 4) held in the storage unit 108. Specifically, for example, information such as input time, input device type (keyboard, mouse, etc.), input content (pressed key type), kana input / romaji input, and the like are recorded in the input information log.

また、入力待ち状態(ステップS1051)から、一定時間が経過すると、ユーザ操作の統計処理を実行する(ステップS1057)(なお、この「一定時間」は撮像周期とは無関係であってよい。)統計処理は、現在時刻(統計処理を実行する時刻)から一定時間前までの入力情報ログの記録に基づいて、例えば以下について計算する。
・入力数
・入力間隔の平均および/または中央値
・入力デバイスごとの操作割合(キーボードでxx%、マウスでyy%の入力があった、等)
・特定の操作キーの数および/または割合(backspace、delete、tab、alt、カーソルキー、home、end、等の操作キー)
・ローマ字入力による操作時間とカナ入力による操作時間の割合
Further, when a certain period of time has elapsed from the state of waiting for input (step S1051), statistical processing of the user operation is executed (step S1057) (Note that this “constant time” may be independent of the imaging cycle). For example, the following calculation is performed based on the record of the input information log from the current time (the time when the statistical process is executed) to a certain time before.
・ Number of inputs ・ Average and / or median of input intervals ・ Percentage of operations for each input device (xx% input with keyboard, yy% input with mouse, etc.)
-Number and / or percentage of specific operation keys (backspace, delete, tab, alt, cursor keys, home, end, etc. operation keys)
・ Ratio of operation time by Roman input and operation time by Kana input

例えば、図4に示される入力情報の例の場合、上記の各データは以下のように算出することができる。すなわち、「入力数」は“13”である。また、「入力間隔の平均」は、入力ID“1”と“2”の時間差、入力ID“2”と“3”の時間差、・・・、入力ID“12”と“13”の時間差の平均である。また、「入力間隔の中央値」は、これらの中央値である。また、「入力デバイスごとの操作割合」は、キーボード:12/13、マウス:1/13、等と算出できる。また、「特定の操作キーの数」は、backspace:1である。また、「特定の操作キーの割合」は、backspace:1/13である。また、「ローマ字入力の操作時間とカナ入力の操作時間の割合」は、ローマ字入力の割合が、(入力ID“6”の時刻−入力ID“1”の時刻)/(入力ID“13”の時刻−入力ID“1”の時刻)、カナ入力の割合が、(入力ID“12”の時刻−入力ID“8”の時刻)/(入力ID“13”の時刻−入力ID“1”の時刻)、と算出することができる。なお、以上に説明した各データおよびその算出方法は、あくまで一例であり、端末10のユーザの入力操作の特徴を示しうるものであれば他のデータであってもよい。また、ステップS1057においては、入力待ち状態(ステップS1051)から、一定時間が経過すると、ユーザ操作の統計処理を実行することとしているが、これに限定されるものではない。統計処理を行うのに十分なユーザ操作に関するデータが蓄積されていれば、統計処理を行うことができる。例えば、入力受付部(入力デバイス)104において1文字の入力を受け付けるごとに、統計処理を行うようになっていてもよい。   For example, in the example of the input information shown in FIG. 4, each of the above data can be calculated as follows. That is, the “number of inputs” is “13”. The “average input interval” is the time difference between the input IDs “1” and “2”, the time difference between the input IDs “2” and “3”,..., And the time difference between the input IDs “12” and “13”. Average. The “median value of input intervals” is the median of these values. In addition, the “operation ratio for each input device” can be calculated as keyboard: 12/13, mouse: 1/13, and the like. The “number of specific operation keys” is backspace: 1. The “ratio of specific operation keys” is backspace: 1/13. In addition, the ratio of the operation time for Roman character input to the operation time for Kana input indicates that the ratio of Roman character input is (time of input ID “6” −time of input ID “1”) / (input ID “13”). The time-input ID “1”) and the kana input ratio are (input ID “12” time-input ID “8” time) / (input ID “13” time-input ID “1”) Time). Note that each of the data and the calculation method described above are merely examples, and other data may be used as long as they can indicate the characteristics of the input operation of the user of the terminal 10. In step S1057, statistical processing of user operations is executed after a certain period of time has elapsed from the input waiting state (step S1051), but the present invention is not limited to this. If data related to user operations sufficient to perform statistical processing is accumulated, statistical processing can be performed. For example, each time an input of one character is received by the input receiving unit (input device) 104, statistical processing may be performed.

図7に戻り、ステップS1057において算出した統計情報を記憶部108に記憶する(ステップS1059)。前回の統計処理時の値と、今回の統計処理時の値とを比較する(ステップS1061)。その差があらかじめ定められた閾値未満である場合(すなわち、端末10の操作者は変わっていないと判断される場合)は、ステップS1051に戻り、処理を継続する。また、差があらかじめ定められた閾値以上である場合(すなわち、端末10の操作者が変わったと判断される場合)は、その旨の通知を行い(ステップS1063)、図6のステップS107およびS109に移行して、撮像周期の変更および認証処理を実行する。なお、端末10の操作者は変わったか否かの判断をするための閾値を段階的に複数設け、前回の統計処理時の値と今回の統計処理時の値との差がいずれの閾値の間に位置するかに基づいて、撮像周期も段階的に短くしたり長くしたり(戻したり)するようになっていてもよい。   Returning to FIG. 7, the statistical information calculated in step S1057 is stored in the storage unit 108 (step S1059). The previous statistical processing value is compared with the current statistical processing value (step S1061). When the difference is less than a predetermined threshold (that is, when it is determined that the operator of the terminal 10 has not changed), the process returns to step S1051 to continue the processing. If the difference is greater than or equal to a predetermined threshold (that is, if it is determined that the operator of the terminal 10 has changed), a notification to that effect is sent (step S1063), and steps S107 and S109 in FIG. Transition is made to change the imaging cycle and perform authentication processing. It should be noted that the operator of the terminal 10 is provided with a plurality of thresholds for determining whether or not the terminal 10 has changed, and the difference between the previous statistical processing value and the current statistical processing value is between which threshold value. The imaging cycle may be shortened or lengthened (returned) step by step based on whether the image is located in the position.

(関連作業ログ抽出処理)
次に、関連作業ログ抽出処理(図6のステップS113)について詳述する。図9は、関連作業ログ抽出処理の一例を示すフロー図である。
(Related work log extraction process)
Next, the related work log extraction process (step S113 in FIG. 6) will be described in detail. FIG. 9 is a flowchart showing an example of related work log extraction processing.

まず、関連作業ログ抽出の対象となるユーザのプロセスIDを取得する(ステップS1131)。ここで、関連作業ログ抽出の対象となるユーザとは、本実施形態においては、図6のステップS101にてログインを行ったユーザ(ユーザIDで特定される。本説明では、対象ユーザまたは対象ユーザIDという。)である。プロセスIDは、例えば、記憶部108に保持されている「プロセス管理ログ」ファイル(図2)を参照して、「実行ユーザ」=“対象ユーザID”であるプロセスIDを検索することで取得することができる。   First, the process ID of the user who is the target of the related work log extraction is acquired (step S1131). Here, in this embodiment, the user who is the target of the related work log extraction is specified by the user who logged in in step S101 of FIG. 6 (user ID. In this description, the target user or the target user. ID.) The process ID is acquired, for example, by searching for a process ID where “execution user” = “target user ID” with reference to the “process management log” file (FIG. 2) held in the storage unit 108. be able to.

次に、顔画像の照合による認証がNGとなった時間および過去における直近で認証OKとなった時間(両者の間の時間を、以下、不正処理時間という)を取得する(ステップS1133)。   Next, the time when the authentication by the collation of the face image is NG and the time when the authentication was OK in the past (the time between the two is hereinafter referred to as the fraud processing time) are acquired (step S1133).

次に、対象ユーザIDによって端末10と連動して動作した他の機器における操作ログを特定する(ステップS1135)。具体的には、例えば、「ユーザID対応テーブル」(図5)を参照して、「ユーザID」=“対象ユーザID”である、機器AでのユーザID、機器BでのユーザID、・・・(機器XXでのユーザID)・・・を検索する。そして、機器A、機器B、・・・(機器XX)・・・のそれぞれについてのプロセス管理ログ(図2と同様のもの)を参照して、「ユーザID対応テーブル」から検索された各機器におけるユーザID(ユーザ名)を検索キーとして、プロセスIDを抽出する。これにより、端末10を経由して操作されていた他の機器における操作ログを特定することができる。   Next, an operation log in another device that operates in conjunction with the terminal 10 is specified by the target user ID (step S1135). Specifically, for example, referring to the “user ID correspondence table” (FIG. 5), “user ID” = “target user ID”, user ID on device A, user ID on device B, .. (User ID at device XX)... Each device retrieved from the “user ID correspondence table” with reference to the process management log (same as FIG. 2) for each of the devices A, B,... (Device XX). The process ID is extracted using the user ID (user name) at the search key. Thereby, the operation log in the other apparatus operated via the terminal 10 can be specified.

次に、ユーザのプロセスIDを基にして、再帰的にプロセスを検索し、対象ユーザの操作ログを抽出する(ステップS1137)。図10は、各ログの関連性の判断方法の一例を示す図である。図10に示される例では、「ログA」において、例えば、ユーザID=“logA_user1”と関連付けられているIPアドレスは“192.168.1.1”である。次に、「ログB」を参照すると、このIPアドレス“192.168.1.1” と関連付けられているノード名は“SV01”である。そして、「ログC」において、このノード“SV01”と関連付けられているプロセスIDは“1111”である。このように辿っていくことで、あるユーザが関連しているプロセスを抽出することができる。図9に戻り、ステップS1137において抽出したログから不正処理時間に該当する処理抽出する(ステップS1139)。   Next, the process is recursively searched based on the user process ID, and the operation log of the target user is extracted (step S1137). FIG. 10 is a diagram illustrating an example of a method for determining the relevance of each log. In the example illustrated in FIG. 10, in “Log A”, for example, the IP address associated with the user ID = “logA_user1” is “192.168.1.1”. Next, referring to “Log B”, the node name associated with this IP address “192.168.1.1” is “SV01”. In “Log C”, the process ID associated with the node “SV01” is “1111”. By tracing in this way, it is possible to extract processes related to a certain user. Returning to FIG. 9, processing corresponding to the unauthorized processing time is extracted from the log extracted in step S1137 (step S1139).

次に、「作業内容ログ」ファイル(図3)を参照して、ステップS1131〜S1139の処理によって抽出されたログのプロセスIDをキーとして、不正処理時間に実行された処理を抽出する(ステップS1141)。   Next, referring to the “work content log” file (FIG. 3), the process executed during the unauthorized processing time is extracted using the process ID of the log extracted by the processes of steps S1131 to S1139 as a key (step S1141). ).

以上のような処理によって、不正処理時間において端末10で実行された処理を抽出することができる。この抽出されたログは、管理者が操作する管理用装置20へ送信され、管理者はこれを表示部204で確認することができる(図6のステップS115)。   Through the processing as described above, it is possible to extract processing executed on the terminal 10 during the illegal processing time. The extracted log is transmitted to the management apparatus 20 operated by the administrator, and the administrator can confirm this on the display unit 204 (step S115 in FIG. 6).

(回復処理)
次に、回復処理(図6のステップS117)について詳述する。図11は、回復処理の一例を示すフロー図である。本フロー図に示される処理は、管理用装置20から回復処理が必要との判断結果を受信した場合に実行される。
(Recovery processing)
Next, the recovery process (step S117 in FIG. 6) will be described in detail. FIG. 11 is a flowchart illustrating an example of the recovery process. The process shown in this flowchart is executed when a determination result indicating that a recovery process is necessary is received from the management apparatus 20.

図6のステップS113の関連作業ログ抽出処理により抽出されたログを読み切っていない場合は(ステップS1171:No)、関連作業ログ抽出処理により抽出されたログを1件取得する(ステップS1173)。   When the log extracted by the related work log extraction process of step S113 in FIG. 6 has not been read (step S1171: No), one log extracted by the related work log extraction process is acquired (step S1173).

取得したログの操作種別がCreate(作成)である場合には(ステップS1175:Yes)、作成の対象となったデータを削除する(ステップS1177)。一方、取得したログの操作種別がCreate(作成)ではなく(ステップS1175:No)、Update(更新)またはDelete(削除)である場合には(ステップS1179:Yes)、操作対象となったデータをバックアップデータから復元する(ステップS1181)。以上のいずれにも該当しなければ(ステップS1179:No)、操作種別はRead(読出し)なので、ここでは何もしない。   When the operation type of the acquired log is Create (creation) (step S1175: Yes), the creation target data is deleted (step S1177). On the other hand, when the operation type of the acquired log is not Create (creation) (step S1175: No) but Update (update) or Delete (deletion) (step S1179: Yes), the data to be operated is changed. Restore from the backup data (step S1181). If none of the above applies (step S1179: No), the operation type is Read (read), so nothing is done here.

以上に説明したステップS1173〜ステップS1181の処理は、図6のステップS113の関連作業ログ抽出処理により抽出されたログを読み切るまで(ステップS1171:Yes)、繰り返し実行される。   The processing in steps S1173 to S1181 described above is repeatedly executed until the log extracted by the related work log extraction processing in step S113 in FIG. 6 is completely read (step S1171: Yes).

(ハードウェア構成例)
端末10および管理用装置20は、一般的なコンピュータ装置と同様のハードウェア構成によって実現可能である。図12は、端末10および管理用装置20のハードウェア構成の一例を示す図である。図12に示されるコンピュータ装置30は、一例として、プロセッサ301と、RAM302と、ROM303と、ハードディスク装置304と、リムーバブルメモリ305と、通信インタフェース306と、ディスプレイ/タッチパネル307と、スピーカ308と、入力デバイス(キーボード/マウス等)309と、を備える。上述した端末10および管理用装置20の各機能は、例えば、プロセッサ301が、ハードディスク装置304にあらかじめ格納されたプログラムをメモリに読み出して実行することで実現可能である。ただし、図12に示される構成はあくまで一例であり、これに限定するものではない。
(Hardware configuration example)
The terminal 10 and the management device 20 can be realized by the same hardware configuration as a general computer device. FIG. 12 is a diagram illustrating an example of a hardware configuration of the terminal 10 and the management device 20. A computer apparatus 30 shown in FIG. 12 includes, for example, a processor 301, a RAM 302, a ROM 303, a hard disk device 304, a removable memory 305, a communication interface 306, a display / touch panel 307, a speaker 308, and an input device. (Keyboard / mouse etc.) 309. Each function of the terminal 10 and the management apparatus 20 described above can be realized by, for example, the processor 301 reading a program stored in advance in the hard disk device 304 into a memory and executing it. However, the configuration shown in FIG. 12 is merely an example, and the present invention is not limited to this.

(まとめ)
上記説明したように、本実施形態に係るユーザ監視システムによれば、本発明によれば、ユーザの認証を実行する基本的な周期の間において不正なユーザが操作を行った場合であっても、これを検知することが可能である。また、例えば特許文献1においては、データ(アプリケーション)の重要性によってユーザ認証の周期を変更することが開示されている。しかしながら、先行文献1は(ユーザの入力の状況とは無関係である)データの重要性によってユーザ認証の周期を変更しているため、ユーザが操作途中で別の者に変わるような不正行為を検出するのは困難であり、また、このような不正行為の検出に資するものでもない。これに対し、本実施形態に係るユーザ監視システムによれば、ユーザの操作入力が変わったことをもってユーザが別の者に変わったと判断することで、例えば、操作開始時のユーザと別のユーザとが共謀して不正を行おうとした場合や、操作開始時のユーザが一時的に不在にした場合に別のユーザが不正を行おうとした場合等であっても、検知することが可能である。
(Summary)
As described above, according to the user monitoring system according to the present embodiment, according to the present invention, even when an unauthorized user performs an operation during a basic cycle of executing user authentication. It is possible to detect this. Further, for example, Patent Document 1 discloses changing the period of user authentication depending on the importance of data (application). However, since the prior document 1 changes the period of user authentication according to the importance of data (which is unrelated to the state of user input), it detects an illegal act in which the user changes to another person during the operation. It is difficult to do and does not contribute to the detection of such fraud. On the other hand, according to the user monitoring system according to the present embodiment, by determining that the user has changed to another person when the user's operation input has changed, for example, Can be detected even if the user tries to cheat by conspiring, or when another user tries to cheat when the user at the start of the operation is temporarily absent.

なお、上述の実施形態においては、ユーザの顔画像によってユーザ認証を行うこととしているが、他の生体的特徴によってユーザ認証を行ってもよい。例えば、指紋や虹彩等の身体的特徴によってユーザ認証を行ってもよい。また、ユーザの入力操作が声などの音声によるものであれば、声のトーンや声紋などを用いてユーザ認証を行ってもよい。さらに、生体的特徴以外の、ユーザの認証が可能な他の認証情報によってユーザ認証を行うようになっていてもよい。例えば、上述の実施形態の撮像部102がユーザを撮像することに代えて、一定期間ごとに、ユーザにパスワードを入力させる等となっていてもよい。なお、認証情報が生体的特徴である場合には、ユーザが認証情報を恣意的に変更したり同一にすることは困難である(例えば、ユーザAが自分の顔をユーザBに似せて同一ユーザになりすますことは困難であるし、指紋や虹彩等は各ユーザで同じものを共有できるものではない)ので、より好適である。また、上述のようにユーザの顔を撮像することでユーザの認証を行う場合には、端末10を操作しているユーザは正当なユーザであるが、背後から覗きこまれて情報を盗まれた場合(ショルダーハッキング)のトラブル等を検知して(撮像画像中で認識される顔の数で検知する等)、操作を一時停止させたり、ロールバックを行うことも可能である。   In the above-described embodiment, user authentication is performed using the user's face image, but user authentication may be performed using other biological features. For example, user authentication may be performed based on physical features such as fingerprints and irises. Further, if the user's input operation is by voice such as voice, user authentication may be performed using a voice tone or voiceprint. Furthermore, user authentication may be performed using other authentication information that can authenticate the user other than the biometric feature. For example, instead of imaging the user by the imaging unit 102 of the above-described embodiment, the user may input a password at regular intervals. If the authentication information is a biometric feature, it is difficult for the user to arbitrarily change or make the authentication information arbitrary (for example, the user A resembles the user B with the same user It is difficult to impersonate, and fingerprints, irises, etc. cannot be shared by each user). In addition, when the user is authenticated by imaging the user's face as described above, the user who operates the terminal 10 is a valid user, but the information is stolen by being looked into from behind. In such a case (shoulder hacking) or the like is detected (detected by the number of faces recognized in the captured image), the operation can be temporarily stopped or rolled back.

また、上述の実施形態においては、ユーザ監視システム1が端末10と管理用装置20とを備えるようになっていたが、このような構成に限定するものではない。上述した端末10と管理用装置20とが備える各機能は、他の形態によって複数の装置で分散的に処理するようになっていてよい。また、逆に、端末10に管理者しかログインできない管理者用アプリケーションが備えられていれば、管理用端末20を別途設けず、端末10に管理用装置20の機能を備えさせることもできる。   In the above-described embodiment, the user monitoring system 1 includes the terminal 10 and the management device 20, but the configuration is not limited to such a configuration. Each function provided in the terminal 10 and the management device 20 described above may be distributedly processed by a plurality of devices according to other modes. Conversely, if the terminal 10 includes an administrator application that allows only the administrator to log in, the management terminal 20 may not be provided separately, and the terminal 10 may be provided with the function of the management device 20.

また、上述の実施形態においては、撮像タイミング変更部112は、撮像部102は一定の周期で撮像するようになっていたが、ランダムな時間間隔で撮像を行うようになっていてもよい。これにより、端末10の操作者はいつ撮像が行われるかを予測することが困難となるため、その隙をついて不正ユーザが端末10を操作することを難しくすることができる。   In the above-described embodiment, the imaging timing changing unit 112 is configured to perform imaging at random time intervals, although the imaging unit 102 is configured to capture images at a constant period. As a result, it becomes difficult for the operator of the terminal 10 to predict when the imaging is performed, so that it is difficult for an unauthorized user to operate the terminal 10 with a gap.

ここまで、本発明の一実施形態について説明したが、本発明は上述の実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。   Up to this point, one embodiment of the present invention has been described. However, the present invention is not limited to the above-described embodiment, and it is needless to say that the present invention may be implemented in various forms within the scope of the technical idea.

本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。   The scope of the present invention is not limited to the illustrated and described exemplary embodiments, but includes all embodiments that provide the same effects as those intended by the present invention. Further, the scope of the invention is not limited to the combinations of features of the invention defined by the claims, but may be defined by any desired combination of particular features among all the disclosed features. .

10 コンピュータ端末
20 管理用装置
102 撮像部
104 入力受付部(入力デバイス)
106 認証部
108 記憶部
110 入力デバイス監視部
112 撮像タイミング変更部
114 関連作業ログ抽出部
116 送信部
118 受信部
120 回復処理部
202 受信部
204 表示部
206 回復処理要否判断部
208 送信部
DESCRIPTION OF SYMBOLS 10 Computer terminal 20 Management apparatus 102 Imaging part 104 Input reception part (input device)
106 Authentication Unit 108 Storage Unit 110 Input Device Monitoring Unit 112 Imaging Timing Change Unit 114 Related Work Log Extraction Unit 116 Transmission Unit 118 Reception Unit 120 Recovery Processing Unit 202 Reception Unit 204 Display Unit 206 Recovery Processing Necessity Determination Unit 208 Transmission Unit

Claims (7)

端末を操作するユーザを監視するユーザ監視システムであって、
ユーザが前記端末を操作する少なくとも一部の期間において、一定の周期で前記ユーザから前記ユーザの認証情報を取得する認証情報取得部と、
前記認証情報取得部が前記一定の周期で前記ユーザの認証情報を取得するごとに、前記ユーザの認証情報が、正当なユーザの認証情報であるか判断する認証部と、
前記端末におけるユーザの入力操作の状態の変化を検知する入力デバイス監視部と、
前記入力デバイス監視部が前記ユーザの入力操作の状態の変化を検知した場合に、前記認証情報取得部において前記認証情報を取得する前記周期を変更するタイミング変更部と、
を備えるユーザ監視システム。
A user monitoring system for monitoring a user operating a terminal,
An authentication information acquisition unit that acquires the authentication information of the user from the user at a constant period in at least a part of the period in which the user operates the terminal;
An authentication unit that determines whether the user authentication information is valid user authentication information each time the authentication information acquisition unit acquires the user authentication information at the predetermined period;
An input device monitoring unit that detects a change in the state of a user input operation in the terminal;
A timing changing unit that changes the period for acquiring the authentication information in the authentication information acquiring unit when the input device monitoring unit detects a change in the state of the input operation of the user;
A user monitoring system comprising:
前記認証情報取得部は、前記入力デバイス監視部が前記ユーザの入力操作の状態の変化を検知した場合に、前記ユーザの認証情報を取得することを特徴とする請求項1に記載のユーザ監視システム。   The user monitoring system according to claim 1, wherein the authentication information acquisition unit acquires the user authentication information when the input device monitoring unit detects a change in the state of the input operation of the user. . 前記入力デバイス監視部は、前記ユーザに操作された入力デバイスに関する情報を統計処理することによって、前記ユーザの入力操作の状態の変化を検知することを特徴とする請求項1または2に記載のユーザ監視システム。   3. The user according to claim 1, wherein the input device monitoring unit detects a change in a state of the input operation of the user by statistically processing information on the input device operated by the user. 4. Monitoring system. 前記認証部における前記判断の結果、前記認証情報取得部によって取得された前記ユーザの認証情報が正当なユーザの認証情報ではないと判断された場合には、前記ユーザの入力操作を制限する請求項1から3のいずれか一項に記載のユーザ監視システム。   The input operation of the user is limited when it is determined that the authentication information of the user acquired by the authentication information acquisition unit is not valid user authentication information as a result of the determination in the authentication unit. The user monitoring system according to any one of 1 to 3. 前記認証部における前記判断の結果、前記認証情報取得部によって取得された前記ユーザの認証情報が正当なユーザの認証情報ではないと判断された場合には、前記判断された時点から一定期間前までの間に実行された前記端末に対する前記ユーザの入力操作の一部または全てについて、前記入力操作の前の状態に戻すことを特徴とする請求項1から4のいずれか一項に記載のユーザ監視システム。   As a result of the determination in the authentication unit, when it is determined that the user authentication information acquired by the authentication information acquisition unit is not valid user authentication information, from the determined time to a certain period before 5. The user monitoring according to claim 1, wherein a part or all of the user input operation performed on the terminal during the period is returned to a state before the input operation. system. 認証情報取得部と、認証部と、入力デバイス監視部と、タイミング変更部と、を備え、端末を操作するユーザを監視するユーザ監視システムが実行する方法であって、
前記認証情報取得部が、ユーザが前記端末を操作する少なくとも一部の期間において、一定の周期で前記ユーザから前記ユーザの認証情報を取得するステップと、
前記認証部が、前記認証情報取得部が前記一定の周期で前記ユーザの認証情報を取得するごとに、前記ユーザの認証情報が、正当なユーザの認証情報であるか判断するステップと、
前記入力デバイス監視部が、前記端末におけるユーザの入力操作の状態の変化を検知するステップと、
前記タイミング変更部が、前記入力デバイス監視部が前記ユーザの入力操作の状態の変化を検知した場合に、前記認証情報取得部において前記認証情報を取得する前記周期を変更するステップと、
を含む方法。
An authentication information acquisition unit, an authentication unit, an input device monitoring unit, a timing changing unit, and a method executed by a user monitoring system that monitors a user who operates a terminal,
The authentication information acquisition unit acquires the user authentication information from the user at a constant period in at least a part of the period in which the user operates the terminal;
The authentication unit determining whether the user authentication information is valid user authentication information each time the authentication information acquisition unit acquires the user authentication information at the predetermined period;
The input device monitoring unit detecting a change in a state of a user input operation in the terminal;
The timing changing unit changing the period for acquiring the authentication information in the authentication information acquiring unit when the input device monitoring unit detects a change in the state of the input operation of the user;
Including methods.
請求項6に記載の方法を前記ユーザ監視システムに実行させるためのコンピュータプログラム。   A computer program for causing the user monitoring system to execute the method according to claim 6.
JP2015037470A 2015-02-26 2015-02-26 User monitoring system Active JP6511293B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015037470A JP6511293B2 (en) 2015-02-26 2015-02-26 User monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015037470A JP6511293B2 (en) 2015-02-26 2015-02-26 User monitoring system

Publications (2)

Publication Number Publication Date
JP2016162000A true JP2016162000A (en) 2016-09-05
JP6511293B2 JP6511293B2 (en) 2019-05-15

Family

ID=56846940

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015037470A Active JP6511293B2 (en) 2015-02-26 2015-02-26 User monitoring system

Country Status (1)

Country Link
JP (1) JP6511293B2 (en)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020501212A (en) * 2016-09-23 2020-01-16 アップル インコーポレイテッドApple Inc. Image data for extended user interaction
US10846905B2 (en) 2017-05-16 2020-11-24 Apple Inc. Emoji recording and sending
US10845968B2 (en) 2017-05-16 2020-11-24 Apple Inc. Emoji recording and sending
US10861248B2 (en) 2018-05-07 2020-12-08 Apple Inc. Avatar creation user interface
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US10902424B2 (en) 2014-05-29 2021-01-26 Apple Inc. User interface for payments
US10956550B2 (en) 2007-09-24 2021-03-23 Apple Inc. Embedded authentication systems in an electronic device
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US11200309B2 (en) 2011-09-29 2021-12-14 Apple Inc. Authentication with secondary approver
US11206309B2 (en) 2016-05-19 2021-12-21 Apple Inc. User interface for remote authorization
US11287942B2 (en) 2013-09-09 2022-03-29 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces
US11386189B2 (en) 2017-09-09 2022-07-12 Apple Inc. Implementation of biometric authentication
US11393258B2 (en) 2017-09-09 2022-07-19 Apple Inc. Implementation of biometric authentication
US11676373B2 (en) 2008-01-03 2023-06-13 Apple Inc. Personal computing device control using face detection and recognition
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
US12079458B2 (en) 2016-09-23 2024-09-03 Apple Inc. Image data for enhanced user interactions
US12099586B2 (en) 2021-01-25 2024-09-24 Apple Inc. Implementation of biometric authentication
US12216754B2 (en) 2021-05-10 2025-02-04 Apple Inc. User interfaces for authenticating to perform secure operations
US12218894B2 (en) 2019-05-06 2025-02-04 Apple Inc. Avatar integration with a contacts user interface
US12262111B2 (en) 2011-06-05 2025-03-25 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092783A (en) * 1999-09-27 2001-04-06 Hitachi Software Eng Co Ltd Method and system for personal authentication, and recording medium
JP2004013831A (en) * 2002-06-11 2004-01-15 Canon Inc Personal authentication system, personal authentication device and personal authentication method
JP2006243947A (en) * 2005-03-01 2006-09-14 Ricoh Co Ltd Information input device, information input method, and recording medium
JP2007265218A (en) * 2006-03-29 2007-10-11 Toshiba Corp User monitoring system
WO2008105231A1 (en) * 2007-02-28 2008-09-04 Nec Corporation Information processor having lock function, lock (unlock) method for information processor, and program thereof
WO2008126507A1 (en) * 2007-03-30 2008-10-23 Nec Corporation User authentication control device, user authentication device, data processing device, and user authentication control method and the like
JP2009009332A (en) * 2007-06-27 2009-01-15 Sharp Corp User authentication system and image processing system having the same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092783A (en) * 1999-09-27 2001-04-06 Hitachi Software Eng Co Ltd Method and system for personal authentication, and recording medium
JP2004013831A (en) * 2002-06-11 2004-01-15 Canon Inc Personal authentication system, personal authentication device and personal authentication method
JP2006243947A (en) * 2005-03-01 2006-09-14 Ricoh Co Ltd Information input device, information input method, and recording medium
JP2007265218A (en) * 2006-03-29 2007-10-11 Toshiba Corp User monitoring system
WO2008105231A1 (en) * 2007-02-28 2008-09-04 Nec Corporation Information processor having lock function, lock (unlock) method for information processor, and program thereof
WO2008126507A1 (en) * 2007-03-30 2008-10-23 Nec Corporation User authentication control device, user authentication device, data processing device, and user authentication control method and the like
JP2009009332A (en) * 2007-06-27 2009-01-15 Sharp Corp User authentication system and image processing system having the same

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11468155B2 (en) 2007-09-24 2022-10-11 Apple Inc. Embedded authentication systems in an electronic device
US10956550B2 (en) 2007-09-24 2021-03-23 Apple Inc. Embedded authentication systems in an electronic device
US11676373B2 (en) 2008-01-03 2023-06-13 Apple Inc. Personal computing device control using face detection and recognition
US12406490B2 (en) 2008-01-03 2025-09-02 Apple Inc. Personal computing device control using face detection and recognition
US12262111B2 (en) 2011-06-05 2025-03-25 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
US11755712B2 (en) 2011-09-29 2023-09-12 Apple Inc. Authentication with secondary approver
US11200309B2 (en) 2011-09-29 2021-12-14 Apple Inc. Authentication with secondary approver
US11768575B2 (en) 2013-09-09 2023-09-26 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs
US12314527B2 (en) 2013-09-09 2025-05-27 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs
US11287942B2 (en) 2013-09-09 2022-03-29 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces
US11494046B2 (en) 2013-09-09 2022-11-08 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs
US10977651B2 (en) 2014-05-29 2021-04-13 Apple Inc. User interface for payments
US10902424B2 (en) 2014-05-29 2021-01-26 Apple Inc. User interface for payments
US11836725B2 (en) 2014-05-29 2023-12-05 Apple Inc. User interface for payments
US11206309B2 (en) 2016-05-19 2021-12-21 Apple Inc. User interface for remote authorization
US12079458B2 (en) 2016-09-23 2024-09-03 Apple Inc. Image data for enhanced user interactions
JP2020501212A (en) * 2016-09-23 2020-01-16 アップル インコーポレイテッドApple Inc. Image data for extended user interaction
US10997768B2 (en) 2017-05-16 2021-05-04 Apple Inc. Emoji recording and sending
US10845968B2 (en) 2017-05-16 2020-11-24 Apple Inc. Emoji recording and sending
US11532112B2 (en) 2017-05-16 2022-12-20 Apple Inc. Emoji recording and sending
US12045923B2 (en) 2017-05-16 2024-07-23 Apple Inc. Emoji recording and sending
US10846905B2 (en) 2017-05-16 2020-11-24 Apple Inc. Emoji recording and sending
US12450811B2 (en) 2017-05-16 2025-10-21 Apple Inc. Emoji recording and sending
US11386189B2 (en) 2017-09-09 2022-07-12 Apple Inc. Implementation of biometric authentication
US11393258B2 (en) 2017-09-09 2022-07-19 Apple Inc. Implementation of biometric authentication
US11765163B2 (en) 2017-09-09 2023-09-19 Apple Inc. Implementation of biometric authentication
US12462005B2 (en) 2017-09-09 2025-11-04 Apple Inc. Implementation of biometric authentication
US12340481B2 (en) 2018-05-07 2025-06-24 Apple Inc. Avatar creation user interface
US10861248B2 (en) 2018-05-07 2020-12-08 Apple Inc. Avatar creation user interface
US11682182B2 (en) 2018-05-07 2023-06-20 Apple Inc. Avatar creation user interface
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
US11380077B2 (en) 2018-05-07 2022-07-05 Apple Inc. Avatar creation user interface
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US11928200B2 (en) 2018-06-03 2024-03-12 Apple Inc. Implementation of biometric authentication
US12189748B2 (en) 2018-06-03 2025-01-07 Apple Inc. Implementation of biometric authentication
US12124770B2 (en) 2018-09-28 2024-10-22 Apple Inc. Audio assisted enrollment
US12105874B2 (en) 2018-09-28 2024-10-01 Apple Inc. Device control using gaze information
US11809784B2 (en) 2018-09-28 2023-11-07 Apple Inc. Audio assisted enrollment
US11619991B2 (en) 2018-09-28 2023-04-04 Apple Inc. Device control using gaze information
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US12482161B2 (en) 2019-01-18 2025-11-25 Apple Inc. Virtual avatar animation based on facial feature movement
US12218894B2 (en) 2019-05-06 2025-02-04 Apple Inc. Avatar integration with a contacts user interface
US12099586B2 (en) 2021-01-25 2024-09-24 Apple Inc. Implementation of biometric authentication
US12216754B2 (en) 2021-05-10 2025-02-04 Apple Inc. User interfaces for authenticating to perform secure operations

Also Published As

Publication number Publication date
JP6511293B2 (en) 2019-05-15

Similar Documents

Publication Publication Date Title
JP6511293B2 (en) User monitoring system
Kambourakis et al. Introducing touchstroke: keystroke‐based authentication system for smartphones
CN112861139B (en) Device security based on screen analysis
CN105574388B (en) A kind of unlocking method based on touch screen terminal, device and touch screen terminal
US9384369B2 (en) Information processing method and electronic device
US9218474B1 (en) Enhanced biometric security measures
US20120204257A1 (en) Detecting fraud using touchscreen interaction behavior
US20210150006A1 (en) Obscuring data when gathering behavioral data
CN103745147A (en) System mode starting method and application program starting method and device
US20160085949A1 (en) User verification using touch and eye tracking
WO2016188268A1 (en) Multi-user login method, device and storage medium
US9641518B2 (en) Method and system for password setting and authentication
JPWO2016175333A1 (en) Terminal device and computer program
WO2016184092A1 (en) Terminal operation method and apparatus
EP2919422B1 (en) Method and device for detecting spoofed messages
US10430617B2 (en) Terminal determination device and method
US20220311792A1 (en) Forensics Analysis for Malicious Insider Attack Attribution based on Activity Monitoring and Behavioral Biometrics Profiling
CN106503504A (en) An unlocking method and device
US20220121293A1 (en) Character editing on a physical device via interaction with a virtual device user interface
JP7202951B2 (en) Unauthorized remote login detection device, method, and program
Rahman et al. Movement pattern based authentication for smart mobile devices
CN106888223B (en) User account login method and mobile terminal
JP2006243947A (en) Information input device, information input method, and recording medium
CN114048455A (en) Abnormal login detection method, device, terminal device and storage medium
JP2022183571A (en) Terminal device, unauthorized use detection system, unauthorized use detection method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190408

R150 Certificate of patent or registration of utility model

Ref document number: 6511293

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250