JP2020119585A - Information processing system, information processor, control method, and program - Google Patents
Information processing system, information processor, control method, and program Download PDFInfo
- Publication number
- JP2020119585A JP2020119585A JP2020069516A JP2020069516A JP2020119585A JP 2020119585 A JP2020119585 A JP 2020119585A JP 2020069516 A JP2020069516 A JP 2020069516A JP 2020069516 A JP2020069516 A JP 2020069516A JP 2020119585 A JP2020119585 A JP 2020119585A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- trail
- monitoring
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、テレワーク管理システムにおいて行う認証技術に関する発明であり、特に、当該認証技術で用いる認証情報の配信方法に関する。 The present invention relates to an authentication technique performed in a telework management system, and particularly to a distribution method of authentication information used in the authentication technique.
近年、ブロードバンドや情報セキュリティ技術の発達の他、災害時における事業継続性や節電対策への注目などを背景に、各企業でテレワークに対する関心が強まっている。 In recent years, with the development of broadband and information security technology, attention to business continuity and power saving measures at the time of disaster, and the like, interest in telework is increasing in each company.
テレワークを導入する上では、管理者から本人の様子が見えにくいため、家族をはじめとする第三者による情報処理端末へのアクセスにより機密情報が漏えいするリスクや、労働管理がしにくい問題がある。 When introducing telework, it is difficult for the administrator to see the situation of the person himself, so there is a risk that confidential information will be leaked due to access to the information processing terminal by a third party including family members, and labor management will be difficult. ..
機密情報の漏えい予防手段としては、ユーザが、情報処理端末を用いて操作を行うと、そのユーザの顔を撮影して、顔認識技術を用いて個人認証を行い、本人でない場合は情報処理端末をロックするといったシステムが導入されている。 As a means for preventing leakage of confidential information, when the user operates the information processing terminal, the user's face is photographed and personal authentication is performed using face recognition technology. A system is introduced to lock the.
しかしながら、このようなシステムでは、情報処理端末に表示された内容を第三者に見られたりすることで、情報漏洩に繋がるリスクが生じる。 However, in such a system, the content displayed on the information processing terminal may be viewed by a third party, which may cause a risk of information leakage.
そこで、情報処理端末の前方を撮影した結果、撮影して得られた画像に、顔の数が１つであれば、個人認証を行うが、２人以上の顔がある場合は、情報処理端末の使用を中止させる技術が開示されている（例えば、特許文献１参照）。 Therefore, as a result of photographing the front of the information processing terminal, if the number of faces in the image obtained by photographing is one, personal authentication is performed, but if there are two or more faces, the information processing terminal A technique for discontinuing the use of is disclosed (for example, see Patent Document 1).
しかしながら、顔認識を用いたテレワーク管理システムでは、予防機能に重点を置いており、サテライトオフィス勤務といった場面に適用する場合、同一拠点で働く同僚の顔が映ってしまっても予防機能が働いてしまい、ユーザの利便性を損ねることになる。 However, the telework management system that uses face recognition focuses on the preventive function, and when it is applied to the situation such as when working at a satellite office, the preventive function will work even if the face of a colleague who works at the same base appears. , The convenience of the user is impaired.
この予防機能を監視者への通知機能に置き換えたとしても、今度は監視者が状況を確認することに手間を取られてしまう。 Even if this preventive function is replaced with a notification function to the monitoring person, this time, the monitoring person is troubled to confirm the situation.
本発明の目的は、ユーザの監視環境下に応じて、本人以外の人物が撮影されたことによって不正利用と見做さない場合において、ユーザあるいは管理者などの監視に係る労力を軽減することで、効率的な監視方法を提供する情報処理システム、情報処理装置、制御方法、及びプログラムを提供することを目的とする。 An object of the present invention is to reduce the monitoring effort of a user or an administrator when a person other than the person himself/herself is photographed and is not regarded as an unauthorized use according to the monitoring environment of the user. An object is to provide an information processing system, an information processing device, a control method, and a program that provide an efficient monitoring method.
上記課題を解決するための第１の発明は、ユーザを撮影することにより前記ユーザの顔認識を行って不正アクセスの監視を行う複数の情報処理装置と不正アクセスの監視を行うための監視用情報を管理するサーバとからなる情報処理システムであって、他の情報処理装置で使用される前記監視用情報を含めて当該監視用情報を要求する要求手段と、前記要求手段によって要求して得られた監視用情報を用いて、本人及び他の情報処理装置を利用する人物との関係から、不正アクセスが行われたことを検出する検出手段と、を備えたことを特徴とする。 A first aspect of the present invention for solving the above-mentioned problems is to monitor a plurality of information processing devices for monitoring unauthorized access by performing face recognition of the user by photographing the user, and monitoring information for monitoring unauthorized access. An information processing system including a server that manages the monitoring information, the requesting means requesting the monitoring information including the monitoring information used in another information processing device, and the requesting means. The monitoring information is used to detect the unauthorized access from the relationship between the person and the person who uses the other information processing apparatus.
上記課題を解決するための第２の発明は、不正アクセスの監視を行うための監視用情報を管理するサーバであって、情報処理装置から前記監視用情報の要求を受け付ける要求受付手段と、前記受付手段によって監視用情報の要求を受け付けると、前記情報処理装置の監視用情報、及び前記情報処理装置とは異なる他の情報処理装置で用いる監視用情報を前記要求受付手段によって受け付けた情報処理装置に送信する送信手段と、を備えたことを特徴とする。 A second invention for solving the above-mentioned problem is a server for managing monitoring information for monitoring unauthorized access, comprising a request receiving means for receiving a request for the monitoring information from an information processing device, An information processing apparatus that receives the monitoring information request from the information processing apparatus and the monitoring information used by another information processing apparatus different from the information processing apparatus when the request receiving section receives the monitoring information request from the request receiving section. And a transmitting means for transmitting to.
上記課題を解決するための第３の発明は、ユーザを撮影することにより前記ユーザの顔認識を行って不正アクセスの監視を行う複数の情報処理装置と不正アクセスの監視を行うための監視用情報を管理するサーバとからなる情報処理システムの制御方法であって、前記情報処理システムは、他の情報処理装置で使用される前記監視用情報を含めて当該監視用情報を要求する要求ステップと、前記要求ステップによって要求して得られた監視用情報を用いて、本人及び他の情報処理装置を利用する人物との関係から、不正アクセスが行われたことを検出する検出ステップと、を実行することを特徴とする。 A third invention for solving the above-mentioned problem is a plurality of information processing devices for monitoring unauthorized access by performing face recognition of the user by photographing the user, and monitoring information for monitoring unauthorized access. A method of controlling an information processing system comprising a server for managing the information processing system, wherein the information processing system requests the monitoring information including the monitoring information used in another information processing apparatus, Using the monitoring information obtained by the request in the requesting step, a detecting step of detecting that unauthorized access has been made is executed based on the relationship between the person and the person using the other information processing apparatus. It is characterized by
上記課題を解決するための第４の発明は、ユーザを撮影することにより前記ユーザの顔認識を行って不正アクセスの監視を行う複数の情報処理装置と不正アクセスの監視を行うための監視用情報を管理するサーバとからなる情報処理システムで読取実行可能なプログラムあって、前記情報処理システムを、他の情報処理装置で使用される前記監視用情報を含めて当該監視用情報を要求する要求手段と、前記要求手段によって要求して得られた監視用情報を用いて、本人及び他の情報処理装置を利用する人物との関係から、不正アクセスが行われたことを検出する検出手段と、して機能させることを特徴とする。 A fourth invention for solving the above-mentioned problem is a plurality of information processing devices for monitoring unauthorized access by performing face recognition of the user by photographing the user, and monitoring information for monitoring unauthorized access. A program that can be read and executed by an information processing system including a server that manages the information processing system, and requests the information processing system to include the monitoring information used by another information processing apparatus. And a detection means for detecting unauthorized access from the relationship between the person himself/herself and a person who uses another information processing device, using the monitoring information obtained by the requesting means. It is characterized by making it function.
上記課題を解決するための第５の発明は、不正アクセスの監視を行うための監視用情報を管理するサーバの制御方法であって、前記サーバを、情報処理装置から前記監視用情報の要求を受け付ける要求受付ステップと、前記要求受付ステップによって監視用情報の要求を受け付けると、前記情報処理装置の監視用情報、及び前記情報処理装置とは異なる他の情報処理装置で用いる監視用情報を前記要求受付ステップによって受け付けた情報処理装置に送信する送信ステップと、を備えたことを特徴とする。 A fifth invention for solving the above-mentioned problem is a method of controlling a server for managing monitoring information for monitoring unauthorized access, wherein the server requests the monitoring information from an information processing device. When a request receiving step for receiving and a request for monitoring information are received by the request receiving step, the monitoring information of the information processing apparatus and the monitoring information used by another information processing apparatus different from the information processing apparatus are requested. And a transmitting step of transmitting the information to the information processing device accepted by the accepting step.
上記課題を解決するための第６の発明は、不正アクセスの監視を行うための監視用情報を管理するサーバで読取実行可能なプログラムであって、前記サーバを、情報処理装置から前記監視用情報の要求を受け付ける要求受付手段と、前記受付手段によって監視用情報の要求を受け付けると、前記情報処理装置の監視用情報、及び前記情報処理装置とは異なる他の情報処理装置で用いる監視用情報を前記要求受付手段によって受け付けた情報処理装置に送信する送信手段と、して機能させることを特徴とする。 A sixth invention for solving the above-mentioned problem is a program that can be read and executed by a server that manages monitoring information for monitoring unauthorized access, wherein the server is changed from an information processing device to the monitoring information. Request reception means for receiving the request for monitoring information, and when the request for monitoring information is received by the reception means, the monitoring information of the information processing apparatus and the monitoring information used by another information processing apparatus different from the information processing apparatus are displayed. It is characterized by functioning as transmitting means for transmitting to the information processing device accepted by the request accepting means.
本発明によれば、ユーザの監視環境下に応じて、本人以外の人物が撮影されたことによって不正利用と見做さない場合において、ユーザが使用している情報処理装置利用を制御することなく、また、管理者などへの通知を抑止することで、ユーザまたは管理者の監視に係る労力を軽減することで、効率的な監視方法を実現することができる、という効果を奏する。 According to the present invention, according to the monitoring environment of a user, in the case where a person other than the person himself/herself is photographed and is not regarded as an unauthorized use, the use of the information processing apparatus used by the user is not controlled. Further, by suppressing the notification to the administrator or the like, it is possible to realize the efficient monitoring method by reducing the labor related to the monitoring of the user or the administrator.
以下、図面を参照して、本発明の実施形態を詳細に説明する。
[第１の実施形態]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[First Embodiment]
図１は、本発明のテレワーク管理システムの構成の一例を示すシステム構成図である。 FIG. 1 is a system configuration diagram showing an example of the configuration of a telework management system of the present invention.
図１に示すテレワーク管理システムは、１又は複数の証跡送信端末１００、１又は複数の証跡監査端末１１０、１又は複数の証跡管理サーバ１２０が、ローカルエリアネットワーク（ＬＡＮ）１３０とルータ１４０、およびインターネット１５０を介して接続される構成となっている。
In the telework management system shown in FIG. 1, one or more
証跡送信端末１００は、使用するユーザ（テレワーカ）の動静および不正アクセスを検出し、その証跡情報を証跡管理サーバ１２０に送信する。また、動静等の検出に使用するユーザの特徴量データを証跡管理サーバ１２０に送信する。
The
証跡監査端末１１０は、管理者が証跡管理サーバ１２０に記録された特徴量データの承認操作と、証跡管理サーバ１２０に記録された証跡の監査操作を行う。
The
証跡監査端末１１０は、管理者の動静をテレワーカに通知するまたは自身がテレワークを行う際に自身の管理者に動静と不正アクセスを通知するために、証跡送信端末１００と同様の機能を備えることもある。
The
証跡管理サーバ１２０は、証跡送信端末１００から受信した特徴量データを記録し、その特徴量データに対する証跡監査端末１１０の承認操作を処理する。
The
そして、証跡送信端末１００から受信した証跡を記録し、その証跡に対する証跡監査端末１１０の監査操作を処理し、また、証跡送信端末１００の接続元拠点情報を元に、証跡送信端末１００で利用する特徴量データを決定する。
Then, the trail received from the
以下、図２を用いて、図１に示した証跡送信端末１００、証跡監査端末１１０、及び証跡管理サーバ１２０に適用可能な情報処理装置のハードウェア構成について説明する。
The hardware configuration of the information processing apparatus applicable to the
図２は、図１に示した証跡送信端末１００、証跡監査端末１１０、証跡管理サーバ１２０に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
FIG. 2 is a block diagram showing a hardware configuration of an information processing apparatus applicable to the
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
In FIG. 2,
また、ＲＯＭ２０３あるいは外部メモリ２１２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
Further, the
ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１２からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
The
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９や証跡送信端末１００の前方のユーザを撮影するウェブカメラ等のカメラデバイス２１０、不図示のマウス等のポインティングデバイス等からの入力を制御する。
An
２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１１等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１１と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。
A
２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１２へのアクセスを制御する。
A
２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ１３０）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
A communication I/
なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１１上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１１上の不図示のマウスカーソル等でのユーザ指示を可能とする。
The
本発明を実現するための後述する各種プログラムは、外部メモリ２１２に記録されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。
Various programs to be described later for implementing the present invention are recorded in the
さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１２に格納されており、これらについての詳細な説明も後述する。
Furthermore, the definition file and various information tables used when the above program is executed are also stored in the
次に、図３を用いて、本発明の証跡送信端末１００、証跡監査端末１１０および証跡管理サーバ１２０の機能ブロック図について説明する。尚、各機能ブロックが処理する詳細な制御については、後述するフローチャートにて説明する。
Next, a functional block diagram of the
まず、証跡送信端末１００の機能構成について説明する。
First, the functional configuration of the
認証情報入力部３０１は、ユーザによる認証情報の入力を受け付ける。認証情報送信部３０２は、認証情報入力部３０１で受け付けた認証情報を、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の認証情報受信部５０１に送信し、システムへのログインを行う。ログインに成功したら、拠点選択部３０３において拠点の選択を依頼する。
The authentication
拠点選択部３０３は、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０のユーザ情報管理部５０４からログインユーザが利用可能な拠点リストを取得し、その中から現在の拠点を選択する。
The
選択方法としては、拠点リストをＣＲＴ２１１に表示してユーザに選択させる方法や、近辺のＷｉｆｉ網から現在地の住所を推定し自動決定するなどの方法がある。
As the selection method, there are a method of displaying a base list on the
特徴量データ更新部３０４は、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の特徴量データ取得部５０７から、ユーザおよびユーザと同じ拠点から接続するログインユーザの特徴量データを取得し、特徴量データ記憶部３０５のデータを更新する。特徴量データ記憶部３０５は、顔認識に使用する顔の特徴量データを記憶する。
The characteristic amount
ユーザ情報表示更新部３０６は、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０のユーザ情報管理部５０４からユーザの動静情報を取得し、ＣＲＴ２１１に表示する。
The user information
ユーザ情報表示更新部３０６は、同様にユーザ情報管理部５０４から取得した拠点リストおよびチームリストを表示し、ユーザに選択させて動静情報を表示するユーザを変える機能も備える。
The user information
また、ユーザ情報表示更新部３０６は、更新通知受信部３１５から更新通知を受けた際には、ユーザ情報管理部５０４からユーザの動静情報を取り直し、表示を更新する。
Further, when the user information
映像入力部３０７は、カメラデバイス２１０より映像を取得し、特徴量データ抽出部３０８および状態検出部３１１にその映像を送信する。
The
特徴量データ抽出部３０８は、特徴量データの登録がない場合や、ユーザの識別がうまくいかない際にユーザを識別するための特徴量データを抽出する。
The feature amount
特徴量データ抽出部３０８は、映像入力部３０７から受信した映像からユーザの顔を抽出し、その顔を使って識別するかどうかユーザに確認する。確認がとれたら、顔から特徴量データを抽出し、それを特徴量データ送信部３１０に送信する。顔の抽出および特徴料データの抽出は顔認識部３０９に依頼する。
The feature amount
顔認識部３０９は、特徴量データ抽出部３０８から受信した映像から顔を抽出し、さらにその顔から識別に利用可能な特徴量データを抽出する。また、状態検出部３１１から受信した映像から顔を抽出し、各顔から抽出した特徴量データと状態検出部３１１から受信した特徴量データとの類似度を算出する。
The
特徴量データ送信部３１０は、特徴量データ抽出部３０８から受信した特徴量データを証跡管理サーバ１２０の特徴量データ受信部５０９に送信する。また、ログアウト前に特徴量データ記憶部３０５に記憶された識別寄与度を特徴量データ受信部５０９に送信する。
The characteristic amount
状態検出部３１１は、映像入力部３０７から受信した映像と特徴量データ記憶部３０５に記憶された特徴量データから、正規のログインユーザによる動静「在席」、「離席」、同一拠点のログインユーザによる不正アクセス「なりすまし」、「覗き見」、拠点外の第三者による不正アクセス「なりすまし」、「覗き見」の状態を検出する。
The
映像と特徴量データを顔認識部３０９に送信し、得られた顔認識結果から現在の状態を算出する。検出した動静と不正アクセスおよび顔認識結果、その際のカメラ画像は証跡制御部３１２に送信する。
The image and the feature amount data are transmitted to the
証跡制御部３１２は、状態検出部３１１から受信した動静または不正アクセスおよび顔認識結果、カメラ画像を証跡記憶部３１３に記憶する。その際、ビデオコントローラ２０６から取得したスクリーンショットも合わせて記憶する。
The
証跡制御部３１２は、証跡記憶部３１３に記憶された動静および不正アクセスを総合的に見て、動静および不正アクセスの状態がそれぞれ現在どの状態なのか、その状態に切り替わったのはいつか類推し、切り替わった際の証跡情報（動静または不正アクセス、顔認識結果、カメラ画像、スクリーンショット）を証跡送信部３１４に送信する。
The
同じ動静および不正アクセスが継続した際は、その終了日時を随時更新して証跡送信部３１４に送信する。また、その終了日時のカメラ画像とスクリーンショットを証跡送信部３１４に送信する。状態の判定に使われなくなった古い証跡情報は、証跡記憶部３１３から随時破棄する。
When the same motion and unauthorized access continue, the end date and time is updated at any time and transmitted to the
証跡記憶部３１３は、証跡情報（動静、不正アクセス、顔認識結果、カメラ画像、スクリーンショット）を記憶する。
The
証跡送信部３１４は、証跡制御部３１２から受信した証跡情報を、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の証跡受信部５１３に送信する。
The
更新通知受信部３１５は、証跡管理サーバ１２０のユーザ情報更新通知部５０６からの更新通知を通信Ｉ／Ｆコントローラ２０８を介して受信する。
The update
更新通知受信部３１５は、特徴量データ登録通知があったら、特徴量データ抽出部３０８に特徴量の抽出を依頼し、特徴量データ更新通知があったら、特徴量データ更新部３０４に特徴量データの更新を依頼する。また、動静更新通知があったら、ユーザ情報表示更新部３０６に表示の更新を依頼する。
The update
次に、証跡監査端末１１０の機能構成について説明する。
Next, the functional configuration of the
ユーザ情報表示更新部４０１は、証跡送信端末１００のユーザ情報表示更新部３０６と同様に、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０のユーザ情報管理部５０４からユーザの情報を取得し、それをＣＲＴ２１１に表示する。
The user information
ユーザ情報表示更新部３０６と同様の動静情報の表示だけでなく、不正アクセスの発生件数や特徴量データの承認待ち件数などを確認可能な監査情報の表示を行うことができる。ユーザ情報表示更新部４０１は、更新通知受信部４０２からの更新通知を受けて、表示を更新する。
It is possible to display not only the movement information similar to the user information
更新通知受信部４０２は、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の監査情報更新通知部５１０から更新通知を受信する。
The update
更新通知受信部４０２は、動静更新通知があったら、ユーザ情報表示更新部４０１に表示の更新を依頼し、特徴量データ更新通知および不正アクセス発生通知があったら、ユーザ情報表示更新部４０１に表示の更新を依頼し、情報通知部４０３に管理者への情報の通知を依頼する。
The update
情報通知部４０３は、特徴量データの承認処理や不正アクセスの監査処理をすぐに実施してもらえるよう管理者に警告する。
The
特徴量データ承認操作部４０４は、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の特徴量データ承認操作処理部５１２から取得した特徴量データをＣＲＴ２１１に表示し、管理者に未承認の特徴量データを承認または棄却させる。承認結果は、特徴量データ承認操作処理部５１２に送信する。
The feature amount data
証跡監査操作部４０５は、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の証跡監査操作処理部５１５から取得した不正アクセスの証跡をＣＲＴ２１１に表示し、管理者に未監査の不正アクセスが問題かどうか監査させる。監査結果は、証跡監査操作処理部５１５に送信する。
The trail
問題ないかどうかの判断材料として、その不正アクセス発生期間のカメラ画像およびスクリーンショットを表示する。また、ユーザの動静の履歴を取得して表示したり、統計情報を表示したりする機能も備える。なお、証跡監査端末１１０は、証跡送信端末１００の機能を同時に備えることもある。
The camera image and the screen shot during the period of the unauthorized access are displayed as a material for determining whether there is any problem. It also has a function of acquiring and displaying the history of user movements and displaying statistical information. The
最後に、証跡管理サーバ１２０の機能構成について説明する。
Finally, the functional configuration of the
認証情報受信部５０１は、証跡送信端末１００の認証情報送信部３０２から受信した認証情報とユーザ記憶部５０２の情報を比較し、一致するユーザ情報があった場合にログイン情報記憶部５０３にログイン情報を記憶する。ユーザ記憶部５０２は、ユーザ情報を記憶し、ログイン情報記憶部５０３は、ユーザのログイン情報を記憶する。
The authentication
ユーザ情報管理部５０４は、証跡送信端末１００の拠点選択部３０３からの現在拠点の選択を受け付け、ログイン情報記憶部５０３の該当ユーザのレコードの拠点情報を変更し、ユーザ情報更新通知部５０６にログイン情報記憶部５０３から検索した同一拠点のユーザへの特徴量データ更新通知の送信を依頼する。
The user
また、ユーザ情報管理部５０４は、ユーザ情報更新通知部５０６に、ログイン情報記憶部５０３から検索した同一拠点のユーザと、チーム記憶部５１１から検索した同一チームのユーザへの動静更新通知の送信を依頼する。
In addition, the user
また、ユーザ情報管理部５０４は、監査情報更新通知部５１０に、管理者への動静更新通知を依頼する。また、証跡送信端末１００のユーザ情報表示更新部３０６および証跡監査端末１１０のユーザ情報表示更新部４０１からの要求を受け、ユーザの利用可能な拠点リスト（拠点情報記憶部５０５の全情報と、ユーザの在宅権限がＴＲＵＥ（詳細後述）である場合はユーザの住所を含む）、ユーザの所属するチームリスト、拠点またはチームに所属するユーザの動静情報（ユーザ記憶部５０２とログイン情報記憶部５０３の動静情報をマージしたもの）を返却する。
Further, the user
また、証跡監査端末１１０のユーザ情報表示更新部４０１からの要求を受け、拠点に所属するユーザの監査情報（ユーザ記憶部５０２とログイン情報記憶部５０３の動静情報と証跡記憶部５１４の未監査不正アクセスのレコード数と特徴量データ記憶部５０８の未承認レコード数をマージしたもの）を返却する。拠点情報記憶部５０５は、拠点情報を記憶する。
In addition, in response to a request from the user information
ユーザ情報更新通知部５０６は、ユーザがログインおよびログアウトした際およびユーザの動静が変化した際に、そのユーザの接続元拠点に所属するログインユーザ全員の証跡送信端末１００の更新通知受信部３１５に動静更新通知を送信する。
The user information
また、ユーザ情報更新通知部５０６は、ユーザがログインおよびログアウトした際および特徴量データが承認された際に、そのユーザの接続元拠点に所属するログインユーザ全員の証跡送信端末１００の更新通知受信部３１５に特徴量データ更新通知を送信する。
In addition, the user information
特徴量データ取得部５０７は、ユーザの特徴量データと、同一拠点のログインユーザの特徴量データを返却する。
The feature amount
特徴量データ記憶部５０８は、顔認識に利用する特徴量データを記憶する。また、各特徴量データのユーザ本人であるか否かを識別するための度合いを示す識別寄与度を記憶する。
The feature amount
特徴量データ受信部５０９は、証跡送信端末１００の特徴量データ送信部３１０から特徴量データを受信し、特徴量データ記憶部５０８に記憶する。その際、監査情報更新通知部５１０に、特徴量データの登録通知を要求する。また、証跡送信端末１００の特徴量データ送信部３１０から識別寄与度を受信し、特徴量データ記憶部５０８に記憶する。
The characteristic amount
監査情報更新通知部５１０は、特徴量データおよび不正アクセス発生通知要求を受信した際、その送信ユーザの管理者の証跡監査端末１１０の更新通知受信部４０２に更新通知を送信する。チーム記憶部５１１は、ユーザの監査関係を定義するチーム情報を記憶する。
Upon receiving the feature amount data and the unauthorized access occurrence notification request, the audit information
特徴量データ承認操作処理部５１２は、証跡監査端末１１０の特徴量データ承認操作部４０４による特徴量データの更新情報を受信し、特徴量データ記憶部５０８の特徴量データを更新する。
The feature amount data approval
証跡受信部５１３は、証跡送信端末１００の証跡送信部３１４から送信された証跡情報を受信し、証跡記憶部５１４に記憶する。また、新規の不正アクセスを受信した際、監査情報更新通知部５１０に不正アクセス発生通知を要求する。
The
証跡記憶部５１４は、証跡情報として、動静情報、不正アクセス情報、カメラ画像、スクリーンショットを記憶する。
The
証跡監査操作処理部５１５は、証跡監査端末１１０の特徴量データ承認操作部４０４による特徴量データの更新情報を受信し、特徴量データ記憶部５０８の特徴量データを更新する。
The trail audit
なお、管理者がシステムを利用する際に必要なログイン認証を行う機能については本発明の趣旨から外れるため省略する。 The function of performing login authentication required for the administrator to use the system is omitted because it is out of the scope of the present invention.
以下、図４を参照して、本実施形態のテレワーク管理システムにおいて、テレワークを実施するユーザが証跡送信端末１００にログインし、ログアウトするまでの一連の流れを説明する。 Hereinafter, with reference to FIG. 4, in the telework management system according to the present embodiment, a series of flows from the user performing the telework logging in to the trail transmitting terminal 100 to logging out will be described.
証跡送信端末１００の処理は、そのＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。また、証跡管理サーバ１２０の処理は、そのＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。
The processing of the
ステップＳ１０１では、ユーザが証跡送信端末１００にログインすることにより、証跡送信端末１００が常駐アプリケーションを起動し、バックグラウンドで証跡管理サーバ１２０にアカウントＩＤとパスワードを送信する。
In step S101, when the user logs in to the
証跡管理サーバ１２０は、ユーザ記憶部５０２に記憶されたユーザ情報（図１１参照）と比較し、一致すればログインを許可する。アカウントＩＤとパスワードは、常駐アプリケーションの初回起動時にユーザが設定し、以降は設定された値を使用するものとする。
The
図１１に示すユーザ情報テーブルは、ユーザを一意に識別するユーザＩＤ、ユーザのアカウント名、ユーザの名称、ユーザの名称に対する読み仮名、対象ユーザが個人かグループかを表すユーザ種別、ユーザが所在する住所、本人の顔画像等の本人を特定するための画像を示すプロフィール画像、動静の監視対象とする居所を示す動静閲覧対象、監査を行う範囲（グループ）を示す監査対象、ユーザに監視権限があるか否かを示す監視権限（ＴＲＵＥである場合、監視権限あり）、及びユーザが在宅勤務可能であるか否かを示す在宅権限（ＴＲＵＥである場合、可能）を備えている。 The user information table shown in FIG. 11 includes a user ID that uniquely identifies the user, a user account name, a user name, a phonetic alphabet for the user name, a user type indicating whether the target user is an individual or a group, and the user is located. A profile image showing an address, an image for identifying the person such as the face image of the person, an object for viewing the movement showing the whereabouts to be monitored for movement, an object for the inspection showing a range (group) to be inspected, a user has a monitoring authority. There is a monitoring authority (whether TRUE, there is a monitoring authority) indicating whether or not there is, and a telecommuting authority (when TRUE is possible) indicating whether or not the user can work from home.
ステップＳ１０２では、ログインユーザの承認済の特徴量データ（図１６）が特徴量データ記憶部５０８に記憶されているか確認する。初回利用時など登録がない場合や、登録はあるが承認されていないまたは棄却されているものだけの場合は証跡送信端末１００に特徴量データの登録通知を送信する（ステップＳ１０３へ）。承認済の特徴量データの登録がある場合にはステップＳ１０５に処理を進める。
In step S102, it is confirmed whether the feature amount data (FIG. 16) that the login user has approved is stored in the feature amount
図１６に示す特徴量データテーブルは、特徴量データを一意に識別するためのＩＤ、ユーザＩＤ、ユーザと特定するために用いる特徴量データを含んで構成されている。 The feature amount data table shown in FIG. 16 is configured to include an ID for uniquely identifying the feature amount data, a user ID, and feature amount data used for specifying the user as the user.
ステップＳ１０３では、証跡送信端末１００にて、ログインユーザの特徴量データを登録する。
In step S103, the
本ステップでは、カメラ画像から顔認識により顔画像を抽出し、ログインユーザに登録確認したのち、その顔画像から特徴量データを抽出し、証跡管理サーバ１２０に送信する。
In this step, the face image is extracted from the camera image by face recognition, the login user confirms the registration, and the feature amount data is extracted from the face image and transmitted to the
証跡管理サーバ１２０では、受信した特徴量データを特徴量データ記憶部５０８に記憶し、チーム記憶部５１１の監視情報（図１４）から検索したユーザの監視を行う管理者の利用する証跡監査端末１１０に特徴量データ登録通知を送信する。
In the
図１４には、監視情報テーブルが示されており、監視情報テーブルは、監査対象を一意に識別するためのＩＤ、監査対象を識別するための名称、監査対象を識別するための名称の仮名を示すフリガナ、監査対象を監視する管理者を特定するためのＩＤを示す監視者ＩＤリスト、監視対象となるユーザＩＤを示す被監視者ＩＤリストを含む構成を備える。 FIG. 14 shows a monitoring information table. The monitoring information table includes an ID for uniquely identifying the audit target, a name for identifying the audit target, and a pseudonym of a name for identifying the audit target. The configuration includes a reading ID, a monitoring person ID list indicating an ID for specifying an administrator who monitors the audit target, and a monitored person ID list indicating a user ID to be monitored.
ステップＳ１０４では、証跡監査端末１１０は、特徴量データ登録通知を受信し、管理者に対して特徴量データを承認してもらえるようアラート通知する。
In step S104, the
そして、管理者が証跡監査端末１１０で特徴量データを承認または棄却すると、証跡管理サーバ１２０は、承認された場合は、ステップＳ１０５へ処理を進め、棄却された場合は、ステップＳ１０３へ処理を進める。
Then, when the administrator approves or rejects the feature amount data at the
ステップＳ１０５では、証跡送信端末１００が証跡管理サーバ１２０からユーザの特徴量データを取得し、特徴量データ記憶部３０５に記憶する。
In step S105, the
証跡管理サーバ１２０は、すべての特徴量データを返すのではなく、特徴量データ記憶部３０５に記憶された、各特徴量データの識別寄与度（図１７）からユーザの識別に有効な特徴量データを選択して返却する（図５の説明で詳細を記述する）。
The
ステップＳ１０６では、証跡送信端末１００にて、取得した特徴量データを用いてカメラ画像に対して顔認識を行い、ユーザの監視を開始する（図６の説明で詳細を記述する）。ユーザ監視はバックグラウンドで処理し、終了を待たずにステップＳ１０７に進む。
In step S106, the
ステップＳ１０７における拠点選択よりも先にユーザ監視を開始するのは、第三者が証跡送信端末１００にログインし、拠点選択せずに端末を利用した場合にも、なりすましを検出して証跡管理サーバ１２０に記憶するためである。
The user monitoring is started before the site selection in step S107, even when a third party logs in to the
ステップＳ１０７では、証跡送信端末１００が接続している拠点を、証跡管理サーバ１２０から取得した拠点の中から選択する。
In step S107, the base to which the
証跡管理サーバ１２０は、ユーザの利用可能な拠点として、拠点情報記憶部５０５に記憶された拠点情報（図１３）を全て返す。
The
図１３には、拠点情報テーブルが示されており、拠点情報テーブルは、拠点を一意に識別するためのＩＤ、拠点の名称を示す名前、拠点の名称の仮名、拠点の住所などを含んで構成されている。 FIG. 13 shows a base information table. The base information table is configured to include an ID for uniquely identifying the base, a name indicating the name of the base, a pseudonym of the base name, an address of the base, and the like. Has been done.
また、ユーザ記憶部５０２のユーザ情報の在宅権限がＴＲＵＥである場合は、ユーザの住所から名前が自宅の拠点情報を生成して返却する。
When the home right of the user information of the
返却する拠点情報には、ログイン情報記憶部５０３に記憶されたログイン情報（図１５）から、各拠点での最終ログイン日時を取得しマージする。
For the base information to be returned, the final login date and time at each base is acquired and merged from the login information (FIG. 15) stored in the login
図１５には、ログイン情報テーブルが示されており、ログイン情報テーブルは、ログイン自身を一意に識別するためのＩＤ、ユーザＩＤ、ログインされた証跡送信端末１００を一意に識別するための端末ＩＤ、ログインした拠点のＩＤを示す拠点ＩＤ、ログインした拠点がユーザの自宅であるか否かを示す在宅（ＴＲＵＥの場合、自宅）、ユーザの動静、ログインした日時、及びログアウトした日時を含んで構成されている。
FIG. 15 shows a login information table. The login information table includes an ID for uniquely identifying the login itself, a user ID, a terminal ID for uniquely identifying the logged-in
このような拠点情報は、例えば、図８に示すような、ユーザに拠点を選択させる画面に表示させ、この表示された拠点情報から、ユーザが所望する拠点情報を選択させる。 Such base information is displayed on a screen for allowing the user to select a base, for example, as shown in FIG. 8, and the base information desired by the user is selected from the displayed base information.
証跡送信端末１００では、Ｗｉｆｉ網等から近辺住所を取得でき、取得した拠点リストから接続元拠点を特定できる場合、自動で接続元拠点を決定してユーザに確認する。
In the
その例を、図８に示す拠点確認画面６０１を表示し、特定できた接続元拠点に関する情報を表示する。
For example, the
間違っていた場合、拠点リストを近辺住所から近い順に表示し、ユーザに選択させる（最終ログイン日時が新しいものを先に表示する）。 If it is incorrect, the site list is displayed in order from the nearest address, and the user is allowed to select it (the one with the latest last login date and time is displayed first).
その例として、拠点確認画面６０１に対して、ユーザが、Ｃａｎｃｅｌボタン６０２を押下すると、図８の上段に示すように、作業拠点の選択画面６０４が表示され、近辺住所から近い順に拠点情報を表示して、ユーザに選択させる。
As an example, when the user presses the Cancel
近辺住所を取得できたが特定には至らない場合、拠点リストを近辺住所から近い順に表示し、ユーザに選択させる。 When the neighborhood address has been acquired but the location cannot be specified, the base list is displayed in order from the neighborhood address and the user is allowed to select it.
同様に、拠点確認画面６０１に対して、ユーザが、Ｃａｎｃｅｌボタン６０２を押下すると、図８の上段に示すように、作業拠点の選択画面６０４が表示され、近辺住所から近い順に拠点情報を表示して、ユーザに選択させる。
Similarly, when the user presses the Cancel
近辺住所を取得できない場合、拠点リストを最終ログイン日時の新しい順に表示し、ユーザに選択させる（同じ住所の拠点がある場合はまとめて表示する）。 When the neighborhood address cannot be acquired, the site list is displayed in the order of the latest login date and time, and the user is allowed to select it (if there are sites with the same address, they are displayed together).
その例として、拠点確認画面６０１に対して、ユーザが、Ｃａｎｃｅｌボタン６０２を押下すると、図８の下段に示すように、作業拠点の選択画面６０４が表示され、最終ログイン日時の新しい順に拠点情報を表示して（同じ住所の拠点がある場合はまとめて表示する）、ユーザに選択させる。
As an example, when the user presses the Cancel
作業拠点の選択画面６０４において、拠点が選択された状態で、ＯＫボタン６０５が押下されると、選択した拠点情報が証跡管理サーバ１２０に送信され、ログイン情報記憶部５０３に登録されたユーザのログイン情報の拠点に登録される。
When the
ステップＳ１０８では、ログイン情報記憶部５０３から検索した、同一拠点のユーザの証跡送信端末に特徴量データ更新通知を送信する。
In step S108, the feature amount data update notification is transmitted to the trail transmission terminal of the user at the same location searched from the login
ステップＳ１０９では、特徴量データ更新通知を受信した証跡送信端末１００は、証跡管理サーバ１２０から利用すべき特徴量データを取得し、特徴量データ記憶部３０５のデータを置換する。
In step S109, the
その際、証跡管理サーバ１２０は、当該ユーザだけでなく、同一拠点のユーザの特徴量データも返却する。この際、ステップＳ１０５と同様に、すべての特徴量データを返すのではなく、特徴量データ記憶部３０５に記憶された、各特徴量データの識別寄与度からユーザの識別に有効な特徴量データを選択して返却する（図５の説明で詳細を記述する）。
At that time, the
ステップＳ１１０では、ログイン情報記憶部５０３から検索した同一拠点のユーザおよび、チーム記憶部５１１から検索したユーザの所属するチームのメンバー（被監視者ＩＤリスト）に対して、動静更新通知を送信する。
In step S110, the movement update notification is transmitted to the user of the same location searched from the login
ステップＳ１１１では、動静更新通知を受信した証跡送信端末１００は、現在表示しているチームまたは拠点のユーザの動静情報を、証跡管理サーバ１２０から取得して表示する。
In step S111, the
同様に、チーム記憶部５１１から検索したユーザの管理者の証跡監査端末１１０に対して動静更新通知を送信する。動静更新通知を受信した証跡監査端末１１０は、現在表示しているチームに所属するユーザの動静を取得して表示する。
Similarly, the static update notification is transmitted to the
この動静更新通知を受けた際に証跡送信端末１００でユーザの動静情報を表示する画面の例を図９に示す。
FIG. 9 shows an example of a screen that displays the user's movement information on the
動静確認画面７０１は、現在、選択した拠点におけるユーザの動静情報を表示する画面であり、図９の上段の左に示すように、田中花子及び鈴木一郎の２名が在席状態となり、動静確認画面７０１に表示されているが、佐藤元子が、当該拠点に出社し、鈴木一郎が退社すると、図９の上段の右に示すように、田中花子及び佐藤元子の２名が在席状態として表示され、鈴木一郎が他社したことを示すオフラインの状態として表示している。
The
ステップＳ１１２では、ユーザが証跡送信端末１００からログアウトすることをトリガーとして、ステップＳ１０６のユーザ監視を終了し、証跡管理サーバ１２０からログアウトする。
In step S112, triggered by the user logging out from the
ステップＳ１１３では、ユーザ監視を終了する際、特徴量データ記憶部３０５に記憶された識別寄与度を証跡管理サーバ１２０に送信し、証跡管理サーバ１２０は、受信した識別寄与度を特徴量データ記憶部５０８に記憶する。
In step S113, when the user monitoring is ended, the identification contribution rate stored in the feature amount
ログアウトの際、証跡管理サーバ１２０は、ログイン情報記憶部５０３のユーザの最新のログイン情報のログアウト日時を登録し、状態をオフラインにする。そして、ステップＳ１１４では、各証跡監査端末１１０に対して動静更新通知を行う。
At the time of logout, the
以下、図５を参照して、図４のＳ１０４およびＳ１０８の更新通知をトリガーとして特徴量データの更新が行われ、証跡送信端末１００にてユーザおよび同一拠点のユーザを識別可能になるまでの流れを説明する。 Hereinafter, with reference to FIG. 5, the flow until the feature amount data is updated using the update notification of S104 and S108 of FIG. 4 as a trigger, and the trail transmitting terminal 100 can identify the user and the user at the same location. Will be explained.
証跡送信端末１００の処理は、そのＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。また、証跡管理サーバ１２０の処理は、そのＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。
The processing of the
ステップＳ２０１では、証跡送信端末１００が、証跡管理サーバ１２０に対して、顔認識のための特徴量データの取得を要求する。
In step S201, the
要求のタイミングとしては、ユーザが証跡送信端末１００を通して証跡管理サーバ１２０へのログインに成功したとき、または証跡送信端末１００が証跡管理サーバ１２０から特徴量データの更新通知を受けたときである。
The timing of the request is when the user successfully logs in to the
ステップＳ２０２では、ユーザと同一拠点から接続しているユーザをログイン情報記憶部５０３から検索する。
In step S202, the login
ステップＳ２０４の時点では、自身の最新のログイン情報に拠点は設定されていないはずなので、自身のみを同一拠点のログインユーザとして取得する。 At the time of step S204, since the base should not be set in the latest login information of itself, only itself is acquired as the login user of the same base.
ステップＳ２０７の時点では、自身の最新のログイン情報の拠点と同じ値を持つ（ログアウトしていない）ログイン情報のユーザを取得する。 At the time of step S207, the user of the login information having the same value as the base of the latest login information of the user (not logged out) is acquired.
ステップＳ２０３からステップＳ２０８では、ステップＳ２０２で取得した同一拠点のユーザ全員を識別するのに有効な特徴量データを抽出する。 From step S203 to step S208, the characteristic amount data effective for identifying all the users at the same location acquired in step S202 is extracted.
ステップＳ２０４では、特徴量データ記憶部５０８（図１７）に記憶された、該当ユーザの識別寄与度情報を登録の新しいものからＸ件取得し、その中で、識別必須回数（この特徴量データがなければ識別に失敗していた回数）が１以上のものを取得する。 In step S204, X pieces of identification contribution degree information of the user stored in the feature amount data storage unit 508 (FIG. 17) are acquired from the newest registered items, and among them, the number of identification required times (this feature amount data is If not, the number of times of failure in identification) is 1 or more is acquired.
図１７には、識別寄与度情報テーブルが示されており、識別寄与度情報テーブルは、識別寄与度情報を一意に識別するためのＩＤ、特徴量を一意に識別するための特徴量データＩＤ、識別寄与度情報を登録したときの日時、認証を行った回数を示す認識回数、認証を行った結果得られた類似度の平均値を示す平均類似度、及び認証必須回数を含んで構成されている（詳細後述）。 FIG. 17 shows an identification contribution degree information table. The identification contribution degree information table includes an ID for uniquely identifying the identification contribution degree information, a feature amount data ID for uniquely identifying a feature amount, It is configured to include the date and time when the identification contribution degree information is registered, the number of times of recognition indicating the number of times of authentication, the average degree of similarity indicating the average value of the degrees of similarity obtained as a result of the authentication, and the number of times of required authentication. (Details will be described later).
ステップＳ２０５では、ステップＳ２０４で取得した件数が、最大値Ｎ件を超える場合は、ステップＳ２０６へ処理を進め、超えない場合は、ステップＳ２０７へ処理を進める。 In step S205, if the number of cases acquired in step S204 exceeds the maximum value N, the process proceeds to step S206. If not, the process proceeds to step S207.
ここで最大値を設けているのは、あまり多くの特徴量データを使っても、他人許容率（第三者をユーザ本人と認識してしまう確率）が上がる可能性があるからである。 The maximum value is set here because there is a possibility that another person's acceptance rate (probability of recognizing a third party as the user himself) may increase even if too much feature amount data is used.
また、主に識別する対象がユーザ本人であるため、それ以外の同一拠点のユーザの場合はＮ’（＜Ｎ）件を最大値にしてもよい。 Further, since the target of identification is mainly the user himself, N'(<N) cases may be set to the maximum value in the case of other users at the same base.
顔認識技術は、撮影した人などの顔を検出し、その属性情報を読み取る技術であり、顔認識技術を用いた個人識別は、顔画像から算出した特徴量を学習した識別器によって他の顔画像から算出した特徴量との類似性を算出し、その顔の人物を識別する技術である。 Face recognition technology is a technology that detects the face of a person who took a picture and reads the attribute information of the face.Personal identification using face recognition technology uses a discriminator that has learned the features calculated from face images to identify other faces. This is a technique for calculating the similarity with the feature amount calculated from the image and identifying the person with that face.
この学習の際、同一人物を同じ識別子に関連付けて学習させるが、あまり多くの人物の特徴量を学習しすぎると、識別器の性能にもよるが、本人拒否（登録者を登録者として識別できない）率または他人許容（登録されていない人物を登録者として識別してしまう）率がそれぞれ悪くなってしまう可能性がある。 At the time of this learning, the same person is learned by associating it with the same identifier, but if too many features of the person are learned, it will be rejected depending on the performance of the classifier (the registrant cannot be identified as a registrant. ) The rate or the allowance of others (identifying an unregistered person as a registrant) may be deteriorated.
ステップＳ２０６では、ステップＳ２０４で取得したものの中から識別必須回数が多いもの上位Ｍ（＜Ｎ）件を取得する。さらに、平均類似度が高いもの上位（Ｎ−Ｍ）件を取得し、合計Ｎ件の特徴量データを取得する。 In step S206, the top M (<N) items having the largest number of required identifications are acquired from those acquired in step S204. Further, the top (NM) cases with the highest average similarity are acquired, and a total of N pieces of feature amount data are acquired.
ステップＳ２０７では、得られた特徴量データを証跡送信端末１００に返却するリストに追加する。
In step S207, the obtained feature amount data is added to the list returned to the
ステップＳ２０９では、証跡管理サーバ１２０が取得した特徴量データを証跡送信端末１００に返却し、証跡送信端末１００は、取得した特徴量データを特徴量データ記憶部３０５に記憶する。
In step S209, the characteristic amount data acquired by the
以上により、証跡送信端末１００では、ユーザおよび同一拠点のログインユーザを識別できるようになる。
As described above, the
ちなみに、ステップＳ２０４からステップＳ２０７の識別に有効な特徴量データの検索方法は一例であり、各パラメータから総合的なスコアを算出して上位のものを選択したり、前述のスコアに対して新しいデータほど上方補正をかけて選択されやすくしたり、いろいろな選択方法が考えられる。 By the way, the method of searching the feature amount data effective for identification in steps S204 to S207 is an example, and a comprehensive score is calculated from each parameter to select a higher one, or a new data for the above score is selected. Various correction methods can be considered, such as upward correction to make selection easier.
以下、図６を参照して、図４のステップＳ１０６のユーザ監視において、ユーザの動静および不正アクセスの検出と、不正アクセス発生時に監視者へ不正アクセス登録通知を行う流れについて説明する。 Hereinafter, with reference to FIG. 6, description will be given of a flow of detecting user movement and unauthorized access in the user monitoring in step S106 of FIG. 4, and performing unauthorized access registration notification to the monitor when the unauthorized access occurs.
この処理は、証跡送信端末１００のＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。
This processing is executed by the
ステップＳ３０１では、現在の動静および不正アクセスを初期化する。動静は最初何もない状態であり、不正アクセスは正常な状態である。 In step S301, the current motion and unauthorized access are initialized. The movement is a state where there is nothing at first, and the unauthorized access is a state where it is normal.
ステップＳ３０２では、カメラ画像に対して顔認識を適用し、顔認識結果（図２１）、顔認識結果から求まる動静（図１８）および不正アクセス（図１９）、およびその際のカメラ画像あるいはスクリーンショット（図２０）を、証跡記憶部３１３に記憶する。カメラ画像からその動静および不正アクセスの状態を検出する（詳細は図７の説明にて記述する）。
In step S302, face recognition is applied to the camera image, and the face recognition result (FIG. 21), motion (FIG. 18) and unauthorized access (FIG. 19) obtained from the face recognition result, and the camera image or screen shot at that time (FIG. 20) is stored in the
図２１には、顔認識結果テーブルが示されており、顔認識結果テーブルは、顔認識の結果を一意に識別するためのＩＤ、顔認識を行ったカメラ画像の画像を一意に識別するための画像ＩＤ、顔検出が行われたカメラ画像における顔の位置を示す座標、顔検出を行った結果としての類似度、顔認識を行った結果、特定されたユーザのユーザＩＤを含む構成を備えている。 FIG. 21 shows a face recognition result table. The face recognition result table uses an ID for uniquely identifying the result of face recognition and an image of a camera image on which face recognition is performed. The image ID, the coordinates indicating the position of the face in the camera image on which the face detection is performed, the degree of similarity as a result of the face detection, and the user ID of the identified user as a result of the face recognition are provided. There is.
図１８には、動静情報テーブルが示され、動静情報テーブルは、動静情報を一意に識別するためのＩＤ、ユーザＩＤ、端末ＩＤ、ユーザの動静を示す状態（在席、離席）、監視を開始した日時、及び監視を終了した日時を含んで構成されている。 FIG. 18 shows a motion information table. The motion information table includes an ID for uniquely identifying motion information, a user ID, a terminal ID, a state indicating the motion of the user (attended, leaving), and monitoring. It is configured to include a start date and time and a monitoring end date and time.
図１９には、不正アクセステーブルが示されており、不正アクセステーブルは、不正アクセスを一意に識別するためのＩＤ、ユーザＩＤ、端末ＩＤ、監視されたユーザの不正アクセスの判定結果を示す状態、この状態が開始された日時、この状態が終了した日時、この不正アクセスに対して、管理者が監査を行ったか否かを示す監査状態、及び監査を行った管理者を示す監査者を含んで構成されている。 FIG. 19 shows an unauthorized access table. The unauthorized access table shows an ID for uniquely identifying an unauthorized access, a user ID, a terminal ID, and a state showing the determination result of the monitored user's unauthorized access, Includes the date and time when this state started, the date and time when this state ended, the audit status indicating whether the administrator has audited this unauthorized access, and the auditor who indicates the administrator who performed the audit. It is configured.
図２０には、証跡画像テーブルが示されており、証跡画像テーブルは、証跡対象となる画像を一意に識別するためのＩＤ、当該画像が、カメラ画像であるかスクリーンショットであるかの種別、画像を取得した端末ＩＤ、取得した画像データ、及び取得した日時を示す撮影日時を含んで構成されている。 FIG. 20 shows a trail image table. The trail image table includes an ID for uniquely identifying an image to be a trail target, a type of whether the image is a camera image or a screenshot, It is configured to include a terminal ID that acquires an image, the acquired image data, and a shooting date and time indicating the acquisition date and time.
ステップＳ３０３では、証跡記憶部３１３に記憶された動静情報を元に、最新の動静（新動静）を算出する。
In step S303, the latest movement (new movement) is calculated based on the movement information stored in the
最も単純な算出方法としては、過去数件分の動静情報の中で、最も多い状態を新動静の状態とし、最も古い動静情報を動静の状態とする。 As the simplest calculation method, of the past several pieces of movement information, the most frequent state is the new movement state, and the oldest movement information is the movement state.
同様に、証跡記憶部３１３に記憶された不正アクセス情報を元に、最新の不正アクセス（新不正アクセス）を算出する。
Similarly, the latest unauthorized access (new unauthorized access) is calculated based on the unauthorized access information stored in the
ステップＳ３０４では、動静の状態と新動静の状態が異なるか（つまり状態が変化したか）確認し、異なるならステップＳ３０５へ処理を進め、同じであればステップＳ３０７に進む。 In step S304, it is confirmed whether the moving state and the new moving state are different (that is, whether the state has changed). If they are different, the process proceeds to step S305, and if they are the same, the process proceeds to step S307.
ステップＳ３０５では、動静を新動静で置き換え、その動静情報を証跡管理サーバ１２０に送信し、ステップＳ３０６では、証跡管理サーバ１２０が、受信した動静情報を証跡記憶部５１４に記憶する。
In step S305, the movement is replaced with the new movement, and the movement information is transmitted to the
また、ログイン情報記憶部５０３に記憶されたユーザの最新のログイン情報の動静を更新する。
Also, the movement of the latest login information of the user stored in the login
さらに、同一拠点のユーザをログイン情報記憶部５０３から検索し、ユーザの動静参照者として同一のチームに所属するユーザ（監視者、被監視者）をチーム記憶部５１１から検索し、各ユーザの証跡送信端末１００および証跡監査端末１１０に動静更新通知を送信する。
Further, the login
このときも前述と同様に図９に示す動静確認画面７０１を証跡送信端末１００に表示するが、証跡監査端末１１０には、図９の下段に示す動静全体確認画面７０２が表示される。
At this time as well, the
動静確認画面７０１については、同一拠点内のユーザの動静を確認することが可能であるが、動静全体確認画面７０２については、全ての拠点内のユーザの動静を確認することが可能である点が主に異なる。動静全体確認画面７０２では、不正アクセスの有無についても確認することが可能である。
Regarding the
動静確認画面７０１及び動静全体確認画面７０２について言えば、証跡監査端末１１０を一意に識別するための端末ＩＤに対応する名称を表示する態様を取ることも可能である。
As for the
この場合、図１２に示す端末情報テーブルを用いて、当該名称の表示を行う。この端末情報テーブルは、証跡監査端末１１０を一意に識別するためのＩＤと、証跡監査端末１１０の名称を示す説明を含む構成を備えている。
In this case, the name is displayed using the terminal information table shown in FIG. The terminal information table has a configuration including an ID for uniquely identifying the
つまり、ログイン情報記憶部５０３の端末ＩＤに該当する端末情報テーブルのＩＤに対応する説明を動静確認画面７０１あるいは動静全体確認画面７０２に表示する。
That is, the explanation corresponding to the ID of the terminal information table corresponding to the terminal ID of the login
ステップＳ３０７では、動静の終了日時を現在時刻で更新し、証跡管理サーバ１２０に送信する。登録から一定時間経過しているのであれば、最新のカメラ画像およびスクリーンショットも同様に送信する。証跡管理サーバ１２０は、受信した証跡情報を証跡記憶部５１４の情報に登録または更新する。
In step S307, the end date and time of the movement is updated with the current time and transmitted to the
ステップＳ３０８では、動静が在席である場合、ステップＳ３０９へ処理を進め、それ以外（離席）の場合は、ステップＳ３１０へ処理を進める。 In step S308, if the movement is still seated, the process proceeds to step S309; otherwise (step away), the process proceeds to step S310.
ステップＳ３０９では、証跡記憶部３１３に記憶された最新の動静情報を算出した際の、カメラ画像に対する顔認識結果の類似度から、監視対象の各特徴量データの顔認識における識別寄与度を算出し、特徴量データ記憶部３０５に記憶する。最新の動静情報の状態が在席である場合のみ行う。
In step S309, the identification contribution degree in face recognition of each feature amount data of the monitoring target is calculated from the similarity of the face recognition result with respect to the camera image when the latest motion information stored in the
識別寄与度における平均類似度は、在席と判定された際に特徴量データの記録した全ての類似度の平均である。識別寄与度における識別必須回数は、在席と判定された際にその特徴量データがなければなりすましと判定されていた、つまり、その特徴量データでなければ本人として識別できなかった回数である。 The average similarity in the identification contribution is the average of all the similarities recorded in the feature amount data when it is determined that the person is present. The required number of times of identification in the contribution degree of identification is the number of times when it is determined that there is the feature amount data when it is determined that the person is present, that is, the person cannot be identified as the person without the feature amount data.
単純に類似度が閾値（０．７）を超えるか否かで識別している場合、特徴量データ１が０．７８、特徴量データ２が０．６５のとき、特徴量データ１の識別寄与度の識別必須回数を１増やす。
In the case of simply identifying whether or not the similarity exceeds a threshold value (0.7), when the
ステップＳ３１０では、不正アクセスの状態と新不正アクセスの状態が異なるか（つまり状態が変化したか）否かを判定し、異なると判定したなら、ステップＳ３１１へ処理を進め、同じであると判定した場合、ステップＳ３１６へ処理を進める。 In step S310, it is determined whether or not the state of the unauthorized access is different from the state of the new unauthorized access (that is, whether the state has changed). If determined to be different, the process proceeds to step S311 and it is determined that they are the same. In this case, the process proceeds to step S316.
ステップＳ３１１では、不正アクセスを新不正アクセスで置き換え、その新たな不正アクセス情報を証跡管理サーバ１２０に送信する。ステップＳ３１２では、証跡管理サーバ１２０が、受信した不正アクセス情報を証跡記憶部５１４に記憶する。
In step S311, the unauthorized access is replaced with the new unauthorized access, and the new unauthorized access information is transmitted to the
ステップＳ３１３では、不正アクセスの状態が正常であるか確認し、正常でなければ、その新たな不正アクセス情報を証跡管理サーバ１２０に送信し、ステップＳ３１４に処理を進め、正常であればステップＳ３１８に処理を進める。
In step S313, it is confirmed whether the state of unauthorized access is normal. If it is not normal, the new unauthorized access information is transmitted to the
ステップＳ３１４では、証跡管理サーバ１２０が、受信した不正アクセス情報を証跡記憶部５１４に記憶する。
In step S314, the
ステップＳ３１５では、受信した不正アクセスの状態が「覗き見（同僚）」であれば、ステップＳ３１８に処理を進め、そうでなければ、管理者への通知が必要と判断してステップＳ３１６に処理を進める。 In step S315, if the received unauthorized access status is “peep (colleague)”, the process proceeds to step S318. If not, it is determined that notification to the administrator is necessary and the process proceeds to step S316. Proceed.
ステップＳ３１６では、証跡管理サーバ１２０が、ユーザの所属チームの監視者をチーム記憶部５１１から検索し、各監視者の証跡監査端末１１０に不正アクセス登録通知を送信する。
In step S316, the
不正アクセス登録通知を受信した証跡監査端末１１０は、不正アクセスの監査を監視者に促し、ユーザ情報の表示を更新する。
The
ここでも、前述したように、証跡監査端末１１０において、図９の下段に示す動静全体確認画面７０２が表示され、不正アクセスの有無を動静全体確認画面７０２で確認することが可能となる。
Again, as described above, the
さらに、この例に関して、図１０を用いて説明する。図１０の上段の左に示される動静確認画面７０１では、田中花子及び鈴木一郎の２名が在席状態となり、動静確認画面７０１に表示されているが、図１０の下段の最も左に示される７０３では、在席状態である田中花子の証跡送信端末１００に田中花子以外の人物が撮影されているが、この人物が、同一拠点で在席状態である鈴木一郎以外の人物が撮影されているため、不正アクセス登録通知を行う。
Further, this example will be described with reference to FIG. In the
一方、図１０の下段の左から２番目に示される７０４では、在席状態である田中花子の証跡送信端末１００に田中花子以外の人物が撮影されているが、この人物が、同一拠点で在席状態である鈴木一郎が撮影されているため、不正アクセス登録通知を行わず、処理を終了する。
On the other hand, in 704 shown second from the left in the lower part of FIG. 10, a person other than Hanako Tanaka is photographed on the
また、図１０の上段の左に示すように、田中花子及び鈴木一郎の２名が在席状態である状態から、佐藤元子が、当該拠点に出社し、鈴木一郎が退社すると、図１０の上段の右に示すように、田中花子及び佐藤元子の２名が在席状態として表示され、鈴木一郎が退社したことを示すオフラインの状態として表示している。 Further, as shown in the upper left of FIG. 10, when two children, Hanako Tanaka and Ichiro Suzuki, are present, Motoko Sato joins the site and Ichiro Suzuki leaves. As shown on the right side of the upper row, Hanako Tanaka and Motoko Sato are displayed as being in the presence status, and are displayed as an offline status indicating that Ichiro Suzuki has left the company.
この状態で、図１０の下段の左から３番目に示される７０５では、在席状態である田中花子の証跡送信端末１００に田中花子以外の人物が撮影されているが、この人物が、出社した、同一拠点で在席状態である佐藤元子が撮影されているため、不正アクセス登録通知を行わず、処理を終了する。
In this state, at 705 shown third from the left in the lower part of FIG. 10, a person other than Hanako Tanaka is photographed on the
一方、図１０の下段の最も右に示される７０６では、在席状態である田中花子の証跡送信端末１００に田中花子以外の人物が撮影されているが、この人物が、退社した鈴木一郎が撮影されているため、不正アクセス登録通知を行う。
On the other hand, in 706 shown at the far right in the lower part of FIG. 10, a person other than Hanako Tanaka is photographed on the
ステップＳ３１７では、不正アクセスの終了日時を現在時刻で更新し、証跡管理サーバ１２０に送信する。登録から一定時間経過しているのであれば、最新のカメラ画像およびスクリーンショットも同様に送信する。証跡管理サーバ１２０は、受信した証跡情報を証跡記憶部５１４の情報に登録または更新する。
In step S317, the end date and time of the unauthorized access is updated with the current time and transmitted to the
ステップＳ３１８では、ログアウト等の命令を受けていればフローを終了し、そうでなければステップＳ３０２に処理を戻し、ステップＳ３０２からステップＳ３１７の処理を繰り返す。 In step S318, if a command such as logout has been received, the flow ends, otherwise, the process returns to step S302, and the processes of steps S302 to S317 are repeated.
以下、図７を参照して、図６のステップＳ３０２における、カメラ画像に対して顔認識を行い、その結果からユーザの動静および不正アクセスの状態を算出する流れについて説明する。この処理は、証跡送信端末１００のＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムをＲＡＭ２０２に記憶することで実行される。
Hereinafter, with reference to FIG. 7, a flow of performing face recognition on a camera image in step S302 of FIG. 6 and calculating a user's motion and unauthorized access state from the result will be described. This processing is executed by the
ステップＳ４０１では、カメラデバイス２１０からカメラ画像の入力を受け付ける。ステップＳ４０２では、カメラ画像に対して顔検出と顔識別を行い、複数の顔認識結果（図２１）を得る。
In step S401, a camera image input from the
顔検出は、カメラ画像内に存在する顔の領域を検出する処理であり、顔識別は、検出した顔から特徴量データを抽出し、特徴量データ記憶部１０５に記憶された特徴量データとのマッチングを行い、各特徴量データとの類似度を算出する処理であり、さらに算出した類似度を元に、その顔が誰の顔であるか識別する。 The face detection is a process of detecting a face area existing in the camera image, and the face identification extracts the feature amount data from the detected face and compares the feature amount data with the feature amount data stored in the feature amount data storage unit 105. This is a process of performing matching and calculating the degree of similarity with each feature amount data, and based on the calculated degree of similarity, it is identified who the face is.
最も簡単な識別方法は、一定の閾値を超えた最も高い類似度を記録した特徴量データのユーザに識別することである。識別方法は他にも既存技術が多数あり、何れの技術を適用しても良い。 The simplest identification method is to identify the user of the feature amount data that has recorded the highest degree of similarity exceeding a certain threshold. There are many other existing techniques as identification methods, and any technique may be applied.
ステップＳ４０３では、ステップＳ４０２で顔を検出できなかった場合は、ステップＳ４０４に処理を進め、顔をひとつだけ検出できた場合は、ステップＳ４０５に処理を進め、顔を複数検出できた場合は、ステップＳ４０８に処理を進める。 In step S403, if a face cannot be detected in step S402, the process proceeds to step S404. If only one face can be detected, the process proceeds to step S405. The process proceeds to S408.
ステップＳ４０４では、カメラデバイス２１０に誰も映っていないので、「離席」の動静と「正常」の不正アクセスを証跡記憶部３１３に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
In step S404, since no one is shown on the
ステップＳ４０５では、検出できた顔がユーザとして識別されたか否かを判定し、識別されたと判定すれば、ステップＳ４０６に処理を進め、識別されていないと判定すれば、ステップＳ４０７に処理を進める。 In step S405, it is determined whether or not the detected face is identified as the user. If it is determined that the face is identified, the process proceeds to step S406. If it is determined that the face is not identified, the process proceeds to step S407.
ステップＳ４０６では、カメラデバイス２１０にユーザが一人だけ映っているので、「在席」の動静と「正常」の不正アクセスを証跡記憶部３１３に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
In step S406, since only one user is shown in the
ステップＳ４０７では、カメラデバイス２１０にユーザ以外の人物が一人だけ映っているので、「離席」の動静と「なりすまし」の不正アクセスを証跡記憶部３１３に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
In step S407, since only one person other than the user is shown on the
ステップＳ４０８では、検出できた顔の中にユーザとして識別された顔があるか否かを判定し、識別されたと判定すれば、ステップＳ４０９に処理を進め、識別されていないと判定すれば、ステップＳ４１０に処理を進める。 In step S408, it is determined whether or not there is a face identified as the user among the detected faces. If it is determined that the face has been identified, the process proceeds to step S409. If it is determined that the face has not been identified, the process proceeds to step S409. The process proceeds to S410.
ステップＳ４０９では、カメラデバイス２１０にユーザが映っているので、「在席」の動静を証跡記憶部３１３に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
In step S409, since the user is shown in the
ステップＳ４１０では、カメラデバイス２１０にユーザが映っていないので、「離席」の動静を証跡記憶部３１３に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
In step S410, since the user is not displayed on the
ステップＳ４１１では、すべての顔が同一拠点のユーザの顔として識別されているか確認し、識別されていれば、ステップＳＳ４１２に処理を進め、識別されていなければ、ステップＳ４１３に処理を進める。同一拠点のユーザ判定は、ログイン情報記憶部５０３から検索したユーザに関する情報を用いて判定することが可能である。
In step S411, it is confirmed whether or not all the faces are identified as the faces of the users at the same base. If they are identified, the process proceeds to step SS412. If not identified, the process proceeds to step S413. The user determination at the same location can be performed using the information regarding the user retrieved from the login
ステップＳ４１２では、カメラデバイス２１０に映っているのはユーザ本人とその同一拠点のユーザであるので、「覗き見（同僚）」の不正アクセスを証跡記憶部３１３に記憶する。
In step S412, since the user himself/herself and the user at the same location are shown in the
ステップＳ４１３では、カメラデバイス２１０に同一拠点のユーザ以外の第三者が映っているので、「覗き見」の不正アクセスを証跡記憶部３１３に記憶する。
[第２の実施形態]
In step S413, since a third party other than the user at the same location is shown on the
[Second Embodiment]
次に第２の実施形態について説明するが、第１の実施形態では、主に証跡送信端末１００において、ユーザの監視に関する処理を行ったが、第２の実施形態では、ユーザの監視に関する主な処理を証跡管理サーバ１２０で行う構成を備える。
Next, a second embodiment will be described. In the first embodiment, processing relating to user monitoring is mainly performed in the
尚、第１の実施形態と第２の実施形態において、同様な構成を備える場合、あるいは同様な処理を行う場合は、詳細な説明を省略して、同一の符号を用いて説明を行い、相違する場合にのみ詳細な説明を行う。 In addition, in the first embodiment and the second embodiment, when the same configuration is provided or when the same processing is performed, detailed description is omitted and the same reference numerals are used for the description, and different The detailed description will be given only if
次に、図２２を用いて、本発明の証跡送信端末１００、証跡監査端末１１０および証跡管理サーバ１２０の機能ブロック図について説明する。尚、各機能ブロックが処理する詳細な制御については、後述するフローチャートにて説明する。
Next, a functional block diagram of the
まず、証跡送信端末１００の機能構成について説明する。
First, the functional configuration of the
特徴量データ更新部９０２は、通信Ｉ／Ｆコントローラ２０８を介して証跡管理サーバ１２０の特徴量データ取得部５０７から、ユーザおよびユーザと同じ拠点から接続するログインユーザの特徴量データを取得し、特徴量データ記憶部９０７のデータを更新する。特徴量データ記憶部９０７は、顔認識に使用する顔の特徴量データを記憶する。
The characteristic amount
映像入力部８０１は、カメラデバイス２１０より映像を取得し、映像送信部８０２へ出力し、映像送信部８０２は、映像入力部８０１から出力された映像を証跡管理サーバ１２０の映像受信部９０１へ送信する。
The
最後に、証跡管理サーバ１２０の機能構成について説明する。
Finally, the functional configuration of the
映像受信部９０１は、映像送信部８０２から送信された映像を受信して、特徴量データ抽出部９０３および状態検出部９０５にその映像を送信する。
The
特徴量データ更新部９０２は、特徴量データ取得部５０７から、ユーザおよびユーザと同じ拠点から接続するログインユーザの特徴量データを取得し、特徴量データ記憶部９０７のデータを更新する。特徴量データ記憶部９０７は、顔認識に使用する顔の特徴量データを記憶する。
The characteristic amount
特徴量データ抽出部９０３は、特徴量データの登録がない場合や、ユーザの識別がうまくいかない際にユーザを識別するための特徴量データを抽出する。
The feature amount
特徴量データ抽出部９０３は、映像受信部９０１から受信した映像からユーザの顔を抽出し、その顔を使って識別するかどうかユーザに確認する。確認がとれたら、顔から特徴量データを抽出し、それを特徴量データ記憶部５０８に記憶する。その際、監査情報更新通知部５１０に、特徴量データの登録通知を要求する。顔の抽出および特徴料データの抽出は顔認識部９０４に依頼する。
The feature amount
顔認識部９０４は、特徴量データ抽出部９０３から受信した映像から顔を抽出し、さらにその顔から識別に利用可能な特徴量データを抽出する。また、状態検出部９０５から受信した映像から顔を抽出し、各顔から抽出した特徴量データと状態検出部９０５から受信した特徴量データとの類似度を算出する。
The
識別寄与度取得部９０６は、ログアウト前に特徴量データ記憶部９０７に記憶された識別寄与度を特徴量データ記憶部５０８に記憶する。
The identification contribution
状態検出部９０５は、映像受信部９０１から受信した映像と特徴量データ記憶部９０７に記憶された特徴量データから、正規のログインユーザによる動静「在席」、「離席」、同一拠点のログインユーザによる不正アクセス「なりすまし」、「覗き見」、拠点外の第三者による不正アクセス「なりすまし」、「覗き見」の状態を検出する。
Based on the image received from the
映像と特徴量データを顔認識部９０４に送信し、得られた顔認識結果から現在の状態を算出する。検出した動静と不正アクセスおよび顔認識結果、その際のカメラ画像は証跡制御部９０８に送信する。
The image and the feature amount data are transmitted to the
証跡制御部９０８は、状態検出部９０５から受信した動静または不正アクセスおよび顔認識結果、カメラ画像を証跡記憶部９０９に記憶する。その際、ビデオコントローラ２０６から取得したスクリーンショットも合わせて記憶する。
The
証跡制御部９０８は、証跡記憶部９０９に記憶された動静および不正アクセスを総合的に見て、動静および不正アクセスの状態がそれぞれ現在どの状態なのか、その状態に切り替わったのはいつか類推し、切り替わった際の証跡情報（動静または不正アクセス、顔認識結果、カメラ画像を証跡取得部９１０に送信する。
The
同じ動静および不正アクセスが継続した際は、その終了日時を随時更新して証跡取得部９１０に送信する。また、その終了日時のカメラ画像を証跡取得部９１０に送信する。状態の判定に使われなくなった古い証跡情報は、証跡記憶部９０９から随時破棄する。
When the same motion and unauthorized access continue, the end date and time is updated at any time and transmitted to the
証跡記憶部９０９は、証跡情報（動静、不正アクセス、顔認識結果、カメラ画像）を記憶する。
The
ユーザ情報更新通知部９１１は、ユーザがログインおよびログアウトした際およびユーザの動静が変化した際に、そのユーザの接続元拠点に所属するログインユーザ全員の証跡送信端末１００の更新通知受信部３１５に動静更新通知を送信する。
The user information
また、ユーザ情報更新通知部９１１は、ユーザがログインおよびログアウトした際および特徴量データが承認された際に、そのユーザの接続元拠点に所属するログインユーザ全員の証跡送信端末１００の更新通知受信部３１５に特徴量データ更新通知を送信する。
Further, the user information
特徴量データ取得部５０７は、ユーザの特徴量データと、同一拠点のログインユーザの特徴量データを特徴量データ更新部９０２へ返却する。
The characteristic amount
証跡取得部９１０は、証跡制御部９０８から送信された証跡情報を受信し、証跡記憶部９１２に記憶する。また、新規の不正アクセスを受信した際、監査情報更新通知部５１０に不正アクセス発生通知を要求する。
The
証跡記憶部９１２は、証跡情報として、動静情報、不正アクセス情報、カメラ画像を記憶する。 The trail storage unit 912 stores, as trail information, movement information, unauthorized access information, and a camera image.
証跡監査操作処理部５１５は、証跡監査端末１１０の特徴量データ承認操作部４０４による特徴量データの更新情報を受信し、特徴量データ記憶部５０８の特徴量データを更新する。
The trail audit
以下、図２３を参照して、本実施形態のテレワーク管理システムにおいて、テレワークを実施するユーザが証跡送信端末１００にログインし、ログアウトするまでの一連の流れを説明する。基本的には、図４に示すフローチャートと同様な処理を行うため、異なる処理についてのみ説明を行う。 Hereinafter, with reference to FIG. 23, in the telework management system according to the present embodiment, a series of flows from the user performing the telework logging in to the trail transmitting terminal 100 to logging out will be described. Basically, the same processing as the flowchart shown in FIG. 4 is performed, and therefore only different processing will be described.
証跡管理サーバ１２０が証跡送信端末１００から監視対象となったことを受けて、証跡送信端末１００にかかる特徴量データを特徴量データ記憶部５０８から取得して、特徴量データ記憶部９０７に記憶する。
In response to the
証跡管理サーバ１２０は、すべての特徴量データを登録するのではなく、特徴量データ記憶部５０８に記憶された、各特徴量データの識別寄与度（図１７）からユーザの識別に有効な特徴量データを選択して登録する（図２４の説明で詳細を記述する）。尚、特徴量データ記憶部９０７には、図１７に示すテーブルに対して、監視対象となる証跡送信端末１００が属する拠点ＩＤに対応して各情報を記憶しているものとする。
The
ステップＳ５０２では、証跡管理サーバ１２０にて、取得した特徴量データを用いてカメラ画像に対して顔認識を行い、ユーザの監視を開始する（図２５の説明で詳細を記述する）。ユーザ監視はバックグラウンドで処理し、終了を待たずにステップＳ１０７に進む。
In step S502, the
ステップＳ１０８では、ログイン情報記憶部５０３から検索した、同一拠点のユーザの証跡送信端末１００において特徴量データが更新されたことを検出する。
In step S108, it is detected that the characteristic amount data has been updated in the
ステップＳ１０９では、特徴量データが更新されたことを検出した証跡送信端末１００に関して、証跡管理サーバ１２０は、利用すべき特徴量データを取得し、特徴量データ記憶部９０７のデータを置換する。
In step S109, the
その際、証跡管理サーバ１２０は、当該ユーザだけでなく、同一拠点のユーザの特徴量データも登録する。この際、ステップＳ５０１と同様に、すべての特徴量データを登録するのではなく、特徴量データ記憶部５０８に記憶された、各特徴量データの識別寄与度からユーザの識別に有効な特徴量データを選択して登録する（図２４の説明で詳細を記述する）。
At that time, the
ステップＳ１１２では、ユーザが証跡送信端末１００からログアウトすることをトリガーとして、ステップＳ１０６のユーザ監視を終了し、証跡管理サーバ１２０からログアウトする。
In step S112, triggered by the user logging out from the
ステップＳ１１３では、ユーザ監視を終了する際、証跡管理サーバ１２０は、特徴量データ記憶部９０７に記憶された識別寄与度を特徴量データ記憶部５０８に記憶する。
In step S113, when ending the user monitoring, the
以下、図２４を参照して、図２３のＳ１０４およびＳ１０８の更新通知をトリガーとして特徴量データの更新が行われ、証跡送信端末１００にてユーザおよび同一拠点のユーザを識別可能になるまでの流れを説明する。基本的には、図５に示すフローチャートと同様な処理を行うため、異なる処理についてのみ説明を行う。 Hereinafter, with reference to FIG. 24, the flow until the feature amount data is updated by using the update notification of S104 and S108 of FIG. 23 as a trigger, and the trail transmitting terminal 100 can identify the user and the user at the same location. Will be explained. Basically, since the same processing as the flowchart shown in FIG. 5 is performed, only different processing will be described.
証跡送信端末１００の処理は、そのＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。また、証跡管理サーバ１２０の処理は、そのＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。
The processing of the
ステップＳ６０１では、証跡管理サーバ１２０は、ログインされた証跡管理サーバ１２０にかかる特徴量データの登録の指示を受付ける。
In step S601, the
登録の指示としては、ユーザが証跡送信端末１００を通して証跡管理サーバ１２０へのログインに成功したとき、または証跡管理サーバ１２０が証跡送信端末１００にかかる特徴量データの更新されたことを検出したときである。
The instruction for registration is when the user successfully logs in to the
ステップＳ２０７では、得られた特徴量データを特徴量データ記憶部９０７に登録するリストに追加する。
In step S207, the obtained feature amount data is added to the list registered in the feature amount
ステップＳ６０２では、証跡管理サーバ１２０は、リストに追加した特徴量データを特徴量データ記憶部９０７に記憶する。
In step S602, the
以上により、証跡送信端末１００では、ユーザおよび同一拠点のログインユーザを識別できるようになる。
As described above, the
以下、図２５を参照して、図２３のステップＳ５０２のユーザ監視において、ユーザの動静および不正アクセスの検出と、不正アクセス発生時に監視者へ不正アクセス登録通知を行う流れについて説明する。基本的には、図６に示すフローチャートと同様な処理を行うため、異なる処理についてのみ説明を行う。 In the following, with reference to FIG. 25, a flow of performing user detection in step S502 in FIG. 23, detection of user movement and unauthorized access, and notification of unauthorized access registration to a monitor when unauthorized access occurs will be described. Basically, the same processing as the flowchart shown in FIG. 6 is performed, and therefore only different processing will be described.
この処理は、証跡管理サーバ１２０のＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムおよびデータをＲＡＭ２０２に記憶することで実行される。
This processing is executed by the
ステップＳ７０１では、現在の動静および不正アクセスを初期化する。動静は最初何もない状態であり、不正アクセスは正常な状態である。 In step S701, the current motion and unauthorized access are initialized. The movement is a state where there is nothing at first, and the unauthorized access is a state where it is normal.
ステップＳ７０２では、カメラ画像に対して顔認識を適用し、顔認識結果（図２１）、顔認識結果から求まる動静（図１８）および不正アクセス（図１９）、およびその際のカメラ画像（図２０）を、証跡記憶部９０９に記憶する。カメラ画像からその動静および不正アクセスの状態を検出する（詳細は図２６の説明にて記述する）。尚、図１８から図２１の各テーブルには、監視対象となる証跡送信端末１００が属する拠点ＩＤに対応して各情報を記憶しているものとする。
In step S702, face recognition is applied to the camera image, and the face recognition result (FIG. 21), the motion (FIG. 18) and the unauthorized access (FIG. 19) obtained from the face recognition result, and the camera image at that time (FIG. 20). ) Is stored in the
ステップＳ７０３では、証跡記憶部９０９に記憶された動静情報を元に、最新の動静（新動静）を算出する。
In step S703, the latest movement (new movement) is calculated based on the movement information stored in the
最も単純な算出方法としては、過去数件分の動静情報の中で、最も多い状態を新動静の状態とし、最も古い動静情報を動静の状態とする。 As the simplest calculation method, of the past several pieces of movement information, the most frequent state is the new movement state, and the oldest movement information is the movement state.
同様に、証跡記憶部９０９に記憶された不正アクセス情報を元に、最新の不正アクセス（新不正アクセス）を算出する。
Similarly, the latest unauthorized access (new unauthorized access) is calculated based on the unauthorized access information stored in the
ステップＳ７０４では、動静の状態と新動静の状態が異なるか（つまり状態が変化したか）確認し、異なるならステップＳ７０５へ処理を進め、同じであればステップＳ７０７に進む。 In step S704, it is confirmed whether the moving state and the new moving state are different (that is, whether the state has changed). If they are different, the process proceeds to step S705, and if they are the same, the process proceeds to step S707.
ステップＳ７０５では、動静を新動静で置き換え、ステップＳ７０６では、動静情報を証跡記憶部９１２に記憶する。 In step S705, the movement is replaced with the new movement, and in step S706 the movement information is stored in the trail storage unit 912.
また、ログイン情報記憶部５０３に記憶されたユーザの最新のログイン情報の動静を更新する。
Also, the movement of the latest login information of the user stored in the login
さらに、同一拠点のユーザをログイン情報記憶部５０３から検索し、ユーザの動静参照者として同一のチームに所属するユーザ（監視者、被監視者）をチーム記憶部５１１から検索し、各ユーザの証跡送信端末１００および証跡監査端末１１０に動静更新通知を送信する。
Further, the login
このときも前述と同様に図９に示す動静確認画面７０１を証跡送信端末１００に表示するが、証跡監査端末１１０には、図９の下段に示す動静全体確認画面７０２が表示される。
At this time as well, the
ステップＳ７０７では、動静の終了日時を現在時刻で更新する。登録から一定時間経過しているのであれば、最新のカメラ画像も同様に登録する。証跡管理サーバ１２０は、これらの証跡情報を証跡記憶部９１２の情報に登録または更新する。
In step S707, the end date and time of the movement is updated with the current time. If a certain period of time has passed since registration, the latest camera image is also registered. The
ステップＳ７０８では、動静が在席である場合、ステップＳ７０９へ処理を進め、それ以外（離席）の場合は、ステップＳ７１０へ処理を進める。 In step S708, if the movement is still, the process proceeds to step S709; otherwise (leave), the process proceeds to step S710.
ステップＳ７０９では、証跡記憶部９１２に記憶された最新の動静情報を算出した際の、カメラ画像に対する顔認識結果の類似度から、監視対象の各特徴量データの顔認識における識別寄与度を算出し、特徴量データ記憶部９０７に記憶する。最新の動静情報の状態が在席である場合のみ行う。
In step S709, the identification contribution in face recognition of each feature amount data of the monitoring target is calculated from the similarity of the face recognition result with respect to the camera image when the latest motion information stored in the trail storage unit 912 is calculated. , In the feature amount
ステップＳ７１０では、不正アクセスの状態と新不正アクセスの状態が異なるか（つまり状態が変化したか）否かを判定し、異なると判定したなら、ステップＳ７１１へ処理を進め、同じであると判定した場合、ステップＳ７１６へ処理を進める。 In step S710, it is determined whether or not the state of the unauthorized access is different from the state of the new unauthorized access (that is, whether the state has changed). If determined to be different, the process proceeds to step S711 and it is determined that they are the same. In this case, the process proceeds to step S716.
ステップＳ７１１では、不正アクセスを新不正アクセスで置き換え、ステップＳ７１２では、不正アクセス情報を証跡記憶部９１２に記憶する。 In step S711, the unauthorized access is replaced with the new unauthorized access, and in step S712, the unauthorized access information is stored in the trail storage unit 912.
ステップＳ７１３では、不正アクセスの状態が正常であるか確認し、正常でなければ、ステップＳ７１４に処理を進め、正常であればステップＳ７１８に処理を進める。 In step S713, it is confirmed whether the unauthorized access state is normal. If not, the process proceeds to step S714, and if normal, the process proceeds to step S718.
ステップＳ７１４では、不正アクセス情報を証跡記憶部９１２に記憶し、ステップＳ７１５では、受信した不正アクセスの状態が「覗き見（同僚）」であれば、ステップＳ７１８に処理を進め、そうでなければ、管理者への通知が必要と判断してステップＳ７１６に処理を進める。 In step S714, the unauthorized access information is stored in the trail storage unit 912, and in step S715, if the received unauthorized access status is “peep (colleague)”, the process proceeds to step S718. When it is determined that notification to the administrator is necessary, the process proceeds to step S716.
ステップＳ７１６では、ユーザの所属チームの監視者をチーム記憶部５１１から検索し、各監視者の証跡監査端末１１０に不正アクセス登録通知を送信する。
In step S716, a supervisor of the team to which the user belongs is retrieved from the
不正アクセス登録通知を受信した証跡監査端末１１０は、不正アクセスの監査を監視者に促し、ユーザ情報の表示を更新する。
The
ここでも、前述したように、証跡監査端末１１０において、図９の下段に示す動静全体確認画面７０２が表示され、不正アクセスの有無を動静全体確認画面７０２で確認することが可能となる。
Again, as described above, the
ステップＳ７１７では、不正アクセスの終了日時を現在時刻で更新する。登録から一定時間経過しているのであれば、最新のカメラ画像も同様に登録する。証跡管理サーバ１２０は、証跡情報を証跡記憶部９１２の情報に登録または更新する。
In step S717, the end date and time of the unauthorized access is updated with the current time. If a certain period of time has passed since registration, the latest camera image is also registered. The
ステップＳ７１８では、ログアウト等の命令を受けていればフローを終了し、そうでなければステップＳ７０２に処理を戻し、ステップＳ７０２からステップＳ７１７の処理を繰り返す。 In step S718, if a command such as logout has been received, the flow ends, otherwise, the process returns to step S702, and the processes of steps S702 to S717 are repeated.
以下、図２６を参照して、図２５のステップＳ７０２における、カメラ画像に対して顔認識を行い、その結果からユーザの動静および不正アクセスの状態を算出する流れについて説明する。この処理は、証跡送信端末１００のＣＰＵ２０１により、ＲＯＭ２０３から取得したプログラムをＲＡＭ２０２に記憶することで実行される。基本的には、図７に示すフローチャートと同様な処理を行うため、異なる処理についてのみ説明を行う。
Hereinafter, with reference to FIG. 26, a flow of performing face recognition on a camera image in step S<b>702 of FIG. 25 and calculating a user's motion and unauthorized access state from the result is described. This processing is executed by the
ステップＳ８０１では、証跡送信端末１００においてカメラデバイス２１０で撮影して得られたカメラ画像を取得する。ステップＳ８０２では、カメラ画像に対して顔検出と顔識別を行い、複数の顔認識結果（図２１）を得る。
In step S801, the camera image obtained by the
顔検出は、カメラ画像内に存在する顔の領域を検出する処理であり、顔識別は、検出した顔から特徴量データを抽出し、特徴量データ記憶部９０７に記憶された特徴量データとのマッチングを行い、各特徴量データとの類似度を算出する処理であり、さらに算出した類似度を元に、その顔が誰の顔であるか識別する。
The face detection is a process of detecting a face area existing in the camera image, and the face identification extracts feature amount data from the detected face and compares the feature amount data stored in the feature amount
最も簡単な識別方法は、一定の閾値を超えた最も高い類似度を記録した特徴量データのユーザに識別することである。識別方法は他にも既存技術が多数あり、何れの技術を適用しても良い。 The simplest identification method is to identify the user of the feature amount data that has recorded the highest degree of similarity exceeding a certain threshold. There are many other existing techniques as identification methods, and any technique may be applied.
ステップＳ８０３では、ステップＳ８０２で顔を検出できなかった場合は、ステップＳ８０４に処理を進め、顔をひとつだけ検出できた場合は、ステップＳ８０５に処理を進め、顔を複数検出できた場合は、ステップＳ８０８に処理を進める。 In step S803, if a face cannot be detected in step S802, the process proceeds to step S804. If only one face can be detected, the process proceeds to step S805. If multiple faces can be detected, the process proceeds to step S803. The process proceeds to S808.
ステップＳ８０４では、カメラデバイス２１０に誰も映っていないので、「離席」の動静と「正常」の不正アクセスを証跡記憶部９０９に記憶する。また、カメラ画像と顔認識結果も記憶する。
In step S804, since no one is shown on the
ステップＳ８０５では、検出できた顔がユーザとして識別されたか否かを判定し、識別されたと判定すれば、ステップＳ８０６に処理を進め、識別されていないと判定すれば、ステップＳ８０７に処理を進める。 In step S805, it is determined whether or not the detected face is identified as the user. If it is determined that the face is identified, the process proceeds to step S806. If it is determined that the face is not identified, the process proceeds to step S807.
ステップＳ８０６では、カメラデバイス２１０にユーザが一人だけ映っているので、「在席」の動静と「正常」の不正アクセスを証跡記憶部９０９に記憶する。また、カメラ画像と顔認識結果も記憶する。
In step S806, since only one user is shown on the
ステップＳ８０７では、カメラデバイス２１０にユーザ以外の人物が一人だけ映っているので、「離席」の動静と「なりすまし」の不正アクセスを証跡記憶部９０９に記憶する。また、カメラ画像と顔認識結果も記憶する。
In step S807, since only one person other than the user is shown on the
ステップＳ８０８では、検出できた顔の中にユーザとして識別された顔があるか否かを判定し、識別されたと判定すれば、ステップＳ８０９に処理を進め、識別されていないと判定すれば、ステップＳ８１０に処理を進める。 In step S808, it is determined whether or not there is a face identified as the user among the detected faces. If it is determined that the face has been identified, the process proceeds to step S809. If it is determined that the face has not been identified, the process proceeds to step S809. The process proceeds to S810.
ステップＳ８０９では、カメラデバイス２１０にユーザが映っているので、「在席」の動静を証跡記憶部９０９に記憶する。また、カメラ画像と顔認識結果も記憶する。
In step S809, since the user is shown on the
ステップＳ８１０では、カメラデバイス２１０にユーザが映っていないので、「離席」の動静を証跡記憶部９０９に記憶する。また、カメラ画像と顔認識結果も記憶する。
In step S810, since the user is not displayed on the
ステップＳ８１１では、すべての顔が同一拠点のユーザの顔として識別されているか確認し、識別されていれば、ステップＳ８１２に処理を進め、識別されていなければ、ステップＳ８１３に処理を進める。同一拠点のユーザ判定は、ログイン情報記憶部５０３から検索したユーザに関する情報を用いて判定することが可能である。
In step S811, it is confirmed whether all the faces are identified as the faces of the users at the same location. If they are identified, the process proceeds to step S812. If not identified, the process proceeds to step S813. The user determination at the same location can be performed using the information regarding the user retrieved from the login
ステップＳ８１２では、カメラデバイス２１０に映っているのはユーザ本人とその同一拠点のユーザであるので、「覗き見（同僚）」の不正アクセスを証跡記憶部９０９に記憶する。
In step S<b>812, since the user himself/herself and the user at the same site are shown in the
ステップＳ８１３では、カメラデバイス２１０に同一拠点のユーザ以外の第三者が映っているので、「覗き見」の不正アクセスを証跡記憶部９０９に記憶する。
In step S813, since a third party other than the user at the same location is shown in the
尚、各ステップにおいて、証跡制御部９０８は、不正アクセスが発生したと判定したタイミングで、証跡送信端末１００に対して、スクリーンショットを取得する要求を行い、証跡送信端末１００は、スクリーンショットを取得する要求を受付けると、現在、ＣＲＴ２１１に表示されている情報に関してスクリーンショットを取得して証跡管理サーバ１２０へ送信する。
In each step, the
証跡制御部９０８は、このスクリーンショットを受信すると、証跡記憶部９０９に記憶した動静、カメラ画像、顔認識結果に対応して記憶する。
[第３の実施形態]
Upon receiving this screen shot, the
[Third Embodiment]
次に第３の実施形態について説明するが、第１の実施形態及び第２の実施形態では、不正アクセスの状態が覗き見である場合、ステップＳ４１１及びステップＳ８１１において、全員が同一拠点のログインユーザが映されているか否かによって判定を行った。 Next, a third embodiment will be described. In the first embodiment and the second embodiment, when the unauthorized access state is peeping, in step S411 and step S811, all login users of the same location The judgment was made based on whether or not was displayed.
この判定によって、全員が同一拠点のログインユーザであれば、覗き見（同僚）として、全員が同一拠点のログインユーザでなければ、覗き見としているが、このような状態にかかわらず、本実施形態では、映されているユーザが、本人と同僚を示す「覗き見（本人＋同僚）」であるのか、あるいは、同僚のみを示す「覗き見（同僚のみ）」であるのか、上司を示す「覗き見（上司）」によって、登録すべく状態を変える態様を備える。 According to this determination, if all users are login users at the same location, they are sneak peeks (colleagues), and if not all are login users at the same location, they are sneak peeks. Then, whether the displayed user is a "sneak peek (self + colleague)" showing himself and his colleague, or a "sneak peek (only colleague)" showing only his colleague, or a "peeping peek" showing his boss By "viewing (boss)", a mode for changing the state to register is provided.
このような態様を備える理由として、本人が離席中に同僚が覗き込んだ場合、本人が意図しない情報が漏洩するリスクが顕在し、上司が覗き込んだ場合、不正アクセスとみなさなくてもセキュリティを確保できることを想定しており、監視者の監視負荷を低減すること等が可能である。 The reason for providing such an aspect is that if a colleague looks into the person while he or she is away, there is a risk of leaking information that the person does not intend, and if the boss looks into the information, security is not considered to be unauthorized access. It is possible to reduce the monitoring load on the observer, etc.
本判定は、何れもステップＳ４１１及びステップＳ８１１において行われるものであり、「覗き見（本人＋同僚）」の判定については、ステップＳ８０８において映された顔にユーザが存在し、かつ全員が同一拠点のログインユーザであると判定した場合である。 This determination is performed in steps S411 and S811, and for the determination of "peep (self + colleague)", the user is present in the face shown in step S808, and all of them are at the same base. This is the case when it is determined that the login user is.
一方、「覗き見（同僚のみ）」の判定については、ステップＳ８０８において映された顔にユーザが存在し、かつ全員が同一拠点のログインユーザであると判定した場合である。 On the other hand, the determination of “peeping (only colleague)” is a case where the user is present on the face shown in step S808 and all are login users at the same base.
さらに、「覗き見（上司）」の判定については、ステップＳ８０８において映された顔にユーザが存在するかいないにかかわらず、かつユーザの上司であると判定した場合であるが、この判定は、図２７に示す上司情報テーブルを用いて、ユーザの上司が写りこんでいるか否かを判定する。 Further, the "peep (boss)" determination is a case where it is determined that the user is the user's boss regardless of whether or not the user is present in the face shown in step S808. Using the superior information table shown in FIG. 27, it is determined whether or not the superior of the user is reflected.
上司情報テーブルは、ユーザの上司に関する情報を記憶しており、上司を一意に示すためのＩＤ（ユーザＩＤに該当）に対応して、上司の配下に所属するユーザを一意に示すためのユーザＩＤを含めて記憶している。 The boss information table stores information about the user's boss, and corresponds to an ID (corresponding to the user ID) for uniquely indicating the boss, a user ID for uniquely indicating a user who belongs to the boss. I remember it including.
また、覗き見である状態として、上司が覗き込んだ場合を示したが、上司にかかるものとして、同僚が映されている場合、その同僚の上司が同じか否かによって状態を分けても良い。 Also, although the case where the boss is looking into the peeping state is shown, when the colleague is reflected as the boss's state, the state may be divided depending on whether the boss of the colleague is the same or not. ..
本人も含め同僚の上司を上司情報テーブルに記憶された情報から特定して、全て同じ上司であるか否かによって、「覗き見（本人＋同僚）」及び「覗き見（同僚のみ）」であって上司が同じあるいは上司が異なるといった状態を判定しても良い。 Identifying the bosses of the co-workers, including him/herself, from the information stored in the boss information table, depending on whether or not they are all the same boss, they are “peeping (self + co-worker)” and “peeping (co-workers only)”. It may be possible to determine a state where the boss is the same or the boss is different.
以上、本発明によれば、ユーザの監視環境下に応じて、本人以外の人物が撮影されたことによって不正利用と見做さない場合において、ユーザが使用している情報処理装置利用を制御することなく、また、管理者などへの通知を抑止することで、ユーザまたは管理者の監視に係る労力を軽減することで、効率的な監視方法を実現することができる。 As described above, according to the present invention, the use of the information processing apparatus used by the user is controlled in the case where the person other than the person himself/herself is photographed and is not regarded as an unauthorized use according to the monitoring environment of the user. In addition, by suppressing the notification to the administrator and the like, it is possible to realize an efficient monitoring method by reducing the labor related to the monitoring of the user or the administrator.
以上、実施形態例を詳述したが、本発明は、例えば、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。 Although the exemplary embodiments have been described in detail above, the present invention can be embodied as, for example, a method, a program, a storage medium, or the like. It may be applied or may be applied to an apparatus composed of one device.
また、本発明におけるプログラムは、各処理方法をコンピュータが実行可能（読み取り可能）なプログラムであり、本発明の記憶媒体は、各処理方法をコンピュータが実行可能なプログラムが記憶されている。 Further, the program according to the present invention is a program that allows a computer to execute (read) each processing method, and the storage medium according to the present invention stores a program that allows a computer to execute each processing method.
なお、本発明におけるプログラムは、各装置の処理方法ごとのプログラムであってもよい。 The program in the present invention may be a program for each processing method of each device.
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読取り実行することによっても、本発明の目的が達成されることは言うまでもない。 As described above, the recording medium recording the program that realizes the functions of the above-described embodiments is supplied to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus executes the program stored in the recording medium. It goes without saying that the object of the present invention can be achieved by reading and executing.
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。 In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium storing the program constitutes the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることができる。 As a recording medium for supplying the program, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a DVD-ROM, a magnetic tape, a non-volatile memory card, a ROM, an EEPROM, and a silicon. A disk or the like can be used.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータで稼働しているＯＳ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, not only the functions of the above-described embodiments are realized by executing the program read by the computer, but also the OS or the like running on the computer executes a part of the actual processing based on the instructions of the program. Needless to say, this includes a case where all the processing is performed and the functions of the above-described embodiments are realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program read from the recording medium is written in the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer, the function expansion board is instructed based on the instruction of the program code. Needless to say, this also includes the case where the CPU or the like included in the function expansion unit performs some or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。 Further, the present invention may be applied to a system including a plurality of devices or an apparatus including one device.
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 Further, it goes without saying that the present invention can be applied to the case where it is achieved by supplying a program to a system or an apparatus. In this case, by reading the recording medium storing the program for achieving the present invention into the system or device, the system or device can enjoy the effects of the present invention.
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステム、あるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 Furthermore, by downloading and reading a program for achieving the present invention from a server, a database or the like on a network using a communication program, the system or device can enjoy the effects of the present invention. It should be noted that the present invention also includes all configurations that combine the above-described embodiments and modifications thereof.
１００ 証跡送信端末
１１０ 証跡監査端末
１２０ 証跡管理サーバ
１３０ ＬＡＮ
１４０ ルータ
１５０ インターネット
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ ＫＢ
２１０ カメラデバイス
２１１ ＣＲＴ
２１２ 外部メモリ
100
140
202 ROM
203 RAM
204
210
212 External memory
Claims (6)
他の情報処理装置で使用される前記監視用情報を含めて当該監視用情報を要求する要求手段と、
前記要求手段によって要求して得られた監視用情報を用いて、本人及び他の情報処理装置を利用する人物との関係から、不正アクセスが行われたことを検出する検出手段と、
を備えたことを特徴とする情報処理システム。 What is claimed is: 1. An information processing system comprising: a plurality of information processing devices that monitor the unauthorized access by performing face recognition of the user by photographing the user; and a server that manages monitoring information for monitoring the unauthorized access. ,
Requesting means for requesting the monitoring information including the monitoring information used in another information processing device;
Using the monitoring information obtained by requesting by the requesting unit, a detecting unit that detects that an unauthorized access has been performed from the relationship between the person and a person who uses another information processing apparatus,
An information processing system comprising:
情報処理装置から前記監視用情報の要求を受け付ける要求受付手段と、
前記受付手段によって監視用情報の要求を受け付けると、前記情報処理装置の監視用情報、及び前記情報処理装置とは異なる他の情報処理装置で用いる監視用情報を前記要求受付手段によって受け付けた情報処理装置に送信する送信手段と、
を備えたことを特徴とするサーバ。 A server that manages monitoring information for monitoring unauthorized access,
Request receiving means for receiving a request for the monitoring information from the information processing device,
When the request for the monitoring information is received by the receiving unit, the information processing for receiving the monitoring information of the information processing device and the monitoring information used by another information processing device different from the information processing device by the request receiving unit Transmitting means for transmitting to the device,
A server characterized by having.
前記情報処理システムは、
他の情報処理装置で使用される前記監視用情報を含めて当該監視用情報を要求する要求ステップと、
前記要求ステップによって要求して得られた監視用情報を用いて、本人及び他の情報処理装置を利用する人物との関係から、不正アクセスが行われたことを検出する検出ステップと、
を実行することを特徴とする情報処理システムの制御方法。 Method of controlling information processing system comprising a plurality of information processing devices for monitoring unauthorized access by performing face recognition of the user by capturing an image of the user and a server for managing monitoring information for monitoring unauthorized access And
The information processing system,
A request step for requesting the monitoring information including the monitoring information used in another information processing device,
Using the monitoring information obtained by requesting in the requesting step, a detection step of detecting that unauthorized access has been performed, from the relationship between the person and a person who uses another information processing device,
A method for controlling an information processing system, the method comprising:
前記情報処理システムを、
他の情報処理装置で使用される前記監視用情報を含めて当該監視用情報を要求する要求手段と、
前記要求手段によって要求して得られた監視用情報を用いて、本人及び他の情報処理装置を利用する人物との関係から、不正アクセスが行われたことを検出する検出手段と、
して機能させることを特徴とするプログラム。 Read and execute in an information processing system including a plurality of information processing devices that monitor the unauthorized access by performing face recognition of the user by photographing the user and a server that manages monitoring information for monitoring the unauthorized access There are possible programs,
The information processing system,
Requesting means for requesting the monitoring information including the monitoring information used in another information processing device;
Using the monitoring information obtained by requesting by the requesting means, a detecting means for detecting that an unauthorized access has been made from the relationship between the person and the person using the other information processing device,
A program characterized by making it function.
前記サーバを、
情報処理装置から前記監視用情報の要求を受け付ける要求受付ステップと、
前記要求受付ステップによって監視用情報の要求を受け付けると、前記情報処理装置の監視用情報、及び前記情報処理装置とは異なる他の情報処理装置で用いる監視用情報を前記要求受付ステップによって受け付けた情報処理装置に送信する送信ステップと、
を備えたことを特徴とするサーバの制御方法。 A method for controlling a server that manages monitoring information for monitoring unauthorized access, comprising:
The server
A request receiving step of receiving a request for the monitoring information from the information processing device,
When a request for monitoring information is received by the request receiving step, the information received by the request receiving step includes the monitoring information of the information processing apparatus and the monitoring information used by another information processing apparatus different from the information processing apparatus. A transmitting step for transmitting to the processing device,
A method of controlling a server, comprising:
前記サーバを、
情報処理装置から前記監視用情報の要求を受け付ける要求受付手段と、
前記受付手段によって監視用情報の要求を受け付けると、前記情報処理装置の監視用情報、及び前記情報処理装置とは異なる他の情報処理装置で用いる監視用情報を前記要求受付手段によって受け付けた情報処理装置に送信する送信手段と、
して機能させることを特徴とするプログラム。 A program that can be read and executed by a server that manages monitoring information for monitoring unauthorized access,
The server
Request receiving means for receiving a request for the monitoring information from the information processing device,
When the request for the monitoring information is received by the receiving unit, the information processing for receiving the monitoring information of the information processing device and the monitoring information used by another information processing device different from the information processing device by the request receiving unit Transmitting means for transmitting to the device,
A program characterized by causing it to function.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014264094 | 2014-12-26 | ||
| JP2014264094 | 2014-12-26 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018143646A Division JP6691306B2 (en) | 2014-12-26 | 2018-07-31 | Information processing apparatus, control method, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2020119585A true JP2020119585A (en) | 2020-08-06 |
| JP2020119585A5 JP2020119585A5 (en) | 2020-09-17 |
| JP6993597B2 JP6993597B2 (en) | 2022-01-13 |
Family
ID=56359522
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015131556A Active JP6481203B2 (en) | 2014-12-26 | 2015-06-30 | Information processing system, information processing apparatus, server, control method, and program |
| JP2018143646A Active JP6691306B2 (en) | 2014-12-26 | 2018-07-31 | Information processing apparatus, control method, and program |
| JP2020069516A Active JP6993597B2 (en) | 2014-12-26 | 2020-04-08 | Information processing equipment, control methods, and programs |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015131556A Active JP6481203B2 (en) | 2014-12-26 | 2015-06-30 | Information processing system, information processing apparatus, server, control method, and program |
| JP2018143646A Active JP6691306B2 (en) | 2014-12-26 | 2018-07-31 | Information processing apparatus, control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP6481203B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018001281A (en) | 2016-06-27 | 2018-01-11 | 株式会社デンソーウェーブ | Robot hand |
| JP6544413B2 (en) * | 2016-12-15 | 2019-07-17 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, control method, program |
| JP7012182B1 (en) | 2021-07-14 | 2022-01-27 | 日本コンピュータビジョン株式会社 | Output control program, output control method and terminal device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002366530A (en) * | 2001-06-11 | 2002-12-20 | Hitachi Ltd | Service providing method for distributed system |
| JP2006033852A (en) * | 2004-07-15 | 2006-02-02 | Avaya Technology Corp | Proximity-based authorization |
| JP2006067563A (en) * | 2004-07-15 | 2006-03-09 | Avaya Technology Corp | Peer-to-peer neighbor detection for proximity-based command execution |
| JP2012088835A (en) * | 2010-10-18 | 2012-05-10 | Mitsubishi Electric Corp | Composite authentication device |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4086740B2 (en) * | 2003-09-09 | 2008-05-14 | 日本電気株式会社 | Terminal user monitoring system |
| JP2006259930A (en) * | 2005-03-15 | 2006-09-28 | Omron Corp | Display device and its control method, electronic device equipped with display device, display device control program, and recording medium recording program |
| JP4910627B2 (en) * | 2006-10-24 | 2012-04-04 | オムロン株式会社 | Impersonation detection device |
| JP2009080668A (en) * | 2007-09-26 | 2009-04-16 | Sky Kk | Peep prevention system and peep prevention program |
| JP5001194B2 (en) * | 2008-02-20 | 2012-08-15 | アズビル株式会社 | Entrance management system |
| JP2010277205A (en) * | 2009-05-26 | 2010-12-09 | Nec Corp | Information processing device, method and program |
| US8904473B2 (en) * | 2011-04-11 | 2014-12-02 | NSS Lab Works LLC | Secure display system for prevention of information copying from any display screen system |
| US8914875B2 (en) * | 2012-10-26 | 2014-12-16 | Facebook, Inc. | Contextual device locking/unlocking |
-
2015
- 2015-06-30 JP JP2015131556A patent/JP6481203B2/en active Active
-
2018
- 2018-07-31 JP JP2018143646A patent/JP6691306B2/en active Active
-
2020
- 2020-04-08 JP JP2020069516A patent/JP6993597B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002366530A (en) * | 2001-06-11 | 2002-12-20 | Hitachi Ltd | Service providing method for distributed system |
| JP2006033852A (en) * | 2004-07-15 | 2006-02-02 | Avaya Technology Corp | Proximity-based authorization |
| JP2006067563A (en) * | 2004-07-15 | 2006-03-09 | Avaya Technology Corp | Peer-to-peer neighbor detection for proximity-based command execution |
| JP2012088835A (en) * | 2010-10-18 | 2012-05-10 | Mitsubishi Electric Corp | Composite authentication device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6691306B2 (en) | 2020-04-28 |
| JP2018200705A (en) | 2018-12-20 |
| JP2016126747A (en) | 2016-07-11 |
| JP6481203B2 (en) | 2019-03-13 |
| JP6993597B2 (en) | 2022-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2020119585A (en) | Information processing system, information processor, control method, and program | |
| JP6281601B2 (en) | Information processing apparatus, information processing system, control method, and program | |
| US8913270B2 (en) | Authentication system having an authentication apparatus including an authentication unit configured to search records of identification information associated with group information to find matching identification information matching obtained identification information of a user, authentication method, and apparatus | |
| JP6123653B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2019046507A (en) | Information processing device, information processing system, control method, and program | |
| US20230195868A1 (en) | System for face authentication and method for face authentication | |
| JP6815134B2 (en) | Will management system, will management device, will management method | |
| JP2020052509A (en) | Information processing apparatus, program and information processing system | |
| JP2018200705A5 (en) | Information processing apparatus, control method, and program | |
| JP2017084025A (en) | Automatic login system for information processing device | |
| JP6617804B2 (en) | Information processing apparatus, information processing system, control method, and program | |
| JP2017182577A (en) | Information processing device, personal authentication system, control method thereof, personal authentication method and program therefor | |
| US9094575B2 (en) | Non-transitory computer-readable medium storing program and communication device | |
| JP2017152013A (en) | Information processing device, information processing method, and program | |
| JP6697170B2 (en) | Information processing device, information processing method, and program | |
| JP6982266B2 (en) | Information processing equipment, information processing methods, programs | |
| JP6159782B2 (en) | Information processing apparatus control method, information processing apparatus and control program, terminal control method and terminal control program | |
| US12008093B2 (en) | System for face authentication and method for face authentication | |
| WO2023084593A1 (en) | Information processing device, information processing system, information processing method, and non-transitory computer-readable medium | |
| JP2019114277A (en) | Information processing device, personal authentication system, control method thereof, personal authentication method, and program therefor | |
| JP2020141298A (en) | Information processing device, system, control method of information processing device, and program | |
| JP2022123030A (en) | Information processing apparatus, method for controlling the same, and program | |
| JP2022125737A (en) | Information management device, information management system, information management method, and program | |
| CN117668795A (en) | Terminal unlocking method, equipment and storage medium | |
| JP2016224546A (en) | Information processing system, information processor, and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200714 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210611 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211122 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6993597 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |