以下、図面を参照して、本発明の実施形態を詳細に説明する。
[第1の実施形態]
図1は、本発明のテレワーク管理システムの構成の一例を示すシステム構成図である。
図1に示すテレワーク管理システムは、1又は複数の証跡送信端末100、1又は複数の証跡監査端末110、1又は複数の証跡管理サーバ120が、ローカルエリアネットワーク(LAN)130とルータ140、およびインターネット150を介して接続される構成となっている。
証跡送信端末100は、使用するユーザ(テレワーカ)の動静および不正アクセスを検出し、その証跡情報を証跡管理サーバ120に送信する。また、動静等の検出に使用するユーザの特徴量データを証跡管理サーバ120に送信する。
証跡監査端末110は、管理者が証跡管理サーバ120に記録された特徴量データの承認操作と、証跡管理サーバ120に記録された証跡の監査操作を行う。
証跡監査端末110は、管理者の動静をテレワーカに通知するまたは自身がテレワークを行う際に自身の管理者に動静と不正アクセスを通知するために、証跡送信端末100と同様の機能を備えることもある。
証跡管理サーバ120は、証跡送信端末100から受信した特徴量データを記録し、その特徴量データに対する証跡監査端末110の承認操作を処理する。
そして、証跡送信端末100から受信した証跡を記録し、その証跡に対する証跡監査端末110の監査操作を処理し、また、証跡送信端末100の接続元拠点情報を元に、証跡送信端末100で利用する特徴量データを決定する。
以下、図2を用いて、図1に示した証跡送信端末100、証跡監査端末110、及び証跡管理サーバ120に適用可能な情報処理装置のハードウェア構成について説明する。
図2は、図1に示した証跡送信端末100、証跡監査端末110、証跡管理サーバ120に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。
また、ROM203あるいは外部メモリ212には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。203はRAMで、CPU201の主メモリ、ワークエリア等として機能する。
CPU201は、処理の実行に際して必要なプログラム等をROM203あるいは外部メモリ212からRAM202にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
また、205は入力コントローラで、キーボード(KB)209や証跡送信端末100の前方のユーザを撮影するウェブカメラ等のカメラデバイス210、不図示のマウス等のポインティングデバイス等からの入力を制御する。
206はビデオコントローラで、CRTディスプレイ(CRT)211等の表示器への表示を制御する。なお、図2では、CRT211と記載しているが、表示器はCRTだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。
207はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ212へのアクセスを制御する。
208は通信I/Fコントローラで、ネットワーク(例えば、図1に示したLAN130)を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
なお、CPU201は、例えばRAM202内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、CRT211上での表示を可能としている。また、CPU201は、CRT211上の不図示のマウスカーソル等でのユーザ指示を可能とする。
本発明を実現するための後述する各種プログラムは、外部メモリ212に記録されており、必要に応じてRAM202にロードされることによりCPU201によって実行されるものである。
さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ212に格納されており、これらについての詳細な説明も後述する。
次に、図3を用いて、本発明の証跡送信端末100、証跡監査端末110および証跡管理サーバ120の機能ブロック図について説明する。尚、各機能ブロックが処理する詳細な制御については、後述するフローチャートにて説明する。
まず、証跡送信端末100の機能構成について説明する。
認証情報入力部301は、ユーザによる認証情報の入力を受け付ける。認証情報送信部302は、認証情報入力部301で受け付けた認証情報を、通信I/Fコントローラ208を介して証跡管理サーバ120の認証情報受信部501に送信し、システムへのログインを行う。ログインに成功したら、拠点選択部303において拠点の選択を依頼する。
拠点選択部303は、通信I/Fコントローラ208を介して証跡管理サーバ120のユーザ情報管理部504からログインユーザが利用可能な拠点リストを取得し、その中から現在の拠点を選択する。
選択方法としては、拠点リストをCRT211に表示してユーザに選択させる方法や、近辺のWifi網から現在地の住所を推定し自動決定するなどの方法がある。
特徴量データ更新部304は、通信I/Fコントローラ208を介して証跡管理サーバ120の特徴量データ取得部507から、ユーザおよびユーザと同じ拠点から接続するログインユーザの特徴量データを取得し、特徴量データ記憶部305のデータを更新する。特徴量データ記憶部305は、顔認識に使用する顔の特徴量データを記憶する。
ユーザ情報表示更新部306は、通信I/Fコントローラ208を介して証跡管理サーバ120のユーザ情報管理部504からユーザの動静情報を取得し、CRT211に表示する。
ユーザ情報表示更新部306は、同様にユーザ情報管理部504から取得した拠点リストおよびチームリストを表示し、ユーザに選択させて動静情報を表示するユーザを変える機能も備える。
また、ユーザ情報表示更新部306は、更新通知受信部315から更新通知を受けた際には、ユーザ情報管理部504からユーザの動静情報を取り直し、表示を更新する。
映像入力部307は、カメラデバイス210より映像を取得し、特徴量データ抽出部308および状態検出部311にその映像を送信する。
特徴量データ抽出部308は、特徴量データの登録がない場合や、ユーザの識別がうまくいかない際にユーザを識別するための特徴量データを抽出する。
特徴量データ抽出部308は、映像入力部307から受信した映像からユーザの顔を抽出し、その顔を使って識別するかどうかユーザに確認する。確認がとれたら、顔から特徴量データを抽出し、それを特徴量データ送信部310に送信する。顔の抽出および特徴料データの抽出は顔認識部309に依頼する。
顔認識部309は、特徴量データ抽出部308から受信した映像から顔を抽出し、さらにその顔から識別に利用可能な特徴量データを抽出する。また、状態検出部311から受信した映像から顔を抽出し、各顔から抽出した特徴量データと状態検出部311から受信した特徴量データとの類似度を算出する。
特徴量データ送信部310は、特徴量データ抽出部308から受信した特徴量データを証跡管理サーバ120の特徴量データ受信部509に送信する。また、ログアウト前に特徴量データ記憶部305に記憶された識別寄与度を特徴量データ受信部509に送信する。
状態検出部311は、映像入力部307から受信した映像と特徴量データ記憶部305に記憶された特徴量データから、正規のログインユーザによる動静「在席」、「離席」、同一拠点のログインユーザによる不正アクセス「なりすまし」、「覗き見」、拠点外の第三者による不正アクセス「なりすまし」、「覗き見」の状態を検出する。
映像と特徴量データを顔認識部309に送信し、得られた顔認識結果から現在の状態を算出する。検出した動静と不正アクセスおよび顔認識結果、その際のカメラ画像は証跡制御部312に送信する。
証跡制御部312は、状態検出部311から受信した動静または不正アクセスおよび顔認識結果、カメラ画像を証跡記憶部313に記憶する。その際、ビデオコントローラ206から取得したスクリーンショットも合わせて記憶する。
証跡制御部312は、証跡記憶部313に記憶された動静および不正アクセスを総合的に見て、動静および不正アクセスの状態がそれぞれ現在どの状態なのか、その状態に切り替わったのはいつか類推し、切り替わった際の証跡情報(動静または不正アクセス、顔認識結果、カメラ画像、スクリーンショット)を証跡送信部314に送信する。
同じ動静および不正アクセスが継続した際は、その終了日時を随時更新して証跡送信部314に送信する。また、その終了日時のカメラ画像とスクリーンショットを証跡送信部314に送信する。状態の判定に使われなくなった古い証跡情報は、証跡記憶部313から随時破棄する。
証跡記憶部313は、証跡情報(動静、不正アクセス、顔認識結果、カメラ画像、スクリーンショット)を記憶する。
証跡送信部314は、証跡制御部312から受信した証跡情報を、通信I/Fコントローラ208を介して証跡管理サーバ120の証跡受信部513に送信する。
更新通知受信部315は、証跡管理サーバ120のユーザ情報更新通知部506からの更新通知を通信I/Fコントローラ208を介して受信する。
更新通知受信部315は、特徴量データ登録通知があったら、特徴量データ抽出部308に特徴量の抽出を依頼し、特徴量データ更新通知があったら、特徴量データ更新部304に特徴量データの更新を依頼する。また、動静更新通知があったら、ユーザ情報表示更新部306に表示の更新を依頼する。
次に、証跡監査端末110の機能構成について説明する。
ユーザ情報表示更新部401は、証跡送信端末100のユーザ情報表示更新部306と同様に、通信I/Fコントローラ208を介して証跡管理サーバ120のユーザ情報管理部504からユーザの情報を取得し、それをCRT211に表示する。
ユーザ情報表示更新部306と同様の動静情報の表示だけでなく、不正アクセスの発生件数や特徴量データの承認待ち件数などを確認可能な監査情報の表示を行うことができる。ユーザ情報表示更新部401は、更新通知受信部402からの更新通知を受けて、表示を更新する。
更新通知受信部402は、通信I/Fコントローラ208を介して証跡管理サーバ120の監査情報更新通知部510から更新通知を受信する。
更新通知受信部402は、動静更新通知があったら、ユーザ情報表示更新部401に表示の更新を依頼し、特徴量データ更新通知および不正アクセス発生通知があったら、ユーザ情報表示更新部401に表示の更新を依頼し、情報通知部403に管理者への情報の通知を依頼する。
情報通知部403は、特徴量データの承認処理や不正アクセスの監査処理をすぐに実施してもらえるよう管理者に警告する。
特徴量データ承認操作部404は、通信I/Fコントローラ208を介して証跡管理サーバ120の特徴量データ承認操作処理部512から取得した特徴量データをCRT211に表示し、管理者に未承認の特徴量データを承認または棄却させる。承認結果は、特徴量データ承認操作処理部512に送信する。
証跡監査操作部405は、通信I/Fコントローラ208を介して証跡管理サーバ120の証跡監査操作処理部515から取得した不正アクセスの証跡をCRT211に表示し、管理者に未監査の不正アクセスが問題かどうか監査させる。監査結果は、証跡監査操作処理部515に送信する。
問題ないかどうかの判断材料として、その不正アクセス発生期間のカメラ画像およびスクリーンショットを表示する。また、ユーザの動静の履歴を取得して表示したり、統計情報を表示したりする機能も備える。なお、証跡監査端末110は、証跡送信端末100の機能を同時に備えることもある。
最後に、証跡管理サーバ120の機能構成について説明する。
認証情報受信部501は、証跡送信端末100の認証情報送信部302から受信した認証情報とユーザ記憶部502の情報を比較し、一致するユーザ情報があった場合にログイン情報記憶部503にログイン情報を記憶する。ユーザ記憶部502は、ユーザ情報を記憶し、ログイン情報記憶部503は、ユーザのログイン情報を記憶する。
ユーザ情報管理部504は、証跡送信端末100の拠点選択部303からの現在拠点の選択を受け付け、ログイン情報記憶部503の該当ユーザのレコードの拠点情報を変更し、ユーザ情報更新通知部506にログイン情報記憶部503から検索した同一拠点のユーザへの特徴量データ更新通知の送信を依頼する。
また、ユーザ情報管理部504は、ユーザ情報更新通知部506に、ログイン情報記憶部503から検索した同一拠点のユーザと、チーム記憶部511から検索した同一チームのユーザへの動静更新通知の送信を依頼する。
また、ユーザ情報管理部504は、監査情報更新通知部510に、管理者への動静更新通知を依頼する。また、証跡送信端末100のユーザ情報表示更新部306および証跡監査端末110のユーザ情報表示更新部401からの要求を受け、ユーザの利用可能な拠点リスト(拠点情報記憶部505の全情報と、ユーザの在宅権限がTRUE(詳細後述)である場合はユーザの住所を含む)、ユーザの所属するチームリスト、拠点またはチームに所属するユーザの動静情報(ユーザ記憶部502とログイン情報記憶部503の動静情報をマージしたもの)を返却する。
また、証跡監査端末110のユーザ情報表示更新部401からの要求を受け、拠点に所属するユーザの監査情報(ユーザ記憶部502とログイン情報記憶部503の動静情報と証跡記憶部514の未監査不正アクセスのレコード数と特徴量データ記憶部508の未承認レコード数をマージしたもの)を返却する。拠点情報記憶部505は、拠点情報を記憶する。
ユーザ情報更新通知部506は、ユーザがログインおよびログアウトした際およびユーザの動静が変化した際に、そのユーザの接続元拠点に所属するログインユーザ全員の証跡送信端末100の更新通知受信部315に動静更新通知を送信する。
また、ユーザ情報更新通知部506は、ユーザがログインおよびログアウトした際および特徴量データが承認された際に、そのユーザの接続元拠点に所属するログインユーザ全員の証跡送信端末100の更新通知受信部315に特徴量データ更新通知を送信する。
特徴量データ取得部507は、ユーザの特徴量データと、同一拠点のログインユーザの特徴量データを返却する。
特徴量データ記憶部508は、顔認識に利用する特徴量データを記憶する。また、各特長量データのユーザ本人であるか否かを識別するための度合いを示す識別寄与度を記憶する。
特徴量データ受信部509は、証跡送信端末100の特徴量データ送信部310から特徴量データを受信し、特徴量データ記憶部508に記憶する。その際、監査情報更新通知部510に、特徴量データの登録通知を要求する。また、証跡送信端末100の特徴量データ送信部310から識別寄与度を受信し、特徴量データ記憶部508に記憶する。
監査情報更新通知部510は、特徴量データおよび不正アクセス発生通知要求を受信した際、その送信ユーザの管理者の証跡監査端末110の更新通知受信部402に更新通知を送信する。チーム記憶部511は、ユーザの監査関係を定義するチーム情報を記憶する。
特徴量データ承認操作処理部512は、証跡監査端末110の特徴量データ承認操作部404による特徴量データの更新情報を受信し、特徴量データ記憶部508の特徴量データを更新する。
証跡受信部513は、証跡送信端末100の証跡送信部314から送信された証跡情報を受信し、証跡記憶部514に記憶する。また、新規の不正アクセスを受信した際、監査情報更新通知部510に不正アクセス発生通知を要求する。
証跡記憶部514は、証跡情報として、動静情報、不正アクセス情報、カメラ画像、スクリーンショットを記憶する。
証跡監査操作処理部515は、証跡監査端末110の特徴量データ承認操作部404による特徴量データの更新情報を受信し、特徴量データ記憶部508の特徴量データを更新する。
なお、管理者がシステムを利用する際に必要なログイン認証を行う機能については本発明の趣旨から外れるため省略する。
以下、図4を参照して、本実施形態のテレワーク管理システムにおいて、テレワークを実施するユーザが証跡送信端末100にログインし、ログアウトするまでの一連の流れを説明する。
証跡送信端末100の処理は、そのCPU201により、ROM203から取得したプログラムおよびデータをRAM202に記憶することで実行される。また、証跡管理サーバ120の処理は、そのCPU201により、ROM203から取得したプログラムおよびデータをRAM202に記憶することで実行される。
ステップS101では、ユーザが証跡送信端末100にログインすることにより、証跡送信端末100が常駐アプリケーションを起動し、バックグラウンドで証跡管理サーバ120にアカウントIDとパスワードを送信する。
証跡管理サーバ120は、ユーザ記憶部502に記憶されたユーザ情報(図11参照)と比較し、一致すればログインを許可する。アカウントIDとパスワードは、常駐アプリケーションの初回起動時にユーザが設定し、以降は設定された値を使用するものとする。
図11に示すユーザ情報テーブルは、ユーザを一意に識別するユーザID、ユーザのアカウント名、ユーザの名称、ユーザの名称に対する読み仮名、対象ユーザが個人かグループかを表すユーザ種別、ユーザが所在する住所、本人の顔画像等の本人を特定するための画像を示すプロフィール画像、動静の監視対象とする居所を示す動静閲覧対象、監査を行う範囲(グループ)を示す監査対象、ユーザに監視権限があるか否かを示す監視権限(TRUEである場合、監視権限あり)、及びユーザが在宅勤務可能であるか否かを示す在宅権限(TRUEである場合、可能)を備えている。
ステップS102では、ログインユーザの承認済の特徴量データ(図16)が特徴量データ記憶部508に記憶されているか確認する。初回利用時など登録がない場合や、登録はあるが承認されていないまたは棄却されているものだけの場合は証跡送信端末100に特徴量データの登録通知を送信する(ステップS103へ)。承認済の特徴量データの登録がある場合にはステップS105に処理を進める。
図16に示す特徴量データテーブルは、特徴量データを一意に識別するためのID、ユーザID、ユーザと特定するために用いる特徴量データを含んで構成されている。
ステップS103では、証跡送信端末100にて、ログインユーザの特徴量データを登録する。
本ステップでは、カメラ画像から顔認識により顔画像を抽出し、ログインユーザに登録確認したのち、その顔画像から特徴量データを抽出し、証跡管理サーバ120に送信する。
証跡管理サーバ120では、受信した特徴量データを特徴量データ記憶部508に記憶し、チーム記憶部511の監視情報(図14)から検索したユーザの監視を行う管理者の利用する証跡監査端末110に特徴量データ登録通知を送信する。
図14には、監視情報テーブルが示されており、監視情報テーブルは、監査対象を一意に識別するためのID、監査対象を識別するための名称、監査対象を識別するための名称の仮名を示すフリガナ、監査対象を監視する管理者を特定するためのIDを示す監視者IDリスト、監視対象となるユーザIDを示す被監視者IDリストを含む構成を備える。
ステップS104では、証跡監査端末110は、特徴量データ登録通知を受信し、管理者に対して特徴量データを承認してもらえるようアラート通知する。
そして、管理者が証跡監査端末110で特徴量データを承認または棄却すると、証跡管理サーバ120は、承認された場合は、ステップS105へ処理を進め、棄却された場合は、ステップS103へ処理を進める。
ステップS105では、証跡送信端末100が証跡管理サーバ120からユーザの特徴量データを取得し、特徴量データ記憶部305に記憶する。
証跡管理サーバ120は、すべての特徴量データを返すのではなく、特徴量データ記憶部305に記憶された、各特徴量データの識別寄与度(図17)からユーザの識別に有効な特徴量データを選択して返却する(図5の説明で詳細を記述する)。
ステップS106では、証跡送信端末100にて、取得した特徴量データを用いてカメラ画像に対して顔認識を行い、ユーザの監視を開始する(図6の説明で詳細を記述する)。ユーザ監視はバックグラウンドで処理し、終了を待たずにステップS107に進む。
ステップS107における拠点選択よりも先にユーザ監視を開始するのは、第三者が証跡送信端末100にログインし、拠点選択せずに端末を利用した場合にも、なりすましを検出して証跡管理サーバ120に記憶するためである。
ステップS107では、証跡送信端末100が接続している拠点を、証跡管理サーバ120から取得した拠点の中から選択する。
証跡管理サーバ120は、ユーザの利用可能な拠点として、拠点情報記憶部505に記憶された拠点情報(図13)を全て返す。
図13には、拠点情報テーブルが示されており、拠点情報テーブルは、拠点を一意に識別するためのID、拠点の名称を示す名前、拠点の名称の仮名、拠点の住所などを含んで構成されている。
また、ユーザ記憶部502のユーザ情報の在宅権限がTRUEである場合は、ユーザの住所から名前が自宅の拠点情報を生成して返却する。
返却する拠点情報には、ログイン情報記憶部503に記憶されたログイン情報(図15)から、各拠点での最終ログイン日時を取得しマージする。
図15には、ログイン情報テーブルが示されており、ログイン情報テーブルは、ログイン自身を一意に識別するためのID、ユーザID、ログインされた証跡送信端末100を一意に識別するための端末ID、ログインした拠点のIDを示す拠点ID、ログインした拠点がユーザの自宅であるか否かを示す在宅(TRUEの場合、自宅)、ユーザの動静、ログインした日時、及びログアウトした日時を含んで構成されている。
このような拠点情報は、例えば、図8に示すような、ユーザに拠点を選択させる画面に表示させ、この表示された拠点情報から、ユーザが所望する拠点情報を選択させる。
証跡送信端末100では、Wifi網等から近辺住所を取得でき、取得した拠点リストから接続元拠点を特定できる場合、自動で接続元拠点を決定してユーザに確認する。
その例を、図8に示す拠点確認画面601を表示し、特定できた接続元拠点に関する情報を表示する。
間違っていた場合、拠点リストを近辺住所から近い順に表示し、ユーザに選択させる(最終ログイン日時が新しいものを先に表示する)。
その例として、拠点確認画面601に対して、ユーザが、Cancelボタン602を押下すると、図8の上段に示すように、作業拠点の選択画面604が表示され、近辺住所から近い順に拠点情報を表示して、ユーザに選択させる。
近辺住所を取得できたが特定には至らない場合、拠点リストを近辺住所から近い順に表示し、ユーザに選択させる。
同様に、拠点確認画面601に対して、ユーザが、Cancelボタン602を押下すると、図8の上段に示すように、作業拠点の選択画面604が表示され、近辺住所から近い順に拠点情報を表示して、ユーザに選択させる。
近辺住所を取得できない場合、拠点リストを最終ログイン日時の新しい順に表示し、ユーザに選択させる(同じ住所の拠点がある場合はまとめて表示する)。
その例として、拠点確認画面601に対して、ユーザが、Cancelボタン602を押下すると、図8の下段に示すように、作業拠点の選択画面604が表示され、最終ログイン日時の新しい順に拠点情報を表示して(同じ住所の拠点がある場合はまとめて表示する)、ユーザに選択させる。
作業拠点の選択画面604において、拠点が選択された状態で、OKボタン605が押下されると、選択した拠点情報が証跡管理サーバ120に送信され、ログイン情報記憶部503に登録されたユーザのログイン情報の拠点に登録される。
ステップS108では、ログイン情報記憶部503から検索した、同一拠点のユーザの証跡送信端末に特徴量データ更新通知を送信する。
ステップS109では、特徴量データ更新通知を受信した証跡送信端末100は、証跡管理サーバ120から利用すべき特徴量データを取得し、特徴量データ記憶部305のデータを置換する。
その際、証跡管理サーバ120は、当該ユーザだけでなく、同一拠点のユーザの特徴量データも返却する。この際、ステップS105と同様に、すべての特徴量データを返すのではなく、特徴量データ記憶部305に記憶された、各特長量データの識別寄与度からユーザの識別に有効な特徴量データを選択して返却する(図5の説明で詳細を記述する)。
ステップS110では、ログイン情報記憶部503から検索した同一拠点のユーザおよび、チーム記憶部511から検索したユーザの所属するチームのメンバー(被監視者IDリスト)に対して、動静更新通知を送信する。
ステップS111では、動静更新通知を受信した証跡送信端末100は、現在表示しているチームまたは拠点のユーザの動静情報を、証跡管理サーバ120から取得して表示する。
同様に、チーム記憶部511から検索したユーザの管理者の証跡監査端末110に対して動静更新通知を送信する。動静更新通知を受信した証跡監査端末110は、現在表示しているチームに所属するユーザの動静を取得して表示する。
この動静更新通知を受けた際に証跡送信端末100でユーザの動静情報を表示する画面の例を図9に示す。
動静確認画面701は、現在、選択した拠点におけるユーザの動静情報を表示する画面であり、図9の上段の左に示すように、田中花子及び鈴木一郎の2名が在籍状態となり、動静確認画面701に表示されているが、佐藤元子が、当該拠点に出社し、鈴木一郎が退社すると、図9の上段の右に示すように、田中花子及び佐藤元子の2名が在籍状態として表示され、鈴木一郎が他社したことを示すオフラインの状態として表示している。
ステップS112では、ユーザが証跡送信端末100からログアウトすることをトリガーとして、ステップS106のユーザ監視を終了し、証跡管理サーバ120からログアウトする。
ステップS113では、ユーザ監視を終了する際、特徴量データ記憶部305に記憶された識別寄与度を証跡管理サーバ120に送信し、証跡管理サーバ120は、受信した識別寄与度を特徴量データ記憶部508に記憶する。
ログアウトの際、証跡管理サーバ120は、ログイン情報記憶部503のユーザの最新のログイン情報のログアウト日時を登録し、状態をオフラインにする。そして、ステップS114では、各証跡監査端末110に対して動静更新通知を行う。
以下、図5を参照して、図4のS104およびS108の更新通知をトリガーとして特徴量データの更新が行われ、証跡送信端末100にてユーザおよび同一拠点のユーザを識別可能になるまでの流れを説明する。
証跡送信端末100の処理は、そのCPU201により、ROM203から取得したプログラムおよびデータをRAM202に記憶することで実行される。また、証跡管理サーバ120の処理は、そのCPU201により、ROM203から取得したプログラムおよびデータをRAM202に記憶することで実行される。
ステップS201では、証跡送信端末100が、証跡管理サーバ120に対して、顔認識のための特徴量データの取得を要求する。
要求のタイミングとしては、ユーザが証跡送信端末100を通して証跡管理サーバ120へのログインに成功したとき、または証跡送信端末100が証跡管理サーバ120から特徴量データの更新通知を受けたときである。
ステップS202では、ユーザと同一拠点から接続しているユーザをログイン情報記憶部503から検索する。
ステップS204の時点では、自身の最新のログイン情報に拠点は設定されていないはずなので、自身のみを同一拠点のログインユーザとして取得する。
ステップS207の時点では、自身の最新のログイン情報の拠点と同じ値を持つ(ログアウトしていない)ログイン情報のユーザを取得する。
ステップS203からステップS208では、ステップS202で取得した同一拠点のユーザ全員を識別するのに有効な特徴量データを抽出する。
ステップS204では、特徴量データ記憶部508(図17)に記憶された、該当ユーザの識別寄与度情報を登録の新しいものからX件取得し、その中で、識別必須回数(この特徴量データがなければ識別に失敗していた回数)が1以上のものを取得する。
図17には、識別寄与度情報テーブルが示されており、識別寄与度情報テーブルは、識別寄与度情報を一意に識別するためのID、特徴量を一意に識別するための特徴量データID、識別寄与度情報を登録したときの日時、認証を行った回数を示す認識回数、認証を行った結果得られた類似度の平均値を示す平均類似度、及び認証必須回数を含んで構成されている(詳細後述)。
ステップS205では、ステップS204で取得した件数が、最大値N件を超える場合は、ステップS206へ処理を進め、超えない場合は、ステップS207へ処理を進める。
ここで最大値を設けているのは、あまり多くの特徴量データを使っても、他人許容率(第三者をユーザ本人と認識してしまう確率)が上がる可能性があるからである。
また、主に識別する対象がユーザ本人であるため、それ以外の同一拠点のユーザの場合はN’(<N)件を最大値にしてもよい。
顔認識技術は、撮影した人などの顔を検出し、その属性情報を読み取る技術であり、顔認識技術を用いた個人識別は、顔画像から算出した特徴量を学習した識別器によって他の顔画像から算出した特徴量との類似性を算出し、その顔の人物を識別する技術である。
この学習の際、同一人物を同じ識別子に関連付けて学習させるが、あまり多くの人物の特徴量を学習しすぎると、識別器の性能にもよるが、本人拒否(登録者を登録者として識別できない)率または他人許容(登録されていない人物を登録者として識別してしまう)率がそれぞれ悪くなってしまう可能性がある。
ステップS206では、ステップS204で取得したものの中から識別必須回数が多いもの上位M(<N)件を取得する。さらに、平均類似度が高いもの上位(N−M)件を取得し、合計N件の特徴量データを取得する。
ステップS207では、得られた特徴量データを証跡送信端末100に返却するリストに追加する。
ステップS209では、証跡管理サーバ120が取得した特徴量データを証跡送信端末100に返却し、証跡送信端末100は、取得した特徴量データを特徴量データ記憶部305に記憶する。
以上により、証跡送信端末100では、ユーザおよび同一拠点のログインユーザを識別できるようになる。
ちなみに、ステップS204からステップS207の識別に有効な特徴量データの検索方法は一例であり、各パラメータから総合的なスコアを算出して上位のものを選択したり、前述のスコアに対して新しいデータほど上方補正をかけて選択されやすくしたり、いろいろな選択方法が考えられる。
以下、図6を参照して、図4のステップS106のユーザ監視において、ユーザの動静および不正アクセスの検出と、不正アクセス発生時に監視者へ不正アクセス登録通知を行う流れについて説明する。
この処理は、証跡送信端末100のCPU201により、ROM203から取得したプログラムおよびデータをRAM202に記憶することで実行される。
ステップS301では、現在の動静および不正アクセスを初期化する。動静は最初何もない状態であり、不正アクセスは正常な状態である。
ステップS302では、カメラ画像に対して顔認識を適用し、顔認識結果(図21)、顔認識結果から求まる動静(図18)および不正アクセス(図19)、およびその際のカメラ画像あるいはスクリーンショット(図20)を、証跡記憶部313に記憶する。カメラ画像からその動静および不正アクセスの状態を検出する(詳細は図7の説明にて記述する)。
図21には、顔認識結果テーブルが示されており、顔認識結果テーブルは、顔認識の結果を一意に識別するためのID、顔認識を行ったカメラ画像の画像を一意に識別するための画像ID、顔検出が行われたカメラ画像における顔の位置を示す座標、顔検出を行った結果としての類似度、顔認識を行った結果、特定されたユーザのユーザIDを含む構成を備えている。
図18には、動静情報テーブルが示され、動静情報テーブルは、動静情報を一意に識別するためのID、ユーザID、端末ID、ユーザの動静を示す状態(在籍、離籍)、監視を開始した日時、及び監視を終了した日時を含んで構成されている。
図19には、不正アクセステーブルが示されており、不正アクセステーブルは、不正アクセスを一意に識別するためのID、ユーザID、端末ID、監視されたユーザの不正アクセスの判定結果を示す状態、この状態が開始された日時、この状態が終了した日時、この不正アクセスに対して、管理者が監査を行ったか否かを示す監査状態、及び監査を行った管理者を示す監査者を含んで構成されている。
図20には、証跡画像テーブルが示されており、証跡画像テーブルは、証跡対象となる画像を一意に識別するためのID、当該画像が、カメラ画像であるかスクリーンショットであるかの種別、画像を取得した端末ID、取得した画像データ、及び取得した日時を示す撮影日時を含んで構成されている。
ステップS303では、証跡記憶部313に記憶された動静情報を元に、最新の動静(新動静)を算出する。
最も単純な算出方法としては、過去数件分の動静情報の中で、最も多い状態を新動静の状態とし、最も古い動静情報を動静の状態とする。
同様に、証跡記憶部313に記憶された不正アクセス情報を元に、最新の不正アクセス(新不正アクセス)を算出する。
ステップS304では、動静の状態と新動静の状態が異なるか(つまり状態が変化したか)確認し、異なるならステップS305へ処理を進め、同じであればステップS307に進む。
ステップS305では、動静を新動静で置き換え、その動静情報を証跡管理サーバ120に送信し、ステップS306では、証跡管理サーバ120が、受信した動静情報を証跡記憶部514に記憶する。
また、ログイン情報記憶部503に記憶されたユーザの最新のログイン情報の動静を更新する。
さらに、同一拠点のユーザをログイン情報記憶部503から検索し、ユーザの動静参照者として同一のチームに所属するユーザ(監視者、被監視者)をチーム記憶部511から検索し、各ユーザの証跡送信端末100および証跡監査端末110に動静更新通知を送信する。
このときも前述と同様に図9に示す動静確認画面701を証跡送信端末100に表示するが、証跡監査端末110には、図9の下段に示す動静全体確認画面702が表示される。
動静確認画面701については、同一拠点内のユーザの動静を確認することが可能であるが、動静全体確認画面702については、全ての拠点内のユーザの動静を確認することが可能である点が主に異なる。動静全体確認画面702では、不正アクセスの有無についても確認することが可能である。
動静確認画面701及び動静全体確認画面702について言えば、証跡監査端末110を一意に識別するための端末IDに対応する名称を表示する態様を取ることも可能である。
この場合、図12に示す端末情報テーブルを用いて、当該名称の表示を行う。この端末情報テーブルは、証跡監査端末110を一意に識別するためのIDと、証跡監査端末110の名称を示す説明を含む構成を備えている。
つまり、ログイン情報記憶部503の端末IDに該当する端末情報テーブルのIDに対応する説明を動静確認画面701あるいは動静全体確認画面702に表示する。
ステップS307では、動静の終了日時を現在時刻で更新し、証跡管理サーバ120に送信する。登録から一定時間経過しているのであれば、最新のカメラ画像およびスクリーンショットも同様に送信する。証跡管理サーバ120は、受信した証跡情報を証跡記憶部514の情報に登録または更新する。
ステップS308では、動静が在席である場合、ステップS309へ処理を進め、それ以外(離席)の場合は、ステップS310へ処理を進める。
ステップS309では、証跡記憶部313に記憶された最新の動静情報を算出した際の、カメラ画像に対する顔認識結果の類似度から、監視対象の各特徴量データの顔認識における識別寄与度を算出し、特徴量データ記憶部305に記憶する。最新の動静情報の状態が在席である場合のみ行う。
識別寄与度における平均類似度は、在席と判定された際に特徴量データの記録した全ての類似度の平均である。識別寄与度における識別必須回数は、在席と判定された際にその特徴量データがなければなりすましと判定されていた、つまり、その特徴量データでなければ本人として識別できなかった回数である。
単純に類似度が閾値(0.7)を超えるか否かで識別している場合、特徴量データ1が0.78、特徴量データ2が0.65のとき、特徴量データ1の識別寄与度の識別必須回数を1増やす。
ステップS310では、不正アクセスの状態と新不正アクセスの状態が異なるか(つまり状態が変化したか)否かを判定し、異なると判定したなら、ステップS311へ処理を進め、同じであると判定した場合、ステップS316へ処理を進める。
ステップS311では、不正アクセスを新不正アクセスで置き換え、その新たな不正アクセス情報を証跡管理サーバ120に送信する。ステップS312では、証跡管理サーバ120が、受信した不正アクセス情報を証跡記憶部514に記憶する。
ステップS313では、不正アクセスの状態が正常であるか確認し、正常でなければ、その新たな不正アクセス情報を証跡管理サーバ120に送信し、ステップS314に処理を進め、正常であればステップS318に処理を進める。
ステップS314では、証跡管理サーバ120が、受信した不正アクセス情報を証跡記憶部514に記憶する。
ステップS315では、受信した不正アクセスの状態が「覗き見(同僚)」であれば、ステップS318に処理を進め、そうでなければ、管理者への通知が必要と判断してステップS316に処理を進める。
ステップS316では、証跡管理サーバ120が、ユーザの所属チームの監視者をチーム記憶部511から検索し、各監視者の証跡監査端末110に不正アクセス登録通知を送信する。
不正アクセス登録通知を受信した証跡監査端末110は、不正アクセスの監査を監視者に促し、ユーザ情報の表示を更新する。
ここでも、前述したように、証跡監査端末110において、図9の下段に示す動静全体確認画面702が表示され、不正アクセスの有無を動静全体確認画面702で確認することが可能となる。
さらに、この例に関して、図10を用いて説明する。図10の上段の左に示される動静確認画面701では、田中花子及び鈴木一郎の2名が在籍状態となり、動静確認画面701に表示されているが、図10の下段の最も左に示される703では、在籍状態である田中花子の証跡送信端末100に田中花子以外の人物が撮影されているが、この人物が、同一拠点で在籍状態である鈴木一郎以外の人物が撮影されているため、不正アクセス登録通知を行う。
一方、図10の下段の左から2番目に示される704では、在籍状態である田中花子の証跡送信端末100に田中花子以外の人物が撮影されているが、この人物が、同一拠点で在籍状態である鈴木一郎が撮影されているため、不正アクセス登録通知を行わず、処理を終了する。
また、図10の上段の左に示すように、田中花子及び鈴木一郎の2名が在籍状態である状態から、佐藤元子が、当該拠点に出社し、鈴木一郎が退社すると、図10の上段の右に示すように、田中花子及び佐藤元子の2名が在籍状態として表示され、鈴木一郎が退社したことを示すオフラインの状態として表示している。
この状態で、図10の下段の左から3番目に示される705では、在籍状態である田中花子の証跡送信端末100に田中花子以外の人物が撮影されているが、この人物が、出社した、同一拠点で在籍状態である佐藤元子が撮影されているため、不正アクセス登録通知を行わず、処理を終了する。
一方、図10の下段の最も右に示される706では、在籍状態である田中花子の証跡送信端末100に田中花子以外の人物が撮影されているが、この人物が、退社した鈴木一郎が撮影されているため、不正アクセス登録通知を行う。
ステップS317では、不正アクセスの終了日時を現在時刻で更新し、証跡管理サーバ120に送信する。登録から一定時間経過しているのであれば、最新のカメラ画像およびスクリーンショットも同様に送信する。証跡管理サーバ120は、受信した証跡情報を証跡記憶部514の情報に登録または更新する。
ステップS318では、ログアウト等の命令を受けていればフローを終了し、そうでなければステップS302に処理を戻し、ステップS302からステップS317の処理を繰り返す。
以下、図7を参照して、図6のステップS302における、カメラ画像に対して顔認識を行い、その結果からユーザの動静および不正アクセスの状態を算出する流れについて説明する。この処理は、証跡送信端末100のCPU201により、ROM203から取得したプログラムをRAM202に記憶することで実行される。
ステップS401では、カメラデバイス210からカメラ画像の入力を受け付ける。ステップS402では、カメラ画像に対して顔検出と顔識別を行い、複数の顔認識結果(図21)を得る。
顔検出は、カメラ画像内に存在する顔の領域を検出する処理であり、顔識別は、検出した顔から特徴量データを抽出し、特徴量データ記憶部105に記憶された特徴量データとのマッチングを行い、各特長量データとの類似度を算出する処理であり、さらに算出した類似度を元に、その顔が誰の顔であるか識別する。
最も簡単な識別方法は、一定の閾値を超えた最も高い類似度を記録した特徴量データのユーザに識別することである。識別方法は他にも既存技術が多数あり、何れの技術を適用しても良い。
ステップS403では、ステップS402で顔を検出できなかった場合は、ステップS404に処理を進め、顔をひとつだけ検出できた場合は、ステップS405に処理を進め、顔を複数検出できた場合は、ステップS408に処理を進める。
ステップS404では、カメラデバイス210に誰も映っていないので、「離席」の動静と「正常」の不正アクセスを証跡記憶部313に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
ステップS405では、検出できた顔がユーザとして識別されたか否かを判定し、識別されたと判定すれば、ステップS406に処理を進め、識別されていないと判定すれば、ステップS407に処理を進める。
ステップS406では、カメラデバイス210にユーザが一人だけ映っているので、「在席」の動静と「正常」の不正アクセスを証跡記憶部313に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
ステップS407では、カメラデバイス210にユーザ以外の人物が一人だけ映っているので、「離席」の動静と「なりすまし」の不正アクセスを証跡記憶部313に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
ステップS408では、検出できた顔の中にユーザとして識別された顔があるか否かを判定し、識別されたと判定すれば、ステップS409に処理を進め、識別されていないと判定すれば、ステップS410に処理を進める。
ステップS409では、カメラデバイス210にユーザが映っているので、「在席」の動静を証跡記憶部313に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
ステップS410では、カメラデバイス210にユーザが映っていないので、「離席」の動静を証跡記憶部313に記憶する。また、カメラ画像とスクリーンショット、顔認識結果も記憶する。
ステップS411では、すべての顔が同一拠点のユーザの顔として識別されているか確認し、識別されていれば、ステップSS412に処理を進め、識別されていなければ、ステップS413に処理を進める。同一拠点のユーザ判定は、ログイン情報記憶部503から検索したユーザに関する情報を用いて判定することが可能である。
ステップS412では、カメラデバイス210に映っているのはユーザ本人とその同一拠点のユーザであるので、「覗き見(同僚)」の不正アクセスを証跡記憶部313に記憶する。
ステップS413では、カメラデバイス210に同一拠点のユーザ以外の第三者が映っているので、「覗き見」の不正アクセスを証跡記憶部313に記憶する。
[第2の実施形態]
次に第2の実施形態について説明するが、第1の実施形態では、主に証跡送信端末100において、ユーザの監視に関する処理を行ったが、第2の実施形態では、ユーザの監視に関する主な処理を証跡管理サーバ120で行う構成を備える。
尚、第1の実施形態と第2の実施形態において、同様な構成を備える場合、あるいは同様な処理を行う場合は、詳細な説明を省略して、同一の符号を用いて説明を行い、相違する場合にのみ詳細な説明を行う。
次に、図22を用いて、本発明の証跡送信端末100、証跡監査端末110および証跡管理サーバ120の機能ブロック図について説明する。尚、各機能ブロックが処理する詳細な制御については、後述するフローチャートにて説明する。
まず、証跡送信端末100の機能構成について説明する。
特徴量データ更新部304は、通信I/Fコントローラ208を介して証跡管理サーバ120の特徴量データ取得部507から、ユーザおよびユーザと同じ拠点から接続するログインユーザの特徴量データを取得し、特徴量データ記憶部305のデータを更新する。特徴量データ記憶部305は、顔認識に使用する顔の特徴量データを記憶する。
映像入力部307は、カメラデバイス210より映像を取得し、映像送信部802へ出力し、映像送信部802は、映像入力部307から出力された映像を証跡管理サーバ120の映像受信部901へ送信する。
最後に、証跡管理サーバ120の機能構成について説明する。
映像受信部901は、映像送信部802から送信された映像を受信して、特徴量データ抽出部903および状態検出部905にその映像を送信する。
特徴量データ更新部902は、特徴量データ取得部507から、ユーザおよびユーザと同じ拠点から接続するログインユーザの特徴量データを取得し、特徴量データ記憶部907のデータを更新する。特徴量データ記憶部907は、顔認識に使用する顔の特徴量データを記憶する。
特徴量データ抽出部903は、特徴量データの登録がない場合や、ユーザの識別がうまくいかない際にユーザを識別するための特徴量データを抽出する。
特徴量データ抽出部903は、映像受信部901から受信した映像からユーザの顔を抽出し、その顔を使って識別するかどうかユーザに確認する。確認がとれたら、顔から特徴量データを抽出し、それを特徴量データ記憶部508に記憶する。その際、監査情報更新通知部510に、特徴量データの登録通知を要求する。顔の抽出および特徴料データの抽出は顔認識部904に依頼する。
顔認識部904は、特徴量データ抽出部903から受信した映像から顔を抽出し、さらにその顔から識別に利用可能な特徴量データを抽出する。また、状態検出部905から受信した映像から顔を抽出し、各顔から抽出した特徴量データと状態検出部905から受信した特徴量データとの類似度を算出する。
識別寄与度取得部906は、ログアウト前に特徴量データ記憶部305に記憶された識別寄与度を特徴量データ記憶部508に記憶する。
状態検出部905は、映像受信部901から受信した映像と特徴量データ記憶部907に記憶された特徴量データから、正規のログインユーザによる動静「在席」、「離席」、同一拠点のログインユーザによる不正アクセス「なりすまし」、「覗き見」、拠点外の第三者による不正アクセス「なりすまし」、「覗き見」の状態を検出する。
映像と特徴量データを顔認識部904に送信し、得られた顔認識結果から現在の状態を算出する。検出した動静と不正アクセスおよび顔認識結果、その際のカメラ画像は証跡制御部908に送信する。
証跡制御部908は、状態検出部905から受信した動静または不正アクセスおよび顔認識結果、カメラ画像を証跡記憶部909に記憶する。その際、ビデオコントローラ206から取得したスクリーンショットも合わせて記憶する。
証跡制御部908は、証跡記憶部909に記憶された動静および不正アクセスを総合的に見て、動静および不正アクセスの状態がそれぞれ現在どの状態なのか、その状態に切り替わったのはいつか類推し、切り替わった際の証跡情報(動静または不正アクセス、顔認識結果、カメラ画像を証跡取得部910に送信する。
同じ動静および不正アクセスが継続した際は、その終了日時を随時更新して証跡取得部910に送信する。また、その終了日時のカメラ画像を証跡取得部910に送信する。状態の判定に使われなくなった古い証跡情報は、証跡記憶部909から随時破棄する。
証跡記憶部909は、証跡情報(動静、不正アクセス、顔認識結果、カメラ画像)を記憶する。
ユーザ情報更新通知部911は、ユーザがログインおよびログアウトした際およびユーザの動静が変化した際に、そのユーザの接続元拠点に所属するログインユーザ全員の証跡送信端末100の更新通知受信部315に動静更新通知を送信する。
また、ユーザ情報更新通知部911は、ユーザがログインおよびログアウトした際および特徴量データが承認された際に、そのユーザの接続元拠点に所属するログインユーザ全員の証跡送信端末100の更新通知受信部315に特徴量データ更新通知を送信する。
特徴量データ取得部507は、ユーザの特徴量データと、同一拠点のログインユーザの特徴量データを特徴量データ更新部902へ返却する。
証跡取得部910は、証跡制御部908から送信された証跡情報を受信し、証跡記憶部912に記憶する。また、新規の不正アクセスを受信した際、監査情報更新通知部510に不正アクセス発生通知を要求する。
証跡記憶部912は、証跡情報として、動静情報、不正アクセス情報、カメラ画像を記憶する。
証跡監査操作処理部515は、証跡監査端末110の特徴量データ承認操作部404による特徴量データの更新情報を受信し、特徴量データ記憶部508の特徴量データを更新する。
以下、図23を参照して、本実施形態のテレワーク管理システムにおいて、テレワークを実施するユーザが証跡送信端末100にログインし、ログアウトするまでの一連の流れを説明する。基本的には、図4に示すフローチャートと同様な処理を行うため、異なる処理についてのみ説明を行う。
証跡管理サーバ120が証跡送信端末100から監視対象となったことを受けて、証跡送信端末100にかかる特徴量データを特徴量データ記憶部508から取得して、特徴量データ記憶部907に記憶する。
証跡管理サーバ120は、すべての特徴量データを登録するのではなく、特徴量データ記憶部508に記憶された、各特徴量データの識別寄与度(図17)からユーザの識別に有効な特徴量データを選択して登録する(図24の説明で詳細を記述する)。尚、特徴量データ記憶部907には、図17に示すテーブルに対して、監視対象となる証跡送信端末100が属する拠点IDに対応して各情報を記憶しているものとする。
ステップS502では、証跡管理サーバ120にて、取得した特徴量データを用いてカメラ画像に対して顔認識を行い、ユーザの監視を開始する(図25の説明で詳細を記述する)。ユーザ監視はバックグラウンドで処理し、終了を待たずにステップS107に進む。
ステップS108では、ログイン情報記憶部503から検索した、同一拠点のユーザの証跡送信端末100において特徴量データが更新されたことを検出する。
ステップS109では、特徴量データが更新されたことを検出した証跡送信端末100に関して、証跡管理サーバ120は、利用すべき特徴量データを取得し、特徴量データ記憶部907のデータを置換する。
その際、証跡管理サーバ120は、当該ユーザだけでなく、同一拠点のユーザの特徴量データも登録する。この際、ステップS501と同様に、すべての特徴量データを登録するのではなく、特徴量データ記憶部508に記憶された、各特長量データの識別寄与度からユーザの識別に有効な特徴量データを選択して登録する(図24の説明で詳細を記述する)。
ステップS112では、ユーザが証跡送信端末100からログアウトすることをトリガーとして、ステップS106のユーザ監視を終了し、証跡管理サーバ120からログアウトする。
ステップS113では、ユーザ監視を終了する際、証跡管理サーバ120は、特徴量データ記憶部907に記憶された識別寄与度を特徴量データ記憶部508に記憶する。
以下、図24を参照して、図23のS104およびS108の更新通知をトリガーとして特徴量データの更新が行われ、証跡送信端末100にてユーザおよび同一拠点のユーザを識別可能になるまでの流れを説明する。基本的には、図5に示すフローチャートと同様な処理を行うため、異なる処理についてのみ説明を行う。
証跡送信端末100の処理は、そのCPU201により、ROM203から取得したプログラムおよびデータをRAM202に記憶することで実行される。また、証跡管理サーバ120の処理は、そのCPU201により、ROM203から取得したプログラムおよびデータをRAM202に記憶することで実行される。
ステップS601では、証跡管理サーバ120は、ログインされた証跡管理サーバ120にかかる特徴量データの登録の指示を受付ける。
登録の指示としては、ユーザが証跡送信端末100を通して証跡管理サーバ120へのログインに成功したとき、または証跡管理サーバ120が証跡送信端末100にかかる特徴量データの更新されたことを検出したときである。
ステップS207では、得られた特徴量データを特徴量データ記憶部907に登録するリストに追加する。
ステップS602では、証跡管理サーバ120は、リストに追加した特徴量データを特徴量データ記憶部907に記憶する。
以上により、証跡送信端末100では、ユーザおよび同一拠点のログインユーザを識別できるようになる。
以下、図25を参照して、図23のステップS502のユーザ監視において、ユーザの動静および不正アクセスの検出と、不正アクセス発生時に監視者へ不正アクセス登録通知を行う流れについて説明する。基本的には、図6に示すフローチャートと同様な処理を行うため、異なる処理についてのみ説明を行う。
この処理は、証跡管理サーバ120のCPU201により、ROM203から取得したプログラムおよびデータをRAM202に記憶することで実行される。
ステップS701では、現在の動静および不正アクセスを初期化する。動静は最初何もない状態であり、不正アクセスは正常な状態である。
ステップS702では、カメラ画像に対して顔認識を適用し、顔認識結果(図21)、顔認識結果から求まる動静(図18)および不正アクセス(図19)、およびその際のカメラ画像(図20)を、証跡記憶部909に記憶する。カメラ画像からその動静および不正アクセスの状態を検出する(詳細は図26の説明にて記述する)。尚、図18から図21の各テーブルには、監視対象となる証跡送信端末100が属する拠点IDに対応して各情報を記憶しているものとする。
ステップS703では、証跡記憶部909に記憶された動静情報を元に、最新の動静(新動静)を算出する。
最も単純な算出方法としては、過去数件分の動静情報の中で、最も多い状態を新動静の状態とし、最も古い動静情報を動静の状態とする。
同様に、証跡記憶部909に記憶された不正アクセス情報を元に、最新の不正アクセス(新不正アクセス)を算出する。
ステップS704では、動静の状態と新動静の状態が異なるか(つまり状態が変化したか)確認し、異なるならステップS705へ処理を進め、同じであればステップS707に進む。
ステップS705では、動静を新動静で置き換え、ステップS706では、動静情報を証跡記憶部912に記憶する。
また、ログイン情報記憶部503に記憶されたユーザの最新のログイン情報の動静を更新する。
さらに、同一拠点のユーザをログイン情報記憶部503から検索し、ユーザの動静参照者として同一のチームに所属するユーザ(監視者、被監視者)をチーム記憶部511から検索し、各ユーザの証跡送信端末100および証跡監査端末110に動静更新通知を送信する。
このときも前述と同様に図9に示す動静確認画面701を証跡送信端末100に表示するが、証跡監査端末110には、図9の下段に示す動静全体確認画面702が表示される。
ステップS707では、動静の終了日時を現在時刻で更新する。登録から一定時間経過しているのであれば、最新のカメラ画像も同様に登録する。証跡管理サーバ120は、これらの証跡情報を証跡記憶部912の情報に登録または更新する。
ステップS708では、動静が在席である場合、ステップS709へ処理を進め、それ以外(離席)の場合は、ステップS710へ処理を進める。
ステップS709では、証跡記憶部912に記憶された最新の動静情報を算出した際の、カメラ画像に対する顔認識結果の類似度から、監視対象の各特徴量データの顔認識における識別寄与度を算出し、特徴量データ記憶部907に記憶する。最新の動静情報の状態が在席である場合のみ行う。
ステップS710では、不正アクセスの状態と新不正アクセスの状態が異なるか(つまり状態が変化したか)否かを判定し、異なると判定したなら、ステップS711へ処理を進め、同じであると判定した場合、ステップS716へ処理を進める。
ステップS711では、不正アクセスを新不正アクセスで置き換え、ステップS712では、不正アクセス情報を証跡記憶部912に記憶する。
ステップS713では、不正アクセスの状態が正常であるか確認し、正常でなければ、ステップS714に処理を進め、正常であればステップS718に処理を進める。
ステップS714では、不正アクセス情報を証跡記憶部912に記憶し、ステップS715では、受信した不正アクセスの状態が「覗き見(同僚)」であれば、ステップS718に処理を進め、そうでなければ、管理者への通知が必要と判断してステップS716に処理を進める。
ステップS716では、ユーザの所属チームの監視者をチーム記憶部511から検索し、各監視者の証跡監査端末110に不正アクセス登録通知を送信する。
不正アクセス登録通知を受信した証跡監査端末110は、不正アクセスの監査を監視者に促し、ユーザ情報の表示を更新する。
ここでも、前述したように、証跡監査端末110において、図9の下段に示す動静全体確認画面702が表示され、不正アクセスの有無を動静全体確認画面702で確認することが可能となる。
ステップS717では、不正アクセスの終了日時を現在時刻で更新する。登録から一定時間経過しているのであれば、最新のカメラ画像も同様に登録する。証跡管理サーバ120は、証跡情報を証跡記憶部912の情報に登録または更新する。
ステップS718では、ログアウト等の命令を受けていればフローを終了し、そうでなければステップS702に処理を戻し、ステップS702からステップS717の処理を繰り返す。
以下、図26を参照して、図25のステップS702における、カメラ画像に対して顔認識を行い、その結果からユーザの動静および不正アクセスの状態を算出する流れについて説明する。この処理は、証跡送信端末100のCPU201により、ROM203から取得したプログラムをRAM202に記憶することで実行される。基本的には、図7に示すフローチャートと同様な処理を行うため、異なる処理についてのみ説明を行う。
ステップS801では、証跡送信端末100においてカメラデバイス210で撮影して得られたカメラ画像を取得する。ステップS802では、カメラ画像に対して顔検出と顔識別を行い、複数の顔認識結果(図21)を得る。
顔検出は、カメラ画像内に存在する顔の領域を検出する処理であり、顔識別は、検出した顔から特徴量データを抽出し、特徴量データ記憶部907に記憶された特徴量データとのマッチングを行い、各特長量データとの類似度を算出する処理であり、さらに算出した類似度を元に、その顔が誰の顔であるか識別する。
最も簡単な識別方法は、一定の閾値を超えた最も高い類似度を記録した特徴量データのユーザに識別することである。識別方法は他にも既存技術が多数あり、何れの技術を適用しても良い。
ステップS803では、ステップS802で顔を検出できなかった場合は、ステップS804に処理を進め、顔をひとつだけ検出できた場合は、ステップS805に処理を進め、顔を複数検出できた場合は、ステップS808に処理を進める。
ステップS804では、カメラデバイス210に誰も映っていないので、「離席」の動静と「正常」の不正アクセスを証跡記憶部909に記憶する。また、カメラ画像と顔認識結果も記憶する。
ステップS805では、検出できた顔がユーザとして識別されたか否かを判定し、識別されたと判定すれば、ステップS806に処理を進め、識別されていないと判定すれば、ステップS807に処理を進める。
ステップS806では、カメラデバイス210にユーザが一人だけ映っているので、「在席」の動静と「正常」の不正アクセスを証跡記憶部909に記憶する。また、カメラ画像と顔認識結果も記憶する。
ステップS807では、カメラデバイス210にユーザ以外の人物が一人だけ映っているので、「離席」の動静と「なりすまし」の不正アクセスを証跡記憶部909に記憶する。また、カメラ画像と顔認識結果も記憶する。
ステップS808では、検出できた顔の中にユーザとして識別された顔があるか否かを判定し、識別されたと判定すれば、ステップS809に処理を進め、識別されていないと判定すれば、ステップS810に処理を進める。
ステップS809では、カメラデバイス210にユーザが映っているので、「在席」の動静を証跡記憶部909に記憶する。また、カメラ画像と顔認識結果も記憶する。
ステップS810では、カメラデバイス210にユーザが映っていないので、「離席」の動静を証跡記憶部909に記憶する。また、カメラ画像と顔認識結果も記憶する。
ステップS811では、すべての顔が同一拠点のユーザの顔として識別されているか確認し、識別されていれば、ステップS812に処理を進め、識別されていなければ、ステップS813に処理を進める。同一拠点のユーザ判定は、ログイン情報記憶部503から検索したユーザに関する情報を用いて判定することが可能である。
ステップS812では、カメラデバイス210に映っているのはユーザ本人とその同一拠点のユーザであるので、「覗き見(同僚)」の不正アクセスを証跡記憶部909に記憶する。
ステップS813では、カメラデバイス210に同一拠点のユーザ以外の第三者が映っているので、「覗き見」の不正アクセスを証跡記憶部909に記憶する。
尚、各ステップにおいて、証跡制御部908は、不正アクセスが発生したと判定したタイミングで、証跡送信端末100に対して、スクリーンショットを取得する要求を行い、証跡送信端末100は、スクリーンショットを取得する要求を受付けると、現在、CRT211に表示されている情報に関してスクリーンショットを取得して証跡管理サーバ120へ送信する。
証跡制御部908は、このスクリーンショットを受信すると、証跡記憶部909に記憶した動静、カメラ画像、顔認識結果に対応して記憶する。
[第3の実施形態]
次に第3の実施形態について説明するが、第1の実施形態及び第2の実施形態では、不正アクセスの状態が覗き見である場合、ステップS411及びステップS811において、全員が同一拠点のログインユーザが映されているか否かによって判定を行った。
この判定によって、全員が同一拠点のログインユーザであれば、覗き見(同僚)として、全員が同一拠点のログインユーザでなければ、覗き見としているが、このような状態にかかわらず、本実施形態では、映されているユーザが、本人と同僚を示す「覗き見(本人+同僚)」であるのか、あるいは、同僚のみを示す「覗き見(同僚のみ)」であるのか、上司を示す「覗き見(上司)」によって、登録すべく状態を変える態様を備える。
このような態様を備える理由として、本人が離籍中に同僚が覗き込んだ場合、本人が意図しない情報が漏洩するリスクが顕在し、上司が覗き込んだ場合、不正アクセスとみなさなくてもセキュリティを確保できることを想定しており、監視者の監視負荷を低減すること等が可能である。
本判定は、何れもステップS411及びステップS811において行われるものであり、「覗き見(本人+同僚)」の判定については、ステップS808において映された顔にユーザが存在し、かつ全員が同一拠点のログインユーザであると判定した場合である。
一方、「覗き見(同僚のみ)」の判定については、ステップS808において映された顔にユーザが存在し、かつ全員が同一拠点のログインユーザであると判定した場合である。
さらに、「覗き見(上司)」の判定については、ステップS808において映された顔にユーザが存在するかいないにかかわらず、かつユーザの上司であると判定した場合であるが、この判定は、図27に示す上司情報テーブルを用いて、ユーザの上司が写りこんでいるか否かを判定する。
上司情報テーブルは、ユーザの上司に関する情報を記憶しており、上司を一意に示すためのID(ユーザIDに該当)に対応して、上司の配下に所属するユーザを一意に示すためのユーザIDを含めて記憶している。
また、覗き見である状態として、上司が覗き込んだ場合を示したが、上司にかかるものとして、同僚が映されている場合、その同僚の上司が同じか否かによって状態を分けても良い。
本人も含め同僚の上司を上司情報テーブルに記憶された情報から特定して、全て同じ上司であるか否かによって、「覗き見(本人+同僚)」及び「覗き見(同僚のみ)」であって上司が同じあるいは上司が異なるといった状態を判定しても良い。
以上、本発明によれば、ユーザの監視環境下に応じて、本人以外の人物が撮影されたことによって不正利用と見做さない場合において、ユーザが使用している情報処理装置利用を制御することなく、また、管理者などへの通知を抑止することで、ユーザまたは管理者の監視に係る労力を軽減することで、効率的な監視方法を実現することができる。
以上、実施形態例を詳述したが、本発明は、例えば、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明におけるプログラムは、各処理方法をコンピュータが実行可能(読み取り可能)なプログラムであり、本発明の記憶媒体は、各処理方法をコンピュータが実行可能なプログラムが記憶されている。
なお、本発明におけるプログラムは、各装置の処理方法ごとのプログラムであってもよい。
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読取り実行することによっても、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク等を用いることができる。
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータで稼働しているOS等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ,データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステム、あるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。