JP2022086525A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】対処の必要性を高精度に判定することができる情報処理装置、情報処理方法、及びプログラムを提供する。【解決手段】情報処理装置は、ユーザ毎の判定基準情報を記憶するとともに、バックグラウンドで行われるユーザの認証に成功した場合に生成され、ユーザを一意に特定可能なユーザ特定情報を取得する。そして、ユーザの判定対象情報を取得し、取得した判定対象情報と、ユーザ特定情報により特定されるユーザに対応する判定基準情報と、に基づいて、ユーザへの対処の必要性を判定する。これにより、対処の必要性を高精度に判定する。【選択図】図１４

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

撮影した画像を解析し、撮影画像から検出した人物の行動を監視する監視システムが利用されている。このような監視システムとして、特許文献１には、学習モデルを用いて学習することにより、撮影画像から検出された人物への対処の必要性の度合いを算出する技術が開示されている。

特開２０２０－０７７３３７号公報

しかしながら、例えば撮影画像から検出した人物の姿勢や行動が同じであっても、当該人物が高齢者であるか否かや、男性であるか女性であるかといった個人の特性に応じて対処の必要性が異なることがある。そのため、特許文献１に開示された技術では、対処の必要性を高精度に判定するという観点からすると未だ十分ではない。

本発明は上述の課題を解決するものであり、対処の必要性を高精度に判定することができる情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。

上記の目的を達するため、本発明に係る情報処理装置は、
ユーザ毎の判定基準情報を記憶する記憶手段と、
バックグラウンドで行われるユーザの認証に成功した場合に生成され、前記ユーザを一意に特定可能なユーザ特定情報を取得する特定情報取得手段と、
ユーザの判定対象情報を取得する判定対象情報取得手段と、
前記判定対象情報取得手段で取得した前記ユーザの前記判定対象情報と、前記特定情報取得手段で取得した前記ユーザ特定情報により特定されるユーザに対応する前記判定基準情報と、に基づいて、前記ユーザへの対処の必要性を判定する判定手段と、
を備える。

本発明に係る情報処理装置によれば、対処の必要性を高精度に判定することができる。

本発明の実施の形態に係る情報処理システムの構成を示す図である。 図１に示す認証装置の正面図である。 図１に示す認証装置のブロック図である。 図１に示す認証装置のハードウエア構成の一例を示す図である。 図１に示す認証装置の情報処理ブロックの図である。 図１に示す認証装置で取得する生体情報を記憶するための認証用生体情報データベースのテーブルを示す図である。 図１に示す認証装置で取得する振舞情報を記憶するための認証用振舞情報データベースのテーブルを示す図である。 図１に示す認証装置の傾き情報テーブルを示す図である。 図１に示す認証装置を使用するユーザの個人情報を記憶する個人特定用情報データのデータ構成を示す図である。 図１に示す認証装置に記憶された場面情報テーブルを示す図である。 図１に示す情報処理装置のブロック図である。 図１に示す情報処理装置のハードウエア構成の一例を示す図である。 図１に示す情報処理装置の情報処理ブロックの図である。 図１に示す情報処理装置が記憶する基準情報一覧の一例を示す図である。 図１に示す情報処理装置が記憶する対処情報の一例を示す図である。 認証処理の一例を示すフローチャートである。 認証処理の一例を示すフローチャートである。 判定指示処理の一例を示すフローチャートである。 特定情報生成処理の一例を示すフローチャートである。 判定処理の一例を示すフローチャートである。 変形例における情報処理システムの構成を示す図である。 変形例における情報処理装置のブロック図である。 変形例における情報処理システムの構成を示す図である。

以下、本発明における情報処理装置７を、図１に示す情報処理システム１００に適用した例を用いて説明する。なお、図中同一または相当する部分には同一符号を付す。情報処理システム１００は、図１に示すように、認証装置１と情報処理装置７と、を備えており、認証装置１がユーザの認証を行い、当該認証に成功した場合に、当該ユーザを特定可能なユーザ特定情報を生成する。そして、情報処理装置７がユーザ特定情報を用いて、当該ユーザへの対処の必要性を判定する。

なお、この実施の形態では、認証装置１がいわゆるスマートフォンやタブレット端末であり、情報処理装置７がパーソナルコンピュータやスマートフォンやタブレット端末である。また、理解を容易にするため、以下では、当該情報処理装置７にてオンライン授業を受講するユーザに対する対処の必要性を判定する場合を例に、以下説明する。なお、認証装置１と情報処理装置７とは、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷｉ－ｆｉ（登録商標）Ｂｌｕｅｔｏｏｔｈ（登録商標）などにより互いに通信可能に接続される。

図２は、認証装置１の正面図である。図示する認証装置１は、いわゆるスマートフォンである。認証装置１は、正面にユーザの顔を撮影するインカメラ１１Ａと、スピーカ１２Ａと、通話用のマイクであるマイクロフォン１２Ｂと、認証装置１の傾きを検出する傾き検出部１３と、操作入力部１４及び表示部１９を兼ねるタッチパネルと、ユーザの指紋を検出する左指紋センサ１５Ａ及び右指紋センサ１５Ｂと、認証装置１の現在位置を検出する位置検出部１６とを備える。また、認証装置１は、背面に、ユーザから見た人間、風景、物体等を撮影することができるメインカメラ１１Ｂを備える。

ここで、以下では、インカメラ１１Ａとメインカメラ１１Ｂとを総称して、撮影部１１と称する。以下では、スピーカ１２Ａと、通話用のマイクであるマイクロフォン１２Ｂとを総称して、音声入出力部１２と称する。また、以下では、左指紋センサ１５Ａ及び右指紋センサ１５Ｂを総称して、指紋検出部１５と称する。

図３は、認証装置１の構成を示すブロック図である。認証装置１は、通信部１０と、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６と、認証装置記憶部１７と、認証装置制御部１８と、表示部１９とを備える。

通信部１０は、図示せぬ通信網を介して外部のサーバ、クラウド、情報処理装置７等と通信し、各種データの送受信をするデータ通信部と、図示せぬ基地局との間で、電話通信用の無線信号を送受信する音声通信部とを含む。データ通信部は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ－ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて構成することができる。また、音声通信部は、基地局との間で、電話通信用の無線信号を送受信する通信機器を用いて構成することができる。

撮影部１１は、図２に示したインカメラ１１Ａとメインカメラ１１Ｂとを含む。撮影部１１には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を用いたカメラ、ビデオカメラ等、静止画または動画を撮影し、撮影した静止画または動画を取得することが可能な各種カメラを用いることができる。

音声入出力部１２は、図２に示したスピーカ１２Ａと、マイクロフォン１２Ｂとを含む。スピーカ１２Ａは、音声通話で受信した音声、通信網を介して外部から取得した音楽データ等を出力する。マイクロフォン１２Ｂは、ユーザの音声をピックアップする装置である。

傾き検出部１３は、認証装置１の傾き、揺れ等を検出することができる装置である。傾き検出部１３は、加速度センサ、角度センサ、地磁気を検出する磁気センサ等の認証装置１の傾きを検出できる各種センサを用いて構成することができる。なお、傾き検出部１３を構成するセンサの個数及び種類は、単数又は複数のどちらでもよい。

操作入力部１４は、図２に示したユーザからの操作を入力することができる装置である。指紋検出部１５は、ユーザの指紋を検出するセンサである。指紋検出部１５は、図２に示した左指紋センサ１５Ａ及び右指紋センサ１５Ｂを含む。なお、指紋検出部１５には、指紋センサに限らず、ユーザの指紋を検出することができるセンサ、機器等であれば、いずれのものを用いてもよい。

位置検出部１６は、認証装置１の現在位置を検出することができる装置である。位置検出部１６は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の、認証装置１の現在位置を検出することができる機器を用いて構成することができる。

認証装置記憶部１７は、ユーザの認証処理を行うための認証処理プログラム１７０と、認証装置１で取得したユーザの生体情報をまとめた認証用生体情報データベース１７１と、認証装置１で取得したユーザの振舞情報をまとめた認証用振舞情報データベース１７２と、認証装置１の傾き状態を記憶するための傾き情報テーブル１７３と、認証装置１を使用するユーザを特定するための個人特定用情報データ１７４と、対処の必要性を判定する場面の情報を記憶するための場面情報テーブル１７５と、対処の必要性を判定するユーザとその場面とを特定するためのユーザ特定情報を生成するための特定情報生成プログラム１７６と、を備える。また、認証装置記憶部１７には、認証装置１で実行される各種アプリケーションのプログラムが記憶されている。

認証処理プログラム１７０は、認証装置１で取得したユーザの生体情報及び振舞情報に基づいてユーザを認証する処理を行うプログラムである。認証用生体情報データベース１７１は、ユーザの生体情報に関する情報と認証に用いる認証値とを保存するためのデータベースである。

認証用振舞情報データベース１７２は、認証装置１を操作する際のユーザ特有の振舞に関する情報、認証の合格条件等を保存するためのデータベースである。ここで、ユーザ特有の振舞とは、ユーザが認証装置１を操作する際の挙動、表示部１９の画面とユーザの顔の距離、キーストローク、持ち方、認証装置１が使用される位置、特定の通信網への接続回数、特定のアプリケーションの起動、操作等、ユーザ固有のものをいう。

傾き情報テーブル１７３は、傾き検出部１３により検出された認証装置１の傾き角度と、取得日時、取得のための待機時間を記憶するためのテーブルである。個人特定用情報データ１７４は、認証装置１を使用するユーザを特定するためユーザコード、名前、生年月日等を含むデータである。

場面情報テーブル１７５は、対処の必要性を判定する場面の情報を記憶するためのテーブルである。特定情報生成プログラム１７６は、個人特定用情報データ１７４と場面情報テーブル１７５とに含まれる各種データをもとにして、対処の必要性を判定するユーザとその場面とを特定するためのユーザ特定情報を生成するプログラムである。ユーザ特定情報には、対処の必要性を判定するユーザを特定するための情報と、対処の必要性を判定する場面と、を示す情報が含まれる。すなわち、対処の必要性を判定するユーザ毎、および対処の必要性を判定する場面毎に異なるユーザ特定情報が生成される。

なお、認証処理プログラム１７０と、認証用生体情報データベース１７１と、認証用振舞情報データベース１７２と、傾き情報テーブル１７３と、特定情報生成プログラム１７６とについては、その詳細を後述する。

認証装置制御部１８は、認証装置記憶部１７に記憶された各種プログラムを実行する。また、認証装置制御部１８は、通信部１０と、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６とから各種データを取得して処理し、認証装置記憶部１７の各種データベース、テーブルに記憶する。また、認証装置制御部１８は、撮影部１１に撮影する指示を送信することで、任意のタイミングで撮影部１１に撮影をさせることができる。

表示部１９は、認証装置制御部１８で実行される各種プログラムの処理内容を表示する。また、表示部１９は、撮影部１１で撮影された静止画、動画等の画像、操作入力部１４から入力されたデータ等を表示することもできる。表示部１９は、操作入力部１４上に積層されており、図２に示したタッチパネルを構成する。

次に、認証装置１のハードウエア構成の一例を、図４を参照しつつ説明する。認証装置１は、各種プログラムを実行するプロセッサ２１と、各種プログラムを展開するためのメモリ２２と、各種表示用データを出力する表示コントローラ２３と、各種表示用データを表示する表示機器２４と、撮影部１１、音声入出力部１２等を接続するためのＩ／Ｏポート２５と、各種プログラム及び各種データを記憶する記憶機器２６と、外部と通信し各種データを送受信する通信機器２７とを備える。このプロセッサ２１と、メモリ２２と、表示コントローラ２３と、表示機器２４と、Ｉ／Ｏポート２５と、記憶機器２６と、通信機器２７とは、データバス２８を介して相互に接続されている。

プロセッサ２１は、記憶機器２６に記憶された各種プログラムを読み出してメモリ２２に展開し、実行する。プロセッサ２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置を用いて構成することができる。また、メモリ２２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の揮発性または不揮発性の半導体メモリといった記憶素子および記憶媒体を用いて構成することができる。

表示コントローラ２３は、表示機器２４に各種表示用データを出力するコントローラである。表示コントローラ２３は、ビデオカード、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックボード等の映像信号出力装置を用いて構成することができる。また、表示機器２４は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）モニタ等の表示装置を用いて構成することができる。

Ｉ／Ｏポート２５は、撮影部１１と、音声入出力部１２と、傾き検出部１３と、操作入力部１４と、指紋検出部１５と、位置検出部１６とを接続することができる接続用ポートである。Ｉ／Ｏポート２５には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート等、機器を接続可能な各種ポートを用いて構成することができる。

記憶機器２６は、プロセッサ２１で実行する各種プログラム、各種プログラムで使用するための各種データを記憶する機器である。記憶機器２６は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置を用いて構成することができる。

通信機器２７は、図１に示す情報処理装置７と通信し、各種データの送受信をするデータ通信部と、図示せぬ基地局との間で、電話通信用の無線信号を送受信する音声通信部とを含む。データ通信部は、無線ＬＡＮ、Ｗｉ－ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて構成することができる。また、音声通信部は、基地局との間で、電話通信用の無線信号を送受信する通信機器を用いて構成することができる。

上述のプロセッサ２１により、図３に示した認証装置１の認証装置記憶部１７に記憶された認証処理プログラム１７０および特定情報生成プログラム１７６を実行することにより、認証装置制御部１８に図５に示す情報処理ブロック（各機能部）が実現される。これにより、認証装置１は、ユーザ本人の顔の画像、指紋、声紋等の生体情報と、ユーザが認証装置１を操作する際の特有の挙動、操作状態等による振舞情報とに基づいてユーザ本人を認証するとともに、認証装置１における各種処理を実行することができる。

プロセッサ２１により実現される情報処理ブロックは、通信部１０や撮影部１１等から認証用の生体情報及び振舞情報を取得する認証用情報取得部１８１と、ユーザを本人か否か認証する認証部１８２と、表示部１９に認証結果を表示させる表示処理部１８３と、認証部１８２からの指示により認証装置記憶部１７に記憶された各種データベース及びテーブルの情報を更新する認証用情報更新部１８４と、図１に示した情報処理装置７と通信部１０を介してデータを送受信するためのデータ送受信部１８５と、特定用情報のデータを生成する特定情報生成部１８６と、その他の各種処理を実行する処理部１８７である。

認証用情報取得部１８１は、通信部１０、撮影部１１等から認証用の生体情報及び振舞情報を取得する。認証部１８２は、認証用情報取得部１８１から取得した認証用の生体情報及び振舞情報と、認証装置記憶部１７の各種データベースに記憶された認証値、合格条件等に基づいて、ユーザの認証を行う。

表示処理部１８３は、認証部１８２からユーザの認証結果を受信し、認証結果に応じたメッセージ、画像等を表示部１９に表示させる。認証用情報更新部１８４は、認証部１８２からの指示に基づいて、認証装置記憶部１７に記憶された各種データベース、テーブルに記憶されたデータを更新する。

データ送受信部１８５は、図１に示す情報処理装置７と通信部１０を介してデータを送受信する。特定情報生成部１８６は、図３に示した個人特定用情報データ１７４と場面情報テーブル１７５とに含まれる各種データをもとにして、対処の必要性を判定するユーザとその場面とを特定するためのユーザ特定情報を生成する。処理部１８７は、認証部１８２において、認証装置１を使用するユーザが本人と認証された場合に、必要な各種処理を実行する。

次に、認証装置記憶部１７に記憶される認証用生体情報データベース１７１と、認証用振舞情報データベース１７２と、傾き情報テーブル１７３と、個人特定用情報データ１７４と場面情報テーブル１７５の各テーブルおよびデータの構成について、図６Ａから図６Ｅを参照しつつ以下に説明する。まず、認証用生体情報データベース１７１のテーブルには、図６Ａに示すように、顔、音声等の生体情報の種類と、ユーザ本人の生体情報である登録情報と、図５に示した認証用情報取得部１８１で取得した生体情報とを比較して求める認証値が記憶されている。

認証用生体情報データベース１７１のテーブルに記憶されている登録情報は、ユーザ本人の生体情報である。登録情報には、認証装置１で認証処理を行う前に予め登録された情報であり、ユーザ本人を認証できた場合に更新される。登録情報には、例えば、生体情報の種類が顔であれば顔画像から求めた特徴量が、生体情報の種類が音声であれば音声データまたは音声データから求めた特徴量または音声データとその特徴量の両方が、生体情報の種類が虹彩であれば虹彩データが、生体情報の種類が指紋であれば指紋の画像から求めた特徴量が、それぞれ記憶されている。

本実施の形態において、生体情報の類似の判定は、認証値により行われる。認証値は、登録情報と、図５に示した認証用情報取得部１８１で取得した生体情報とを比較した結果を基に求められる値である。認証値は、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に０に近づき、類似しない場合に１に近づく。認証用生体情報データベース１７１には、認証値の平均値と、認証値を判定するための閾値である認証閾値と、認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた認証許容値とが含まれる。

まず、認証値の平均値は、登録情報と、認証用情報取得部１８１で取得した生体情報とを比較し求められた認証値の平均の値である。認証閾値は、登録情報と、認証用情報取得部１８１で取得した生体情報とを比較し、比較した結果を基に求められた認証値が、この値未満の場合、ユーザをユーザ本人と判定するための基準となる値である。

認証閾値は、ユーザの認証の状況に合わせて変動する値であり、予め上限値が定めされている。上限値は、その値以上となった場合、ユーザをユーザ本人と生体情報のみで認証すべきではないとされる値である。例えば、認証閾値のデフォルト値を、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に近づく認証値０と類似しない場合に近づく認証値１との間の０．４とする。この場合、認証閾値の上限値は、認証閾値のデフォルト値に、類似する場合に近づく認証値０と、類似しない場合に近づく認証値１との一割の半分である０．０５を加えた値、すなわち、０．４５とする。なお、認証閾値のデフォルト値や加算する値については、ユーザの年齢層や性別などのグループや個人毎に異なるようにしてもよい。

また、認証許容値は、登録情報と認証用情報取得部１８１で取得した生体情報とを比較し、比較した結果を基に求められた認証値が、この値以上の場合、ユーザをユーザ本人ではないと判定するための基準となる値である。認証許容値は、上述のとおり認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた値である。このため、認証許容値は、認証閾値と認証許容範囲値との変動に応じて、変動する値である。

認証許容値には、予め上限値が定められており、これを最大認証許容値と呼ぶ。最大認証許容値は、この値以上の場合、ユーザを他人と判断すべきとされる値である。例えば、最大認証許容値は、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に近づく認証値０と、類似しない場合に近づく認証値１との中間の０．５とする。

認証閾値と認証許容値との間の値を認証許容範囲値という。認証許容範囲値は、ユーザがユーザ本人か否かグレーな場合を示す値である。認証値が認証許容範囲値内である場合、ユーザがユーザ本人か否かを生体情報だけで判断せず、ユーザ特有の振舞情報を含めて判断する。具体的には、認証値が認証許容範囲値内である場合、ユーザ特有の振舞情報が合格条件に合致している場合に、ユーザ本人と認証する。

また、認証値が認証許容範囲値内である場合、ユーザ特有の振舞情報が合格条件に合致してない場合に、ユーザ本人と認証しないものとする。振舞情報によるユーザの認証を、以下では、補助認証と称する。認証許容範囲値は、この範囲に収まる認証値であればユーザ本人として概ね考えても良いと思われる値を、予め定めたものである。認証許容範囲値は、例えば、登録情報と認証用情報取得部１８１で取得した生体情報とが類似する場合に近づく認証値０と、類似しない場合に近づく認証値１との一割以下の０．０８とする。

なお、認証閾値が上限値になった場合、認証許容範囲値は、最大認証許容値から認証閾値の上限値を引いた値とする。例えば、認証閾値の上限値を０．４５とし、最大認証許容値を０．５とした場合、認証許容範囲値は０．０５となる。したがって、認証閾値が上限値になっている場合、認証許容範囲値の値は、認証閾値が上限値になっていない場合よりも小さな値をとる。

次に、認証用振舞情報データベース１７２のテーブルについて、図６Ｂを参照しつつ、以下に説明する。認証用振舞情報データベース１７２のテーブルには、通信接続、イベント実行等のユーザの振舞の種類と、図５に示した認証用情報取得部１８１で取得した取得情報と、各振舞における最新状況と、各振舞の合格条件とが記憶されている。

取得情報には、例えば、振舞の種類が通信接続であれば接続先のアドレス、ＳＳＩＤ（Ｓｅｒｖｉｃｅ Ｓｅｔ Ｉｄｅｎｔｉｆｉｅｒ）、ＢＳＳＩＤ（Ｂａｓｉｃ Ｓｅｒｖｉｃｅ Ｓｅｔ Ｉｄｅｎｔｉｆｉｅｒ）等が、振舞の種類がイベント実行であれば予めスケジュール帳に保存されたイベントの行われる場所の名称、住所等の場所情報が、振舞の種類が顔と端末装置との距離であれば距離が、デバイス接続であれば接続先のデバイスを示す名称、ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）等が、それぞれ記憶されている。

各振舞における最新状況は、例えば、振舞の種類が通信接続であれば、取得情報に示された通信接続先にこれまで接続等された合計回数である。通信接続先への接続等の合計回数は、初期値が０であり、通信接続先への接続等により回数が加算されていく。また、振舞の種類がイベント実行であれば、取得情報に記憶されている場所とユーザの現在地との間の距離が記憶される。

振舞の種類が、顔と認証装置１との距離であれば、それまでユーザがユーザ本人と認証された際に算出された顔と認証装置１との距離の平均距離が記憶される。顔と認証装置１との平均距離は、ユーザがユーザ本人と認証される度に更新される。なお、顔と認証装置１との平均距離の初期値は、図６Ａに示した生体情報を、認証装置１でユーザ本人の認証を行う前に予め登録する際に求められた距離とする。

また、振舞の種類がデバイス接続であれば、取得情報に記憶された名称、ＩＤ等が示すデバイスに接続されているか否かが記憶されている。デバイス接続は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）によりペア設定されたデバイスと認証装置１との接続である。各振舞の合格条件は、各振舞の信頼性を担保できる条件を予め定めた条件である。

次に、図６Ｃに示すのは、傾き情報テーブル１７３のテーブルである。傾き情報テーブル１７３は、図５に示した傾き検出部１３から取得された認証装置１の傾きを示す角度と、その角度を取得した取得日時、傾きを検出するめのインターバルとなる待機時間とを記憶している。認証装置１の傾きを示す角度は、待機時間が経過する毎に図５に示した認証用情報取得部１８１により傾き検出部１３から取得され、更新される。また、その角度を更新する際、角度を取得した取得日時も更新される。

図６Ｄに示すのは、個人特定用情報データ１７４のデータ構成である。個人特定用情報データ１７４は、ユーザを示すユーザコード、ユーザの名前、生年月日、住所、電話番号、ユーザの使用するメールアドレス等、ユーザの個人情報が含まれている。なお、個人特定用情報データ１７４に含まれる各種データを、以下では個人情報データと称する。

図６Ｅに示すのは、場面情報テーブル１７５のテーブルである。場面情報テーブル１７５には、番号と、場面情報と、場面コードとの項目が含まれている。番号は、場面を便宜的に区分するための番号である。場面情報は、対処の必要性を判定する場面を示す情報であり、図示するように、期間を含む情報である。例えば、同じオンライン授業であっても、授業期間が異なれば異なる場面情報として記憶されている。場面コードは、当該場面情報を一意に特定するためのコードである。また、図示する「オンライン授業１」は数学の授業、「オンライン授業２」は英会話の授業、といったように、授業内容についても当該場面コードにより一意に特定可能となっている。

続いて図２は、情報処理装置７の構成について説明する。図７は、情報処理装置７の構成を示すブロック図である。情報処理装置７は、上述したように、パーソナルコンピュータやスマートフォンやタブレット端末であり、通信部７０と、撮影部７１と、音声入出力部７２と、操作入力部７３と、情報処理装置記憶部７７と、情報処理装置制御部７８と、表示部７９とを備える。なお、認証装置１と同様に、傾き検出部１３、指紋検出部１５、および位置検出部１６をさらに備えていてもよい。

情報処理装置７における通信部７０、撮影部７１、音声入出力部７２、操作入力部７３については認証装置１００における通信部１０、音声入出力部１２、操作入力部１４と同様であるため、説明を省略する。

撮影部７１は、対処の必要性を判定する対象のユーザを撮影するカメラを含む。この例における撮影部７１は、オンライン授業を受講中のユーザを撮影する。撮影部７１には、撮影部１１と同様、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を用いたカメラ、ビデオカメラ等、静止画または動画を撮影し、撮影した静止画または動画を取得することが可能な各種カメラを用いることができる。

情報処理装置記憶部７７は、判定対象のユーザに対する対処の必要性を判定する判定処理を行うための判定処理プログラム７７０と、ユーザと場面に応じた基準情報を示す基準情報一覧７７１と、対処情報７７２と、を備える。また、情報処理装置記憶部７７には、情報処理装置７で実行される各種アプリケーションのプログラムが記憶されている。

判定処理プログラム７７０は、撮影部７１で撮影したユーザの映像に基づいて、当該ユーザへの対象の必要性を判定する判定処理を行うプログラムである。基準情報一覧７７１は、認証装置１で生成されたユーザ特定情報を用いて、当該ユーザ特定情報により特定されるユーザおよび場面に応じた基準情報（判定閾値）を特定可能な、ユーザおよび場面に応じた基準情報の一覧である。対処情報７７２は、ユーザへの対象の必要有りと判定された場合に実行する対処内容を示すデータベースである。

なお、判定処理プログラム７７０と、基準情報一覧７７１と、対処情報７７２と、については、その詳細を後述する。

情報処理装置制御部７８は、情報処理装置記憶部７７に記憶された各種プログラム（オンライン授業のプログラムも含む）を実行する。また、情報処理装置制御部７８は、通信部７０と、撮影部７１と、音声入出力部７２と、操作入力部７３とから各種データを取得して処理し、情報処理装置記憶部７７の各種データベース、テーブル等に記憶する。また、情報処理装置制御部７８は、撮影部７１に撮影する指示を送信することで、判定対象のユーザを撮影部７１に撮影をさせる。

表示部７９は、情報処理装置制御部７８で実行される各種プログラム（オンライン授業のプログラムも含む）の処理内容を表示する。また、表示部７９は、撮影部７１で撮影された静止画、動画等の画像、操作入力部７３から入力されたデータ等を表示することもできる。なお、情報処理装置７がスマートフォンやタブレット端末である場合、当該表示部７９は、操作入力部７３上に積層され、タッチパネルを構成すればよい。

次に、情報処理装置７のハードウエア構成の一例を、図８を参照しつつ説明する。情報処理装置７は、認証装置１と同様に、各種プログラムを実行するプロセッサ８１と、各種プログラムを展開するためのメモリ８２と、各種表示用データを出力する表示コントローラ８３と、各種表示用データを表示する表示機器８４と、撮影部７１、音声入出力部７２等を接続するためのＩ／Ｏポート８５と、各種プログラム及び各種データを記憶する記憶機器８６と、外部との通信し各種データを送受信する通信機器８７とを備える。このプロセッサ８１と、メモリ８２と、表示コントローラ８３と、表示機器８４と、Ｉ／Ｏポート８５と、記憶機器８６と、通信機器８７とは、データバス８８を介して相互に接続されている。なお、プロセッサ８１、メモリ８２、表示コントローラ８３、表示機器８４、Ｉ／Ｏポート８５、記憶機器８６、通信機器８７、およびデータバス８８については、認証装置１におけるプロセッサ２１、メモリ２２、表示コントローラ２３、表示機器２４、Ｉ／Ｏポート２５、記憶機器２６、通信機器２７、およびデータバス２８と同様であるため、説明を省略する。

プロセッサ８１により、図７に示した情報処理装置７の情報処理装置記憶部７７に記憶された判定処理プログラム７７０を実行することにより、情報処理装置制御部７８に図９に示す情報処理ブロック（各機能部）が実現される。これにより、情報処理装置７は、オンライン授業を受講中のユーザに対する対象の必要性の判定等の処理を実行することができる。

プロセッサ２１により実現される情報処理ブロックは、通信部１０や撮影部１１等から判定用の情報を取得する判定用情報取得部７８１と、対処の必要性を判定する判定部７８２と、表示部７９に判定結果や対処情報を表示させる表示処理部７８３と、判定部７８２からの指示により情報処理装置記憶部７７に記憶された基準情報一覧７７１を含む各種データベース及びテーブルの情報を更新する判定用情報更新部７８４と、図１に示した認証装置１と通信部７０を介してデータを送受信するためのデータ送受信部７８５と、その他の各種処理を実行する処理部７８７である。

判定用情報取得部７８１は、通信部１０、撮影部１１等から判定用の判定用情報を取得する。判定部７８２は、判定用情報取得部７８１から取得した判定用情報と、情報処理装置記憶部７７の基準情報一覧７７１により示される判定閾値等に基づいて、対処の必要性の判定を行う。

具体的に、判定用情報取得部７８１は、通信部１０を介して認証装置１からユーザ特定情報を取得する。また、判定用情報取得部７８１は、撮影部１１から当該オンライン授業を受講中のユーザの映像を判定対象情報として取得する。なお、判定用情報取得部７８１は、この他にも、音声入出力部７２や操作入力部７３から入力された情報を取得してもよい。判定部７８２は、判定用情報取得部７８１で取得したユーザ特定情報に基づいて、情報処理装置記憶部７７の基準情報一覧７７１から判定対象のユーザとその場面に応じた判定閾値等を特定する。また、判定部７８２は、取得したユーザの映像に基づいて判定値を算出し、特定した判定閾値等と比較することで、当該ユーザへの対処の必要性を判定する。なお、判定値の算出については、例えば、ユーザの目線の高さ、頭の動きや手の動きなどといった複数の要素についての総合的な点数を算出する演算式により算出されればよい。また、当該演算式については予め定められていればよく、例えばユーザの目線の高さ、頭の動きや手の動きなどといった複数の要素毎に異なる重み付けがなされ判定値が算出されればよい。

表示処理部７８３は、判定部７８２から対処の必要性の判定結果を受信し、判定結果に応じたメッセージ、画像等を表示部７９に表示させる。具体的に、表示処理部７８３は、判定部７８２にて対処の必要でありと判定された場合に、処理部７８７と協働して、判定用情報取得部７８１で取得したユーザの映像に基づいて、情報処理装置記憶部７７の対処情報７７２から対処内容を決定し、決定した対処内容を表示する。なお、この例では対処内容としてメッセージや画像等を表示部７９に表示させる例を示しているが、これに加え、例えば音声入出力部７２から音声を出力するようにしてもよい。

判定用情報更新部７８４は、判定部７８２からの指示に基づいて、情報処理装置記憶部７７に記憶された基準情報一覧７７１や対処情報７７２など、各種データベース、テーブルに記憶されたデータを更新する。具体的に、判定用情報更新部７８４は、判定部７８２による判定がより高精度となるよう、判定部７８２による判定結果等を入力データとした機械学習を行い、情報処理装置記憶部７７に記憶された基準情報一覧７７１や対処情報７７２の内容を更新する。

データ送受信部７８５は、図１に示した認証装置１と通信部７０を介してデータを送受信する。処理部７８７は、上述したように、表示処理部７８３と協働して情報処理装置記憶部７７の対処情報７７２から対処内容を決定する処理や、その他の各種処理を実行する。

次に、情報処理装置記憶部７７に記憶される基準情報一覧７７１と対処情報７７２のデータの構成について、図１０Ａおよび図１０Ｂを参照しつつ説明する。図１０Ａに示す基準情報一覧７７１は、ユーザおよび場面に応じた基準情報の一覧であり、図１０Ａに示すように、ユーザ特定情報により特定されるユーザと場面に応じた判定閾値等が基準情報として記憶されている。

判定閾値は、対処が不要であるか否かを判定するための基準となる値を示し、取得したユーザの映像に基づいて算出された判定値が当該判定閾値未満であれば、当該ユーザへの対処は不要であると判定されることとなる。判定許容値は、判定値が判定閾値以上である場合に当該判定値と比較される値であり、ユーザへの対処が必要か不要かのグレーゾーンの上限値を示す値である。具体的に、オンライン授業を受講中のユーザであるＡさんの映像に基づいて算出された判定値が、図１０Ａに示す判定閾値の３．００未満であれば、Ａさんへの対処は不要であると判定され、３．５０以下であればグレーゾーンとして判定され、３．５０を超える値であれば、対処が必要であると判定されることとなる。なお、また、図示するように、同じ場面であっても、ユーザＡとユーザＢといったように、ユーザ毎に異なる判定閾値等が設定されている。また、この実施の形態では、グレーゾーンとして判定された回数が許容回数を超えた場合、対処が必要であると判定するため、図１０Ａに示すように許容回数が予め設定されている。例えば、予め定められた期間内（例えば１時間以内）にグレーゾーンとして判定された回数が５回を超えた場合、図１０Ａに示すように、Ａさんへの対処が必要であると判定することとなる。なお、図示する例では許容回数として、グレーゾーンとして判定された回数に基づいて対処が必要であるか否かを判定する例を示しているが、グレーゾーンと判定された割合や、連続してグレーゾーンと判定された回数を基準としてもよい。なお、図示する例では、ユーザ間で許容回数が共通であり、場面に応じて異なる例を示しているが、ユーザ毎、および場面毎に異なるようにしてもよい。

図１０Ｂに示す対処情報７７２は、ユーザへの対象の必要有りと判定された場合に実行する対処内容を示すデータベースであり、図１０Ｂに示すように、場面とユーザ毎の、基準値に応じた対処内容が記憶されている。対処情報７７２は、ユーザへの対象の必要有りと判定された場合に参照される。具体的に、オンライン授業を受講中のユーザであるＡさんへの対処が必要であると判定された場合、取得したＡさんの映像に基づいてＡさんの目線の高さが算出される。そして、図１０Ｂに示す基準と比較され、目線の高さが２０ｃｍ未満である状態が１分以上継続していれば、図示するように「起きろ」のメッセージが表示され、目線の高さが２０ｃｍ未満である状態が３０秒から１分未満である場合には、図示するように「寝るな」のメッセージが表示されることとなる。なお、対処内容は同一の場面であっても対象ユーザによって異なっていてもよく、過去の対処回数に応じて異なるようにしてもよい。例えば、オンライン授業において過去に５回以上対処が必要であると判定されたユーザについては対処内容として音声出力も合わせて行われるようにしてもよい。すなわち、対処情報７７２は、過去の対処回数に応じて異なる対処内容が記憶されていてもよい。

以上が、情報処理システム１００における認証装置１と情報処理装置７の構成である。続いて認証装置１と情報処理装置７の動作について、図１１Ａ～図１４を参照して説明する。なお、この実施の形態では、上述したように、オンライン授業を受講中のユーザに対する対処の必要性を判定する場合を例に説明する。

まず、認証装置１における認証処理においてユーザの認証が行われる。そして判定指示処理が実行されることで、認証に成功した場合にユーザ特定情報を生成し、生成したユーザ特定情報を情報処理装置７に送信して判定を開始させる。判定指示処理には、ユーザ特定情報を生成する特定情報生成処理が含まれる。ユーザ特定情報を受信した情報処理装置７では、当該受信に伴ってオンライン授業の受講を開始させるとともに、当該ユーザ特定情報により特定されるユーザおよび場面における対処の必要性を判定する判定処理を行う。

まず、認証処理について、図１１Ａおよび図１１Ｂを参照して説明する。認証装置１は、電源投入後処理のイニシャライズ処理の実行が完了すると、もしくは、スリープ状態から復帰すると、認証が成功するまで各機能の操作を許さないロック状態に入る。このロック状態に入る、若しくは、各機能の操作を行う際に認証が要求されると、図３に示した認証装置制御部１８は、認証装置記憶部１７に記憶された認証処理プログラム１７０を実行し、ユーザがユーザ本人か否かを判別する。また、生体情報としてユーザの顔画像を用いるものとする。

認証処理を開始すると、図５に示した認証用情報取得部１８１は、撮影部１１に認証装置１を操作しているユーザの顔写真を撮影させる。具体的に、認証用情報取得部１８１は、認証装置１の正面に向き合っているユーザの顔写真を、インカメラ１１Ａで撮影させる。これにより、認証用情報取得部１８１は、撮影部１１から撮影したユーザの顔写真を取得する（ステップＳ１０１）。

続いて認証用情報取得部１８１は、取得したユーザの顔写真がブレていないか判定する（ステップＳ１０２）。ユーザの顔写真がブレていた場合（ステップＳ１０２；ＮＯ）、認証用情報取得部１８１は、撮影部１１にユーザの顔写真の撮影をリトライさせる（ステップＳ１０３）。また、ユーザの顔写真がブレていなかった場合（ステップＳ１０２；ＹＥＳ）、認証用情報取得部１８１は、撮影部１１に撮影させたユーザの顔写真からユーザの顔が検出できるか判定する（ステップＳ１０４）。

ユーザの顔写真からユーザの顔が検出できない場合（ステップＳ１０４；ＮＯ）、認証用情報取得部１８１は、撮影部１１にユーザの顔写真の撮影をリトライさせる（ステップＳ１０３）。なお、ユーザの顔写真からユーザの顔が検出できない場合、今操作しているユーザにこれ以上操作をさせないようにロックをかける、他の認証方法を利用する旨のメッセージを表示する等をしてもよい。また、ユーザの顔写真からユーザの顔が検出できた場合（ステップＳ１０４；ＹＥＳ）、認証用情報取得部１８１は、検出したユーザの顔の画像の特徴量を求める。認証用情報取得部１８１は、求めたユーザの顔の画像の特徴量を判定部１８２に送信する。

判定部１８２は、図３に示した認証装置記憶部１７に記憶されている認証用生体情報データベース１７１を取得する。判定部１８２は、図６Ａに示した認証用生体情報データベース１７１のテーブルから、生体情報の種類のうち「顔」に対応付けられた登録情報に記憶された顔画像の特徴量と、認証値の認証許容値及び認証閾値を取得する。判定部１８２は、認証用生体情報データベース１７１から取得した登録情報の顔画像の特徴量と、認証用情報取得部１８１から受信した顔画像の特徴量とを比較し、比較の結果を基に顔の認証値を求める。判定部１８２は、求めた顔の認証値が認証用生体情報データベース１７１から取得した認証閾値以上か否かを判定する（ステップＳ１０５）。

求めた顔の認証値が認証閾値以上の場合（ステップＳ１０５；ＹＥＳ）、判定部１８２は、求めた顔の認証値が認証用生体情報データベース１７１から取得した認証許容値以下か否かを判定する（ステップＳ１０６）。求めた顔の認証値が認証許容値以下の場合（ステップＳ１０６；ＹＥＳ）、認証装置１を使用しているユーザがユーザ本人か否かグレーであるため、判定部１８２は振舞情報による認証である補助認証を実行する。まず、判定部１８２は、認証用情報取得部１８１に通信部１０から現在接続している通信接続先を取得させる。判定部１８２は、認証用情報取得部１８１から、取得させた通信部１０の現在の通信接続先を受信する。

続いて、判定部１８２は、図３に示した認証装置記憶部１７から認証用振舞情報データベース１７２を取得する。判定部１８２は図６Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類のうち「通信接続」に対応つけられた取得情報、回数、合格条件を取得する。例えば、図６Ｂに示すように、「通信接続」の取得情報にはＳＳＩＤであるＡＢＣ＿ＷＬＡＮと１２３ＷＬＡＮとが記憶されている。このＡＢＣ＿ＷＬＡＮでは、接続した回数に３１回、合格条件として接続回数が１００回以上と記憶されている。また、１２３ＷＬＡＮでは、接続した回数に１５７回、合格条件として接続回数が１００回以上と記憶されている。なお、以下では合格条件を満たす場合を信頼するものと呼び、合格条件を満たさない場合を信頼しないものと呼ぶ。

判定部１８２は、認証用情報取得部１８１から受信した通信部１０の現在の通信接続先と、認証用振舞情報データベース１７２から取得した取得情報とを比較し、現在の通信接続先が信頼する接続先か否か判定する（ステップＳ１０７）。ここで、例えば、通信部１０の現在の通信接続先としてＳＳＩＤのＡＢＣ＿ＷＬＡＮが取得されているものとする。認証用振舞情報データベース１７２に記憶された振舞の種類「通信接続」の取得情報におけるＡＢＣ＿ＷＬＡＮは、接続した回数が３１回であり、合格条件の接続回数が１００回以上である。このため、現在の通信接続先は信頼する通信接続先ではないため（ステップＳ１０７；ＹＥＳ）、信頼するイベントを実行しているか否かを判定する（ステップＳ１０８）。

判定部１８２は、認証用情報取得部１８１に操作入力部１４から直前に実行したイベントの内容を取得させる。判定部１８２は、認証装置１に備えられたカレンダーから現在の日時に予定があるか否かと、その予定が行われる場所の情報とを取得する。判定部１８２は、その日に予定が無かった場合、信頼するイベントの実行ではないものとし（ステップＳ１０８；ＹＥＳ）、顔と認証装置１との距離を算出する（ステップＳ１０９）。また、その日に予定があった場合、判定部１８２は、認証用情報取得部１８１に位置検出部１６から、現在の位置情報を取得させる。続いて、判定部１８２は、図３に示した認証装置記憶部１７から認証用振舞情報データベース１７２を取得する。

判定部１８２は、図６Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類のうち、「イベント実行」に対応つけられた取得情報と合格条件とを取得する。例えば、図６Ｂ示すように、「イベント実行」の取得情報にはイベントが行われる場所として「○×公園」及び「△●映画館」が記憶され、その両方の合格条件として「距離が１００ｍ以内」と記憶されているものとする。

ここで、例えば、認証装置１に備えられたカレンダーに、現在の日時に行われるイベントの場所として「○×公園」が記憶されているものとする。判定部１８２は、認証用情報取得部１８１に位置検出部１６から取得させた現在の位置情報と、現在の日時に行われるイベントの場所である「○×公園」の位置情報とを比較する。例えば、現在の位置情報と、イベントの場所である「○×公園」の位置情報との間の距離が１１３ｍとする。この場合、信頼するイベントの実行ではないものとし（ステップＳ１０８；ＹＥＳ）、顔と認証装置１との距離を算出する（ステップＳ１０９）。ユーザの顔と認証装置１との距離は、図２に示したインカメラ１１Ａで撮影した認証装置１の正面に向き合うユーザの顔写真における、ユーザの顔の占める割合を基づいて算出する。

続いて、判定部１８２は、図３に示した認証装置記憶部１７から認証用振舞情報データベース１７２を取得する。判定部１８２は、図６Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類のうち「顔と端末装置との距離」に対応つけられた平均距離、合格条件を取得する。例えば、図６Ｂに示すように、「顔と端末装置との距離」の平均距離には２６２ｍｍ、合格条件に平均距離のプラスマイナス２０ｍｍ以内と記憶されている。

判定部１８２は、ステップＳ１０９で算出したユーザの顔と認証装置１との距離が、認証用振舞情報データベース１７２から取得した合格条件に設定された設定範囲内か否か判定する（ステップＳ１１０）。具体的には、認証用振舞情報データベース１７２から取得した平均距離は２６２ｍｍ、合格条件は、平均距離のプラスマイナス２０ｍｍ以内であるので、２４２ｍｍから２８２ｍｍの範囲か否かを判定する。

ステップＳ１０９で算出したユーザの顔と認証装置１との距離が、２４２ｍｍから２８２ｍｍの範囲である場合（ステップＳ１１０；ＹＥＳ）、判定部１８２は、認証装置１を使用しているユーザをユーザ本人と認証する。判定部１８２は、認証用情報更新部１８４に、図２に示した認証用生体情報データベース１７１及び認証用振舞情報データベース１７２に記憶された各種データを更新させる（ステップＳ１１１）。

具体的には、認証用情報更新部１８４は、図６Ａに示した認証用生体情報データベース１７１のテーブルの生体情報の種類「顔」に対応つけられた登録情報を、登録情報に記憶されていた顔画像の特徴量に判定部１８２が認証用情報取得部１８１から受信した顔画像の特徴量を加え、更新する。続いて、認証用情報更新部１８４は、図６Ｂに示した認証用振舞情報データベース１７２のテーブルの振舞の種類「通信接続」に対応つけられた最新状況に記憶されている回数に１を加え、更新する。また、認証用情報更新部１８４は、図６Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類「顔と端末装置との距離」に対応つけられた最新状況を、記憶されている平均距離とステップＳ１０９で算出された「顔と端末装置との距離」とから求めた平均距離で更新する。

このように、認証用生体情報データベース１７１に記憶された生体情報、及び、認証用振舞情報データベース１７２に記憶された振舞情報を更新することにより、ユーザの生体情報及び振舞情報の精度が向上する。このため、ユーザの認証の精度を向上させることができる。

また、判定部１８２により求められた顔の認証値が、認証値の認証閾値以上でない場合（ステップＳ１０５；ＮＯ）、判定部１８２は、認証用情報取得部１８１に通信部１０から現在接続している通信接続先を取得させる。判定部１８２は、認証用情報取得部１８１から、取得させた通信部１０の現在の通信接続先を受信する。続いて、判定部１８２は、図２に示した認証装置記憶部１７から認証用振舞情報データベース１７２を取得する。判定部１８２は、図６Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類のうち「通信接続」に対応つけられた取得情報、回数、合格条件を取得する。判定部１８２は、認証用情報取得部１８１から受信した通信部１０の現在の通信接続先と、認証用振舞情報データベース１７２から取得した取得情報とを比較し、現在の通信接続先が信頼する接続先か否か判定する（ステップＳ１１２）。

ここで、例えば、通信部１０の現在の通信接続先としてＳＳＩＤの１２３ＷＬＡＮが取得されているものとする。認証用振舞情報データベース１７２に記憶された振舞の種類「通信接続」の取得情報における１２３ＷＬＡＮは、接続した回数が１５６回であり、合格条件の接続回数が１００回以上である。このため、現在の通信接続先は信頼する通信接続先であるため（ステップＳ１１２；ＹＥＳ）、判定部１８２は、認証装置１を使用しているユーザをユーザ本人と認証する。その後、判定部１８２は、認証間隔を現在の認証間隔よりも長くする（ステップＳ１１３）。これは、現在の通信接続先が信頼する通信接続先であれば、ユーザ本人は自宅、職場等の信頼する環境に居るものと考えられるためである。この場合、認証間隔を現在の認証間隔よりも長くし、認証の頻度を下げ必要最低限の回数認証を行うようにすれば良い。

ここで、例えば、通信部１０の現在の通信接続先としてＳＳＩＤのＡＢＣ＿ＷＬＡＮが取得されているものとする。認証用振舞情報データベース１７２に記憶された振舞の種類「通信接続」の取得情報におけるＡＢＣ＿ＷＬＡＮは、接続した回数が３１回であり、合格条件の接続回数が１００回以上である。このため、現在の通信接続先は信頼する通信接続先ではないため（ステップＳ１１２；ＮＯ）、判定部１８２は、認証装置１を使用しているユーザをユーザ本人と認証せず、認証間隔を現在の認証間隔よりも長くしない。

ここで、ステップＳ１０７において、例えば、通信部１０の現在の通信接続先としてＳＳＩＤの１２３ＷＬＡＮが取得されているものとする。認証用振舞情報データベース１７２に記憶された振舞の種類「通信接続」の取得情報における１２３ＷＬＡＮは、接続した回数が１５６回であり、合格条件の接続回数が１００回以上である。このため、現在の通信接続先は信頼する通信接続先であるため（ステップＳ１０７；ＮＯ）、判定部１８２は、認証装置１を使用しているユーザをユーザ本人と認証する。

また、ここで、ステップＳ１０８において、例えば、認証装置１に備えられたカレンダーに、現在の日時に行われるイベントの場所として「△●映画館」が記憶されているものとする。判定部１８２は、認証用情報取得部１８１に位置検出部１６から取得させた現在の位置情報と、現在の日時に行われるイベントの場所である「△●映画館」の位置情報とを比較する。例えば、現在の位置情報と、イベントの場所である「△●映画館」の位置情報との間の距離が７２ｍとする。この場合、信頼するイベントの実行であるもとのし（ステップＳ１０８；ＮＯ）、判定部１８２は、認証装置１を使用しているユーザをユーザ本人と認証する。

判定部１８２は、認証間隔を現在の認証間隔よりも長くする（ステップＳ１１３）。判定部１８２は、ユーザの顔と認証装置１との距離を算出する（ステップＳ１１４）。続いて、判定部１８２は、図３に示した認証装置記憶部１７から認証用振舞情報データベース１７２を取得する。判定部１８２は、ステップＳ１１４で算出したユーザの顔と認証装置１との距離が、認証用振舞情報データベース１７２から取得した合格条件に設定された設定範囲内か否か判定する（ステップＳ１１５）。ステップＳ１０９で算出したユーザの顔と認証装置１との距離が、設定範囲である場合（ステップＳ１１５；ＹＥＳ）、判定部１８２は、認証装置１を使用しているユーザをユーザ本人と認証する。判定部１８２は、認証用情報更新部１８４に、図３に示した認証用生体情報データベース１７１及び認証用振舞情報データベース１７２に記憶された各種データを更新させる（ステップＳ１１１）。

具体的には、認証用情報更新部１８４は、図６Ａに示した認証用生体情報データベース１７１のテーブルの生体情報の種類「顔」に対応つけられた登録情報を、登録情報に記憶されていた顔画像の特徴量にステップＳ１０５で判定部１８２が認証用情報取得部１８１から受信した顔画像の特徴量を加え、更新する。

続いて、認証用情報更新部１８４は、図６Ｂに示した認証用振舞情報データベース１７２のテーブルの振舞の種類「通信接続」に対応つけられた、最新状況に記憶されている回数に１を加え、更新する。続いて、認証用情報更新部１８４は、認証用振舞情報データベース１７２のテーブルの振舞の種類「イベント実行」に対応つけられた最新状況を、ステップＳ１０８；ＮＯで求めたイベントの場所と認証装置１との間の距離を書き込み、更新する。また、認証用情報更新部１８４は、図６Ｂに示した認証用振舞情報データベース１７２のテーブルに記憶されている振舞の種類「顔と端末装置との距離」に対応つけられた最新状況を、最新状況に記憶されている平均距離とステップＳ１１４で算出された「顔と端末装置との距離」とから求められた平均距離で更新する。

ステップＳ１１４で算出したユーザの顔と認証装置１との距離が、設定範囲でない場合（ステップＳ１１５；ＮＯ）、判定部１８２は、認証用情報更新部１８４に、図３に示した認証用生体情報データベース１７１及び認証用振舞情報データベース１７２に記憶された各種データを更新させない。

また、判定部１８２により求められた顔の認証値が、認証値の認証許容値以下でない場合（ステップＳ１０６；ＮＯ）、及び、ステップＳ１１０で顔と端末装置との距離が設定範囲内でなかった場合（ステップＳ１１０；ＮＯ）、判定部１８２は、認証装置１を使用しているユーザをユーザ本人ではないと判断する。判定部１８２は、図５に示した表示処理部１８３に、表示部１９へ認証できなかった旨を表示させる。続いて、判定部１８２は、認証装置１に備えられている既存の生体認証手段を呼び出す。ここでは、既存の生体認証手段として指紋認証を呼び出すものとする。判定部１８２は、指紋認証を実行する（ステップＳ１１６）。

指紋認証ができた場合（ステップＳ１１７；ＹＥＳ）、判定部１８２からの指示により、認証用情報取得部１８１は、撮影部１１に認証装置１を操作しているユーザの顔写真を撮影させる。認証用情報取得部１８１は、撮影部１１から撮影したユーザの顔写真の画像を取得し、ユーザの顔の画像の特徴量を求める。認証用情報取得部１８１は、判定部１８２に求めたユーザの顔の画像の特徴量を送信する。判定部１８２は、受信したユーザの顔の画像の特徴量を図５に示した認証用情報更新部１８４に送信する。認証用情報更新部１８４は、受信したユーザの顔の画像の特徴量を、図６Ａに示した認証用生体情報データベース１７１のテーブルの生体情報の種類「顔」に対応つけられた登録情報に記憶されていた顔画像の特徴量に加え、更新する（ステップＳ１１８）。判定部１８２は、ステップＳ１０１へ戻り、ステップＳ１０１以降のステップを実行する。

また、指紋認証ができなかった場合（ステップＳ１１７；ＮＯ）、判定部１８２は、図５に示した表示処理部１８３に、表示部１９へ認証できなかった旨を表示させる。続いて、判定部１８２は、図５に示した表示処理部１８３にログイン画面を表示部１９に表示させる（ステップＳ１１９）。

ここで、図１１Ｂに移動する。判定部１８２は、生体認証及び補助認証が予め定めされた設定回数成功したか否かを判定する（ステップＳ１２０）。この設定回数は、例えば、連続で１０回、認証装置１が起動してから合計で２０回等、任意の回数である。生体認証及び補助認証が予め定めされた設定回数成功した場合（ステップＳ１２０；ＹＥＳ）、判定部１８２は、設定回数分の認証で求められた顔の認証値の平均値を求める（ステップＳ１２１）。具体的には、判定部１８２は、図３に示した認証用生体情報データベース１７１を、認証装置記憶部１７から取得する。判定部１８２は、図６Ａに示した認証用生体情報データベース１７１のテーブルから、生体情報の種類のうち「顔」に対応付けられた認証値の平均値を取得する。判定部１８２は、ステップＳ１０５で求めた顔の認証値と、認証用生体情報データベース１７１から取得した認証値の平均値とを足して２で割り、顔の認証値の平均値を算出する。また、生体認証及び補助認証が予め定めされた設定回数成功しなかった場合（ステップＳ１２０；ＮＯ）、ステップＳ１２１からステップＳ１２３の処理をスキップし、ステップＳ１２４へ進む。

判定部１８２は、ステップＳ１２１で求めた顔の認証値の平均値を、認証用情報更新部１８４に送信する。認証用情報更新部１８４は、受信した顔の認証値の平均値と、予め設定された認証閾値の上限値とを比較する。顔の認証値の平均値が予め設定された認証閾値の上限値以上である場合、認証用情報更新部１８４は、図６Ａに示した認証用生体情報データベース１７１のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証閾値に、認証閾値の上限値を書き込み、更新する。また、顔の認証値の平均値が予め設定された認証閾値の上限値以下である場合、認証用情報更新部１８４は、図６Ａに示した認証用生体情報データベース１７１のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証閾値に、ステップＳ１２１で求めた顔の認証値の平均値を書き込み、更新する（ステップＳ１２２）。

続いて、認証用情報更新部１８４は、認証許容値を更新する（ステップＳ１２３）。具体的には、ステップＳ１２１で求めた顔の認証値の平均値が、予め設定された認証閾値の上限値以上である場合、認証用情報更新部１８４は、予め設定された最大認証許容値を認証許容値とする。また、ステップＳ１２１で求めた顔の認証値の平均値が、予め設定された認証閾値の上限値以下である場合、ステップＳ１２１で求めた顔の認証値の平均値とデフォルトの認証許容範囲値とを足した値が最大認証許容値以下であれば、その足した値を認証許容値とする。

ステップＳ１２１で求めた顔の認証値の平均値とデフォルトの認証許容範囲値とを足した値が最大認証許容値以上であれば、最大認証許容値を認証許容値とする。認証用情報更新部１８４は、図３に示した認証用生体情報データベース１７１を、認証装置記憶部１７から取得する。認証用情報更新部１８４は、図６Ａに示した認証用生体情報データベース１７１のテーブルの、生体情報の種類のうち「顔」に対応付けられた認証許容値に、求めた認証許容値を書き込み、更新する。

図５に示した認証用情報取得部１８１は、傾き検出部１３から認証装置１の傾きの角度を取得する。続いて、認証用情報取得部１８１は、図示しないタイマから現在の日時情報を取得する（ステップＳ１２４）。認証用情報取得部１８１は、取得した認証装置１の傾きの角度と現在の日時情報とを判定部１８２に送信する。判定部１８２は、受信した認証装置１の傾きの角度と現在の日時情報とを、認証用情報更新部１８４に送信する。認証用情報更新部１８４は、図３に示した認証装置記憶部１７に記憶された傾き情報テーブル１７３に、受信した認証装置１の傾きの角度と現在の日時情報とを書き込み、保存する（ステップＳ１２５）。

判定部１８２は、図６Ｃに示した傾き情報テーブル１７３のテーブルに記憶されている待機時間を取得する。判定部１８２は、認証用情報取得部１８１に取得した待機時間を送信する。認証用情報取得部１８１は、受信した待機時間の間、通信部１０、撮影部１１等からのデータの取得を待機する（ステップＳ１２６）。待機時間が終了すると、認証用情報取得部１８１は、傾き検出部１３から認証装置１の傾きの角度を取得する。続いて、認証用情報取得部１８１は、図示しないタイマから現在の日時情報を取得する（ステップＳ１２７）。認証用情報取得部１８１は、取得した認証装置１の傾きの角度と現在の日時情報とを判定部１８２に送信する。

判定部１８２は、図６Ｃに示した傾き情報テーブル１７３のテーブルに記憶されている認証装置１の角度を取得する。判定部１８２は、認証用情報取得部１８１から受信した認証装置１の傾きの角度と、傾き情報テーブル１７３から取得した認証装置１の角度とを比較し、角度が変化してないか否かを判定する（ステップＳ１２８）。認証装置１の角度の変化が、予め定められた設定値の角度、例えば、３０度以上の場合（ステップＳ１２８；ＮＯ）、判定部１８２は、ユーザにより認証装置１が動かされ何某かの操作が行われたものと判断し、図１１Ａに示したステップＳ１０１に戻る。その後、判定部１８２は、ステップＳ１０１以降の処理を実行する。

また、認証装置１の角度の変化が、予め定められた設定値の角度以下の場合（ステップＳ１２８；ＹＥＳ）、判定部１８２は、ユーザにより認証装置１が動かされていないものと判断する。続いて、判定部１８２は、ユーザを認証するタイミングになったか否かを判定する（ステップＳ１２９）。ユーザを認証するタイミングは、予め設定された認証間隔の時間が経過したタイミングである。ユーザを認証するタイミングになっている場合（ステップＳ１２９；ＹＥＳ）、判定部１８２は、図１１Ａに示したステップＳ１０１に戻る。その後、判定部１８２は、ステップＳ１０１以降の処理を実行する。ユーザを認証するタイミングになっていない場合（ステップＳ１２９；ＮＯ）、判定部１８２はステップＳ１２５に戻る。判定部１８２は、ステップＳ１２５からステップＳ１２９までの処理を実行する。

なお、上記の実施の形態１において、生体情報から求められた認証値と認証閾値とが同じ値となった場合には、生体情報から求められた認証値が認証閾値以下、または、生体情報から求められた認証値が認証閾値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。また、生体情報から求められた認証値と認証許容値とが同じ値となった場合には、生体情報から求められた認証値が認証許容値以下、または、生体情報から求められた認証値が認証許容値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。

次に、判定指示処理について、図１２を参照して説明する。図１２は判定指示処理の一例を示すフローチャートである。なお、判定指示処理は、認証処理が終了する度に開始されればよく、認証処理が設定期間毎に繰り返される度に当該判定指示処理も繰り返し実行されることとなっている。判定指示処理が開始されると、処理部１８７は、認証処理における認証に成功したか否かを判定する（ステップＳ３０１）。

成功したと判定した場合（ステップＳ３０１；ＹＥＳ）、処理部１８７は、当該判定対象の場面における終了時間であるか否かを判定する（ステップＳ３０２）。具体的に、ステップＳ３０２の処理では、オンライン授業の終了時間であるか否かを判定する。なお、終了時間であるか否かは、後述するステップＳ３０５の処理により判定開始を指示してから、予め定められたオンライン授業の授業時間が経過したか否かを、タイマ値を確認することにより判定すればよい。

終了時間でないと判定した場合（ステップＳ３０２；ＮＯ）、処理部１８７は、既にステップＳ３０５の処理を実行し、判定開始を指示したか否か、すなわち判定開始済みであるか否かを判定する（ステップＳ３０３）。判定開始済みである場合（ステップＳ３０３；ＹＥＳ）、処理部１８７は、そのまま判定指示処理を終了する。一方、判定開始済みではない場合（ステップＳ３０３；ＮＯ）、処理部１８７は、ユーザ特定情報を生成する特定情報生成処理を特定情報生成部１８６に実行させる（ステップＳ３０４）。

図１３は、図１２のステップＳ３０４にて実行される特定情報生成処理の一例を示すフローチャートである。図１３に示す特定情報生成処理において、特定情報生成部１８６は、まず、認証に成功したユーザに対応する個人特定用情報データ１７４に含まれるユーザコード、ユーザの名前、生年月日等の個人情報データを取得する（ステップＳ２０１）。

続いて特定情報生成部１８６は、図６Ｅに示した場面情報テーブル１７５に含まれる場面情報を読み出す。特定情報生成部１８６は、読み出した場面情報に基づいて、図５に示した認証装置１の表示部１９の画面上に場面情報の一覧を表示させることで、対象の必要性を判定する場面を選択可能に表示する（ステップＳ２０２）。

次に、特定情報生成部１８６は、ユーザにより選択された場面と、当該場面情報に対応する場面コードとを、場面情報データとして取得する（ステップＳ２０３）。ステップＳ２０３の処理を実行した後、特定情報生成部１８６は、ステップＳ２０１で取得した個人情報データおよびステップＳ２０３で取得した場面情報データに基づいて、対処の必要性を判定する対象となるユーザ（対象ユーザ）と場面（対象場面）とを特定するためのユーザ特定情報を生成する（ステップＳ２０４）。ステップＳ２０４では、例えば、個人情報データと場面情報データとに含まれる各種データのうち、ユーザコードと場面コードとを組み合わせることでユーザ特定情報を生成する。なお、この他にも、個人情報データと場面情報データとを暗号化することでユーザ特定情報を生成してもよい。また、個人情報データと場面情報データに対し予め定められた演算処理を施すことによりユーザ特定情報を生成してもよい。

ステップＳ２０４の処理にてユーザ特定情報を生成した後、特定情報生成部１８６は、生成した特定情報データを図５に示した端末記憶部１７に記憶させ（ステップＳ２０６）、特定情報生成処理を終了する。

図１２に戻り、ステップＳ３０４の処理を実行した後、処理部１８７は、ステップＳ３０４にて生成したユーザ特定情報を情報処理装置７へ送信し、対処の必要性の判定開始を指示し（ステップＳ３０５）、判定指示処理を終了する。なお、ステップＳ３０５の処理にて判定開始が指示されることにより、情報処理装置７の側ではオンライン授業が開始されればよい。

一方、ステップＳ３０１にて認証に失敗したと判定した場合（ステップＳ３０１；ＮＯ）、処理部１８７は、ステップＳ３０３と同様に、既にステップＳ３０５の処理を実行し、判定開始を指示したか否か、すなわち判定開始済みであるか否かを判定する（ステップＳ３０６）。判定開始済みではない場合（ステップＳ３０６；ＮＯ）、処理部１８７は、そのまま判定指示処理を終了する。一方、判定開始済みである場合（ステップＳ３０６；ＹＥＳ）、または、ステップＳ３０２にて判定対象の場面における終了時間であると判定した場合（ステップＳ３０２；ＹＥＳ）、処理部１８７は、対処の必要性の判定を終了させる判定終了情報を情報処理装置７に送信して判定終了を指示し（ステップＳ３０７）、判定指示処理を終了する。

なお、ステップＳ３０７の処理にて判定終了が指示されることにより、情報処理装置７の側ではオンライン授業が終了されればよい。具体的に、ステップＳ３０６にてＹＥＳと判定された場合、既に対処の必要性の判定を開始（オンライン授業を開始）しているにも関わらず、別人に入れ替わったことなどが原因で認証に失敗したことになる。この場合、当該ステップＳ３０７の処理にて判定終了を指示するとともにオンライン授業を強制的に終了させることで、代理受講を防止することが可能となる。また、終了時間である場合（ステップＳ３０２でＹＥＳと判定された場合）には、オンライン授業も終了するため、認証装置１と情報処理装置７とで同期を取りつつ、オンライン授業が終了したにも関わらず対処が必要であると判定してしまうといった誤判定を防止することができる。

次に、情報処理装置７にて行われる判定処理について、図１４を参照して説明する。図１４は、判定処理の一例を示すフローチャートである。判定処理は、図９に示した判定用情報取得部７８１が認証装置１から通信部７０を介してユーザ特定情報を取得することにより開始される。図１４に示す判定処理を開始すると、判定部７８２は、情報処理装置記憶部７７に記憶された基準情報一覧７７１から、取得したユーザ特定情報に対応するユーザ、場面、および判定閾値等を特定する（ステップＳ４０１）。具体的に、ステップＳ４０１では、取得したユーザ特定情報が「ＸＸＸＸＸＸＸＸ」である場合、図１０Ａに示す基準情報一覧７７１を参照し、対象ユーザがＡであり、対象場面がオンライン授業１であり、判定閾値が「３．００」であり、判定許容値が「３．５０」であり、許容回数が「５回」であると特定する。

ステップＳ４０１の処理を実行した後、処理部７８７は、ステップＳ４０１で特定した場面を実現するためのプログラムを実行することにより、当該特定した場面を実行する（ステップＳ４０２）。具体的に、ステップＳ４０２の処理では、オンライン授業１に対応するオンライン授業（数学の６０分間の授業）を開始させる。続いて判定部７８２は、判定用情報取得部７８１が通信部７０を介して認証装置１から判定終了情報を受信したか否かを判定する（ステップＳ４０３）。

判定終了情報を受信した場合（ステップＳ４０３；ＹＥＳ）、判定部７８２および処理部７８４は、ステップＳ４０２で実行したプログラムを終了させることで、場面を終了し（ステップＳ４０４）、判定処理を終了する。具体的に、ステップＳ４０４の処理では、ステップＳ４０２にて実行したオンライン授業１に対応するオンライン授業（数学の６０分間の授業）を終了させ、判定処理を終了する。なお、上述したように、判定終了情報は、オンライン授業の終了時間となると送信される他、既に対処の必要性の判定を開始（オンライン授業を開始）しているにも関わらず、別人に入れ替わったことなどが原因で認証に失敗した場合にも送信される。そのため、当該ステップＳ４０４の処理によれば、別人に入れ替わった場合にオンライン授業が終了するため、代理受講を防止することができる。

一方、ステップＳ４０３にて判定終了情報を受信していないと判定した場合（ステップＳ４０３；ＮＯ）、判定用情報取得部７８１は、撮影部７１から当該ユーザの映像を判定対象情報として取得し（ステップＳ４０５）、判定部７８２は、取得した映像に基づいて判定値を算出する（ステップＳ４０６）。ステップＳ４０６の処理では、上述したように、取得した映像に基づいて、ユーザの目線の高さ、頭の動きや手の動きなどといった複数の要素についての総合的な点数を、予め定められた演算式により判定値として算出すればよい。

ステップＳ４０６の処理を実行した後、判定部７８２は、ステップＳ４０６で算出した判定値がステップＳ４０２で特定した判定閾値未満であるか否かを判定する（ステップＳ４０７）。具体的に、ステップＳ４０７では、ステップＳ４０６で算出した判定値が、ステップＳ４０２で特定した判定閾値「３．００」未満であるか否かを判定する。判定閾値未満である場合（ステップＳ４０７；ＹＥＳ）、判定部７８２は、対処の必要性がないと判断し、判定用情報更新部７８４の機能により、対処の必要性がない、との結果とともに当該判定値を入力データとして用いて学習を行うことで、判定閾値等を更新してから（ステップＳ４１３）、ステップＳ４０３の処理に戻る。

一方で、判定値が判定閾値以上である場合（ステップＳ４０７；ＮＯ）、判定部７８２は、ステップＳ４０６で算出した判定値がステップＳ４０２で特定した判定許容値以下であるか否かを判定する（ステップＳ４０８）。具体的に、ステップＳ４０８では、ステップＳ４０６で算出した判定値が、ステップＳ４０２で特定した判定許容値が「３．５０」以下であるか否かを判定する。

判定許容値以下である場合（ステップＳ４０８；ＹＥＳ）、判定部７８２は、許容回数以下とカウントされた回数を示すカウント値が、ステップＳ４０２にて特定した許容回数以下であるか否かを判定する（ステップＳ４０９）。具体的に、ステップＳ４０９では、情報処理装置記憶部７７の所定領域に予め設けられたカウント値が、ステップＳ４０２で特定した許容回数である「５回」以下であるか否かを判定する。

ステップＳ４０９にてカウント値が許容回数以下であると判定した場合（ステップＳ４０９；ＹＥＳ）、判定部７８２は、カウント値の値を＋１する（ステップＳ４１０）。そして、判定用情報更新部７８４の機能により、グレーゾーンとして判断したものの対処の必要性がない、との結果とともに当該判定値を入力データとして用いて学習し、判定閾値等を更新してから（ステップＳ４１３）、ステップＳ４０３の処理に戻る。なお、カウント値は、例えば、ステップＳ４０４の処理や、後述するステップＳ４１１の処理が行われることにより、初期値である「０」にクリアされればよい。また、カウント値は、ステップＳ４１０の処理により＋１された場合であっても、次に行われたステップＳ４０７の処理により判定値が判定閾値未満であると判定された場合には－１されるようにしてもよい。さらに、ステップＳ４１０の処理にて＋１されたカウント値は、その後連続して３回、ステップＳ４０７にて判定閾値未満であると判定された場合には初期値である「０」にクリアされるようにしてもよい。また、判定対象のユーザや、判定対象の場面に応じて、カウント値の減算条件やクリア条件が異なっていてもよい。

ステップＳ４０８にて判定値が判定許容値を超えていると判定した場合（ステップＳ４０８；ＮＯ）や、ステップＳ４０９にてカウント値が許容回数を超えていると判定した場合（ステップＳ４０９；ＮＯ）、判定部７８２は、対処が必要であると判定する。そして処理部７８７は、当該判定結果を受けて、情報処理装置記憶部７７に記憶されている対処情報７７２を参照し、対処内容を決定する（ステップＳ４１０）。ステップＳ４１０の処理では、例えば、図１０Ｂに示す対処情報７７２を参照し、ステップＳ４０５にて取得した映像に基づいて、目線の高さ２０ｃｍ未満の期間が１分以上続いている場合には、対処内容として「起きろ」に決定し、目線の高さ２０ｃｍ未満の期間が１０秒～１分未満である場合には、対処内容として「寝るな」に決定する。なお、対処内容を決定するための期間については、過去の映像を合算させることにより算出すればよく、例えば、今回取得した映像と、前回取得した映像とを合算して、目線の高さ２０ｃｍ未満の期間が１分以上続いているか否か等を判定すればよい。なお、ステップＳ４０５の処理で取得する映像の期間については、判定対象となる場面毎に異なる任意の期間に設定変更可能となっていればよく、例えばオンライン授業の場合には２０秒、テストの場合には３０秒、となっている。また、上述したように対処内容は、同一の場面であっても対象ユーザによって異なっていてもよく、過去の対処回数に応じて異なるようにしてもよい。

図１４に示すステップＳ４１０の処理を実行した後、処理部７８７は、表示処理部７８３と協働し、ステップＳ４１０の処理にて決定した対処内容を表示部７９へ出力する（ステップＳ４１２）。ステップＳ４１２の処理では、表示部７９へのメッセージや画像の出力の他、音声による出力が行われてもよい。また、上述したように、オンライン授業において過去に５回以上対処が必要であると判定されたユーザについては対処内容としてメッセージと音声とが合わせて出力され、それ以外のユーザにはメッセージのみ出力されるなど、対象のユーザや場面に応じて異なる出力態様となっていてもよい。

ステップＳ４１２の処理を実行した後、判定用情報更新部７８４の機能により、対処の必要性有り、との結果とともに当該判定値を入力データとして用いて学習し、判定閾値等を更新してから（ステップＳ４１３）、ステップＳ４０３の処理に戻る。なお、ステップＳ４１３の処理では、判定閾値の他、判定許容値や許容回数の値が更新されればよい。また、例えば、判定値が判定許容値以下であった場合、ステップＳ４０８の処理にてＮＯと判定され、ステップＳ４１２の処理にて対処内容が出力されることとなるが、対処の必要性がないにも関わらずステップＳ４１２の処理が行われることもある。その場合、ユーザによる操作入力部７３による入力操作により、出力を解除できるようにしてもよい。具体的に、オンライン授業の受講中に居眠りをしていないにも関わらず、ステップＳ４１２の処理が実行され「寝るな」のメッセージ出力がなされた場合、ユーザによる操作入力部７３による入力操作により、当該メッセージ出力を解除可能としてもよい。この場合、解除が行われたこと、すなわち誤った判定が行われた、との結果とともに当該判定値を入力データとして用いて学習し、ステップＳ４１３の処理にて判定閾値等を更新してから、ステップＳ４０３の処理に戻ればよい。これによれば、判定基準となる判定閾値を、判定対象や判定場面に応じて適正化することができ、判定対象のユーザや場面に応じた対処の必要性の判定をより高精度に行うことできる。なお、ステップＳ４０７～ステップＳ４１１およびステップＳ４１３の処理は、オンライン授業のバックグラウンドで行われればよく、ステップＳ４１２の処理については、オンライン授業の表示画面に重畳してメッセージ出力がなされればよい。また、音声を出力する場合には、オンライン授業にて出力中の音声の音量を制限し、当該対処内容に対応する音声を優先的に出力すればよい。

以上説明したように、認証装置１では、ユーザの認証が行われ、認証に成功した場合にユーザ特定情報を生成し、情報処理装置７に送信する。ユーザ特定情報には、対処の必要性を判定する対象である対象ユーザの情報が含まれる。ユーザ特定情報を受信した情報処理装置７は、受信したユーザ特定情報に基づいて、判定の対象となる対象ユーザを特定するとともに、当該ユーザにおける判定閾値等を判定基準情報として特定する。そして、情報処理装置７は、ユーザの動作情報を示す映像を判定対象情報として取得し、取得した判定対象情報と判定基準情報とに基づいて、対象ユーザにおける対処の必要性をバックグラウンドで判定する。したがって、認証に成功したユーザを判定対象ユーザとした上で、当該対象ユーザの特性に応じて対処の必要性を判定できるため、高精度な判定ができる。

また、ユーザ特定情報には対処の必要性を判定する場面の情報が含まれ、情報処理装置７は、受信したユーザ特定情報に基づいて判定の対象となる対象ユーザと対象場面とを特定するとともに、当該ユーザにおける当該場面における判定閾値等を判定基準情報として特定する。そして、情報処理装置７は、ユーザの動作情報を示す映像を判定対象情報として取得し、取得した判定対象情報と判定基準情報とに基づいて、対象ユーザの対象場面における対処の必要性をバックグラウンドで判定する。したがって、認証に成功したユーザを判定対象のユーザとし、当該対象ユーザの対象場面に応じて対処の必要性を判定できるため、より高精度な判定ができる。

また、情報処理装置７は、算出した判定値が判定閾値以上であっても、判定許容値以下であれば、ユーザへの対処が必要か不要かのグレーゾーンであるとして、当該判定許容値以下と判定された回数に基づいて対処の必要性を判定する。したがって、対処の必要性の有無の誤判定を抑制し、より精度よく判定することができる。

（変形例）
なお、この発明は、上記実施の形態に限定されず、様々な変形及び応用が可能である。例えば、情報処理装置７は、上記実施の形態で示した全ての技術的特徴を備えるものでなくてもよく、従来技術における少なくとも１つの課題を解決できるように、上記実施の形態で説明した一部の構成を備えたものであってもよい。また、下記の変形例それぞれについて、少なくとも一部を組み合わせてもよい。

上記実施の形態では、理解を容易にするため、オンライン授業を受講するユーザにおける対処の必要性を判定する例を示したが、これは一例である。この他にも、例えば、図６Ｅに示す「テスト１」など、テストを受ける場面における対処の必要性を判定するなど、複数の場面が選択可能である。具体的に、図１３のステップＳ２０３の処理にて図６Ｅに示す「テスト１」の場面が選択されると、ステップＳ２０４の処理にて、ユーザと、「テスト１」と、に対応するユーザ特定情報が生成される。

そして、オンライン授業の場合と同様に、情報処理装置７において判定処理が実行されることで、当該「テスト１」における対処の必要性が判定されればよい。なお、「テスト１」といったテストの場合には、オンライン授業の場合とは異なる演算式により判定値が算出されればよい。具体的に、オンライン授業の場合には、ユーザの目線の高さ、頭の動きや手の動きなどといったユーザ自体の動作に注目した要素によりそれぞれに重み付けをして判定値を算出したが、テストの場合には、例えば、参考書や教科書、カンニングペーパーなどといったテストに不要なものが映像として写っているか否かなど、ユーザ以外の映像を要素として取り入れるようにしてもよい。そして、テストに不要なものが映像として写っている場合には必ず判定許容値よりも高い判定値となるような演算式となっていればよい。なお、テストに不要なものかどうかの判定については、例えば鉛筆や消しゴム、定規やコンパスなど、テストに必要なものとして予め定められたもの以外を不要なものとして定義すればよく、システムの管理者が任意に設定可能であればよい。

また、上記実施の形態では、情報処理装置７における判定処理において、取得した映像に基づいて、ユーザの目線の高さ、頭の動きや手の動きなどといった複数の要素についての総合的な点数を判定値として算出し、対処の必要性を判定する例を示したが、これは一例である。総合的な判定値との比較による判定ではなく、情報処理装置７における判定においても、認証装置１における認証処理と同様に判定してもよい。具体的に、一の要素について閾値未満であるか否かを判定し、閾値以上かつ許容値以下の場合に、他の要素（例えばユーザ特有の振舞情報）が合格条件に合致しているか否かにより対処の必要性の有無を判定してもよい。

また、上記実施の形態では、ユーザ特定情報に対処の必要性を判定するユーザを特定するための情報と、その場面を特定する情報と、が含まれる例を示したが、これは一例である。ユーザ特定情報にはユーザを特定するための情報が含まれていれば、対処の必要性を判定する対象の場面を特定する情報は含まれていなくてもよい。この場合、図１３のステップＳ２０４の処理では、対処の必要性を判定する対象となるユーザを特定する情報をユーザ特定情報として生成し、図１２のステップＳ３０５の処理において、生成したユーザ特定情報を、図１３のステップＳ２０３の処理で取得した場面情報データと合わせて情報処理装置７へ送信すればよい。情報処理装置７の側では、ユーザ特定情報により判定対象のユーザを特定し、場面情報データにより対象場面を特定した上で、判定閾値等を特定すればよい（図１４のステップＳ４０１）。

また、上記実施の形態では、情報処置装置７がパーソナルコンピュータやスマートフォンやタブレット端末である例を示したが、これは一例である。情報処理装置７は、これらに限られず、例えば図１５に示す情報処理システム１００Ａのように、ドアに設置された端末であってもよい。また、この他にも、例えば金庫に設置された端末であってもよい。この場合における情報処理装置７では、認証装置１により認証されたユーザの入室を許可するため、当該ユーザに対してドアを解錠する。また、当該情報処理装置７は、当該ドア入り口付近の映像に基づいて対処の必要性を判定することで、例えば、当該ユーザ以外の、入室を許可されていない人物の入室を防止する。

具体的に、上記実施の形態における情報処理装置７では、図１４における判定処理において、ステップＳ４０２の処理によりステップＳ４０１で特定した場面を実現するためのプログラムを実行してオンライン授業を開始させる例を示したが、この変形例における情報処理装置７では、ステップＳ４０２の処理において、施錠されているドアを解錠する処理を行えばよい。なお、認証装置１にて生成されるユーザ特定情報には、判定対象のユーザとしての対象ユーザの情報と、判定対象となる場面としてドアの解錠といった対象場面を示す情報が含まれていればよく、情報処理装置７は、当該ユーザ特定情報により、ドアを解錠する制御を行うことを特定すればよい。

また、ドアを解錠した場合における対処の必要性の判定は、上述したテストの場合と同様に行えばよい。例えば、取得した映像に、認証に成功したユーザ以外の人物が写っている場合や、認証に成功したユーザがＳＯＳを示す動作を行っている等通常時とは異なる入室動作である場合に、判定値が必ず判定許容値よりも高くなるような演算式を用いて判定値を算出すればよい。

また、このような場合に、当該情報処理７における判定処理において対処の必要性があると判定した場合、上記実施の形態とは異なり、予め登録された警備会社に対処の必要性有り、すなわち不審人物の入室があったことを通知するようにしてもよい。具体的に、情報処理装置７はネットワークを介して警備会社の端末に接続されていればよく、当該情報処理装置７において対処の必要性有りと判定した場合、図１４のステップＳ４１１の処理により、ネットワークを介して警備会社の端末に対処内容を通知すればよい。これによれば、認証に成功したユーザ以外の入室に対する警備を効的に行うことができる。なお、図１４のステップＳ４１１の処理では、ネットワークを介して警備会社の端末に対処内容を通知することに加え、当該情報処理装置７にて警報音を出力してもよい。これによれば、警備会社への通知に加え、現場で警報を出力することで、周囲の人々へ異常が発生したことを報知することができる。このように、情報処理装置７は、対処の必要性有りと判定した場合、場面に応じて異なる出力先へと対処内容を通知可能である。したがって、場面に応じた適切な対処を行うことが可能となる。

この他にも、情報処理装置７は、例えば入院患者や要介護者のベッドに備えられた、各種センサを備えた端末であってもよい。この場合、当該情報処理装置７における判定値の算出にあたり、撮影部７１から取得したユーザの映像のみを判定対象情報として使用するだけでなく、例えばユーザの体温や血圧、心拍数や脈拍など各種センサの値も判定対象情報として使用可能であってもよい。また、対処の必要性の判定にあたっては、判定値の他、急激な変化があった場合にも対処の必要性有りと判定可能としてもよい。具体的に、算出した判定値と判定基準情報との比較の他、体温や血圧、心拍数や脈拍などの各要素の変化が予め定められた値以上変化しているか否かを確認することで、対処の必要性を判定してもよい。これによれば、当該ベッドの患者や要介護者が変更になった場合であっても、変更後の患者や要介護者に応じて対処の必要性を好適に判定することができる。

また、上記実施の形態では、認証装置１と情報処理装置７とがそれぞれ別々の端末である例を示したが、これは一例である。情報処理装置７は、図１６に示すように、認証装置１の機能を備えた１つの端末であってもよい。この場合、当該情報処理装置７において図１１Ａおよび図１１Ｂに示す認証処理を行うとともに、図１２に示す判定指示処理（図１３に示す特定情報生成処理）を行った後、当該ユーザ特定情報に基づいて図１４に示す判定処理を行えばよい。そして、当該判定処理を実行し、オンライン授業とともに対処の必要性の判定を開始させ、当該オンライン授業のバックグラウンドで認証処理と判定処理を実行すればよい。

また、情報処理装置７は、例えば図１７に示す情報処理システム１００Ｂのように、認証装置１およびドア９に設けられたカメラ６とインターネット２を介して通信可能に接続されたサーバ８であってもよい。この場合、認証装置１にて認証された後生成されたユーザ特定情報がサーバ８としての情報処理装置７に送信されることで、サーバ８はドア９におけるカメラ６における映像の取得を開始すればよい。そして、サーバ８において、ユーザ特定情報により特定した対象ユーザとその場面に応じた判定閾値等を特定し、取得した映像に基づいて判定値を算出し、比較することで、当該ユーザへの対処の必要性を判定すればよい。また、図示する例ではインターネット２を介して通信を行う例を示しているが、例えば、ドア９には当該ドア９の開閉制御を行う装置（開閉装置）が設けられていてもよく、認証装置１とＢｌｕｅｔｏｏｔｈ（登録商標）などによる近距離無線通信により通信可能であってよい。そして、当該認証装置１とドア９に設けられた開閉装置とで近距離無線通信により通信を行い、認証装置１による認証に成功した場合に当該ドア９を解錠する制御が行われてもよい。

このように、認証装置１や情報処理装置７は、専用の装置によらず、通常のコンピュータを用いて実現可能である。例えば、コンピュータに上述のいずれかを実行するためのプログラムを格納した記録媒体から該プログラムをコンピュータにインストールすることにより、上述の処理を実行する認証装置１や情報処理装置７を構成してもよい。また、複数のコンピュータが協働して動作することによって、１つの認証装置１や情報処理装置７を構成してもよい。

また、上述の機能を、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合等には、ＯＳ以外の部分のみを媒体に格納してもよい。

また、搬送波にプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板（ＢＢＳ、Ｂｕｌｌｅｔｉｎ Ｂｏａｒｄ Ｓｙｓｔｅｍ）に当該プログラムを掲示し、ネットワークを介して当該プログラムを配信してもよい。そして、これらのプログラムを起動し、オペレーティングシステムの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行できるように構成してもよい。

１ 認証装置、２ インターネット、６ カメラ、７ 情報処理装置、８ サーバ、９ ドア、１０、７０ 通信部、１１、７１ 撮影部、１１Ａ インカメラ、１１Ｂ メインカメラ、１２、７２ 音声入出力部、１２Ａ スピーカ、１２Ｂ マイクロフォン、１３ 傾き検出部、１４、７３ 操作入力部、１５ 指紋検出部、１５Ａ 左指紋センサ、１５Ｂ 右指紋センサ、１６ 位置検出部、１７ 認証装置記憶部、１８ 認証装置制御部、１９、７９ 表示部、２１、８１ プロセッサ、２２、８２ メモリ、２３、８３ 表示コントローラ、２４、８４ 表示機器、２５、８５ Ｉ／Ｏポート、２６、８６ 記憶機器、２７、８７ 通信機器、２８、８８ データバス、７７ 情報処理装置記憶部、７８ 情報処理装置制御部、１００、１００Ａ、１００Ｂ 情報処理システム、１７０ 認証処理プログラム、１７１ 認証用生体情報データベース、１７２ 認証用振舞情報データベース、１７３ 傾き情報テーブル、１７４ 個人特定用情報データ、１７５ 場面情報テーブル、１７６ 特定情報生成プログラム、１８１ 認証用情報取得部、１８２ 認証部、１８３、７８３ 表示処理部、１８４ 認証用情報更新部、１８５、７８５ データ送受信部、１８６ 特定情報生成部、１８７、７８７ 処理部、７７０ 判定処理プログラム、７７１ 基準情報一覧、７７２ 対処情報、７８１ 判定用情報取得部、７８２ 判定部、７８４ 判定用情報更新部、８８８ 制御部

上記の目的を達するため、本発明に係る情報処理装置は、
ユーザ毎の判定基準情報を記憶する記憶手段と、
前記ユーザの所有する情報端末においてバックグラウンドで行われる前記ユーザの認証に成功した場合に前記情報端末にて生成され、前記ユーザを一意に特定可能なユーザ特定情報を、ネットワークを介して受信する特定情報受信手段と、
ユーザの判定対象情報を取得する判定対象情報取得手段と、
前記判定対象情報取得手段で取得した前記ユーザの前記判定対象情報と、前記特定情報受信手段で取得した前記ユーザ特定情報により特定されるユーザに対応する前記判定基準情報と、に基づいて、前記ユーザへの対処の必要性を判定する判定手段と、を備え、
前記判定基準情報は、一の前記ユーザにおいて提供されるサービス毎に複数記憶され、前記提供されるサービスに応じて前記ユーザにより複数の中からいずれかが選択され、
前記判定手段は、
前記判定対象情報取得手段で取得した前記ユーザの前記判定対象情報と、前記特定情報受信手段で取得した前記ユーザ特定情報により特定されるユーザにおける、前記ユーザにより選択された前記判定基準情報と、に基づいて、予め定められた演算式により算出された判定値が予め定められた閾値未満の場合に前記ユーザへの対処が不要であると判定し、前記判定値が前記閾値以上の場合、前記判定値が予め定められた許容値以下であると判定された回数に基づいて前記ユーザへの対処の必要性を判定し、
前記提供されるサービスが特定のサービスである場合、前記判定対象情報取得手段で取得した前記ユーザの前記判定対象情報の内容が予め定められた特殊条件を満たすとき、前記判定値が前記閾値以上かつ前記許容値を超える演算結果となり、前記ユーザへの対処が必要であると判定し、
前記特定情報受信手段が前記ユーザの認証に失敗したことを示す失敗情報を、前記ネットワークを介して受信した場合、提供中のサービスがいずれのサービスであっても、前記提供中のサービスを終了させる、
ことを特徴とする。

Claims (6)

1. ユーザ毎の判定基準情報を記憶する記憶手段と、
   バックグラウンドで行われるユーザの認証に成功した場合に生成され、前記ユーザを一意に特定可能なユーザ特定情報を取得する特定情報取得手段と、
   ユーザの判定対象情報を取得する判定対象情報取得手段と、
   前記判定対象情報取得手段で取得した前記ユーザの前記判定対象情報と、前記特定情報取得手段で取得した前記ユーザ特定情報により特定されるユーザに対応する前記判定基準情報と、に基づいて、前記ユーザへの対処の必要性を判定する判定手段と、
   を備えることを特徴とする情報処理装置。
2. 前記ユーザ毎の前記判定基準情報は、一のユーザにおける場面毎に複数記憶され、
   前記ユーザ特定情報には、前記場面を一意に特定可能な場面情報が含まれ、
   前記判定手段は、前記判定対象情報取得手段で取得した前記ユーザの前記判定対象情報と、前記特定情報取得手段で取得した前記ユーザ特定情報により特定されるユーザおよび前記場面情報により特定される場面に対応する前記判定基準情報と、に基づいて、前記ユーザへの対処の必要性を判定する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記判定手段は、前記判定対象情報取得手段で取得した前記ユーザの前記判定対象情報に基づいて、予め定められた演算式により算出された判定値が予め定められた閾値未満の場合に前記ユーザへの対処が不要であると判定し、前記判定値が前記閾値以上の場合、前記判定値が予め定められた許容値以下であると判定された回数に基づいて前記ユーザへの対処の必要性を判定する、
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記判定手段により前記ユーザへの対処が必要であると判定された場合に必要情報を通知する通知手段をさらに備え、
   前記通知手段は、前記場面情報により特定される場面に応じて異なる通知先へと通知する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 情報処理装置において実行される情報処理方法であって、
   ユーザ毎の判定基準情報を記憶する記憶ステップと、
   バックグラウンドで行われるユーザの認証に成功した場合に生成され、前記ユーザを一意に特定可能なユーザ特定情報を取得する特定情報取得ステップと、
   ユーザの判定対象情報を取得する判定対象情報取得ステップと、
   前記判定対象情報取得ステップで取得した前記ユーザの前記判定対象情報と、前記特定情報取得ステップで取得した前記ユーザ特定情報により特定されるユーザに対応する前記判定基準情報と、に基づいて、前記ユーザへの対処の必要性を判定する判定ステップと、
   を備えることを特徴とする情報処理方法。
6. コンピュータを、
   ユーザ毎の判定基準情報を記憶する記憶手段、
   バックグラウンドで行われるユーザの認証に成功した場合に生成され、前記ユーザを一意に特定可能なユーザ特定情報を取得する特定情報取得手段、
   ユーザの判定対象情報を取得する判定対象情報取得手段、
   前記判定対象情報取得手段で取得した前記ユーザの前記判定対象情報と、前記特定情報取得手段で取得した前記ユーザ特定情報により特定されるユーザに対応する前記判定基準情報と、に基づいて、前記ユーザへの対処の必要性を判定する判定手段、
   として機能させることを特徴とするプログラム。

Images