JP2022163168A - ユーザ認証方法、システム及びプログラム - Google Patents

Abstract

【課題】ユーザの意図を把握してより直観的にユーザ認証を行うことのできるユーザ認証方法及びシステムを提供する。【解決手段】ユーザ認証システム１００によるユーザ認証方法は、電子機器１０に備えられたカメラ１１を用いて、ターゲットユーザ１０００の顔画像を検出するステップと、検出した顔画像に対応するユーザ情報を、データベースサーバ１４０及びクラウドサーバの少なくとも１つに含まれるユーザデータベースから抽出するステップと、ユーザ情報を用いて、ターゲットユーザ１０００に対するユーザ認証を行うステップとを含む。ユーザ認証を行うステップでは、カメラ１１により検出されるターゲットユーザ１０００のジェスチャーに基づいて、ユーザ認証を完了するか否かを決定する。【選択図】図１

Description

特許法第３０条第２項適用申請有り 発明の新規性の喪失の例外の規定の適用を受けるための証明書に記載されたホームページに、２０１９年１０月２３日に公開されている。

本発明は、ユーザを認証する方法及びシステムに関する。

技術が発展するにつれて、電子機器の活用度が高まっている。特に、電子機器は、様々な状況でユーザを認証する手段として活用されている。

例えば、会議での参加者の出席確認、病院での患者の来院確認、カフェでの決済のためのユーザ確認のように、様々な状況で真のユーザを認証するニーズがある。このようにユーザ認証が求められる状況での電子機器の活用は、不要な労働力を削減し、かつ、ユーザ認証に要する時間を短縮する効果をもたらしている。

電子機器を活用するユーザ認証方式は様々であり、例えば、ユーザが直接ユーザ自身を識別するための識別情報（例えば、電話番号、メールアドレスなど）又は生体情報（例えば、指紋情報など）を電子機器に入力することにより認証が行われる方式がある。

近年、ユーザが直接情報を電子機器に入力することなく、より便利かつ直観的にユーザ認証を行う方法に関する研究が盛んに行われている。

本発明は、ユーザの意図を把握してより直観的にユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。

また、本発明は、ユーザが直接情報を入力することなくユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。

さらに、本発明は、ユーザ認証を行うかについてのユーザの真の意図を把握してユーザ認証を完了することのできるユーザ認証方法及びシステムを提供するためのものである。

上記課題を解決するために、本発明によるユーザ認証方法は、カメラを用いて、ターゲットユーザの顔画像を検出するステップと、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップと、前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行うステップとを含み、前記ユーザ認証を行うステップにおいては、前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とする。

また、本発明によるユーザ認証システムは、ディスプレイ部と、ターゲットユーザの顔画像を検出するカメラと、前記顔画像に対応するユーザ情報をユーザデータベースから抽出する制御部とを含み、前記制御部は、前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行い、前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とする。

さらに、本発明によるコンピュータ可読媒体に格納可能なプログラムは、電子機器で１つ以上のプロセスにより実行され、カメラを用いてターゲットユーザの顔画像を検出するステップ、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップ、及び前記ユーザ情報を用いて前記ターゲットユーザに対するユーザ認証を行うステップを実行させるコマンドを含み、前記ユーザ認証を行うステップにおいては、前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とする。

前述したように、本発明によるユーザ認証方法及びシステムにおいては、カメラを用いて、ユーザ認証の対象となるユーザを検出し、検出されたユーザの顔画像を用いて、検出されたユーザに対するユーザ認証を行うことができる。このように、本発明においては、ユーザが直接入力を行わなくても、ユーザが電子機器の周辺にいることに基づいて、ユーザ認証を行うことができる。よって、ユーザは、電子機器の周辺にいるだけで、ユーザ認証の意思をより便利かつ直観的に電子機器に伝達することができる。

また、本発明によるユーザ認証方法及びシステムにおいては、検出されたユーザの顔画像だけでなく、ユーザのジェスチャーに基づいて、ユーザ認証に関するユーザの意図を把握することができる。よって、本発明によるユーザ認証方法及びシステムにおいては、ユーザのジェスチャーに基づいて、ユーザ認証を行おうとするユーザの真偽を把握し、ユーザの意図に基づいてユーザ認証を行うことができる。

本発明によるユーザ認証システムを説明するための概念図である。 本発明によるユーザ認証方法を説明するためのフローチャートである。 本発明によるユーザ認証方法及びシステムを説明するための概念図である。 本発明によるユーザ認証方法及びシステムを説明するための概念図である。 本発明によるユーザ認証方法及びシステムを説明するための概念図である。 本発明によるユーザ認証方法及びシステムを説明するための概念図である。 本発明によるユーザ認証方法及びシステムを説明するための概念図である。 本発明によるユーザ認証方法及びシステムを説明するための概念図である。 本発明によるユーザ認証方法及びシステムを説明するための概念図である。 本発明によるユーザ認証方法及びシステムを説明するための概念図である。 本発明によるユーザ認証方法及びシステムを説明するための概念図である。 本発明によるユーザ認証方法及びシステムを説明するための概念図である。

以下、添付図面を参照して本発明の実施形態について詳細に説明するが、図面番号に関係なく同一又は類似の構成要素には同一の符号を付し、それについての重複する説明は省略する。以下の説明で用いられる構成要素の接尾辞である「モジュール」や「部」は、明細書の作成を容易にするために付与又は混用されるものであり、それ自体が有意性や有用性を有するものではない。また、本発明の実施形態について説明するにあたり、関連する公知技術についての具体的な説明が本発明の実施形態の要旨を不明にすると判断される場合は、その詳細な説明を省略する。さらに、添付図面は本発明の実施形態の理解を助けるためのものにすぎず、添付図面により本発明の技術的思想が限定されるものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物乃至代替物を含むものと理解すべきである。

「第１」、「第２」などのように序数を含む用語は様々な構成要素を説明するために用いられるが、上記構成要素は上記用語により限定されるものではない。上記用語は１つの構成要素を他の構成要素と区別する目的でのみ用いられる。

ある構成要素が他の構成要素に「連結」又は「接続」されていると言及された場合は、他の構成要素に直接連結又は接続されていてもよく、中間にさらに他の構成要素が存在してもよいものと解すべきである。それに対して、ある構成要素が他の構成要素に「直接連結」又は「直接接続」されていると言及された場合は、中間にさらに他の構成要素が存在しないものと解すべきである。

単数の表現には、特に断らない限り複数の表現が含まれる。

本明細書において、「含む」や「有する」などの用語は、本明細書に記載された特徴、数字、段階、動作、構成要素、部品又はそれらの組み合わせが存在することを指定しようとするもので、１つ又はそれ以上の他の特徴、数字、段階、動作、構成要素、部品又はそれらの組み合わせの存在や付加可能性を予め排除するものではないと理解すべきである。

本発明は、ユーザの意図を把握してより直観的にユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものであり、以下、添付図面を参照して本発明について具体的に説明する。図１は本発明によるユーザ認証システムを説明するための概念図であり、図２は本発明によるユーザ認証方法を説明するためのフローチャートである。また、図３ａ、図３ｂ、図４ａ、図４ｂ、図５、図６ａ、図６ｂ、図６ｃ、図７ａ及び図７ｂは本発明によるユーザ認証方法及びシステムを説明するための概念図である。

図１に示すように、本発明によるユーザ認証システム１００は、通信部１１０、保存部１２０及び制御部１３０の少なくとも１つを含むようにしてもよい。ここで、本発明によるユーザ認証システム１００は、上記構成要素に限定されるものではなく、本明細書において説明される機能と同一又は類似の役割を果たす構成要素をさらに含むようにしてもよい。

なお、本発明によるユーザ認証システム１００は、電子機器１０と連動して動作するようにしてもよい。ここで、電子機器１０は、スマートフォン、携帯電話、タブレットＰＣ、キオスク、コンピュータ、ノートブックコンピュータ、デジタル放送用端末、ＰＤＡ（Personal Digital Assistants）及びＰＭＰ（Portable
Multimedia Player）の少なくとも１つを含むようにしてもよい。

また、本発明によるユーザ認証システム１００は、アプリケーション又はソフトウェアで実現してもよい。ここで、ユーザ認証システム１００のアプリケーション又はソフトウェアは、電子機器１０にインストールされ、以下に説明されるユーザ認証方法によるプロセスを行うようにしてもよい。

例えば、本発明によるユーザ認証システム１００の通信部１１０、保存部１２０及び制御部１３０は、電子機器１０のハードウェア構成を用いて、ユーザ認証のための一連の機能を実行するようにしてもよい。例えば、通信部１１０は、電子機器１０の通信部に備えられた通信モジュール（例えば、移動通信モジュール、近距離通信モジュール、無線インターネットモジュール、位置情報モジュール、放送受信モジュールなど）の構成を用いて、少なくとも１つの外部サーバ（例えば、図１に示すデータベースサーバ（ＤＢサーバ）１４０やクラウドサーバなど）とデータを送受信するようにしてもよい。

保存部１２０は、電子機器１０に備えられた（又は挿入された）メモリ又はクラウドサーバを用いて、本発明によるユーザ認証に関するデータを保存するようにしてもよい。

制御部１３０は、電子機器１０に備えられたＣＰＵ及びクラウドサーバの少なくとも１つを用いて、各構成の制御及び本発明に係る全般的な制御を行うようにしてもよい。また、制御部１３０は、本発明を実現するために、電子機器１０の少なくとも１つの構成要素の制御権限を有するようにしてもよい。さらに、制御部１３０は、本発明を実現するために、電子機器１０の構成要素により受信又は検出された情報を用いるようにしてもよい、例えば、制御部１３０は、電子機器１０のカメラ１１から受信した画像を用いて、本発明によるユーザ認証を行うようにしてもよい。

さらに、制御部１３０は、電子機器１０のディスプレイ部１２を用いて、本発明に係る情報を出力するようにしてもよい。

その他にも、制御部１３０は、電子機器１０に備えられた他の構成要素（例えば、近接センサ、赤外線センサ、タッチスクリーン、入力部など）を用いて、本発明によるユーザ認証を行うようにしてもよい。

なお、本発明によるユーザ認証システム１００は、プログラム又はアプリケーションの形態だけでなく、以下に説明される構成及び機能の実行が可能な様々な形態であってもよい。

よって、以下では、これらに厳格な制限を置かず、本発明によるユーザ認証システム１００について説明する。

図１に示すように、本発明によるユーザ認証システム１００は、電子機器１０のカメラ１１を用いて、ユーザを検出し、検出されたユーザに対するユーザ認証を行うようにしてもよい。

説明の便宜上、本発明においては、ユーザ認証の対象となるユーザを「ターゲットユーザ」という。

また、本発明において、「ユーザ認証（User Authentication）」とは、ターゲットユーザに対するユーザ認証を意味する。

本発明においては、「ユーザ認証」を用いて、「ユーザ認証の対象となるイベント又は機能（以下、「ターゲット機能」に統一して説明する）」を承認又は実行するようにしてもよい。

ここで、「ターゲット機能」は、その種類が非常に様々であり、例えば決済機能、出席確認機能、病院での来院確認機能などのように、ユーザ認証が必要な機能を意味する。

本発明において、制御部１３０は、カメラ１１から受信した画像から、ターゲットユーザ１０００の顔画像を取得し、ユーザデータベース（ユーザＤＢ）に保存された顔画像に対応するユーザ情報を用いて、ターゲットユーザ１０００に対するユーザ認証を行うようにしてもよい。

ここで、ユーザ認証の対象となるターゲット機能は、予め特定されていてもよい。制御部１３０は、ターゲットユーザ１０００の顔画像及びユーザデータベースから抽出されたユーザ情報を用いて、ターゲット機能に係るユーザ認証を行うようにしてもよい。一例として、ターゲット機能が出席確認機能の場合、制御部１３０は、ターゲットユーザ１０００に対する出席確認承認処理又は出席確認拒否処理のいずれかを行うようにしてもよい。

他の例として、ターゲット機能が決済機能の場合、制御部１３０は、ターゲットユーザ１０００に対する決済承認処理又は決済拒否処理のいずれかを行うようにしてもよい。

ここで、制御部１３０は、カメラ１１から受信した画像から、ターゲットユーザ１０００の顔画像を抽出し、抽出された顔画像に対応（又はマッチ）するユーザ情報をユーザデータベースから抽出するようにしてもよい。

ここで、ユーザデータベースに保存されているユーザ情報は、「ユーザ関連情報」、「ユーザの身元情報」又は「ユーザの識別情報」と言及されてもよい。

ユーザデータベースは、保存部１２０、データベースサーバ１４０及びクラウドサーバの少なくとも１つに含まれるようにしてもよい。

制御部１３０は、ターゲットユーザ１０００の顔画像に対応する人物をユーザデータベースから検索し、検索された人物にマッチするユーザ情報を抽出するようにしてもよい。

ユーザデータベースには、個別の人物（又は人）単位で、それぞれの人物に関するユーザ情報が保存されるようにしてもよい。すなわち、ユーザデータベースには、異なる人物毎にそれぞれに対応するユーザ情報がマッチして保存されるようにしてもよい。

ここで、ユーザ情報には、それぞれの人物に該当する人の名前、生年月日、住所、電話番号、メールアドレス、アカウント情報、社員番号、ＩＤ、顔画像、生体情報（指紋情報、虹彩情報など）、参照顔画像、電子機器の識別情報、日程（スケジュール）情報の少なくとも１つが含まれるようにしてもよい。

ここで、参照顔画像は、特定の人物の顔画像であり、１つでも複数でもよい。本発明において、「参照顔画像」は「参照データ」と言及されてもよい。

制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。

さらに、制御部１３０は、抽出されたユーザ情報を用いて、ターゲット機能に係るユーザ認証を行うようにしてもよい。

図１に示すように、電子機器１０は、任意の場所に配置することができ、ターゲットユーザ１０００は、電子機器１０の周辺にいるだけで、ユーザ認証を行うことができる。ここで、電子機器１０が配置された場所に応じて、ユーザ認証の対象となるターゲット機能を様々に設定することができる。

一例として、電子機器１０が配置された場所がカフェの場合、ターゲット機能は、決済機能に特定されてもよい。この場合、本発明によるユーザ認証システム１００は、ユーザ認証に基づいて決済機能が実行されるようにプログラミングされてもよい。

他の例として、電子機器１０が配置された場所が病院の場合、ターゲット機能は、病院に来院した患者（又は、店舗の場合は顧客）を確認する機能に特定されてもよい。この場合、本発明によるユーザ認証システム１００は、ユーザ認証に基づいて来院確認機能が実行されるようにプログラミングされてもよい。

以下、フローチャートを参照して本発明によるユーザ認証方法についてより具体的に説明する。

図２に示すように、本発明によるユーザ認証方法においては、まず、カメラ１１（図１参照）から受信した画像からターゲットユーザの顔画像を検出する過程を行う（Ｓ２１０）。

すなわち、制御部１３０は、電子機器１０のカメラ１１を用いて、ターゲットユーザの顔画像を検出するようにしてもよい。

より具体的には、図３ａの（ａ）に示すように、制御部１３０は、カメラ１１により、電子機器１０の周辺にいるターゲットユーザ１０００の顔画像を検出するようにしてもよい。

制御部１３０は、カメラ１１から受信した画像から、ターゲットユーザ１０００の顔画像を取得し、ユーザデータベースに保存された顔画像に対応するユーザ情報を用いて、ターゲットユーザ１０００に対するユーザ認証を行うようにしてもよい。

カメラ１１によりターゲットユーザ１０００の顔画像が検出（又は検知）される時点は非常に様々である。

一例として、制御部１３０は、ユーザ認証が求められるターゲット機能（又は特定の機能）のアクティブ化又は実行が行われると、ターゲットユーザ１０００の顔を撮影するように、カメラ１１を制御する。

ここで、ターゲット機能のアクティブ化又は実行は、ターゲットユーザ１０００又は第三者の要求に基づいて行われることもあり、制御部１３０の制御下で行われることもある。

例えば、ユーザ認証が求められるターゲット機能のアクティブ化又は実行の要求は、図３ａの（ａ）に示すように、電子機器１０の入力部（例えば、タッチスクリーン）を介して受信される。ターゲットユーザ１０００又は第三者は、電子機器１０の入力部を介して、ユーザ認証が求められる特定の機能のアクティブ化を要求することができる。このとき、電子機器１０のタッチスクリーンには、図示のように、ターゲット機能をアクティブ化するための要求を電子機器１０に入力する方法に関するガイド情報（例えば、「タッチして決済を開始」）が出力されるようにしてもよい。ターゲットユーザ１０００又は第三者は、ガイド情報を参照して、ユーザ認証を行うユーザ入力（例えば、タッチスクリーンへのタッチ入力）を電子機器１０に対して行うことができる。

以下、ディスプレイ部とタッチスクリーンの用語を区別せず、ディスプレイ部に統一して説明する。すなわち、以下に説明されるディスプレイ部１２は、タッチセンサを備えるものであってもよいことは言うまでもない。

一方、制御部１３０は、電子機器１０により、アクティブ化要求を受信すると、カメラ１１から受信した画像からターゲットユーザ１０００の顔画像を検出し、検出された顔画像を用いて、ユーザ認証のための一連のプロセスを行うようにしてもよい。

これとは異なり、制御部１３０は、図４ａの（ａ）及び（ｂ）に示すように、電子機器１０の周辺に人がいることが検出されると、カメラ１０によりターゲットユーザ１０００の画像が受信されるように、カメラ１０を制御してもよい。ここで、制御部１３０は、電子機器１０から所定の範囲（又は距離）内にターゲットユーザ１０００がいる場合、ターゲットユーザ１０００の顔画像を検出するように、カメラ１０を制御してもよい。制御部１３０は、電子機器１０に備えられた少なくとも１つのセンサ（例えば、近接センサ、赤外線センサ、ライダーセンサなど）を用いて、電子機器１０の周辺に又は電子機器１０から所定の範囲内にターゲットユーザ１０００がいることを検出（又は感知）するようにしてもよい。

一方、制御部１３０は、図４ａの（ａ）に示すように、電子機器１０から所定の範囲内にターゲットユーザ１０００がいない場合、電子機器１０のディスプレイ部１２が非アクティブになるように、ディスプレイ部１２を制御してもよい。非アクティブ状態のディスプレイ部１２は、電源オフ状態、待機状態及び節電状態の少なくとも１つの状態であり得る。

また、制御部１３０は、図４ａの（ｂ）に示すように、電子機器１０から所定の範囲内にターゲットユーザ１０００がいる場合、電子機器１０のディスプレイ部１２がアクティブになるように、ディスプレイ部１２を制御してもよい。このとき、ディスプレイ部１２には、ユーザ認証が求められるターゲット機能のアクティブ化を要求する方法に関するガイド情報（例えば、「タッチして決済を開始」）が出力されるようにしてもよい。

これとは異なり、制御部１３０は、所定の間隔又はリアルタイムで、カメラ１１から受信した画像にターゲットユーザ１０００の顔画像が含まれているか否かを判断するようにしてもよい。そして、判断の結果、カメラ１１から受信した画像にターゲットユーザ１０００の顔画像が含まれている場合、ターゲット機能に係るユーザ認証のための一連のプロセスを行うようにしてもよい。

一方、制御部１３０は、少なくとも１つの顔認識アルゴリズムを用いて、カメラ１１から受信した画像からターゲットユーザ１０００の顔画像を検出するようにしてもよい。本発明において活用される顔認識アルゴリズムはその種類に制限がなく、人工知能又はディープラーニングに基づいて動作するアルゴリズムも活用することができる。

一方、制御部１３０は、カメラ１１によりターゲットユーザ１０００の顔画像が検出された場合であっても、検出された顔画像がユーザ認証を行うための所定の条件（又は所定の認証条件）を満たさない場合、所定の条件を満たす顔画像を取得するためのガイド情報を提供するようにしてもよい。

より具体的には、制御部１３０は、カメラ１１により検出されるターゲットユーザ１０００の顔画像が所定の条件を満たすか否かを判断するようにしてもよい。ここで、所定の条件は、画像に含まれる顔画像の大きさ、顔画像に対応する顔の角度、画像での顔画像の位置、及び画像に顔立ち特徴要素（例えば、目、鼻、口）が含まれるか否かの少なくとも１つに関するものであってもよい。

制御部１３０は、図４ｂに示すように、所定の条件を満たす顔画像を取得できるように、ターゲットユーザ１０００の姿勢や位置などに関する情報の少なくとも１つをガイド情報として出力するようにしてもよい。ガイド情報は、カメラ１１とターゲットユーザ１０００の相手位置及び相手距離の少なくとも一方に関するものであってもよい。

例えば、制御部１３０は、ガイド情報として、ｉ）図４ｂの（ａ）、（ｂ）、（ｅ）に示すように、電子機器に対するターゲットユーザ１０００の位置情報（例えば、近づいてください、後ろに下がってください、画面に位置を合わせてください）、ｉｉ）図４ｂの（ｃ）に示すように、ターゲットユーザ１０００の姿勢情報（例えば、画面を見てください）、ｉｉｉ）図４ｂの（ｄ）に示すように、ターゲットユーザ１０００の顔が物体（例えば、マスク）に隠れている場合にその除去を誘導する情報（例えば、マスクを外してください）などが提供されてもよい。

このようにしてカメラ１１によりターゲットユーザ１０００の顔画像が検出されると、本発明においては、検出された顔画像に対応するユーザ情報をユーザデータベースから抽出する過程を行う（Ｓ２２０）。

より具体的には、制御部１３０は、カメラ１１から受信した画像から、ターゲットユーザ１０００の顔画像を抽出し、抽出された顔画像に対応（又はマッチ）するユーザ情報をユーザデータベースから抽出するようにしてもよい。

前述したように、ユーザデータベースに保存されているユーザ情報は、「ユーザ関連情報」、「ユーザの身元情報」又は「ユーザの識別情報」と言及されてもよい。

ユーザデータベースは、保存部１２０、データベースサーバ１４０及びクラウドサーバの少なくとも１つに含まれるようにしてもよい。

制御部１３０は、ターゲットユーザ１０００の顔画像に対応する人物をユーザデータベースから検索し、検索された人物にマッチするユーザ情報を抽出するようにしてもよい。

ユーザデータベースには、個別の人物（又は人）単位で、それぞれの人物に関するユーザ情報が保存されるようにしてもよい。すなわち、ユーザデータベースには、異なる人物毎にそれぞれに対応するユーザ情報がマッチして保存されるようにしてもよい。

ここで、ユーザ情報には、それぞれの人物に該当する人の名前、生年月日、住所、電話番号、メールアドレス、アカウント情報、社員番号、ＩＤ、顔画像、生体情報（指紋情報、虹彩情報など）、参照顔画像、電子機器の識別情報、日程（スケジュール）情報、特定の機能（又は特定のイベント）に関する権限情報の少なくとも１つが含まれるようにしてもよい。

ここで、参照顔画像は、特定の人物の顔画像であり、１つでも複数でもよい。本発明において、「参照顔画像」は「参照データ」と言及されてもよい。

制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。

制御部１３０は、検出されたターゲットユーザ１０００の顔画像に対して所定の条件を満たす類似度を有する特定の参照顔画像をユーザデータベースから抽出するようにしてもよい。また、制御部１３０は、抽出された特定の参照顔画像にマッチする人物をターゲットユーザとして特定するようにしてもよい。

制御部１３０は、図３ａの（ｂ）に示すように、ターゲットユーザ１０００の検索が行われている間、現在の進行状況に関する案内情報（例えば、「あなたを検索しています」）が電子機器１０に出力されるように、ディスプレイ部１２を制御してもよい。制御部１３０は、ユーザ認証の現在の進行状況に関する案内情報（例えば、「あなたを検索しています」）をディスプレイ部１２に提供するようにしてもよい。

図示のように、ディスプレイ部１２には、カメラ１１により撮影された画像が出力されてもよい。このとき、ディスプレイ部１２に出力される画像には、ターゲットユーザ１０００の顔画像が含まれてもよい。

一方、前述したように、ターゲットユーザ１０００に該当する人物が特定され、特定された人物（例えば、佐藤＊美）に関するユーザ情報が出力される場合、制御部１３０は、ユーザ情報の少なくとも一部をディスプレイ部１２に提供するようにしてもよい。

すなわち、図３ａの（ｃ）に示すように、ターゲットユーザ１０００に該当する人物に対応するユーザ情報の少なくとも一部（例えば、名前情報（佐藤＊美））がディスプレイ部１２に出力されるようにしてもよい。よって、ターゲットユーザ１０００は、ディスプレイ部１２に出力された情報を参照して、ユーザ自身に関するユーザ認証が行われているか否かを確認することができる。

このようにしてターゲットユーザ１０００に関するユーザ情報が抽出されると、本発明においては、抽出されたユーザ情報を用いて、ターゲットユーザ１０００に対するユーザ認証を行う過程を行う（Ｓ２３０）。

より具体的には、制御部１３０は、抽出されたユーザ情報を用いて、ターゲット機能に係るユーザ認証を行うようにしてもよい。例えば、図３ａの（ｃ）に示すように、電子機器１０が配置された場所がカフェの場合、ターゲット機能は、決済機能に特定されてもよい。この場合、本発明によるユーザ認証システム１００は、ユーザ認証に基づいて決済機能が実行されるようにプログラミングされてもよい。

本発明において、ユーザ認証は、ターゲット機能に連携して行われるものであり、制御部１３０は、ユーザ認証の成功又は失敗を、特定の機能のｉ）承認又は拒否、ｉｉ）アクティブ化又は非アクティブ化、ｉｉｉ）実行又は非実行のための制御命令として活用してもよい。

例えば、ユーザ認証に成功した場合、制御部１３０は、ターゲット機能を承認、アクティブ化又は実行するようにしてもよい。また、ユーザ認証に失敗した場合、制御部１３０は、特定の機能を拒否、非アクティブ化又は非実行するようにしてもよい。

一方、制御部１３０は、ユーザ認証が行われるターゲット機能（又は特定の機能）に関する情報（ターゲット機能情報、特定機能情報）がディスプレイ部１２に出力されるように、ディスプレイ部１２を制御してもよい。

ディスプレイ部１２には、図３ａの（ｃ）に示すように、ターゲットユーザ１０００の顔画像に基づいて検索された人物に関するユーザ情報と共に、ユーザ認証の対象となるターゲット機能に関するターゲット機能情報（例えば、「カフェラテ７００円を決済しますか」）がさらに出力されてもよい。よって、ターゲットユーザ１０００は、現在電子機器１０で行われているユーザ認証がどの機能のためのユーザ認証であるかを直観的に把握することができる。

一方、制御部１３０は、ターゲットユーザ１０００の顔画像だけでなく、ターゲットユーザ１０００のジェスチャーに基づいて、ユーザ認証を行うようにしてもよい。

制御部１３０は、カメラ１１により、ターゲットユーザ１０００の顔画像だけでなく、ターゲットユーザ１０００のジェスチャーを検出するようにしてもよい。

ここで、ターゲットユーザ１０００のジェスチャーは、ターゲットユーザ１０００の身振り、行動及び口振りの少なくとも１つが含まれるようにしてもよい。

制御部１３０は、ターゲットユーザ１０００のジェスチャーに基づいて、ターゲットユーザ１０００に対するユーザ認証を完了するか否かを決定するようにしてもよい。

このとき、制御部１３０は、ジェスチャーをした主体の顔画像と、既に検出されたターゲットユーザ１０００の顔画像とを比較し、当該ジェスチャーがターゲットユーザ１０００のジェスチャーであるか否かを判断するようにしてもよい。また、制御部１３０は、ジェスチャーをした主体がターゲットユーザ１０００である場合に限り、ユーザ認証を完了するようにしてもよい。

ここで、「ユーザ認証の完了」とは、ユーザ認証の最終状態に関連し、ユーザ認証の最終状態には、ｉ）ユーザ認証の成功及びｉｉ）ユーザ認証の失敗の少なくとも一方の状態が含まれるようにしてもよい。

本発明において、ユーザ認証の最終状態とは、ターゲットユーザ１０００に対応する人物を検索し、その後ターゲットユーザ１０００のジェスチャーに基づいてターゲット機能（又は特定の機能）の承認、拒否、実行、非実行、アクティブ化又は非アクティブ化を決定した状態を意味する。

すなわち、制御部１３０により、ターゲットユーザ１０００に対応する人物が検索され、当該人物に関するユーザ情報が抽出された場合であっても、制御部１３０は、ターゲットユーザ１０００のジェスチャーに基づいて、特定の機能（例えば、決済機能）の実行を拒否することができる。

ここで、制御部１３０は、図３ａの（ｃ）に示すように、ターゲットユーザ１０００に関するユーザ情報（例えば、名前情報）及びユーザ認証が求められるターゲット機能に関する情報（例えば、決済機能情報）の少なくとも一方をディスプレイ部１２に出力し、その後ターゲットユーザ１０００のジェスチャーを検出するようにしてもよい。これは、ターゲットユーザ１０００がディスプレイ部１２からユーザ認証の現在の進行状況を確認した後に行うジェスチャーを検出するためのものである。すなわち、ターゲットユーザ１０００は、ディスプレイ部１２に出力された情報に基づいて、現在行われているユーザ認証がどの機能のユーザ認証であるかの状況を把握することができ、当該状況を確認した後、ユーザ認証の意思をジェスチャーで示すことができる。

制御部１３０は、ユーザ情報（例えば、名前情報）及びユーザ認証が求められるターゲット機能に関する情報（例えば、決済機能情報）の少なくとも一方がディスプレイ部１２に出力された状態で、カメラ１１から画像を受信するようにしてもよい。また、制御部１３０は、受信した画像からターゲットユーザ１０００のジェスチャーを検出するようにしてもよい。

なお、本発明においては、ターゲットユーザ１０００のジェスチャーを検出するために、カメラ１１から画像を受信する時点や、受信した画像からジェスチャーを検出する時点を様々に変更してもよいことは言うまでもない。

一方、保存部１２０には、異なる制御命令にそれぞれ対応するジェスチャーに関する情報が保存されてもよい。よって、制御部１３０は、受信した画像からターゲットユーザ１０００のジェスチャーを検出し、検出されたジェスチャーにマッチする制御命令を保存部１２０から抽出するようにしてもよい。また、制御部１３０は、ユーザ認証が求められるターゲット機能に対して、抽出された制御命令に対応する制御を行うようにしてもよい。

一例として、制御部１３０は、ターゲットユーザ１０００のジェスチャーが、ユーザ認証に同意する制御命令にマッチする所定の第１ジェスチャーに対応する場合、ターゲット機能に係るユーザ認証を成功として処理するようにしてもよい。例えば、制御部１３０は、図３ｂの（ａ）に示すように、カメラ１１から受信した画像から、ターゲットユーザ１０００による第１ジェスチャー（例えば、首を縦に振る動作）が検出されると、特定の機能（又はターゲット機能）に係るユーザ認証を成功として処理するようにしてもよい。例えば、特定の機能は、図示のように、決済機能であってもよい。制御部１３０は、図示のように、ユーザ認証の処理結果に関する情報３４０（例えば、「決済が完了しました」）をディスプレイ部１２に提供するようにしてもよい。よって、ディスプレイ部１２には、ユーザ認証の処理結果に関する情報３４０が出力される。

他の例として、制御部１３０は、ターゲットユーザ１０００のジェスチャーが、ユーザ認証を拒否する（ユーザ認証に同意しない）制御命令にマッチする所定の第２ジェスチャーに対応する場合、ターゲット機能に係るユーザ認証を失敗として処理するようにしてもよい。例えば、制御部１３０は、図３ｂの（ｂ）に示すように、カメラ１１から受信した画像から、ターゲットユーザ１０００による第２ジェスチャー（例えば、首を横に振る動作）が検出されると、特定の機能（又はターゲット機能）に係るユーザ認証を失敗として処理するようにしてもよい。例えば、特定の機能は、図示のように、決済機能であってもよい。制御部１３０は、図示のように、ユーザ認証の処理結果に関する情報３５０（例えば、「決済がキャンセルされました」）をディスプレイ部１２に提供するようにしてもよい。よって、ディスプレイ部１２には、ユーザ認証の処理結果に関する情報３５０が出力される。

よって、本発明によるユーザ認証方法及びシステムにおいては、検出されたユーザの顔画像だけでなく、ユーザのジェスチャーに基づいて、ユーザ認証に関するユーザの意図を把握することができる。よって、本発明によるユーザ認証方法及びシステムにおいては、ユーザのジェスチャーに基づいて、ユーザ認証を行おうとするユーザの真偽を把握し、ユーザの意図に基づいてユーザ認証を行うことができる。

一方、制御部１３０は、図３ａの（ｃ）に示すように、ジェスチャーにマッチする制御命令に関するガイド情報３２０をディスプレイ部１２に提供するようにしてもよい。よって、ターゲットユーザ１０００は、特定の機能において所望の結果を得るためにどのジェスチャーをすべきかを直観的に把握することができる。

一方、制御部１３０は、ユーザ認証が完了すると、カメラ１１により取得されたターゲットユーザ１０００の顔画像がユーザデータベースに含まれるようにしてもよい。制御部１３０は、ターゲットユーザ１０００に対応する人物のユーザ情報に顔画像が含まれるように、ユーザデータベースをアップデートするようにしてもよい。

以下、カメラに認識されたターゲットユーザに対するユーザ認証を行う過程で他のユーザが認識された場合について説明する。

本発明においては、図５の（ａ）及び（ｂ）に示すように、ターゲットユーザ１０００ａに対するユーザ認証が行われている状態で、図５の（ｃ）に示すように、カメラ１１によりターゲットユーザ１０００ａの顔画像と共に他のユーザ１０００ｂの顔画像が検出されることがある。ここで、他のユーザ１０００ｂは、ユーザ認証を行おうとするユーザ又はターゲットユーザ１０００ａを隠すユーザである。

制御部１３０は、ターゲットユーザ１０００ａに対するユーザ認証を完了するために、他のユーザ１０００ｂが認識されても、ターゲットユーザ１０００ａに対するユーザ認証を行い続けるようにしてもよい。例えば、制御部１３０は、ターゲットユーザ１０００ａが他のユーザ１０００ｂに隠れた状態でカメラ１１に認識されたとしても、ターゲットユーザ１０００ａの少なくとも一部が認識されていさえすれば、ターゲットユーザ１０００ａに対するユーザ認証を行い続けるようにしてもよい。すなわち、本発明において、制御部１３０は、ターゲットユーザ１０００ａがカメラ１１の周辺に居続ける状況を、ターゲットユーザ１０００ａがユーザ認証を継続して行おうとする意図であるとして把握してもよい。

一方、制御部１３０は、図５の（ｃ）に示すように、他のユーザ１０００ｂが所定時間以上カメラ１１により検出されると、ターゲットユーザ１０００ａに対するユーザ認証を終了するようにしてもよい。また、制御部１３０は、図５の（ｄ）に示すように、カメラ１１から受信した画像から他のユーザ１０００ｂの顔画像を検出するようにしてもよい。さらに、制御部１３０は、検出された他のユーザ１０００ｂの顔画像とユーザデータベースに含まれる参照顔画像とを比較し、他のユーザ１０００ｂに対応する人物を特定するようにしてもよい。さらに、制御部１３０は、特定された人物にマッチするユーザ情報をユーザデータベースから抽出し、抽出されたユーザ情報を用いて、他のユーザ１０００ｂに対して前述した一連のユーザ認証過程を行うようにしてもよい。この場合、ターゲットユーザ１０００ａに対するユーザ認証が完了していない状態であっても、制御部１３０は、ターゲットユーザ１０００ａに対するユーザ認証を終了するようにしてもよい。

このように、制御部１３０は、カメラ１１により検出されるターゲットユーザ１０００ａ及び他のユーザ１０００ｂに関する情報に基づいて、ユーザ認証を行おうとするターゲットユーザ１０００ａ及び他のユーザ１０００ｂの意図を判断するようにしてもよい。また、制御部１３０は、判断結果に基づいて、ターゲットユーザ１０００ａ及び他のユーザ１０００ｂのいずれかのユーザに対するユーザ認証を行うようにしてもよい。

制御部１３０は、所定の検出条件に基づいて、ターゲットユーザ１０００ａ及び他のユーザ１０００ｂのいずれかのユーザに対するユーザ認証を行うようにしてもよい。ここで、所定の検出条件は、カメラ１１から受信した画像からターゲットユーザ１０００ａ及び他のユーザ１０００ｂの顔画像が検出された時間の長さ、姿勢及び占有面積の少なくとも１つに基づいて決定されるようにしてもよい。

例えば、所定の検出条件は、ｉ）ターゲットユーザ１０００ａに対してユーザ認証が行われている状態で、カメラ１１により他のユーザ１０００ｂの顔画像が所定時間以上検出されたか否か、ｉｉ）他のユーザ１０００ｂの顔画像がカメラ１１の正面を向いているか否か、ｉｉｉ）ターゲットユーザ１０００ａがカメラ１１を見ていないかどうか、ｉｖ）カメラ１１から受信した画像において、ターゲットユーザ１０００ａの顔画像が占める比率が他のユーザ１０００ｂの顔画像が占める比率より小さいか否かなどのサブ条件の少なくとも１つを組み合わせて設定してもよい。

よって、制御部１３０は、カメラ１１から受信した画像において、ターゲットユーザ１０００ａ及び他のユーザ１０００ｂの少なくとも一方の顔画像の検出時間をカウントするか又は占有面積を算出し、ターゲットユーザ１０００ａ及び他のユーザ１０００ｂのいずれかのユーザに対するユーザ認証を行うようにしてもよい。

このように、制御部１３０は、カメラ１１により検出されるターゲットユーザ１０００ａ及び他のユーザ１０００ｂに関する情報に基づいて、ユーザ認証を行おうとするターゲットユーザ１０００ａ及び他のユーザ１０００ｂの意図を判断することにより、ユーザに対する適切なユーザ認証を提供することができる。

以下、ユーザデータベースにおいてターゲットユーザ１０００に対応する人物の特定が誤っているか又は複数の人物が特定された場合の処理方法について説明する。

前述したように、制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。

このとき、カメラ１１により取得されたターゲットユーザ１０００の顔画像とユーザデータベースに保存された参照顔画像との類似度が低いか、又はターゲットユーザ１０００の現在の容姿と参照顔画像の容姿とが異なる場合、制御部１３０は、ターゲットユーザ１０００に対応する人物をユーザデータベースから正確に検索することができない。

そこで、本発明においては、ガイド情報を提供して、ターゲットユーザ１０００がいつでもそれに対するフィードバックを電子機器１０又は制御部１３０に入力できるようにしてもよい。

例えば、図６ａの（ａ）及び（ｂ）に示すように、制御部１３０は、ターゲットユーザに対応する人物に関するユーザ情報（例えば、鈴木久＊＊、高橋理＊）が抽出された場合であっても、抽出されたユーザ情報が誤っているか否かの入力を受けるためのＧＵＩ６１０、６２０又はグラフィックオブジェクトをディスプレイ部１２に提供するようにしてもよい。

制御部１３０は、ＧＵＩ６１０、６２０が選択されると、カメラ１１によりターゲットユーザを再び撮影し、再び撮影された画像からターゲットユーザの顔画像を検出するようにしてもよい。また、制御部１３０は、検出された顔画像に対応する人物をユーザデータベースから再び検索し、再び検索された人物に関するユーザ情報がディスプレイ部１２に出力されるようにしてもよい。

ここで、再び検索された人物と再び検索する前に検索された人物とが同一人物である場合、制御部１３０は、顔認識方法ではなく、他の方法でユーザ認証プロセスを実行するようにしてもよい。再び検索された人物に関するユーザ情報は、ディスプレイ部１２に出力されないようにしてもよい。

一方、再び検索された人物と再び検索する前に検索された人物とが同一人物である場合、制御部１３０は、ターゲットユーザからターゲットユーザの識別情報（例えば、電話番号、社員番号、アカウント情報、住所、名前など）の入力を受けるためのＧＵＩをディスプレイ部１２に提供するようにしてもよい。また、制御部１３０は、ＧＵＩにより入力されたターゲットユーザの識別情報を用いて、ターゲットユーザに対応する人物をユーザデータベースから検索し、検索された人物に対応するユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。

制御部１３０は、検出されたターゲットユーザ１０００の顔画像に対して所定の条件を満たす類似度を有する特定の参照顔画像をユーザデータベースから抽出するようにしてもよい。また、制御部１３０は、抽出された特定の参照顔画像にマッチする人物をターゲットユーザとして特定するようにしてもよい。

前述したように、制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。

一方、制御部１３０は、ターゲットユーザの顔画像に対して所定の条件を満たす類似度（又は所定の類似度条件）を有する参照顔画像をユーザデータベースから検索し、検索された参照顔画像に対応する人物をターゲットユーザに対応する人物として特定するようにしてもよい。このとき、ユーザデータベースから複数の参照顔画像が検索されることがある。ここで、複数の参照顔画像は、異なる人物にそれぞれ対応する画像であり得る。

この場合、制御部１３０は、検索された複数の参照顔画像にそれぞれ対応する複数の人物のユーザ情報を抽出し、図６ｂの（ａ）に示すように、抽出されたユーザ情報を用いて、ターゲットユーザからユーザ自身に対応するユーザ情報の選択を受けるためのＧＵＩをディスプレイ部１２に提供するようにしてもよい。図示のように、ディスプレイ部１２には、複数の参照顔画像にそれぞれ対応する複数の人物のいずれかの選択を受けるためのグラフィックオブジェクト６３０、６４０が出力されるようにしてもよい。

出力されたグラフィックオブジェクト６３０、６４０は、異なる人物にそれぞれ対応し、それぞれ対応する人物のユーザ情報（又は識別情報、例えばアカウント情報、メールアドレス、名前など）を含むようにしてもよい。

また、制御部１３０は、図６ｂの（ａ）に示すように、グラフィックオブジェクト６３０、６４０のうちターゲットユーザにより選択されたグラフィックオブジェクト６３０にマッチする特定の人物を、ターゲットユーザに対応する人物として特定するようにしてもよい。さらに、制御部１３０は、図６ｂの（ｂ）に示すように、特定された人物にマッチするユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。

一方、制御部１３０は、ユーザ認証が完了すると、カメラ１１により取得されたターゲットユーザの顔画像がユーザデータベースに含まれるようにしてもよい。制御部１３０は、特定された人物に対応するユーザ情報に顔画像が含まれるように、ユーザデータベースをアップデートするようにしてもよい。

また、制御部１３０は、ターゲットユーザの顔画像を、ターゲットユーザに対応する人物の参照顔画像として設定するようにしてもよい。さらに、制御部１３０は、次回のターゲットユーザに対するユーザ認証が行われる場合、新たに設定された参照顔画像を用いて、ターゲットユーザを特定するようにしてもよい。

他の例として、制御部１３０は、ターゲットユーザの顔画像に対して所定の条件を満たす類似度（又は所定の類似度条件）を有する参照顔画像をユーザデータベースから検索し、検索された参照顔画像に対応する人物をターゲットユーザに対応する人物として特定するようにしてもよい。このとき、ユーザデータベースから複数の参照顔画像が検索されることがある。ここで、複数の参照顔画像は、異なる人物にそれぞれ対応する画像であり得る。

この場合、制御部１３０は、図６ｃに示すように、異なる人物にそれぞれ対応する複数の参照顔画像６７１、６７２、６７３がディスプレイ部に出力されるようにしてもよい。

また、制御部１３０は、複数の参照顔画像６７１、６７２、６７３のいずれかの画像がターゲットユーザにより選択されると、選択された参照顔画像にマッチする人物をターゲットユーザに対応する人物として特定するようにしてもよい。

さらに、制御部１３０は、検索された参照顔画像が複数の場合、検索された複数の参照顔画像のうち、カメラ１１により撮影されたターゲットユーザの顔画像との類似度がより高い（又は最も高い）特定の参照顔画像（又は第１参照顔画像）にマッチする特定の人物（又は第１人物）のユーザ情報を、ユーザデータベースから抽出するようにしてもよい。

さらに、制御部１３０は、特定の人物（又は第１人物）のユーザ情報６５０と共に、検索された複数の参照顔画像のうち、特定の参照顔画像（又は第１参照顔画像）とは異なる他の参照顔画像（又は第２参照顔画像）６７１、６７２、６７３をディスプレイ部に提供するようにしてもよい。

すなわち、制御部１３０は、ターゲットユーザの顔画像との類似度が最も高い参照顔画像に対応する人物を、ターゲットユーザに対応する人物として一次特定するが、他の人物がターゲットユーザに対応する可能性も排除しない。

一方、制御部１３０は、図６ｃに示すように、特定の人物（又は第１人物）のユーザ情報６５０と共に、他の参照顔画像（又は第２参照顔画像）６７１、６７２、６７３がディスプレイ部に出力された状態で、カメラ１１０によりターゲットユーザの所定の条件を満たすジェスチャー（例えば、ユーザ認証に関するジェスチャー）が検出されると、ターゲットユーザを第１人物として特定するようにしてもよい。また、制御部１３０は、特定の人物（又は第１人物）のユーザ情報６５０を用いて、ユーザ認証を行うようにしてもよい。

一方、これとは異なり、特定の人物（又は第１人物）のユーザ情報６５０と共に、他の参照顔画像（又は第２参照顔画像）６７１、６７２、６７３がディスプレイ部に出力された状態で、ターゲットユーザにより他の参照顔画像（又は第２参照顔画像）６７１、６７２、６７３のいずれかが選択されることがある。この場合、制御部１３０は、ターゲットユーザによりユーザデータベースから選択された他の参照顔画像（又は第２参照顔画像）に対応する特定の人物（又は第２人物）を、ターゲットユーザに対応する人物として特定するようにしてもよい。また、制御部１３０は、ターゲットユーザによりユーザデータベースから選択された他の参照顔画像（又は第２参照顔画像）に対応する特定の人物（又は第２人物）のユーザ情報を抽出し、抽出されたユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。

この場合も同様に、制御部１３０は、ターゲットユーザとして特定された人物（第１人物又は第２人物）に対応するユーザ情報に、カメラ１１により取得されたターゲットユーザの顔画像が含まれるように、ユーザデータベースをアップデートするようにしてもよい。また、制御部１３０は、ターゲットユーザの顔画像を、ターゲットユーザに対応する人物の参照顔画像として設定するようにしてもよい。さらに、制御部１３０は、次回のターゲットユーザに対するユーザ認証が行われる場合、新たに設定された参照顔画像を用いて、ターゲットユーザを特定するようにしてもよい。

以下、ユーザデータベースにターゲットユーザ１０００に対応する人物のユーザ情報が存在しない場合にユーザ認証を行う方法について説明する。

前述したように、制御部１３０は、カメラ１１により取得されたターゲットユーザの顔画像と、ユーザデータベースに保存された参照顔画像とを比較し、ターゲットユーザの顔画像に対応する参照顔画像にマッチする人物を検索するようにしてもよい。また、制御部１３０は、検索された人物をターゲットユーザとして特定し、検索された人物にマッチするユーザ情報をユーザデータベースから抽出するようにしてもよい。

ここで、ユーザデータベースには、カメラ１１により取得されたターゲットユーザ１０００の顔画像に対応する参照顔画像が存在しないことがある。

この場合、制御部１３０は、図７ａの（ａ）及び（ｂ）に示すように、顔認識方法ではなく、他の方法でユーザ認証プロセスを実行するようにしてもよい。制御部１３０は、図７ａの（ａ）に示すように、ユーザデータベースに参照顔画像が存在しないことを通知するガイド情報７１０がディスプレイ部１２に出力されるようにしてもよい。

また、制御部１３０は、図７ａの（ｂ）に示すように、ターゲットユーザからターゲットユーザの識別情報（例えば、電話番号、社員番号、アカウント情報、住所、名前など）の入力を受けるためのＧＵＩ７２０をディスプレイ部１２に提供するようにしてもよい。

このように、ユーザデータベースにターゲットユーザの顔画像に対応するユーザ情報が存在しない場合、図７ａの（ｂ）に示すように、ターゲットユーザの識別情報の入力を受けるためのＧＵＩ７２０がディスプレイ部１２に表示されるようにしてもよい。制御部１３０は、ＧＵＩ７２０により入力されたターゲットユーザの識別情報を用いて、ターゲットユーザに対応する人物をユーザデータベースから検索し、検索された人物（例えば、高橋理＊）に対応するユーザ情報を用いて、ターゲットユーザに対するユーザ認証を行うようにしてもよい。

また、制御部１３０は、カメラ１１により検出されたターゲットユーザの顔画像を検索された人物の参照顔画像として登録するためのプロセスを行うようにしてもよい。すなわち、制御部１３０は、検索された人物のユーザ情報にターゲットユーザの顔画像を含め、次回に、ターゲットユーザが顔認識方法によりユーザ認証を行えるようにしてもよい。

そのために、制御部１３０は、図７ｂの（ａ）及び（ｂ）に示すように、ターゲットユーザからターゲットユーザの顔画像の登録の選択を受けるためのＧＵＩ７４０がディスプレイ部１２に出力されるようにしてもよい。ターゲットユーザによりＧＵＩ７４０が選択されると、制御部１３０は、ターゲットユーザの顔画像がターゲットユーザのユーザ情報に対応する人物の参照顔画像として登録されるように、ユーザデータベースをアップデートするようにしてもよい。

一方、制御部１３０は、ターゲットユーザの参照顔画像がユーザデータベースに登録されていない状態で、ターゲットユーザが顔認識方法ではなく他のユーザ認証方法でユーザ認証を所定回数行った場合、ターゲットユーザの顔画像を参照顔画像として登録するためのプロセスを行うようにしてもよい。

より具体的には、制御部１３０は、ユーザ認証が所定回数行われる間、ターゲットユーザの複数の顔画像間の類似度を分析するようにしてもよい。すなわち、制御部１３０は、他のユーザ認証方法でターゲットユーザに対するユーザ認証が行われている場合であっても、カメラ１１によりターゲットユーザの顔画像を取得し、取得された顔画像を保存部１２０に保存するようにしてもよい。

また、制御部１３０は、他のユーザ認証方法でユーザ認証が所定回数行われている状況で取得されたターゲットユーザの複数の顔画像間の類似度を分析するようにしてもよい。さらに、ターゲットユーザの複数の顔画像間の類似度が所定の類似度基準を満たす場合、ターゲットユーザの顔画像を登録するためのプロセスを行うようにしてもよい。

すなわち、制御部１３０は、他のユーザ認証方法でユーザ認証を行ったターゲットユーザが、ユーザ認証の対象に該当する真のユーザであるか否かを確認するために、異なる時点で取得されたターゲットユーザの顔画像間の比較を行うようにしてもよい。よって、制御部１３０は、顔画像の比較を行った結果、同じターゲットユーザが複数回（又は所定回数）にわたって同じ人物に対するユーザ認証を行った場合に限り、顔画像を登録するためのプロセスを行うようにしてもよい。

以上説明したように、本発明によるユーザ認証方法及びシステムは、ユーザの意図を把握してより直観的にユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。

また、本発明は、ユーザが直接情報を入力することなくユーザ認証を行うことのできるユーザ認証方法及びシステムを提供するためのものである。

さらに、本発明は、ユーザ認証を行うかについてのユーザの真の意図を把握してユーザ認証を完了することのできるユーザ認証方法及びシステムを提供するためのものである。

一方、コンピュータ可読媒体は、コンピュータシステムにより読み取り可能なデータが記録されるあらゆる種類の記録装置を含む。コンピュータ可読媒体の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Disk）、ＳＤＤ（Silicon Disk Drive）、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などが挙げられる。

また、コンピュータ可読媒体は、ストレージを含み、電子機器が通信によりアクセスできるサーバ又はクラウドストレージであり得る。この場合、コンピュータは、有線又は無線通信により、サーバ又はクラウドストレージから本発明によるプログラムをダウンロードすることができる。

さらに、本発明において、前述したコンピュータは、プロセッサ、すなわち中央処理装置（Central Processing
Unit, CPU）が搭載された電子機器であり、その種類は特に限定されない。

一方、本発明の詳細な説明は例示的なものであり、あらゆる面で制限的に解釈されてはならない。本発明の範囲は添付の特許請求の範囲の合理的解釈により定められるべきであり、本発明の等価的範囲内でのあらゆる変更が本発明の範囲に含まれる。

＜＜＜ 付記 ＞＞＞
（付記１）
カメラを用いて、ターゲットユーザの顔画像を検出するステップと、
前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップと、
前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行うステップとを含み、
前記ユーザ認証を行うステップにおいては、
前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とするユーザ認証方法。
（付記２）
前記ユーザ情報の少なくとも一部を、前記ユーザ認証を行う電子機器のディスプレイ部に提供するステップをさらに含み、
前記ユーザ認証を行うステップにおいては、
前記ユーザ情報の少なくとも一部が前記ディスプレイ部に提供された後に検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を行うことを特徴とする付記１に記載のユーザ認証方法。
（付記３）
前記ディスプレイ部には、
前記ユーザ情報の少なくとも一部に加え、前記ユーザ認証の対象となるターゲット機能に関するターゲット機能情報がさらに提供され、
前記ユーザ認証を行うステップにおいては、
前記ターゲットユーザのジェスチャーが、前記ユーザ認証に同意する制御命令にマッチする所定の第１ジェスチャーに対応する場合、
前記ターゲット機能におけるユーザ認証を成功として処理することを特徴とする付記２に記載のユーザ認証方法。
（付記４）
前記ユーザ認証を行うステップにおいては、
前記ターゲットユーザのジェスチャーが、前記ユーザ認証を拒否する制御命令にマッチする所定の第２ジェスチャーに対応する場合、
前記ターゲット機能におけるユーザ認証を失敗として処理することを特徴とする付記３に記載のユーザ認証方法。
（付記５）
前記ユーザ認証を行うステップにおいては、
前記ターゲットユーザに対するユーザ認証が行われている状態で、前記カメラにより前記ターゲットユーザとは異なる他のユーザの顔画像が検出されても、前記ターゲットユーザに対するユーザ認証を行うことを特徴とする付記１～４のいずれかに記載のユーザ認証方法。
（付記６）
前記ユーザ認証を行うステップにおいては、
前記他のユーザの顔画像が所定時間以上検出されると、前記ターゲットユーザに対するユーザ認証を終了することを特徴とする付記５に記載のユーザ認証方法。
（付記７）
前記ターゲットユーザに対するユーザ認証が終了した場合、
前記ユーザ認証を行うステップにおいては、
前記他のユーザの顔画像に対応するユーザ情報を前記ユーザデータベースから抽出し、前記他のユーザのユーザ情報を用いて、前記他のユーザに対するユーザ認証を行うことを特徴とする付記６に記載のユーザ認証方法。
（付記８）
前記ユーザ情報を抽出するステップにおいては、
前記ターゲットユーザの顔画像と前記ユーザデータベースに保存された参照顔画像とを比較し、前記ターゲットユーザの顔画像に対する所定の類似度基準を満たす参照顔画像を検索し、
前記ユーザ情報は、
前記検索された参照顔画像に対応する人物のユーザ情報であることを特徴とする付記１～７のいずれかに記載のユーザ認証方法。
（付記９）
前記検索された参照顔画像が複数である場合、
前記ユーザ認証を行う電子機器のディスプレイ部には、
前記検索された複数の参照顔画像にそれぞれ対応する複数の人物のいずれかの選択を受けるためのグラフィックオブジェクトが出力され、
前記ユーザ認証を行うステップにおいては、
前記複数の人物のうち前記グラフィックオブジェクトにより選択された特定の人物にマッチするユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行うことを特徴とする付記８に記載のユーザ認証方法。
（付記１０）
前記特定の人物にマッチするユーザ情報に前記ターゲットユーザの顔画像が含まれるように、前記ユーザデータベースをアップデートするステップをさらに含むことを特徴とする付記９に記載のユーザ認証方法。
（付記１１）
前記検索された参照顔画像が複数である場合、
前記ユーザ情報を抽出するステップにおいては、
前記検索された複数の参照顔画像のうち、前記ターゲットユーザの顔画像との類似度がより高い第１参照顔画像にマッチする第１人物のユーザ情報を前記ユーザデータベースから抽出し、
前記第１人物のユーザ情報と共に、前記検索された複数の参照顔画像のうち、前記第１参照顔画像とは異なる第２参照顔画像を、前記ユーザ認証を行う電子機器のディスプレイ部に提供することを特徴とする付記８に記載のユーザ認証方法。
（付記１２）
前記ユーザ認証を行うステップにおいては、
前記第１人物のユーザ情報及び前記第２参照顔画像が前記ディスプレイ部に提供されている状態で、前記ターゲットユーザのジェスチャーが検出されると、
前記ターゲットユーザを前記第１人物として特定し、
前記第１人物のユーザ情報を用いて、前記ユーザ認証を行うことを特徴とする付記１１に記載のユーザ認証方法。
（付記１３）
前記第１人物のユーザ情報及び前記第２参照顔画像が前記ディスプレイ部に提供されている状態で、前記ターゲットユーザにより前記第２参照顔画像が選択されると、
前記第２参照顔画像に対応する第２人物のユーザ情報を前記ユーザデータベースから抽出し、
前記第２人物のユーザ情報を用いて、前記ユーザ認証を行うことを特徴とする付記１２に記載のユーザ認証方法。
（付記１４）
前記ターゲットユーザの顔画像に対応するユーザ情報が前記ユーザデータベースに存在しない場合、
前記ユーザ認証を行う電子機器のディスプレイ部には、
前記ターゲットユーザの識別情報の入力を受けるためのＧＵＩが提供され、
前記ユーザ情報を抽出するステップにおいては、
前記ＧＵＩにより入力された前記ターゲットユーザの識別情報を用いて、前記ユーザ情報を前記ユーザデータベースから抽出することを特徴とする付記１～１３のいずれかに記載のユーザ認証方法。
（付記１５）
前記ターゲットユーザの顔画像が前記ユーザ情報に対応する人物の参照顔画像として登録されるように、前記ユーザデータベースをアップデートするステップをさらに含むことを特徴とする付記１４に記載のユーザ認証方法。
（付記１６）
前記顔画像を検出するステップにおいては、
前記カメラにより検出される前記ターゲットユーザの顔画像が所定の認証条件を満たすか否かを判断し、
前記判断の結果、前記所定の認証条件を満たさない場合、前記所定の認証条件を満たすためのガイド情報を、前記ユーザ認証を行う電子機器のディスプレイ部に提供することを特徴とする付記１～１５のいずれかに記載のユーザ認証方法。
（付記１７）
前記ガイド情報は、
前記カメラと前記ターゲットユーザの相手位置及び相手距離の少なくとも一方に関するものであることを特徴とする付記１６に記載のユーザ認証方法。
（付記１８）
ディスプレイ部と、
ターゲットユーザの顔画像を検出するカメラと、
前記顔画像に対応するユーザ情報をユーザデータベースから抽出する制御部とを含み、
前記制御部は、
前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行い、
前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とするユーザ認証システム。
（付記１９）
電子機器のコンピュータを作動させるプログラムであって、
前記プログラムは、
カメラを用いてターゲットユーザの顔画像を検出するステップ、前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップ、及び前記ユーザ情報を用いて前記ターゲットユーザに対するユーザ認証を行うステップを実行させるコマンドを含み、
前記ユーザ認証を行うステップにおいては、
前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とするプログラム。

特開２０１８－１７３８９１号公報 特開２０１４－０４８９３７号公報 特開２０２０－１１５３６１号公報 国際公開第２０２０／１３６７９５号 国際公開第２０１８／２３５１９１号 特開２００９－０９３３９９号公報

Claims (1)

1. カメラを用いて、ターゲットユーザの顔画像を検出するステップと、
   前記顔画像に対応するユーザ情報をユーザデータベースから抽出するステップと、
   前記ユーザ情報を用いて、前記ターゲットユーザに対するユーザ認証を行うステップとを含み、
   前記ユーザ認証を行うステップにおいては、
   前記カメラにより検出される前記ターゲットユーザのジェスチャーに基づいて、前記ユーザ認証を完了するか否かを決定することを特徴とするユーザ認証方法。
   

Images