JP2021114170A - センシング装置、方法及びプログラム - Google Patents

Abstract

【課題】ユーザの負担及び演算コストを抑制して登録処理及び認証処理を行う。【解決手段】実施形態のセンシング装置は、センシング対象物の表面の３次元形状情報を取得する第１センサと、第１センサの前記センシング対象物における情報取得位置と所定の位置関係を有する位置における前記センシング対象物の表面あるいは表面近傍のテクスチャ情報を取得する第２センサと、を備える。【選択図】図１

Description

本開示は、センシング装置、方法及びプログラムに関する。

一般的な指紋認証機器では、指紋の隆線の形状（以下、レベル１特徴と呼ぶ）やマニューシャ（Minutiae）と呼ばれる隆線の分岐や端点を特徴量（以下、レベル２特徴と呼ぶ）として認証を行っている。

レベル２特徴を用いて認証するレベル２認証では５００ｐｐｉ程度の解像度が必要とされ、一般的な指紋センサでは、５００ｐｐｉ程度の２値化された隆線情報（指紋の凹凸情報）が出力される。
またスマートフォン等の指紋認証機器では、ログインを許可する本人指紋を登録する登録フェーズと、実際にログインする際に指紋を照合する照合フェーズに分かれている。

照合フェーズで照合を成功させるためには、登録済みのエリアに含まれる指の部分をセンサに当てる必要がある。実環境における照合操作では指を当てる位置にブレが発生するため、登録フェーズでは漏れなく、広いエリアを登録しておくことが望まれる。これを実現するために登録フェーズでは、何度も指を動かしながらセンサに指を当てる操作をユーザに求めるのが一般的である。このとき、登録されていないエリアを判定し、センサに触れる指の部分をユーザーインターフェイスによりユーザにフィードバックする機器も存在する。

登録されていないエリア判定には、今まで登録されたデータの特徴を利用し、相互の位置関係（回転含む）を推定するスティッチングと呼ばれる信号処理が使用されることもある。

特開２０１７−１９６３１９号公報

ところで、近年においては、指のテクスチャ情報（以下、レベル３特徴と呼ぶ）を用い、認証精度を向上させたセンサが発表されはじめた。レベル３特徴を用いて認証するレベル３認証では、数千ｐｐｉの解像度の多値画像が必要とされる。このようなレベル３特徴を取得するセンサにおいても、レベル２特徴を取得するセンサ同様、照合時に登録済みエリアに含まれる指の部分をセンサに当てる必要がある。

しかし、レベル３特徴を取得するセンサデバイスとしては撮像素子（ＣＭＯＳセンサ）が用いられるため、静電容量方式や他方式と比較してセンシング範囲を広くすることが困難である。このため登録フェーズで漏れなく広いエリアを登録するためには、より多くの試行回数を要することとなり、ユーザへの負担が大きくなることが懸念される。
このため、ユーザの負担及び演算コストを抑制して登録処理及び認証処理を行うことが望まれていた。

本技術は、このような状況に鑑みてなされたものであり、ユーザの負担及び演算コストを抑制して登録処理及び認証処理を行うことが可能なセンシング装置、方法及びプログラムを提供することを目的としている。

実施形態のセンシング装置は、センシング対象物の表面の３次元形状情報を取得する第１センサと、第１センサのセンシング対象物における情報取得位置と所定の位置関係を有する位置におけるセンシング対象物の表面のテクスチャ情報を取得する第２センサと、を備える。

実施形態のセンシング装置の一例の断面図である。 図１のセンシング装置の外観斜視図である。 図１の積層方式センサの情報取得の説明図である。 指紋情報の登録時の動作説明図である。 第１実施形態のセンシング装置を適用した電子デバイスの外観斜視図である。 電子デバイスの概要システム構成例の説明図である。 電子デバイスの他の概要システム構成例の説明図である。 第１実施形態における指紋データ登録時の動作フローチャートである。 第２実施形態における指紋認証時の動作フローチャートである。 第２実施形態の第２変形例に適用される階層型データベースの一例の説明図である。 第２実施形態の第２変形例における指紋認証時の動作フローチャートである。 第２実施形態の第２変形例の処理シーケンスチャートの一例の説明図である。 第２実施形態の第３変形例の処理シーケンスチャートの一例の説明図である。 第３実施形態の処理フローチャートである。 第３実施形態の第１変形例の処理フローチャートである。 第３実施形態の第２変形例の概要システム構成例の説明図である。 第３実施形態の第２変形例の処理フローチャートである。 第４実施形態の処理フローチャートである。 第４実施形態の第１変形例の処理フローチャートである。 実施形態の変形例の説明図である。

以下、図面を参照して、実施形態について詳細に説明する。
まず実施形態の説明に先立ち、実施形態の原理を説明する。
図１は、実施形態のセンシング装置の一例の断面図である。
図２は、図１のセンシング装置の外観斜視図である。

実施形態のセンシング装置１０は、光透過性を有する静電容量方式の第１センサ１１と、撮像方式の第２センサ１２と、を備えている。
この場合において、第１センサ１１は、センシング対象物の表面の３次元形状情報を取得する。

また、第２センサ１２は、第１センサ１１のセンシング対象物における情報取得位置と所定の位置関係を有する位置におけるセンシング対象物の表面あるいは表面近傍のテクスチャ情報を取得する。

ここで、センシング装置１０のセンシングの対象となるセンシング対象物としては、例えば、指（親指［母指］、人差し指［示指］、中指、薬指［環指］、小指）、手の平（母指球、小指球、手根）、手の甲等の手の各部の表面を含む人体、生体の各部の表面あるいは、表面近傍の組織（例えば、真皮、血管（静脈等））等が挙げられる。

さらに３次元形状情報としては、指紋等の情報等が挙げられる。
またセンシング対象物の表面のテクスチャ情報としては、人体、生体の各部の表面あるいは、真皮の表面形状、血管の走行等の表面近傍の組織の視覚的な色や明るさ、模様、配置等の情報が挙げられる。具体的には、指紋、皮膚、血管等の画像、皮膚、真皮、血管等の色等の情報、血管の走行等の配置の情報である。
以下の説明においては、指紋認証を行う場合を例として説明する。

ところで、指紋認証では、渦状紋や弓状紋等の指紋の隆線の流れ等のレベル１特徴、細線化した指紋の隆線、端点、分岐点等のレベル２特徴、あるいは、肉眼では見ることができない指紋の中にある汗孔、隆線の太さ等のレベル３特徴等を用いて認証を行う。

これらの情報のうち、第１センサ１１は、レベル２情報を用いて指紋認証を行い、第２センサ１２は、レベル３情報を用いて指紋認証を行う。

図１及び図２に示したセンシング装置１０は、第１のサイズを有し、レベル２特徴を用いる（検出光；可視光）透過性の静電容量方式の第１センサ１１の下方に、第１のサイズより小さい第２のサイズを有し、レベル３特徴を用いる撮像方式の第２センサ１２を積層した積層方式センサとして構成されている。

以下の説明においては、第２センサ１２の検出光として可視光を用いる場合について説明するが、第２センサ１２の撮像可能な波長（可視光の他、赤外光、紫外光等の不可視光等の任意の検出光）に応じて、対応する検出光を用いることが可能である。

この場合において、第１センサ１１としては、第２センサ１２の設置面積よりも大きな設置面積を有しており、第２センサ１２の上面を全て覆うように設置された積層方式センサを構成している。
また第２センサ１２は、第１センサ１１を透過した可視光を集光するマイクロレンズアレイ（ＭＬＡ）として構成された接写レンズを有している。

図３は、図１の積層方式センサの情報取得の説明図である。
図３（Ａ）は、指３１に対する第１センサ１１の情報取得領域３２と第２センサの情報取得領域３３の配置関係の説明図である。

図３（Ａ）に示すように、第１センサの情報取得領域３２は、第２センサの情報取得領域３３と重複して設定されており、第１センサ１１の情報取得領域３２は、第２センサ１２の情報取得領域３３を含むように設定されている。
したがって、撮像方式の第２センサ１２で取得した画像が、透過性の静電容量方式の第１センサ１１で取得した画像の該当するエリアとなるように画像を取得できる。

図３（Ｂ）は、第１センサ１１の取得した情報を可視化した説明図である。
図３（Ｂ）に示すように、第１センサ１１の情報取得領域３４には、指３１の指紋についての細線化した指紋の隆線、端点、分岐点等の情報が含まれる。

図３（Ｃ）は、第２センサ１２の取得情報の説明図である。
図３（Ｃ）に示すように、第２センサ１２は情報取得領域３５には、指３１の指紋についての眼では見ることができない指紋の中にある汗孔、隆線の太さ等の情報を含む画像情報が取得される。

図４は、指紋情報の登録時の動作説明図である。
指３１に対し、例えば、情報取得場所を異ならせて５回の情報を取得したとすると、例えば、図４（Ａ）に示すように、ある指の指紋取得領域に対して、ほぼ全域の情報を取得することが可能となっている。

より具体的には、第１センサの情報取得領域３２−１〜３２−５の五つの情報取得領域で収集した情報があれば、指紋認証に必要とされる全域の情報が得られることなる。

これに対し、図４（Ｂ）に示すように、第２センサ１２の情報取得領域３３−１〜３３−３は、互いに一部重なっているが、第２センサ１２の情報取得領域３３−４及び情報取得領域３３−５は、他の情報取得領域と重複する領域がなく、他の情報取得領域３３−１〜３３−３との配置関係がどのようになっているのかを把握することはできない状態である。

したがって、この場合には、第２センサ１２の情報取得領域３３−１〜３３−３に対応する情報取得領域と、第２センサ１２の情報取得領域３３−４あるいは情報取得領域３３−５と、の間に重なる情報取得領域を設定する必要がある。

このような構成を採ることで、演算コストを上げることなくレベル３認証における登録フェーズの操作を効率化することが可能となり、登録時の試行回数を減らせることでユーザ負荷を軽減しつつ未登録領域を無くして、確実に認証処理を行うことができる。

次により具体的な実施形態について説明する。
［１］第１実施形態
次に第１実施形態について説明する。
図５は、第１実施形態のセンシング装置を適用した電子デバイスの外観斜視図である。
電子デバイス５０は、リング状のリストバンド本体５１と、センシング装置（積層方式センサ）５２と、各種情報を表示する表示部５３と、を備えている。

ここで、センシング装置５２及び表示部５３は、リストバンド本体５１の一部に設けられている。

また、センシング装置５２は、静電容量方式の第１センサ１１及び撮像方式の第２センサ１２が図１及び図２に示した様に積層された積層方式のセンサを構成している。

さらにセンシング装置５２は、表示部５３と並べてリストバンド本体５１に設ける構成としたり、表示部５３が透過性を有し、かつ、静電容量方式の検出への影響が少なければ、表示部５３の下層にセンシング装置５２を積層して設ける構成としたりすることも可能である。

図６は、電子デバイスの概要システム構成例の説明図である。
電子デバイス５０のシステム６０は、指紋データを取得する積層方式センサ６１と、ユーザーインターフェイスを提供する表示部６２と、音声出力部６４と、システムの制御処理や各種アルゴリズム演算処理を実行する演算部６３と、プログラムや指紋認証に係るデータを保持するデータ蓄積部６５と、を備えている。

上記構成において、電子デバイス５０のユーザは、指紋データの登録時（取得時）には、演算部６３の制御下で表示部６２に表示されるガイド情報及び音声出力部６４により出力されるガイド音声等に基づいて、指紋データ登録対象の指を積層方式センサ６１に押し当てる。

これにより演算部６３は、積層方式センサ６１の出力に基づいて、指紋データを収集し、データ蓄積部６５に蓄積し、以降の指紋認証時に用いることとなる。

図７は、電子デバイスの他の概要システム構成例の説明図である。
電子デバイス５０のシステム６０Ａは、指紋データを取得する積層方式センサ６１と、ユーザーインターフェイスを提供する表示部６２と、音声出力部６４と、システムの制御処理や各種アルゴリズム演算処理を実行する演算部６３と、プログラムや指紋認証に係るデータを保持するデータ蓄積部６５と、通信部６６と、を備えている。

上記構成において、電子デバイス５０のユーザは、指紋データの登録時（取得時）には、演算部６３の制御下で表示部６２に表示されるガイド情報及び音声出力部６４により出力されるガイド音声等に基づいて、指紋データ登録対象の指を積層方式センサ６１に押し当てるので、演算部６３は、積層方式センサ６１の出力に基づいて、指紋データを収集し、データ蓄積部６５に蓄積するとともに、通信部６６及び通信ネットワーク６７を介して、指紋データをサーバ６８に登録する。

指紋データの登録後の指紋認証時には、演算部６３は、積層方式センサ６１の出力に基づいて、指紋データを取得し、通信部６６及び通信ネットワーク６７を介してサーバ６８に指紋認証を依頼する。

これによりサーバ６８は、登録されている指紋データと、指紋認証依頼に対応する指紋データと、に基づいて指紋認証を行い、指紋認証結果を、通信ネットワーク６７及び通信部６６を介して演算部６３に通知することとなる。

これにより演算部６３は、通知された指紋認証結果に基づいて、以降の処理を行う。
例えば、ユーザにより要求された各種処理への移行、あるいは、指紋認証ができなかったことによる要求された各種処理への移行ができない旨の通知等を行う。

次に第１実施形態の動作について詳細に説明する。
図８は、第１実施形態における指紋データ登録時の動作フローチャートである。
まず、演算部６３は、表示部６２や音声出力部６４により、ユーザに指紋登録のための指位置を提示する処理を行う（ステップＳ１１）。

指紋登録のためにユーザに要求する指位置の提示は、表示部６２にGUIを表示することにより座標ベースの詳細指示を表示したり、音声出力部６４により、「指の上方／下方／右方／左方」や「指の中央部／周辺部」といった抽象的な指示を出力したりするようにしてもよい。
あるいは、バイブレータを内蔵しておき、振動で指の移動を促す等を行っても良い。また表示部の周囲にＬＥＤ等の指の移動方向を表すインジケータを配置するようにしても良い。

また、指紋データの登録開始直後の登録指位置として、既定の指位置やランダムな指位置を表示するようにしてもよい。
次に演算部６３は、積層方式センサ６１を構成している、静電容量方式の第１センサ１１及び撮像方式の第２センサ１２のデータを取得する（ステップＳ１２）。

次に演算部６３は、ステップＳ１２において取得した第１センサ１１のデータを第１指紋データとしてデータ蓄積部６５に登録する（ステップＳ１３）。
同様に演算部６３は、ステップＳ１２において取得した第２センサ１２のデータを第２指紋データとしてデータ蓄積部６５に登録する（ステップＳ１４）。

以上の説明では、取得した第１センサ１１の第１指紋データ及び第２センサ１２の第２指紋データをデータ蓄積部６５に登録していたが、図７に示した構成を採っている場合には、サーバ６８に指紋データを登録するように構成することも可能である。

また取得した第１指紋データ及び第２指紋データに対して、演算部６３やサーバ６８におけるオフロード処理により認証用途の特徴量を抽出し、抽出した特徴量に対応する指紋特徴量データをデータ蓄積部６５やサーバ６８に保存するように構成することも可能である。
さらに指紋データあるいは指紋特徴量データを登録するにあたっては、暗号化してからデータ蓄積部６５に登録するようにしてもよい。

また、静電容量方式の第１センサ１１により取得した第１指紋データは、指紋データ相互の位置関係を把握するための、つなぎ合わせ（スティッチング）用途における登録処理のみをおこない、認証用途には、撮像方式の第２センサ１２により取得した第２指紋データのみを用いる場合には、認証用とのにおける登録処理を行わないようにすることも可能である。

続いて演算部６３は、取得済みの静電容量方式の第１センサ１１に対応する複数の第１指紋データの集合体である第１指紋データ群と、今回取得した第１指紋データの相互の位置関係を演算するスティッチング処理が実施される（ステップＳ１５）。

このスティッチング処理を行う場合には、相互の位置関係が把握できるように、ある程度のデータ数が蓄積されないと位置関係を演算することができない。このため、指紋データの取得開始からスティッチング処理において演算可能なデータが蓄積されるまでステップS１５の処理をスキップするように構成することも可能である。

また、スティッチングで利用する情報として、撮像方式の第２センサ１２で取得した第２指紋データを補助的に利用してもよい。このとき、想定される撮像方式の第２センサ１２で取得した指紋データの利用方法として、解像度の高さを活用して、位置や回転の微調整や指を押し当てたときに発生する指の歪み補正等が考えられる。

次に演算部６３は、ステップＳ１５のスティッチング処理で得られた情報を用いて、登録漏れエリアを演算する。

例えば、図４（Ｂ）に示した情報取得領域３３−４及び情報取得領域３３−５について、情報取得領域３３−１〜３３−３等との配置関係が明確になり、一体に扱えるように、情報取得領域３３−１〜３３−３で表される第１の領域と、情報取得領域３３−４及び情報取得領域３３−５とで表される第２の領域との間に位置する領域を登録漏れエリアとすればよい。

これにより、登録漏れエリアに対応する第２指紋データが取得できれば、情報取得領域３３−１〜３３−５を一体の領域として、互いに配置関係が明確な状態とすることができる。さらに登録漏れエリアは、一度も登録されていないエリアでもよいし、登録回数によるヒートマップを生成し登録回数が規定に満たないエリアであってもよい。

次に演算部６３は、登録漏れエリアが無いか否かを判断する（ステップＳ１７）。
ステップＳ１７の判断において、登録漏れエリアが無いと判断した場合には（ステップＳ１７；Ｙｅｓ）、得られた第１指紋データ及び第２指紋データの登録完了処理を行って、処理を終了する（ステップＳ１９）。

ステップＳ１７の判断において、図４（Ｂ）に示したように、未だ登録漏れエリアがあると判断した場合には、当該登録漏れエリアに第２センサ１２を位置させるために次回ユーザに要求する指位置（次回要求指位置）を決定し（ステップＳ１８）、処理を再びステップＳ１１に移行する。

この場合において、次回要求指位置は、原則的には、ステップＳ１６において演算部６３が演算した登録漏れエリアの情報に基づいて決定される。しかしながら、ステップＳ１５においてスティッチング処理を行うのに十分な数の指紋データが蓄積されるまでは、所定の指位置を次回要求指位置として出力したり、ランダムな指位置を次回要求指位置として出力したりしてもよい。

これらの結果、ステップＳ１８で決定された次回要求指位置は、ステップＳ１１の処理において、ユーザに提示される。

以上の処理を行うことにより、スティッチング処理がなされて相互に位置関係が把握可能な第２指紋データが得られ、指紋認証に用いることが可能となる。

以上の説明は、一組の指紋認証用データ（少なくともスティッチング処理がなされた複数の第２指紋データ）が取得される処理であるので、複数の指に対する指紋認証用データを取得する場合には、上記処理が複数回繰り返されることとなる。

［２］第２実施形態
次に第２実施形態について説明する。
上記第１実施形態においては、少なくとも、第２センサ１２で取得する第２指紋データで指紋認証を行うために、スティッチング処理がなされた第２指紋データを取得する構成について説明したが、本第２実施形態は、第１センサ１１で取得する第１指紋データ及び第２センサ１２で取得する第２指紋データを用いて効率的に指紋認証を行う実施形態について説明する。

上述したように静電容量方式の第１センサ１１によれば、取得可能な情報は、レベル１特徴としての隆線情報及びレベル２特徴としてのマニューシャ（Minutiae）情報である。
一方、撮像方式の第２センサ１２により取得可能な情報は、レベル３特徴としてのテクスチャ情報である。

したがって、レベル１特徴〜レベル３特徴を同時に取得できるので、本第２実施形態においては、これらの組合せを利用して効率的な指紋認証を行うようにしている。
この結果、各レベル特徴を個別で使用する場合よりも認証精度を上げる効果が得られる。

具体的には、撮像方式の第２センサ１２はセンシング範囲が狭いため、第２センサ１２により取得されるレベル３特徴は、局所的な特徴が酷似した他人を本人と認証してしまう他人受入れが発生する虞がある。このような場合には、センシング範囲の広い静電容量方式の第１センサ１１により取得した広範囲で取得したレベル１特徴及びレベル２特徴をレベル３特徴と組み合わせることで、他人受入れ率を削減でき、認証精度を向上させることが可能となるのである。

本第２実施形態に適用されるデバイス及びシステム構成は、第１実施形態と同様であるので、それらを参照し、以下においては、既に指紋認証用のデータが登録されているという前提で第２実施形態の指紋認証動作を説明する。

図９は、第２実施形態における指紋認証時の動作フローチャートである。
まず、演算部６３は、積層方式センサ６１を構成している、静電容量方式の第１センサ１１から第１指紋データを取得し、撮像方式の第２センサ１２から第２指紋データを取得したか否かを判断する（ステップＳ２１）。

ステップＳ２１の判断において、未だ処理に必要な第１指紋データ及び第２指紋データを取得していない場合には（ステップＳ２１；Ｎｏ）、待機状態となる。

ステップＳ２１の判断において、処理に必要な静電容量方式の第１センサ１１の第１指紋データを取得し、かつ、撮像方式の第２センサ１２の第２指紋データを取得した場合には（ステップＳ２１；Ｙｅｓ）、演算部６３は、第１センサ１１により取得した第１指紋データに基づいて、レベル１特徴及びレベル２特徴について照合処理を行う（ステップＳ２３）。

具体的には、データ蓄積部６５に登録されている指紋認証用の第１指紋データを参照して、レベル１特徴及びレベル２特徴の類似度を算出する。

続いて演算部６３は、今回取得した第１指紋データに対して得られたレベル１特徴及びレベル２特徴の類似度が所定のしきい値を超えているか否か、すなわち、レベル１特徴の照合、レベル２特徴の照合並びにレベル１特徴及びレベル２特徴の組合せの照合が成功しているか否かを判断する（ステップＳ２３）。

ステップＳ２３の判断において、レベル１特徴の照合、レベル２特徴の照合並びにレベル１特徴及びレベル２特徴の組合せの照合が不成功であった場合には（ステップＳ２３；Ｎｏ）、処理をステップＳ２７に移行する。

ステップＳ２３の判断において、レベル１特徴の照合、レベル２特徴の照合並びにレベル１特徴及びレベル２特徴の組合せの照合が成功した場合には（ステップＳ２３；Ｙｅｓ）演算部６３は、第２センサ１２により取得した第２指紋データに基づいて、レベル３特徴について照合処理を行う（ステップＳ２４）。

続いて演算部６３は、今回取得した第２指紋データに対して得られたレベル３特徴の類似度が所定のしきい値を超えているか否か、すなわち、レベル３特徴の照合が成功しているか否かを判断する（ステップＳ２５）。

ステップＳ２５の判断において、レベル３特徴の照合が成功した場合には（ステップＳ２５；Ｙｅｓ）、演算部６３は、組合せ認証が成功したとして、指紋認証後の処理に移行する等の組合せ認証成功処理を行って処理を終了する。

この場合において、指紋認証後の処理としては、例えば、認証を試みたユーザに対する何らかの権利や鍵の発行、買い物時の決済の履行などが考えられる。
さらに表示部６２や音声出力部６４において、認証成功の旨をユーザに提示するフィードバック処理を行ってもよい。

ステップＳ２５の判断において、レベル３特徴の照合が不成功であった場合には（ステップＳ２５；Ｎｏ）、演算部６３は、組合せ認証が失敗したとして、当該旨を通知したり、指紋認証後の処理への移行を禁止したりする等の組合せ認証失敗処理を行って処理を終了する（ステップＳ２７）。

［２．１］第２実施形態の第１変形例
次に第２実施形態の第１変形例について説明する。
ところで、同一方式のセンサにおいては、センサのサイズと認証精度には相関関係があり、センサのサイズを小さくすると捉えられる特徴量が少なくなり認証精度が悪化することが知られている。

上記第２実施形態においては、特徴量（レベル１特徴〜レベル３特徴）の組み合わせ照合により認証精度を向上させる効果について述べたが、第２実施形態の第１変形例によれば、認証精度の向上に代えて、特徴量（レベル１特徴〜レベル３特徴）の組み合わせ照合を行うことにより認証精度を保持したままセンサのサイズ（面積）を小型化するように構成することも可能である。このように構成し、センサを小型化した場合には、消費電力を削減する効果も得られる。

［２．２］第２実施形態の第２変形例
上記第２実施形態においては、特徴量の組み合わせ照合を行う点について説明したが、本第２実施形態の第２変形例は、静電容量方式の第１センサ１１で取得した情報量の少ない特徴量と、撮像方式の第２センサ１２により取得した情報量の多い特徴量とを、階層化したデータベースとして登録することで、照合時の演算コストを削減する場合の実施形態である。

例えば、１対Ｎのレベル３認証を行う場合（より具体的には、一個人を認証するために国民全員の登録データと照合するような場合）、大量の登録データに対して照合処理を行う必要がある。

しかし、レベル３特徴は情報量が多いため、全登録データに対して照合処理を実施しようとすると膨大な演算コストが発生する。

そこで本第２実施形態の第２変形例においては、前段で、レベル１特徴やレベル２特徴による照合処理を実施し、候補となる登録データを絞り込んでおくことで、レベル３照合処理の演算コストを削減するようにしている。

図１０は、第２実施形態の第２変形例に適用される階層型データベースの一例の説明図である。
階層型登録指紋データベース７０は、最下層の特徴量ａ、ｂ、…、ｍに対応する特徴量データ７３−ａ、７３−ｂ、…、７３−ｍを格納するためのデータベースとして構成されている。

階層型登録指紋データベース７０において、ルート７１からの検索効率を改善するため、各特徴量ａ、ｂ、…、ｍに対応する特徴量データ７３−ａ、７３−ｂ、…、７３−ｍは、静電容量方式の第１センサ１１で取得したレベル１特徴に従って事前に分類されて格納されている。

具体的には、階層型登録指紋データベース７０の第１階層において、レベル１特徴である隆線形状の種類、すなわち、隆線形状Ａ、Ｂ、…、Ｎに対応する隆線形状データ７２−Ａ、７２−Ｂ、…、７２−Ｎに従って事前に分類され格納されている。

以上の説明は、レベル１特徴に従って最下層の特徴量ａ、ｂ、…、ｍに対応する特徴量データ７３−ａ、７３−ｂ、…、７３−ｍを分類する場合について説明したが、更にレベル２特徴（Minutiae情報）も利用して分類を行って、階層型登録指紋データベース７０を構築するようにすることも可能である。

次に第２実施形態の第２変形例の動作を説明する。
図１１は、第２実施形態の第２変形例における指紋認証時の動作フローチャートである。

まず、演算部６３は、積層方式センサ６１を構成している、静電容量方式の第１センサ１１から第１指紋データを取得し、撮像方式の第２センサ１２から第２指紋データを取得したか否かを判断する（ステップＳ３１）。

ステップＳ３１の判断において、未だ処理に必要な第１指紋データ及び第２指紋データを取得していない場合には（ステップＳ３１；Ｎｏ）、待機状態となる。

ステップＳ３１の判断において、処理に必要な静電容量方式の第１センサ１１の第１指紋データを取得し、かつ、撮像方式の第２センサ１２の第２指紋データを取得した場合には（ステップＳ３１；Ｙｅｓ）、演算部６３は、第１センサ１１により取得した第１指紋データに基づいて、レベル１特徴である隆線形状判定処理を行う（ステップＳ３２）。

具体的には、データ蓄積部６５に登録されている指紋認証用の第１指紋データを参照して、レベル１特徴に基づいて隆線形状の類似度を算出して、隆線形状を判定し、隆線形状Ａ、Ｂ、…、Ｎに対応する隆線形状データ７２−Ａ、７２−Ｂ、…、７２−Ｎのいずれに属するかを判定する。

続いて演算部６３は、判定結果の隆線形状に属する特徴量データ群をデータ蓄積部６５から取得する（ステップＳ３３）。

続いて演算部６３は、データ蓄積部６５に構築された階層型登録指紋データベース７０にアクセスする、または通信部６６により通信ネットワーク６７を通じて外部のサーバ６８に構築された階層型登録指紋データベース７０にアクセスする。

この場合において、演算部６３は、ステップＳ３２の判定結果に対応する隆線形状の種類をキーとしてデータ要求し、該当する登録特徴量データ群をレベル３照合処理の照合対象データとして絞り込む。

この場合において、外部のサーバ６８に階層型登録指紋データベース７０が構築されている場合は、事前に通信部６６で絞り込んだ登録特徴量データ群を受信し、データ蓄積部６５に保存してもよい。

次に演算部６３は、第２センサ１２により取得した第２指紋データに基づいて、レベル３特徴についてデータ蓄積部６５に登録された登録特徴量データ群との照合処理を行う（ステップＳ３４）。

続いて演算部６３は、今回取得した第２指紋データに対して得られたレベル３特徴の類似度が所定のしきい値を超えているか否か、すなわち、レベル３特徴の照合が成功しているか否かを判断する（ステップＳ３５）。

ステップＳ３５の判断において、レベル３特徴の照合が成功した場合には（ステップＳ３５；Ｙｅｓ）、演算部６３は、組合せ認証が成功したとして、上述したように、指紋認証後の処理に移行する等の組合せ認証成功処理を行って処理を終了する。

ステップＳ３５の判断において、レベル３特徴の照合が不成功であった場合には（ステップＳ３５；Ｎｏ）、演算部６３は、組合せ認証が失敗したとして、当該旨を通知したり、指紋認証後の処理への移行を禁止したりする等の組合せ認証失敗処理を行って処理を終了する（ステップＳ３７）。

ここで、第２実施形態の第２変形例におけるシステム−データベース間の処理について説明する。
図１２は、第２実施形態の第２変形例の処理シーケンスチャートの一例の説明図である。
図１２において、システムとは、電子デバイス５０のシステム６０に相当する構成であり、データベースとは、データ蓄積部６５またはサーバ６８に構築された階層型登録指紋データベース７０に相当する構成である。

まずシステムは、静電容量方式の第１センサ１１で取得したレベル１特徴である隆線形状情報抽出処理を行い、隆線形状情報Ｄ１を抽出し（ステップＳＱ１）、データベースに出力する。

これにより、データベースは、隆線形状情報Ｄをキーとして登録されているレベル３特徴量データ群を取得し（ステップＳＱ３）、取得したレベル３登録特徴量データ群Ｄ２をシステムに返す。

一方、システムは、撮像方式の第２センサ１２が取得した指紋データからレベル３特徴量を抽出する（ステップＳＱ２）。
さらにシステムは、データベースからレベル３登録特徴量データ群Ｄ２を受け取ると、取得したレベル３登録特徴量データ群に対して、レベル３特徴量照合を実施し（ステップＳＱ４）、照合結果を得ることとなる。

以上の説明のように、第２実施形態の第２変形例によれば、前段で、レベル１特徴やレベル２特徴による照合処理を実施し、候補となる登録データを絞り込んでおくことで、レベル３照合処理の演算コストを削減して、効率良く照合処理を行うことができる。

［２．３］第２実施形態の第３変形例
上記第２実施形態の第２変形例においては、演算コストや消費電力に制限のあるウェアラブルデバイス等をターゲットとした比較的小規模な１対Ｎのレベル3認証の実施例として、照合処理の演算コストやデータベースのアクセス数を削減可能なセンシング装置について説明したが、本第３変形例は、サーバーサイドで大量のデータを並列処理可能な比較的大規模な１対Ｎのレベル３認証を行う場合の実施形態であり、認証処理の高速化に関するものである。

図１３は、第２実施形態の第３変形例の処理シーケンスチャートの一例の説明図である。
図１３において、システムとは、電子デバイス５０のシステム６０に相当する構成であり、サーバとは、サーバ６８に相当する構成である。

まずシステムは、静電容量方式の第１センサ１１の情報（例えば、隆線形状情報）及び撮像方式の第２センサ１２の情報（例えば、レベル３特徴量）の双方を含む積層方式センサ情報Ｄ３を、サーバに出力する。ここで送信する積層方式センサ情報Ｄ３は、システム側で暗号化や圧縮処理を施してもよし、システム側で何らかの１次処理を実施したものであってもよい。

これにより、サーバは、隆線形状情報及びレベル３特徴量の抽出を並列して行う（ステップＳＱ１１）。

このとき、サーバは、隆線形状情報としては、図１０に示した第１階層の隆線形状Ａ、Ｂ、…、Ｎに対応する隆線形状データ７２−Ａ、７２−Ｂ、…、７２−Ｎを対象に並列で照合処理を実施し、レベル３特徴量としては、最下層の特徴量ａ、ｂ、…、ｍに対応する特徴量データ７３−ａ、７３−ｂ、…、７３−ｍを対象に並列で照合処理を実施する（ステップＳＱ１２）。

そして、照合結果が得られた時点で照合処理を中断し、照合結果通知Ｄ４をシステムに返す。

以上の説明のように、第２実施形態の第３変形例によれば、処理準備ができたデータから逐次、並列演算器に投入することで、照合結果を得るまでの時間を平均的に高速化することが可能となる。

［３］第３実施形態
次に第３実施形態について説明する。
本第３実施形態においては、メリット、デメリットが異なる静電容量方式の第１センサ１１と、撮像方式の第２センサ１２を環境や状況に応じて適応的に切り替えて用いることにより認証拒絶の頻度を低減するための実施形態である。

例えば、濡れた指の場合、静電容量方式の第１センサ１１では所望の品質の第１指紋データが取得できない可能性があるが、撮像方式の第２センサ１２は、濡れ指耐性に優れているため所望の品質の第２指紋データを取得できる可能性が高い。

これに対し、乾燥した指やインク等で汚れた指の場合、撮像方式の第２センサ１２では、所望の既定の品質の指紋データが取得できない可能性があるが、静電容量方式の第１センサ１１は、乾燥指耐性や指表面の汚れ耐性に優れているため、所望の品質の第１指紋データを取得できる可能性が高い。

また、センシング装置が使用される環境が、太陽光の強い屋外環境である場合、撮像方式の第２センサ１２では所望の品質の第２指紋データが取得できない可能性があるが、静電容量方式の第１センサ１１は、環境光耐性に優れているため、所望の品質の第１指紋データを取得できる可能性が高い。

ところで、第３実施形態のセンシング装置に用いる静電容量方式の第１センサ１１の認証レベルは、レベル１特徴及びレベル２特徴であり、撮像方式の第２センサ１２との認証レベルは、レベル３特徴である。したがって、達成できる認証レベルが異なっていうので、必ずしも全ての認証レベルに対応できるものでは無いが、本第３実施形態によれば、要求される認証レベルを満たすユースケースに於いて取得失敗率(FTA)を低減させることができることとなる。

本第３実施形態に適用されるデバイス及びシステム構成は、第１実施形態と同様であるので、それらを参照し、以下においては、既に指紋認証用のデータが登録されているという前提で第３実施形態の指紋認証動作を説明する。

次に第３実施形態の動作を説明する。
図１４は、第３実施形態の処理フローチャートである。
まず、演算部６３は、今回の認証に要求される認証レベルの判断を行う。

具体的には、演算部６３は、要求認証レベルがレベル２特徴以下であるか否かを判断する（ステップＳ４１）。
ステップＳ４１の判断において、要求認証レベルがレベル２特徴以下である場合には（ステップＳ４１；Ｙｅｓ）、演算部６３は、静電容量方式の第１センサ１１から第１指紋データを取得する（ステップＳ４２）。

続いて、演算部６３は、第１センサ１１による第１指紋データの取得が成功したか否かを判断する（ステップＳ４３）。
ステップＳ４３の判断において、第１センサ１１による第１指紋データの取得が不成功であった場合には（ステップＳ４３；Ｎｏ）、演算部６３は、処理をステップＳ４５に移行する。

ステップＳ４３の判断において、第１センサ１１による第１指紋データの取得が成功した場合には（ステップＳ４３；Ｙｅｓ）、演算部６３は、今回取得した第１指紋データに対して照合処理を行う（ステップＳ４７）。

続いて、演算部６３は、ステップＳ４７の照合処理が成功しているか否かを判断する（ステップＳ４８）。
ステップＳ４８の判断において、照合処理が成功した場合には（ステップＳ４７；Ｙｅｓ）、演算部６３は、認証が成功したとして、指紋認証後の処理に移行する等の認証成功処理を行って処理を終了する（ステップＳ４９）。

この場合において、指紋認証後の処理としては、例えば、認証を試みたユーザに対する何らかの権利や鍵の発行、買い物時の決済の履行などが考えられる。
さらに表示部６２や音声出力部６４において、認証成功の旨をユーザに提示するフィードバック処理を行ってもよい。

ステップＳ４８の判断において、照合処理が不成功であった場合には（ステップＳ４８；Ｎｏ）、演算部６３は、認証が失敗したとして、当該旨を通知したり、指紋認証後の処理への移行を禁止したりする等の認証失敗処理を行って処理を終了する（ステップＳ５０）。

一方、ステップＳ４１の判断において、要求認証レベルがレベル２特徴を超える場合、すなわち、要求認証レベルがレベル３特徴である場合には、演算部６３は、まず、静電容量方式の第１センサ１１から第１指紋データを取得する（ステップＳ４４）。

続いて、演算部６３は、撮像方式の第２センサ１２から第２指紋データを取得する（ステップＳ４４）。
続いて、演算部６３は、第１センサ１１による第１指紋データ及び第２センサ１２による第２指紋データの取得が成功したか否かを判断する（ステップＳ４６）。

ステップＳ４６の判断において、第１センサ１１による第１指紋データ及び第２センサ１２による第２指紋データの取得が不成功であった場合には（ステップＳ４６；Ｎｏ）、演算部６３は、認証処理が失敗したので、認証処理が失敗した旨の通知等の認証失敗処理を行って処理を終了する（ステップＳ５１）。

ステップＳ４６の判断において、第１センサ１１による第１指紋データ及び第２センサ１２による第２指紋データの取得が成功した場合には（ステップＳ４６；Ｙｅｓ）、演算部６３は、今回取得した第１指紋データ及び第２指紋データに対して照合処理を行う（ステップＳ４７）。

続いて、演算部６３は、ステップＳ４７の照合処理が成功しているか否かを判断する（ステップＳ４８）。
ステップＳ４８の判断において、照合処理が成功した場合には（ステップＳ４７；Ｙｅｓ）、演算部６３は、認証が成功したとして、指紋認証後の処理に移行する等の認証成功処理を行って処理を終了する（ステップＳ４９）。

ステップＳ４８の判断において、照合処理が不成功であった場合には（ステップＳ４８；Ｎｏ）、演算部６３は、認証が失敗したとして、認証失敗処理を行って処理を終了する（ステップＳ５０）。

以上の説明のように、本第３実施形態によれば、要求認証レベルがレベル２特徴未満の場合において、静電容量方式の第１センサ１１単体又は撮像方式の第２センサ１２単体で構成された電子デバイスよりも認証失敗率（ＦＴＡ）を低減させることができる。

［３．１］第３実施形態の第１変形例
上記第３実施形態の説明においては、要求認証レベルが外部から与えられる想定としていたが、本第３実施形態の第１変形例は、電子デバイス５０において事前に認証処理を実施しておき、認証された状態を保持しておく場合の実施形態である。

本第３実施形態の第１変形例に適用されるデバイス及びシステム構成は、第１実施形態と同様であるので、それらを参照し、以下においては、既に指紋認証用のデータが登録されているという前提で第３実施形態の第１変形例の指紋認証動作を説明する。

次に第３実施形態の第１変形例の動作を説明する。
図１５は、第３実施形態の第１変形例の処理フローチャートである。
まず、演算部６３は、撮像方式の第２センサ１２により第２指紋データを取得する（ステップＳ８１）。

続いて、演算部６３は、第２センサ１２による第２指紋データの取得が成功したか否かを判断する（ステップＳ８２）。
ステップＳ８２の判断において、第２センサ１２による第２指紋データの取得が不成功であった場合には（ステップＳ８２；Ｎｏ）、演算部６３は、処理をステップＳ８６に移行する。

ステップＳ８２の判断において、第２センサ１２による第２指紋データの取得が成功した場合には（ステップＳ８２；Ｙｅｓ）、演算部６３は、今回取得した第２指紋データに対してレベル３特徴照合処理を行う（ステップＳ８３）。

続いて、演算部６３は、ステップＳ８３のレベル３特徴照合処理が成功しているか否かを判断する（ステップＳ８４）。
ステップＳ８４の判断において、照合処理が成功した場合には（ステップＳ８４；Ｙｅｓ）、演算部６３は、認証が成功したとして、上述したような指紋認証後の処理に移行する等のレベル３認証成功処理を行って処理を終了する（ステップＳ８５）。

ステップＳ８４の判断において、照合処理が不成功であった場合には（ステップＳ８４；Ｎｏ）、演算部６３は、静電容量方式の第１センサ１１により第１指紋データを取得する（ステップＳ８６）。
続いて、演算部６３は、第１センサ１１による第１指紋データの取得が成功したか否かを判断する（ステップＳ８７）。

ステップＳ８７の判断において、第１センサ１１による第１指紋データの取得が不成功であった場合には（ステップＳ８７；Ｎｏ）、演算部６３は、指紋データの取得が不成功であった旨を通知する等の取得失敗処理を行って処理を終了する（ステップＳ９２）。

ステップＳ８７の判断において、第１センサ１１による第１指紋データの取得が成功した場合には（ステップＳ８７；Ｙｅｓ）、演算部６３は、今回取得した第１指紋データに対してレベル２照合処理を行う（ステップＳ８８）。

続いて、演算部６３は、ステップＳ８８のレベル２特徴照合処理が成功しているか否かを判断する（ステップＳ８９）。
ステップＳ８９の判断において、照合処理が成功した場合には（ステップＳ８９；Ｙｅｓ）、演算部６３は、認証が成功したとして、上述したような指紋認証後の処理に移行する等のレベル２認証成功処理を行って処理を終了する（ステップＳ９０）。

ステップＳ８９の判断において、照合処理が不成功であった場合には（ステップＳ８９；Ｎｏ）、演算部６３は、認証が不成功であったとして、その旨を通知する等の認証失敗処理を行って処理を終了する（ステップＳ９１）。

［３．２］第３実施形態の第２変形例
図１６は、第３実施形態の第２変形例の概要システム構成例の説明図である。
図１６において、図７と同様の部分には、同一の符号を付すものとする。

図１６において、図７の実施形態と異なる点は、ユーザの指が濡れた状態であるか否かを検出する指濡れセンサ８１、ユーザの指が乾燥した状態であるか否かを検出する乾燥指センサ８２及び環境光のレベルを検出する環境光センサ８３を備えた点である。

ところで、撮像方式の第２センサ１２は、消費電力が大きく、起動せずに事前に使用するセンサ方式を判断できることが望ましい。
そこで、第３実施形態の第２変形例においては、指濡れセンサ８１、乾燥指センサ８２及び環境光センサ８３を備えることで、事前に使用すべきセンサ方式を判断するようにしている。

次に第３実施形態の第２変形例の動作を説明する。
図１７は、第３実施形態の第２変形例の処理フローチャートである。
まず、演算部６３は、指濡れセンサ８１、乾燥指センサ８２及び環境光センサ８３の情報を取得する（ステップＳ１０１）。

続いて、演算部６３は、指紋センサ方式の決定処理を行う（ステップＳ１０２）。
この場合において、指濡れ耐性は、相対的に、静電容量方式の第１センサ１１が低く、撮像方式の第２センサ１２が高い。乾燥指耐性は、相対的に、静電容量方式の第１センサ１１が高く、撮像方式の第２センサ１２が低い。環境光（外光）から受ける影響は、相対的に静電容量方式の第１センサ１１が小さく、撮像方式の第２センサ１２が大きい。

従って、優先的に使用すべきセンサ方式としては、乾燥指及び環境光に対しては、静電容量方式の第１センサ１１であり、指濡れに対しては、撮像方式の第２センサ１２であるので、演算部６３は、指濡れセンサ８１、乾燥指センサ８２及び環境光センサ８３の情報及び上記条件基づいて、使用する指紋センサ方式を決定する。

次に演算部６３は、撮像方式の第２センサ１２を使用することにしたか否かを判断する（ステップＳ１０３）。
ステップＳ１０３の判断において、撮像方式の第２センサ１２を使用することにした場合には、演算部６３は、撮像方式の第２センサ１２により第２指紋データを取得する（ステップＳ１０４）。

続いて、演算部６３は、第２センサ１２による第２指紋データの取得が成功したか否かを判断する（ステップＳ１０５）。
ステップＳ１０５の判断において、第２センサ１２による第２指紋データの取得が不成功であった場合には（ステップＳ１０５；Ｎｏ）、演算部６３は、指紋データの取得が不成功であった旨を通知する等の取得失敗処理を行って処理を終了する（ステップＳ１１０）。

ステップＳ１０５の判断において、第２センサ１２による第２指紋データの取得が成功した場合には（ステップＳ１０５；Ｙｅｓ）、演算部６３は、今回取得した第２指紋データに対してレベル３特徴照合処理を行う（ステップＳ１０６）。
続いて、演算部６３は、ステップＳ１０６のレベル３特徴照合処理が成功しているか否かを判断する（ステップＳ１０７）。

ステップＳ１０７の判断において、照合処理が成功した場合には（ステップＳ１０７；Ｙｅｓ）、演算部６３は、認証が成功したとして、上述したような指紋認証後の処理に移行する等のレベル３認証成功処理を行って処理を終了する（ステップＳ１０８）。

ステップＳ１０７の判断において、照合処理が不成功であった場合には（ステップＳ１０７；Ｎｏ）、演算部６３は、認証が不成功であったとして、その旨を通知する等の認証失敗処理を行って処理を終了する（ステップＳ１０９）。

一方、ステップＳ１０３の判断において、静電容量方式の第１センサ１１を使用することにした場合には、演算部６３は、静電容量方式の第１センサ１１により第１指紋データを取得する（ステップＳ１１１）。

続いて、演算部６３は、第１センサ１１による第１指紋データの取得が成功したか否かを判断する（ステップＳ１１２）。
ステップＳ１１２の判断において、第１センサ１１による第１指紋データの取得が不成功であった場合には（ステップＳ１１２；Ｎｏ）、演算部６３は、指紋データの取得が不成功であった旨を通知する等の取得失敗処理を行って処理を終了する（ステップＳ１１７）。

ステップＳ１１２の判断において、第１センサ１１による第１指紋データの取得が成功した場合には（ステップＳ１１２；Ｙｅｓ）、演算部６３は、今回取得した第１指紋データに対してレベル２照合処理を行う（ステップＳ１１３）。

続いて、演算部６３は、ステップＳ８８のレベル２特徴照合処理が成功しているか否かを判断する（ステップＳ１１４）。
ステップＳ１１４の判断において、照合処理が成功した場合には（ステップＳ１１４；Ｙｅｓ）、演算部６３は、認証が成功したとして、上述したような指紋認証後の処理に移行する等のレベル２認証成功処理を行って処理を終了する（ステップＳ１１５）。

ステップＳ１１４の判断において、照合処理が不成功であった場合には（ステップＳ１１４；Ｎｏ）、演算部６３は、認証が不成功であったとして、その旨を通知する等の認証失敗処理を行って処理を終了する（ステップＳ１１６）。

以上の説明のように、第３実施形態の第２変形例によれば、ユーザの指が濡れた状態、ユーザの指が乾燥した状態あるいは環境光のレベルによって、指紋認証に使用するセンサをより好適に選択してから起動するので、取得失敗率(FTA)を低減させることができるとともに、消費電力を低減することが可能となり、特にウェアラブルデバイスにおいて、長時間の利用が可能となる。

［４］第４実施形態
本第４実施形態は、低い消費電力で動作する静電容量方式の第１センサ１１を指紋認証トリガとし、消費電力が比較的高い撮像方式の第２センサ１２の電源制御を実施する実施形態である。

ところで、レベル３特徴量による認証を実現するためには、撮像方式の第２センサ１２によりデータを取得する必要がある。
しかし、撮像方式の第２センサ１２は、例えば、CMOSセンサで構成され消費電力が高いため、必要時以外は非アクティブ状態にしておくことが望ましい。

そこで、本第４実施形態においては、低い消費電力で動作する静電容量方式の第１センサ１１により、ユーザの指の状態を検知することで、撮像方式の第２センサ１２がアクティブに状態になる期間を最小限にすることで、撮像方式の第２センサ１２単体でレベル３認証を実現するシステムよりも消費電力を削減することを可能としている。

本第４実施形態に適用されるデバイス及びシステム構成は、第１実施形態と同様であるので、それらを参照し、以下においては、既に指紋認証用のデータが登録されているという前提で第４実施形態の指紋認証動作を説明する。

図１８は、第４実施形態の処理フローチャートである。
まず演算部６３は、静電容量方式の第１センサ１１が操作されたことを検知したか否かを判断する（ステップＳ５１）。
ステップＳ５１の判断において、未だ静電容量方式の第１センサ１１が操作されていない場合には（ステップＳ５１；Ｎｏ）、演算部６３は、待機状態となる。

ステップＳ５１の判断において、静電容量方式の第１センサ１１が操作された場合には（ステップＳ５１；Ｙｅｓ）、演算部６３は、静電容量方式の第１センサ１１により指紋が検出されたか否かを判断する（ステップＳ５２）。
ステップＳ５２の判断において、未だ指紋が検出されていない場合には（ステップＳ５２；Ｎｏ）、演算部６３は、待機状態となる。

ステップＳ５２の判断において、指紋が検出された場合には（ステップＳ５２；Ｙｅｓ）、撮像方式の第２センサ１２をオン状態（駆動状態）とする（ステップＳ５３）。
そして、演算部６３は、撮像方式の第２センサ１２により第２指紋データを取得する（ステップＳ５４）。

続いて、演算部６３は、撮像方式の第２センサ１２をオフ状態（非駆動状態）とする（ステップＳ５５）。
次に演算部６３は、今回取得した第２指紋データに対してレベル３特徴照合処理を行う（ステップＳ５６）。

続いて、演算部６３は、ステップＳ５６のレベル３特徴照合処理が成功しているか否かを判断する（ステップＳ５７）。
ステップＳ５７の判断において、照合処理が成功した場合には（ステップＳ５７；Ｙｅｓ）、演算部６３は、認証が成功したとして、上述したような指紋認証後の処理に移行する等のレベル３認証成功処理を行って処理を終了する（ステップＳ５８）。

ステップＳ５７の判断において、照合処理が不成功であった場合（ステップＳ５４において、第２指紋データを取得できなかった場合を含む）には（ステップＳ５７；Ｎｏ）、演算部６３は、認証が不成功であったとして、その旨を通知する等の認証失敗処理を行って処理を終了する（ステップＳ５９）。

以上の説明のように、本第４実施形態によれば、消費電力が比較的大きな撮像方式の第２センサ１２については、静電容量方式の第１センサ１１が操作された場合、かつ、第２指紋データを取得する期間のみ電力を供給して駆動状態とするので、トータルの消費電力を抑制することができ、特にウェアラブルデバイス、モバイルデバイス等によって使用可能時間をより一層長くすることが可能となる。

［４．１］第４実施形態の第１変形例
上記第４実施形態においては、静電容量方式の第１センサ１１が操作され、かつ、指紋が検出された場合にのみ、撮像方式の第２センサ１２を駆動状態としていたが、本第４実施形態の第１変形例は、要求される認証レベルに応じて静電容量方式の第１センサ１１及び撮像方式の第２センサ１２を適応的に切り替える異で消費電力を削減するための実施形態である。

次に第４実施形態の第１変形例の動作を説明する。
図１９は、第４実施形態の第１変形例の処理フローチャートである。
まず演算部６３は、要求認証レベルがレベル２特徴以下であるか否かを判断する（ステップＳ６１）。

ステップＳ６１の判断において、要求認証レベルがレベル２特徴以下である場合には（ステップＳ６１；Ｙｅｓ）、静電容量方式の第１センサ１１により第１指紋データを取得する（ステップＳ６２）。
続いて、演算部６３は、今回取得した第１指紋データに対して照合処理を行う（ステップＳ６３）。

続いて、演算部６３は、ステップＳ６３において照合処理が成功しているか否かを判断する（ステップＳ６４）。
ステップＳ６４の判断において、照合処理が成功した場合には（ステップＳ６４；Ｙｅｓ）、演算部６３は、認証が成功したとして、上述したような指紋認証後の処理に移行する等の認証成功処理を行って処理を終了する（ステップＳ６５）。

ステップＳ６４の判断において、照合処理が不成功であった場合（ステップＳ６２において、第１指紋データを取得できなかった場合を含む）には（ステップＳ６４；Ｎｏ）、演算部６３は、認証が不成功であったとして、その旨を通知する等の認証失敗処理を行って処理を終了する（ステップＳ６６）。

一方、ステップＳ６１の判断において、要求認証レベルがレベル２特徴を超える、すなわち、レベル３特徴である場合には（ステップＳ６１；Ｎｏ）、撮像方式の第２センサ１２をオン状態（駆動状態）とする（ステップＳ６７）。

そして、演算部６３は、撮像方式の第２センサ１２により第２指紋データを取得する（ステップＳ６８）。
続いて、演算部６３は、撮像方式の第２センサ１２をオフ状態（非駆動状態）とする（ステップＳ６９）。

次に演算部６３は、今回取得した第２指紋データに対してレベル３特徴照合処理を行う（ステップＳ７０）。
続いて、演算部６３は、ステップＳ５６のレベル３特徴照合処理が成功しているか否かを判断する（ステップＳ７１）。

ステップＳ７１の判断において、照合処理が成功した場合には（ステップＳ７１；Ｙｅｓ）、演算部６３は、認証が成功したとして、上述したような指紋認証後の処理に移行する等の認証成功処理を行って処理を終了する（ステップＳ７２）。

ステップＳ７１の判断において、照合処理が不成功であった場合（ステップＳ６８において、第２指紋データを取得できなかった場合を含む）には（ステップＳ７１；Ｎｏ）、演算部６３は、認証が不成功であったとして、その旨を通知する等の認証失敗処理を行って処理を終了する（ステップＳ７３）。

以上の説明のように、第４実施形態の第１変形例によれば、要求認証レベルに応じて最適なセンサを駆動させることができるので、より消費電力を低減して、ウェアラブルデバイスあるいはモバイルデバイスの駆動可能時間を長くすることができる。

［５］実施形態の変形例
［５．１］第１変形例
上記各実施形態においては、リストバンド型のウェアラブルデバイスとして構成された電子デバイス５０を例として、説明を行ったが、スマートフォンや据え置き型の電子デバイス、パーソナルコンピュータ（例えば、タッチパネル式の表示画面あるいはキーボード、マウス等の入力デバイスにセンシング装置１０を設ける）、自動車等の車載機器（例えば、タッチパネル式の表示画面あるいはハンドルに隣接してセンシング装置１０を設ける）、ＨＭＤ（Head Mount Display：例えば、筐体にセンシング装置１０を設ける）、ＡＲグラス（Augmented Reality グラス：例えば、フレーム部にセンシング装置１０を設ける）等に適用することも可能である。

［５．２］第２変形例
図２０は、実施形態の変形例の説明図である。
図２０（Ａ）は、実施形態の第２変形例の説明図である。

以上の実施形態では、静電容量方式の第１センサ１１と、撮像方式の第２センサ１２と、が積層された積層方式センサとしていたが、本第２変形例は、基板ＳＢ上に静電容量方式の第１センサ１１と、撮像方式の第２センサ１２と、が既知の配置関係で配置してセンシング装置として形成しているものである。

このように静電容量方式の第１センサ１１と、撮像方式の第２センサ１２と、を離間して配置しても、上記各実施形態と同様に適用することが可能である。

［５．３］第３変形例
図２０（Ｂ）は、実施形態の第３変形例の説明図である。
本第３変形例は、開口を有するように形成した静電容量方式の第１センサ１１と、当該開口に配置した撮像方式の第２センサ１２と、を配置して、同一平面に両センサ１１，１２を配置した場合の実施形態である。

本第３変形例によれば、センサの設置面積を小さくして、小形のデバイスにおいても適用可能とできる。

［５．４］第４変形例
図２０（Ｃ）は、実施形態の第４変形例の説明図である。
本第４変形例は、基板ＳＢ上の中央に配置した静電容量方式の第１センサ１１と、第１センサ１１の周囲に配置した複数の撮像方式の第２センサ１２と、を配置して、同一平面に両センサ１１，１２を配置した場合の実施形態である。

本第４変形例によれば、センシング範囲が狭い第２センサ１２を複数配置することにより、第２指紋データのセンシング範囲を実効的に大きくでき、認証データの登録時の指紋データの取得回数を抑制することができる。

［５．５］第５変形例
以上の説明においては、第１センサ１１として、静電容量方式のセンサを用いていたが、超音波方式のセンサ等の他の種類のセンサを用いることが可能である。なお、積層方式のセンシング装置を構成する場合には、当該他の種類のセンサも透過性を有することが必要とされる。

［５．６］第６変形例
本実施形態のセンシング装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ディスプレイ装置などの表示装置と、入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

本実施形態のセンシング装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＤＶＤ（Digital Versatile Disk）、ＵＳＢメモリ、ＳＳＤ（Solid State Drive）等の半導体メモリ装置等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態のセンシング装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のセンシング装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、本実施形態のセンシング装置のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

さらに、本技術は、以下の構成とすることも可能である。
（１）
センシング対象物の表面の３次元形状情報を取得する第１センサと、
前記第１センサの前記センシング対象物における情報取得位置と所定の位置関係を有する位置における前記センシング対象物の表面あるいは表面近傍のテクスチャ情報を取得する第２センサと、
を備えたセンシング装置。
（２）
前記第１センサは、前記第２センサが用いる検出光の透過性を有する静電容量方式のセンサとして構成されており、
前記第２センサは、接写レンズを有する撮像方式のセンサとして構成されている、
（１）記載のセンシング装置。
（３）
前記第１センサは、指紋センサとして構成されている、
（１）又は（２）記載のセンシング装置。
（４）
前記第１センサ及び前記第２センサは、積層配置されている、
（１）〜（３）のいずれか一項記載のセンシング装置。
（５）
前記第１センサは、前記第２センサの周囲に隣接して配置されている、
（１）〜（３）のいずれか一項記載のセンシング装置。
（６）
前記第１センサと前記第２センサとは、検出面が同一平面となり、かつ、前記所定の位置関係を有する位置に隣接して配置されている、
（１）〜（３）のいずれか一項記載のセンシング装置。
（７）
前記第１センサ及び前記第２センサの出力に基づいて、前記センシング対象物の特徴量を抽出して前記センシング対象物の照合を行う演算部を備えた、
（１）〜（６）のいずれか一項記載のセンシング装置。
（８）
前記センシング対象物を同定するための登録データを蓄積するデータ蓄積部を備え、
前記演算部は、前記第１センサ及び前記第２センサの出力及び前記登録データに基づいて前記センシング対象物の照合を行う、
（７）記載のセンシング装置。
（９）
前記センシング対象物は、指、手等の生体の各部の表面、あるいは、真皮、血管等の生体の表面近傍の組織である、
（１）記載のセンシング装置。
（１０）
前記３次元形状情報は、指紋等の形状情報である、
（１）記載のセンシング装置。
（１１）
前記テクスチャ情報は、人体、生体の各部の表面、あるいは、真皮の表面形状、血管の走行等の表面近傍の組織の視覚的な色や明るさ、模様、配置等の情報を含む、
（１）記載のセンシング装置。
（１２）
前記第２センサが用いる検出光は、可視光、赤外光あるいは紫外線等の不可視光のうち、少なくともいずれかを含む、
（１）記載のセンシング装置。
（１３）
センシング対象物の表面の３次元形状情報を取得して第１データを出力する第１センサと、前記第１センサの前記センシング対象物における情報取得位置と所定の位置関係を有する位置における前記センシング対象物の表面のテクスチャ情報を取得して第２データを出力する第２センサと、前記第１データ及び前記第２データに基づいて、前記センシング対象物の特徴量を抽出して前記センシング対象物の照合を行う演算部と、を備えた認証装置で実行される方法であって、
照合レベルが入力される過程と、
前記入力された照合レベルに基づいて、前記第１データ及び前記第２データのうち、少なくともいずれかを用いて前記照合を行う過程と、
を備えた方法。
（１４）
前記センシング対象物の状態は、濡れ状態あるいは乾燥状態である、
（１３）記載の方法。
（１５）
センシング対象物の表面の３次元形状情報を取得して第１データを出力する第１センサと、前記第１センサの前記センシング対象物における情報取得位置と所定の位置関係を有する位置における前記センシング対象物の表面あるいは表面近傍のテクスチャ情報を取得して第２データを出力する第２センサと、を備えた認証装置をコンピュータにより制御するためのプログラムであって、
前記コンピュータを、
入力された照合レベルを判定する判定手段と、
前記判定された前記照合レベルに基づいて、前記第１データ及び前記第２データのうち、少なくともいずれかを用いて前記センシング対象物の照合を行う照合手段と、
して機能させるプログラム。

１０ センシング装置
１１ 第１センサ
１２ 第２センサ
５０ 電子デバイス
５１ リストバンド本体
５２ センシング装置
５３ 表示部
６０ システム
６１ 積層方式センサ
６２ 表示部
６３ 演算部
６４ 音声出力部
６５ データ蓄積部
６６ 通信部
６７ 通信ネットワーク
６８ サーバ
７０ 階層型登録指紋データベース
７１ ルート
７２ 隆線形状データ
７３ 特徴量データ
８１ センサ
８２ 乾燥指センサ
８３ 環境光センサ
ＳＢ 基板

Claims (15)

1. センシング対象物の表面の３次元形状情報を取得する第１センサと、
   前記第１センサの前記センシング対象物における情報取得位置と所定の位置関係を有する位置における前記センシング対象物の表面あるいは表面近傍のテクスチャ情報を取得する第２センサと、
   を備えたセンシング装置。
2. 前記第１センサは、前記第２センサが用いる検出光の透過性を有する静電容量方式のセンサとして構成されており、
   前記第２センサは、接写レンズを有する撮像方式のセンサとして構成されている、
   請求項１記載のセンシング装置。
3. 前記第１センサは、指紋センサとして構成されている、
   請求項１又は請求項２記載のセンシング装置。
4. 前記第１センサ及び前記第２センサは、積層配置されている、
   請求項１乃至請求項３のいずれか一項記載のセンシング装置。
5. 前記第１センサは、前記第２センサの周囲に隣接して配置されている、
   請求項１乃至請求項３のいずれか一項記載のセンシング装置。
6. 前記第１センサと前記第２センサとは、検出面が同一平面となり、かつ、前記所定の位置関係を有する位置に隣接して配置されている、
   請求項１乃至請求項３のいずれか一項記載のセンシング装置。
7. 前記第１センサ及び前記第２センサの出力に基づいて、前記センシング対象物の特徴量を抽出して前記センシング対象物の照合を行う演算部を備えた、
   請求項１乃至請求項６のいずれか一項記載のセンシング装置。
8. 前記センシング対象物を同定するための登録データを蓄積するデータ蓄積部を備え、
   前記演算部は、前記第１センサ及び前記第２センサの出力及び前記登録データに基づいて前記センシング対象物の照合を行う、
   請求項７記載のセンシング装置。
9. 前記センシング対象物は、指、手等の生体の各部の表面、あるいは、真皮、血管等の生体の表面近傍の組織である、
   請求項１記載のセンシング装置。
10. 前記３次元形状情報は、指紋等の形状情報である、
    請求項１記載のセンシング装置。
11. 前記テクスチャ情報は、人体、生体の各部の表面、あるいは、真皮の表面形状、血管の走行等の表面近傍の組織の視覚的な色や明るさ、模様、配置等の情報を含む、
    請求項１記載のセンシング装置。
12. 前記第２センサが用いる検出光は、可視光、赤外光あるいは紫外線等の不可視光のうち、少なくともいずれかを含む、
    請求項１記載のセンシング装置。
13. センシング対象物の表面の３次元形状情報を取得して第１データを出力する第１センサと、前記第１センサの前記センシング対象物における情報取得位置と所定の位置関係を有する位置における前記センシング対象物の表面のテクスチャ情報を取得して第２データを出力する第２センサと、前記第１データ及び前記第２データに基づいて、前記センシング対象物の特徴量を抽出して前記センシング対象物の照合を行う演算部と、を備えた認証装置で実行される方法であって、
    照合レベルが入力される過程と、
    前記入力された照合レベルに基づいて、前記第１データ及び前記第２データのうち、少なくともいずれかを用いて前記照合を行う過程と、
    を備えた方法。
14. 前記センシング対象物の状態は、濡れ状態あるいは乾燥状態である、
    請求項１３記載の方法。
15. センシング対象物の表面の３次元形状情報を取得して第１データを出力する第１センサと、前記第１センサの前記センシング対象物における情報取得位置と所定の位置関係を有する位置における前記センシング対象物の表面あるいは表面近傍のテクスチャ情報を取得して第２データを出力する第２センサと、を備えた認証装置をコンピュータにより制御するためのプログラムであって、
    前記コンピュータを、
    入力された照合レベルを判定する判定手段と、
    前記判定された前記照合レベルに基づいて、前記第１データ及び前記第２データのうち、少なくともいずれかを用いて前記センシング対象物の照合を行う照合手段と、
    して機能させるプログラム。

Images