JP2014146862A - 撮像方法、撮像装置及び撮像プログラム - Google Patents

Abstract

【課題】撮像時間を短縮させること。
【解決手段】ジェスチャ認証システム１０は、照明を消灯させた状態で被写体を撮像した画像であるオフ画像を生成する処理を第一の回数連続して行う処理を実行する。さらに、ジェスチャ認証システム１０は、照明を点灯させた状態で被写体を撮像した画像であるオン画像を生成する処理を第二の回数連続して行う処理を実行する。さらに、ジェスチャ認証システム１０は、照明を消灯させた状態で被写体を撮像した画像であるオフ画像を生成する処理を第一の回数連続して行う処理を実行する。さらに、ジェスチャ認証システム１０は、生成されたオン画像の各々について、該オン画像と、生成されたオフ画像のうち該オン画像に対応するオフ画像との差分画像を算出する処理を実行する。さらに、ジェスチャ認証システム１０は、算出された各々の差分画像を積算する処理を実行する。
【選択図】図１

Description

本発明は、撮像方法、撮像装置及び撮像プログラムに関する。

生体認証やジェスチャ認証等といった各種の認証技術が知られている。例えば、生体認証では、外光の強さが登録画像の撮像時と照合画像の撮像時との間で異なるとこれら２つの画像の類似度が低下するので、認証率が低下することがある。かかる外光の影響を除去する技術の一例として、照明を消灯させたオフ状態で撮像されたオフ画像と照明を点灯させたオン状態で撮像されたオン画像との差分を求める画像処理方法が提案されている。この画像処理方法では、外光のみで撮像されるオフ画像と外光及び照明の光を用いて撮像されるオン画像との差分を算出することによって、外光を除去し、照明の光が写った画像を取得することを目指す。

ところが、外光が非常に強い場合には、カメラによって撮像される範囲のうちの外光が当たっている部分の画素値が上限で飽和するので、この部分が真っ白になる白とびと呼ばれる現象が発生する。このため、単にオフ画像とオン画像との差分を求めても、白とびによって生体認証が行われる部位の特徴が画像から欠落し、認証率が低下する場合がある。

このことから、白とびに対応する技術の一例として、外光の強さに応じて撮像処理を複数回に分割し、オフ画像とオン画像を交互に複数回撮像し、各組のオフ画像とオン画像の差分を積算する画像生成方法が提案されている。この画像生成方法では、撮像時の露出時間を短くすることによって、取り込む光の量を減らした複数枚の差分画像を積算し、白とびの影響が抑制された画像を取得することを目指す。

特開２００８−９０４１２号公報

しかしながら、上記の技術には、以下に説明するように、撮像時間が長くなるという問題がある。

すなわち、上記の画像生成方法では、オフ画像とオン画像が交互に撮像される。このように、オフ画像とオン画像が交互に撮像される場合には、オフ画像またはオン画像が撮像される度に照明の切り換えが発生してしまう。つまり、オフ画像を撮像する度に照明がオン状態からオフ状態へ切り換えられたり、また、オン画像を撮像する度に照明がオフ状態からオン状態へ切り換えられたりすることになる。これら照明を切り換える途中で撮像された画像は、照明が消灯し終わっていない、あるいは点灯し終わっていない状態で撮像されることになるので、認証精度の低下の原因となり、認証には使用できない。このため、オフ画像及びオン画像を撮像する度に照明がオフ状態またはオン状態へ切り換わるまで撮像を待機することになるので、撮像時間が長くなってしまう。

１つの側面では、撮像時間を短縮できる撮像方法、撮像装置及び撮像プログラムを提供することを目的とする。

一態様の撮像方法は、被写体に光を照射する照明を有する撮像装置による撮像方法において、前記照明を消灯させた状態で前記被写体を撮像した画像であるオフ画像を生成する処理を第一の回数連続して行う処理を実行する。さらに、前記撮像方法は、前記照明を点灯させた状態で前記被写体を撮像した画像であるオン画像を生成する処理を第二の回数連続して行う処理を実行する。さらに、前記撮像方法は、前記照明を消灯させた状態で前記被写体を撮像した画像であるオフ画像を生成する処理を第一の回数連続して行う処理を実行する。さらに、前記撮像方法は、生成された前記オン画像の各々について、該オン画像と、生成された前記オフ画像のうち該オン画像に対応するオフ画像との差分画像を算出する処理を実行する。さらに、前記撮像方法は、算出された各々の前記差分画像を積算する処理を実行する。

一実施形態によれば、撮像時間を短縮できる。

図１は、実施例１に係るジェスチャ認証システムに含まれる各装置の機能的構成を示すブロック図である。 図２は、撮像シーケンスの一例を示す図である。 図３は、撮像シーケンスの一例を示す図である。 図４は、撮像シーケンスの一例を示す図である。 図５は、撮像シーケンスの一例を示す図である。 図６は、時刻と変動の大きさの関係の一例を示す図である。 図７は、実施例１に係る認証処理の手順を示すフローチャートである。 図８は、実施例１に係る分割数決定処理の手順を示すフローチャートである。 図９は、実施例１に係る撮像処理の手順を示すフローチャートである。 図１０は、実施例２に係る顔認証システムに含まれる各装置の機能的構成を示すブロック図である。 図１１は、実施例２に係る登録処理の手順を示すフローチャートである。 図１２は、実施例２に係る認証処理の手順を示すフローチャートである。 図１３は、実施例３に係る材質判定システムに含まれる各装置の機能的構成を示すブロック図である。 図１４は、撮像シーケンスの一例を示す図である。 図１５は、出力電流と分割数とが対応付けられた情報の一例を示す図である。 図１６は、異なる物質における波長と反射率の関係の一例を示すグラフである。 図１７は、実施例３に係る判定処理の手順を示すフローチャートである。 図１８は、実施例３に係る分割数決定処理の手順を示すフローチャートである。 図１９は、実施例３に係る撮像処理の手順を示すフローチャートである。 図２０は、分割数決定処理の手順の一例を示すフローチャートである。 図２１は、撮像シーケンスの一例を示す図である。 図２２は、実施例１〜３に係る撮像処理プログラムを実行するコンピュータの一例について説明するための図である。

以下に、本願の開示する撮像方法、撮像装置および撮像プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

図１は、実施例１に係るジェスチャ認証システムに含まれる各装置の機能的構成を示すブロック図である。図１に示すジェスチャ認証システム１０は、照明を消灯させたオフ状態で撮像されるオフ画像及び照明を点灯させたオン状態で撮像されるオン画像の差分画像を用いて、人の身振りや手振りといったジェスチャを認証するものである。なお、本実施例では、一例として、認証装置１２によって出力されるジェスチャの認証結果が図示しないテレビ受信機によってチャンネル操作に用いられる場合を想定するが、パーソナルコンピュータ等のマンマシンインタフェースとして用いることもできる。

図１に示すように、ジェスチャ認証システム１０には、撮像装置１１と、認証装置１２が収容される。なお、図１には、ジェスチャ認証システム１０に収容される撮像装置１１が１つである場合を例示したが、複数の撮像装置１１が収容されることとしてもかまわない。

［撮像装置１１の構成］
まず、本実施例に係る撮像装置１１の機能的構成について説明する。図１に示すように、撮像装置１１は、センサ部１１ａと、照明部１１ｂと、撮像素子１１ｃと、通信部１１ｄと、画像記憶部１１ｅと、撮像制御部１１ｆとを有する。なお、撮像装置１１は、図１に示した機能部以外にもカメラが有する各種の機能部、例えば光学レンズや光学フィルタなどを有することとしてもかまわない。

このうち、センサ部１１ａは、テレビ受信機の利用者を検知するデバイスである。かかるセンサ部１１ａの一態様としては、可視光、赤外線、超音波や温度などを利用して人の所在を検知する人感センサ等を採用することができる。例えば、センサ部１１ａは、テレビ受信機の表示面から所定の視聴範囲、例えば半径５ｍ以内の領域を監視する。このとき、センサ部１１ａは、テレビ受信機の視聴範囲に存在する利用者を検知した場合に、当該視聴範囲の中で利用者が存在する位置を後述の撮像制御部１１ｆへ通知する。

照明部１１ｂは、照明光を照射する光源である。かかる照明部１１ｂの一態様としては、ＬＥＤ（Light Emitting Diode）などの可視光の他、近赤外線や赤外線などを光源として採用することもできる。例えば、照明部１１ｂは、センサ部１１ａによって検知がなされる視聴範囲に存在する利用者の認証部位、例えば利用者の手を照射できる位置に設置される。このとき、照明部１１ｂが指向性を有する場合には、視聴範囲で利用者が存在する位置に合わせて照明光を照射する方向を調整できる機構部を実装することもできる。

撮像素子１１ｃは、図示しないレンズから入ってきた光を電気信号に変換するデバイスである。かかる撮像素子１１ｃの一態様としては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを採用できる。例えば、撮像素子１１ｃは、センサ部１１ａによって検知がなされる視聴範囲に存在する利用者の認証部位、例えば利用者の手が結像する位置に設置される。このとき、撮像素子１１ｃに利用者の認証部位が結像するように、視聴範囲の中で利用者が存在する位置に合わせて撮像装置１１の画角を調節する機構部をさらに有することとしてもよい。かかる撮像素子１１ｃによって撮像された画像は、後述の撮像制御部１１ｆによって画像記憶部１１ｅへ保存される。

通信部１１ｄは、他の装置、例えば認証装置１２との間でデータの送受信を行う処理部である。一態様としては、通信部１１ｄは、利用者が検知された旨や画像記憶部１１ｅに格納されている画像を認証装置１２へ送信したり、認証装置１２から画像の撮像指示を受信したりする。なお、通信部１１ｄは、認証装置１２の通信部１２ａとの間でコネクタや有線ＬＡＮ（Local Area Network）等のケーブルを介して有線接続されることとしてもよいし、また、ブルートゥース（登録商標）、赤外線通信や無線ＬＡＮ等によって無線接続されることとしてもよい。

画像記憶部１１ｅは、画像を記憶する記憶デバイスである。一例としては、画像記憶部１１ｅには、撮像制御部１１ｆによって撮像された画像が保存される。他の一例としては、画像記憶部１１ｅは、画像を認証装置１２へ転送する場合に、保存された画像を読み出すためにアクセスされる。なお、画像記憶部１１ｅに記憶された画像は、認証装置１２へ送信された後に消去することもできる。

撮像制御部１１ｆは、照明部１１ｂおよび撮像素子１１ｃを制御して被写体の画像を撮像する処理部である。一態様としては、撮像制御部１１ｆは、センサ部１１ａによって視聴範囲に利用者が検知された場合に、利用者の検知を認証装置１２へ通知する。このように、利用者の検知が認証装置１２へ通知された場合には、当該通知への応答として、認証装置１２から撮像指示が通知される。ここで言う「撮像指示」には、照明を消灯させたオフ状態で撮像される「オフ画像」および照明を点灯させたオン状態で撮像される「オン画像」に関する撮像パラメータが含まれる。かかる撮像パラメータの一例としては、図示しないレンズを通して結像する光を撮像素子１１ｃにさらす露出時間Ｅと、露出時間Ｅを分割する分割数Ｎとが含まれる。このように撮像指示を受け付けると、撮像制御部１１ｆは、撮像指示に含まれる露出時間Ｅを分割数Ｎで除算することによって画像１枚あたりの露出時間を表す単位露出時間Ｅ´を算出する。かかる単位露出時間Ｅ´の算出後に、撮像制御部１１ｆは、Ｎ枚のオフ画像およびＮ枚のオン画像を撮像する。

ここで、撮像制御部１１ｆは、Ｎ枚のオン画像を撮像する前後で照明部１１ｂをオフ状態にしてオフ画像を撮像する。例えば、撮像制御部１１ｆは、照明部１１ｂをオフ状態にしてＮ／２枚のオフ画像を撮像した後に、照明部１１ｂをオン状態にしてＮ枚のオン画像を撮像し、その後に、照明部１１ｂをオフ状態にしてＮ／２枚のオフ画像を撮像する。

図２は、撮像シーケンスの一例を示す図である。図２には、分割数Ｎが「４」である場合の撮像シーケンスが例示されている。図２に示すように、撮像制御部１１ｆは、時刻Ｔ０から時刻Ｔ２までの区間で照明部１１ｂをオフ状態とし、時刻Ｔ１の時点でシャッターを一時的に閉じる。このようにして、撮像制御部１１ｆは、区間「Ｔ０〜Ｔ１」における露光で得られたオフ画像ａ１を画像記憶部１１ｅに読み込ませた後に、区間「Ｔ１〜Ｔ２」における露光で得られたオフ画像ａ２を画像記憶部１１ｅに読み込ませる。その後、撮像制御部１１ｆは、時刻Ｔ２の時点で照明部１１ｂをオフ状態からオン状態へ切り換える。このとき、オフ状態からオン状態への切り換えが完了するには、一定の時間が掛かる。このため、撮像制御部１１ｆは、オフ状態からオン状態への切り換えが時刻Ｔ２から時刻Ｔ３までかかるとの想定の下、区間「Ｔ２〜Ｔ３」における露光で得られる画像を画像記憶部１１ｅに空読みさせる。かかる空読みは、オン状態への切り換えが完了していない状態またはオフ状態への切り換えが完了していない状態で得られた画像が認証に使用されないためになされる。

その後、撮像制御部１１ｆは、時刻Ｔ３から時刻Ｔ６までの区間で照明部１１ｂをオン状態とし、時刻Ｔ４、時刻Ｔ５、時刻Ｔ６の時点でシャッターを一時的に閉じる。この結果、区間「Ｔ３〜Ｔ４」における露光で得られたオン画像ｂ１、区間「Ｔ４〜Ｔ５」における露光で得られたオン画像ｂ２、区間「Ｔ５〜Ｔ６」における露光で得られたオン画像ｂ３、区間「Ｔ６〜Ｔ７」における露光で得られたオン画像ｂ４の順に画像記憶部１１ｅへ読み込まれる。その後、撮像制御部１１ｆは、時刻Ｔ７の時点で照明部１１ｂをオン状態からオフ状態へ切り換える。そして、撮像制御部１１ｆは、区間「Ｔ７〜Ｔ８」における露光で得られる画像を画像記憶部１１ｅに空読みさせる。その後、撮像制御部１１ｆは、時刻Ｔ８から時刻Ｔ１０までの区間で照明部１１ｂをオフ状態とし、時刻Ｔ９および時刻Ｔ１０の時点でシャッターを一時的に閉じる。このようにして、撮像制御部１１ｆは、区間「Ｔ８〜Ｔ９」における露光で得られたオン画像ａ３を画像記憶部１１ｅに読み込ませた後に、区間「Ｔ９〜Ｔ１０」における露光で得られたオン画像ａ４を画像記憶部１１ｅに読み込ませる。

なお、画像記憶部１１ｅに保存されるオフ画像およびオン画像は、撮像制御部１１ｆによって順番に読み出された後に通信部１１ｄを介して認証装置１２へ送信される。これらオフ画像およびオン画像には、画像記憶部１１ｅに格納される段階または認証装置１２へ送信する段階で撮像の順番が旧いものから順にまたは撮像の順番が新しいものから順にフレーム番号等の識別情報を付与することもできる。

このように、Ｎ枚のオン画像を撮像する前後で照明部１１ｂをオフ状態にしてＮ／２枚のオフ画像を撮像することによって空読みの時間および回数を低減できる。図３は、撮像シーケンスの一例を示す図である。図３には、オフ画像およびオン画像を交互に４枚ずつ撮像させるシーケンスが図示されている。図３に示すように、オフ画像およびオン画像を交互に撮像させる場合には、区間「Ｔ１〜Ｔ２」、区間「Ｔ３〜Ｔ４」、区間「Ｔ５〜Ｔ６」および区間「Ｔ７〜Ｔ８」で空読みが発生する。さらに、区間「Ｔ９〜Ｔ１０」、区間「Ｔ１１〜Ｔ１２」、区間「Ｔ１３〜Ｔ１４」及び区間「Ｔ１５〜Ｔ１６」でも空読みが発生する。つまり、オフ画像およびオン画像を交互に撮像させる場合には、計８回もの空読みが発生する。一方、Ｎ枚のオン画像を撮像する前後で照明部１１ｂをオフ状態にしてＮ／２枚のオフ画像を撮像させる場合には、空読みが２回しか発生しない。したがって、本実施例に係る撮像装置１１では、空読みの時間および回数を低減できるので、撮像の待機時間を削減できる。

なお、上記の撮像制御部１１ｆには、各種の集積回路や電子回路を採用できる。例えば、集積回路としては、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。また、電子回路としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などが挙げられる。

また、上記の画像記憶部１１ｅには、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子としては、ＶＲＡＭ（Video Random Access Memory）、ＲＡＭ（Random Access Memory）やフラッシュメモリ（flash memory）などが挙げられる。また、記憶装置としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。

［認証装置１２の構成］
続いて、本実施例に係る認証装置１２の機能的構成について説明する。図１に示すように、認証装置１２は、通信部１２ａと、記憶部１２ｂと、撮像指示部１２ｃと、決定部１２ｄと、算出部１２ｅと、積算部１２ｆと、認証部１２ｇとを有する。

このうち、通信部１２ａは、他の装置、例えば撮像装置１１との間でデータの送受信を行う処理部である。一態様としては、通信部１２ａは、撮像装置１１から利用者が検知された旨やオフ画像及びオン画像を受信したり、画像の撮像指示を送信したりする。なお、通信部１２ａは、撮像装置１１の通信部１１ｄとの間でコネクタや有線ＬＡＮ等のケーブルを介して有線接続されることとしてもよいし、また、ブルートゥース（登録商標）、赤外線通信や無線ＬＡＮ等によって無線接続されることとしてもよい。

記憶部１２ｂは、各種の情報を記憶する記憶デバイスである。一態様としては、記憶部１２ｂは、オフ画像、オン画像、オフ画像及びオン画像の間で差分が取られた差分画像、複数の差分画像が積算された積算画像、さらには、積算画像との間で照合するジェスチャのパターン画像を記憶する。一例としては、記憶部１２ｂには、撮像装置１１からオフ画像またはオン画像が転送された場合に、オフ画像またはオン画像が保存される。他の一例としては、記憶部１２ｂには、オフ画像及びオン画像の間で差分が算出された場合に、差分画像が保存される。更なる一例としては、記憶部１２ｂには、複数の差分画像が積算された積算画像が保存される。他の一例としては、記憶部１２ｂは、ジェスチャ認証が実行される場合に、積算画像および積算画像と照合するジェスチャのパターン画像を参照するために後述の認証部１２ｇによってアクセスされる。

撮像指示部１２ｃは、撮像装置１１に撮像指示を行う処理部である。一態様としては、撮像指示部１２ｃは、撮像装置１１のセンサ部１１ａによって視聴範囲に利用者が存在する旨が検知された場合に、撮像パラメータの分割数Ｎを後述する決定部１２ｄに決定させる。そして、撮像指示部１２ｃは、決定部１２ｄによって決定された分割数Ｎおよび露出時間Ｅなどの撮像パラメータを含む撮像指示を撮像装置１１へ送信する。その後、撮像指示部１２ｃは、撮像装置１１から送信されるオフ画像およびオン画像を記憶部１２ｂへ保存する。そして、撮像指示部１２ｃは、記憶部１２ｂにＮ枚のオフ画像およびＮ枚のオン画像が保存された場合に、後述の算出部１２ｅに差分画像の算出を指示する。

決定部１２ｄは、外光の強さに基づいて分割数Ｎを決定する処理部である。一態様としては、決定部１２ｄは、分割数Ｎを外光が存在しない環境下での適用が好ましい初期値Ｎ_０に設定するとともに露出時間Ｅおよび分割数Ｎから算出されるＥ／Ｎを単位露出時間Ｅ´に設定の上、撮像装置１１に所定数のオン画像を撮像させる。このとき、撮像装置１１に撮像させるオン画像は、分割数Ｎの設定に用いるものであるので、必ずしも複数のオン画像を撮像させずともよく、少なくとも１枚撮像させることとすればよい。また、ここでは、初期の分割数を少なくし、段階的に分割数を大きくすることによって最適な分割数を探索する趣旨から、初期値Ｎ_０には一例として「１」を設定する場合を想定するが、初期に最大と想定される分割数を設定し、段階的に分割数を小さくすることによって最適な分割数を探索することとしてもかまわない。

そして、決定部１２ｄは、撮像装置１１にオン画像を撮像させた後に、当該オン画像から外光強度を表す指標である外光評価値Ｅｘを算出する。かかる外光評価値Ｅｘの算出方法の一例としては、認証に使用する特徴などに応じて様々な算出方法を採用できる。例えば、外光評価値Ｅｘとして、オン画像の中心部分に小領域Ｃを設定し、小領域Ｃ内で白とびが発生しているピクセルの割合を計算する。かかる小領域Ｃは、想定している被写体や照明の当たり方などによって最適な大きさや位置が変わる。例えば、画像の中心部分が最も輝度が高くなる状況で画像が撮像される場合や画像の特定の領域の輝度が高くなる場合など、撮像環境に合わせて小領域Ｃが設定される。また、白とびピクセルの割合を指標値として採用するのでなく、領域内の輝度の平均値、最大値、最小値、メディアン、最頻値などを指標として用いることもできる。

続いて、決定部１２ｄは、外光評価値Ｅｘが所定の閾値Ｔｈ未満であるか否かを判定する。このとき、外光評価値が所定の閾値未満である場合には、先の単位露光時間Ｅ´で撮像させた場合にオン画像に白とびが発生しにくいと推定できる。この場合には、決定部１２ｄは、先に設定していた分割数Ｎの値を分割数Ｎとして決定する。一方、外光評価値Ｅｘが所定の閾値Ｔｈ以上である場合には、先の単位露光時間Ｅ´で撮像させた場合にオン画像に白とびが発生しやすいと推定できる。この場合には、決定部１２ｄは、分割数Ｎを変更前よりも大きい値、例えば変更前の分割数の２倍に再設定した上で、外光評価値Ｅｘが上記の閾値Ｔｈ未満になるまで分割数の再設定、単位露光時間Ｅ´の設定および外光評価値Ｅｘの算出を繰り返し実行する。このようにして決定された分割数Ｎが撮像指示部１２ｃへ出力される。

算出部１２ｅは、記憶部１２ｂに記憶されたオフ画像およびオン画像を用いて、差分画像を算出する処理部である。一態様としては、算出部１２ｅは、撮像指示部１２ｃによって差分画像の算出が指示された場合に、記憶部１２ｂに記憶されたＮ枚のオフ画像およびＮ枚のオン画像を読み出す。その上で、算出部１２ｅは、記憶部１２ｂから読み出したオフ画像およびＮ枚のオン画像からＮ組のオフ画像およびオン画像のペアを決定する。かかるペアは、Ｎ組のペアが組み合わせられた場合にオフ画像が撮像された時刻およびオン画像が撮像された時刻の差の合計が最小となる画像同士をグルーピングするのが好ましい。例えば、算出部１２ｅは、Ｎ枚のオフ画像およびＮ枚のオン画像のうち撮像された時刻が早いもの同士をペアとする。その上で、算出部１２ｅは、各ペアのオフ画像およびオン画像の間で画素の画素値の差分を計算する。これによって、算出部１２ｅは、Ｎ枚の差分画像を算出する。その後、算出部１２ｅは、Ｎ枚の差分画像を記憶部１２ｂへ保存する。

例えば、図２の例で言えば、算出部１２ｅは、オフ画像ａ２及びオン画像ｂ２をペアとし、オフ画像ａ２及びオン画像ｂ２をペアとし、オフ画像ａ３及びオン画像ｂ３をペアとし、オフ画像ａ４及びオン画像ｂ４をペアとし、４組のペアを決定する。その上で、算出部１２ｅは、オフ画像ａ１及びオン画像ｂ１の間で互いの画素の画素値の差を算出することによって差分画像ａｂ１を算出する。同様に、算出部１２ｅは、オフ画像ａ２及びオン画像ｂ２から差分画像ａｂ２を算出し、オフ画像ａ３及びオン画像ｂ３から差分画像ａｂ３を算出し、オフ画像ａ４及びオン画像ｂ４から差分画像ａｂ４を算出する。このように、差分画像ａｂ１〜差分画像ａｂ４を算出することによって最大でも画像間の撮像時刻の差が単位露出時間Ｅ´の２つ分の区間に抑えることができる。

ここで、Ｎ枚のオン画像を撮像する前後で照明部１１ｂをオフ状態にしてＮ／２枚のオフ画像を撮像する撮像シーケンスを採用する場合には、他の撮像シーケンスを採用する場合に比べても時間経過に伴う被写体の位置の変化や外光の強さの変化の影響を低減できる。

図４及び図５は、撮像シーケンスの一例を示す図である。図６は、時刻と変動の大きさとの関係の一例を示す図である。図４には、オン画像を４回連続してからオフ画像を４回連続して撮像する場合の撮像シーケンスが図示されている。図５には、図２に示した撮像シーケンスと同様の撮像シーケンスが図示されている。図６には、各画像が撮像される時刻ｔ１〜時刻ｔ８及び８つの画像が撮像される中央の基準時刻ｔの間で被写体の位置や外光の強さが変動する度合いを模式化している。

図４に示すオン画像β１〜オン画像β４の各々の画像は、撮像された時刻が「ｔ１」、「ｔ２」、「ｔ３」、「ｔ４」であるので、図６に示すように、基準時刻ｔからの変化の度合いは「＋４」、「＋３」、「＋２」、「＋１」となる。このため、オン画像β１〜オン画像β４の合計での変化の度合いは「１０」にも達する。また、オフ画像α１〜オフ画像α４の各々の画像は、撮像された時刻が「ｔ５」、「ｔ６」、「ｔ７」、「ｔ８」であるので、図６に示すように、基準時刻ｔからの変化の度合いは「−４」、「−３」、「−２」、「−１」となる。それゆえ、オフ画像α１〜オフ画像α４の合計での変化の度合いも「１０」にも達する。したがって、差分画像αβ１〜差分画像αβ４が算出された場合には、変化の度合いが「２０」にも達することになる。

一方、図５に示すオフ画像ａ１〜オフ画像ａ４の各々の画像は、撮像された時刻が「ｔ１」、「ｔ２」、「ｔ７」、「ｔ８」であるので、図６に示すように、基準時刻ｔからの変化の度合いは「＋４」、「＋３」、「−３」、「−４」となる。それゆえ、オフ画像ａ１〜オフ画像ａ４の合計での変化の度合いは「０」に抑えることができる。また、オン画像ｂ１〜オン画像ｂ４の各々の画像は、撮像された時刻が「ｔ３」、「ｔ４」、「ｔ５」、「ｔ６」であるので、図６に示すように、基準時刻ｔからの変化の度合いは「＋２」、「＋１」、「−２」、「−１」となる。それゆえ、オン画像ｂ１〜オン画像ｂ４の合計での変化の度合いも「０」に抑えることができる。したがって、差分画像αβ１〜差分画像αβ４が算出された場合には、変化の度合いを「０」に抑制できる。

特に照明オン撮影を中心に配置した撮影シーケンスとすることによって、照明オン撮影を連続して撮影することが可能となる。照明オン撮影画像には自照明と外光の２種類の光が含まれている為、輝度値が照明オフ画像よりも高い。その為、被写体や外光などの変動による影響を照明オフ画像より強く受ける。この照明オン撮影を連続して撮影することにより、変動の影響をより低減することができる。

これらのことから、図５に示した撮像シーケンスを採用する場合には、図４に示した撮像シーケンスを採用する場合に比べても時間経過に伴う被写体の位置の変化や外光の強さの変化の影響を低減できることがわかる。

積算部１２ｆは、差分画像を積算する処理部である。一態様としては、積算部１２ｆは、算出部１２ｅによってＮ枚の差分画像が算出された場合に、記憶部１２ｂからＮ枚の差分画像を読み出す。その上で、積算部１２ｆは、記憶部１２ｂから読み出したＮ枚の差分画像の間で画素値を積算する。これによって、Ｎ枚の差分画像から１枚の積算画像を生成できる。このようにして生成された積算画像は、オン画像およびオフ画像の間で差分が算出されているので、あたかも照明部１１ｂの照明だけで撮像されたかのように外光の影響が抑制された画像となる。さらに、分割した露出時間で撮影した差分画像を積算している為、露出時間を短く抑えて撮影できる結果、外光が強い場合であっても白とびが抑制された画像となる。したがって、テレビ受信機の視聴範囲に存在する利用者の認証部位が良好な状態で撮像された画像を取得できる。

認証部１２ｇは、積算部１２ｆによって生成された積算画像を用いて、被写体のジェスチャを認証する処理部である。一態様としては、認証部１２ｇは、積算画像にエッジ検出や肌色検出などの画像処理を実行することによって積算画像から手の形状と類似する部分の画像を認証対象の画像として切り出す。そして、認証部１２ｇは、画像処理によって切り出された認証対象の画像と、記憶部１２ｂに記憶されたジェスチャのパターン画像との間でパターンマッチング等の画像照合処理を実行する。かかるジェスチャのパターン画像の一例としては、チャンネルの番号に対応する数字と同一の本数の指を立てた場合の手の形状パターンを表す画像などが挙げられる。例えば、認証部１２ｇは、ジェスチャの各パターン画像との間で認証対象の画像の類似度を算出する。そして、認証部１２ｇは、ジェスチャのパターン画像の中に認証対象の画像との間で所定の閾値以上であるパターン画像が存在するか否かを判定する。このとき、認証部１２ｇは、閾値以上であるパターン画像が存在する場合に、当該パターン画像が対応するジェスチャまたはジェスチャが対応するコマンドをテレビ受信機へ出力する。これによって、ジェスチャに対応するコマンド、上記の例で言えばチャンネルの変更がテレビ受信機によって実行されることになる。

なお、上記の撮像指示部１２ｃ、決定部１２ｄ、算出部１２ｅ、積算部１２ｆ及び認証部１２ｇには、各種の集積回路や電子回路を採用できる。例えば、集積回路としては、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。また、電子回路としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などが挙げられる。

また、上記の記憶部１２ｂには、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子としては、ＶＲＡＭ（Video Random Access Memory）、ＲＡＭ（Random Access Memory）やフラッシュメモリ（flash memory）などが挙げられる。また、記憶装置としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。

［処理の流れ］
続いて、本実施例に係るジェスチャ認証システム１０の処理の流れについて説明する。なお、ここでは、ジェスチャ認証システム１０によって実行される（１）認証処理を説明した後に、認証処理に含まれる（２）分割数決定処理および（３）撮像処理をさらに詳細に説明する。

（１）認証処理
図７は、実施例１に係る認証処理の手順を示すフローチャートである。この認証処理は、センサ部１１ａによってテレビ受信機の視聴範囲に利用者の存在が検知された場合に、処理が起動される。図７に示すように、センサ部１１ａによって視聴範囲内に利用者が検知されると（ステップＳ１０１）、撮像制御部１１ｆは、視聴範囲で利用者が検知された旨を認証装置１２へ通知する（ステップＳ１０２）。

これを受けて、認証装置１２の決定部１２ｄは、露出時間Ｅを分割する分割数Ｎを決定する「分割数決定処理」を実行する（ステップＳ１０３）。その後、撮影指示部１２ｃは、決定部１２ｄによって決定された分割数Ｎなどの撮像パラメータを含む撮像指示を認証装置１２へ通知する（ステップＳ１０４）。

一方、撮像指示を受け付けた撮像制御部１１ｆは、Ｎ／２枚のオフ画像、Ｎ枚のオン画像、Ｎ／２枚のオフ画像の順にＮ枚のオフ画像およびＮ枚のオン画像を撮像する「撮像処理」を実行する（ステップＳ１０５）。そして、撮像制御部１１ｆは、通信部１１ｄを介して、Ｎ枚のオフ画像およびＮ枚のオン画像を認証装置１２へ転送する（ステップＳ１０６）。

続いて、認証装置１２の撮像指示部１２ｃは、Ｎ枚のオフ画像およびＮ枚のオン画像を記憶部１２ｂへ格納する（ステップＳ１０７）。そして、算出部１２ｅは、Ｎ組のオフ画像およびオン画像のペアを決定した上で各ペアのオフ画像およびオン画像からＮ枚の差分画像を算出する（ステップＳ１０８）。その上で、算出部１２ｅは、ステップＳ１０８で算出されたＮ枚の差分画像を記憶部１２ｂへ格納する（ステップＳ１０９）。

その後、積算部１２ｆは、記憶部１２ｂに記憶されたＮ枚の差分画像の間で画素値を積算することによってＮ枚の差分画像から１枚の積算画像を生成する（ステップＳ１１０）。続いて、積算部１２ｆは、ステップＳ１１０で生成された積算画像を記憶部１２ｂに格納する（ステップＳ１１１）。

そして、認証部１２ｇは、ステップＳ１１１で記憶部１２ｂに記憶された積算画像から検出される認証部位の画像と、記憶部１２ｂに記憶されたジェスチャの各パターン画像との間で類似度を算出する（ステップＳ１１２）。

ここで、両者の類似度が所定の閾値以上であるパターン画像が存在する場合（ステップＳ１１３Ｙｅｓ）には、認証部１２ｇは、次のような処理を実行する。すなわち、認証部１２ｇは、当該パターン画像が対応するジェスチャまたはジェスチャが対応するコマンドをテレビ受信機へ出力し（ステップＳ１１４）、処理を終了する。一方、類似度が所定の閾値以上であるパターン画像が存在しない場合（ステップＳ１１３Ｎｏ）には、そのまま処理を終了する。

（２）分割数決定処理
図８は、実施例１に係る分割数決定処理の手順を示すフローチャートである。この処理は、図７に示した認証処理においてステップＳ１０２の処理が実行された場合、すなわち撮像装置１１から利用者の検知が通知された場合に処理を起動する。

図８に示すように、決定部１２ｄは、分割数Ｎを外光が存在しない環境下での適用が好ましい初期値Ｎ_０に設定する（ステップＳ２０１）。続いて、決定部１２ｄは、露出時間Ｅおよび分割数Ｎから算出されるＥ／Ｎを単位露出時間Ｅ´に設定する（ステップＳ２０２）。

その上で、決定部１２ｄは、単位露出時間Ｅ´にしたがって所定数のオン画像を撮像装置１１に撮像させる（ステップＳ２０３）。続いて、決定部１２ｄは、ステップＳ２０３で撮像させたオン画像から外光強度を表す指標である外光評価値Ｅｘを算出する（ステップＳ２０４）。そして、決定部１２ｄは、外光評価値Ｅｘが所定の閾値Ｔｈ未満であるか否かを判定する（ステップＳ２０５）。

ここで、外光評価値Ｅｘが所定の閾値Ｔｈ以上である場合（ステップＳ２０５Ｎｏ）には、先の単位露光時間Ｅ´で撮像させた場合にオン画像に白とびが発生しやすいと推定できる。この場合には、決定部１２ｄは、分割数Ｎを変更前よりも大きい値、例えば変更前の分割数の２倍に再設定する（ステップＳ２０６）。そして、上記のステップＳ２０２の処理へ移行し、外光評価値Ｅｘが上記の閾値Ｔｈ未満になるまで分割数の再設定、単位露光時間Ｅ´の設定、オン画像の撮像、外光評価値Ｅｘの算出を繰り返し実行する。

また、外光評価値が所定の閾値未満である場合（ステップＳ２０５Ｙｅｓ）には、先の単位露光時間Ｅ´で撮像させた場合にオン画像に白とびが発生しにくいと推定できる。この場合には、決定部１２ｄは、ステップＳ２０１またはステップＳ２０６で設定していた分割数Ｎを撮像指示部１２ｃへ出力し（ステップＳ２０７）、処理を終了する。

（３）撮像処理
図９は、実施例１に係る撮像処理の手順を示すフローチャートである。この撮像処理は、図７に示した認証処理においてステップＳ１０４の処理が実行された場合、すなわち認証装置１２から撮像指示を受け付けた場合に処理を起動する。

図９に示すように、認証装置１２から露出時間Ｅ及び分割数Ｎなどを含む撮像指示を受け付けると、撮像制御部１１ｆは、露出時間Ｅを分割数Ｎで除算することによって画像１枚あたりの露出時間を指す単位露出時間Ｅ´を算出する（ステップＳ３０１）。

そして、撮像制御部１１ｆは、照明部１１ｂをオフ状態にしてＮ／２枚のオフ画像を撮像する（ステップＳ３０２）。続いて、撮像制御部１１ｆは、照明部１１ｂをオン状態にしてＮ枚のオン画像を撮像する（ステップＳ３０３）。その後、撮像制御部１１ｆは、照明部１１ｂをオフ状態にしてＮ／２枚のオフ画像を撮像する（ステップＳ３０４）。

最後に、撮像制御部１１ｆは、ステップＳ３０２〜ステップＳ３０４までの処理で得られたＮ枚のオフ画像およびＮ枚のオン画像を画像記憶部１１ｅに格納し（ステップＳ３０５）、処理を終了する。

［実施例１の効果］
上述してきたように、本実施例に係るジェスチャ認証システム１０は、Ｎ枚のオン画像を撮像する前後で照明部１１ｂをオフ状態にしてオフ画像を撮像する。このため、本実施例に係るジェスチャ認証システム１０では、照明をオン状態からオフ状態に切り換えたり、オフ状態からオン状態へ切り換えたりする頻度を低減できるので、空読みの回数や時間が低減できる結果、撮像の待機時間を削減できる。したがって、本実施例に係るジェスチャ認証システム１０によれば、撮像時間を短縮できる。

さらに、本実施例に係るジェスチャ認証システム１０では、オン画像の撮像を試行して分割数を決定する処理、オフ画像およびオン画像の差分を算出する処理、差分画像を積算する処理などが認証装置１２によって実行される。このため、本実施例に係るジェスチャ認証システム１０によれば、撮像装置１１の機能的構成を簡素化できる。かかる撮像装置１１の簡素化によって更なる効果を得ることができる。例えば、ジェスチャ認証を実行する場合には、認証装置１２は固定の場所、例えばテレビ受信機の近傍もしくはテレビ受信機に組み込み、撮像装置１１は利用者の利用形態などに応じて設置場所を変えることが想定できる。さらには、認証装置１２は、１つであるが、撮像装置１１を複数有するシステムの構成も想定できる。上記のようなシステムの構成を採用する場合に、撮像装置１１の構成を簡素化することによって全体のコストを低減することが可能となる。

また、本実施例に係るジェスチャ認証システム１０では、オン画像の撮像の前後の時間にオフ画像の枚数を均等に分けて撮像しオン画像とオフ画像をそれぞれ早く撮像された順の同じ順番同士の組み合わせで差分画像を算出する。そのため、例えば、被写体の手が徐々に下がっている場合の手の位置の変化や障害物などによる外光の強さの変化などの変動の影響が差分を算出するオフ画像とオン画像との間で均等に割り振られる。それゆえ、変動の影響が少ない安定した差分画像を算出することが可能になる。

また、撮影シーケンスの中央にオン画像を連続して撮影することによって、外光や被写体の変動の影響を低減することができる。これは、オフ画像よりオン画像の方が一般的に輝度値が高い為、変動の影響をより強く受ける。このオン画像を撮影シーケンスの中央で連続して撮影する結果、変動の影響をより低減することが出来る。

また、本実施例に係るジェスチャ認証システム１０では、オフ画像とオン画像の撮像回数を互いに偶数回とするので、差分画像の算出に使用しない冗長なオフ画像とオン画像の撮像が発生しない。それゆえ、撮像時間を短縮することが可能になる。

また、本実施例に係るジェスチャ認証システム１０では、撮像時間が短縮されるので、撮像レートが低く撮像間隔が長い撮像素子を用いても撮像時間の長期化を抑制することが可能となる。それゆえ、安価な撮像素子を採用することができるので、コストを低減することが可能となる。

さて、上記の実施例１では、認証装置１２に差分画像および積算画像を生成させる場合を例示したが、必ずしも認証装置１２に差分画像および積算画像を生成させずともよい。また、上記の実施例１では、撮像装置１１にジェスチャ認証に用いる画像を撮像させる場合を例示したが、他の認証や判定に用いる画像を撮像させることとしてもかまわない。そこで、本実施例では、撮像装置２１に被写体として人の顔のオフ画像及びオン画像を撮像した上で差分画像および積算画像を生成させ、認証装置２２に積算画像を用いて顔認証を実行させる場合について説明する。

［顔認証システムの構成］
図１０は、実施例２に係る顔認証システムに含まれる各装置の機能的構成を示すブロック図である。図１０に示す顔認証システム２０は、人の顔が撮像されたオフ画像及びオン画像から生成される積算画像と、システムが認証時に成功と判断する者の顔の積算画像が予め登録された登録画像とを照合することによって顔認証を実行するものである。なお、本実施例では、一例として、施設、施設内の部屋やブースなどの境界に設けられた出入口への入退室の管理に顔認証を用いる場合を想定して以下の説明を行う。

図１０に示すように、顔認証システム２０には、撮像装置２１と、認証装置２２とが収容される。このうち、撮像装置２１は、一例として、出入口を通過する人物の顔を撮像できるように、出入口を通過する人物の顔を撮像範囲に収めることができる位置に設置される。一方、認証装置２２は、一例として、複数の撮像装置２１と接続されたサーバ装置として実装することもできるし、顔認証を実行する機能を撮像装置２１へ組み込んで実装することによってスタンドアローンで顔認証を実行させることもできる。

［撮像装置２１の構成］
まず、本実施例に係る撮像装置２１の機能的構成について説明する。図１０に示す撮像装置２１は、図１に示した撮像装置１１に比べて、センサ部１１ａ、照明部１１ｂ、撮像素子１１ｃ、通信部１１ｄ、画像記憶部１１ｅ及び撮像制御部１１ｆの代わりに、次のような機能部を有する。すなわち、撮像装置２１は、センサ部２１ａ、照明部２１ｂ、撮像素子２１ｃ、通信部２１ｄ、画像記憶部２１ｅ及び撮像制御部２１ｆを有する。

これらセンサ部２１ａ、照明部２１ｂ、撮像素子２１ｃ、通信部２１ｄ、画像記憶部２１ｅ、撮像制御部２１ｆ、決定部２１ｇ、算出部２１ｈ及び積算部２１ｊは、図１に示した各機能部との間で基本機能は同一であるので、以下では相違点に絞って説明を行う。

このうち、センサ部２１ａは、図１に示したセンサ部１１ａに比べて、出入口への利用者の接近を検知する点が異なる。このため、センサ部２１ａは、一例として、出入口の通行範囲、例えば出入口から半径１ｍ以内の領域を監視する。そして、センサ部２１ａは、当該通行範囲に存在する利用者を検知した場合に、出入口の通行範囲への利用者の進入を後述の撮像制御部２１ｆへ通知する。

照明部２１ｂは、図１に示した照明部１１ｂに比べて、出入口へ接近する利用者の顔に光を照射する点が異なる。このため、照明部２１ｂは、センサ部２１ａによって検知がなされる出入口の通行範囲に存在する利用者の認証部位、例えば利用者の顔を照射できる位置に設置される。このとき、照明部２１ｂが指向性を有する場合には、出入口の通行範囲で利用者が存在する位置に合わせて照明光を照射する方向を調整できる機構部を実装することもできる。

撮像素子２１ｃは、図１に示した撮像素子１１ｃに比べて、出入口の通行範囲に所在する利用者の顔が図示しないレンズを介して結像可能な位置に設置される点が異なる。このとき、撮像素子２１ｃに利用者の認証部位が結像するように、出入口の通行範囲の中で利用者が存在する位置に合わせて撮像装置２１の画角を調節する機構部をさらに有することとしてもよい。かかる撮像素子２１ｃによって撮像された画像は、後述の撮像制御部２１ｆによって画像記憶部２１ｅへ保存される。

通信部２１ｄは、図１に示した通信部１１ｄに比べて、他の装置、例えば認証装置２２との間で授受されるデータの内容が異なる。例えば、通信部２１ｄは、出入口の通行範囲への進入の旨や積算画像を認証装置２２へ送信したり、出入口の通行範囲へ進入した利用者の顔を撮像するのを終了させる撮像終了指示や登録画像を生成する登録画像生成指示を受信したりする。

画像記憶部２１ｅは、図１に示した画像記憶部１１ｅに比べて、保存されるデータの内容が異なる。上述のように、本実施例では、撮像装置２１側でオフ画像およびオン画像の撮像を始め、差分画像の算出および積算画像の生成が実行される。このため、画像記憶部２１ｅには、撮像素子２１ｃから得られたオフ画像やオン画像などの原画像の他、差分画像および積算画像も保存されることになる。

撮像制御部２１ｆは、図１に示した撮像制御部１１ｆに比べて、撮像処理を実行する契機が異なる。すなわち、図１０に示す認証装置２２では、図１に示した認証装置１２で実行されるジェスチャ認証とは異なり、顔認証が実行される。このため、撮像制御部２１ｆは、出入口の通過を認める者の顔の積算画像を登録画像として登録する局面と、出入口へ進入する利用者の顔の積算画像を生成する局面との２つの局面で図１に示した撮像制御部１１ｆで実行される撮像処理を実行する。

また、図１０に示す撮像装置２１は、図１には図示されていない機能部として、決定部２１ｇ、算出部２１ｈ及び積算部２１ｊをさらに有する。これら決定部２１ｇ、算出部２１ｈ及び積算部２１ｊは、図１に示した認証装置１２が有する決定部１２ｄ、算出部１２ｅ及び積算部１２ｆとの間で、撮像がなされる側の装置が有する機能部である点が異なる。この他、決定部２１ｇ、算出部２１ｈ及び積算部２１ｊは、上記の撮像制御部２１ｆと同様に、２つの局面で処理が実行される点が異なる。

［認証装置２２の構成］
次に、本実施例に係る認証装置２２の機能的構成について説明する。図１０に示す認証装置２２は、図１に示した認証装置１２に比べて、通信部１２ａ及び記憶部１２ｂの代わりに、通信部２２ａ及び記憶部２２ｂを有する。

これら通信部２２ａ及び記憶部２２ｂは、図１に示した各機能部との間で基本となる機能は同一であるので、以下では相違点に絞って説明を行う。

通信部２２ａは、図１に示した通信部１２ａに比べて、他の装置、例えば撮像装置２１との間で授受されるデータの内容が異なる。例えば、通信部２２ａは、撮像終了指示や登録画像生成指示を撮像装置２１へ送信したり、積算画像や出入口の通行範囲への進入を撮像装置２１から受け付けたりする。

記憶部２２ｂは、図１に示した記憶部１２ｂに比べて、保存されるデータの内容が異なる。すなわち、本実施例では、オフ画像及びオン画像の撮像だけでなく、差分画像の算出や積算画像の生成も撮像装置２１側で実行される。このため、記憶部２２ｂには、オフ画像、オン画像や差分画像は保存されず積算画像が保存されることになる。例えば、記憶部２２ｂは、センサ部２１ａによって出入口への通行範囲への進入が検知された場合に撮像装置２１で生成された利用者の積算画像と比較する登録画像が保存される。なお、ここでは、登録画像として、顔認証システム２０の管理者によって出入口を介する入退出が許可された許可者の積算画像とともに積算画像から抽出された特徴量が保存される場合を例示するが、許可者の積算画像または特徴量のいずれかに絞って保存することとしてもかまわない。

また、図１０に示す認証装置２２は、図１には図示されていない機能部として、受付部２２ｇ、認証部２２ｈ及びリトライ制御部２２ｊをさらに有する。

受付部２２ｇは、登録画像を生成する指示を受け付ける処理部である。かかる受付部２２ｇの一態様としては、キーボードやタッチパネルなどの各種のユーザインタフェースを採用することができる。例えば、受付部２２ｇは、顔認証システム２０の管理者から出入口を介する入退出を許可する許可者の登録画像を生成する指示を受け付け、登録画像の生成指示を撮像装置２１へ通知する。これによって、撮像装置２１側で登録画像の生成対象とする者の顔のオフ画像及びオン画像の撮像、差分画像の算出、積算画像の生成が実行される。なお、受付部２２ｇは、認証装置２２の外部に独立して実装してもよい。

認証部２２ｈは、撮像装置２１から転送される利用者の積算画像と、記憶部２２ｂに記憶された許可者の登録画像とを用いて、被写体の顔認証を実行する処理部である。一態様としては、認証部２２ｈは、積算画像にテンプレートマッチングを実行することによって顔部分の画像を検出する。続いて、認証部２２ｈは、テンプレートマッチングによって検出された顔部分の画像から顔の器官、例えば目、鼻、口や耳の形状や大きさなどの幾何学的な特徴を特徴量として抽出する。その上で、認証部２２ｈは、記憶部２２ｂに記憶された各登録画像の特徴量との間で類似度Ｓを算出する。このとき、認証部２２ｈは、類似度Ｓが所定の閾値以上である登録画像が存在する場合には、認証成功と判定する。この場合には、改めて認証を試行せずともよい。よって、認証部２２ｈは、撮像の終了指示を撮像装置２１へ通知するとともに、認証成功の通知を扉の解錠装置等へ出力する。この結果、出入口の通行範囲に進入した利用者の入退室が許可されることになる。一方、認証部２２ｈは、類似度Ｓが所定の閾値未満の登録画像しか存在しない場合には、認証失敗と判定する。この場合には、一定の回数にわたってリトライが実行されたかを後述のリトライ制御部２２ｊに判定させる。なお、上記の類似度Ｓと比較する閾値には、例えば、本人拒否率を下げたい場合には閾値を下げ、他人受入率を下げたい場合には閾値を上げるといった任意の設定が可能である。

リトライ制御部２２ｊは、顔認証のリトライを制御する処理部である。一態様としては、リトライ制御部２２ｊは、出入口の通行範囲への進入が検知された場合に、図示しない内部メモリに記憶されたリトライ回数Ｒをゼロに初期化する。その後、リトライ制御部２２ｊは、認証部２２ｈによって認証失敗と判定された場合に、リトライ回数Ｒをインクリメントし、リトライ回数Ｒが所定の閾値以上であるか否かを判定する。このとき、リトライ制御部２２ｊは、リトライ回数Ｒが所定の閾値未満である場合には、認証のリトライを許可する。このように、リトライ制御部２２ｊは、認証のリトライを許可する場合には、利用者の積算画像からの特徴量の抽出、登録画像との類似度の算出、類似度が閾値以上である登録画像の有無の判定などの一連の処理を認証部２２ｈに繰り返し実行させる。一方、リトライ制御部２２ｊは、リトライ回数が閾値以上の場合には、リトライを不許可とする。この場合には、以降に利用者の積算画像をせずともよくなる。よって、リトライ制御部２２ｊは、撮像の終了指示を撮像装置２１へ通知するとともに、認証失敗の通知を撮像装置２１へ出力する。なお、上記のリトライ回数Ｒと比較する閾値には、例えば、本人拒否率を下げたい場合には閾値を上げ、他人受入率を下げたい場合には閾値を下げるといった任意の設定が可能である。

［処理の流れ］
続いて、本実施例に係る顔認証システム２０の処理の流れについて説明する。なお、ここでは、顔認証システム２０によって実行される（１）登録画像を生成して保存する登録処理を説明した後に、（２）認証処理を説明する。なお、登録処理および認証処理に含まれる分割数決定処理および撮像処理は実施例１に係る分割数決定処理および撮像処理と同様の処理手順であるので説明を省略する。

（１）登録処理
図１１は、実施例２に係る登録処理の手順を示すフローチャートである。この登録処理は、認証装置２２で管理者から登録画像の生成指示を付け付けた場合に、処理が起動される。

図１１に示すように、登録画像の生成指示を受け付けると（ステップＳ４０１）、受付部２２ｇは、登録画像の生成指示を撮像装置２１へ通知する（ステップＳ４０２）。

これを受けて、撮像装置２１の決定部２１ｇは、露出時間Ｅを分割する分割数Ｎを決定する「分割数決定処理」を実行する（ステップＳ４０３）。かかるステップＳ４０３では、上記の実施例１で説明した分割数決定処理（図８参照）と同様の処理を実行させることができる。

その後、撮像制御部２１ｆは、決定部２１ｇによって決定された分割数Ｎなどの撮像パラメータを用いて、次のような処理を実行する。すなわち、撮像制御部２１ｆは、Ｎ／２枚のオフ画像、Ｎ枚のオン画像、Ｎ／２枚のオフ画像の順にＮ枚のオフ画像およびＮ枚のオン画像を撮像する「撮像処理」を実行する（ステップＳ４０４）。かかるステップＳ４０４では、上記の実施例１で説明した撮像処理（図９参照）と同様の処理を実行させることができる。

そして、算出部２１ｈは、Ｎ組のオフ画像およびオン画像のペアを決定した上で各ペアのオフ画像およびオン画像からＮ枚の差分画像を算出する（ステップＳ４０５）。その上で、算出部２１ｈは、ステップＳ４０５で算出されたＮ枚の差分画像を画像記憶部２１ｅへ格納する（ステップＳ４０６）。

その後、積算部２１ｊは、画像記憶部２１ｅに記憶されたＮ枚の差分画像の間で画素値を積算することによってＮ枚の差分画像から１枚の積算画像を生成する（ステップＳ４０７）。続いて、積算部２１ｊは、ステップＳ４０７で生成された積算画像を画像記憶部２１ｅに格納する（ステップＳ４０８）。そして、撮像装置２１は、通信部２１ｄを介して、積算画像を認証装置２２へ転送する（ステップＳ４０９）。

続いて、認証部２２ｈは、積算画像を登録画像として記憶部２２ｂへ格納する（ステップＳ４１０）。そして、認証部２２ｈは、ステップＳ４１０で記憶部２２ｂに記憶された登録画像から顔の器官、例えば目、鼻、口や耳の形状や大きさなどの幾何学的な特徴を特徴量として抽出する（ステップＳ４１１）。その後、認証部２２ｈは、ステップＳ４１１で抽出した特徴量をステップＳ４１０で格納した登録画像と対応付けて記憶部２２ｂに格納し（ステップＳ４１２）、処理を終了する。

（２）認証処理
図１２は、実施例２に係る認証処理の手順を示すフローチャートである。この認証処理は、センサ部２１ａによって出入口の通行範囲への利用者の進入が検知された場合に、処理が起動される。

図１２に示すように、センサ部２１ａによって出入口の通行範囲への利用者の進入が検知されると（ステップＳ６０１）、撮像制御部２１ｆは、出入口の通行範囲への利用者の進入を認証装置２２へ通知する（ステップＳ６０２）。なお、ステップＳ６０２の通知を受け付けたリトライ制御部２２ｊによってリトライ数Ｒを０に設定するリトライ数Ｒの初期化が実行される（ステップＳ６０３）。

続いて、認証装置２２の決定部２１ｇは、露出時間Ｅを分割する分割数Ｎを決定する「分割数決定処理」を実行する（ステップＳ６０４）。かかるステップＳ６０４では、上記の実施例１で説明した分割数決定処理（図８参照）と同様の処理を実行させることができる。

その後、撮像制御部２１ｆは、決定部２１ｇによって決定された分割数Ｎなどの撮像パラメータを用いて、次のような処理を実行する。すなわち、撮像制御部２１ｆは、Ｎ／２枚のオフ画像、Ｎ枚のオン画像、Ｎ／２枚のオフ画像の順にＮ枚のオフ画像およびＮ枚のオン画像を撮像する「撮像処理」を実行する（ステップＳ６０５）。かかるステップＳ６０５では、上記の実施例１で説明した撮像処理（図９参照）と同様の処理を実行させることができる。

その後、算出部２１ｈは、Ｎ組のオフ画像およびオン画像のペアを決定した上で各ペアのオフ画像およびオン画像からＮ枚の差分画像を算出する（ステップＳ６０６）。その上で、算出部２１ｈは、ステップＳ６０６で算出されたＮ枚の差分画像を画像記憶部２１ｅへ格納する（ステップＳ６０７）。

続いて、積算部２１ｊは、画像記憶部２１ｅに記憶されたＮ枚の差分画像の間で画素値を積算することによってＮ枚の差分画像から１枚の積算画像を生成する（ステップＳ６０８）。その後、積算部２１ｊは、ステップＳ６０８で生成された積算画像を画像記憶部２１ｅに格納する（ステップＳ６０９）。そして、撮像装置２１は、通信部２１ｄを介して、積算画像を認証装置２２へ転送する（ステップＳ６１０）。

その後、認証装置２２から撮像終了指示が通知されるまで（ステップＳ６１１Ｎｏ）、上記のステップＳ６０４〜ステップＳ６１０までの処理を繰り返し実行し、撮像終了指示が通知されると（ステップＳ６１１Ｙｅｓ）、撮像装置２１は、処理を終了する。

一方、認証装置２２は、ステップＳ６１０で転送された積算画像を記憶部２２ｂへ格納する（ステップＳ６１２）。そして、認証部２２ｈは、ステップＳ６１２で記憶部２２ｂに記憶された積算画像から特徴量を抽出する（ステップＳ６１３）。

そして、認証部２２ｈは、ステップＳ６１３で利用者の積算画像から抽出された特徴量と、記憶部２２ｂに記憶された各登録画像の特徴量との間で類似度Ｓを算出する（ステップＳ６１４）。

ここで、認証部２２ｈは、類似度Ｓが所定の閾値以上である登録画像が存在するか否かを判定する（ステップＳ６１５）。このとき、類似度Ｓが閾値以上である登録画像が存在しない場合（ステップＳ６１５Ｎｏ）には、リトライ制御部２２ｊは、リトライ回数Ｒをインクリメントし（ステップＳ６１６）、リトライ回数Ｒが所定の閾値以上であるか否かを判定する（ステップＳ６１７）。そして、リトライ回数Ｒが所定の閾値以上になるまで（ステップＳ６１７Ｎｏ）、認証装置２２は、上記のステップＳ６１２〜ステップＳ６１６までの処理を繰り返し実行する。

その後、類似度Ｓが閾値以上である登録画像が存在する場合（ステップＳ６１５Ｙｅｓ）、あるいはリトライ回数Ｒが閾値以上である（ステップＳ６１７Ｙｅｓ）には、次のような処理を実行する。すなわち、認証部２２ｈは、撮像終了指示を撮像装置２１へ通知し（ステップＳ６１８）、認証成功または認証失敗の認証結果を撮像装置２１や図示しない解錠装置等へ出力し（ステップＳ６１９）、処理を終了する。

［実施例２の効果］
上述してきたように、本実施例に係る顔認証システム２０は、上記の実施例１と同様に、Ｎ枚のオン画像を撮像する前後で照明部１１ｂをオフ状態にしてオフ画像を撮像する。このため、本実施例に係る顔認証システム２０では、照明をオン状態からオフ状態に切り換えたり、オフ状態からオン状態へ切り換えたりする頻度を低減できるので、空読みの回数や時間が低減できる結果、撮像の待機時間を削減できる。したがって、本実施例に係る顔認証システム２０においても、撮像時間を短縮できる。

さらに、本実施例に係る顔認証システム２０では、オフ画像およびオン画像の差分を算出する処理、差分画像を積算する処理などが撮像装置２１によって実行される。このため、本実施例に係る顔認証システム２０によれば、撮像装置２１から認証装置２２へＮ枚のオフ画像およびＮ枚のオン画像を転送せずとも１枚の積算画像を転送すればよい。このため、撮像装置２１と認証装置２２との間の通信トラフィックを低減できる。したがって、例えば、撮像装置２１と認証装置２２との間を結ぶネットワークの通信の負荷を低減できる結果、高速な認証処理を実現することが可能となる。

また、本実施例に係る顔認証システム２０では、撮像時間が短縮されるので、撮像レートが低く撮像間隔が長い撮像素子を用いても撮像時間の長期化を抑制することが可能となる。それゆえ、安価な撮像素子を採用することができるので、コストを低減することが可能となる。

また、撮影シーケンスの中央にオン画像を連続して撮影することによって、外光や被写体の変動の影響を低減することができる。これは、オフ画像よりオン画像の方が一般的に輝度値が高い為、変動の影響をより強く受ける。このオン画像を撮影シーケンスの中央で連続して撮影する結果、変動の影響をより低減することが出来る。

なお、本実施例では、一例として、認証装置２２によって出力される認証結果に応じて入退室を許可または不許可とする入退室管理に用いる場合を例示したが、他の用途にも用いることもできる。例えば、認証結果に応じてパーソナルコンピュータ等の情報処理装置のログインを許可または不許可とするログイン管理を行う場合にも上記の顔認証システム２０を適用できる。

さて、上記の実施例２では、認証装置２２に積算画像を用いて顔認証を実行させる場合を例示したが、顔認証に限らず物体の材質判定を実行させてもかまわない。そこで、本実施例では、判定装置３２に積算画像を用いて物体の材質判定を実行させる場合について説明する。

［材質判定システムの構成］
図１３は、実施例３に係る材質判定システムに含まれる各装置の機能的構成を示すブロック図である。図１３に示す材質判定システム３０は、照明部３１ｂＡを用いて生成される物体の積算画像と、照明部３１ｂＢを用いて生成される物体の積算画像とを比較することによって物体の材質判定を実行するものである。なお、本実施例では、一例として、物体が物質αであるか物質βであるかの判定に材質判定を用いる場合を想定して以下の説明を行う。

図１３に示すように、材質判定システム３０には、撮像装置３１と、判定装置３２とが収容される。このうち、撮像装置３１は、一例として、材質を判定させたい物体を撮像できるように、材質を判定させたい物体を撮像範囲に収めることができる位置に設置される。一方、判定装置３２は、一例として、複数の撮像装置３１と接続されたサーバ装置として実装することもできるし、材質判定を実行する機能を撮像装置３１へ組み込んで実装することによってスタンドアローンで材質判定を実行させることもできる。

［撮像装置３１の構成］
まず、本実施例に係る撮像装置３１の機能的構成について説明する。図１３に示す撮像装置３１は、図１０に示した撮像装置２１に比べて、センサ部２１ａ、照明部２１ｂ、撮像素子２１ｃ、通信部２１ｄ、画像記憶部２１ｅ、撮像制御部２１ｆ、決定部２１ｇ、算出部２１ｈ及び積算部２１ｊの代わりに、次のような機能部を有する。すなわち、撮像装置３１は、センサ部３１ａ、照明部３１ｂＡ、照明部３１ｂＢ、撮像素子３１ｃ、通信部３１ｄ、画像記憶部３１ｅ、撮像制御部３１ｆ、決定部３１ｇ、算出部３１ｈおよび積算部３１ｊを有する。

これらセンサ部３１ａ、照明部３１ｂ、撮像素子３１ｃ、通信部３１ｄ、画像記憶部３１ｅ、撮像制御部３１ｆ、決定部３１ｇ、算出部３１ｈおよび積算部３１ｊは、図１０に示した各機能部との間で基本となる機能は同一である。そのため、以下では相違点に絞って説明を行う。

このうち、センサ部３１ａは、図１０に示したセンサ部２１ａに比べて、材質を判定させたい物体を検知する点が異なる。このため、センサ部３１ａは、一例として、材質を判定させたい物体の設置範囲、例えば撮像装置３１から半径１ｍ以内の領域を監視する。そして、センサ部３１ａは、当該設置範囲に存在する物体を検知した場合に、設置範囲への物体の設置を後述の撮像制御部３１ｆへ通知する。

照明部３１ｂＡは、図１０に示した照明部２１ｂに比べて、材質を判定させたい物体に光を照射する点が異なる。このため、照明部３１ｂＡは、センサ部３１ａによって検知がなされる設置範囲に存在する物体の判定部位、例えば物体の中央部分を照射できる位置に設置される。このとき、照明部３１ｂＡが指向性を有する場合には、設置範囲で物体が存在する位置に合わせて照明光を照射する方向を調整できる機構部を実装することもできる。なお、以下では、照明部３１ｂＡは、波長がλ_Ａである照明Ａを光源として採用するものと想定して説明する。

照明部３１ｂＢは、照明部３１ｂＡに比べて、光源の波長が照明部３１ｂＡより長い点が異なる。なお、以下では、照明部３１ｂＢは、波長がλ_Ａより長いλ_Ｂである照明Ｂを光源として採用するものと想定して説明する。

撮像素子３１ｃは、図１０に示した撮像素子２１ｃに比べて、設置範囲に所在する物体が図示しないレンズを介して結像可能な位置に設置される点が異なる。このとき、撮像素子３１ｃに物体の判定部位が結像するように、設置範囲の中で物体が存在する位置に合わせて撮像装置３１の画角を調節する機構部をさらに有することとしてもよい。かかる撮像素子３１ｃによって撮像された画像は、後述の撮像制御部３１ｆによって画像記憶部３１ｅへ保存される。

通信部３１ｄは、図１０に示した通信部２１ｄに比べて、他の装置、例えば判定装置３２との間で授受されるデータの内容が異なる。例えば、通信部３１ｄは、後述する積算部３１ｊが生成する照明部３１ｂＡおよび照明部３１ｂＢそれぞれの積算画像を判定装置３２へ転送する。

画像記憶部３１ｅは、図１０に示した画像記憶部２１ｅに比べて、保存されるデータの内容が異なる。上述のように、本実施例では、撮像装置３１側でオフ画像および照明部３１ｂＡおよび照明部３１ｂＢそれぞれのオン画像の撮像、差分画像の算出および積算画像の生成が実行される。このため、画像記憶部３１ｅには、撮像素子３１ｃから得られたオフ画像や照明部３１ｂＡおよび照明部３１ｂＢそれぞれのオン画像などの原画像、差分画像および積算画像が保存されることになる。

撮像制御部３１ｆは、図１０に示した撮像制御部２１ｆに比べて、照明部３１ｂＡおよび照明部３１ｂＢそれぞれのオン画像を撮像する点が異なる。一例として、撮像制御部３１ｆは、照明部３１ｂＡをオフ状態に照明部３１ｂＢをオン状態にしてＮ枚の照明部３１ｂＢのオン画像を撮像する前後で照明部３１ｂＡをオン状態に照明部３１ｂＢをオフ状態にしてＮ枚の照明部３１ｂＡのオン画像を撮像する。さらに、撮像制御部３１ｆは、照明部３１ｂＡをオン状態に照明部３１ｂＢをオフ状態にしてＮ枚の照明部３１ｂＡのオン画像を撮像する前後で照明部３１ｂＡおよび照明部３１ｂＢをオフ状態にして２＊Ｎ枚のオフ画像を撮像する。例えば、撮像制御部３１ｆは、照明部３１ｂＡおよび照明部３１ｂＢをオフ状態にしてＮ枚のオフ画像を撮像した後に、照明部３１ｂＡをオン状態にしてＮ／２枚の照明部３１ｂＡのオン画像を撮像する。その後、撮像制御部３１ｆは、照明部３１ｂＡをオフ状態に照明部３１ｂＢをオン状態にしてＮ枚の照明部３１ｂＢのオン画像を撮像する。続いて、撮像制御部３１ｆは、照明部３１ｂＢをオフ状態に照明部３１ｂＡをオン状態にしてＮ／２枚の照明部３１ｂＡのオン画像を撮像し、その後、照明部３１ｂＡおよび照明部３１ｂＢをオフ状態にしてＮ枚のオフ画像を撮像する。

図１４は、撮像シーケンスの一例を示す図である。図１４には、分割数Ｎが「４」である場合の撮像シーケンスが例示されている。図１４に示すように、撮像制御部３１ｆは、時刻Ｈ０から時刻Ｈ４までの区間で照明部３１ｂＡおよび照明部３１ｂＢをオフ状態とし、時刻Ｈ１、時刻Ｈ２、時刻Ｈ３の時点でシャッターを一時的に閉じる。このようにして、撮像制御部３１ｆは、区間「Ｈ０〜Ｈ１」における露光で得られたオフ画像ａＡ１、区間「Ｈ１〜Ｈ２」における露光で得られたオフ画像ａＡ２、区間「Ｈ２〜Ｈ３」における露光で得られたオフ画像ａＢ１、区間「Ｈ３〜Ｈ４」における露光で得られたオフ画像ａＢ２の順に画像記憶部３１ｅへ読み込まれる。その後、撮像制御部３１ｆは、時刻Ｈ４の時点で照明部３１ｂＡをオフ状態からオン状態へ切り換える。このとき、撮像制御部３１ｆは、オフ状態からオン状態への切り換えが時刻Ｈ４から時刻Ｈ５までかかるとの想定の下、区間「Ｈ４〜Ｈ５」における露光で得られる画像を画像記憶部３１ｅに空読みさせる。

その後、撮像制御部３１ｆは、時刻Ｈ５から時刻Ｈ７までの区間で照明部３１ｂＡをオン状態とし、時刻Ｈ６の時点でシャッターを一時的に閉じる。この結果、区間「Ｈ５〜Ｈ６」における露光で得られたオン画像ｂＡ１、区間「Ｈ６〜Ｈ７」における露光で得られたオン画像ｂＡ２の順に画像記憶部３１ｅへ読み込まれる。その後、撮像制御部３１ｆは、時刻Ｈ７の時点で照明部３１ｂＡをオン状態からオフ状態へ切り換え、照明部Ｂをオフ状態からオン状態へ切り換える。そして、撮像制御部３１ｆは、区間「Ｈ７〜Ｈ８」における露光で得られる画像を画像記憶部３１ｅに空読みさせる。その後、撮像制御部３１ｆは、時刻Ｈ８から時刻Ｈ１２までの区間で照明部３１ｂＢをオン状態とし、時刻Ｈ９、時刻Ｈ１０、時刻Ｈ１１の時点でシャッターを一時的に閉じる。このようにして、撮像制御部３１ｆは、区間「Ｈ８〜Ｈ９」における露光で得られたオン画像ｂＢ１、区間「Ｈ９〜Ｈ１０」における露光で得られたオン画像ｂＢ２、区間「Ｈ１０〜Ｈ１１」における露光で得られたオン画像ｂＢ３、区間「Ｈ１１〜Ｈ１２」における露光で得られたオン画像ｂＢ４の順に画像記憶部３１ｅに読み込ませる。その後、撮像制御部３１ｆは、時刻Ｈ１２の時点で照明部３１ｂＡをオフ状態からオン状態へ切り換え、照明部Ｂをオン状態からオフ状態へ切り換える。そして、撮像制御部３１ｆは、区間「Ｈ１２〜Ｈ１３」における露光で得られる画像を画像記憶部３１ｅに空読みさせる。

その後、撮像制御部３１ｆは、時刻Ｈ１３から時刻Ｈ１５までの区間で照明部３１ｂＡをオン状態とし、時刻Ｈ１４の時点でシャッターを一時的に閉じる。この結果、区間「Ｈ１３〜Ｈ１４」における露光で得られたオン画像ｂＡ３、区間「Ｈ１４〜Ｈ１５」における露光で得られたオン画像ｂＡ４の順に画像記憶部３１ｅへ読み込まれる。その後、撮像制御部３１ｆは、時刻Ｈ１５の時点で照明部３１ｂＡをオン状態からオフ状態へ切り換える。そして、撮像制御部３１ｆは、区間「Ｈ１５〜Ｈ１６」における露光で得られる画像を画像記憶部３１ｅに空読みさせる。その後、撮像制御部３１ｆは、時刻Ｈ１６から時刻Ｈ２０までの区間で照明部３１ｂＡおよび照明部３１ｂＢをオフ状態とし、時刻Ｈ１７、時刻Ｈ１８、時刻Ｈ１９の時点でシャッターを一時的に閉じる。このようにして、撮像制御部３１ｆは、区間「Ｈ１６〜Ｈ１７」における露光で得られたオフ画像ａＢ３、区間「Ｈ１７〜Ｈ１８」における露光で得られたオフ画像ａＢ４、区間「Ｈ１８〜Ｈ１９」における露光で得られたオフ画像ａＡ３、区間「Ｈ１９〜Ｈ２０」における露光で得られたオフ画像ａＡ４の順に画像記憶部３１ｅに読み込ませる。

決定部３１ｇは、図１０に示した決定部２１ｇに比べて、外光の強さと分割数が対応付けられた情報を用いて分割数を決定する点が異なる。一態様としては、決定部３１ｇは、後述する情報記憶部３１ｍが記憶する外光の強さを表す指標である出力電流と分割数とが対応付けられた情報を用いて分割数Ｎを決定する。図１５は、出力電流と分割数とが対応付けられた情報の一例を示す図である。例えば、決定部３１ｇは、後述する測定部３１ｋによって測定された出力電流が３５ｍＡである場合に、分割数Ｎを「４」に決定する。なお、白とびの発生を抑制するために、決定部３１ｇは、分割数Ｎを決定する際には最適な露出時間が最も長い照明を用いて分割数Ｎを決定する。例えば、決定部３１ｇは、照明部３１ｂＢの光が照明部３１ｂＡの光より最適な露出時間が長い場合には、測定部３１ｋに照明部３１ｂＢの光を用いて出力電流を測定させて分割数Ｎを決定する。このようにして決定された分割数Ｎおよび露出時間Ｅを含む撮像指示が撮像制御部１１ｆへ出力される。

算出部３１ｈは、図１０に示した算出部２１ｈに比べて、照明部３１ｂＡおよび照明部３１ｂＢそれぞれの差分画像を算出する点が異なる。このため、図１４の例で言えば、算出部３１ｈは、オフ画像ａＡ１及びオン画像ｂＡ１をペアとし、オフ画像ａＡ２及びオン画像ｂＡ２をペアとし、オフ画像ａＡ３及びオン画像ｂＡ３をペアとし、オフ画像ａＡ４及びオン画像ｂＡ４をペアとし、４組のペアを決定する。その上で、算出部３１ｈは、オフ画像ａＡ１及びオン画像ｂＡ１の間で互いの画素の画素値の差を算出することによって照明部３１ｂＡの差分画像Ａ１を算出する。同様に、算出部３１ｈは、オフ画像ａＡ２及びオン画像ｂＡ２から差分画像Ａ２を算出し、オフ画像ａＡ３及びオン画像ｂＡ３から差分画像Ａ３を算出し、オフ画像ａＡ４及びオン画像ｂＡ４から差分画像Ａ４を算出する。

また、算出部３１ｈは、オフ画像ａＢ１及びオン画像ｂＢ１をペアとし、オフ画像ａＢ２及びオン画像ｂＢ２をペアとし、オフ画像ａＢ３及びオン画像ｂＢ３をペアとし、オフ画像ａＢ４及びオン画像ｂＢ４をペアとし、４組のペアを決定する。その上で、算出部３１ｈは、オフ画像ａＢ１及びオン画像ｂＢ１の間で互いの画素の画素値の差を算出することによって照明部３１ｂＢの差分画像Ｂ１を算出する。同様に、算出部３１ｈは、オフ画像ａＢ２及びオン画像ｂＢ２から差分画像Ｂ２を算出し、オフ画像ａＢ３及びオン画像ｂＢ３から差分画像Ｂ３を算出し、オフ画像ａＢ４及びオン画像ｂＢ４から差分画像Ｂ４を算出する。これによって、算出部３１ｈは、照明部３１ｂＡおよび照明部３１ｂＢそれぞれのＮ枚の差分画像を算出する。その後、算出部３１ｈは、照明部３１ｂＡおよび照明部３１ｂＢそれぞれのＮ枚の差分画像を画像記憶部３２ｅへ保存する。

積算部３１ｊは、図１０に示した積算部３１ｊに比べて、照明部３１ｂＡおよび照明部３１ｂＢそれぞれの積算画像を生成する点が異なる。

また、撮像装置３１は、測定部３１ｋおよび情報記憶部３１ｍをさらに有する。このうち、測定部３１ｋは、外光の強さを測定する処理部である。一態様としては、測定部３１ｋは、照明の光が測定部３１ｋに照射されることによって光起電力効果により起電力が発生して得られる出力電流を外光の強さの指標として測定する。なお、照明の波長によって照明の光の強さや撮像素子の感度は異なるので、最適な露出時間は照明ごとに異なる。また、最適な露出時間が長い照明の方が最適な露出時間が短い照明より白とびが発生する確率が高い。したがって、測定部３１ｋは、白とびの発生を抑制するために、測定する光の波長を最適な露出時間が最も長い光の波長に設定しておく。かかる測定部３１ｋの一態様としては、フォトダイオードやフォトトランジスタなどの検出器が挙げられる。

情報記憶部３１ｍは、外光の強さと分割数とが対応付けられた情報を記憶する記憶デバイスである。一例としては、情報記憶部３１ｍには、測定部３１ｋによって測定された出力電流と分割数とが対応付けられた情報が予め保存される。なお、外光の強さと分割数とが対応付けられた情報は、実験などによって得られた値を予め設定する。図１５の例では、出力電流の数値幅に対応する分割数の値が同一行に並べられた表形式の情報である。他の一例としては、情報記憶部３１ｍは、出力電流が測定部３１ｋに測定された場合に、測定された出力電流の値に対応付けられた分割数の情報を読み出すためにアクセスされる。

［判定装置３２の構成］
続いて、本実施例に係る判定装置３２の機能的構成について説明する。図１３に示す判定装置３２は、図１０に示した認証装置２２に比べて、判定装置３２は、通信部２２ａおよび記憶部２２ｂの代わりに、通信部３２ａおよび記憶部３２ｂを有する。

これら通信部３２ａおよび記憶部３２ｂは、図１０に示した各機能部との間で基本となる機能は同一である。そのため、以下では相違点に絞って説明を行う。

このうち、通信部３２ａは、図１０に示した通信部２２ａに比べて、他の装置、例えば撮像装置３１との間で授受されるデータの内容が異なる。例えば、通信部３２ａは、撮像装置３１から照明部３１ｂＡおよび照明部３１ｂＢそれぞれの積算画像を受信する。

記憶部３２ｂは、図１０に示した記憶部２２ｂに比べて、保存されるデータの内容が異なる。上述のように、本実施例では、撮像装置３１から判定装置３１へ照明部３１ｂＡおよび照明部３１ｂＢそれぞれの積算画像が転送される。このため、一例としては、記憶部３２ｂには、撮像装置３１から照明部３１ｂＡおよび照明部３１ｂＢそれぞれの積算画像が転送された場合に、照明部３１ｂＡおよび照明部３１ｂＢそれぞれの積算画像が保存されることになる。他の一例としては、記憶部３２ｂは、材質判定が実行される場合に、照明部３１ｂＡおよび照明部３１ｂＢそれぞれの積算画像を参照するために後述の判定部３２ｃによってアクセスされる。

また、判定装置３１は、判定部３２ｃをさらに有する。判定部３２ｃは、撮像装置３１によって生成された積算画像を用いて、物体の材質を判定する処理部である。一態様としては、判定部３２ｃは、照明部３１ｂＡの積算画像である画像Ａと照明部３１ｂＢの積算画像である画像Ｂとの間で輝度値の比を算出して物体の材質を判定する。図１６は、異なる物質における波長と反射率の関係の一例を示すグラフである。図１６が示すように、照射する光の波長によって物質の反射率は異なる。そのため、波長がλ_Ａの照明部３１ｂＡおよび波長がλ_Ｂの照明部３１ｂＢの光を物体に照射して撮像した画像の輝度値を比較することによって物体の材質を判定することができる。例えば、判定部３２ｃは、撮像装置３１で生成された積算画像の判定領域Ｄを設定する。そして、判定部３２ｃは、判定領域Ｄ内の各点Ｐ（ｘ、ｙ）に対して画像Ａの座標（ｘ、ｙ）における輝度値であるＩＡ（ｘ、ｙ）と画像Ｂの座標（ｘ、ｙ）における輝度値であるＩＢ（ｘ、ｙ）の比Ｒ（ｘ、ｙ）＝ＩＡ（ｘ、ｙ）／ＩＢ（ｘ、ｙ）を算出する。その後、判定部３２ｃは、算出された画像Ａと画像Ｂの輝度値の比Ｒ（ｘ、ｙ）が所定の閾値未満か否かを判定する。ここで、判定部３２ｃは、Ｒ（ｘ、ｙ）が所定の閾値未満である場合には、物体を物質αと判定する。一方、判定部３２ｃは、Ｒ（ｘ、ｙ）が所定の閾値以上の場合には、物体を物質βと判定する。

［処理の流れ］
続いて、本実施例に係る材質判定システム３０の処理の流れについて説明する。なお、ここでは、材質判定システム３０によって実行される（１）判定処理を説明した後に、判定処理に含まれる（２）分割数決定処理および（３）撮像処理をさらに詳細に説明する。

（１）判定処理
図１７は、実施例３に係る判定処理の手順を示すフローチャートである。この判定処理は、センサ部３１ａによって設置範囲に物体の存在が検知された場合に、処理が起動される。図１７に示すように、センサ部３１ａによって設置範囲内に物体が検知されると（ステップＳ８０１）、決定部３１ｇは、露出時間Ｅを分割する分割数Ｎを決定する「分割数決定処理」を実行する（ステップＳ８０２）。

その後、撮影制御部３１ｆは、決定部３１ｇによって決定された分割数Ｎなどの撮像パラメータを含む撮像指示に基づいてＮ枚のオフ画像、Ｎ／２枚の照明部３１ｂＡのオン画像、Ｎ枚の照明部３１ｂＢのオン画像の順に撮像する。続いて、撮影制御部３１ｆは、Ｎ／２枚の照明部３１ｂＡのオン画像、Ｎ枚のオフ画像の順に撮像する。このようにして、撮影制御部３１ｆは、２＊Ｎ枚のオフ画像と照明部３１ｂＡおよび照明部３１ｂＢそれぞれのＮ枚のオン画像とを撮像する「撮像処理」を実行する（ステップＳ８０３）。

そして、算出部３１ｈは、照明部３１ｂＡおよび照明部３１ｂＢそれぞれのＮ組のオフ画像およびオン画像のペアを決定した上で各ペアのオフ画像およびオン画像から照明部３１ｂＡおよび照明部３１ｂＢそれぞれのＮ枚の差分画像を算出する（ステップＳ８０４）。その上で、算出部３１ｈは、ステップＳ８０４で算出された照明部３１ｂＡおよび照明部３１ｂＢそれぞれのＮ枚の差分画像を画像記憶部３１ｅへ格納する（ステップＳ８０５）。

その後、積算部３１ｊは、画像記憶部３１ｅに記憶された照明部３１ｂＡおよび照明部３１ｂＢそれぞれのＮ枚の差分画像の間で画素値を積算する。これによって、積算部３１ｊは、照明部３１ｂＡおよび照明部３１ｂＢそれぞれのＮ枚の差分画像から照明部３１ｂＡおよび照明部３１ｂＢそれぞれ１枚の積算画像を生成する（ステップＳ８０６）。続いて、積算部３１ｊは、ステップＳ８０６で生成された積算画像を画像記憶部３１ｅに格納する（ステップＳ８０７）。そして、撮像装置３１は、通信部３１ｄを介して、照明部３１ｂＡおよび照明部３１ｂＢそれぞれの積算画像を判定装置３２へ転送する（ステップＳ８０８）。

続いて、判定装置３２は、照明部３１ｂＡおよび照明部３１ｂＢそれぞれの積算画像を記憶部３２ｂへ格納する（ステップＳ８０９）。その後、判定部３２ｃは、ステップＳ８０９で記憶部３２ｂに記憶された照明部３１ｂＡおよび照明部３１ｂＢそれぞれの積算画像から輝度値の比Ｒを算出する（ステップＳ８１０）。

ここで、輝度値の比Ｒが所定の閾値以上である場合（ステップＳ８１１Ｙｅｓ）には、判定部３２ｃは、物体は物質βであると判定し（ステップＳ８１２）、処理を終了する。一方、輝度値の比Ｒが所定の閾値未満である場合（ステップＳ８１１Ｎｏ）には、物体は物質αであると判定し（ステップＳ８１３）、処理を終了する。

（２）分割数決定処理
図１８は、実施例３に係る分割数決定処理の手順を示すフローチャートである。この処理は、図１７に示した判定処理においてステップＳ８０１の処理が実行された場合、すなわちセンサ部３１ａが物体を検知した場合に処理を起動する。

図１８に示すように、測定部３１ｋは、出力電流を測定する（ステップＳ９０１）。続いて、決定部３１ｇは、出力電流と分割数とが対応付けられた情報である対応付け情報を参照して測定部で測定された出力電流の値から分割数Ｎを決定する（ステップＳ９０２）。その後、決定部３１ｇは、決定した分割数Ｎを含む撮像指示を撮像制御部３１ｆへ出力し（ステップＳ９０３）、処理を終了する。

（３）撮像処理
図１９は、実施例３に係る撮像処理の手順を示すフローチャートである。この撮像処理は、決定部３１ｇから撮像指示を受け付けた場合に処理を起動する。

図１９に示すように、撮像制御部３１ｆは、露出時間Ｅを分割数Ｎで除算することによって画像１枚あたりの露出時間を指す単位露出時間Ｅ´を算出する（ステップＳ１００１）。

そして、撮像制御部３１ｆは、照明部３１ｂＡおよび照明部３１ｂＢをオフ状態にしてＮ枚のオフ画像を撮像する（ステップＳ１００２）。続いて、撮像制御部３１ｆは、照明部３１ｂＡをオン状態に照明部３１ｂＢをオフ状態してＮ／２枚の照明部３１ｂＡのオン画像を撮像する（ステップＳ１００３）。その後、撮像制御部３１ｆは、照明部３１ｂＡをオフ状態に照明部３１ｂＢをオン状態にしてＮ枚の照明部３１ｂＢのオン画像を撮像する（ステップＳ１００４）。続いて、撮像制御部３１ｆは、照明部３１ｂＡをオン状態に照明部３１ｂＢをオフ状態にしてＮ／２枚の照明部３１ｂＡのオン画像を撮像する（ステップＳ１００５）。その後、撮像制御部３１ｆは、照明部３１ｂＡおよび照明部３１ｂＢをオフ状態にしてＮ枚のオフ画像を撮像する（ステップＳ１００６）。

最後に、撮像制御部３１ｆは、ステップＳ１００２〜ステップＳ１００６までの処理で得られた照明部３１ｂＡおよび照明部３１ｂＢそれぞれのＮ枚のオフ画像およびＮ枚のオン画像を画像記憶部３１ｅに格納し（ステップＳ１００７）、処理を終了する。

［実施例３の効果］
上述してきたように、本実施例に係る材質判定システム３０は、オン画像を撮像する前後でオフ画像を撮像する。このため、本実施例に係る材質判定システム３０では、照明をオン状態からオフ状態に切り換えたり、オフ状態からオン状態へ切り換えたりする頻度を低減できるので、空読みの回数や時間が低減できる結果、撮像の待機時間を削減できる。したがって、本実施例に係る材質判定システム３０によれば、撮像時間を短縮できる。

さらに、本実施例に係る材質判定システム３０では、出力電流を測定する装置および出力電流と分割数とが対応付けされた情報を用いて分割数を決定する。このため、本実施例に係る材質判定システム３０によれば、分割数を決定する処理を簡素化できるので、撮像時間を短縮することが可能となる。一例としては、分割数を決定する際のオン画像の撮像や外光評価値の算出を省略できるので、撮像時間を短縮できる。他の一例としては、外光が所定の閾値未満である場合には、分割数を０として設定することによって差分画像を算出する処理および積算画像を生成する処理を省略できるので、撮像時間を短縮できる。

また、本実施例に係る材質判定システム３０では、撮像時間が短縮されるので、撮像レートが低く撮像間隔が長い撮像素子を用いても撮像時間の長期化を抑制することが可能となる。それゆえ、安価な撮像素子を採用することができるので、コストを低減することが可能となる。

また、撮影シーケンスの中央にオン画像を連続して撮影することによって、外光や被写体の変動の影響を低減することができる。これは、オフ画像よりオン画像の方が一般的に輝度値が高い為、変動の影響をより強く受ける。このオン画像を撮影シーケンスの中央で連続して撮影する結果、変動の影響をより低減することが出来る。

また、本実施例に係る材質判定システム３０では、最適な露出時間が最も長い照明に基づいて分割数を決定しているので、白とびの発生を抑制することができる。それゆえ、判定精度を高めることが可能となる。

また、本実施例に係る材質判定システム３０では、最適な露出時間が最も長い照明の撮像を撮像シーケンスの順番の中央に配置して撮像する。このため、本実施例に係る材質判定システム３０では、最も情報量が多い画像の撮像が撮像シーケンスの順番の中央に配置されるので、物体の位置の変化や外光の強さの変化などの変動の影響を低減することが可能となる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［認証対象の種類］
上記の実施例２では、生体認証として顔認証が実行される場合を採用して例示したが、認証部位は顔に限らず、指紋や手のひらの静脈などの他の生体情報を用いることもできる。例えば、手のひら静脈認証は、人体への透過性が高い近赤外線の照明を用いて被写体である手のひらを照射して反射光を撮像装置で撮像する。そして、撮像装置で撮像した皮下の静脈パターンを認証特徴として個人を認証する。なお、手のひら静脈認証は、通常は目に見えない静脈パターンを認証に用いるので、認証特徴が漏洩する危険性が低い。それゆえ、例えば、銀行ＡＴＭなど高セキュリティ分野を中心に個人認証技術として採用することができる。また、手のひら静脈では被写体とセンサが触れない非接触で認証するので、撮影時間が長くなるほど利用者が手をかざす時間も長くなり利便性が低下する。このため、撮像時間を短縮することによって利便性を向上させることが可能となる。

［画像生成の並列処理］
上記の実施例２〜３では、オフ画像およびオン画像の生成、差分画像の生成、積算画像の生成の順番で実行する方法を採用して例示したが、これらの画像の生成を並列して実行する方法を採用することもできる。例えば、オフ画像とオン画像がそれぞれ１枚ずつ生成され次第差分画像を生成する処理を開始し、差分画像が２枚生成され次第逐次差分画像を積算する処理を開始して積算画像を生成してもよい。これによって、オフ画像およびオン画像の生成、差分画像の生成、積算画像の生成においてそれぞれの画像の生成処理が完了するまで待機することなく並列して処理されるので、撮像時間を短縮できる。

［分割数決定処理の応用例］
上記の実施例１〜３では、差分画像の算出に使用するオン画像とは別に分割数を決定するためのオン画像を撮像して分割数を決定する方法を採用して例示したが、差分画像の算出に使用するオン画像を用いて分割数を決定してもよい。例えば、分割数を決定する際に使用するオン画像は、Ｎ／２枚のオフ画像を撮像し、その後に撮像するＮ枚のオン画像としてもよい。

図２０は、分割数決定処理の手順の一例を示すフローチャートである。以下、一例として、実施例２に差分画像の算出に使用するオン画像を用いて分割数を決定する方法を適用した場合を説明する。図２０に示す分割数決定処理は、図１２に示すように出入口の通行範囲で利用者が検知されると処理が起動される。図２０に示すように、決定部２１ｇは、分割数Ｎを初期値Ｎ_０に設定する（ステップＳ７０１）。続いて、決定部２１ｇは、露出時間Ｅおよび分割数Ｎから算出されるＥ／Ｎを単位露出時間Ｅ´に設定する（ステップＳ７０２）。

その上で、決定部２１ｇは、単位露出時間Ｅ´にしたがってＮ／２枚のオフ画像を撮像制御部２１ｆに撮像させる（ステップＳ７０３）。続いて、Ｎ枚のオン画像を撮像制御部２１ｆに撮像させる（ステップＳ７０４）。その後、決定部２１ｇは、ステップＳ７０４で撮像させたオン画像から外光評価値Ｅｘを算出する（ステップＳ７０５）。そして、決定部２１ｇは、外光評価値Ｅｘが所定の閾値Ｔｈ未満であるか否かを判定する（ステップＳ７０６）。

ここで、外光評価値Ｅｘが所定の閾値Ｔｈ以上である場合（ステップＳ７０６Ｎｏ）には、決定部２１ｇは、分割数Ｎを変更前よりも大きい値、例えば変更前の分割数の２倍に再設定する（ステップＳ７０７）。そして、上記のステップＳ７０２の処理へ移行し、外光評価値Ｅｘが上記の閾値Ｔｈ未満になるまで分割数の再設定、単位露光時間Ｅ´の設定、オフ画像の撮像、オン画像の撮像、外光評価値Ｅｘの算出を繰り返し実行する。一方、外光評価値Ｅｘが所定の閾値Ｔｈ未満である場合（ステップＳ７０６Ｙｅｓ）には、決定部２１ｇは、ステップＳ７０１またはステップＳ７０７で設定していた分割数Ｎを撮像制御部２１ｆへ出力し（ステップＳ７０８）、処理を終了する。分割数決定処理が終了すると、撮像装置２１は、図１２に示すステップＳ６０５以降の処理を実行する。

このとき、撮像制御部２１ｆに撮像させた差分画像の算出に使用するＮ枚のオン画像を用いて分割数を決定するので、差分画像の算出には使用しない分割数を決定するためのオン画像を撮像せずに済む。そのため、オン画像を撮像する回数が減るので、撮像時間を短縮できる。

なお、上記の例では差分画像の算出に使用するオン画像を用いて分割数を決定する方法を実施例２に採用する場合を例示したが、実施例２に限らず実施例１または実施例３に採用してもかまわない。

［連続撮像］
上記の実施例１〜３では、Ｎ枚のオフ画像およびＮ枚のオン画像を撮像する方法を例示したが、Ｎ枚のオフ画像およびＮ枚のオン画像を連続して撮像してもよい。図２１は撮像シーケンスの一例を示す図である。図２１には、分割数Ｎが「４」である場合の撮像を繰り返し実行した撮像シーケンスが例示されている。以下、実施例２に連続撮像を適用した例を説明する。図２１に示すように、撮像制御部２１ｆは、時刻Ｍ０から時刻Ｍ２までの区間で照明部２１ｂをオフ状態とし、時刻Ｍ１の時点でシャッターを一時的に閉じる。このようにして、撮像制御部２１ｆは、区間「Ｍ０〜Ｍ１」における露光で得られたオフ画像ｃ１を画像記憶部２１ｅに読み込ませた後に、区間「Ｍ１〜Ｍ２」における露光で得られたオフ画像ｃ２を画像記憶部２１ｅに読み込ませる。その後、撮像制御部２１ｆは、時刻Ｍ２の時点で照明部２１ｂをオフ状態からオン状態へ切り換える。このとき、オフ状態からオン状態への切り換えが完了するには、一定の時間が掛かる。このため、撮像制御部２１ｆは、オフ状態からオン状態への切り換えが時刻Ｍ２から時刻Ｍ３までかかるとの想定の下、区間「Ｍ２〜Ｍ３」における露光で得られる画像を画像記憶部２１ｅに空読みさせる。かかる空読みは、オン状態への切り換えが完了していない状態またはオフ状態への切り換えが完了していない状態で得られた画像が認証に使用されないためになされる。

その後、撮像制御部２１ｆは、時刻Ｍ３から時刻Ｍ７までの区間で照明部をオン状態とし、時刻Ｍ４、時刻Ｍ５、時刻Ｍ６の時点でシャッターを一時的に閉じる。この結果、区間「Ｍ３〜Ｍ４」における露光で得られたオン画像ｄ１、区間「Ｍ４〜Ｍ５」における露光で得られたオン画像ｄ２、区間「Ｍ５〜Ｍ６」における露光で得られたオン画像ｄ３、区間「Ｍ６〜Ｍ７」における露光で得られたオン画像ｄ４の順に画像記憶部２１ｅへ読み込まれる。その後、撮像制御部２１ｆは、時刻Ｍ７の時点で照明部２１ｂをオン状態からオフ状態へ切り換える。そして、撮像制御部２１ｆは、区間「Ｍ７〜Ｍ８」における露光で得られる画像を画像記憶部２１ｅに空読みさせる。その後、撮像制御部２１ｆは、時刻Ｍ８から時刻Ｍ１０までの区間で照明部２１ｂをオフ状態とし、時刻Ｍ９、時刻Ｍ１０の時点でシャッターを一時的に閉じる。このようにして、撮像制御部２１ｆは、区間「Ｍ８〜Ｍ９」における露光で得られたオフ画像ｃ３を画像記憶部２１ｅに読み込ませた後に、区間「Ｍ９〜Ｍ１０」における露光で得られたオフ画像ｃ４を画像記憶部２１ｅに読み込ませる。以上の処理を撮像終了指示が通知されるまで繰り返し実行する。その後、撮像制御部２１ｆは、画像記憶部２１ｅにＮ枚のオフ画像およびＮ枚のオン画像が保存された場合に、後述の算出部２１ｈに差分画像の算出を指示する。

なお、上記の例では連続撮像を実施例２に採用する場合を例示したが、実施例２に限らず実施例１または実施例３に採用してもかまわない。

算出部は、ここでは、前回の差分画像の算出に用いられたオフ画像または次回の差分画像の算出に用いるオフ画像が今回の差分画像の算出に用いるオフ画像よりも今回の差分画像の算出に使用するオン画像と類似した条件で撮像されたと判定された場合に、前回の差分画像の算出に使用したオフ画像または次回の差分画像の算出に使用するオフ画像を用いて今回の差分画像を算出してもよい。

例えば、図２１の例で言えば、算出部は、オン画像ｄ５〜ｄ８を用いて差分画像を算出する場合に、オフ画像ｃ３〜ｃ６（図２１中の選択肢１）、オフ画像ｃ４〜ｃ７（図２１中の選択肢２）、オフ画像ｃ５〜ｃ８（図２１中の選択肢３）またはオフ画像ｃ６〜ｃ９（図２１中の選択肢４）をペアとして差分画像を算出してもよい。具体的には、例えば、算出部は、図２１中の選択肢２の場合に、オフ画像ｃ４及びオン画像ｄ５をペアとし、オフ画像ｃ５及びオン画像ｄ６をペアとし、オフ画像ｃ６及びオン画像ｄ７をペアとし、オフ画像ｃ７及びオン画像ｄ８をペアとし、４組のペアを決定する。その上で、算出部は、オフ画像ｃ４及びオン画像ｄ５の間で互いの画素の画素値の差を算出することによって差分画像ｃｄ１を算出する。同様に、算出部は、オフ画像ｃ５及びオン画像ｄ６から差分画像ｃｄ２を算出し、オフ画像ｃ６及びオン画像ｄ７から差分画像ｃｄ３を算出し、オフ画像ｃ７及びオン画像ｄ８から差分画像ｃｄ４を算出する。このように、オン画像を前回の差分画像の算出に用いられたオフ画像または次回の差分画像の算出に用いるオフ画像とペアにすることによってオン画像と類似した条件で撮像されたオフ画像をペアにすることができる。これによって、被写体の位置の変化や外光の強さの変化の影響を低減できる。

［分布形状が異なる照明を用いた材質判定］
上記の実施例３では、波長が異なる照明を採用して例示したが、分布形状が異なる照明を採用することもできる。例えば、照明にレンズを設置して光を絞ったスポット光を照射する照明を採用してもよい。スポット光を照射することによって被写体までの距離を測定することが可能となる。そのため、判定精度を高めることが可能となる。

［撮像処理プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図２２を用いて、上記の実施例と同様の機能を有する撮像処理プログラムを実行するコンピュータの一例について説明する。

図２２は、実施例１〜３に係る撮像処理プログラムを実行するコンピュータの一例について説明するための図である。図２２に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図２２に示すように、上記の実施例１で示した撮像制御部１１ｆ、決定部１２ｄ、算出部１２ｅ、積算部１２ｆ及び認証部１２ｇと同様の機能を発揮する撮像処理プログラム１７０ａが予め記憶される。この撮像処理プログラム１７０ａについては、図１に示した撮像制御部１１ｆ、決定部１２ｄ、算出部１２ｅ、積算部１２ｆ及び認証部１２ｇの各構成要素と同様、適宜統合又は分離しても良い。また、撮像処理プログラム１７０ａについては、図１０に示した撮像制御部２１ｆ、決定部２１ｇ、算出部２１ｈ、積算部２１ｊ及び認証部２２ｈの各構成要素と同様、適宜統合又は分散しても良い。また、撮像処理プログラム１７０ａについては、図１３に示した撮像制御部３１ｆ、決定部３１ｇ、算出部３１ｈ、積算部３１ｊ及び判定部３２ｃの各構成要素と同様、適宜統合又は分散しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。

そして、ＣＰＵ１５０が、撮像処理プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図２２に示すように、撮像処理プログラム１７０ａは、撮像処理プロセス１８０ａとして機能する。この撮像処理プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、撮像処理プロセス１８０ａは、図１に示した撮像制御部１１ｆ、決定部１２ｄ、算出部１２ｅ、積算部１２ｆ及び認証部１２ｇにて実行される処理、例えば図７に示す処理を含む。また、撮像処理プロセス１８０ａは、図１０に示した撮像制御部２１ｆ、決定部２１ｇ、算出部２１ｈ、積算部２１ｊ及び認証部２２ｈにて実行される処理、例えば図１２に示す処理を含む。また、撮像処理プロセス１８０ａは、図１３に示した撮像制御部３１ｆ、決定部３１ｇ、算出部３１ｈ、積算部３１ｊ及び判定部３２ｃにて実行される処理、例えば図１７に示す処理を含む。なお、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。

なお、上記の撮像処理プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）被写体に光を照射する照明を有する撮像装置による撮像方法において、
前記照明を消灯させた状態で前記被写体を撮像した画像であるオフ画像を生成する処理を第一の回数連続して行い、
前記照明を点灯させた状態で前記被写体を撮像した画像であるオン画像を生成する処理を第二の回数連続して行い、
前記照明を消灯させた状態で前記被写体を撮像した画像であるオフ画像を生成する処理を第一の回数連続して行い、
生成された前記オン画像の各々について、該オン画像と、生成された前記オフ画像のうち該オン画像に対応するオフ画像との差分画像を算出し、
算出された各々の前記差分画像を積算する
処理を実行することを特徴とする撮像方法。

（付記２）前記第二の回数は、前記第一の回数の２倍であることを特徴とする付記１に記載の撮像方法。

（付記３）前記差分画像を算出する処理として、
前記オン画像及び前記オフ画像の間で生成された時刻が早い順にオン画像およびオフ画像のペアを決定し、
前記ペアのオン画像およびオフ画像ごとに前記差分画像を算出する処理を実行することを特徴とする付記１または付記２に記載の撮像方法。

（付記４）前記オン画像から当該オン画像内の外光の強度を表す外光評価値を算出し、
前記外光評価値に基づいて前記第一の回数および前記第二の回数を決定する処理をさらに実行することを特徴とする付記１〜３のいずれか１つに記載の撮像方法。

（付記５）前記差分画像を算出する処理として、
前回の差分画像の算出に用いられたオフ画像または次回の差分画像の算出に用いるオフ画像が今回の差分画像の算出に用いるオフ画像よりも今回の差分画像の算出に使用するオン画像と類似した条件で撮像されたと判定された場合に、前回の差分画像の算出に使用したオフ画像または次回の差分画像の算出に使用するオフ画像を用いて今回の差分画像を算出する処理を実行することを特徴とする付記１〜４のいずれか１つに記載の撮像方法。

（付記６）異なる複数の撮像条件で撮像する場合に、露出時間が最も長い撮像条件で撮像される画像に基づいて前記第一の回数及び前記第二の回数を決定する処理をさらに実行することを特徴とする付記１〜５のいずれか１つに記載の撮像方法。

（付記７）前記第一の回数及び前記第二の回数を決定する処理として、
前記撮像条件に前記照明の波長または前記照明の分布形状に関する条件が含まれる場合に、露出時間が最も長い撮像条件で撮像される画像に基づいて前記第一の回数及び前記第二の回数を決定する処理を実行することを特徴とする付記６に記載の撮像方法。

（付記８）前記オン画像を生成する処理として、
異なる複数の撮像条件で撮像する場合に、露出時間が最も長い撮像条件のオン画像の生成の前後の時間に露出時間が短い撮像条件のオン画像を生成する処理を実行することを特徴とする付記１〜７のいずれか１つに記載の撮像方法。

（付記９）前記オン画像を生成する処理として、
前記撮像条件に前記照明の波長または前記照明の分布形状に関する条件が含まれる場合に、露出時間が最も長い撮像条件のオン画像の撮像の前後の時間に露出時間が短い撮像条件のオン画像を生成する処理を実行することを特徴とする付記８に記載の撮像方法。

（付記１０）外光強度を測定する測定部によって測定された外光強度に基づいて前記第一の回数及び前記第二の回数を決定する処理をさらに実行することを特徴とする付記１〜９のいずれか１つに記載の撮像方法。

（付記１１）前記第一の回数及び前記第二の回数を決定する処理として、
外光強度と第一の回数及び第２の回数とが対応付けられた対応付け情報のうち、前記測定部によって測定された外光強度に対応する第一の回数及び第二の回数を採用する処理を実行することを特徴とする付記１０に記載の撮像方法。

（付記１２）前記オン画像及び前記オフ画像を生成する処理と、前記差分画像を算出する処理と、前記差分画像を積算する処理とを独立して実行することを特徴とする付記１〜１１のいずれか１つに記載の撮像方法。

（付記１３）被写体に光を照射する照明を有する撮像装置において、
前記照明を消灯させた状態で前記被写体を撮像した画像であるオフ画像を第一の回数連続して撮像し、前記オフ画像を撮像した後に、前記照明を点灯させた状態で前記被写体を撮像した画像であるオン画像を第二の回数連続して撮像し、前記オン画像を撮像した後に、前記照明を消灯させた状態で前記被写体を撮像した画像であるオフ画像を第一の回数連続して撮像する撮像制御部と、
撮像された前記オン画像の各々について、該オン画像と、撮像された前記オフ画像のうち該オン画像に対応する該オフ画像との差分画像を算出する算出部と、
前記差分画像を積算する積算部と
を有することを特徴とする撮像装置。

（付記１４）コンピュータに、
被写体に光を照射する照明を消灯させた状態で前記被写体を撮像した画像であるオフ画像を第一の回数連続して行い、
前記オフ画像を撮像した後に、前記照明を点灯させた状態で前記被写体を撮像した画像であるオン画像を第二の回数連続して行い、
前記オン画像を撮像した後に、前記照明を消灯させた状態で前記被写体を撮像した画像であるオフ画像を第一の回数連続して行い、
撮像された前記オン画像の各々について、該オン画像と、撮像された前記オフ画像のうち該オン画像に対応する該オフ画像との差分画像を算出し、
算出された各々の前記差分画像を積算する
処理を実行させることを特徴とする撮像プログラム。

１０ ジェスチャ認証システム
１１ 撮像装置
１１ａ センサ部
１１ｂ 照明部
１１ｃ 撮像素子
１１ｄ 通信部
１１ｅ 画像記憶部
１１ｆ 撮像制御部
１２ 認証装置
１２ａ 通信部
１２ｂ 記憶部
１２ｃ 撮像指示部
１２ｄ 決定部
１２ｅ 算出部
１２ｆ 積算部
１２ｇ 認証部

Claims (7)

1. 被写体に光を照射する照明を有する撮像装置による撮像方法において、
   前記照明を消灯させた状態で前記被写体を撮像した画像であるオフ画像を生成する処理を第一の回数連続して行い、
   前記照明を点灯させた状態で前記被写体を撮像した画像であるオン画像を生成する処理を第二の回数連続して行い、
   前記照明を消灯させた状態で前記被写体を撮像した画像であるオフ画像を生成する処理を第一の回数連続して行い、
   生成された前記オン画像の各々について、該オン画像と、生成された前記オフ画像のうち該オン画像に対応するオフ画像との差分画像を算出し、
   算出された各々の前記差分画像を積算する
   処理を実行することを特徴とする撮像方法。
2. 前記第二の回数は、前記第一の回数の２倍であることを特徴とする請求項１に記載の撮像方法。
3. 前記差分画像を算出する処理として、
   前記オン画像及び前記オフ画像の間で生成された時刻が早い順にオン画像およびオフ画像のペアを決定し、
   前記ペアのオン画像およびオフ画像ごとに前記差分画像を算出する処理を実行することを特徴とする請求項１または請求項２に記載の撮像方法。
4. 前記オン画像から当該オン画像内の外光の強度を表す外光評価値を算出し、
   前記外光評価値に基づいて前記第一の回数および前記第二の回数を決定する処理をさらに実行することを特徴とする請求項１〜３のいずれか１つに記載の撮像方法。
5. 前記差分画像を算出する処理として、
   前回の差分画像の算出に用いられたオフ画像または次回の差分画像の算出に用いるオフ画像が今回の差分画像の算出に用いるオフ画像よりも今回の差分画像の算出に使用するオン画像と類似した条件で撮像されたと判定された場合に、前回の差分画像の算出に使用したオフ画像または次回の差分画像の算出に使用するオフ画像を用いて今回の差分画像を算出する処理を実行することを特徴とする請求項１〜４のいずれか１つに記載の撮像方法。
6. 被写体に光を照射する照明を有する撮像装置において、
   前記照明を消灯させた状態で前記被写体を撮像した画像であるオフ画像を第一の回数連続して撮像し、前記オフ画像を撮像した後に、前記照明を点灯させた状態で前記被写体を撮像した画像であるオン画像を第二の回数連続して撮像し、前記オン画像を撮像した後に、前記照明を消灯させた状態で前記被写体を撮像した画像であるオフ画像を第一の回数連続して撮像する撮像制御部と、
   撮像された前記オン画像の各々について、該オン画像と、撮像された前記オフ画像のうち該オン画像に対応する該オフ画像との差分画像を算出する算出部と、
   前記差分画像を積算する積算部と
   を有することを特徴とする撮像装置。
7. コンピュータに、
   被写体に光を照射する照明を消灯させた状態で前記被写体を撮像した画像であるオフ画像を第一の回数連続して行い、
   前記オフ画像を撮像した後に、前記照明を点灯させた状態で前記被写体を撮像した画像であるオン画像を第二の回数連続して行い、
   前記オン画像を撮像した後に、前記照明を消灯させた状態で前記被写体を撮像した画像であるオフ画像を第一の回数連続して行い、
   撮像された前記オン画像の各々について、該オン画像と、撮像された前記オフ画像のうち該オン画像に対応する該オフ画像との差分画像を算出し、
   算出された各々の前記差分画像を積算する
   処理を実行させることを特徴とする撮像プログラム。

Images