JP2023032776A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】生体判定を高精度に行う。【解決手段】撮像画像を取得し、取得した撮像画像の処理対象の領域に基づいて、当該撮像画像内の被写体が生体か非生体かを判定するための判定指標を算出する。また、取得した撮像画像の撮影条件を取得する。そして、取得した撮影条件に基づいて生体か非生体であるかを判定する際に用いる判定基準を決定する。そして、前記算出した判定指標と、前記決定した判定基準とに基づいて、撮像画像内の被写体が生体か非生体かを判定する。【選択図】図３

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

画像による顔認証システムを利用する際、他者の顔が写った写真などをカメラに提示することで、他者になりすます不正行為が問題となっている。なりすまし行為への対策として、認証対象が生体（人間）であるか、非生体（写真、表示装置等の媒体やなりすまし用のマスク）であるか否かを判定する、生体判定の技術を用いる場合がある。
特許文献１では、顔の時系列画像から抽出した色変化が、血流の変化に基づくものであるかを、所定の評価関数によって算出されたスコアを閾値と比較することによって判定する方法が開示されている。

特開２０１９－１９４８８８号公報

しかしながら、特許文献１にて開示されている方法では、撮影する環境や、カメラの設定などによって、十分に高いスコアが算出されず、閾値を下回るケースがある。このようなケースでは、生体判定の精度が低下してしまう。

本発明は上記課題に鑑みてなされたものであり、その目的は、生体判定を高精度に行うことである。

本発明の画像処理装置は、撮像画像を取得する第１の取得手段と、前記第１の取得手段で取得した撮像画像の対象の領域に基づいて、前記撮像画像内の被写体が生体か非生体かを判定する判定手段と、前記第１の取得手段で取得した撮像画像の撮影条件を取得する第２の取得手段と、前記第２の取得手段で取得した撮影条件に基づいて、前記判定手段で用いる判定基準を決定する決定手段と、を有することを特徴とする。

本発明によれば、生体判定を高精度に行うことができる。

画像処理装置のハードウェア構成例を示す図である。 システムの機能構成例を示す図である。 なりすまし判定処理を示すフローチャートである。 判定指標算出処理を示すフローチャートである。 撮影条件取得処理を示すフローチャートである。 撮像画像の例を示す図である。 判定指標の分布の例を示す図である。 判定基準テーブルの例を示す図である。 動画データの長さを説明するための図である。 判定指標の分布の例を示す図である。 判定基準テーブルの例を示す図である。 システムの全体構成例を示す図である。 システムの機能構成例を示す図である。 判定指標の分布の例を示す図である。 判定基準テーブルの例を示す図である。

以下、添付図面を参照して実施の形態を詳しく説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
本実施形態では、画像内の生体判定の対象となる領域の情報に基づき、画像内の被写体が生体か非生体かの判定を行う。本実施形態は、顔認証システムにおける顔認証時に、写真等によるなりすましかを判定する際に適用可能である。以下、画像内の被写体が生体か非生体か判定することを、なりすまし判定という。また、上記対象となる領域の情報から抽出される指標値を、判定指標という。なりすまし判定では、画像の情報から判定指標を抽出するため、当該画像の撮影条件によって判定指標が変動する。撮影条件は、撮影の対象物の光学像を画像データとして記録する過程で、当該記録の結果である撮像画像に影響を与えるすべての要素を含む。動画データから被写体の肌領域の色の時系列データを抽出し、抽出した時系列データから検出される脈波の信号に基づいて判定指標を算出する場合、撮影条件によっては当該信号に対するノイズの影響が大きくなる。ノイズには、例えばイメージセンサーに起因するノイズや、画像圧縮に起因するノイズがある。そのため、ノイズの影響により判定指標が低く算出されてしまい、被写体が実際には生体であっても非生体であると誤判定されてしまうケースがある。そこで、本実施形態では、判定指標の算出結果に影響を与える要因となる撮影条件に応じて、なりすまし判定に用いる判定基準を切り替えるよう制御する。

本実施形態では、動画データから被写体の肌領域の色の時系列データを抽出し、抽出した時系列データから検出される脈波の信号に基づいて判定指標を算出する場合に、被写体の顔領域のサイズに基づいて判定基準を決定する例について説明する。画像における顔領域が小さい場合、被写体の肌領域内の画素数が少ない。画素数が少ない場合、肌領域内の画素の色情報の平均値を肌の色として取得する過程において、取得結果として得られる肌の色に与えるノイズの影響が相対的に大きくなる。このことから、顔領域が小さい場合、脈波の信号に対するノイズの影響は強くなると言える。

図１は、本実施形態に係る画像処理装置のハードウェア構成例を示す。図１に示すように、画像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ（ハードディスクドライブ）１０４、通信Ｉ／Ｆ（インタフェース）１０５、入力装置１０６及び出力装置１０７を有する。画像処理装置１００は、通信Ｉ／Ｆ１０５を介して、ネットワーク１０８に接続し外部装置と通信を行う。

ＣＰＵ１０１は、画像処理装置１００の全体の制御を司る。ＲＯＭ１０２は、制御プログラムの他、各種のデータを記憶する。ＲＡＭ１０３は、ワークエリアや一時的な記憶領域として用いられる。ＣＰＵ１０１がＲＯＭ１０２に記憶されるプログラムをＲＡＭ１０３に展開して実行することにより、画像処理装置１００の後述する各種の機能、及び後述するフローチャートが実現する。ＨＤＤ１０４は、各種の設定情報、後述する判定基準テーブル（図８）、画像データ等を記憶する。通信Ｉ／Ｆ１０５は、ネットワーク１０８に接続して、処理対象の画像を取得するための撮像装置２０１（図２）等の外部装置と通信を行うためのインタフェースである。

入力装置１０６は、画像処理装置１００に指示やデータを入力するための装置である。具体的には、ユーザの操作を受け付けるためのキーボード、マウス、タッチパネルなどである。出力装置１０７は、画像処理装置１００から外部に指示やデータを出力するための装置である。具体的には、処理結果を表示するディスプレイ等の表示用デバイスなどである。なお、画像処理装置１００は、後述する処理の一部又は全部を、ＧＰＵやＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によって実行してもよい。

図２は、本実施形態に係る画像処理装置１００を含むシステムの機能構成例を示す。このシステムは、画像処理装置１００と撮像装置２０１により構成され、撮像装置２０１が画像処理装置１００に接続されている。なお、撮像装置２０１は、ネットワーク１０８を介して画像処理装置１００に接続されているが、入力装置１０６及び出力装置１０７に含まれる入出力Ｉ／Ｆを介して接続されていてもよい。
撮像装置２０１は、Ｗｅｂカメラ等であり、撮像画像を画像処理装置１００に対してネットワーク１０８を介して送信する。撮像装置２０１は、定められたフレームレートで画像を連続的に撮像し、撮像画像を画像処理装置１００に対して連続的に送信する。
画像処理装置１００は、画像取得部２０２、判定指標算出部２０３、撮影条件取得部２０４、判定基準決定部２０５、なりすまし判定部２０６、及び結果出力部２０７としての機能を有する。以下、各機能部の詳細について説明する。

画像取得部２０２は、撮像画像を取得する。本実施形態において、画像取得部２０２は、通信Ｉ／Ｆ１０５を介して撮像装置２０１から撮像画像を連続的に受信することで、動画データを取得する。画像取得部２０２は、受信した撮像画像を動画データとしてＨＤＤ１０４に記憶してもよい。また画像取得部２０２は、ＨＤＤ１０４や外部の記憶装置から動画データを取得してもよい。
判定指標算出部２０３は、画像取得部２０２が取得した撮像画像から判定指標を算出する。本実施形態において、判定指標算出部２０３は、動画データ内の被写体の肌領域における色の時系列データを抽出し、抽出した時系列データから検出される脈波の信号に基づいて判定指標を算出する。具体的な算出方法は、図４のフローチャートを用いて後述する。
撮影条件取得部２０４は、画像取得部２０２が取得した撮像画像の情報から撮影条件を取得する。本実施形態において、撮影条件取得部２０４は、画像取得部２０２が取得した動画データ内の顔領域のサイズを撮影条件として取得する。具体的な取得方法は、図５のフローチャートを用いて後述する。

判定基準決定部２０５は、なりすまし判定に用いる判定基準を決定する。本実施形態において、判定基準決定部２０５は、予め設定された複数の判定基準の中から、撮影条件取得部２０４が取得した撮影条件に対応する判定基準を決定する。ここでいう判定基準は、なりすまし判定を行う際に、判定指標算出部２０３が算出した判定指標の比較対象とする閾値である。具体的には、判定基準決定部２０５は、図８に示すような、撮影条件としての顔サイズと、判定基準としての閾値とを対応付けたテーブルを参照することにより、取得した顔サイズに対応する閾値を決定する。以下、撮影条件と判定基準の対応関係を表すテーブルを、判定基準テーブルと呼ぶ。判定基準決定部２０５は、図８に示す判定基準テーブルをＨＤＤ１０４から読み出して、撮影条件取得部２０４が取得した顔サイズに対応する閾値を決定する。

なりすまし判定部２０６は、判定指標算出部２０３が算出した判定指標と、判定基準決定部２０５が決定した判定基準とに基づいて、なりすまし判定を行う。なりすまし判定部２０６は、判定指標が判定基準に適合する場合、被写体が生体である（なりすましではない）と判定し、判定指標が判定基準に適合しない場合、被写体が非生体である（なりすましである）と判定する。本実施形態において、なりすまし判定部２０６は、判定指標が判定基準としての閾値を上回るか否かによって、なりすまし判定を行う。
結果出力部２０７は、なりすまし判定部２０６による判定結果を出力する。具体的には、結果出力部２０７は、出力装置１０７としてのディスプレイに判定結果を表示するよう制御してもよい。また、結果出力部２０７は、画像処理装置１００に接続される顔認証システムに判定結果を出力するよう制御してもよい。

図３は、本実施形態に係る画像処理装置１００によって実行される、なりすまし判定処理を説明するためのフローチャートである。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。図３のフローチャートの処理は、ＣＰＵ１０１がＲＯＭ１０２に記憶されるプログラムをＲＡＭ１０３に読み出して実行することにより実現される。

処理開始後（例えば、画像処理装置１００の電源がＯＮにされた後）、Ｓ３０１では、ＣＰＵ１０１が、撮像装置２０１から撮像画像を取得する。
次にＳ３０２では、ＣＰＵ１０１が、取得画像の枚数が、後段の処理に必要な枚数に達したか否かを判定する。必要な枚数としては、脈波による被写体の肌領域の色の時系列変化を検出可能な枚数として事前に設定された値を用いる。ＣＰＵ１０１が必要な枚数を取得したと判定するまでＳ３０１の処理を繰り返し、必要な枚数を取得したと判定した場合、処理はＳ３０３に遷移する。以上のように、ＣＰＵ１０１がＳ３０１及びＳ３０２の処理を繰り返し実行することで、ＣＰＵ１０１は複数枚の連続的な撮像画像からなる動画データを取得する。

次にＳ３０３では、ＣＰＵ１０１が、Ｓ３０１及びＳ３０２で取得した動画データを用いて、判定指標を算出する。本ステップで実行される判定指標算出処理の詳細は、図４のフローチャートを用いて後述する。
次にＳ３０４では、ＣＰＵ１０１が、Ｓ３０１及びＳ３０２で取得した動画データを用いて、当該動画データに含まれる画像内の顔領域のサイズを撮影条件として取得する。本ステップで実行される撮影条件取得処理の詳細は、図５のフローチャートを用いて後述する。
次にＳ３０５では、ＣＰＵ１０１が、Ｓ３０４で取得した撮影条件に基づいて、なりすまし判定に用いる判定基準を決定する。具体的には、ＣＰＵ１０１が、図８に示す顔サイズと閾値の対応関係を示す判定基準テーブルを参照して、顔サイズによって分類したカテゴリ（顔サイズ大、顔サイズ中、顔サイズ小）に対応する閾値を判定基準として決定する。

次にＳ３０６では、ＣＰＵ１０１が、Ｓ３０３で算出した判定指標が、Ｓ３０５にて決定した判定基準に適合するか否かを判定する。具体的には、ＣＰＵ１０１が、Ｓ３０３で算出した判定指標を、Ｓ３０５で決定した閾値と比較する。ＣＰＵ１０１が判定指標が閾値を上回ると判定した場合、判定基準に適合するとして、Ｓ３０７に進み、ＣＰＵ１０１が判定指標が閾値以下であると判定した場合、判定基準に適合しないとして、Ｓ３０８に進む。
Ｓ３０７では、ＣＰＵ１０１が、被写体が生体であると判定して、「なりすましでない」という判定結果を出力する。その後本フローチャートの一連の処理が終了する。
Ｓ３０８では、ＣＰＵ１０１が、被写体が非生体であると判定して、「なりすましである」という判定結果を出力する。その後本フローチャートの一連の処理が終了する。

以上のようになりすまし判定処理によれば、画像処理装置１００は、画像内の被写体の顔領域のサイズに応じて、なりすまし判定に用いる判定基準を切り替えるよう制御する。これにより、最適な判定基準を用いて、なりすまし判定を行うことができる。

図４は、図３のＳ３０３にて実行される判定指標算出処理の詳細を示すフローチャートである。
まずＳ４０１で、ＣＰＵ１０１が、Ｓ３０１で取得した画像から、被写体の肌領域を抽出する。具体的には、深層学習（ディープラーニング）によって学習された顔検出器により、被写体の顔領域を抽出する。その後、抽出した顔領域内の画素のうち、ＨＳＶ色空間における特定の範囲内の色情報を有する画素の集合を、肌領域として抽出する。なお、肌領域の抽出方法としては、上記の方法に限られず、任意の方法を適用することが可能である。
次にＳ４０２で、ＣＰＵ１０１が、Ｓ４０１で肌領域として抽出した画素の集合について、色相平均値を算出する。具体的には、抽出したすべての画素について、色相値（ＨＳＶ色空間におけるＨの値）を平均する。
なお、Ｓ４０１及びＳ４０２の処理は、Ｓ３０１及びＳ３０２の処理によって取得した動画データの各画像に対して行われる。これにより、被写体の肌領域の色相平均値の時系列データが得られる。

次にＳ４０３で、ＣＰＵ１０１が、Ｓ４０１及びＳ４０２の処理で得られた色相平均値の時系列データに、フィルタリング処理を施す。具体的には、人間の脈拍数が現れやすい特定の周波数帯（例えば、０．８Ｈｚから２．５Ｈｚまで）を通過させるバンドパスフィルタを適用する。これにより、時系列データに混入するノイズの影響を低減させることができる。
次にＳ４０４で、ＣＰＵ１０１が、Ｓ４０３でフィルタリング処理された時系列データに、周波数解析を適用し、周波数スペクトルを取得する。周波数解析の方法としては、高速フーリエ変換等、任意の方法を適用することが可能である。
次にＳ４０５で、ＣＰＵ１０１が、Ｓ４０４で取得した周波数スペクトルから、上記特定の周波数帯における最大振幅値を取得する。
次にＳ４０６で、ＣＰＵ１０１が、Ｓ４０４で取得した周波数スペクトルから、上記特定の周波数帯における平均振幅値を取得する。
次にＳ４０７で、ＣＰＵ１０１が、判定指標として、Ｓ４０５で取得した最大振幅値を、Ｓ４０６で取得した平均振幅値で除算した値を算出する。以上のようにして、ＣＰＵ１０１は、肌領域の色の時系列変化を表すデータに含まれる脈波の振動成分に基づく判定指標を算出する。その後処理は、図３のフローチャートに戻る。

以上のような判定指標算出処理によれば、画像内の被写体の肌の色変化から検出される脈波の信号を反映する判定指標を算出することができる。なお、図４のフローチャートに示す判定指標算出処理は、判定指標を算出する方法の一例である。なお、脈波に限らず、判定指標として血圧等の生体情報を用いてもよい。

図５は、図３のＳ３０４にて実行される撮影条件取得処理の詳細を示すフローチャートである。
まずＳ５０１で、ＣＰＵ１０１が、Ｓ３０１で取得した撮像画像の横幅を画像幅として取得する。図６は、撮像画像の例を示す。図６（Ａ）～図６（Ｃ）に示す例では、画像幅は４８０ピクセルである。
次にＳ５０２で、ＣＰＵ１０１が、Ｓ３０１で取得した撮像画像内の顔の横幅を顔幅として取得する。具体的には、深層学習（ディープラーニング）によって学習された顔検出器により、被写体の顔領域を抽出し、抽出した顔領域の横幅を取得する。図６（Ａ）に示す例では、顔幅は１２０ピクセルであり、図６（Ｂ）に示す例では、顔幅は８０ピクセルであり、図６（Ｃ）に示す例では、顔幅は４０ピクセルである。
次にＳ５０３で、ＣＰＵ１０１が、顔幅比率として、Ｓ５０２で取得した顔幅をＳ５０１で取得した画像幅で除算した値を算出する。図６（Ａ）に示す例では、顔幅比率は０．２５であり、図６（Ｂ）に示す例では、顔幅比率は約０．１７であり、図６（Ｃ）に示す例では、顔幅比率は約０．０８である。

なお、Ｓ５０１からＳ５０３までの処理は、Ｓ３０１及びＳ３０２の処理によって取得した動画データの各画像に対して行ってもよい。その場合、ＣＰＵ１０１は、顔幅比率として、顔幅を画像幅で除算した値のすべての画像についての平均値を算出する。あるいは、Ｓ３０１及びＳ３０２の処理によって取得した動画データの代表画像に対して、Ｓ５０１からＳ５０３までの処理を実行してもよい。

次にＳ５０４で、ＣＰＵ１０１は、Ｓ５０３で算出した顔幅比率のカテゴリ分類を行う。ＣＰＵ１０１が顔幅比率が０．１２未満であると判定した場合には、Ｓ５０５に進み、顔幅比率が０．１２以上０．２未満であると判定した場合には、Ｓ５０６に進み、顔幅比率が０．２以上であると判定した場合には、Ｓ５０７に進む。
Ｓ５０５で、ＣＰＵ１０１が、顔サイズを小とする。図６（Ｃ）に示す例では、顔サイズ小にカテゴリ分類される。Ｓ５０６で、ＣＰＵ１０１が、顔サイズを中とする。図６（Ｂ）に示す例では、顔サイズ中にカテゴリ分類される。Ｓ５０７で、ＣＰＵ１０１が、顔サイズを大とする。図６（Ａ）に示す例では、顔サイズ大にカテゴリ分類される。Ｓ５０６，Ｓ５０６及びＳ５０７の後、処理は図３のフローチャートに戻る。
なおカテゴリ分類の方法は、顔幅比率を用いる方法に限られず、顔領域内の画素数を用いる方法等、他の方法でも構わない。また本フローチャートでは、大中小の３つにカテゴリ分類したが、分類数は３つに限られず、２つでもよく、４つ以上でもよい。

以上のような撮影条件取得処理によれば、被写体の顔領域の画像全体に対する比率に応じたカテゴリを撮影条件として取得することができる。
なお、図４のフローチャートに示す撮影条件取得処理は、撮影条件を取得する方法の一例である。取得する情報は、脈波の信号を検出する対象の領域のサイズに関する情報であれば、顔領域のサイズに限定されない。例えば、肌領域のサイズ、顔の特定部位の領域のサイズ、顔の向きを取得してもよい。
また、撮像画像の情報から顔領域のサイズを取得する方法に限られず、顔領域のサイズを反映する撮像装置２０１の設定情報（例えば、ズーム率）を、撮像装置２０１から取得する方法でもよい。また例えば、撮像装置２０１と撮影の対象物との距離を測るセンサ等の外部装置から測定結果を取得する方法でもよい。

図７は、顔幅比率のカテゴリごとに、生体と非生体を複数パターンで撮影し、得られた各動画データについて算出した判定指標の分布を示すグラフである。図７（Ａ）～図７（Ｃ）の各グラフは、横軸が判定指標を示し、縦軸はその判定指標が算出される頻度を示す。また、生体の画像から得られた結果については、実線で示し、非生体の画像から得られた結果については点線で示す。なお、後述する図１０、図１４についても同様である。図７（Ａ）は、顔サイズ大における分布を示す。図７（Ｂ）は、顔サイズ中における分布を示す。図７（Ｃ）は、顔サイズ小における分布を示す。図７（Ｂ）及び図７（Ｃ）を、図７（Ａ）と比較することで、顔サイズが小さくなるにつれて、生体の画像に対して算出される判定指標は低くなる傾向にあることが確認できる。これは、顔サイズが小さくなることにより、図４のＳ４０２にて色相平均値を算出する際に用いる画素のサンプル数が減少し、脈波の信号に対するノイズの影響が増大するためと言える。

図８は、顔サイズと閾値との対応関係を表す判定基準テーブルである。図８の例では、顔サイズ大には閾値３．５が設定され、顔サイズ中には閾値３．３が設定され、顔サイズ小には閾値２．９が設定されている。
判定基準テーブルは、それぞれの撮影条件について、生体か非生体かを適切に判定可能な閾値を設定することで生成される。判定基準テーブルに設定される閾値の導出方法について、以下に説明する。具体的にはまず、ある撮影条件について、生体の動画データと非生体の動画データを準備し、各動画データに対して、図４に示す判定指標算出処理を施して、判定指標を得る。そして、各動画データについて、正解ラベル（実際に生体と非生体のどちらを撮影したものであるか）、及び得られた判定指標が付与されたデータセットを複数作成する。作成した複数のデータセットを集計して得られる分布を、図７のグラフに示す。次に設計者は、作成したデータセットについて、幾つかの閾値を用いてなりすまし判定を試行し、最も良く判定可能な閾値を探索する。例えば、０．０から７．０まで、０．１刻みで閾値を試していき、判定結果と正解ラベルによって各閾値でのＦ値（適合率と再現率の調和平均）を求め、当該Ｆ値が最大となるような閾値を、そのデータセットの撮影条件における最適な閾値として求める。同様にして複数の撮影条件について、複数のデータセットを作成し、撮影条件ごとに最適な閾値を求める。なお、Ｆ値に限られず、機械学習の二値分類における評価指標（例えば、正解率、適合率、再現率、特異度）を適宜組み合わせて用いてもよい。また、生体の動画データにおける正解率と非生体の動画データにおける正解率とが一致する閾値を探索してもよい。

ＣＰＵ１０１は、撮影条件と、上記のようにして求めた判定基準との対応関係が設定された、判定基準テーブルを生成する。ＣＰＵ１０１は、生成した判定基準テーブルをＨＤＤ１０４に記憶する。

以上のような実施形態１によれば、被写体の顔サイズが小さく、判定指標が低めに算出されてしまう場合でも、適切な判定基準を用いてなりすまし判定を行うことが可能になる。即ち、なりすまし判定を高精度に行うことができる。

本実施形態の第１の変形例として、図３のＳ３０５にて、ＣＰＵ１０１が、撮影条件と判定基準との対応関係を表すように予め定められた計算式を用いて、閾値を決定してもよい。この計算式の導出方法としては、まず撮影条件、及びその撮影条件で撮影された動画データについて生体か否かを適切に判定可能な判定基準の組み合わせを複数用意する。この場合、撮影条件は数値で表す。例えば、顔サイズ大、顔サイズ中、顔サイズ小といったカテゴリに代えて、そのカテゴリに分類される顔幅比率の平均値を用いてもよい。その後、撮影条件と判定基準の関係性を表す式を導出する。下記式（１）は、顔幅比率と閾値の関係性を表す。

Ｔ＝ＡＰ＋Ｂ・・・（１）
ただし、各符号は以下を表す。
Ｐ：顔幅比率
Ｔ：閾値
Ａ，Ｂ：定数

上記式（１）は、撮影条件、及びその撮影条件で撮影された動画データについて生体か否かを適切に判定可能な判定基準の複数の組み合わせから、最小二乗法などを用いて、定数Ａ，Ｂを求めることにより導出される。判定基準を決定する際には、ＣＰＵ１０１が、上記式（１）のＰに、Ｓ３０４で取得した顔幅比率を表す数値を代入することにより算出されるＴを、判定基準として決定する。

［実施形態２］
本実施形態では、動画データの時間的な長さに基づいて判定基準を決定する例について説明する。以下、実施形態１と同様の部分については説明を省略し、相違する部分を中心に説明する。

図９は、動画データの長さの例を示す。図９（Ａ）は、データ長１秒の動画データを示す。図９（Ｂ）は、データ長３秒の動画データを示す。図９（Ｃ）は、データ長５秒の動画データを示す。データ長が長くなるほど、動画データを構成する画像の枚数（サンプル数）が増加する。
図１０は、図９に示すようなデータ長ごとに、生体と非生体をそれぞれ複数パターンで撮影し、得られた各動画データについて算出した判定指標の分布を示すグラフである。図１０（Ａ）は、データ長１秒おける分布を示す。図１０（Ｂ）は、データ長３秒における分布を示す。図１０（Ｃ）は、データ長５秒における分布を示す。図１０（Ａ）及び図１０（Ｂ）を、図１０（Ｃ）と比較することで、データ長が短くなるにつれて、生体の画像に対して算出される判定指標は低くなる傾向にあることが確認できる。

図１１は、図１０に示す分布を参照して、実施形態１と同様の方法により求めた閾値とデータ長との対応関係を表す判定基準テーブルである。図１１の例では、データ長１秒には閾値１．８が設定され、データ長３秒には閾値２．９が設定され、データ長３秒には閾値３．５が設定されている。本実施形態では、図１１に示す判定基準テーブルがＨＤＤ１０４に記憶されている。

本実施形態では、図３のフローチャートにおけるＳ３０４の処理が、実施形態１とは異なる。
本実施形態では、Ｓ３０４において、ＣＰＵ１０１が、Ｓ３０３で判定指標を算出する際に用いた動画データの長さを、撮影条件として取得する。なお、データ長に代えて、フレームレートを取得する構成でもよい。データ長が短い場合やフレームレートが低い場合では、時系列方向の画像のサンプル数が減少し、肌の色の時系列データに混入するノイズの影響は強くなる。
なおＳ３０１及びＳ３０２にて取得される動画データの長さが、１秒、３秒、及び５秒の何れかに選択可能になっている場合には、選択されている情報を、撮影条件として取得してもよい。またはＳ３０２の必要な枚数として設定されている枚数を、撮影条件として取得してもよい。
また、本実施形態では、Ｓ３０５において判定基準を決定する際に、ＣＰＵ１０１が、図１１に示す判定基準テーブルを参照して、Ｓ３０４で取得したデータ長に対応する閾値を判定基準として決定する。

以上のような実施形態２によれば、動画データの構成枚数が少なく、判定指標が低めに算出されてしまう場合でも、適切な判定基準を用いてなりすまし判定を行うことが可能になる。即ち、なりします判定を高精度に行うことができる。

なお、動画データのデータ長やフレームレート等、動画データの構成枚数に関する情報を撮影条件として取得する例について説明したが、動画データの解像度を撮影条件として取得してもよい。動画データの解像度が低下すると、動画データを構成する画素数（サンプル数）が低下する。また、撮影条件として動画データのフレームレートや動画データの解像度を取得する場合には、撮像装置２０１から取得してもよい。

［実施形態３］
本実施形態では、顔の反射光の強度を表す情報を撮影条件として用いる例について説明する。撮像装置２０１のイメージセンサーが取得する顔の反射光の強度が弱い場合、当該イメージセンサーにおける輝度信号に対してノイズの影響が強くなる。顔の反射光の強度に影響する撮影条件の例として、撮影空間における照度がある。そこで、撮影空間における照度に基づいて判定基準を決定する方法について説明する。以下、実施形態１と同様の部分については説明を省略し、相違する部分を中心に説明する。

図１２は、本実施形態に係るシステムの全体構成例を示す。図１２は、被写体となる人物１２０２を撮像装置２０１が撮影する様子を示す。撮影している空間には光源１２０１が設けられている。照度計１２０３は、撮影空間における照明環境を測定するセンサであり、画像処理装置１００に接続されている。なお照度計１２０３は、撮像装置２０１の撮影空間における環境情報を取得するための外部装置の一例である。

図１３は、本実施形態に係るシステムの機能構成例を示す図である。図１３に示すシステムは、画像処理装置１００に対して照度計１２０３が更に接続されている点で、図２とは相違する。なお、照度計１２０３は、ネットワーク１０８を介して画像処理装置１００に接続されているが、入力装置１０６及び出力装置１０７に含まれる入出力Ｉ／Ｆを介して接続されていてもよい。

図１４は、異なる照度で生体と非生体をそれぞれ複数パターンで撮影し、得られた各動画データについて算出した判定指標の分布を示すグラフである。図１４（Ａ）は、照度４５０ｌｘおける分布を示す。図１４（Ｂ）は、照度６００ｌｘにおける分布を示す。図１４（Ｃ）は、照度７５０ｌｘにおける分布を示す。図１４（Ａ）及び図１４（Ｂ）を、図１４（Ｃ）と比較することで、照度が低くなるにつれて、生体の画像に対して算出される判定指標は低くなる傾向にあることが確認できる。これは、照度が低くなることにより、顔の反射光の強度が弱くなるため、検出される脈波の振動成分が小さくなり、ノイズの影響が増大するためと言える。

図１５は、図１４に示す分布を参照して、実施形態１と同様の方法により求めた閾値と照度との対応関係を表す判定基準テーブルである。図１５の例では、照度４５０ｌｘには閾値３．２が設定され、照度６００ｌｘには閾値３．３が設定され、照度７５０ｌｘには閾値３．５が設定されている。本実施形態では、図１５に示す判定基準テーブルがＨＤＤ１０４に記憶されている。

本実施形態では、図３のフローチャートにおけるＳ３０４の処理が、実施形態１とは異なる。
本実施形態では、Ｓ３０４において、ＣＰＵ１０１が、照度計１２０３から測定結果としての照度を、撮影条件として取得する。なお、撮影環境を俯瞰的に撮影可能な位置に設けられた俯瞰カメラで撮影された画像から輝度値を撮影条件として取得してもよい。また、照度計１２０３の測定結果の空間的な平均値や時間的な平均値を撮影条件として取得してもよい。また、Ｓ３０１及びＳ３０２で取得した動画データを用いて、当該動画データに含まれる画像内の顔領域における明度を撮影条件として取得してもよい。また、顔の反射光の強度によって調整される撮像装置２０１の設定情報（例えば、カメラの露出設定）を撮影条件として撮像装置２０１から取得してもよい。
また、本実施形態では、Ｓ３０５において判定基準を決定する際に、ＣＰＵ１０１が、図１５に示す判定基準テーブルを参照して、Ｓ３０４で取得した取得した照度に対応する閾値を判定基準として決定する。

以上のような実施形態３によれば、顔の反射光の強度が弱く、判定指標が低めに算出されてしまう場合でも、適切な判定基準を用いてなりすまし判定を行うことが可能になる。即ち、なりします判定を高精度に行うことができる。

なお、画像処理装置１００は、各実施形態にて説明した撮影条件を複数組み合わせて、判定基準を決定してもよい。この場合、ＨＤＤ１０４には、撮影条件の種別ごとに複数の判定基準テーブルが記憶され、画像処理装置１００は、撮影条件の種別に応じた判定基準テーブルを読み出し、読み出した判定基準テーブルを適宜組み合わせて判定基準を決定してもよい。

撮影条件の他の例として、撮像装置２０１のレンズに入射する光の色合いがある。撮像装置２０１のイメージセンサーが取得する光において、脈波の振動成分を多く含む緑色の光の強度が、他の色（赤色、青色）の光と比較して小さい場合、撮像装置２０１の自動露出調整機能により、上記他の色の光の強度に合わせて調整されてしまうケースがある。このようなケースでは、結果的に画像における緑色の信号強度が低下してしまい、緑色の信号に含まれる脈波の振動成分が、ノイズの影響を受けやすくなる。

本実施形態の第１の変形例として、図３のＳ３０５にて、ＣＰＵ１０１が、撮像装置２０１のレンズに入射する光の色合いを反映する撮影条件に基づいて判定基準を決定する。この場合、Ｓ３０４において、ＣＰＵ１０１が、Ｓ３０１及びＳ３０２で取得した動画データを用いて、当該動画データに含まれる画像内の顔領域の色相を、撮影条件として取得してもよい。また、光の色合いによって調整される撮像装置２０１の設定情報（例えば、ホワイトバランス）を、撮影条件として取得してもよい。また、照度計１２０３から撮影空間における照明色を、撮影条件として取得してもよい。

本実施形態の第２の変形例として、図３のＳ３０４にて、ＣＰＵ１０１が、撮影画像の背景領域の情報を撮影条件として取得してもよい。具体的には、Ｓ３０１及びＳ３０２で取得した動画データを用いて、画像において物体の動きによる色変化がない、静止した背景領域における画素を抽出する。そして、抽出した画素から、色情報の時系列データを取得し、当該取得したデータの値（例えば、ＲＧＢの各輝度値）の時系列的な分散値を、撮影条件として取得する。この時系列的な分散値には、撮像画像に現れるイメージセンサーのノイズや、画像圧縮によるノイズ、撮影環境における光源１２０１のちらつき等が反映される。

［実施形態４］
実施形態１では、取得した撮影条件に対応する判定基準を、判定基準テーブルを参照することで決定し、決定した判定基準を用いてなりすまし判定を行う方法について説明した。本実施形態では、機械学習アルゴリズムに従った学習モデルに対して、入力データと教師データの複数の組を用いて機械学習を行うことで生成される学習済みモデルを用いて、なりすまし判定を行う方法について説明する。上記の機械学習アルゴリズムの具体例としては、ＳＶＭアルゴリズム、最近傍法、ナイーブベイズ法、決定木、ニューラルネットワークが挙げられる。以下、実施形態１と同様の部分については説明を省略し、相違する部分を中心に説明する。

第１の方法として、入力データとして、撮影条件を用い、教師データとして、その撮影条件で撮影された動画データについて生体か否かを適切に判定可能な判定基準を用いる。これらのデータを用いて学習を行うことにより、取得した撮影条件から判定基準を出力する学習済みモデルが生成される。生成された学習済みモデルは、ＨＤＤ１０４等に記憶される。第１の方法では、図３のＳ３０５において、ＣＰＵ１０１が、Ｓ３０４で取得した撮影条件を、上記の学習済みモデルに入力して得られる出力結果を用いて、判定基準を決定する。

また第２の方法として、まず設計者が、複数の撮影条件ごとに、生体の動画データと非生体の動画データを準備し、各動画データに対して、図４に示す判定指標算出処理を施して、判定指標を得る。次に設計者は、各動画データについて、入力データとして、撮影条件、及び得られた判定指標を、教師データとして、実際に生体と非生体のどちらを撮影したものであるかを表す情報をそれぞれセットして、複数の動画データを用いて学習を行う。これにより、取得した撮影条件、及び算出した判定指標から、なりすまし判定の判定結果（生体か、非生体か）を出力する学習済みモデルが生成される。生成された学習済みモデルは、ＨＤＤ１０４等に記憶される。第２の方法では、図３のＳ３０５をスキップし、Ｓ３０６において、ＣＰＵ１０１が、Ｓ３０４で取得した撮影条件、及びＳ３０３で算出した判定指標を、学習済みモデルに入力して得られる出力結果を用いて、なりすまし判定を行う。

なお、上述した各実施形態では、顔認証システムに適用することを想定しているが、掌紋認証システム等他の部位を用いた認証システムに適用することも可能である。例えば、掌紋認証システムに適用する場合には、画像処理装置１００は、手のひらを撮影した動画データから脈波の信号を検出し、検出された脈波の信号から判定指標を算出する。なりすまし判定を行う際には、上記の判定指標の算出結果に影響を与える撮影条件（例えば、照度）によって、判定基準を切り替える。また掌紋認証システムでは、動画データ内の手のひらの領域のサイズを撮影条件として用いてもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：画像処理装置、２０１：撮像装置、１２０３：照度計

Claims (20)

1. 撮像画像を取得する第１の取得手段と、
   前記第１の取得手段で取得した撮像画像の対象の領域に基づいて、前記撮像画像内の被写体が生体か非生体かを判定する判定手段と、
   前記第１の取得手段で取得した撮像画像の撮影条件を取得する第２の取得手段と、
   前記第２の取得手段で取得した撮影条件に基づいて、前記判定手段で用いる判定基準を決定する決定手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１の取得手段は、前記撮像画像の動画データを取得し、
   前記判定手段は、前記第１の取得手段で取得した動画データから抽出される被写体の肌領域の色情報の時系列変化に基づいて、被写体が生体か非生体かを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の取得手段は、前記第１の取得手段で取得した撮像画像の情報から、前記撮影条件を取得することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２の取得手段は、前記撮像画像を撮像する撮像装置から、前記撮像装置の設定情報を前記撮影条件として取得することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記設定情報が、ホワイトバランス及び又は露出に関することを特徴とする請求項４に記載の画像処理装置。
6. 前記第２の取得手段は、撮影空間における照明環境を測定する外部装置から、前記外部装置の測定結果を前記撮影条件として取得することを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記撮影条件が、前記対象の領域のサイズに関することを特徴とする請求項１又は２に記載の画像処理装置。
8. 前記撮影条件が、前記撮像画像の色相及び又は明度に関することを特徴する請求項１又は２に記載の画像処理装置。
9. 前記撮影条件が、前記動画データの時間的な長さ又はフレームレートであることを特徴とする請求項２に記載の画像処理装置。
10. 前記撮影条件が、前記撮像画像の撮影空間における照明環境に関することを特徴とする請求項１又は２に記載の画像処理装置。
11. 前記撮影条件が、前記第１の取得手段で取得した動画データから抽出される、背景領域の色情報の時系列変化に関することを特徴とする請求項２に記載の画像処理装置。
12. 前記決定手段は、撮影条件と、当該撮影条件で撮影された撮像画像について生体か非生体かを判定可能な判定基準とを対応付けたテーブルを参照することにより、前記判定手段で用いる判定基準を決定することを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記判定基準は、前記判定手段にて判定する際に比較対象とする閾値である請求項１２に記載の画像処理装置。
14. 前記決定手段は、撮影条件と、当該撮影条件で撮影された撮像画像について生体か非生体かを判定可能な判定基準との対応関係を表す計算式を用いることにより、前記判定手段で用いる判定基準を決定することを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
15. 前記決定手段は、撮影条件と、当該撮影条件で撮影された撮像画像について生体か非生体かを判定可能な判定基準とからなるデータセットを用いて学習させた学習モデルを用いて、前記判定手段で用いる判定基準を決定する請求項１乃至１１の何れか１項に記載の画像処理装置。
16. 前記判定手段は、前記色情報の時系列変化に基づき検出される脈波の信号を表す指標値に基づき、被写体が生体か非生体かを判定することを特徴とする請求項２に記載の画像処理装置。
17. 撮像画像を取得する第１の取得手段と、
    前記第１の取得手段で取得した撮像画像の撮影条件を取得する第２の取得手段と、
    前記第１の取得手段で取得した撮像画像の対象の領域に基づいて算出される指標値と、前記第２の取得手段で取得した撮影条件とを学習モデルに入力することにより得られる出力結果に基づいて、前記撮像画像内の被写体が生体か非生体かを判定する判定手段と、
    を有することを特徴とする画像処理装置。
18. 撮像画像を取得する第１の取得工程と、
    前記第１の取得工程で取得した撮像画像の撮影条件を取得する第２の取得工程と、
    前記第１の取得工程で取得した撮像画像の対象の領域に基づいて算出される指標値と、前記第２の取得工程で取得した撮影条件とを学習モデルに入力することにより得られる出力結果に基づいて、前記撮像画像内の被写体が生体か非生体かを判定する判定工程と、
    を有することを特徴とする画像処理方法。
19. 撮像画像を取得する第１の取得工程と、
    前記第１の取得工程で取得した撮像画像の撮影条件を取得する第２の取得工程と、
    前記第２の取得工程で取得した撮影条件に基づいて、判定基準を決定する決定工程と、
    前記第１の取得工程で取得した撮像画像の対象の領域に基づいて、前記撮像画像内の被写体が生体か非生体かを判定する判定工程と、を含み、
    前記判定工程は、前記決定工程で決定した判定基準を用いて判定することを特徴とする画像処理方法。
20. コンピュータを、請求項１乃至１７の何れか１項に記載された画像処理装置として機能させるためのプログラム。

Images