JP2019028764A - 情報処理装置、システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】より精度良く物体を照合することを目的とする。【解決手段】現実環境の照明条件を取得し、第１の物体の三次元データと、取得された照明条件と、に基づいて、照明条件が反映された第１の物体の画像である変動画像を生成し、生成された変動画像の特徴量と、入力画像の特徴量と、に基づいて、第１の物体と、入力画像に含まれる第２の物体と、が同一であるか否かを照合する。【選択図】図６

Description

本発明は、情報処理装置、システム、情報処理方法及びプログラムに関する。

画像中の人物等の物体と予め辞書に登録された物体とを比較することにより、同一の物体か否かを判定する物体認証技術が提案されている。物体認証技術には、例えば、人の顔の認証を行う顔認証技術等がある。物体認証技術の応用先として、入退室管理を顔パスで実現するセキュリティ用途や、撮り貯めた画像データベースの中から特定の人物を探し出す検索用途、デジタルカメラ等の撮影パラメタを人物毎に自動で切り換える機器制御用途等がある。このような用途において、画像は、様々な照明条件で撮影される。そこで、照明条件の変動に頑健な物体認証技術が求められている。
照明条件の影響を軽減する技術として、事前に登録した物体の画像から、様々な照明条件が反映された際のそれらの物体の画像である変動画像を生成し、認証に使用する手法がある。
例えば、特許文献１には、以下のような技術が開示されている。即ち、事前に二次元画像、又は標準三次元モデルから様々な照明条件が反映された画像である変動画像を生成しておき、入力画像と変動画像とを比較し最も類似する変動画像を入力画像の照明条件に類似しているとし、照合に使用する技術が開示されている。これにより、入力画像により近い照明条件同士の比較が可能となり、精度向上が期待できる。
特許文献２では、三次元モデルに対して、あらかじめ設定しておいた照明の位置、強度といったパラメタを適用し、変動画像をレンダリングする方法が開示されている。三次元モデルを用いることで、二次元画像から変動画像を作るよりも、よりリアルな変動画像を生成することができる。

特許第５５７４０３３号公報 特開２００１−２８３２１６号公報

しかし、従来手法では、現実環境の照明条件を精度よく反映した変動画像を生成することができない。
特許文献１では、二次元画像や標準三次元モデルをもとにするため、人の顔のような凹凸がある物体における凹凸による陰影が再現できない。また、特許文献１では、照明条件が照明基底を用いた統計的な表現で表されており、現実環境の照明条件とは異なる照明条件を反映した変動画像が生成される可能性がある。
特許文献２では、個人毎の三次元モデルを用いているため、人の顔の凹凸による陰影は再現できる。しかし、特許文献２では、照明条件が照明の位置・角度で表される簡易なモデルを用いて表されており、現実環境の複雑な照明条件を反映した変動画像を生成することはできない。
そのため、従来手法では、物体の照合の精度には限界があった。

本発明の情報処理装置は、現実環境の照明条件を取得する取得手段と、第１の物体の三次元データと、前記取得手段により取得された照明条件と、に基づいて、前記照明条件が反映された前記第１の物体の画像である変動画像を生成する生成手段と、前記生成手段により生成された変動画像の特徴量と、入力画像の特徴量と、に基づいて、前記第１の物体と、前記入力画像に含まれる第２の物体と、が同一であるか否かを照合する照合手段と、を有する。

本発明によれば、より精度良く物体を照合することができる。

画像処理システムのシステム構成等の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 情報処理装置の機能構成の一例を示す図である。 物体登録処理の一例を示すフローチャートである。 照明分布登録処理の一例を示すフローチャートである。 照合処理の一例を示すフローチャートである。 登録データの選択方法の一例を説明する図である。 情報処理装置の機能構成の一例を示す図である。 照明分布の一例を示す図である。

以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。

＜実施形態１＞
本実施形態では、照合対象の物体として人物の顔を照合する画像処理システムが、ゲートにおける入退室制御を行う例について説明する。建物の入り口付近に設置されるゲートの周囲の環境は、室内の照明変化だけでなく、外光による影響を受け、室内の環境等に比べて照明条件が大きく変化する。そこで、画像処理システムは、ゲートの周囲の環境における複数の照明条件を測定し、測定した照明条件に基づいて、照合対象の物体に照明条件を反映させた変動画像を生成し、生成した画像と入力される画像とを照合する。

（画像処理システムのシステム構成）
図１は、本実施形態の画像処理システムのシステム構成等の一例を示す図である。図１の例では、照合対象の人物が、ゲートを通過しようとしている状況が示される。
画像処理システムは、情報処理装置１、三次元データ取得装置３、照明分布取得装置４、撮像装置５、ゲート制御装置６、フラッパー７を含む。情報処理装置１、三次元データ取得装置３、照明分布取得装置４、撮像装置５、ゲート制御装置６は、ネットワーク２を介して、相互に通信可能に接続されている。以下では、フラッパー７により通行の可否が制御されるゲート制御装置６の間隙を、ゲートとする。
情報処理装置１は、ネットワーク２を介して、三次元データ取得装置３、照明分布取得装置４、撮像装置５、ゲート制御装置６と通信し、照合対象の人物がゲートを通過してよい人物か否かを判定し、判定結果をゲート制御装置６に出力する。情報処理装置１は他例えば、パーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等の情報処理装置である。
ネットワーク２は、ローカルエリアネットワークであり、情報処理装置１、三次元データ取得装置３、照明分布取得装置４、撮像装置５、ゲート制御装置６の間の通信に用いられる。また、ネットワーク２は、インターネット等の他のネットワークであってもよい。

三次元データ取得装置３は、三次元スキャナであり、物体の三次元データを取得し、ネットワーク２を介して、情報処理装置１に出力する。三次元データ取得装置３は、予め、照合対象の物体（例えば、人物等）の三次元データを取得し、取得した三次元データを、情報処理装置１に送信する。情報処理装置１は、送信された三次元データの情報を、予め図２で後述する二次記憶装置１４に記憶することで登録する。本実施形態では、三次元データ取得装置３は、ゲート制御装置６と異なる場所に配置される。三次元データ取得装置３は、三次元スキャナでなく、複数の撮像装置と接続された情報処理装置であってもよい。この場合、三次元データ取得装置３は、接続された複数の撮像装置を介して、物体の二次元画像を複数視点から撮影し、撮影した二次元画像に基づいて、ステレオマッチングにより物体の三次元データを取得してもよい。また、情報処理装置１が、複数の撮像装置を介して、物体の二次元画像を複数視点から撮影し、撮影した二次元画像に基づいて、ステレオマッチングにより物体の三次元データを取得することとしてもよい。
照明分布取得装置４は、周囲の三次元空間上の照明条件を測定する魚眼レンズが装着されたカメラ等の撮像装置であり、測定した照明条件を、ネットワーク２を介して、情報処理装置１に送信する。照明分布取得装置４は、照明条件として、照明分布取得装置４の周囲の現実環境における照明の方向、照明の強度、照明の色温度等を測定する。

照明分布取得装置４は、現実環境における周囲の照明条件を測定し、測定した照明条件を示す二次元画像を生成する。照明分布取得装置４は、例えば、以下のような処理により、測定した照明条件を示す二次元画像を生成する。照明分布取得装置４は、照明分布取得装置４を中心とした現実環境における空間に対応する球形又はドーム形状の空間の画像を生成する。そして、照明分布取得装置４は、画像内の球形又はドーム形状の空間の表面に、照明の方向に対応する位置に、照明の強度に応じた大きさの円状のオブジェクトを配置させる。また、照明分布取得装置４は、画像内の球形又はドーム形状の空間の表面の表示態様を、対応する照明の色温度を示す模様や色となるように更新する。そして、照明分布取得装置４は、表面の表示態様を更新した画像を、測定した照明条件を示す二次元画像とする。以下では、照明分布取得装置４により測定された照明条件を示す二次元画像を、照明分布とする。照明分布取得装置４は、生成した照明分布を情報処理装置１に送信する。
建物の入口のように、外光の影響のある場所では、太陽のような証明強度のレンジが広い照明条件をより正確に測定するため、照明分布取得装置４は、ＨＤＲ（Ｈｉｇｈ Ｄｉｎａｍｉｃ Ｒａｎｇｅ）撮影のできる撮像装置であるのが好ましい。本実施形態では、照明分布取得装置４は、魚眼レンズ装着の撮像装置とした。しかし、照明分布取得装置４は、例えば、通常のカメラと自動雲台との組を複数含み、複数の視点から画像を複数撮影し、スティッチ処理を加えることで、照明分布を生成してもよい。また、照明分布取得装置４は、通常のカメラとミラーボール、反射鏡等を組み合わせて、照明分布を生成するようにしてもよい。また、照明分布取得装置４は、後の照合処理の際に色温度が不要であるなら、色温度を測定せずに、照明方向と照明強度とを測定することとしてもよい。
また、照明分布取得装置４は、照明分布を生成し、生成した照明分布を情報処理装置１に送信することとした。しかし、照明分布取得装置４が測定した照明条件の情報を情報処理装置１に送信し、情報処理装置１が照明分布を生成することとしてもよい。

撮像装置５は、光学レンズと、映像センサと、通信ユニットと、を含むネットワークカメラであり、照合対象の人物を撮影し、撮像した画像を、ネットワーク２を介して、情報処理装置１へ送信する。撮像装置５は、１つの撮像装置であるとするが、複数の撮像装置であってもよい。
ゲート制御装置６は、情報処理装置１から取得した照合対象の人物の認証結果に応じて、開閉を制御する制御信号をフラッパー７の駆動部に送信する。ゲート制御装置６は、フラッパー７を開閉させることで、人物の入場を制御する。
フラッパー７は、開閉部と、開閉部を駆動する駆動部を含み、人物のゲートの通過を物理的に制御する。
また、本実施形態では、画像処理システムの各要素は、それぞれ別個の要素であるとする。しかし、ある要素が他の要素の機能を有することとして、画像処理システムが、その他の要素を含まないこととしてもよい。例えば、照明分布取得装置４は、撮像装置５と同一の装置であるとして、撮像装置５との機能を有し、照合対象の物体を撮影することとしてもよい。また、情報処理装置１は、ゲート制御装置６と同一の装置であるとし、ゲート制御装置６の機能を有し、フラッパー７を制御することとしてもよい。
また、本実施形態では、三次元データ取得装置３は、ゲート制御装置６と異なる場所に配置されているとするが、ゲート制御装置６の近傍（例えば、ゲート制御装置６と同室内、ゲート制御装置６との距離が５メートル以下等）に配置されることとしてもよい。

（情報処理装置のハードウェア構成）
図２は、情報処理装置１のハードウェア構成の一例を示す図である。情報処理装置１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、二次記憶装置１４、通信装置１５、映像出力装置１６、操作入力装置１７を含む。各要素は、接続バス１８を介して、相互に通信可能に接続されている。
ＣＰＵ１１は、ＲＯＭ１２やＲＡＭ１３に格納された制御プログラムを実行することにより、本装置全体の制御を行う。
ＲＯＭ１２は、不揮発性メモリであり、制御プログラムや各種パラメタデータ等を記憶する。制御プログラムは、ＣＰＵ１１により実行され、図４〜６等で後述する各処理が実現される。
ＲＡＭ１３は、揮発性メモリであり、画像のデータ、制御プログラムの実行結果のデータ等を一時的に記憶する。

二次記憶装置１４は、ハードディスク、ソリッドステートドライブ、フラッシュメモリー等の書き換え可能な二次記憶装置であり、各種プログラム、各種設定情報、画像のデータや三次元データ、照明分布のデータ、各種閾値の情報等を記憶する。また、二次記憶装置１４は、制御プログラム、各種設定内容、処理結果等を記憶し、制御プログラムがＣＰＵ１１により実行される際にＲＡＭ１３に出力される。
通信装置１５は、有線通信ユニットであり、ネットワーク２を介して他の装置との通信に利用する。通信装置１５は、無線通信ユニットであってもよい。
映像出力装置１６は、ＣＲＴやＴＦＴ液晶等のモニタであり、ＲＡＭ１３からＣＰＵ１１により送信された画像や制御プログラムの実行結果等を表示する。
操作入力装置１７は、キーボードやマウス等のユーザによる操作を介した入力を受付ける装置である。
ＣＰＵ１１が、ＲＯＭ１２、二次記憶装置１４等に記憶されたプログラムに基づき処理を実行することで、図３、８で後述する情報処理装置１の機能及び図４〜６で後述するフローチャートの処理等が実現される。

（情報処理装置の機能構成）
図３は、本実施形態における情報処理装置１の機能構成の一例を示す図である。情報処理装置１は、三次元データ取得部１０１、生成部１０２、入力部１０３、検出部１０４、特徴抽出部１０５、記憶部１０６、登録部１０７、照明分布取得部１０８、選択部１０９、照合部１１０、出力部１１１を含む。
三次元データ取得部１０１は、三次元データ取得装置３を介して、被写体の三次元データを取得し、二次記憶装置１４に記憶する。本実施形態では、三次元データ取得部１０１は、照合処理の対象となる人物の顔の三次元データを取得する。
生成部１０２は、三次元データ取得部１０１により取得された三次元データと、記憶部１０６により記憶された照明分布と、に基づいて、照明分布が示す照明条件が反映された人物の顔の画像である変動画像を生成する。変動画像は、例えば、照明分布が示す照明条件下における人物の顔の三次元データからレンダリングされた二次元画像である。生成部１０２は、生成した変動画像に、どの照明分布から生成されたのかを示す照明分布情報を紐づけて、検出部１０４へ送信する。照明分布情報としては、例えば、照明分布が取得された時刻の情報、照明分布を識別する番号等がある。
入力部１０３は、撮像装置５を介して、ゲートを通過しようとする人物等の物体の二次元の画像を撮影し、検出部１０４へ送信する。入力部１０３により撮像装置５を介して撮影された物体の画像は、入力画像の一例である。

検出部１０４は、入力部１０３から送信された画像、又は生成部１０２から送信された変動画像から物体を検出する。本実施形態では、検出部１０４は、検出対象の物体として人物の顔を検出し、入力部１０３から送信された画像と生成部１０２から送信された変動画像とのそれぞれから、検出した顔領域を抽出して、抽出した顔領域のデータを、特徴抽出部１０５へ送信する。検出部１０４は、生成部１０２と同様に、変動画像から抽出した顔領域のデータに、どの照明分布から生成されたかを示す照明分布情報を紐づけておく。画像処理システムが人物の顔以外の物体の照合を行う場合、検出部１０４は、照合対象の物体を検出することとなる。
特徴抽出部１０５は、検出部１０４から送信された顔領域のデータから特徴量を抽出する。また、特徴抽出部１０５は、抽出した特徴量を、登録部１０７、又は照合部１１０へ送信する。また、特徴抽出部１０５は、照明分布情報と紐づけられた顔領域のデータから抽出した特徴量については、抽出した特徴量にその照明分布情報を紐付けて、登録部１０７、又は照合部１１０へ送信する。
記憶部１０６は、照明分布取得部１０８から送信された照明分布を二次記憶装置１４に記憶し、生成部１０２、又は選択部１０９へ送信する。

登録部１０７は、特徴抽出部１０５から送信された特徴量と、特徴量に紐づけられた照明分布情報と、を二次記憶装置１４に記憶し、選択部１０９、又は照合部１１０に送信する。このとき、登録部１０７は、特徴抽出部１０５から送信された特徴量と、特徴量に紐づけられた照明分布情報と、を、誰の顔の特徴量であるかを示す人物情報と紐付けて、二次記憶装置１４に記憶する。登録部１０７は、人物情報を、操作入力装置１７を介したユーザによる入力操作に基づいて、取得する。以下では、照明分布情報と、その照明分布情報が示す照明分布に基づいて生成された変動画像内の顔の領域から抽出された特徴量と、その特徴量が誰の顔の領域の特徴量であるかを示す人物情報と、の組の情報を、登録データとする。
照明分布取得部１０８は、照明分布取得装置４を介して、照明分布取得装置４の周囲の現実環境における三次元空間上の照明条件を測定し、測定した照明条件に基づいて、照明分布を取得し、記憶部１０６へ記憶する。
選択部１０９は、照明分布取得部１０８により取得された照明分布に基づいて、二次記憶装置１４に記憶されている過去の登録データから、照合に使用される特徴量を含む登録データを選択する。選択部１０９は、選択した登録データの情報を照合部１１０に送信する。
照合部１１０は、特徴抽出部１０５から送信された入力部１０３により取得された画像から抽出された特徴量と、選択部１０９から送信された登録データに含まれる特徴量と、を照合し、照合結果を出力部１１１へ送信する。
出力部１１１は、例えば、照合部１１０から送信された照合結果を、通信装置１５を介して、ゲート制御装置６等に外部装置に出力する。

（画像処理システムの処理の概要）
本実施形態では、画像処理システムは、複数の人物、複数の照明分布それぞれについて、登録データを生成し、二次記憶装置１４に記憶することで登録する。
本実施形態では、画像処理システムは、照合対象の人物についての登録データを、新たに登録する物体登録処理、新たな照明分布が取得された場合に、その照明分布に応じた登録データを登録する照明分布登録処理、物体を照合する照合処理等の処理を実行する。画像処理システムは、照明分布登録処理を、照合処理のバックグラウンドで実行することとしてもよい。以下、それぞれの処理について説明する。

（物体登録処理）
物体登録処理は、照合対象の候補となる人物についての登録データを登録する処理である。物体登録処理は、新たに取得された人物の三次元モデルと、既に記憶されている照明分布と、を用いて、変動画像を生成し、生成した変動画像から照合に用いられる特徴量を抽出し、登録データを生成し、登録する処理である。
図４は、物体登録処理の一例を示すフローチャートである。
Ｓ１１０１において、三次元データ取得部１０１は、三次元データ取得装置３を介して、照合対象の候補となる人物の顔の三次元データを取得する。三次元データ取得部１０１は、物体の三次元データとして、物体の形状を示すポリゴンメッシュと、物体の質感を表現するテクスチャと、を含むデータを取得する。本実施形態では、三次元データ取得部１０１は、ポリゴンメッシュとして顔の形状、テクスチャとして顔画像をそれぞれ取得する。

Ｓ１１０２において、生成部１０２は、記憶部１０６により二次記憶装置１４に記憶された照明分布を全て取得する。二次記憶装置１４には、予め、記憶部１０６により過去に記憶された照明分布が複数記憶されているものとする。照明分布の記憶に係る処理の詳細は、図５で後述する。照明分布は、照明分布取得装置４の周囲の現実環境の照明条件を示す二次元画像である。人手によるライティングを行わずに、リアルなライティングを実現するイメージ・ベースド・ライティングと呼ばれる手法がある。本実施形態では、画像処理システムは、照合対象の人物がいる現場のライティングをリアルに表現するためにイメージ・ベースド・ライティングを使用する。
Ｓ１１０３において、生成部１０２は、Ｓ１１０２で取得した全ての照明分布から１つを選択し、選択した照明分布について、Ｓ１１０４〜Ｓ１１０８の処理を実行するよう制御する。生成部１０２は、この処理を繰り返し、Ｓ１１０２で取得した全ての照明分布について、Ｓ１１０４〜Ｓ１１０８の処理を実行するよう制御する。

Ｓ１１０４において、生成部１０２は、Ｓ１１０３で選択した照明分布と、Ｓ１１０１で取得された三次元データと、に基づいて、その照明分布が示す照明条件における照合対象の候補となる人物の顔の画像である変動画像を生成する。生成部１０２は、Ｓ１１０４で、照明分布（二次元画像）を使ってライティングを行うイメージベースドライティング（ＩＢＬ）という手法を用いて変動画像を生成する。生成部１０２は、例えば、以下の参考文献１に開示されている手法を用いて、変動画像を生成する。
参考文献１：ＤＥＢＥＶＥＣ、 Ｐ．、 ‘‘Ｉｍａｇｅ−Ｂａｓｅｄ Ｌｉｇｈｔｉｎｇ、’’ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ、 Ｖｏｌ． ２２、 Ｎｏ． ２、 Ｍａｒｃｈ／Ａｐｒｉｌ、 ２００２．

Ｓ１１０５において、検出部１０４は、Ｓ１１０４で生成された変動画像から人物の顔を検出する。検出部１０４は、例えば、以下の参考文献２に開示されている手法を用いて、顔の検出を行う。
参考文献２：Ｒａｐｉｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ ｂｏｏｓｔｅｄ ｃａｓｃａｄｅ ｏｆ ｓｉｍｐｌｅ ｆｅａｔｕｒｅｓ： Ｐ． Ｖｉｏｌａ、 Ｍ． Ｊｏｎｅｓ： ２００１
検出部１０４は、例えば、顔の検出結果として、画像中における顔の領域を表す矩形領域の座標を決定する。検出部１０４は、検出した顔領域に対して、顔サイズや顔の傾きが一定になるよう正規化処理を施す。また、検出部１０４は、顔の目や鼻といった特徴点を抽出し、顔の部分領域を出力するようにしてもよい。検出部１０４は、例えば、以下の参考文献３に開示されている手法を用いて、顔の特徴点を抽出する。
参考文献３：特開２００９−２１１１７７号公報

Ｓ１１０６において、特徴抽出部１０５は、Ｓ１１０５で検出された人物の顔の領域から特徴量を抽出する。特徴抽出部１０５は、例えば、ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴量を抽出する。また、特徴抽出部１０５は、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）特徴量、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量等の特徴量を抽出してもよい。また、特徴抽出部１０５は、例えば、ＬＢＰ特徴量、ＨＯＧ特徴量、ＳＩＦＴ特徴量等のうち、複数を混合した特徴量を抽出することとしてもよい。また、特徴抽出部１０５は、ニューラルネットワークを用いて、特徴量を抽出してもよい。また、特徴抽出部１０５は、抽出した特徴量をＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）等の手法を用いて次元圧縮したものを、新たに特徴量としてもよい。

Ｓ１１０７において、登録部１０７は、Ｓ１１０６で抽出した特徴量と、その特徴量が誰の顔から抽出されたかを示す人物情報と、その特徴量がどの照明分布に基づき生成されたかを示す照明分布情報と、の組を、登録データとして二次記憶装置１４に記憶する。
Ｓ１１０８において、生成部１０２は、Ｓ１１０２で取得した全ての照明分布について、Ｓ１１０３〜Ｓ１１０７の処理が完了しているか否かを判定する。生成部１０２は、Ｓ１１０２で取得した全ての照明分布について、Ｓ１１０３〜Ｓ１１０７の処理が完了していると判定した場合、図４の処理を終了する。生成部１０２は、Ｓ１１０２で取得した照明分布の中に、Ｓ１１０３〜Ｓ１１０７の処理が完了していないものがあると判定した場合、Ｓ１１０３の処理に進む。

以上、物体登録処理について説明した。
本実施形態では、情報処理装置１は、照合対象の物体の三次元データを取得した後に照明分布を取得することとしたが、この順番はこの限りではなく、照明分布を取得した後で、照合対象の物体の三次元データを取得してもよい。
本実施形態では、情報処理装置１は、二次記憶装置１４に記憶されている全ての照明分布それぞれについて、対応する変動画像を生成したが、一部の照明分布だけについて生成してもよい。例えば、類似する照明分布が複数記憶されている場合、情報処理装置１は、類似する複数の照明分布のうちの１つを、代表の照明分布として、代表の照明分布に基づいて、変動画像を生成し、他の照明分布は使用しないようにしてもよい。照明分布が類似しているか否か判定する処理の詳細は、図７で後述する。

（照明分布登録処理）
以下では、照明分布登録処理について説明する。照明分布登録処理は、照明分布が新たに取得された場合、取得された照明分布に対応する登録データを生成し、登録する処理である。即ち、照明分布登録処理は、新たに取得された照明分布と、その時点で既に取得されている照合対象である物体の三次元データと、に基づいて変動画像を生成し、登録する処理である。画像処理システムは、照明分布登録処理により、リアルタイムに変化する照明分布を記録し、その照明分布に応じた登録データを生成し、登録することができる。
図５は、照明分布登録処理の一例を示すフローチャートである。
Ｓ１２０１において、照明分布取得部１０８は、照明分布の取得を実行するか否かを判定する。本実施形態では、画像処理システムは、予め定められた間隔毎に周期的に照明分布を取得することとする。そのため、照明分布取得部１０８は、前回、照明分布を取得してから、経過した時間が、予め定められた時間以上であれば、照明分布の取得を実行すると判定する。また、照明分布取得部１０８は、前回、照明分布を取得してから、経過した時間が、予め定められた時間未満であれば、照明分布の取得を実行しないと判定する。
照明分布取得部１０８は、照明分布の取得を実行すると判定した場合、Ｓ１２０３の処理に進み、照明分布の取得を実行しないと判定した場合、Ｓ１２０２の処理に進む。

Ｓ１２０２において、照明分布取得部１０８は、予め定められた時間、待機する。
Ｓ１２０３において、照明分布取得部１０８は、照明分布を取得する。照明分布取得部１０８は、例えば、照明分布取得装置４を介して、照明分布を取得する。
Ｓ１２０４において、記憶部１０６は、Ｓ１２０３で取得された照明分布を、二次記憶装置１４に記憶する。
Ｓ１２０５において、生成部１０２は、三次元データ取得部１０１により二次記憶装置１４に記憶された物体の三次元モデルを取得し、二次記憶装置１４からＳ１２０３で取得された照明分布を取得する。
Ｓ１２０６において、生成部１０２は、Ｓ１２０５で取得した全ての三次元モデルから、１つを選択し、選択した三次元モデルについて、Ｓ１２０７〜Ｓ１２１１の処理が実行されるよう制御する。そして、生成部１０２は、この処理を繰り返すことで、Ｓ１２０５で取得した全ての三次元モデルについて、Ｓ１２０７〜Ｓ１２１１の処理が実行されるよう制御する。

Ｓ１２０７において、生成部１０２は、Ｓ１２０６で選択された三次元データと、Ｓ１２０３で取得された照明分布と、に基づいて、変動画像を生成する。
Ｓ１２０８において、検出部１０４は、Ｓ１２０７で生成された変動画像から人物の顔を検出する。
Ｓ１２０９において、特徴抽出部１０５は、Ｓ１２０８で検出された変動画像の顔領域から特徴量を抽出する。
Ｓ１２１０において、登録部１０７は、抽出した特徴量と、その特徴量が誰の顔から抽出されたかを示す人物情報と、Ｓ１２０３で取得された照明分布を示す照明分布情報と、の組を、登録データとして二次記憶装置１４に記憶する。登録部１０７は、例えば、人物情報として、人物名を示す文字列や人物を識別する数字等の情報を記憶する。

Ｓ１２１１において、生成部１０２は、Ｓ１２０５で取得した全ての三次元モデルについて、Ｓ１２０７〜Ｓ１２１０の処理が完了しているか否かを判定する。生成部１０２は、Ｓ１２０５で取得した全ての三次元モデルについて、Ｓ１２０７〜Ｓ１２１０の処理が完了していると判定した場合、Ｓ１２１２の処理に進む。生成部１０２は、Ｓ１２０５で取得した三次元モデルの中に、Ｓ１２０７〜Ｓ１２１０の処理が完了していないものがあると判定した場合、Ｓ１２０６の処理に進む。
Ｓ１２１２において、照明分布取得部１０８は、操作入力装置１７を介したユーザによる入力操作に基づいて、照明分布登録処理の終了指示を受付けたか否かを判定する。照明分布取得部１０８は、照明分布登録処理の終了指示を受付けたと判定した場合、図５の処理を終了し、照明分布登録処理の終了指示を受付けていないと判定した場合、Ｓ１２０１の処理に進む。

以上、照明分布登録処理について説明した。
本実施形態では、三次元データ、照明分布、特徴量のデータは、それぞれ個別の情報処理装置１の機能構成要素が管理しているとするが、１つの機能構成要素が、全てのデータを管理することとしてもよい。
本実施形態では、照明分布取得部１０８は、Ｓ１２０１で、前回、照明分布を取得した時刻から予め定められた時間が経過している場合、照明分布の取得を行うこととした。しかし、照明分布取得部１０８は、例えば、過去に取得した照明分布に対応する照明条件に対して、照明分布取得装置４を介して取得した現在の照明条件が類似している場合、Ｓ１２０３以降の処理を行わないこととしてもよい。また、照明分布取得部１０８は、例えば、過去に取得した照明分布に対応する照明条件に対して、照明分布取得装置４を介して取得した現在の照明条件が類似していない場合、Ｓ１２０３以降の処理を行うこととしてもよい。

画像処理システムは、過去に取得された照明分布と、過去に取得された人物の三次元モデルと、に対応する登録データを二次記憶装置１４に蓄積していくことで、様々な照明条件に応じた照合に利用される特徴量を蓄積していく。これにより、画像処理システムは、照合対象として、入力された画像に対して、様々な照明条件を考慮した照合処理を行うことができるようになる。そのため、類似する照明分布に対応する登録データを再度登録することが不要である場合がある。
そこで、照明分布取得部１０８は、過去に取得した照明分布に対応する照明条件と、照明分布取得装置４を介して取得した現在の照明条件と、が類似している場合、Ｓ１２０３以降の処理を行わないようにすることで、以下のような効果を奏することができる。即ち、画像処理システムは、不要な処理の負担を軽減することができる。照明分布が類似しているか否か判定する処理は、図７で後述する。

（照合処理）
以下では、照合処理について説明する。
図６は、照合処理の一例を示すフローチャートである。
Ｓ１３０１において、入力部１０３は、撮像装置５を介して、ゲートを通過しようとする人物の顔の画像を撮影する。
Ｓ１３０２において、検出部１０４は、Ｓ１３０１で撮影された画像から人物の顔を検出する。ゲートを通過しようとする人物がいれば、Ｓ１３０２で検出部１０４により、検出され、照合されることになる。検出部１０４は、Ｓ１３０１で撮影された画像中におけるゲートを通過する人物が写り得る範囲として予め定められた範囲から検出する。これにより、検出部１０４は、ゲートから離れた位置にいる人を照合して、ゲートが誤動作する可能性を低減できる。また、検出部１０４は、Ｓ１３０１で撮影された画像の全領域から顔を検出してもよい。
Ｓ１３０３において、検出部１０４は、Ｓ１３０２で１つ以上の顔が検出されたか否かを判定する。検出部１０４は、Ｓ１３０２で１つ以上の顔が検出されたと判定した場合、Ｓ１３０４の処理に進み、Ｓ１３０２で１つも顔が検出されなかったと判定した場合、Ｓ１３０１の処理に進む。

Ｓ１３０４において、特徴抽出部１０５は、Ｓ１３０１で撮影された画像中のＳ１３０２で検出された顔の領域から特徴量を抽出する。特徴抽出部１０５は、Ｓ１３０２で検出された顔が複数ある場合、顔のサイズが最も大きいものから特徴量を抽出する。特徴抽出部１０５は、Ｓ１３０１で撮影された画像中の予め定められた座標範囲内で検出された顔を、特徴量を抽出する対象の顔として決定してもよい。これにより、情報処理装置１は、照合対象の人物がゲートを通過する際、別の人物から抽出された特徴量に応じた照合が行われ、フラッパー７が開閉する可能性を軽減できる。特徴抽出部１０５は、Ｓ１３０２で検出されたすべての顔の領域それぞれから特徴量を抽出してもよい。その場合、情報処理装置１は、顔を追尾する等して、それぞれの人物がフラッパー７の直前に来たときに開閉を制御するようにすることとなる。
Ｓ１３０５において、照明分布取得部１０８は、照明分布取得装置４を介して、照明分布を取得する。これにより、照明分布取得部１０８は、人物がゲートを通過しようとする際の現実環境における照明条件を取得できる。
Ｓ１３０６において、選択部１０９は、Ｓ１３０５で取得された照明分布に基づいて、記憶部１０６に記憶されている複数の登録データの中から、照合に用いられる特徴量を含む登録データを選択する。

図７は、登録データの選択方法の一例を説明する図である。図７の上段の左部に記憶部１０６により二次記憶装置１４に記憶された過去の照明分布を示す表が示される。また、図７の上段の右部に、照合の際に取得された照明分布（Ｓ１３０５で取得された照明分布）が示される。記憶部１０６により二次記憶装置１４に記憶された照明分布の情報は、それぞれの照明分布がいつ撮影されたかを示す照明分布情報が紐づけられている。照明分布は、球状又はドーム状の図形を含む二次元画像である。
図７の下段には、登録部１０７により二次記憶装置１４に記憶された登録データが示されている。図７の下段に示されるように、登録データは、特徴量（ベクトル）と、人物情報と、特徴量を抽出した変動画像に使われた照明分布の照明分布情報と、の組の情報である。図７を用いて、選択部１０９が登録データを選択する手法の一例について説明する。

選択部１０９は、まず、過去の照明分布と、Ｓ１３０５で取得された照明分布と、を比較し、過去の照明分布の中から、Ｓ１３０５で取得された照明分布に類似する照明分布を特定する。照明分布は、二次元画像である。そのため、選択部１０９は、以下のような公知の比較手法を用いて、照明分布の比較を行うことができる。選択部１０９は、例えば、ｃｏｓ類似度を用いて、照明分布の比較を行うことができる。類似度をＳとすると、ｃｏｓ類似度は、以下の式１で表される。
Ｓ＝（Ａ・Ｂ）／（｜Ａ｜｜Ｂ｜） （式１）
式１で、Ａは、Ｓ１３０５で取得された照明分布の画素値を並べたベクトルである。Ｂは、Ｓ１３０５で取得された照明分布と比較される過去の照明分布の画素値を並べたベクトルである。Ａ、Ｂ∈Ｒ^Dである。Ｄは、次元数であり、例えば、照明分布の画素数である。

選択部１０９は、二次記憶装置１４に記憶されている過去の照明分布それぞれについて、式１を用いて、Ｓ１３０５で取得された照明分布との類似度Ｓを取得する。そして、選択部１０９は、最も大きい類似度Ｓに対応する過去の照明分布を、Ｓ１３０５で取得された照明分布と類似する照明分布として特定する。また、選択部１０９は、予め定められた閾値以上の類似度Ｓに対応する過去の照明分布を、Ｓ１３０５で取得された照明分布と類似する照明分布として特定することとしてもよい。
また、選択部１０９は、２つの照明分布の比較に用いられる距離尺度として、ｃｏｓ類似度以外の距離尺度を用いてもよい。選択部１０９は、例えば、正規化相互相関を用いてもよい。また、選択部１０９は、距離関数を学習によって計算するメトリックラーニングの手法を用いて、２つの照明分布の比較を行ってもよい。また、選択部１０９は、式１を用いて取得した類似度を所定の範囲の値になるように正規化してもよい。

選択部１０９は、過去の照明分布の中から、Ｓ１３０５で取得された照明分布と類似する照明分布を特定したら、特定した照明分布に対応する登録データを選択する。選択部１０９は、Ｓ１３０５で取得された照明分布と類似する照明分布として、例えば、図７上段の左部の表のＮｏ．２（図中の矢印箇所）の照明分布が特定されたとする。
続いて、選択部１０９は、図７の下段の表に示される二次記憶装置１４に記憶された登録データのうち、対応する照明分布情報が、特定した照明分布に対応する照明分布情報と一致する登録データを選択する。選択部１０９に特定されたＮｏ．２の照明分布に対応する照明分布情報は、「２０１６／０１／０２ １１：００：００」である。そのため、選択部１０９は、二次記憶装置１４に記憶されている登録データの中から、対応する照明分布情報が、「２０１６／０１／０２ １１：００：００」であるものを選択する。選択部１０９は、図７下段の表のＮｏ．２、Ｎｏ．５、Ｎｏ．７の登録データ（図中の矢印箇所）を選択する。
以上が、登録データの選択手法の一例の説明である。画像処理システムは、照明分布同士の比較を行い、Ｓ１３０５で取得された照明分布と類似する照明分布を特定することとした。これにより、画像処理システムは、変動画像や特徴量同士を比較して、Ｓ１３０５で取得された照明分布と類似する照明分布を特定する場合よりも、処理の負荷を軽減できる。

また、本実施形態では、Ｓ１３０５で取得された照明分布と類似する照明分布として特定された照明分布に対応する登録データが、全人物について二次記憶装置１４に記憶されているとした。しかし、情報処理装置１は、照合の際に、全人物について、ある照明分布に応じた登録データを二次記憶装置１４に記憶できていない場合がある。例えば、図７下段の表において、人物Ａについて、照明分布情報「２０１６／０１／０２ １２：００：００」の登録データ（Ｎｏ．３）が記憶されている。しかし、人物Ｂ、Ｃについては、照明分布情報「２０１６／０１／０２ １２：００：００」の登録データが記憶されていない。
これは、照合処理のバックグラウンドで、照明分布登録処理が実行されているが、変動画像の生成、及び特徴量抽出が間に合っていないためである。このような場合、画像処理システムは、照明分布情報「２０１６／０１／０２ １２：００：００」の照明分布を、Ｓ１３０５で取得された照明分布と類似する照明分布として特定したならば、以下の処理を行う。即ち、画像処理システムは、照明分布情報「２０１６／０１／０２ １２：００：００」に対応する全人物の登録データが二次記憶装置１４に記憶されていないことを検知する。そして、画像処理システムは、過去の照明分布から、Ｓ１３０５で取得された照明分布と、次に類似（類似度が次に高い）する照明分布を特定し、特定した照明分布に対応する全人物の登録データが存在する場合、その登録データに含まれる特徴量を用いて照合を行う。

また、本実施形態では、選択部１０９は、過去の照明分布から、Ｓ１３０５で取得された照明分布と類似する照明分布を一つだけ特定したが、Ｓ１３０５で取得された照明分布と類似する照明分布を複数特定してもよい。その場合、選択部１０９は、特定した照明分布それぞれに対応する登録データを選択することとなる。
また、画像処理システムは、Ｓ１３０５で取得された照明分布と類似する照明分布がない場合（Ｓ１３０８で取得された類似度のうち、予め定められた閾値以上のものがない場合）がある。そのような場合には、画像処理システムは、照明分布登録処理により、新たな照明分布をもとにした登録データが登録されるまで、待機してもよい。また、画像処理システムは、Ｓ１３０８で取得された類似度のうち最も高いものに対応する照明分布に対応する登録データに含まれる特徴量に基づいて、照合してもよい。また、画像処理システムは、Ｓ１３０８で取得された類似度のうち、最も高いものから予め定められた個数（例えば、３個等）の類似度に対応する照明分布それぞれに対応する登録データに含まれる特徴量に基づいて、照合してもよい。

Ｓ１３０７において、照合部１１０は、Ｓ１３０６で選択された登録データから、１つ選択し、選択した登録データに含まれる特徴量について、Ｓ１３０８〜Ｓ１３０９の処理を実行するよう制御する。照合部１１０は、この処理を繰り返すことで、Ｓ１３０６で選択された登録データに含まれる特徴量の全てについて、Ｓ１３０８〜Ｓ１３０９の処理を実行するよう制御する。
Ｓ１３０８において、照合部１１０は、以下のような処理を行うことで、ゲートを通過しようとする人物の顔を照合する。照合部１１０は、Ｓ１３０４で抽出された特徴量と、Ｓ１３０７で選択された登録データに含まれる特徴量と、の類似の度合いを示す類似度を取得する。照合部１１０は、例えば、式１を用いて、特徴量同士の類似度を取得する。この場合、式１のＡは、Ｓ１３０４で抽出された特徴量を示すベクトルであり、式１のＢは、Ｓ１３０７で選択された登録データに含まれる特徴量を示すベクトルである。
Ｓ１３０９において、照合部１１０は、Ｓ１３０６で選択された登録データの全てに含まれる特徴量について、Ｓ１３０８の処理を実行したか否かを判定する。照合部１１０は、Ｓ１３０６で選択された登録データの全てについて、Ｓ１３０８の処理を実行したと判定した場合、Ｓ１３１１の処理に進む。照合部１１０は、Ｓ１３０６で選択された登録データに、Ｓ１３０８の処理を実行していないものがあると判定した場合、Ｓ１３０７の処理に進む。

Ｓ１３１０において、照合部１１０は、Ｓ１３０８で取得された類似度に基づいて、ゲートを通過しようとしている人物を認証するか否かの最終的な認証結果を決定する。より具体的には、照合部１１０は、Ｓ１３０８で取得された類似度のうち、最も高い類似度を特定し、特定した類似度が予め定められた閾値以上である場合、以下の処理を行う。即ち、照合部１１０は、ゲートを通過しようとする人物の顔と、その特定した類似度がＳ１３０８で取得された際に、Ｓ１３０７で選択されていた登録データに含まれる人物情報が示す人物の顔と、が同一であると照合する。この人物情報が示す人物の顔は、第１の物体の一例である。また、ゲートを通過しようとする人物の顔は、第２の物体の一例である。照合部１１０は、ゲートを通過しようとする人物の顔と、この人物情報が示す人物の顔と、が同一であると照合した場合、ゲートを通過しようとする人物を認証する。また、照合部１１０は、その特定した類似度が予め定められた閾値未満である場合、ゲートを通過しようとする人物が登録されている人物のうちの誰でもないとして、認証しない。
Ｓ１３１１において、出力部１１１は、Ｓ１３１０での認証処理の結果を、ゲート制御装置６等の外部装置に送信する。ゲート制御装置６は、受信した認証処理の結果に応じて、フラッパー７の開閉を制御する。これにより、画像処理システムは、人物がゲートを通過できるか否かを制御する入退室管理を実現できる。
Ｓ１３１２において、照合部１１０は、操作入力装置１７を介したユーザによる入力操作に基づいて、照合処理の終了指示を受付けたか否かを判定する。照合部１１０は、照合処理の終了指示を受付けたと判定した場合、図６の処理を終了し、照合処理の終了指示を受付けていないと判定した場合、Ｓ１３０１の処理に進む。

以上、照合処理の一例について説明した。
このように、画像処理システムは、照合の現場で撮影した照明分布と、記録しておいた過去の照明分布とを比較し、類似する照明分布を特定し、特定した照明分布に対応する登録データに含まれる特徴量を用いて、照合することとした。このように、画像処理システムは、照合の現場で撮影した照明分布と類似する照明分布に応じた特徴量を用いることで、照合の精度を向上させることができる。
本実施形態では、入力部１０３は、撮像装置５を介して、撮影することで、照合処理を行う二次元画像を取得した。しかし、入力部１０３は、例えば、撮像装置５を介して、三次元画像を取得した上で、取得した三次元画像に基づいて、レンダリングした二次元画像を取得して照合してもよい。また、入力部１０３は、外部の装置から照合処理を行う二次元画像を、ネットワークを介して、取得してもよい。

また、本実施形態では、画像処理システムは、２つの照明分布同士の比較において、照明分布全体の画素値を並べたベクトルを用いて、類似度を取得した。しかし、例えば、現実環境の一部の領域の照明条件が、他の領域における照明条件よりも影響が強い場合がある。例えば、晴れた日の日中の室内においては、窓際の領域における照明条件が、他の領域における照明条件よりも強くなる。そこで、画像処理システムは、Ｓ１３０６で、照明分布に含まれる予め定められた領域（例えば、窓際の領域等）に対応する部分について、Ｓ１３０５で取得された照明分布と、過去に取得された照明分布と、の類似度を取得してもよい。また、画像処理システムは、照明分布取得装置４を介して、予め定められた領域（例えば、窓際の領域等）についての照明条件を取得し、取得した照明条件を示す照明分布を生成することとしてもよい。
これにより、画像処理システムは、処理の負担を軽減できる。
また、本実施形態では、画像処理システムは、照明分布登録処理を、照合処理のバックグラウンドで実行するとした。しかし、画像処理システムは、照合処理を止めて、照明分布登録処理を実行する期間を設けてもよい。これにより、画像処理システムは、登録データをより効率よく蓄積できる。

以上、本実施形態では、画像処理システムは、照明分布取得装置４を介して、光学的に現実環境の照明条件を取得し、取得した照明条件を示す照明分布を生成した。画像処理システムは、生成した照明分布と照合対象の物体である人物の顔の三次元モデルとに基づいて、変動画像を生成した。そして、画像処理システムは、撮像装置５により撮影されたゲートを通過しようとする人物の画像から抽出された顔領域の特徴量と、生成した変動画像から抽出された顔領域の特徴量と、に基づいて、以下の処理を実行した。即ち、画像処理システムは、ゲートを通過しようとする人物が変動画像に対応する人物と同一か否かを照合することで、ゲートを通過しようとする人物の認証を実行した。
このように、画像処理システムは、実際の照明条件を反映した変動画像を生成し、照合に用いることで、より精度良く人物を照合することができる。

また、本実施形態では、画像処理システムは、予め、照合対象の各人物の三次元モデルと、過去に取得された照明分布と、に基づいて、変動画像を生成した。そして、画像処理システムは、生成した変動画像から顔領域を検出し、検出した顔領域から特徴量を抽出し、抽出した特徴量を、対応する人物情報と、対応する照明分布情報と、紐付けて、登録データとして二次記憶装置１４に記憶した。画像処理システムは、ゲートを通過しようとする人物の認証を行う際に、照明分布取得装置４を介して、照明分布を取得し、過去に取得された照明分布のうち取得した照明分布に類似する照明分布を特定し、特定した照明分布に対応する登録データを選択した。そして、画像処理システムは、選択した登録データに含まれる特徴量と、撮像装置５を介して撮影したゲートを通過しようとする人物の画像の顔領域から抽出した特徴量と、に基づいて、ゲートを通過しようとする人物の照合を実行した。
即ち、画像処理システムは、照合の際に改めて、照明分布取得装置４を介して取得された照明分布を用いて、照合に用いられる変動画像を生成したり、特徴量を抽出したりする必要がない。これにより、画像処理システムは、人物の照合処理を高速化できる。

＜実施形態２＞
実施形態１では、画像処理システムは、複数の登録データの中から、照合に用いられる特徴量を含む登録データを選択するために、照合の際に取得された照明分布と、過去に取得された照明分布と、の比較を行った。本実施形態では、画像処理システムは、過去に取得された照明分布のそれぞれに、照明分布が取得された際の現実環境に関する情報である環境情報を紐付けて二次記憶装置１４に記憶する。そして、画像処理システムは、照合の際に照合が行われる場所の現実環境の環境情報を取得し、取得した環境情報に基づいて、二次記憶装置に記憶された過去の照明分布から、照合の際の現実環境の照明条件を示す照明分布に類似する照明分布を特定する。
本実施形態の画像処理システムのシステム構成は、実施形態１と同様である。また、情報処理装置１のハードウェア構成についても、実施形態１と同様である。

図８は、本実施形態の情報処理装置１の機能構成の一例を示す図である。本実施形態の情報処理装置１は、図３に示される各機能構成要素に加えて、環境情報取得部２１２を含む。
環境情報取得部２１２は、照明分布取得部１０８により照明分布取得装置４を介して、照明分布が取得された際の環境情報を取得し、取得された照明分布に対応する登録データに、取得した環境情報を含ませる。記憶部１０６は、環境情報を含む登録データを二次記憶装置に記憶することとなる。環境情報とは、日時や天気、気温、湿度、場所、周囲の人の数といった現実環境に関する情報である。環境情報取得部２１２は、例えば、温度センサ、感光センサ、湿度センサ、ＧＰＳセンサ、人感センサ等のセンサを介して、気温、湿度、場所、周囲の人の数等の環境情報を取得することができる。また、環境情報取得部２１２は、撮像装置５を介して撮影された画像から、人物を検出することで、周囲の人の数を取得することができる。また、環境情報取得部２１２は、例えば、Ｗｅｂから情報を検索することで、日時や天気等の環境情報を取得することができる。

記憶部１０６は、照明分布取得部１０８から取得した照明分布と、環境情報取得部２１２が取得した環境情報と、を紐づけて、二次記憶装置に記憶することで、過去の照明分布の情報を蓄積する。図９は、記憶部１０６に記憶された照明分布の情報の一例を示す図である。選択部１０９は、この情報を用いて、二次記憶装置１４に記憶された過去の照明分布から、照合の際に取得された照明分布と類似する照明分布を特定する。
本実施形態の選択部１０９による処理の一例を説明する。選択部１０９は、実施形態１と異なり、照明分布同士の比較を行わずに環境情報同士を比較することとなる。選択部１０９は、照合の際に、照合が行われる場所（ゲート付近）の環境情報を取得する。取得された環境情報は、前記入力画像が撮影された際の現実環境に関する情報である第２の環境情報の一例である。そして、選択部１０９は、取得した環境情報と、過去の照明分布と紐付けて記憶されている環境情報と、に基づいて、過去の照明分布の中から照合の際の現実環境の照明条件を示す照明分布に類似する照明分布を選択する。過去の照明分布と紐付けて記憶されている環境情報は、過去に照明分布が取得された際の現実環境に関する情報である第１の環境情報の一例である。

より具体的には、選択部１０９は、例えば、環境情報の一致性に基づいて、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布を選択する。選択部１０９は、例えば、過去の照明分布と紐付けて記憶されている環境情報から、照合の際に取得された環境情報と一致するものを特定する。そして、選択部１０９は、特定した環境情報に紐付けられた照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定する。
また、選択部１０９は、過去の照明分布と紐付けて記憶されている環境情報から、対応する天気、気温、場所の情報が、照合の際に取得された環境情報と一致するものを特定してもよい。そして、選択部１０９は、特定した環境情報に紐付けられた照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定してもよい。
また、選択部１０９は、過去の照明分布に紐付けられた環境情報から、日時、天気、湿度、気温、場所、周囲の人の数等のうちの予め定められた少なくとも１以上の情報が、照合の際に取得された環境情報と一致するものを特定してもよい。そして、選択部１０９は、特定した環境情報に紐付けられた照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定してもよい。例えば、周囲の人の数が多い場合、照明が人に遮られて照明分布が変わることがある。そのため、選択部１０９は、周囲の人の数を選択の基準にすることで、このような場合でも適切な照明分布を特定できる。

また、選択部１０９は、例えば、過去の照明分布と紐付けて記憶されている環境情報から、照合の際に取得された環境情報と類似するものを特定してもよい。そして、選択部１０９は、特定した環境情報に紐付けられた照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定してもよい。
選択部１０９は、例えば、過去の照明分布と紐付けて記憶されている環境情報と、照合の際に取得された環境情報と、の差分が予め定められた閾値以下である場合、以下の処理を行う。即ち、選択部１０９は、その過去の照明分布と紐付けて記憶されている環境情報に対応する照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定する。選択部１０９は、例えば、過去の照明分布と紐付けて記憶されている環境情報と、照合の際に取得された環境情報と、の温度、湿度、場所の差分が予め定められた閾値以下である場合、以下の処理を行うこととしてもよい。即ち、選択部１０９は、その過去の照明分布と紐付けて記憶されている環境情報に対応する照明分布を、照合の際の現実環境の照明条件を示す照明分布と類似する照明分布として特定してもよい。
また、画像処理システムは、照合の際に周囲の人の数が少ない場合、即ち、ゲートを通過しようとする人が予め定められた閾値（例えば、２等）以下である場合、より素早く照合するよりも、より精度よく照合するために、以下の処理を行うこととしてもよい。即ち、画像処理システムは、照合の際に照明分布取得装置４を介して取得された照明分布に基づいて、登録データを生成する。そして、画像処理システムは、生成した登録データに含まれる特徴量と、照合の際に撮像装置５を介して撮影された画像から抽出された特徴量と、に基づいて、照合を行うこととしてもよい。

以上、本実施形態では、画像処理システムは、環境情報を比較し、照合の際の照明条件を示す照明分布に類似する照明分布を特定することとした。これにより、画像処理システムは、照明分布同士を比較する場合よりも、処理の量を軽減できる。照明分布は、屋外の場合、季節や時間、場所といった環境情報に依存するため、画像処理システムは、環境情報に基づいて、照合の際の照明条件を示す照明分布に類似する照明分布を特定できる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した画像処理システムの機能構成の一部又は全てをハードウェアとして情報処理装置１に実装してもよい。
実施形態１のように、画像処理システムが、予め定められた間隔毎に照明分布を取得し、登録データを生成していると、天気の急激な変化や照明設備の点灯・消灯等に対応できない場合が有りうる。その場合は、画像処理システムは、照明分布取得装置４を介して、照明分布を取得する時間的な間隔を予め定められた値以下にして、照明分布を取得する度に、以下の処理を行うようにすればよい。即ち、画像処理システムは、取得した照明分布と、過去の最新の照明分布と、を比較し、類似していない場合のみ取得した照明分布を記録し、対応する登録データの生成、登録を行えばよい。その場合、情報処理装置１は、照明分布の記録と登録データの生成を繰り返す計算負荷に耐えられる処理リソースを有することとすればよい。また、画像処理システムは、照合処理が行われていない場合のみ、以上のような処理を行うこととしてもよい。
実施形態１、２では、画像処理システムは、人物の顔の照合を行ったが、人物の全体、人物の上半身、車、動物、貨物等の他の物体の照合を行ってもよい。
実施形態１、２では、情報処理装置１は単体の情報処理装置であるとしたが、複数のＰＣ、サーバ装置、タブレット装置等であるとしてもよい。その場合、情報処理装置１に含まれる各情報処理装置のＣＰＵが、各情報処理装置の補助記憶装置に記憶されるプログラムに基づき、連携して処理を実行することで、図３、８の機能及び図４〜６のフローチャートの処理等が実現される。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。

１ 情報処理装置
４ 照明分布取得装置
５ 撮像装置

Claims (18)

1. 現実環境の照明条件を取得する取得手段と、
   第１の物体の三次元データと、前記取得手段により取得された照明条件と、に基づいて、前記照明条件が反映された前記第１の物体の画像である変動画像を生成する生成手段と、
   前記生成手段により生成された変動画像の特徴量と、入力画像の特徴量と、に基づいて、前記第１の物体と、前記入力画像に含まれる第２の物体と、が同一であるか否かを照合する照合手段と、
   を有する情報処理装置。
2. 前記取得手段は、前記現実環境の照明条件を、光学的に測定する測定装置を介して取得する請求項１記載の情報処理装置。
3. 前記取得手段は、照明の方向と、照明の強度と、に関する条件を含む照明条件を取得する請求項１又は２記載の情報処理装置。
4. 前記取得手段は、照明の色温度に関する条件を含む照明条件を取得する請求項１乃至３何れか１項記載の情報処理装置。
5. 前記照合手段は、前記生成手段により前記第１の物体の三次元データと前記取得手段により予め取得された複数の照明条件それぞれとに基づいて予め生成された複数の変動画像のうち、対応する照明条件が、前記入力画像が撮影された際に前記取得手段により取得された照明条件と類似する変動画像の特徴量と、前記入力画像の特徴量と、に基づいて、前記第１の物体と、前記第２の物体と、が同一であるか否かを照合する請求項１乃至４何れか１項記載の情報処理装置。
6. 前記照合手段は、前記複数の変動画像それぞれに対応する照明条件と、前記入力画像が撮影された際に前記取得手段により取得された照明条件と、の類似の度合いを示す類似度を取得し、取得した類似度に基づいて、前記複数の変動画像のうち、対応する照明条件が、前記入力画像が撮影された際に前記取得手段により取得された照明条件と類似する変動画像を特定し、特定した変動画像の特徴量と、前記入力画像の特徴量と、に基づいて、前記第１の物体と、前記第２の物体と、が同一であるか否かを照合する請求項５記載の情報処理装置。
7. 前記照合手段は、前記複数の変動画像それぞれに対応する予め定められた領域の照明条件と、前記入力画像が撮影された際に前記取得手段により取得された前記予め定められた領域の照明条件と、の類似の度合いを示す類似度を取得し、取得した類似度に基づいて、前記複数の変動画像のうち、対応する照明条件が、前記入力画像が撮影された際に前記取得手段により取得された照明条件と類似する変動画像を特定し、特定した変動画像の特徴量と、前記入力画像の特徴量と、に基づいて、前記第１の物体と、前記第２の物体と、が同一であるか否かを照合する請求項６記載の情報処理装置。
8. 前記生成手段により生成された変動画像を、記憶部に記憶する記憶手段を更に有し、
   前記照合手段は、前記記憶部に記憶された前記複数の変動画像のうち、対応する照明条件が、前記入力画像が撮影された際に前記取得手段により取得された照明条件と類似する変動画像の特徴量と、前記入力画像の特徴量と、に基づいて、前記第１の物体と、前記第２の物体と、が同一であるか否かを照合する請求項５乃至７何れか１項記載の情報処理装置。
9. 前記記憶手段は、対応する照明条件が前記生成手段により生成された変動画像と類似する変動画像が前記記憶部に記憶されている場合、前記生成手段により生成された変動画像を前記記憶部に記憶しない請求項８記載の情報処理装置。
10. 前記照合手段は、前記複数の照明条件それぞれが前記取得手段により取得された際の現実環境に関する情報である第１の環境情報と、前記入力画像が撮影された際の現実環境に関する情報である第２の環境情報と、に基づいて、前記複数の変動画像から、対応する照明条件が、前記入力画像が撮影された際に前記取得手段により取得された照明条件と類似する変動画像を特定し、特定した変動画像の特徴量と、前記入力画像の特徴量と、に基づいて、前記第１の物体と、前記第２の物体と、が同一であるか否かを照合する請求項５記載の情報処理装置。
11. 前記第１の環境情報と前記第２の環境情報とには、前記取得手段により照明条件が取得された時刻の情報が含まれ、
    前記照合手段は、前記第１の環境情報に含まれる照明条件が取得された時刻の情報と、前記第２の環境情報に含まれる照明条件が取得された時刻の情報と、に基づいて、前記複数の変動画像から、対応する照明条件が、前記入力画像が撮影された際に前記取得手段により取得された照明条件と類似する変動画像を特定し、特定した変動画像の特徴量と、前記入力画像の特徴量と、に基づいて、前記第１の物体と、前記第２の物体と、が同一であるか否かを照合する請求項１０記載の情報処理装置。
12. 前記第１の環境情報と前記第２の環境情報とには、前記取得手段により照明条件が取得された天気の情報が含まれ、
    前記照合手段は、前記第１の環境情報に含まれる照明条件が取得された天気の情報と、前記第２の環境情報に含まれる照明条件が取得された天気の情報と、に基づいて、前記複数の変動画像から、対応する照明条件が、前記入力画像が撮影された際に前記取得手段により取得された照明条件と類似する変動画像を特定し、特定した変動画像の特徴量と、前記入力画像の特徴量と、に基づいて、前記第１の物体と、前記第２の物体と、が同一であるか否かを照合する請求項１０記載の情報処理装置。
13. 前記第１の環境情報と前記第２の環境情報とには、前記取得手段により照明条件が取得された場所の情報が含まれ、
    前記照合手段は、前記第１の環境情報に含まれる照明条件が取得された場所の情報と、前記第２の環境情報に含まれる照明条件が取得された場所の情報と、に基づいて、前記複数の変動画像から、対応する照明条件が、前記入力画像が撮影された際に前記取得手段により取得された照明条件と類似する変動画像を特定し、特定した変動画像の特徴量と、前記入力画像の特徴量と、に基づいて、前記第１の物体と、前記第２の物体と、が同一であるか否かを照合する請求項１０記載の情報処理装置。
14. 前記第１の環境情報と前記第２の環境情報とには、前記取得手段により照明条件が取得された場所に存在する人の数の情報が含まれ、
    前記照合手段は、前記第１の環境情報に含まれる照明条件が取得された場所に存在する人の数の情報と、前記第２の環境情報に含まれる照明条件が取得された場所に存在する人の数の情報と、に基づいて、前記複数の変動画像から、対応する照明条件が、前記入力画像が撮影された際に前記取得手段により取得された照明条件と類似する変動画像を特定し、特定した変動画像の特徴量と、前記入力画像の特徴量と、に基づいて、前記第１の物体と、前記第２の物体と、が同一であるか否かを照合する請求項１０記載の情報処理装置。
15. 前記第１の物体は、人の顔である請求項１乃至１４何れか１項記載の情報処理装置。
16. 現実環境の照明条件を取得する取得手段と、
    第１の物体の三次元データと、前記取得手段により取得された照明条件と、に基づいて、前記照明条件が反映された前記第１の物体の画像である変動画像を生成する生成手段と、
    前記生成手段により生成された変動画像の特徴量と、入力画像の特徴量と、に基づいて、前記第１の物体と、前記入力画像に含まれる第２の物体と、が同一であるか否かを照合する照合手段と、
    を有するシステム。
17. 情報処理装置が実行する情報処理方法であって、
    現実環境の照明条件を取得する取得ステップと、
    第１の物体の三次元データと、前記取得ステップで取得された照明条件と、に基づいて、前記照明条件が反映された前記第１の物体の画像である変動画像を生成する生成ステップと、
    前記生成ステップで生成された変動画像の特徴量と、入力画像の特徴量と、に基づいて、前記第１の物体と、前記入力画像に含まれる第２の物体と、が同一であるか否かを照合する照合ステップと、
    を含む情報処理方法。
18. コンピュータを、請求項１乃至１５何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。

Images