JP2018107665A - 撮像装置、汚れ検知システム、及び、汚れ検知方法 - Google Patents

Abstract

【課題】撮像部の経時的な汚れを検知することが可能な撮像装置、汚れ検知システム、及び、汚れ検知システムを提供する。【解決手段】撮像部の経時的な汚れを検知可能な撮像装置であって、撮像部と、前記撮像部で撮影された基準画像の部分基準画像と、前記撮像部で撮影された複数の入力画像の各々の前記部分基準画像に対応する部分入力画像とを比較して、前記部分基準画像に対する各部分入力画像の一致度を算出する一致度算出部と、互いに開始時が前後する複数の期間の各々について、当該期間内に撮影された複数の入力画像の複数の部分入力画像についての複数の一致度の内の最大値を求める最大値検出部と、前記複数の期間について求められた複数の最大値の経時的変化に基づいて、前記撮像部に経時的な汚れが発生しているか否かを判定する汚れ判定部と、を備えることを特徴とする撮像装置である。【選択図】図１

Description

本発明は、撮像装置、汚れ検知システム、及び、汚れ検知方法に関する。より詳しくは、顔認証装置の撮像部の光学レンズやカバーの経時的な汚れの検知に好適な撮像装置、汚れ検知システム、及び、汚れ検知方法に関するものである。

従来、撮像装置を用いて認証対象者の顔を撮像し、撮像した顔画像と予め登録されている顔画像とを照合することによって本人認証を行う顔認証装置が知られている。

このような撮像画像の処理技術としては他には、例えば、監視カメラを用いた監視システムに関して、入力画像と基準画像とを、それぞれ複数のブロックに分割して比較し、不一致度が大きいと監視カメラに対して妨害行為が行われていると判定する監視カメラ妨害検知装置が開示されている（例えば、特許文献１参照。）。特許文献１に記載の装置では、基準画像は、照明の変動に対応するために、時刻や画像全体の明度に基づいて更新される。

また、製本装置での乱丁監視等、検査ラインにおける画像識別に関して、撮像手段による撮像画像の特徴量と予め記憶しているサンプル画像の特徴量との比較によりサンプル画像に対する撮像画像の相関値を求め、画像の識別を行う画像処理装置が開示されている（例えば、特許文献２参照。）。特許文献２に記載の装置では、各画像の識別のたびに算出される相関値のうち判定閾値以上である相関値を時系列データとして記憶し、複数個の相関値の相互関係から相関値の経時的変化傾向を抽出する。具体的には、複数個の相関値から傾き値を算出し、傾き値が所定回数連続してマイナス値のとき、警告を出力する。経時的変化傾向の原因としては、撮像手段の光学レンズの汚れや曇り、照明の照度低下、及び、被撮像画像物の経時的状態変化（印刷物の印刷濃度低下等）が挙げられている。

更に、所定の地点間を車両が走行するのに要する時間を求めるための技術に関して、撮像対象が存在しない所定の撮像領域に発光部により光を照射した場合に、撮像部で撮像して得られた撮像画像の所定の画素領域の輝度を算出する輝度算出手段と、その輝度が、その撮像画像の撮影時の撮像条件及び発光条件に応じた閾値より小さいか否かを判定する判定手段と、判定手段で小さいと判定した場合に発光部の発光強度の低下を報知する報知手段とを備えた道路交通用画像処理装置が開示されている（例えば、特許文献３参照。）。

特開２００５−２５２４７９号公報 特開平１１−１１０５４７号公報 特開２００９−１８１５４４号公報

しかしながら、従来の顔認証装置では、撮像部の光学レンズや光学レンズのカバー等の光学部材が汚れると、撮像部から入力された入力画像の見た目に変化が無くとも、認証精度が低下することがあった。このような汚れには、付着物等の突発的な汚れと、時間経過に伴う汚れで日々少しずつ汚れていく経時的な汚れがあり、特に経時的な汚れを明確に数値で表すことができなかった。

特許文献１に記載の装置では、基準画像を更新しつつ画像の不一致度を閾値処理するため、短期の変化は検知できるかもしれないが、日々少しずつ変化する経時的な汚れといった長期の変化は検知できない。

また、特許文献１に記載の装置では、ブロック毎の不一致度の最小値を加算部によって最終的に加算し、その結果を閾値処理して妨害行為の有無を判定する。すなわち、最終的には入力画像全体を基準画像と比較することになるため、入力画像全体が基準画像全体と類似していないと、妨害行為有りと判定される。このため、基準画像と入力画像はいずれも、変化しない背景のみを撮影した画像である必要がある。しかしながら、人通りの多い場所や背景の変化が大きい場所を撮影する場合や、屋外や窓際等、時刻により照明環境が変化して影の方向が変化する場所を撮影する場合は、比較することができる入力画像及び基準画像を取得すること自体が困難である。

特許文献２に記載の装置では、判定閾値以上でＯＫ判定となった相関値の時系列データを用いるため、時系列データは、被撮像画像物、その背景、撮像手段の光学レンズの汚れ等の複数の要因を包含してしまう。したがって、撮像手段の光学レンズの経時的な汚れを他の要因から分離して検知することが困難である。また、顔認証の場合ように、一致度を求める被撮像画像物自体の変化が大きい場合、時系列データが光学レンズの経時的な汚れ以外の要因を抱合してしまうと、光学レンズの経時的な汚れが正確に検出できない。

また、光学レンズの経時的な汚れは、撮影画像全体に影響して各画素の輝度を低下させるため、特許文献３に記載の装置では発光強度の低下として検出される。したがって、この技術によっても光学レンズの経時的な汚れをハードウェアの特性変化から分離して検知することができない。

本発明は、上記現状に鑑みてなされたものであり、撮像部の経時的な汚れを検知することが可能な撮像装置、汚れ検知システム、及び、汚れ検知方法を提供することを目的とするものである。

本発明は、撮像部の経時的な汚れを検知可能な撮像装置であって、撮像部と、前記撮像部で撮影された基準画像の部分基準画像と、前記撮像部で撮影された複数の入力画像の各々の前記部分基準画像に対応する部分入力画像とを比較して、前記部分基準画像に対する各部分入力画像の一致度を算出する一致度算出部と、互いに開始時が前後する複数の期間の各々について、当該期間内に撮影された複数の入力画像の複数の部分入力画像についての複数の一致度の内の最大値を求める最大値検出部と、前記複数の期間について求められた複数の最大値の経時的変化に基づいて、前記撮像部に経時的な汚れが発生しているか否かを判定する汚れ判定部と、を備えることを特徴とする。

また、本発明は、上記発明において、前記一致度算出部は、前記部分基準画像及び前記複数の部分入力画像の各々を当該部分画像に含まれる明暗の情報によって正規化し、正規化された部分基準画像及び正規化された複数の部分入力画像に基づいて前記一致度を算出することを特徴とする。

また、本発明は、上記発明において、前記一致度算出部は、前記部分基準画像及び前記複数の部分入力画像の各々に含まれる輪郭の情報に基づいて前記一致度を算出することを特徴とする。

また、本発明は、上記発明において、前記一致度算出部は、前記基準画像及び前記入力画像を互いに対応する複数の部分領域に分割し、前記部分領域毎に前記一致度を算出することを特徴とする。

また、本発明は、上記発明において、前記最大値検出部は、前記一致度算出部が前記期間内に撮影された前記複数の入力画像をそれぞれ複数の部分領域に分割して算出した全ての一致度から前記最大値を求めることを特徴とする。

また、本発明は、上記発明において、前記最大値検出部は、前記一致度算出部が前記期間内に撮影された前記複数の入力画像をそれぞれ複数の部分領域に分割して算出した複数の一致度から対応する前記部分領域毎に前記最大値を求め、前記汚れ判定部は、前記複数の期間について求められた前記部分領域毎の複数の最大値の経時的変化に基づいて、前記経時的な汚れが発生しているか否かを前記部分領域毎に判定することを特徴とする。

また、本発明は、上記発明において、前記基準画像と前記複数の入力画像の各々とを比較して変化の小さい領域を抽出する比較抽出部を更に備え、前記一致度算出部は、前記差異の小さい領域において前記一致度を算出することを特徴とする。

また、本発明は、上記発明において、前記一致度算出部は、前記撮像部で撮影された複数の基準画像の各々の部分基準画像と、前記各部分入力画像とを比較して前記一致度を算出することを特徴とする。

また、本発明は、上記発明において、前記最大値検出部は、前記複数の期間の各々の経過毎に前記最大値を求め、前記汚れ判定部は、前記複数の期間の各々の経過毎に前記経時的な汚れの発生の有無を判定することを特徴とする。

また、本発明は、上記発明において、前記汚れ判定部は、前記最大値と所定の閾値と比較して前記経時的な汚れが発生しているか否かを判定することを特徴とする。

また、本発明は、撮像部の経時的な汚れを検知可能な汚れ検知システムであって、撮像部で撮影された基準画像の部分基準画像と、前記撮像部で撮影された複数の入力画像の各々の前記部分基準画像に対応する部分入力画像とを比較して、前記部分基準画像に対する各部分入力画像の一致度を算出する一致度算出部と、互いに開始時が前後する複数の期間の各々について、当該期間内に撮影された複数の入力画像の複数の部分入力画像についての複数の一致度の内の最大値を求める最大値検出部と、前記複数の期間について求められた複数の最大値の経時的変化に基づいて、前記撮像部に経時的な汚れが発生しているか否かを判定する汚れ判定部と、を備えることを特徴とする。

また、本発明は、撮像部の経時的な汚れを検知する汚れ検知方法であって、撮像部で撮影された基準画像の部分基準画像と、前記撮像部で撮影された複数の入力画像の各々の前記部分基準画像に対応する部分入力画像とを比較して、前記部分基準画像に対する各部分入力画像の一致度を算出する一致度算出ステップと、互いに開始時が前後する複数の期間の各々について、当該期間内に撮影された複数の入力画像の複数の部分入力画像についての複数の一致度の内の最大値を求める最大値検出ステップと、前記複数の期間について求められた複数の最大値の経時的変化に基づいて、前記撮像部に経時的な汚れが発生しているか否かを判定する汚れ判定ステップと、を備えることを特徴とする。

本発明の撮像装置、汚れ検知システム、及び、汚れ検知方法によれば、撮像部の経時的な汚れを検知することが可能である。

実施形態１に係る顔認証装置の構成を示す模式図である。 実施形態１に係る顔認証装置による汚れ検知方法（画像処理方法）の一例を説明するための模式図である。 実施形態１における一致度の最大値の経時的変化の一例を示すグラフである。 実施形態１に係る顔認証装置の動作フローを示すフローチャートである。 実施形態１に係る顔認証装置による汚れ検知方法（画像処理方法）の他の例を説明するための模式図である。 実施形態２に係る顔認証装置による汚れ検知方法（画像処理方法）の一例を説明するための模式図である。 実施形態２における部分領域（ブロック）毎の一致度の最大値の経時的変化の一例を示すグラフである。 実施形態３に係る顔認証装置による汚れ検知方法（画像処理方法）の一例を説明するための模式図である。 実施形態４に係る顔認証装置の構成を示す模式図である。 実施形態４に係る顔認証装置による汚れ検知方法（画像処理方法）の一例を説明するための模式図である。

（実施形態１）
以下、図面を参照して、本発明に係る撮像装置、汚れ検知システム、及び、汚れ検知方法の好適な実施形態を詳細に説明する。ここでは、これらを顔認証装置に適用した実施形態について説明する。

本実施形態に係る顔認証装置は、撮像部、特に光学レンズや光学レンズのカバー等の光学部材の経時的な汚れを検知可能な顔認証装置である。なお、経時的な汚れとは、時間経過に伴う汚れで日々少しずつ汚れていく汚れを意味し、その原因としては、例えば、塵、ホコリ、大気汚染物質等が挙げられる。

本実施形態に係る顔認証装置はまた、撮像部を用いて認証対象者の顔を撮像し、撮像した顔画像と予め登録されている顔画像とを照合することによって本人認証を行うものであるが、顔認証に係る一連の処理については一般的なものであるので説明を省略し、以下では撮像部の経時的な汚れの検知方法について詳述する。

本実施形態に係る顔認証装置は、図１に示すように、ＣＣＤ（Charge Coupled Device）カメラ等の撮像部１０と、種々の制御及び処理を行う制御部２０と、比較対象となる基準画像、算出された複数の一致度及びそれらの最大値、各種の閾値、各種のソフトウェアプログラム等を保存する記憶部３０とを備えている。制御部２０は、一致度算出部２１、最大値検出部２２及び汚れ判定部２３を含んで構成されている。

一致度算出部２１は、画像照合を行うものであり、撮像部１０で予め撮影された基準画像と、基準画像の撮影後に、撮像部１０で順次撮影された複数の入力画像の各々とを部分領域（以下、ブロックとも言う。）毎に比較して、基準画像に対する各入力画像の一致度をブロック毎に算出する。

より詳細には、図２に示すように、一致度算出部２１は、基準画像と、各入力画像１、２、・・・、Ｌ、Ｌ＋１、・・・とを互いに対応する所定のＭ×Ｎ、例えば３×３のブロック（部分領域）に分割する。そして、各ブロックに対応する部分基準画像４１と、その部分基準画像４１に対応する各部分入力画像４２とを比較して、各部分基準画像４１に対する各部分入力画像４２の一致度を算出する。なお、本明細書において、部分基準画像及び部分入力画像とは、それぞれ、基準画像及び入力画像の一部を構成する画像を意味する。また、ブロックの個数、及び、ブロックの分割方法（配置や形状）は、特に限定されず、適宜設定可能である。

図２では、一部のブロックで認証対象者が撮影された場合（入力画像１）、一部のブロックに照明、太陽等の光源が写り込んだ場合（入力画像２）、全ブロックに通行人が写り込んだ場合（入力画像Ｌ）、一部のブロックに通行人が写り込んだ場合（入力画像Ｌ＋１）を例示するとともに、これらの場合における各ブロックの一致度を例示している。このように、各入力画像が取得されるタイミングは、特に限定されず適宜設定でき、認証時及び非認証時のいずれであってもよい。

一致度は、画像間の類似度を示す指標であり、有限の数値範囲内の値、例えば−１〜＋１の間の値で表され、例えば、正規化相関係数を用いて算出される。正規化相関係数を用いる場合、比較対象となる領域全体の画素に基づいて一致度が算出される。

また、各画像データは、通常、明るさ（明暗）に係る情報と模様に係る情報とを含んでいるが、正規化相関係数によれば、各画像データが明るさに係る情報によって正規化されることになる。したがって、一致度算出部２１は、それぞれ正規化された部分基準画像及び部分入力画像に基づいて一致度を算出することができる。これにより、各画像データから模様に係る情報だけが抽出され、模様に係る情報に基づいて一致度が算出されるため、照明のオン・オフや照明の照度変化といった明るさの変化の影響をキャンセルして、各画像の模様のみに基づいて一致度を算出することができる。

正規化相関係数を用いる方法の他、一致度算出部２１は、例えば、下記（１）又は（２）の方法から一致度を算出してもよく、これらの場合も正規化相関係数を用いた場合と同様の効果が得られる。
（１）予め各画像を当該画像データに含まれる明るさ（明暗）に係る情報によって正規化してから画像照合（一致度算出）を行う。
（２）明暗に関係のない輪郭に係る情報に基づいて画像照合（一致度算出）を行う。例えば、画像データを微分して求めたエッジ画像を用いて画像照合を行う。

基準画像は、適宜撮影することができるが、人物等の動体を含まず、動体以外の被写体のみを含んだものが好適である。しかしながら、光学部材が全体的に汚れていく場合には、基準画像の少なくとも一部に動体以外の被写体が写っていればよい。

最大値検出部２２は、互いに開始時が前後する複数の期間（以下、最大値検出期間とも言う。）の各々について、当該期間内に撮影された複数の入力画像の複数の部分入力画像についての複数の一致度の内の最大値を求める。

より詳細には、図２に示すように、最大値検出部２２は、予め設定された一定の最大値検出期間の経過毎に、その期間を通して撮像部１０で撮影されたＬ個の入力画像の一致度をブロック毎に比較し、各ブロックで最大の一致度（一次最大値）を選択する。そして更に、全ブロックの一致度（Ｍ×Ｎ個の一次最大値）から最大値（二次最大値）を選択し、記憶部３０に保存する。すなわち、最大値検出期間毎に、その期間を通して撮影された全ての入力画像の全ての部分入力画像に関する全ての一致度から最大のものを抽出し、時系列データとして記憶部３０に保存する。このように、各入力画像で一致度の最大のものを抽出し、時系列データとするのではなく、最大値検出期間内の複数の入力画像に係る一致度から最大のものを抽出し、時系列データとすることによって、一時的に入力画像全体で一致度が低下した場合（例えば図２の入力画像Ｌの場合）の影響を時系列データが包含しないようにすることができる。そのため、撮像部１０の経時的な汚れを他の要因から分離して検出することができる。

最大値検出期間の長さは、特に限定されず適宜設定できるが、少なくとも１日であることが好ましく、例えば１日であってもよい。各最大値検出期間に含まれる入力画像の数は、特に限定されず、適宜設定可能である。

汚れ判定部２３は、複数の最大値検出期間について求められた複数の最大値の経時的変化に基づいて、撮像部１０に経時的な汚れが発生しているか否かを判定する。

より詳細には、図３に示すように、汚れ判定部２３は、最大値検出部２２によって選択された一致度の最大値（二次最大値）の時系列データに基づき、最大値が記憶部３０に保存された所定の閾値以下となった場合に、撮像部１０、特に光学部材に経時的な汚れが発生していると判定する。そして、その場合、制御部２０は、撮像部１０、特に光学部材に経時的な汚れが発生していることを管理者に報知する報知処理を行う。

以下、図４を用いて、本実施形態に係る顔認証装置の動作フローについて説明する。
まず、制御部２０が、撮像部１０によって撮影された画像を取得し、基準画像として記憶部３０に保存する（ステップＳ１）。

次に、基準画像の取得から所定期間の経過後、制御部２０が、撮像部１０によって撮影された画像を取得し、入力画像１として記憶部３０に保存する（ステップＳ２、入力画像取得ステップ）。次に、一致度算出部２１が、基準画像に対する入力画像１の一致度をブロック毎に算出し、記憶部３０に保存する（ステップＳ３、一致度算出ステップ）。これらの処理を最大値検出期間が経過するまで、所定期間毎、例えば１時間毎に繰り返す（ステップＳ４；Ｎｏ）。

最大値検出期間が経過すると（ステップＳ４；Ｙｅｓ）、最大値検出部２２が、最大値検出期間内に撮影されたＬ個の入力画像１、２、・・・、Ｌの各ブロックについての一致度から最大値を検出し、時系列データとして記憶部３０に保存する（ステップＳ５、最大値検出ステップ）。

次に、汚れ判定部２３が、最大値検出部２２によって検出された一致度の最大値が所定の閾値以下であるか否かを判定し（ステップＳ６、汚れ判定ステップ）、最大値が所定の閾値以下でなければ、入力画像取得ステップＳ２から汚れ判定ステップＳ６までを繰り返す（ステップＳ６；Ｎｏ）。最大値が所定の閾値以下である場合は（ステップＳ６；Ｙｅｓ）、制御部２０が、撮像部１０、特に光学部材に経時的な汚れが発生していることを管理者に報知する報知処理を行う（ステップＳ７）。このとき、報知処理とともに、顔認証に係る一連の処理を停止し、本実施形態に係る顔認証装置を停止してもよい。

上述のように、上記実施形態は、撮像部１０で撮影された基準画像の部分基準画像と、撮像部１０で撮影された複数の入力画像の各々の部分基準画像に対応する部分入力画像とを比較して、部分基準画像に対する各部分入力画像の一致度を算出する一致度算出部２１（一致度算出ステップＳ３）と、互いに開始時が前後する複数の最大値検出期間の各々について、当該期間内に撮影された複数の入力画像の複数の部分入力画像についての複数の一致度の内の最大値を求める最大値検出部２２（最大値検出ステップＳ５）と、複数の最大値検出期間について求められた複数の最大値の経時的変化に基づいて、撮像部１０に経時的な汚れが発生しているか否かを判定する汚れ判定部２３（汚れ判定ステップＳ６）と、を備えることから、撮像部１０、特に光学部材の経時的な汚れに起因する一致度の変動を、通行人等の背景の変化に起因する一致度の変動や、顔の形や角度等の違いによる認証対象者に起因する一致度の変動から分離して検出することができる。そのため、上記実施形態では撮像部１０の経時的な汚れを数値で明確に表すことができ、適切なタイミングで撮像部１０の経時的な汚れの清掃を管理者に促すことができる。その結果、上記実施形態に係る顔認証装置が休止してしまうことを防止することができ、また、光学部材の経時的な汚れに起因して顔認証精度が低下してしまうことを防止することができる。

また、上記実施形態では、上述のように、複数の部分入力画像についての複数の一致度の内の最大値の経時的変化に基づいて、撮像部１０の経時的な汚れの有無が判定されることから、特許文献１及び２に記載の装置とは異なり、基準画像及び／又は各入力画像が、認証対象者や、人通りの多い場所、背景の変化が大きい場所を撮影した画像であったり、屋外や窓際等、時刻により照明環境が変化して影の方向が変化する場所を撮影した画像であったとしても、撮像部１０の経時的な汚れを他の要因から分離して検出することができる。

また、上記実施形態では、上述のように、部分基準画像に対する各部分入力画像の一致度が算出されることから、特許文献３に記載の装置とは異なり、部分基準画像の模様（形状）に対する各部分入力画像の模様（形状）の類似度を検出することができ、撮像部１０の経時的な汚れをハードウェアの特性変化から分離して検出することができる。

また、上記実施形態において、一致度算出部２１は、部分基準画像及び複数の部分入力画像の各々を当該部分画像に含まれる明暗の情報によって正規化し、正規化された部分基準画像及び複数の入力画像に基づいて一致度を算出することから、各画像データから模様に係る情報を抽出でき、模様に係る情報に基づいて一致度を算出することができるため、照明のオン・オフや照明の照度変化といった明るさの変化の影響を低減した状態で一致度を算出することができる。

また、上記実施形態において、一致度算出部２１は、部分基準画像及び複数の部分入力画像の各々に含まれる輪郭の情報に基づいて一致度を算出することから、照明のオン・オフや照明の照度変化といった明るさの変化の影響を低減した状態で一致度を算出することができる。

また、上記実施形態において、一致度算出部２１は、基準画像及び入力画像を互いに対応する複数のブロックに分割し、ブロック毎に一致度を算出することから、各入力画像全体について一致度を算出することになるので、認証対象者や通行人等の動体に起因する一時的な画像変化の影響をより低減することができる。すなわち、撮像部１０の経時的な汚れをより精度良く検知することができる。

また、上記実施形態において、最大値検出部２２は、最大値算出期間内に撮影された複数の入力画像についての複数の一致度からブロック毎に最大の一致度（一次最大値）を選択し、ブロックの全てについての最大の一致度（一次最大値）から最大値（二次最大値）を求めることから、撮像部１０、特に光学部材が全体的に汚れていく場合において、その汚れを効果的に検出することができる。

なお、上記実施形態では、最大値検出部２２は、各最大値算出期間に含まれるＬ個の入力画像の一致度をブロック毎に比較し、各ブロックで最大の一致度（一次最大値）を選択し、そして、全てのブロックの一致度（Ｍ×Ｎ個の一次最大値）から最大値（二次最大値）を選択したが、最大値検出部２２は、各最大値算出期間に含まれるＬ個の入力画像の各々においてＭ×Ｎ個の一致度から最大のもの（一次最大値）を選択し、そして、全ての入力画像の一致度（Ｌ個の一次最大値）から最大値（二次最大値）を選択してもよい。また、最大値検出部２２は、各最大値算出期間に含まれるＬ個の入力画像に関するＬ×Ｍ×Ｎ個の一致度から最大値を選択してもよい。

このように、最大値検出部２２は、一致度算出部２１が最大値算出期間内に撮影された複数の入力画像をそれぞれ複数のブロックに分割して算出した全ての一致度から最大値を求めることから、撮像部１０、特に光学部材が全体的に汚れていく場合において、その汚れを効果的に検出することができる。

また、上記実施形態では、全ブロックについて一致度を算出し、それらから最大値を検出したが、図５に示すように、一部のブロック、例えば汚れやすい一部のブロックのみについて一致度を算出し、それらから最大値を検出してもよい。

また、上記実施形態において、最大値検出部２２は、複数の最大値検出期間の各々の経過毎に最大値を求め、汚れ判定部２３は、複数の最大値検出期間の各々の経過毎に撮像部１０の経時的な汚れの発生の有無を判定することから、撮像部１０の経時的な汚れを早期に検出することができる。

また、上記実施形態において、汚れ判定部２３は、上記最大値と所定の閾値と比較して上記経時的な汚れが発生しているか否かを判定することから、撮像部１０の経時的な汚れを明確な基準に基づいて検出することができる。

（実施形態２）
本実施形態では、本実施形態に特有の特徴について主に説明し、実施形態１と重複する内容については説明を省略する。また、本実施形態と実施形態１とにおいて、同一又は同様の機能を有する部材には同一の符号を付し、本実施形態において、その部材の説明は省略する。本実施形態は、以下で説明するように、ブロック毎に一致度の最大値の経時的変化に基づいて撮像部の経時的な汚れを検出する点を除いて、実施形態１と実質的に同じである。

図６に示すように、本実施形態において、最大値検出部２２は、実施形態１の場合と同様に、最大値検出期間の経過毎に、その期間を通して撮像部１０で撮影されたＬ個の入力画像の一致度をブロック毎に比較し、各ブロックで最大の一致度（最大値）を選択する。他方、最大値検出部２２は、その後、各ブロックの一致度（Ｍ×Ｎ個の最大値）を時系列データとして記憶部３０に保存し、実施形態１の場合と異なり、全ブロックの一致度（Ｍ×Ｎ個の最大値）から更に最大値を求めることはしない。

また、汚れ判定部２３は、実施形態１の場合と異なり、図７に示すように、最大値検出部２２によって選択されたブロック毎の一致度の最大値の時系列データに基づき、いずれかのブロックに係る最大値が記憶部３０に保存された所定の閾値以下となった場合に、撮像部１０、特に光学部材に経時的な汚れが発生していると判定する。なお、各ブロックに係る閾値は、同じであってもよいし、互いに異なっていてもよい。

このように、本実施形態では、最大値検出部２２は、一致度算出部２１が最大値検出期間内に撮影された複数の入力画像をそれぞれ複数のブロックに分割して算出した複数の一致度から対応するブロック毎に最大値を求め、汚れ判定部２３は、複数の最大値検出期間について求められたブロック毎の複数の最大値の経時的変化に基づいて、撮像部１０に経時的な汚れが発生しているか否かをブロック毎に判定することから、撮像部１０、特に光学部材が部分的に汚れていく場合、例えば風向きの関係で光学部材の左側部分はきれいであるが右側部分は汚れているというような場合において、その汚れを効果的に検出することができる。

（実施形態３）
本実施形態では、本実施形態に特有の特徴について主に説明し、実施形態１と重複する内容については説明を省略する。また、本実施形態と実施形態１とにおいて、同一又は同様の機能を有する部材には同一の符号を付し、本実施形態において、その部材の説明は省略する。本実施形態は、以下で説明する点を除いて、実施形態１と実質的に同じである。

図８に示すように、本実施形態では、一致度算出部２１は、撮像部１０で撮影された複数の基準画像１、・・・、Ｋの各々の部分基準画像と、各部分入力画像とを比較して一致度を算出する。すなわち、一致度算出部２１は、各基準画像１、・・・、Ｋに対する各入力画像の一致度をブロック毎に算出する。これにより、異なる状況で撮影された複数の基準画像を使用でき、基準画像に通行人等の動体が写り込む可能性を低減できるため、撮像部１０、特に光学部材の経時的な汚れをより精度良く検知することができる。

（実施形態４）
本実施形態では、本実施形態に特有の特徴について主に説明し、実施形態１と重複する内容については説明を省略する。また、本実施形態と実施形態１とにおいて、同一又は同様の機能を有する部材には同一の符号を付し、本実施形態において、その部材の説明は省略する。本実施形態は、以下で説明する点を除いて、実施形態１と実質的に同じである。

図９に示すように、本実施形態では、制御部２０は、基準画像と各入力画像とを比較して変化の小さい領域を抽出する比較抽出部２４を更に備えている。比較抽出部２４は、図１０に示すように、基準画像と入力画像との比較を行って変化（差異）の小さい領域４３を抽出する。領域４３は、背景画像に相当する。そして、本実施形態では、一致度算出部２１は、領域４３の全域、又は、領域４３の一部についての部分基準画像と部分入力画像とを比較して、部分基準画像に対する部分入力画像の一致度を算出する。本実施形態によれば、一致度が低くなる領域を予め取り除くことが可能であるため、一致度を算出するための計算量を小さくすることができる。

より具体的には、比較抽出部２４は、基準画像と各入力画像との差分画像を生成し、この差分画像の画素値と所定の閾値とを比較して、差異が小さく閾値を下回る画素を領域４３として検出する。又は、比較抽出部２４は、基準画像と各入力画像との対応する画素毎に、輝度値の差、又は、色空間における距離を算出して所定の閾値と比較し、差異が小さく閾値を下回る画素を領域４３として検出する。一致度算出部２１は、実施形態１と同様に各領域４３をブロックに分割してブロック毎に一致度を算出してもよいし、各領域４３をブロックに分割せずに各領域４３の全域で一つの一致度を算出してもよい。

上述のように、本実施形態は、基準画像と複数の入力画像の各々とを比較して変化の小さい領域４３を抽出する比較抽出部２４（比較抽出ステップ）を更に備え、一致度算出部２１は、差異の小さい領域４３において一致度を算出することから、一致度を算出するための計算量を小さくすることができる。

（変形形態）
上記実施形態では、複数の最大値検出期間が予め設定され、かつ、一定（同じ長さの期間）である例について説明したが、各最大値検出期間は、顔認証装置の動作中に適宜変更されてもよいし、互いに異なる長さの期間であってもよい。

また、上記実施形態では、複数の最大値検出期間が途切れることなく連続する例について説明したが、複数の最大値検出期間は、互いに重複してもよく（例えば各最大値検出期間が３日間で、それらの期間が１日ずつ重複してもよく）、また、最大値検出期間が断続的に設けられてもよい（例えば１日おきに最大値検出期間が設けられてもよい）。

また、上記実施形態では、一つの最大値、すなわち最新の最大値を閾値処理して撮像部１０の経時的な汚れの発生の有無を判定する例について説明したが、撮像部１０の経時的な汚れの判定基準は、特に限定されず、適宜設定することができる。例えば、連続する複数の最大値が閾値以下となった場合に経時的な汚れが発生していると判定してもよい。また、最大値の時系列データから所定期間毎（例えば３日毎）の単純移動平均を算出し、算出された１又は連続する複数の単純移動平均値が閾値以下となった場合に経時的な汚れが発生していると判定してもよい。更に、１又は連続する複数の最大値が閾値以下となった場合に報知処理を一度行い、その後、１又は連続する複数の単純移動平均値が閾値以下となった場合に再び報知処理を行ってもよい。このとき、１度目の閾値と２度目の閾値とは、同じであってもよいし、互いに異なっていてもよい。また、最大値やその平均値ではなく、連続する任意の複数の最大値から近似曲線を算出し、その近似曲線の傾きの大きさや、その正負に基づいて、撮像部１０の経時的な汚れの発生の有無が判定されてもよい。この近似曲線は、近似直線であってもよい。また、上記近似曲線（近似直線）の微分値等といった最大値の変化量を求め、この変化量の大きさが所定の閾値より大きくなる期間が所定の期間以上継続した場合に報知するようにしてもよい。これにより、環境が変化して撮像部１０の経時的な汚れの進行が早まり、予定した時期よりも早期に清掃等の対策が必要になる場合であっても対処することができる。

また、上記実施形態では、本発明に係る撮像装置、汚れ検知システム、及び、汚れ検知方法を顔認証装置に適用した例について説明したが、本発明は、２以上の画像を照合する、画像照合装置全般、画像照合システム全般、及び、画像照合装置全般に適用することができる。例えば、複数の撮像部でそれぞれ撮影された複数の人物画像に基づいて、当該人物がいる地点や当該人物の移動経路を示す画像照合装置に適用されてもよい。更に、本発明は、画像照合を必ずしも要しない用途、例えば、防犯カメラ等の監視カメラ全般にも適用することができる。

以上、図面を参照しながら本発明の実施形態を説明したが、本発明は、上記実施形態に限定されるものではない。また、各実施形態の構成は、本発明の要旨を逸脱しない範囲において適宜組み合わされてもよいし、変更されてもよい。

以上のように、本発明は、撮像部の経時的な汚れを検知するために有用な技術である。

１０：撮像部
２０：制御部
２１：一致度算出部
２２：最大値検出部
２３：汚れ判定部
２４：比較抽出部
３０：記憶部
４１：部分基準画像
４２：部分入力画像
４３：変化（差異）の小さい領域

Claims (12)

1. 撮像部の経時的な汚れを検知可能な撮像装置であって、
   撮像部と、
   前記撮像部で撮影された基準画像の部分基準画像と、前記撮像部で撮影された複数の入力画像の各々の前記部分基準画像に対応する部分入力画像とを比較して、前記部分基準画像に対する各部分入力画像の一致度を算出する一致度算出部と、
   互いに開始時が前後する複数の期間の各々について、当該期間内に撮影された複数の入力画像の複数の部分入力画像についての複数の一致度の内の最大値を求める最大値検出部と、
   前記複数の期間について求められた複数の最大値の経時的変化に基づいて、前記撮像部に経時的な汚れが発生しているか否かを判定する汚れ判定部と、
   を備えることを特徴とする撮像装置。
2. 前記一致度算出部は、前記部分基準画像及び前記複数の部分入力画像の各々を当該部分画像に含まれる明暗の情報によって正規化し、正規化された部分基準画像及び正規化された複数の部分入力画像に基づいて前記一致度を算出することを特徴とする請求項１記載の撮像装置。
3. 前記一致度算出部は、前記部分基準画像及び前記複数の部分入力画像の各々に含まれる輪郭の情報に基づいて前記一致度を算出することを特徴とする請求項１記載の撮像装置。
4. 前記一致度算出部は、前記基準画像及び前記入力画像を互いに対応する複数の部分領域に分割し、前記部分領域毎に前記一致度を算出することを特徴とする請求項１〜３のいずれかに記載の撮像装置。
5. 前記最大値検出部は、前記一致度算出部が前記期間内に撮影された前記複数の入力画像をそれぞれ複数の部分領域に分割して算出した全ての一致度から前記最大値を求めることを特徴とする請求項４記載の撮像装置。
6. 前記最大値検出部は、前記一致度算出部が前記期間内に撮影された前記複数の入力画像をそれぞれ複数の部分領域に分割して算出した複数の一致度から対応する前記部分領域毎に前記最大値を求め、
   前記汚れ判定部は、前記複数の期間について求められた前記部分領域毎の複数の最大値の経時的変化に基づいて、前記経時的な汚れが発生しているか否かを前記部分領域毎に判定することを特徴とする請求項４記載の撮像装置。
7. 前記基準画像と前記複数の入力画像の各々とを比較して変化の小さい領域を抽出する比較抽出部を更に備え、
   前記一致度算出部は、前記差異の小さい領域において前記一致度を算出することを特徴とする請求項１〜６のいずれかに記載の撮像装置。
8. 前記一致度算出部は、前記撮像部で撮影された複数の基準画像の各々の部分基準画像と、前記各部分入力画像とを比較して前記一致度を算出することを特徴とする請求項１〜７のいずれかに記載の撮像装置。
9. 前記最大値検出部は、前記複数の期間の各々の経過毎に前記最大値を求め、
   前記汚れ判定部は、前記複数の期間の各々の経過毎に前記経時的な汚れの発生の有無を判定することを特徴とする請求項１〜８のいずれかに記載の撮像装置。
10. 前記汚れ判定部は、前記最大値と所定の閾値と比較して前記経時的な汚れが発生しているか否かを判定することを特徴とする請求項１〜９のいずれかに記載の撮像装置。
11. 撮像部の経時的な汚れを検知可能な汚れ検知システムであって、
    撮像部で撮影された基準画像の部分基準画像と、前記撮像部で撮影された複数の入力画像の各々の前記部分基準画像に対応する部分入力画像とを比較して、前記部分基準画像に対する各部分入力画像の一致度を算出する一致度算出部と、
    互いに開始時が前後する複数の期間の各々について、当該期間内に撮影された複数の入力画像の複数の部分入力画像についての複数の一致度の内の最大値を求める最大値検出部と、
    前記複数の期間について求められた複数の最大値の経時的変化に基づいて、前記撮像部に経時的な汚れが発生しているか否かを判定する汚れ判定部と、
    を備えることを特徴とする汚れ検知システム。
12. 撮像部の経時的な汚れを検知する汚れ検知方法であって、
    撮像部で撮影された基準画像の部分基準画像と、前記撮像部で撮影された複数の入力画像の各々の前記部分基準画像に対応する部分入力画像とを比較して、前記部分基準画像に対する各部分入力画像の一致度を算出する一致度算出ステップと、
    互いに開始時が前後する複数の期間の各々について、当該期間内に撮影された複数の入力画像の複数の部分入力画像についての複数の一致度の内の最大値を求める最大値検出ステップと、
    前記複数の期間について求められた複数の最大値の経時的変化に基づいて、前記撮像部に経時的な汚れが発生しているか否かを判定する汚れ判定ステップと、
    を備えることを特徴とする汚れ検知方法。
    
    

Images