JP2009123150A - 対象物検出装置及び方法、対象物検出システム、プログラム - Google Patents

Abstract

【課題】緩やかな照明変化と急激な照明変化の双方に対応した正確な対象物検出を行う。
【解決手段】現フレーム画像の撮影近辺の過去数フレーム分のフレーム画像から背景モデル画像を含む推定モデルを生成する一方、照明条件を異ならせて予め撮影した多数のサンプル背景画像から各々に背景モデル画像を含む複数の統計モデルを生成する。各統計モデルの背景モデル画像にとっての照明条件は異なる統計モデル間で異なる。現フレーム画像と複数の統計モデルを比較し、現フレーム画像に対して最も類似な背景モデル画像を有する統計モデルを探索し、その探索結果が前回のフレーム画像に対する探索結果と同じであるかを判別する。同じであれば、今回と前回のフレーム間で照明変化がないと推定し、推定モデルを用いて背景差分を行って対象物を検出する一方、異なれば、照明変化があったと推定し、統計モデルを用いて対象物を検出する。
【選択図】図５

Description

本発明は、カメラの取得画像を用いて対象物を検出する対象物検出装置及び対象物検出方法並びに対象物検出システムに関する。また、それらに対応するプログラムに関する。

カメラの取得画像を用いた対象物の検出及び抽出処理は、一般的に、２枚の画像を比較することで実現される。この比較には、予め用意した背景画像と現在の取得画像との差分をとる背景差分や、時間的に連続する２枚の画像の差分をとるフレーム間差分が用いられる。しかしながら、この種の対象物検出方法を用いる場合、比較される２枚の画像間で、検出されるべき対象物以外に変化があると正確な対象物検出が困難となる。その代表的な要因がカメラの撮影環境の照明変化である。カメラの撮影環境は太陽光や照明装置の照明光等によって照らされるが、この撮影環境の照明変化によって取得画像の明るさや色合いが変化する。例えば、照明変化によって比較される２枚の画像間の明るさが異なってくると、本来検出されるべき対象物領域だけでなく背景領域に対してまでも所定の閾値以上の差分値が得られてしまい、対象物と背景の区別が困難となる。

撮影環境の照明条件は様々に変化するが、大別すると、その変化は緩やかな変化と急激な変化とに分けられる。例えば、室内を撮影して室内の対象物を検出しようとする場合、撮影環境の照明の照度は、日中の太陽光の照度変化等によって比較的緩やかに変化する一方で、照明装置の電源オン／オフ等によって大幅に且つ瞬時に変化しうる。前者の緩やかな変化に対してはある程度対応することができても、後者の瞬時変化が生じると、対象物の検出に背景差分を用いた場合は勿論のこと、フレーム間差分を用いた場合であっても変化速度によっては正確な対象物検出ができなくなる。

尚、特許文献１には、照明条件の変化に対応して正確な対象物検出を実現しようとする検出方法が提案されている。この検出方法では、背景差分に用いる背景画像を２通りの時間遅れをもって更新させることで、比較的緩やかな変化に対応すると共に長時間静止していた人物等を背景と捉えてしまうことによる誤検出を解消しようとしている。しかしながら、結局は、２通りの時間遅れの設定如何によっては現実の環境に対して全く対応できないこともある。例えば、２通りの時間遅れの内、長い方の時間遅れよりも長く人物が静止しておれば、その人物を背景と捉えてしまうことから逃れられないし、２通りの時間遅れの内、短い方の時間遅れよりも短時間で照度変化が生じれば、正確な対象物検出は望めない。

特開平１０−３１２４４８号公報

そこで本発明は、照明条件を含むカメラの周辺環境条件の変化に対応し、正確な対象物検出を実現することができる対象物検出装置、対象物検出システム、対象物検出方法及びプログラムを提供することを目的とする。

上記目的を達成するために本発明に係る対象物検出装置は、カメラの撮影に基づく被検出画像を順次取得し、前記被検出画像と対比用背景画像との差分結果に基づいて前記カメラの撮影領域内における対象物を検出する対象物検出装置において、互いに異なる複数の背景モデル画像を保持する保持手段と、前記被検出画像の画像特徴に影響を与える前記カメラの周辺環境条件の変化に応じて前記複数の背景モデル画像の内の何れかを選択し、選択した背景モデル画像に基づいて前記対比用背景画像を生成する選択手段と、を備えたことを特徴とする。

被検出画像の画像特徴に影響を与えるカメラの周辺環境条件は、カメラの照明条件の変化などに起因して様々に変化しうる。この変化に対応するべく上記の如く構成する。これにより、例えば、複数の背景モデル画像の中に、比較的緩やかな周辺環境条件の変化に対応するための背景モデル画像と急激な周辺環境条件の変化に対応するための背景モデル画像を含ませておき、これらを実際の周辺環境条件の変化に応じて使い分けるといったことが可能となる。従って、様々な周辺環境条件の変化に対応した、正確な対象物検出を実現することが可能となる。

具体的には例えば、前記複数の背景モデル画像は、今回の被検出画像の撮影時を基準とする直近過去の所定数枚分の被検出画像を用いて作成される第１の背景モデル画像と、前記撮影領域内に前記対象物が含まれない状態で予め撮影された画像を用いて作成される第２の背景モデル画像と、を含み、前記選択手段は、前記周辺環境条件の変化に応じて第１又は第２の背景モデル画像を選択する。

第１の背景モデル画像には、被検出画像の撮影時近辺の周辺環境条件が反映されることとなるため、第１の背景モデル画像を用いれば緩やかな周辺環境条件の変化に良好に対応することができる。但し、周辺環境条件に急激な変化が生じた場合は、第１の背景モデル画像で対応しきれないことが多い。そこで、それの対応に適した第２の背景モデル画像を、第１の背景モデル画像とは別個に用意しておく。そして、実際の周辺環境条件の変化に応じて、第１と第２の背景モデル画像を使い分けるようにする。

また、前記第２の背景モデル画像を、２以上の背景モデル画像から成る背景モデル画像群とすることができる。この背景モデル画像群を形成する各背景モデル画像を、便宜上、統計モデル画像と呼ぶこととし、以下のような構成を採用することもできる。

即ち、具体的には例えば、前記第２の背景モデル画像は、各々が背景モデル画像として機能する複数の統計モデル画像から形成され、前記複数の統計モデル画像は、前記撮影領域内に前記対象物が含まれない状態で予め撮影された複数の画像に基づいて生成され、 各統計モデル画像の生成元の画像の撮影時における前記周辺環境条件は異なる統計モデル画像間で異なり、前記選択手段は、前記被検出画像と各統計モデル画像との比較に基づいて、前記複数の統計モデル画像の内、前記被検出画像に最も類似する統計モデル画像を探索する探索手段を備えて、順次取得される各被検出画像に対して前記探索を行い、前回の被検出画像に対する探索結果と今回の被検出画像に対する探索結果が同じであるか否かに基づいて前回と今回の撮影間において前記周辺環境条件が変化したか否かを推定し、両探索結果が同じである場合は変化なしと推定して今回の被検出画像に対して前記第１の背景モデル画像を選択する一方、両探索結果が異なる場合は変化ありと推定して今回の被検出画像に対して前記第２の背景モデル画像を選択する。

このように、周辺環境条件の異なる複数の画像から複数の統計モデル画像を生成する。この複数の統計モデル画像を用いた探索手段の探索結果を前回と今回で比較することにより、周辺環境条件の変化を推定することが可能となる。

そして例えば、前記選択手段は、今回の被検出画像に対して前記第１の背景モデル画像を選択した際、前記第１の背景モデル画像を今回の被検出画像に対する前記対比用背景画像として取り扱い、今回の被検出画像に対して前記第２の背景モデル画像を選択した際、今回の被検出画像に対して探索された統計モデル画像を今回の被検出画像に対する前記対比用背景画像として取り扱う。

周辺環境条件に変化がないと推定された場合は第１の背景モデル画像が選択される。この場合は、被検出画像の撮影時近辺の周辺環境条件が反映された第１の背景モデル画像を対比用背景画像として用いることが適切である。一方、周辺環境条件に変化があると推定された場合は第２の背景モデル画像が選択される。この場合は、第１の背景モデル画像で対応しきれないことが多いため、統計モデル画像を対比用背景画像として用いる。この際、前記探索手段で探索された統計モデル画像を用いることで良好な対象物検出を維持することができる。

或いは例えば、前記選択手段は、今回の被検出画像に対して前記第１の背景モデル画像を選択した際、前記第１の背景モデル画像を今回の被検出画像に対する前記対比用背景画像として取り扱い、今回の被検出画像に対して前記第２の背景モデル画像を選択した際、前記複数の統計モデル画像から今回の被検出画像に対する前記対比用背景画像を生成する。

周辺環境条件に変化がないと推定された場合は第１の背景モデル画像が選択される。この場合は、被検出画像の撮影時近辺の周辺環境条件が反映された第１の背景モデル画像を対比用背景画像として用いることが適切である。一方、周辺環境条件に変化があると推定された場合は第２の背景モデル画像が選択される。この場合は、第１の背景モデル画像で対応しきれないことが多いため、統計モデル画像から対比用背景画像を生成する。この際、上記の如く、複数の統計モデル画像から対比用背景画像を生成することで、対象物の検出精度向上を図ることもできる。

また例えば、前記被検出画像内において前記対象物が描画されている領域を指定する情報、又は、前記被検出画像内に前記対象物が含まれていないことを表す情報を受け、受けた情報に基づいて前記第２の背景モデル画像の更新を行う更新手段を当該対象物検出装置に更に設けるようにしてもよい。

これにより、第２の背景モデル画像を、より望ましいものへと更新していくことが可能となる。

また、上記目的を達成するために本発明に係る対象物検出システムは、撮影によって被検出画像を得るカメラと、上記の何れかに記載の対象物検出装置と、前記被検出画像に基づく画像を表示する表示装置と、を備え、前記対象物検出装置による対象物の検出結果を外部に報知する。

このシステムによれば、正確な対象物の検出結果をシステムの使用者に知らせることが可能である。

また、上記目的を達成するために本発明に係る対象物検出方法は、撮影によって被検出画像を得るカメラ及び前記被検出画像に基づく画像を表示する表示装置を備えるシステムに用いられ、且つ、前記カメラから前記被検出画像を順次取得し、前記被検出画像と対比用背景画像との差分結果に基づいて前記カメラの撮影領域内における対象物を検出して該検出結果を外部に報知する対象物検出方法において、互いに異なる複数の背景モデル画像を用意し、前記被検出画像の画像特徴に影響を与える前記カメラの周辺環境条件の変化に応じて前記複数の背景モデル画像の内の何れかを選択し、選択した背景モデル画像に基づいて前記対比用背景画像を生成することを特徴とする。

また、上記目的を達成するために本発明に係るプログラムは、カメラの撮影によって順次得られる被検出画像と対比用背景画像との差分結果に基づいて前記カメラの撮影領域内における対象物を検出する機能をコンピュータに実現させるためのプログラムであって、 前記コンピュータが備えるメモリ内に互いに異なる複数の背景モデル画像を保持する機能、及び、前記被検出画像の画像特徴に影響を与える前記カメラの周辺環境条件の変化に応じて前記複数の背景モデル画像の内の何れかを選択し、選択した背景モデル画像に基づいて前記対比用背景画像を生成する機能、を前記コンピュータに実現させることを特徴とする。

本発明によれば、照明条件を含むカメラの周辺環境条件の変化に対応し、正確な対象物検出を実現することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第６実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１は、本発明の実施形態に係る対象物検出システムの全体ブロック図である。対象物検出システムは、カメラ１、検出処理部２、表示部３及び操作部４を備え、カメラ１の撮影画像に基づいてカメラ１の撮影領域（換言すれば、カメラ１の視野）内に存在しうる検出対象物を検出する。以下の説明では、検出対象物（以下、単に「対象物」と略記する）が、主として人物である場合を想定する。

カメラ１として、ＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。検出処理部２は、集積回路等を用いて形成される。表示部３は、液晶ディスプレイパネル等から形成される表示装置である。操作部４は、対象物検出システムの使用者（以下、「監視者」という）による操作を受け付ける。操作部４に対してなされた操作の内容は検出処理部２に伝達される。操作部４は、表示部３と共にグラフィカルユーザインタフェース（Graphical User Interface；以下、「ＧＵＩ」という）を形成する。監視者は、ＧＵＩを介して必要な操作を施すことにより、所望の指示内容を検出処理部２に与える。

カメラ１は、所定のフレーム周期にて順次撮影を行う。この順次撮影によって周期的に得られる各画像を、以下「フレーム画像」という。フレーム画像を表す画像データは、検出処理部２に送られる。カメラ１の撮影領域は固定されているものとする。また、本実施形態では、カメラ１の撮影領域が家屋等の室内である場合を想定し、また、カメラ１の撮影領域を照らす光源に蛍光灯などの照明装置と太陽光とが含まれている場合を想定する。但し、カメラ１の撮影領域を室外とすることも可能であるし、また、光源の数及び種類は任意である。太陽光及び室内に設けられた照明装置の照明光以外の外光（例えば、ネオンの光）によってカメラ１の撮影領域が一時的に照らされる場合もあり、そのような外光も、カメラ１の撮影領域を照らす光源の一種と捉えられる。

検出処理部２は、符号１１〜１８にて参照される各部位を備える。検出処理部２の各部位の機能を概略的に説明する。尚、検出処理部２内の各部位は、検出処理部２内の他部位で生成される各データを必要に応じて自由に参照可能となっている。

画像取得部１１は、順次、カメラ１から出力される画像データを読み出すことにより各フレーム画像を取得する。差分処理部１２は、フレーム画像とモデル選択処理部１８から与えられる対比用背景画像との差分処理を行ってフレーム画像内の対象物を抽出する。表示制御部１３は、その抽出結果をフレーム画像に反映させた画像が表示部３にて表示されるように表示用の画像データを生成して出力する。図２に、フレーム画像及び対比用背景画像と両画像に対して差分処理を施すことで得られる差分結果画像の例を示す。この差分結果画像から対象物としての人物が抽出される。例えば、いわゆる背景差分法を用いて差分結果画像を得ることができる。尚、図２のフレーム画像には、部屋の角、部屋の床、部屋の２つの壁及び一方の壁に沿って直立している人物が描写されている。

推定モデル生成部１４は、対比用背景画像の元となる推定モデルを生成する。推定モデル保持メモリ１５は、推定モデル生成部１４にて生成された推定モデルを保持する（即ち、記憶する）。統計モデル生成部１６は、対比用背景画像の元となる統計モデルを生成する。統計モデル保持メモリ１７は、統計モデル生成部１６にて生成された統計モデルを保持する（即ち、記憶する）。モデル選択処理部１８は、推定モデル又は統計モデルを選択して、選択したモデルに基づく対比用背景画像を生成する。

対象物が抽出されるべきフレーム画像を、特に「被検出画像」と呼ぶ。各フレーム画像が、順次、差分処理部１２に送られて被検出画像として取り扱われる。以下の説明において、現時点において被検出画像として取り扱われるフレーム画像を、現フレーム画像又は今回のフレーム画像と呼び、そのフレーム画像が得られるフレームを現フレーム又は今回のフレームと呼ぶ。後述の、過去、前回、次回という記述は、今回のフレームを基準として述べたものである。尚、本明細書において、「フレーム」という文言は、画像を意味する文言ではなく、時間を表す文言として解釈されるものとする。フレームは、フレーム画像を得るための撮影タイミング或いは撮影区間とも換言される。例えば、或る着目したタイミングにおける被写体をカメラ１によって撮影した場合、その撮影によって得られるフレーム画像が現フレーム画像であるとすると、現フレームという文言及び今回のフレームという文言は、上記の着目したタイミングを意味している。

図３は、推定モデルの意義を説明するための図である。推定モデルは、現フレームから見た直近過去の所定数フレーム分のフレーム画像を用いて生成される。例えば、その所定数が３０である場合、現フレームを起点として、３０フレーム前から前回フレームまでの合計３０フレーム分のフレーム画像を用いて推定モデルが生成される。推定モデルは、背景画像をモデル化した１枚の背景モデル画像と、差分処理部１２での差分処理にて参照される偏差リストと、から形成される。推定モデルの背景モデル画像は、例えば、上記の直近過去の所定数フレーム分のフレーム画像を平均化することによって生成される。推定モデルは、第１の背景モデルとして機能する。尚、背景画像とは、カメラ１の撮影領域内に対象物が存在していない状態においてカメラ１によって撮影された画像、換言すれば、対象物を含まないフレーム画像を意味する。また、背景モデルとは、対象物を含まない撮影領域についての画像情報をモデル化した背景モデル画像とその他の情報を組み合わせたものであり、推定モデルは、背景モデルの一種である。

図４は、統計モデルの意義を説明するための図である。統計モデルを作成するために、対象物の実際の検出を行うに先立って事前に多数のフレーム画像をカメラ１に取得させておく。この事前に取得された各フレーム画像を、以下、サンプル背景画像という。全てのサンプル背景画像を撮影時において、カメラ１の撮影領域内に対象物が含まれていないものとする。一方で、取得された多数のサンプル背景画像の中には、カメラ１の周辺の照明条件（以下、単に照明条件という）が互いに異なる複数のサンプル背景画像が含まれているものとする。但し、照明条件が同じ状態で撮影された複数のサンプル背景画像も、多数のサンプル背景画像の中に含まれうる。

これを実現するために、例えば、対象物の実際の検出を行うに先立ってサンプル背景画像取得用の期間を設け、その期間中において、カメラ１に多数のフレーム画像をサンプル背景画像として取得させる。この期間中には、カメラ１の撮影領域を照らす照明装置の電源オン／オフや、カメラ１の撮影領域を照らす太陽光の照度変化などが生じている。尚、照明条件は、カメラ１の撮影領域を照らす光源の状態を意味し、照明状態とも換言される。照明条件が異なれば、カメラ１の撮影領域を照らす光源の照度や色温度が異なり、得られるフレーム画像の明るさや色合いも異なってくる。

図４に示す如く、統計モデルは複数個生成され、複数の統計モデルが統計モデル保持メモリ１７に保持される。生成される統計モデルの個数を、Ｎで表す（Ｎは２以上の整数）。各統計モデルは、背景画像をモデル化した１枚の背景モデル画像と、差分処理部１２での差分処理にて参照される偏差リストと、から形成される。Ｎ個の統計モデルは、第２の背景モデルとして機能する。１つの統計モデルの背景モデル画像は、基本的に、似通ったサンプル背景画像を集めて平均化することにより生成され、異なる統計モデル間で背景モデル画像の明るさや色合いなどが異なる。

カメラ１の照明条件（特に、照度）は、日中の太陽光の照度変化等によって比較的緩やかに変化する一方で、照明装置の電源オン／オフ等によって大幅に且つ瞬時に変化しうる。前者の変化の状態は第１の背景モデル（推定モデル）に逐次反映されるため、第１の背景モデルを用いれば前者の変化に対して正確な対象物検出を実現可能である。一方、第１の背景モデルを用いたのでは、後者の変化の状態に対応しきれないことがある。そこで、照明条件に大幅な瞬時変化が生じたと推定される場合は、多数のサンプル背景画像から統計的に作成された第２の背景モデル（Ｎ個の統計モデル）を用いて対象物の検出処理を行う。

このように、本実施形態では、カメラ１の照明条件の変化を推定し、その推定結果に応じて第１の背景モデルと第２の背景モデルを使い分ける。これにより、照明条件の緩やかな変化と大幅な瞬時変化の双方に対応した正確な対象物検出が可能となる。

図５に、本実施形態に係る対象物検出システムの全体的な動作の流れを表すフローチャートを示す。ステップＳ１〜Ｓ１１から成るループ処理を、各フレーム画像に対して実行する。フレーム周期は、例えば、１／３〜１／５秒である。ステップＳ１２〜Ｓ１４の各処理は、このループ処理と切り離して実行される。ステップＳ１の処理は画像取得部１１によって実行され、ステップＳ２〜Ｓ６の各処理はモデル選択処理部１８によって実行され、ステップＳ７、Ｓ８及びＳ１０の各処理は差分処理部１２によって実行され、ステップＳ９の処理は推定モデル生成部１４によって実行され、ステップＳ１１の処理は表示制御部１３及び表示部３によって実行される。ステップＳ１２の処理は、監視者による操作部４への操作によって実現され、ステップＳ１３及びＳ１４の各処理は統計モデル生成部１６によって実行される。

各ステップの概要を説明する。ステップＳ１において、カメラ１から現フレーム画像を取得する。続くステップＳ２において、統計モデル保持メモリ１７に記憶されたＮ個の統計モデルの夫々と現フレーム画像とを比較し、ステップＳ３において、現フレーム画像に対して最も類似する背景モデル画像を含む１つの統計モデルを探索する。

そして、ステップＳ４において、現フレーム画像に対する探索結果が前回のフレーム画像に対する探索結果と同じであるか否かを判断する。即ち、現フレーム画像に対して探索された統計モデルと前回のフレーム画像に対して探索された統計モデルとが同じであるか否かを判断する。同じである場合は、前回のフレーム画像の撮影時における照明条件と今回のそれとが同じであると推測されるため、対象物の検出に推定モデルを用いることができる。そこで、両探索結果が同じである場合は、前回と今回のフレーム間において照明条件が変化していないと推定してステップＳ５に移行し、ステップＳ５において推定モデルから対比用背景画像を生成する。一方、現フレーム画像に対する探索結果と前回のフレーム画像に対する探索結果が異なる場合は、前回のフレーム画像の撮影時における照明条件と今回のそれとが異なると推測されるため、対象物の検出に推定モデルを用いるのは適切ではない。そこで、両探索結果が異なる場合は、前回と今回のフレーム間において照明条件が変化したと推定してステップＳ６に移行し、ステップＳ６において統計モデルから対比用背景画像を生成する。尚、照明条件に関して、変化がないとは、完全に変化がない状態を含むだけでなく、変化があってもそれが無視できる程度に小さい状態をも含む。

ステップＳ５又はＳ６で対比用背景画像が生成されるとステップＳ７に移行し、その対比用背景画像と現フレーム画像との間で差分処理を行う。この差分処理の結果に基づき、現フレーム画像の全体領域から対象物領域及び背景領域が抽出される。対象物領域の抽出及び背景領域の抽出は、夫々、ステップＳ１０及びＳ８にて実行される。対象物領域とは、対象物が描画されている領域を意味し、背景領域とは、対象物を含まない背景が描画されている領域を意味する。従って、フレーム画像の全体領域は、対象物領域と背景領域の合成領域に相当する。

対象物領域及び背景領域が抽出された後、ステップＳ９において、その抽出結果に基づき推定モデルが更新されると共に、ステップＳ１１において、対象物領域の抽出結果が表示部３の表示画面上に表示される。例えば、対象物領域と背景領域を区別して視認可能なように、図１の表示制御部１３が、現フレーム画像に対象物領域を囲む枠を重畳した表示用画像を生成し、これを表示部３の表示画面上に表示させる。図６に、図２のフレーム画像から生成された表示用画像の例を示す。図６において、符号２１０が表示用画像であり、符合２１１が付された破線四角枠は、重畳表示された対象物領域を囲む枠である。ステップＳ９及びＳ１１の処理を終えると、ステップＳ１に戻り、次回のフレーム画像に対してステップＳ１〜Ｓ１１の各処理が実行される。

ステップＳ１２〜Ｓ１４の処理は必要に応じて行われ、それらの処理によって統計モデルがより望ましいものに更新される。ステップＳ１２〜Ｓ１４の処理内容については後述する。

以下、対象物検出システムのより詳細な動作や構成を説明する実施例として、第１〜第６実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。

＜＜第１実施例＞＞
まず、第１実施例を説明する。第１実施例では、図５のステップＳ４において現フレーム画像に対する探索結果が前回のフレーム画像に対する探索結果と同じと判断された場合における、ステップＳ５及びＳ７〜Ｓ１０の各処理内容を説明する。この説明の中で、推定モデルの生成に関する詳細説明も行う。

図７を参照する。図７には、現フレーム画像及び推定モデルから生成された対比用背景画像の例として、現フレーム画像２００及び対比用背景画像２０１が示されている。現フレーム画像２００及び対比用背景画像２０１に基づいてステップＳ７〜Ｓ１０を実行する場合の説明を行う。

前回のステップＳ９の更新処理を行う時点において、現フレーム画像２００を取得するフレームから見た直近過去の所定数フレーム（例えば３０フレーム）分のフレーム画像を用いて、それと同枚数のストック背景画像（これを、ストック背景画像群と総称する）が生成されている。推定モデル生成部１４は、そのストック背景画像群を形成する全ストック背景画像を平均化することにより、最新の推定モデルにおける背景モデル画像を生成する。対比用背景画像２０１は、前回のステップＳ９の更新処理によって得られた、その最新の推定モデルにおける背景モデル画像とされる。

現フレーム画像２００と対比用背景画像２０１との差分処理の説明の前に、前回のステップＳ９の更新処理における推定モデルの生成方法を説明する。今、説明の簡略化のため、ストック背景画像群が３枚のストック背景画像、即ち、図８の第１〜第３のストック背景画像から形成されるものと考えて、推定モデルの生成方法を詳説する。また、ストック背景画像を含む各画像がカラー画像であり、画像を形成する各画素の画素値は、Ｒ信号値、Ｇ信号値及びＢ信号値から形成されるものとする（但し、これは、差分結果画像に代表される二値化画像には当てはまらない）。着目した画素に関し、Ｒ、Ｇ及びＢ信号値は、夫々、その着目した画素の赤成分、緑成分及び青成分の強度を表す。

第１〜第３のストック背景画像に基づく背景モデル画像は、第１〜第３のストック背景画像の各画素のＲ、Ｇ及びＢ信号値を個別に平均化することにより生成される。即ち、図８に示す如く、第１のストック背景画像内の或る着目した座標位置における画素のＲ、Ｇ及びＢ信号値を、夫々、Ｒ₁、Ｇ₁及びＢ₁で表し、且つ、それと同一の座標位置における第２のストック背景画像内の画素のＲ、Ｇ及びＢ信号値を、夫々、Ｒ₂、Ｇ₂及びＢ₂で表し、且つ、それと同一の座標位置における第３のストック背景画像内の画素のＲ、Ｇ及びＢ信号値を、夫々、Ｒ₃、Ｇ₃及びＢ₃で表した場合、それと同一の座標位置における背景モデル画像内の画素のＲ、Ｇ及びＢ信号値は、夫々、（Ｒ₁＋Ｒ₂＋Ｒ₃）／３、（Ｇ₁＋Ｇ₂＋Ｇ₃）／３及び（Ｂ₁＋Ｂ₂＋Ｂ₃）／３、とされる。

推定モデル生成部１４は、背景モデル画像の生成に合わせて、第１〜第３のストック背景画像の画素値の標準偏差を、画素ごとに且つＲ、Ｇ及びＢ信号値の夫々に対して算出する。例えば、上述の着目した座標位置の画素に対しては、下記式（１ａ）、（１ｂ）及び（１ｃ）に従って、Ｒ、Ｇ及びＢ信号値についての標準偏差σ_R、σ_G及びσ_Bが算出される。

標準偏差σ_R、σ_G及びσ_Bを全画素に対して（換言すれば、全座標位置に対して）算出してリスト化したものを、偏差リストと呼ぶ。第１〜第３のストック背景画像に基づく背景モデル画像と偏差リストを併せたものが推定モデルとして生成される（図３参照）。

このようにして生成された最新の推定モデルの背景モデル画像が、上述の如く、図７の対比用背景画像２０１とされる。そして、ステップＳ７において、現フレーム画像２００と対比用背景画像２０１を、画素ごとに且つＲ、Ｇ及びＢ信号値ごとに比較する。そして、比較された両画像間で画素値の相違が比較的大きい画素と相違が比較的小さい画素とを画素ごとに判別する。相違が比較的大きい画素を、以下「相違画素」と呼び、相違が比較的小さい画素を、以下「非相違画素」と呼ぶ（後述する他の実施例においても共通）。尚、相違が比較的小さいとは、相違が全くないことをも含む概念である。そして、相違画素の画素値を１とし且つ非相違画素の画素値を０とした、二値化画像としての差分結果画像２０２を生成する。

具体的には、現フレーム画像２００内の或る着目した座標位置における画素のＲ、Ｇ及びＢ信号値を、夫々、Ｒ_CF、Ｇ_CF及びＢ_CFで表し、それと同一の座標位置における対比用背景画像２０１内の画素のＲ、Ｇ及びＢ信号値を、夫々、Ｒ_EM、Ｇ_EM及びＢ_EMで表した場合、下記の３つの不等式（２ａ）、（２ｂ）及び（２ｃ）が成立するか否かを判断する。そして、その３つの不等式が全て満たされる場合は、その着目した座標位置における画素は非相違画素であると判断する一方、３つの不等式の何れか１つでも満たされない場合は、その着目した座標位置における画素は相違画素であると判断する。この際、不等式（２ａ）、（２ｂ）及び（２ｃ）におけるσ_R、σ_G及びσ_Bは、推定モデルの偏差リストに基づく、着目した座標座標についてのＲ、Ｇ及びＢ信号値の標準偏差とする。また、α₁は、所定の正の係数である。

ステップＳ７にて差分結果画像２０２が生成されると、画像上における対象物領域及び背景領域の各位置が特定される。即ち、差分結果画像２０２内において画素値が１となる画素群から形成される領域そのもの、又は、その領域をとり囲む領域（例えば矩形領域）の位置が対象物領域の位置として特定される一方で、その対象物領域以外の領域の位置が背景領域の位置として特定される。特定された対象物領域及び背景領域の位置から、現フレーム画像２００内における対象物領域及び背景領域を抽出することが可能である（ステップＳ１０及びＳ８）。

この後、推定モデル生成部１４は、推定モデルを更新すべく、現フレーム画像２００から対象物領域を抜き取った時の残りの画像と対比用背景画像２０１中の対象物領域内の画像とを合成することにより、擬似的に欠損のない現時点の背景画像としてのストック背景画像２０５を生成する。具体的には、現フレーム画像２００から対象物領域（差分結果画像２０２に基づいて特定された対象物領域）に位置する一部画像を除去し、除去後の残りの画像を対象物除去画像２０３として生成する。図７において、対象物除去画像２０３内の破線で囲まれた領域内が除去された領域を表している。一方で、対比用背景画像２０１から対象物領域（差分結果画像２０２に基づいて特定された対象物領域）に位置する一部画像を抽出し、この抽出画像を対象物位置背景画像２０４とする。そして、対象物位置背景画像２０４を対象物除去画像２０３に嵌め込むことによって両画像を合成し、その合成画像をストック背景画像２０５とする。

ストック背景画像２０５は、ストック背景画像群の構成要素として、ストック背景画像メモリ（不図示）に新たに記憶される。ストック背景画像メモリは、ストック背景画像群を形成する各ストック背景画像の画像データを記憶しておくためのメモリであり、検出処理部２内（特に例えば、推定モデル生成部１４内）に設けられる。ストック背景画像メモリが記憶するストック背景画像の上限枚数は決まっており、既に上限枚数分のストック背景画像が記憶されている場合は、最も古くに記憶されたストック背景画像をストック背景画像メモリから消去して新たにストック背景画像２０５をストック背景画像メモリに記憶させる。これにより、ストック背景画像群が更新され、その更新されたストック背景画像群に基づいて新たに推定モデルを作成し直す。そして、新たに作成された推定モデル（即ち、今回のステップＳ９にて更新された推定モデル）は、図１の推定モデル保持メモリ１５に記憶され、次回のフレーム画像に対する推定モデルとして利用される。

このように、順次取得されるフレーム画像に基づいて推定モデルを更新していくことにより、比較的緩やかな照度変化に適応した対象物検出が可能となる。

＜＜第２実施例＞＞
次に、第２実施例について説明する。第２実施例では、図５の各ステップの実行に先立って生成されるＮ個の統計モデルの生成方法を説明する。上述したように、事前に多数のサンプル背景画像がカメラ１によって取得される。図１の統計モデル生成部１６は、クラスタリングを行って、この多数のサンプル背景画像をクラス分けしてゆく。クラスタリングの方法として、例えば、階層的クラスタリングを採用することができる。つまり、類似したサンプル背景画像をまとめてクラスタを形成し、更に、総クラスタ数がＮ個となるまで類似するクラスタを併合する処理を繰り返していく。これにより、各サンプル背景画像がＮ個のクラスタの何れかに分類される。尚、統計モデルの生成元となるサンプル背景画像の集まりを、総称して、サンプル背景画像群ともよぶ。

クラスタリングの手法として公知の任意の手法を用いることできるが、以下に、一手法を例示する。図９に、サンプル背景画像の総枚数が１０枚であって且つＮ＝４である場合のクラスタリングの様子を示す。まず、１０枚のサンプル背景画像の夫々を１つの要素から成るクラスタと考えて、異なるクラスタ間の類似度を評価する。画像特徴によってベクトル値が定まる多次元ベクトル空間におけるクラスタ間の距離を類似度の指標として取り扱い、クラスタ間の距離が最も短いクラスタ同士（即ち、類似度の最も高いクラスタ同士）を順次併合していくことによって、クラスタリングを進める。類似度を、第３実施例にて後述する特徴ベクトルに基づいて評価することも可能であるし、公知の任意の、画像間の類似度評価方法を採用して評価することも可能である。

例えば、ウォード法を用いてクラスタリングを行う。ウォード法は、クラスタ同士の類似度の評価の際、着目したクラスタが要素として内包しているクラスタの要素数に重みをつける方法である。例えば、クラスタＡ及びクラスタＢを要素として内包するクラスタＣとクラスタＸとの類似度ｄ_xcは、下記式（３）に従って算出される。ここで、ｄ_xa、ｄ_xb及びｄ_abは、夫々、クラスタＸとクラスタＡの類似度、クラスタＸとクラスタＢの類似度及びクラスタＡとクラスタＢの類似度を表し、ｎ_x、ｎ_a、ｎ_b及びｎ_cは、夫々、クラスタＸが要素として内包しているクラスタの要素数、クラスタＡが要素として内包しているクラスタの要素数、クラスタＢが要素として内包しているクラスタの要素数及びクラスタＣが要素として内包しているクラスタの要素数（今の例において、２）を表す。

総クラスタ数がＮ個になるまでクラスタリングが進んだ時点でクラスタリングを終了して、Ｎ個の統計モデルを作成する。例えば、Ｎ＝４であって、最終的に第１〜第４のクラスタが生成された場合、第ｉのクラスタに内包される全サンプル背景画像に基づいて第ｉの統計モデルを生成する（ここで、ｉは１以上４以下の整数）。各統計モデルは、図４を示して説明したように、１枚の背景モデル画像と偏差リストを有している。

或る１つの統計モデルに着目し、統計モデルを形成する背景モデル画像と偏差リストの生成方法について説明する。説明の具体化のため、着目した統計モデルに対応するクラスタに内包される全サンプル背景画像が第１〜第３のサンプル背景画像から成るものとする。着目した統計モデルの背景モデル画像は、第１〜第３のサンプル背景画像を平均化した画像とされる。第１〜第３のサンプル背景画像を平均化して背景モデル画像を生成する方法は、第１実施例で述べた第１〜第３のストック背景画像から推定モデルの背景モデル画像を生成する方法と同じである。即ち、第１〜第３のサンプル背景画像に基づく背景モデル画像は、第１〜第３のサンプル背景画像の各画素のＲ、Ｇ及びＢ信号値を個別に平均化することにより生成される。

統計モデル生成部１６は、背景モデル画像の生成に合わせて、第１〜第３のサンプル背景画像の画素値の標準偏差を、画素ごとに且つＲ、Ｇ及びＢ信号値の夫々に対して算出する。この標準偏差の算出方法も、第１実施例で述べた標準偏差の算出方法と同じであるが、第１実施例で述べた標準偏差と区別すべく、ここで算出される第１〜第３のサンプル背景画像の画素値の標準偏差の内、Ｒ、Ｇ及びＢ信号値に関する標準偏差を、夫々、σ_R2、σ_G2及びσ_B2で表す。標準偏差σ_R2、σ_G2及びσ_B2を全画素に対して（換言すれば、全座標位置に対して）算出してリスト化したものを、着目した統計モデルの偏差リストとして生成する。

＜＜第３実施例＞＞
次に、第３実施例について説明する。第３実施例では、図５のステップＳ２及びＳ３の処理内容を詳説する。ステップＳ２及びＳ３にて行われる比較及び探索処理の方法として、以下に第１及び第２比較方法を例示する。モデル選択処理部１８は、第１又は第２比較方法を用いて、ステップＳ２及びＳ３の処理を実現する。

［第１比較方法］
第１比較方法について説明する。ステップＳ２では、統計モデル保持メモリ１７に記憶されたＮ個の統計モデルの夫々と現フレーム画像とが比較されるが、今、１つの統計モデルに着目し、その着目した統計モデルと現フレーム画像との比較方法について説明する。

まず、現フレーム画像と着目した統計モデルの背景モデル画像を、画素ごとに且つＲ、Ｇ及びＢ信号値ごとに比較する。そして、比較された両画像間で画素値の相違が比較的大きい画素（即ち、相違画素）と相違が比較的小さい画素（即ち、非相違画素）とを画素ごとに判別する。

具体的には、現フレーム画像内の或る着目した座標位置における画素のＲ、Ｇ及びＢ信号値を、夫々、Ｒ_CF、Ｇ_CF及びＢ_CFで表し、それと同一の座標位置における統計モデルの背景モデル画像内の画素のＲ、Ｇ及びＢ信号値を、夫々、Ｒ_SM、Ｇ_SM及びＢ_SMで表した場合、下記の３つの不等式（４ａ）、（４ｂ）及び（４ｃ）が成立するか否かを判断する。そして、その３つの不等式が全て満たされる場合は、その着目した座標位置における画素は非相違画素であると判断し、３つの不等式の何れか１つでも満たされない場合は、その着目した座標位置における画素は相違画素であると判断する。この際、不等式（４ａ）、（４ｂ）及び（４ｃ）におけるσ_R2、σ_G2及びσ_B2は、着目した統計モデルの偏差リストに基づく、着目した座標座標についてのＲ、Ｇ及びＢ信号値の標準偏差とする。また、α₂は、所定の正の係数である。上述のようにして、全ての画素を相違画素と非相違画素のどちらかに分類した後、相違画素の個数を計数する。

この相違画素の個数の計数を、現フレーム画像と統計モデル保持メモリ１７に記憶されたＮ個の統計モデルの夫々との間で行い、その個数が最も小さくなる統計モデルを、現フレーム画像に対して最も類似する背景モデル画像を含む統計モデルであると判断する。

［第２比較方法］
第２比較方法について説明する。尚、第２比較方法を採用する場合は、ステップＳ２及びＳ３において、統計モデル内の偏差リストは利用されない。

第２比較方法では、現フレーム画像及び統計モデルの背景モデル画像の夫々を被演算画像として取り扱い、被演算画像の特徴量及び特徴ベクトルを以下のように算出する。図１０を参照する。

まず、被演算画像の全体領域を水平方向及び垂直方向に複数に分割することにより、被演算画像内に複数の小ブロックを設定する。今、説明の具体化のため、図１０に示す如く、被演算画像の水平方向及び垂直方向の画素数が夫々３２０及び２４０であって、被演算画像を水平方向に４０分割且つ垂直方向に３０分割することにより、合計１２００個の小ブロックを設定する場合を考える。この場合、各小ブロックは８×８の画素から形成されることになる。尚、図示の煩雑化防止のため、図１０では、被演算画像の水平方向及び垂直方向の分割数が４０及び３０となっていない。また、被演算画像内の小ブロックの水平位置及び垂直位置を表す記号としてｘ及びｙを導入する（ｘは１≦ｘ≦４０を満たす整数値、且つ、ｙは１≦ｙ≦３０を満たす整数値）。ｘが大きくなるほど、その水平位置は右方向に向かい、ｙが大きくなるほど、その垂直位置は下方向に向かうものとする。そして、水平位置ｘと垂直位置ｙを併せてブロック位置（ｘ，ｙ）と表記することにする。また更に、各画素のＲ、Ｇ及びＢ信号値の夫々が、０〜２５５の範囲内の整数値で表されるものとする。

各小ブロックを設定した後、小ブロックごとに、小ブロック内のＲ信号値のヒストグラム、Ｇ信号値のヒストグラム及びＢ信号値のヒストグラムを求める。２５６段階のヒストグラムにおける各度数を特徴量を定義することも可能であるが、微小な信号値差異を無視し且つ演算量の低減を図るため、ヒストグラムにおける解像度を低下させて６４段階のヒストグラム（即ち、０〜２５５の信号値を６４段階に分類したヒストグラム）を求めるようにする。尚、図１０及び後述の図１１の各ヒストグラムにおいて、横軸はヒストグラムにおける分類段階番号を表し縦軸は度数を表している。このようにして小ブロックごとに且つＲ、Ｇ及びＢ信号値ごとに求められた６４段階のヒストグラムの各度数を被演算画像の特徴量として定義し、全ての特徴量を要素とするベクトルを、被演算画像の特徴ベクトルとして求める。今の例の場合、特徴ベクトルは、１２００×６４×３＝２３０４００より、２３０４００次元のベクトルとなる。

上述のようにして、現フレーム画像及び統計モデルの背景モデル画像の夫々の特徴ベクトルを算出した後、現フレーム画像と各統計モデルの背景モデル画像との類似度を特徴ベクトルに基づいて評価する。現フレーム画像と１つの着目した統計モデルの背景モデル画像との類似度の評価方法を説明する。

まず、現フレーム画像内のブロック位置（ｘ，ｙ）における小ブロックについての６４段階のヒストグラムと、着目した統計モデルの背景モデル画像内の、ブロック位置（ｘ，ｙ）における小ブロックについての６４段階のヒストグラムを対比する。前者の小ブロックについての、Ｒ、Ｇ及びＢ信号値のヒストグラムをそれぞれ符号２５１Ｒ、２５１Ｇ及び２５１Ｂによって参照し、後者の小ブロックについての、Ｒ、Ｇ及びＢ信号値のヒストグラムをそれぞれ符号２５２Ｒ、２５２Ｇ及び２５２Ｂによって参照する。図１１には、それらのヒストグラムが示されている。

そして、同色の信号値に関するヒストグラムを重ね合わせた時に重複した面積が大きいほど、対比される小ブロック内の画像の類似度が高いと判断する。具体的には、ヒストグラム２５１Ｒ及び２５２Ｒの第ｉ段階の度数を夫々Ｘ_Ri及びＹ_Riで表し、ヒストグラム２５１Ｇ及び２５２Ｇの第ｉ段階の度数を夫々Ｘ_Gi及びＹ_Giで表し、ヒストグラム２５１Ｂ及び２５２Ｂの第ｉ段階の度数を夫々Ｘ_Bi及びＹ_Biで表した場合、ブロック位置（ｘ，ｙ）についてのブロック評価値ｄ_xy ²を、下記式（５）によって算出する。ブロック評価値ｄ_xy ²は、ブロック位置（ｘ，ｙ）における小ブロックの類似度を表し、対比される小ブロック内の画像の類似度が高いほど、ブロック評価値ｄ_xy ²は小さくなる。

このブロック評価値の算出を全ての小ブロックに対して行い、現フレーム画像と着目した統計モデルの背景モデル画像との間における画像全体の類似度を表す類似性評価値Ｓ_jを、式（６）に従って求める。画像全体の類似度が高いほど、類似性評価値Ｓ_jは小さくなる。ここで、ｊは、着目した統計モデルの番号を示す数値であり、統計モデル保持メモリ１７に記憶される統計モデルの総数がＮ個であることから、ｊは１以上Ｎ以下の整数値をとる。

現フレーム画像と各統計モデルの背景モデル画像を比較していくことにより、類似性評価値Ｓ₁〜Ｓ_Nを求める。そして、類似性評価値Ｓ₁〜Ｓ_Nの内、最小の類似性評価値に対応する統計モデルを、現フレーム画像に対して最も類似する背景モデル画像を含む統計モデルであると判断する。

＜＜第４実施例＞＞
次に、第４実施例について説明する。第４実施例では、図５のステップＳ４において現フレーム画像に対する探索結果が前回のフレーム画像に対する探索結果と異なると判断された場合における、ステップＳ６〜Ｓ１０の各処理内容を説明する。

まず、図５のステップＳ６における対比用背景画像の生成方法を説明する。例えば、ステップＳ３で探索された統計モデルの背景モデル画像そのものを、ステップＳ６にて生成されるべき対比用背景画像とすることが可能である。ステップＳ３で探索された統計モデルの背景モデル画像は、Ｎ個の統計モデルの背景モデル画像の内、現フレーム画像に対して最も類似する画像であるから、このように対比用背景画像を設定しても良好な対象物の検出が可能である。

或いは、複数の統計モデルの背景モデル画像をモザイク的に合成することで対比用背景画像を生成するようにしてもよい。この生成方法を、便宜上、モザイク合成方法と呼ぶ。

モザイク合成方法について説明する。図１２は、モザイク合成方法によって、複数の統計モデルの背景モデル画像から対比用背景画像が生成される様子を示している。モザイク合成方法を用いる場合、現フレーム画像と統計モデルの背景モデル画像を比較し、第３実施例で述べたブロック評価値ｄ_xy ²を小ブロックごとに導出する。この導出は、Ｎ個の統計モデルの全てに対して行われる。そうすると、ブロック位置（１，１）の小ブロックに対して、Ｎ個の統計モデルについてのＮ個のブロック評価値ｄ₁₁ ²が求められる。このＮ個のブロック評価値ｄ₁₁ ²の内の最小値に対応する統計モデルを特定し、特定された統計モデルの背景モデル画像におけるブロック位置（１，１）の小ブロック内画像を抽出して、その抽出画像を、ステップＳ６にて生成されるべき対比用背景画像におけるブロック位置（１，１）の小ブロック内画像とする。ブロック位置（１，１）以外の他のブロック位置（ｘ，ｙ）に対して同様に処理することで、対比用背景画像の全体を形成する。最終的に形成される対比用背景画像は、複数の背景モデル画像の各一部を張り合わせ合成した画像となる。モザイク合成方法を用いれば、理想的な背景画像により近い対比用背景画像を生成することができ、対象物の検出精度の向上が見込める。

上述の如くしてステップＳ６にて対比用背景画像が生成された後、ステップＳ７では、その対比用背景画像と現フレーム画像との差分処理が行われる。図１３を参照して、現フレーム画像３００とステップＳ６にて生成された対比用背景画像３０１とに基づく、図５のステップＳ７〜Ｓ１０の処理を説明する。

まず、現フレーム画像３００と対比用背景画像３０１を、画素ごとに且つＲ、Ｇ及びＢ信号値ごとに比較する。そして、比較された両画像間で画素値の相違が比較的大きい画素（即ち、相違画素）と相違が比較的小さい画素（即ち、非相違画素）とを画素ごとに判別し、相違画素の画素値を１とし且つ非相違画素の画素値を０とした、二値化画像としての差分結果画像３０２を生成する。

具体的には、現フレーム画像３００内の或る着目した座標位置における画素のＲ、Ｇ及びＢ信号値を、夫々、Ｒ_CF、Ｇ_CF及びＢ_CFで表し、それと同一の座標位置における対比用背景画像３０１内の画素のＲ、Ｇ及びＢ信号値を、夫々、Ｒ_SM、Ｇ_SM及びＢ_SMで表した場合、上記の３つの不等式（４ａ）、（４ｂ）及び（４ｃ）が成立するか否かを判断する。そして、その３つの不等式が全て満たされる場合は、その着目した座標位置における画素は非相違画素であると判断する一方、３つの不等式の何れか１つでも満たされない場合は、その着目した座標位置における画素は相違画素であると判断する。この際、不等式（４ａ）、（４ｂ）及び（４ｃ）におけるσ_R2、σ_G2及びσ_B2は、対比用背景画像３０１の生成元の統計モデルの偏差リストに基づく、着目した座標座標についてのＲ、Ｇ及びＢ信号値の標準偏差とする。

尚、モザイク合成方法を利用して対比用背景画像３０１を生成した場合は、複数の統計モデルの偏差リストが参照されうる。例えば、対比用背景画像３０１内のブロック位置（１，１）及び（１，２）における小ブロックが、それぞれ、第１及び第２の統計モデルの背景モデル画像から生成されている場合、ブロック位置（１，１）の小ブロックに属する画素についてのσ_R2、σ_G2及びσ_B2は第１の統計モデルの偏差リストにて規定され、ブロック位置（１，２）の小ブロックに属する画素についてのσ_R2、σ_G2及びσ_B2は第２の統計モデルの偏差リストにて規定される。

ステップＳ７にて差分結果画像３０２が生成されると、画像上における対象物領域及び背景領域の各位置が特定される。即ち、差分結果画像３０２内において画素値が１となる画素群から形成される領域そのもの、又は、その領域をとり囲む領域（例えば矩形領域）の位置が対象物領域の位置として特定される一方で、その対象物領域以外の領域の位置が背景領域の位置として特定される。特定された対象物領域及び背景領域の位置から、現フレーム画像３００内における対象物領域及び背景領域を抽出することが可能である（ステップＳ１０及びＳ８）。

図５のステップＳ４にて現フレーム画像に対する探索結果が前回のフレーム画像に対する探索結果と異なると判断されてステップＳ６に移行した場合、照明条件が急激に変化したと推定されるため、今まで保持していた推定モデルは対象物の検出処理に向かない。そこで、この場合、ステップＳ９において、図１の推定モデル生成部１４は、推定モデルの生成元のストック背景画像群（図７参照）をストック背景画像メモリ（不図示）から一旦全て消去する。また、同時に、その時点で推定モデル保持メモリ１５に保持されている推定モデルも破棄する。

その後、推定モデル生成部１４は、現フレーム画像３００、対比用背景画像３０１及び差分結果画像３０２に基づいて、対象物除去画像３０３及び対象物位置背景画像３０４の生成を介して、擬似的に欠損のない現時点の背景画像としてのストック背景画像３０５を生成する。現フレーム画像、対比用背景画像及び差分結果画像から対象物除去画像、対象物位置背景画像及びストック背景画像を生成する方法は、第１実施例で述べたそれと同じであるため、重複する説明を省略する。そして、新たに生成したストック背景画像３０５をストック背景画像群の構成要素としてストック背景画像メモリに記憶する。

現フレーム画像に対する探索結果が前回のフレーム画像に対する探索結果と同じであるという判断条件が、図５のステップＳ４にて一旦不成立となると、次回以降のフレーム画像に対して該判断条件が満たされていたとしても、例外的処理を行うようにする。例外的処理とは、ステップＳ４からステップＳ５に移行することなく強制的にステップＳ６に移行し、統計モデルに基づく対比用背景画像を用いて、差分処理、対象物領域及び背景領域の抽出処理並びにストック背景画像３０５のようなストック背景画像の生成処理を行うことを意味する。例外的処理の実行によって、ストック背景画像メモリに記憶されるストック背景画像の枚数が増加していく。但し、この例外的処理は、ストック背景画像メモリに記憶されたストック背景画像の枚数が規定枚数に到達した時点で行われなくなるものとする。逆に言えば、ストック背景画像メモリに記憶されたストック背景画像の枚数が規定枚数に到達していない時には、上記判断条件の充足／不充足に拘らず例外的処理が行われる（従って、対象物検出システムの起動直後は例外的処理が行われる）。ストック背景画像の枚数が規定枚数に到達すると、ステップＳ９において、図１の推定モデル生成部１４は、その規定枚数分のストック背景画像を用いて推定モデルを生成し、その推定モデルを推定モデル保持メモリ１５に記憶させる。その後は、上記の判断条件が成立するならば原則どおりステップ４からステップＳ５に移行して、その推定モデルを用いた対比用背景画像の生成処理及び差分処理等が行われる。

例えば、規定回数が３０回である場合において、上記の判断条件が一旦不成立となった後、次回以降のフレーム画像に対して継続して該判断条件が満たされた場合を考える。この場合、次回以降の３０フレーム分のフレーム画像に対して例外的処理が行われて該３０フレーム分のフレーム画像を用いて３０枚のストック背景画像が生成され、その３０枚のストック背景画像を用いて推定モデルが生成される。その後は、上記の判断条件が成立するならば原則どおりステップ４からステップＳ５に移行して、その推定モデルを用いた対比用背景画像の生成処理及び差分処理等が行われる。新たに生成された推定モデルは、その時点の照明条件に適合した背景モデルとなる。

＜＜第５実施例＞＞
次に、第５実施例について説明する。第５実施例では、図５のステップＳ１２〜Ｓ１４の処理内容を詳説する。上述してきた対象物の検出処理は常に正しく行われるとは限らない。検出の正確性を高めるべく、統計モデルをより望ましいものへと更新していった方が良い。これに鑑み、ステップＳ１２〜Ｓ１４では、統計モデルの更新を行う。

ステップＳ１２〜Ｓ１４の処理内容を概略的に説明する。ステップＳ１１において対象物領域の抽出結果が表示部３の表示画面上に表示されることとなるが、ステップＳ１２では、必要に応じて、監視者が該抽出結果に対する手動操作を操作部４（図１参照）に対して行う。この操作が行われるとステップＳ１３に移行し、その操作内容に基づいて、新たにサンプル背景画像群に追加されるべき画像（以下、追加用画像という）を生成する。続くステップＳ１４では、その追加用画像を用いて統計モデルの更新を行う。

例えば、検出処理部２によって着目したフレーム画像内に対象物が存在すると正しく判断された場合は、図６の表示用画像２１０のような画像が表示されることとなるが、対象物の誤検出が発生することもある。対象物の誤検出には、着目したフレーム画像内に実際には対象物が含まれているのにも拘らず対象物が存在しないと検出処理部２が誤って判断する誤検出（以下、第１の誤検出という）と、着目したフレーム画像内に実際には対象物が含まれていないにも拘らず対象物が存在していると検出処理部２が誤って判断する誤検出（以下、第２の誤検出という）とがある。このような誤検出が発生した場合、必要に応じて、監視者は、これらの誤検出の内容を検出処理部２に教示するための操作を操作部４に対して行う（ステップＳ１２）。

まず、第１の誤検出が発生した場合におけるステップＳ１２以降の処理内容を具体的に説明する。図１４の符号３５０は、着目したフレーム画像を表しており、そのフレーム画像３５０がステップＳ１１において表示部３に表示される。この場合、ステップＳ１２において、監視者は、ＧＵＩを介して表示部３に表示されているフレーム画像３５０内の、実際の対象物領域を囲む枠を指定する操作を行う。枠の位置及び大きさを表す情報を含む操作内容は検出処理部２に伝達される。図１４の画像３５１は、この指定操作後に表示部３で表示される画像を表している。画像３５１は、フレーム画像３５０に、指定された枠３６０を重畳した画像に相当する。

ステップＳ１３において、統計モデル生成部１６は、フレーム画像３５０から枠３６０内の画像を抜き取ることで、フレーム画像３５０中の背景領域を抽出する。図１４の画像３５２は、抜き取られた後の残りの画像を表している。

そして仮に、フレーム画像３５０に対するステップＳ７の差分処理が、推定モデルに基づく対比用背景画像を用いて行われていた場合は、最新のフレーム画像に最も類似する統計モデル内の背景モデル画像３７０を用いて枠３６０内の画像を補填することにより合成画像３５４を追加用画像として生成する。背景モデル画像３７０は、最新のフレーム画像に対してステップＳ３にて探索された統計モデル内の背景モデル画像と合致し、最新のフレーム画像とは、合成画像３５４の生成直前に得ることのできる最も新しいフレーム画像を意味する。具体的には、背景モデル画像３７０にも枠３６０と同じ枠を設定し、その枠内の画像３５３を背景モデル画像３７０から抽出する。背景モデル画像３７０上に設定される枠の位置及び大きさは、フレーム画像３５０上の枠３６０のそれらを同じである。そして、画像３５２に画像３５３を嵌め込むことによって画像３５２及び３５３を合成し、合成画像３５４を追加用画像として生成する。

一方、フレーム画像３５０に対するステップＳ７の差分処理が、統計モデルに基づく対比用背景画像を用いて行われていた場合は、部分的に画像情報が欠損した画像３５２そのものを追加用画像として取り扱うようにする。画像３５２における枠３６０内の領域は、画像情報を有さないブランク領域である。尚、フレーム画像３５０に対するステップＳ７の差分処理が推定モデルに基づく対比用背景画像を用いて行われていた場合は合成画像３５４を追加用画像として生成すると述べたが、その場合においても、画像３５２そのものを追加用画像として取り扱うようにしても構わない。

第２の誤検出が発生した場合は、ステップＳ１２において、第２の誤検出が発生している旨を検出処理部２に伝達するための操作を監視者が操作部４に対して行う。この操作がなされると、統計モデル生成部１６は、第２の誤検出が生じたフレーム画像そのものを、追加用画像として取り扱う。

上述のようにしてステップＳ１３にて追加用画像（今の例において、合成画像３５４、画像３５２又はフレーム画像そのもの）が生成されると、ステップＳ１４に移行する。ステップＳ１４では、ステップＳ１３にて生成された追加用画像を、新たに得られたサンプル背景画像として取り扱って統計モデルの生成元となるサンプル背景画像群に含め、この新たに得られたサンプル背景画像を含むサンプル背景画像群を用いて、Ｎ個の統計モデルを作成し直す（つまり、更新する）。統計モデルの作成の仕方は、第２実施例で述べた通りである。尚、追加用画像が画像３５２の如くブランク領域を含む場合は、統計モデル作成時において、そのブランク領域は無視される。つまり、ブランク領域以外の領域の画像情報に基づいて、類似度の評価を介したクラスタリング処理及び統計モデルの生成処理を行えばよい。また、新たに得られたサンプル背景画像をサンプル背景画像群に含める際、それをサンプル背景画像群に単純に追加するようにしてもよいし、既にサンプル背景画像群に含まれていた何れかのサンプル背景画像をサンプル背景画像群から取り除いた上で新たに得られたサンプル背景画像をサンプル背景画像群に追加するようにしてもよい（即ち、置き換えを行っても良い）。

ステップＳ１４にて統計モデルの更新が行われると、その更新後の統計モデルが統計モデル保持メモリ１７に記憶され、統計モデルを参照する以後の各処理は、その更新後の統計モデルを用いて行われるようになる。

このように、監視者による手動操作に基づいて統計モデルを更新していくことにより照明条件の変化に対する対応能力が向上してゆき、結果、対象物の検出精度が向上してゆく。

＜＜第６実施例＞＞
次に、第６実施例について説明する。第６実施例では、図１の対象物検出システムを、実際のシステムに適用する際のシステム構成の例示などを行う。図１５は、第６実施例に係る対象物検出システムの全体ブロック図を表している。図１５の対象物検出システムは、撮像モジュール５０と及び監視装置６０を少なくとも有し、これらに端末機器７０及びインターネット網などのネットワーク８０が接続されている。端末機器７０は、通信機能を備えた端末機器であり、パーソナルコンピュータ、携帯電話機、携帯情報端末などである。端末機器７０及びネットワーク８０を、対象物検出システムの構成要素として捉えることも可能である。

撮像モジュール５０は、符号５１〜５３にて参照される各部位を備え、対象物が存在しうる屋内等に設置される。監視装置６０は、符号６１〜６５にて参照される各部位を備え、監視者の居室に設置される。端末機器７０は、符号７１〜７３にて参照される各部位を備える。端末機器７０の使用者を、監視者の一人と捉えることもできる。

図１５のカメラ５１、表示部６３及び操作部６４は、夫々、図１のカメラ１、表示部３及び操作部４と同じものであってカメラ１、表示部３及び操作部４として機能する。通信部５３は、撮像モジュール５０をネットワーク８０に接続するための部位であり、通信部６１は、監視装置６０をネットワーク８０に接続するための部位であり、通信部７１は、端末機器７０をネットワーク８０に接続するための部位である。通信部５３、６１及び７１は、ネットワーク８０を介して、通信部５３に接続されたモジュール側処理部５２と通信部６１に接続された監視側処理部６２と通信部７１に接続された端末側処理部７２との間のデータのやり取りを実現する。

モジュール側処理部５２及び監視側処理部６２が協働して、図１の検出処理部２が形成される。即ち、検出処理部２にて行うべき処理の一部がモジュール側処理部５２にて実行され、検出処理部２にて行うべき残りの処理が監視側処理部６２にて実行される。

例えば、図１の符号１１、１２、１４、１５、１７及び１８にて参照される各部位をモジュール側処理部５２に設け、図１の表示制御部１３及び統計モデル生成部１６を監視側処理部６２に設ける。この場合、図５のステップＳ１〜Ｓ１０の各処理はモジュール側処理部５２にて実行され、ステップＳ１１〜Ｓ１４の各処理は、表示部６３及び操作部６４と共に監視側処理部６２にて実行される。そして、統計モデルを生成するためのサンプル背景画像群の画像データを記憶部６５に記憶しておくようにし、記憶部６５の記憶内容に基づいて監視側処理部６２が各統計モデルを生成する。勿論、これは、検出処理部２にて行うべき処理の、モジュール側処理部５２と監視側処理部６２への割り振り方の一例であり、その割り振り方を任意に変形することが可能である。

また、カメラ５１にて得られるフレーム画像の画像データ及び図５のステップＳ１０による対象物領域の抽出結果を、撮像モジュール５０の通信部５３又は監視装置６０の通信部６１からネットワーク８０及び通信部７１を介して端末側処理部７２に伝達することにより、抽出結果を反映した、表示部６３にて表示される画像と同等の画像（例えば、図６の表示用画像２１０）を表示部７３で表示させることも可能である。勿論、撮像モジュール５０側又は監視装置６０側で図６の表示用画像２１０のような表示用画像を生成し、その表示用画像の画像データを端末機器７０に送ることで、その表示用画像を表示部７３上で表示させても良い。端末側処理部７２は、表示部７３の表示内容を制御する表示制御部としても機能し、その表示制御部を図１の表示制御部１３と等価なものとすることもできる。

上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。この他、上述の実施形態の変形例または注釈事項を以下に列記する。

上述の対象物検出システムは、カメラ（１又は５１）の撮影領域内に対象物としての人物がいるか否かを検出するためのシステムとして利用可能である。特に例えば、カメラ（１又は５１）をステレオ画像を生成可能なように形成しておく。そして、ステレオ画像内における対象物領域を検出して、検出した対象物領域の画像を時系列で並べて解析すると対象物としての人物の姿勢をも検出することが可能となる。その姿勢の検出結果から人物が倒れていないか等を判断することも可能である。この他、対象物としての人物を不審者と捉えることにより、上述の対象物検出システムを防犯上の監視システムとすることもできる。また、対象物としての人物の数を計数することにより、カメラ（１又は５１）の撮影領域内の人物の数を計数するシステムを形成することもできる。

また、対象物が人物である場合を想定して本発明の実施形態を説明したが、対象物は人物以外の任意の物体となりうる（尚、人物も物体に含まれる）。人物を含む物体は、移動物体と解釈することもできるし、カメラ（１又は５１）の撮影領域内への進入物体と解釈することもできる。

また、上述の実施形態では対象物の検出結果を表示部を用いて対象物検出システムの外部に位置する監視者に報知するようにしているが、その検出結果を音声によって報知するようにしてもよい。この場合、例えば、対象物が検出されるべきフレーム画像から対象物が検出されたか否かを、図示されない音声出力部を用いて音声出力すればよい。

また、カメラ１の撮影によって得られるフレーム画像の画像特徴（明るさや色合い）は、様々な要因によって変化する。この変化は、主として、カメラ１の照明条件（即ち、カメラ１の撮影領域を照らす光源の状態）の変化によってもたらされる。しかし、例えば、カメラ１の撮影領域内又は撮影領域周辺に位置する物体（部屋の壁など）の色や光沢が異なったり、その物体の配置位置が異なったりすると、光源自体に変化がなかったとしても、得られるフレーム画像の画像特徴は変化しうる。つまり、照明条件は、得られるフレーム画像の画像特徴に影響を与えるカメラ１の周辺環境条件の一種といえ、上記の物体の色や光沢、配置位置も該周辺環境条件の一種といえる。従って、上述の実施形態で述べた照明条件をカメラ１の周辺環境条件と読み替えることもできる。つまり、上述の対象物検出システムは、照明条件を含むカメラ１の周辺環境条件の変化を推定し、その推定結果に応じて第１の背景モデルと第２の背景モデルを使い分けるシステムであると考えることもできる。

また、図１の検出処理部２は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて検出処理部２を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。検出処理部２にて行う必要のある演算処理の全部又は一部を、プログラムとして記述し、該プログラムをプログラム実行装置上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。

同様に、図１５のモジュール側処理部５２及び監視側処理部６２の夫々は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いてそれらを構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。モジュール側処理部５２及び監視側処理部６２にて行う必要のある演算処理の全部又は一部を、プログラムとして記述し、該プログラムをプログラム実行装置上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。

例えば、以下のように考えることができる。複数の背景モデルを保持する保持手段は、図１の推定モデル保持メモリ１５及び統計モデル保持メモリ１７によって形成され、複数の背景モデルの何れかを選択する選択手段は、図１のモデル選択処理部１８によって形成される。そして例えば、その保持手段及び選択手段と図１の差分処理部１２とを含んで形成される部分が、対象物検出装置（又は物体検出装置）を形成する。この対象物検出装置（又は物体検出装置）に、図１の画像取得部１１、表示制御部１３、推定モデル生成部１４及び統計モデル生成部１６の全部或いはそれらの内の何れかが更に含まれていると考えることも可能である。

上記の対象物検出装置が実現する機能をプログラムとして記述し、そのプログラムを読み込ませたコンピュータ（不図示）に該機能を実現させる場合は、図１の差分処理部１２、推定モデル生成部１４、統計モデル生成部１６及びモデル選択処理部１８の処理内容をプログラムとして記述すれば良い。そして、コンピュータが備えるメモリ（不図示）を、図１の推定モデル保持メモリ１５及び統計モデル保持メモリ１７として機能させればよい。

本発明の実施形態に係る対象物検出システムの全体ブロック図である。 図１の対象物検出システムによる対象物の検出方法の原理を説明するための図である。 図１の推定モデル生成部にて生成される推定モデルの意義を説明するための図である。 図１の統計モデル生成部にて生成される統計モデルの意義を説明するための図である。 図１の対象物検出システムの全体的な動作の流れを表すフローチャートである。 図１の表示部３に表示される画像の例を示す図である。 現フレーム画像と推定モデルに基づく対比用背景画像との差分処理の様子を示す図である。 推定モデルに含まれる背景モデル画像の生成方法を説明するための図である。 多数のサンプル背景画像がクラスタリングされる様子を表す図である。 画像の特徴量及び特徴ベクトルがヒストグラムによって表現されることを示す図である。 対比されるべき一方の画像のヒストグラムと、他方の画像のヒストグラムを示す図である。 本発明の第４実施例に係り、モザイク合成方法によって、複数の統計モデルの背景モデル画像から対比用背景画像が生成される様子を示す図である。 現フレーム画像と統計モデルに基づく対比用背景画像との差分処理の様子を示す図である。 統計モデルの更新処理を説明するための図である。 本発明の第６実施例に係る対象物検出システムの全体ブロック図である。

符号の説明

１ カメラ
２ 検出処理部
３ 表示部
４ 操作部
１１ 画像取得部
１２ 差分処理部
１３ 表示制御部
１４ 推定モデル生成部
１５ 推定モデル保持メモリ
１６ 統計モデル生成部
１７ 統計モデル保持メモリ
１８ モデル選択処理部

Claims (9)

1. カメラの撮影に基づく被検出画像を順次取得し、前記被検出画像と対比用背景画像との差分結果に基づいて前記カメラの撮影領域内における対象物を検出する対象物検出装置において、
   互いに異なる複数の背景モデル画像を保持する保持手段と、
   前記被検出画像の画像特徴に影響を与える前記カメラの周辺環境条件の変化に応じて前記複数の背景モデル画像の内の何れかを選択し、選択した背景モデル画像に基づいて前記対比用背景画像を生成する選択手段と、を備えた
   ことを特徴とする対象物検出装置。
2. 前記複数の背景モデル画像は、今回の被検出画像の撮影時を基準とする直近過去の所定数枚分の被検出画像を用いて作成される第１の背景モデル画像と、前記撮影領域内に前記対象物が含まれない状態で予め撮影された画像を用いて作成される第２の背景モデル画像と、を含み、
   前記選択手段は、前記周辺環境条件の変化に応じて第１又は第２の背景モデル画像を選択する
   ことを特徴とする請求項１に記載の対象物検出装置。
3. 前記第２の背景モデル画像は、各々が背景モデル画像として機能する複数の統計モデル画像から形成され、
   前記複数の統計モデル画像は、前記撮影領域内に前記対象物が含まれない状態で予め撮影された複数の画像に基づいて生成され、
   各統計モデル画像の生成元の画像の撮影時における前記周辺環境条件は異なる統計モデル画像間で異なり、
   前記選択手段は、前記被検出画像と各統計モデル画像との比較に基づいて、前記複数の統計モデル画像の内、前記被検出画像に最も類似する統計モデル画像を探索する探索手段を備えて、順次取得される各被検出画像に対して前記探索を行い、前回の被検出画像に対する探索結果と今回の被検出画像に対する探索結果が同じであるか否かに基づいて前回と今回の撮影間において前記周辺環境条件が変化したか否かを推定し、両探索結果が同じである場合は変化なしと推定して今回の被検出画像に対して前記第１の背景モデル画像を選択する一方、両探索結果が異なる場合は変化ありと推定して今回の被検出画像に対して前記第２の背景モデル画像を選択する
   ことを特徴とする請求項２に記載の対象物検出装置。
4. 前記選択手段は、
   今回の被検出画像に対して前記第１の背景モデル画像を選択した際、前記第１の背景モデル画像を今回の被検出画像に対する前記対比用背景画像として取り扱い、
   今回の被検出画像に対して前記第２の背景モデル画像を選択した際、今回の被検出画像に対して探索された統計モデル画像を今回の被検出画像に対する前記対比用背景画像として取り扱う
   ことを特徴とする請求項３に記載の対象物検出装置。
5. 前記選択手段は、
   今回の被検出画像に対して前記第１の背景モデル画像を選択した際、前記第１の背景モデル画像を今回の被検出画像に対する前記対比用背景画像として取り扱い、
   今回の被検出画像に対して前記第２の背景モデル画像を選択した際、前記複数の統計モデル画像から今回の被検出画像に対する前記対比用背景画像を生成する
   ことを特徴とする請求項３に記載の対象物検出装置。
6. 前記被検出画像内において前記対象物が描画されている領域を指定する情報、又は、前記被検出画像内に前記対象物が含まれていないことを表す情報を受け、受けた情報に基づいて前記第２の背景モデル画像の更新を行う更新手段を更に備えた
   ことを特徴とする請求項２〜請求項５の何れかに記載の対象物検出装置。
7. 撮影によって被検出画像を得るカメラと、
   請求項１〜請求項６の何れかに記載の対象物検出装置と、
   前記被検出画像に基づく画像を表示する表示装置と、を備え、
   前記対象物検出装置による対象物の検出結果を外部に報知する
   ことを特徴とする対象物検出システム。
8. 撮影によって被検出画像を得るカメラ及び前記被検出画像に基づく画像を表示する表示装置を備えるシステムに用いられ、且つ、前記カメラから前記被検出画像を順次取得し、前記被検出画像と対比用背景画像との差分結果に基づいて前記カメラの撮影領域内における対象物を検出して該検出結果を外部に報知する対象物検出方法において、
   互いに異なる複数の背景モデル画像を用意し、
   前記被検出画像の画像特徴に影響を与える前記カメラの周辺環境条件の変化に応じて前記複数の背景モデル画像の内の何れかを選択し、選択した背景モデル画像に基づいて前記対比用背景画像を生成する
   ことを特徴とする対象物検出方法。
9. カメラの撮影によって順次得られる被検出画像と対比用背景画像との差分結果に基づいて前記カメラの撮影領域内における対象物を検出する機能をコンピュータに実現させるためのプログラムであって、
   前記コンピュータが備えるメモリ内に互いに異なる複数の背景モデル画像を保持する機能、及び、
   前記被検出画像の画像特徴に影響を与える前記カメラの周辺環境条件の変化に応じて前記複数の背景モデル画像の内の何れかを選択し、選択した背景モデル画像に基づいて前記対比用背景画像を生成する機能、を前記コンピュータに実現させるためのプログラム。

Images