JP2007249743A - 移動物体の識別方法、移動物体の識別装置、及び移動物体の識別処理を実行させるプログラム - Google Patents

Abstract

【課題】 半透明移動物体を識別する。
【解決手段】
時刻の異なる少なくとも２枚の画像間の差分を用いて変化領域を抽出することにより画像中の移動物体を検出し、この移動物体を識別する移動物体の識別方法において、２枚の画像間の輝度値の相関係数及び平均輝度の差を求める演算工程と、演算工程により算出された相関係数が第１の閾値よりも小さいか否かを判断し、第１の閾値よりも小さいと判断したときに、変化領域を不透明移動物体と判定する不透明移動物体識別工程と、相関係数が第１の閾値よりも大きいとともに、演算工程により算出された平均輝度の差が第２の閾値よりも小さいか否かを判断し、第２の閾値よりも小さいと判断したときに、変化領域を半透明移動物体と判定する半透明移動物体識別工程と、半透明移動物体識別工程により平均輝度の差が第２の閾値よりも大きいと判断したときに、変化領域をノイズと判定するノイズ識別工程とを備える。
【選択図】 図２

Description

本発明は、撮像手段により撮像された画像による移動物体の識別方法に関し、特に、煙やスチームなどの半透明物体を識別するための移動物体の識別方法、また、この移動物体を識別する移動物体の識別装置、及び、移動物体の識別処理を実行させるプログラムに関する。

従来より、カメラ等の撮像手段を用いて、画像中の変化領域を検出する画像処理技術は、監視システム等に取り入れられ、セキュリティ等の分野で採用されている。この監視システムは、撮像手段の撮像領域内の画像の変化を検出することにより、例えば、不審者の侵入を検知するシステムである。

ところで、このような監視システムにおいて撮像手段が設置される場所や、監視領域である撮像領域は、室内とは限らず、その監視対象によって様々である。このような監視システムが監視する領域によっては、例えば、室内であれば照明のちらつきによって監視領域内の監視対象である移動物体の誤認が生じる場合がある。さらに、撮像手段の設置位置によっては、雲などの物体による太陽光の遮蔽や、物体からの反射光の進入などの、監視領域外からの影響を受け、監視領域内に移動物体があると誤認する場合もある。

特許文献１に記載された発明は、監視対象の移動体と紛らわしい外乱が発生する環境下での的確な監視対象の識別を短時間で高精度に行うことができるようにしたものである。具体的には、特許文献１に記載された移動物体の監視方法は、取り込んだ画像信号の２フレーム間画像の差分を用いて変化領域を抽出し、変化領域毎に両画像間の正規化相関処理による濃淡パターンマッチングを行い、類似度が所定値より高い場合に当該変化領域を移動物体として検出する。

特許文献１に記載された移動物体の監視方法は、抽出したい移動物体が不審者などであり、これらの移動物体は背景を隠すため、背景画像と移動物体画像との間で相関が小さいことを検出して識別している。一方、照明変動などのノイズによる変化の場合、その画素が離散的に抽出されるために２枚の画像間の相関は大きい。これは、照明変動などのノイズによる変化が背景を完全に隠さないことに起因して相関が大きくなっている。

特許文献１に記載された移動物体の監視方法は、上述のように背景を完全に隠す不審者などの不透明な物体を検出する目的においては有効である。しかし、検出対象が光透過性を有するいわゆる半透明な物体の場合には、背景画像との相関が大きくなり、ノイズとして認識される可能性が高く、実用的ではない。

特開平１１−４１５８９号公報

そこで本発明は、上述のような問題点を解決するためになされたものであり、背景を映す程度の光透過性を有する半透明な移動物体も識別することができる移動物体の識別方法、移動物体の識別装置、及び移動物体の識別処理を実行させるプログラムを提供することを目的とする。

上述した課題を解決するために、本発明に係る移動物体の識別方法は、撮像手段により撮像された時刻の異なる少なくとも２枚の画像間の差分を用いて変化領域を抽出することにより画像中の移動物体を検出し、この移動物体を識別する移動物体の識別方法において、上記２枚の画像間の輝度値の相関係数及び平均輝度の差を求める演算工程と、上記演算工程により算出された相関係数が第１の閾値よりも小さいか否かを判断し、上記第１の閾値よりも小さいと判断したときに、上記変化領域を不透明移動物体と判定する不透明移動物体識別工程と、上記相関係数が上記第１の閾値よりも大きいとともに、上記演算工程により算出された平均輝度の差が第２の閾値よりも小さいか否かを判断し、上記第２の閾値よりも小さいと判断したときに、上記変化領域を半透明移動物体と判定する半透明移動物体識別工程と、上記半透明移動物体識別工程により上記平均輝度の差が上記第２の閾値よりも大きいと判断したときに、上記変化領域をノイズと判定するノイズ識別工程とを備える。

また、本発明に係る移動物体の識別装置は、撮像手段により撮像された時刻の異なる少なくとも２枚の画像間の差分を用いて変化領域を抽出することにより画像中の移動物体を検出し、この移動物体を識別する移動物体の識別装置において、上記２枚の画像間の輝度値の相関係数及び平均輝度の差を求める演算部と、上記演算部により算出された相関係数が第１の閾値よりも小さいか否かを判断し、上記第１の閾値よりも小さいと判断したときに、上記変化領域を不透明移動物体と判定する不透明移動物体識別部と、上記相関係数が上記第１の閾値よりも大きいとともに、上記演算部により算出された平均輝度の差が第２の閾値よりも小さいか否かを判断し、上記第２の閾値よりも小さいと判断したときに、上記変化領域を半透明移動物体と判定する半透明移動物体識別部と、上記半透明移動物体識別部により上記平均輝度の差が上記第２の閾値よりも大きいと判断したときに、上記変化領域をノイズと判定するノイズ識別部とを備える。

さらに、本発明に係る移動物体の識別処理を実行させるプログラムは、コンピュータによって制御され、撮像手段により撮像された時刻の異なる少なくとも２枚の画像間の差分を用いて変化領域を抽出することにより画像中の移動物体を検出し、この移動物体を識別する処理が実行される情報処理機器に対して、当該処理を実行させるプログラムにおいて、上記２枚の画像間の輝度値の相関係数及び平均輝度の差を求める演算工程と、上記演算工程により算出された相関係数が第１の閾値よりも小さいか否かを判断し、上記第１の閾値よりも小さいと判断したときに、上記変化領域を不透明移動物体と判定する不透明移動物体識別工程と、上記相関係数が上記第１の閾値よりも大きいとともに、上記演算工程により算出された平均輝度の差が第２の閾値よりも小さいか否かを判断し、上記第２の閾値よりも小さいと判断したときに、上記変化領域を半透明移動物体と判定する半透明移動物体識別工程と、上記半透明移動物体識別工程により上記平均輝度の差が上記第２の閾値よりも大きいと判断したときに、上記変化領域をノイズと判定するノイズ識別工程とを備える。

本発明は、時刻の異なる複数の画像間の輝度値の相関係数及び平均輝度の差を比較考量するのみで、不透明移動物体、半透明移動物体、ノイズをそれぞれ識別することができる。

以下、本発明の実施の形態として示す移動物体の識別装置について図面を参照して詳細に説明する。移動物体の識別装置１０は、図１に示すように、監視システム１に用いられる装置であり、監視領域中の移動物体を識別するための装置である。

監視システム１は、図１に示すように、監視領域を撮像可能な撮像手段であるカメラ２と、カメラ２からの画像が入力され、入力される画像から移動物体を識別する移動物体の識別装置１０と、移動物体の識別装置１０によって識別された結果等を表示する表示部３とから構成されている。

カメラ２は、レンズ系、撮像素子等を有する撮像手段であり、監視範囲を撮像し、ケーブル等を介して撮像画像の画像信号を移動物体の識別装置１０に送信する。具体的に、カメラ２は、レンズ系が撮像する監視範囲内の被写体の撮像画像に対してコントラスト調整、ガンマ補正、フレーム補間などの処理を施して画像データを生成し、識別装置１０に出力する。

移動物体の識別装置１０は、カメラ２からの画像信号が入力される演算部１１と、演算部１１にて算出される２枚の画像の相関係数によって不透明物体かどうかを判断する不透明物体判断部１２と、演算部１１にて算出される２枚の画像の平均輝度差を用いて半透明物体かどうかを判断する半透明物体判断部１３と、ノイズ物体判断部１４とから構成されている。移動物体の識別装置１０は、各判断部１２〜１４で識別される移動物体の識別結果を表示部３に出力し、表示部３において、その識別結果を表示する。

移動物体の識別装置１０の演算部１１は、カメラ２からの画像信号が入力され、撮像時刻の異なる画像間での画素特徴の相関係数及び平均輝度の差を算出する。演算部１１は、カメラ２により生成され入力される時刻の異なる２枚の画像間の差分を用いて変化領域を抽出するとともに、この変化領域における画素特徴の相関係数と、平均輝度の差を算出する。演算部１１は、時刻の異なる２枚の画像の特徴量の時間波形の間で相関値を求める。具体的には、演算部１１は、２枚の画像データの画素毎の輝度値の相関値を求める。演算部１１は、算出された相関係数と、平均輝度差の値とを不透明物体判断部１２に出力する。

なお、演算部１１は、２枚の画像間の差分を用いることについて述べたが、これに限らず、撮像時刻の異なる複数の画像を用いて平均輝度差等を算出するようにしてもよい。

また、演算部１１は、変化領域の抽出を行った上で、その変化領域についての画素特徴を算出することについて述べたが、これに限らず、カメラ２により撮像される全画面についての画素特徴を算出するようにしてもよい。

また、本説明における変化領域の一例としては、時刻の異なる複数の画像データを比較して、撮像画像内で動きがある部分を抽出し、その動きがある部分の大きさ、移動距離等の情報に応じて領域を設定し、その設定された領域が変化領域である。

不透明物体判断部１２は、演算部１１によって算出された輝度値の相関係数を用いて、２枚の画像間の変化領域内の移動物体が不透明物体であるか否かを判断する。具体的には、不透明物体判断部１２は、予め設けられた第１の閾値と輝度値の相関係数との大小により当該移動物体を識別する。不透明物体判断部１２は、算出された輝度値の相関係数がこの第１の閾値よりも小さいと判断した場合、撮像画像に写る移動物体を不透明な移動物体と判断し、その結果を表示部３に出力する。また、不透明物体判断部１２は、算出された輝度値の相関係数が第１の閾値よりも大きいと判断した場合、その結果と演算部１１において算出された平均輝度差とを半透明物体判断部１３及びノイズ物体判断部１４に出力する。

なお、本説明における不透明移動物体とは、透明ではない物体、すなわち不審者などの背景を隠す物体のことを言うものとする。

半透明物体判断部１３は、演算部１１において算出された平均輝度差を用いて、２枚の画像間の変化領域内の移動物体が半透明物体であるか否かを判断する。具体的には、半透明物体判断部１３は、予め設けられた第２の閾値と、平均輝度の差との大小により当該移動物体を識別する。半透明物体判断部１３は、算出された平均輝度の差がこの第２の閾値よりも小さいと判断した場合、撮像画像に写る移動物体を半透明な移動物体と判断し、その結果を表示部３に出力する。また、半透明物体判断部１３は、算出された平均輝度の差が第２の閾値よりも大きいと判断した場合、その結果をノイズ物体判断部１４に出力する。

なお、本説明における半透明移動物体とは、撮像領域の光路内に存在する煙、スチームなどの半透明な物体であり、光透過性を有する物体のことを言うものとする。

ノイズ物体判断部１４は、不透明物体判断部１２において輝度値の相関係数が第１の閾値よりも大きいと判断された結果と、半透明物体判断部１３において平均輝度値の差が第２の閾値よりも大きいと判断された結果とを用いて、その移動物体を照明等による外乱と判断し、その結果を表示部３に出力する。

なお、本説明における外乱とは、照明等のちらつきや、影の映りこみ等によるノイズのことを言うものとする。

以上のような構成を有する監視システム１の移動物体の識別装置１０は、カメラ２によって撮像された複数の画像データを用いて、輝度値の相関係数及び平均輝度値の差の大小により、不透明移動物体、半透明移動物体、外乱を判断することができる。

次に、移動物体の識別装置１０における識別工程について、図２を参照しながら説明する。まず、識別装置１０は、ステップＳ１において、演算部１１にて抽出された変化領域内における時刻の異なる２枚の画像間の輝度値の相関係数が第１の閾値よりも小さいか否かを判断する。第１の閾値よりも小さいと判断した場合は、その変化領域内の移動物体を不透明物体と判断する（ステップＳ２）。また、第１の閾値よりも大きいと判断した場合には、ステップＳ３に進む。

次に、識別装置１０は、ステップＳ３において、演算部１１にて算出される平均輝度の差が第２の閾値よりも小さいか否かを判断する。第２の閾値よりも大きいと判断した場合は、その変化領域内の移動物体を外乱によるものと判断（ステップＳ４）し、第２の閾値よりも小さいと判断した場合は、その移動物体を半透明物体と判断する（ステップＳ５）。

以上のようにして、識別装置１０は、時刻の異なる複数の画像の輝度値を用いることにより、不透明移動物体、半透明移動物体、外乱とを識別することができる。識別装置１０は、煙、スチームなどの半透明移動物体を外乱と区別して識別することができる。

続いて、本実施例の識別装置１０を用いて移動物体を識別する具体例について説明する。図３は、カメラ２により半透明物体であるスチームが撮像された画像と、その輝度値を示す図であり、図４は、外乱である影の映りこみが撮像された画像と、その輝度値を示す図であり、図５は、移動した不透明物体が撮像された画像と、その輝度値を示す図である。

識別装置１０は、基本画像（図３（Ａ））と、半透明物体が撮像された画像（図３（Ｂ））との各画素の輝度値の差の絶対値を求め、所定の閾値により二値化し、微小領域を除去するモルフォロジー処理を施すことにより、半透明物体の領域を抽出する（図３（Ｃ））。識別装置１０は、外乱や、不透明物体においても、上述と同様に、それぞれの変化領域を抽出する（図４、５参照。）

それぞれ抽出された変化領域において、算出される輝度値の相関係数及び平均輝度の差についてまとめると、以下の表１のようになる。

表１に示すように、変化領域における移動物体は、輝度値の相関係数の大小により、不透明物体を識別することができる。また、輝度値の相関係数が大きいもののうち、平均輝度差の大小によって、半透明物体と外乱とを識別することができることがわかる。

また、同様の効果を視覚的にわかりやすく説明するため、図６〜図８で画像中の一断面を想定した輝度プロファイルモデルを用いて説明する。識別装置１０は、基本画像の輝度値と画素の関係を示したグラフ（図６（Ａ））と、半透明物体が撮像された画像の輝度値と画素の関係を示したグラフ（図６（Ｂ））との各画素の輝度値の差の絶対値を求め（図６（Ｃ））、二値化し、モルフォロジー処理を施し、半透明物体の領域を抽出する（図６（Ｄ））。

識別装置１０は、外乱や、不透明物体においても、上述と同様に、それぞれの変化領域を抽出する（図７、８参照。）。

以上のようにして、それぞれ抽出された変化領域における輝度値の相関係数及び平均輝度の差についてまとめると、以下の表２のようになる。

表２に示すように、変化領域における移動物体は、輝度値の相関係数の大小により、不透明物体を識別することができる。また、輝度値の相関係数が大きいもののうち、平均輝度差の大小によって、半透明物体と外乱とを識別することができることがわかる。

なお、識別装置１０は、上述した移動物体の識別処理をコンピュータ上でプログラムに実行させるようにしてもよく、このようなプログラムを記録媒体に記録させ、この記録媒体をコンピュータ読み取り可能とすることもできる。このようなプログラム及び記録媒体によれば、上述した移動物体識別処理をソフトウェアにより実現することができる。

本発明の具体例として示す監視システムの識別装置の構成図である。 本発明の移動物体の識別装置の識別工程を示したフローチャートである。 基本画像と、半透明物体が撮像された画像と、その差分における変化領域を抽出した画像の模式図である。 基本画像と、外乱が撮像された画像と、その差分における変化領域を抽出した画像の模式図である。 基本画像と、不透明物体が撮像された画像と、その差分における変化領域を抽出した画像の模式図である。 半透明物体が撮像された画像における輝度値と画素との関係を示すグラフである。 外乱が撮像された画像における輝度値と画素との関係を示すグラフである。 不透明物体が撮像された画像における輝度値と画素との関係を示すグラフである。

符号の説明

１ 監視システム、２ カメラ、３ 表示部、１０ 識別装置、１１ 演算部、１２ 不透明物体判断部、１３ 半透明物体判断部、１４ ノイズ物体判断部

Claims (5)

1. 撮像手段により撮像された時刻の異なる少なくとも２枚の画像間の差分を用いて変化領域を抽出することにより画像中の移動物体を検出し、この移動物体を識別する移動物体の識別方法において、
   上記２枚の画像間の輝度値の相関係数及び平均輝度の差を求める演算工程と、
   上記演算工程により算出された相関係数が第１の閾値よりも小さいか否かを判断し、上記第１の閾値よりも小さいと判断したときに、上記変化領域を不透明移動物体と判定する不透明移動物体識別工程と、
   上記相関係数が上記第１の閾値よりも大きいとともに、上記演算工程により算出された平均輝度の差が第２の閾値よりも小さいか否かを判断し、上記第２の閾値よりも小さいと判断したときに、上記変化領域を半透明移動物体と判定する半透明移動物体識別工程と、
   上記半透明移動物体識別工程により上記平均輝度の差が上記第２の閾値よりも大きいと判断したときに、上記変化領域をノイズと判定するノイズ識別工程とを
   備える移動物体の識別方法。
2. 上記半透明移動物体識別工程は、上記半透明移動物体を煙又はスチームと判定することを特徴とする請求項１記載の移動物体の識別方法。
3. 撮像手段により撮像された時刻の異なる少なくとも２枚の画像間の差分を用いて変化領域を抽出することにより画像中の移動物体を検出し、この移動物体を識別する移動物体の識別装置において、
   上記２枚の画像間の輝度値の相関係数及び平均輝度の差を求める演算部と、
   上記演算部により算出された相関係数が第１の閾値よりも小さいか否かを判断し、上記第１の閾値よりも小さいと判断したときに、上記変化領域を不透明移動物体と判定する不透明移動物体識別部と、
   上記相関係数が上記第１の閾値よりも大きいとともに、上記演算部により算出された平均輝度の差が第２の閾値よりも小さいか否かを判断し、上記第２の閾値よりも小さいと判断したときに、上記変化領域を半透明移動物体と判定する半透明移動物体識別部と、
   上記半透明移動物体識別部により上記平均輝度の差が上記第２の閾値よりも大きいと判断したときに、上記変化領域をノイズと判定するノイズ識別部とを
   備える移動物体の識別装置。
4. 上記半透明移動物体識別部は、上記半透明移動物体を煙又はスチームと判定することを特徴とする請求項３記載の移動物体の識別装置。
5. コンピュータによって制御され、撮像手段により撮像された時刻の異なる少なくとも２枚の画像間の差分を用いて変化領域を抽出することにより画像中の移動物体を検出し、この移動物体を識別する処理が実行される情報処理機器に対して、当該処理を実行させるプログラムにおいて、
   上記２枚の画像間の輝度値の相関係数及び平均輝度の差を求める演算工程と、
   上記演算工程により算出された相関係数が第１の閾値よりも小さいか否かを判断し、上記第１の閾値よりも小さいと判断したときに、上記変化領域を不透明移動物体と判定する不透明移動物体識別工程と、
   上記相関係数が上記第１の閾値よりも大きいとともに、上記演算工程により算出された平均輝度の差が第２の閾値よりも小さいか否かを判断し、上記第２の閾値よりも小さいと判断したときに、上記変化領域を半透明移動物体と判定する半透明移動物体識別工程と、
   上記半透明移動物体識別工程により上記平均輝度の差が上記第２の閾値よりも大きいと判断したときに、上記変化領域をノイズと判定するノイズ識別工程とを
   備える移動物体の識別処理を実行させるプログラム。

Images