JP2006309641A

JP2006309641A - 画像処理装置

Info

Publication number: JP2006309641A
Application number: JP2005133979A
Authority: JP
Inventors: Nami Takahashi; 奈美高橋; Haruhisa Okuda; 晴久奥田; Manabu Hashimoto; 橋本　　学
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-05-02
Filing date: 2005-05-02
Publication date: 2006-11-09

Abstract

【課題】複雑な背景を有する画像において目標が静止し且つ画像上での目標サイズが小さい場合でも目標を目標以外のものと区別し正しく認識できる画像処理装置を提供する。
【解決手段】本発明の画像処理装置は、画像データを格納する画像格納手段と、画像における目標候補の位置又は大きさのデータを格納しておく目標候補格納手段と、目標候補領域の輝度情報、色情報、テクスチャ情報、若しくは勾配情報のうち少なくとも一つを含む特徴量を算出する目標領域特徴量算出手段と、目標候補周辺領域の輝度情報、色情報、テクスチャ情報、若しくは勾配情報のうち少なくとも一つを含む特徴量につき、目標候補周辺の周辺モデルを生成する周辺領域モデル生成手段と、前記目標領域特徴量算出手段で算出された目標領域の特徴量の、前記周辺領域モデル生成手段によって算出された周辺モデルからの乖離程度を算出することで目標候補の真偽判定を行う判定手段とを有する。
【選択図】図１

Description

本発明は、複雑な背景を有する画像において、目標の静止・移動に関わらず目標を認識する画像処理装置に関する。

画像における目標認識に関する従来技術として様々なものが提案されているが、大きく分類すると、（１）移動目標を認識する装置と、（２）移動・静止に関わらず目標を認識する装置とに分けることができる。

上記の（１）移動目標を認識する装置は、時系列画像を用いることにより、フレーム間、あるいは背景画像との変化を抽出し、抽出領域の変化から目標を認識する技術を利用する。例えば、特許文献１に記載の移動物体抽出装置は、静止観測点にあるカメラを用いて同一景観を撮影した時系列画像から移動物体を抽出する際、背景が照明変動等の影響により急激に変化する場合でも移動物体を抽出できる装置である。

上記の（２）移動・静止に関わらず目標を認識する装置は、予め認識対象を学習し、学習データをもとに目標を認識する技術を利用する。例えば、非特許文献１は、認識対象とクラッタ各々について、形状やテクスチャなどの特徴を学習し、学習データをもとに、目標を認識する技術を開示する。

しかし、上記の（１）移動目標を認識する装置は、時系列画像から変化領域を抽出し、その抽出結果（即ち、目標の動き）を基に目標を認識しているため、静止している目標を認識できないという問題点を有する。更に、上記の（２）移動・静止に関わらず目標を認識する装置は、認識対象およびクラッタの形状やテクスチャなどの特徴を学習し、その学習データを基に目標を認識するため、対象が画像上である程度の大きさ（例えば、縦横数十ピクセル程度）を持つことが必要とされる。従って、目標サイズが小さい場合（例えば、縦横数〜十数ピクセル程度の場合）は対象が認識されないという問題点がある。
特開２００４−１７８２４３号公報ＬｉｐｃｈｅｎＡｌｅｘＣｈａｎ，ＳａｎｄｏｒＺ．Ｄｅｒ，ａｎｄＮａｓｓｅｒＭ．Ｎａｓｒａｂａｄｉ， "Ｎｅｕｒａｌ−ＢａｓｅｄＴａｒｇｅｔＤｅｔｅｃｔｏｒｓｆｏｒＭｕｌｔｉｂａｎｄＩｎｆｒａｒｅｄＩｍａｇｅｒｙ"，ＩｍａｇｅＲｅｃｏｇｎｉｔｉｏｎａｎｄＣｌａｓｓｉｆｉｃａｔｉｏｎ，ｐｐ．１−ｐｐ．３６，ＭａｒｃｅｌＤｅｋｋｅｒ，Ｉｎｃ．

本発明は、複雑な背景を有する画像において目標が静止し且つ画像上での目標サイズが小さい場合でも、目標を目標以外のものと区別し正しく認識できる画像処理装置を提供することを目的とする。

本発明は上記の目的を達成するためになされたものである。本発明に係る画像処理装置は、
画像データを格納する画像格納手段と、
画像における目標候補の位置、大きさのうちの少なくとも一つのデータを格納しておく目標候補格納手段と、
目標候補領域の輝度情報、色情報、テクスチャ情報、若しくは勾配情報のうち少なくともいずれか一つを含む特徴量を算出する目標領域特徴量算出手段と、
目標候補周辺領域の輝度情報、色情報、テクスチャ情報、若しくは勾配情報のうち少なくともいずれか一つを含む特徴量について、目標候補周辺の周辺モデルを生成する周辺領域モデル生成手段と、
前記目標領域特徴量算出手段で算出された目標領域の特徴量の、前記周辺領域モデル生成手段によって算出された周辺モデルからの乖離程度を算出することによって目標候補の真偽判定を行う判定手段と
を有する画像処理装置である。

本発明に係る画像認識装置は、目標候補格納手段によって与えられる目標候補の真偽判定を、目標候補周辺領域の輝度や色などの特徴量から周辺モデルを生成することにより行うため、目標の静止・移動に関わらず目標認識を行うことができる。更に、本発明に係る画像認識装置は、目標候補周辺領域からモデルを生成するに当たり、局所的に分布の異なる複雑背景下においてもその状況に適応したモデルを生成することができるため、複雑背景下における目標認識も行うことができる。

以下、図面を参照しつつ本発明に係る好適な実施の形態を説明する。

実施の形態１
図１は、本発明の実施の形態１に係る画像処理装置１のブロック図である。なお、図１に示される実施の形態１に係る画像処理装置１は、特定のコンピュータプログラムを搭載した一般的なコンピュータででも、特別に構成されたプロセッサ及びメモリででも、実現可能である。図２は、図１に示される画像処理装置１における目標認識処理の概略のフローチャートである。画像処理装置１における目標認識の処理手順を図２のフローチャートを参照して説明する。

まず、画像格納手段２から格納されている画像が１枚得られる（ＳＴ０５）。次に、目標候補格納手段４に格納されている目標候補に関する目標候補情報が得られる（ＳＴ１０）。ここでの目標候補情報とは、大きさ、位置などのデータである。目標候補格納手段４に格納されるデータは、画像格納手段２に格納されている画像データを得るセンサとは、異なるセンサから得られたデータでもよい。

次に、目標領域特徴量算出手段６が、上記の画像データ及び目標候補情報から、目標候補領域の特徴量を算出する（ＳＴ１０３）。ここでの目標候補領域の特徴量とは、目標候補領域の輝度、色などの量である。目標候補領域の特徴量は目標候補領域に関するテクスチャ情報や勾配情報でもよい。特徴量は、複数のデータから成る多次元の特徴量ベクトルでもよいし、輝度だけから成る１次元スカラ量でもよい。

次に、周辺領域モデル生成手段８が、目標候補領域周辺の特徴量（輝度、色、テクスチャ情報、若しくは勾配情報など）につき周辺モデルを生成する。例えば、周辺モデルを正規分布のモデルと仮定して、特徴量の平均ｍ及び標準偏差σを算出する（ＳＴ１５）。また、複雑な背景を有する画像の場合、局所的に複数のピークを持つと考えられる。従って、周辺モデルを複数の正規分布の集まりである混合正規分布のモデルと仮定し、それらの特徴量の複数（ここでは、ｋ個）の平均をｍ１、ｍ２、・・・ｍｋ、標準偏差をσ１、σ２、・・・σｋとして、各々を算出してもよい。

更に、判定手段１０が、目標領域特徴量算出手段６で算出された目標候補の特徴量と周辺領域モデル生成手段４で算出された周辺モデルとを比較する。具体的には、例えば、周辺モデルからの乖離範囲を予め設定しておいて、特徴量がその範囲内にあるかどうかを判定する（ＳＴ２５）。図２のフローチャートでは、予め設定しておく周辺モデルからの乖離範囲を、“周辺モデルの平均からＸσ〜Ｙσの範囲”としている。ここでの“Ｘσ〜Ｙσ”は、特徴量の平均からの乖離の範囲の例である。

ＳＴ２５において、範囲外であると判断されれば、目標候補は目標ではないことになる（ＳＴ３５）。範囲内であると判断されれば、目標候補は目標であることになる（ＳＴ３０）。

上記の実施の形態１の説明では、画像中に存在する目標候補数が１つの場合について示した。目標候補数が複数である場合は、目標候補数まで図２のＳＴ０５乃至ＳＴ３５の処理を繰り返して行えばよい。

実施の形態２
図３は、本発明の実施の形態２に係る画像処理装置１のブロック図である。図４は、図３に示される画像処理装置１における目標認識処理の概略のフローチャートである。実施の形態２に係る画像処理装置は、実施の形態１に係る画像処理装置と略同様のものである。従って、同一の部位には同一の符号を付して説明を省略する。

まず、画像格納手段２から格納されている画像が１枚得られる（ＳＴ０５）。次に、目標候補格納手段４に格納されている目標候補に関する目標候補情報が得られる（ＳＴ１０）。ここまでは実施の形態１と同様である。

続いて、周辺領域算定手段１２が、目標候補の周辺領域の大きさを算定する。例えば、目標候補格納手段４に格納されている目標候補情報、予め設定した目標候補の大きさ、若しくは目標領域の画像における空間周波数などから、周辺領域の大きさが算定される。

この後のＳＴ１５乃至ＳＴ３５は、実施の形態１と同様に行なわれる。

周辺領域算定手段１２を設けることにより、各目標に応じた周辺領域を設定することができる。そのため、より詳細で正確な周辺モデルが生成でき、目標認識の精度が向上する。

実施の形態３
図５は、本発明の実施の形態３に係る画像処理装置１のブロック図である。図６は、図５に示される画像処理装置１における目標認識処理の概略のフローチャートである。実施の形態２に係る画像処理装置は、実施の形態１に係る画像処理装置と略同様のものである。従って、同一の部位には同一の符号を付して説明を省略する。

まず、画像格納手段２から格納されている画像が１枚得られる(ＳＴ０５)。次に、第２の画像格納手段１４から格納されている画像が１枚得られる（ＳＴ０６）。これら２枚の画像は、ともに同時刻に別のセンサ等で撮影された異なる画像である。例えば、画像格納手段１は可視画像データを格納するものであり、第２の画像格納手段１４は赤外画像データを格納するものであればよい。

続いて目標候補抽出手段１６が、第２の画像格納手段１４から得られた画像から目標候補を抽出する（ＳＴ０８）。例えば、目標候補抽出手段１６は、赤外画像からある閾値以上の熱を持った領域のデータを抽出する手段である。目標候補抽出手段１４によって抽出された目標候補の位置や大きさなどの情報は、目標候補格納手段４に格納される。

この後のＳＴ１０乃至ＳＴ３５は、実施の形態１（及び実施の形態２）と同様に行なわれる。

上記第２の画像格納手段と目標候補抽出手段を設けることにより、様々な目標を抽出することが可能となる。

画像格納手段２と第２の画像格納手段１４は、同時刻に別のセンサで撮影された異なる画像データを夫々格納する、と記したが、２枚の画像における目標位置、大きさなどの目標情報が一致しているのであれば、異なる時刻の画像データであってもよい。

本発明の実施の形態１に係る画像処理装置のブロック図である。図１に示される画像処理装置における目標認識処理の概略のフローチャートである。本発明の実施の形態２に係る画像処理装置のブロック図である。図３に示される画像処理装置における目標認識処理の概略のフローチャートである。本発明の実施の形態３に係る画像処理装置のブロック図である。図５に示される画像処理装置における目標認識処理の概略のフローチャートである。

符号の説明

１画像処理装置、２画像格納手段、４目標候補格納手段、６目標領域特徴量算出手段、８周辺領域モデル生成手段、１０判定手段、１２周辺領域三点手段、１４第２の画像格納手段、１６目標候補抽出手段。

Claims

画像データを格納する画像格納手段と、
画像における目標候補の位置、大きさのうちの少なくとも一つのデータを格納しておく目標候補格納手段と、
目標候補領域の輝度情報、色情報、テクスチャ情報、若しくは勾配情報のうち少なくともいずれか一つを含む特徴量を算出する目標領域特徴量算出手段と、
目標候補周辺領域の輝度情報、色情報、テクスチャ情報、若しくは勾配情報のうち少なくともいずれか一つを含む特徴量について、目標候補周辺の周辺モデルを生成する周辺領域モデル生成手段と、
前記目標領域特徴量算出手段で算出された目標領域の特徴量の、前記周辺領域モデル生成手段によって算出された周辺モデルからの乖離程度を算出することによって目標候補の真偽判定を行う判定手段と
を有する画像処理装置。
周辺領域の大きさを算定する周辺領域算定手段を、更に有することを特徴とする請求項１に記載の画像認識装置。
前記画像格納手段に格納される画像データを得たセンサとは異なるセンサにより得られた画像データを格納する第２の画像格納手段と、
前記第２の画像格納手段に格納されている画像から目標候補データを抽出し前記目標候補格納手段に格納する目標候補抽出手段とを、更に有することを特徴とする請求項１に記載の画像認識装置。