JP2009211122A - 画像処理装置およびオブジェクト推定プログラム。 - Google Patents

Abstract

【課題】簡単な設定で、単眼カメラの画像から、精度の高いオブジェクトの推定を可能にした、画像処理装置を提供する。
【解決手段】オブジェクト推定処理部１５３は、抽出した矩形領域について、参照テーブル１５４を用いて、オブジェクトの推定を行う現在オブジェクトモデル推定処理部１５５と、現在オブジェクトモデル推定処理部１５５が推定した、現在と過去の推定結果の情報をもとに、尤度を利用してオブジェクトモデルの判定を行うオブジェクトモデル更新処理部１５６とを具備して構成される。
【選択図】図２

Description

本発明は、単眼カメラ（１台のカメラ）で撮影した画像を処理対象とした画像処理装置およびオブジェクト推定プログラムに関する。

カメラで撮影した画像から変化領域を抽出し、その抽出した対象（オブジェクト）が、例えば人物等のオブジェクトであるのか、映像におけるノイズであるのかを判定する手法として、抽出した領域サイズの大きさや、色またはテクスチャ情報を用いたパターンマッチング等を利用した手法が用いられている。

しかし、監視映像等においては、画面手前側にいるオブジェクトと画面奥側にいるオブジェクトでは、大きさが異なるため、抽出した領域が人物であるのかノイズであるのか（画面奥の人物なのか、それともノイズであるのか）といったオブジェクトとしての判定が難しくなる。

一方、カメラ情報や、カメラ設置条件を利用した３次元計測等により、２次元の画面上にて３次元座標を求め、画面の手前側や奥側での領域のサイズを算出することもできるが、カメラの設置位置を正確に測定したりする必要があり、また、カメラの設置位置によっては、測定が不可能な場合も存在する。

また、カメラ画像による侵入者検出装置として、従来では、侵入物体の無い状態での背景画像データおよび現監視画像データとの差分画像データを演算し、この差分画像データを登録された閾値に基づき異状抽出する技術が存在する。しかしながら、この従来技術においては、閾値の設定、および背景画像データの可変要因等により、検出精度に問題がある。
特開２００１−１４８０７７号公報

上述したように、従来の画像認識処理技術に於いては、単眼カメラによる画像認識処理技術においては判定精度に問題があり、３次元計測等による画像認識処理技術においては設置並びに設定に多くの時間を要するという問題があった。

本発明は、上記問題点を解消し、簡単な設定で、単眼カメラの画像から、精度の高いオブジェクトの推定を可能にした、画像処理装置およびオブジェクト推定プログラムを提供することを目的とする。

本発明は、単眼カメラの映像を所定の周期で入力し、入力した画面上の現在画像と過去画像を差分処理して、変化した画素を含む矩形の領域を抽出する領域抽出処理手段と、前記単眼カメラにより、抽出対象となる対象物を単位に、前記単眼カメラで撮影した画面上で位置を異にする３地点以上の複数地点においてサンプルモデルを撮影し、撮影した各地点毎の画像の矩形の領域について、接地位置と高さおよび幅の各情報を取得し、取得した情報をもとに、直線近似式に従う参照テーブルを作成し保持する参照テーブルの取得処理手段と、前記領域抽出処理手段が抽出した矩形の領域について、前記参照テーブルを参照し、接地位置に対する領域の大きさから前記対象物を推定する推定処理手段とを具備した画像処理装置を提供する。

この画像処理装置により、単眼（カメラ１台）の画像処理において、入力画像から抽出したオブジェクトサイズに基づく、例えば、車両／人物／その他の推定を高い精度で行うことができる。

本発明によれば、簡単な設定で、単眼カメラの画像から、精度の高いオブジェクトの推定が可能である。

以下図面を参照して本発明の実施形態を説明する。

本発明の実施形態に係る画像処理装置におけるオブジェクト推定処理について、その動作の概要を、図１を参照して説明する。なお、ここでは、単眼カメラ１１で撮影した画像を１フレーム３２０×２４０画素のＱＶＧＡでカメラ映像として出力するものとする。

本発明の実施形態に係る、オブジェクトの推定は、サンプルモデルとなる実際のオブジェクト（対象物）を単眼カメラで撮影した画像をもとに行う。

まず、図１に示す処理Ａ１において、単眼カメラ１１の監視映像から、抽出対象となるオブジェクトが撮影されている画像を３枚以上用意する。このとき、これらの画像は同一のオブジェクト（サンプルモデル）であり、画面上の異なる箇所にて撮影されているものとする。例えば、抽出対象となるオブジェクトを、人と車のように、２種とした場合は、１つのオブジェクト（例えば人）について３地点以上、残る一つのオブジェクト（例えば車）について３地点以上の撮影画像を用意する。なお、単眼カメラ１１は、例えば監視エリアを対象に、斜め上方から監視対象を撮像する設置条件のもとに画角が設定されている。

次に、用意した画像からオブジェクトの領域を矩形（四角形）で囲み、矩形で囲った３箇所以上のオブジェクト情報を取得する。例えば、抽出対象となるオブジェクトをオブジェクトＡと、オブジェクトＢの２つのオブジェクト（例えば、人と車）としたとき、オブジェクトＡ（例えば人）について、３地点Ｐ１，Ｐ２，Ｐ３の矩形で囲ったオブジェクト情報、オブジェクトＢ（例えば車）について、３地点Ｐ１，Ｐ２，Ｐ３の矩形で囲ったオブジェクト情報、をそれぞれ取得する。このオブジェクト情報は、接地位置（例えば足元位置）と、矩形の幅と、矩形の高さとを含む。

図１に示す処理Ａ２において、上記処理Ａ１で取得したオブジェクト情報をもとに、画像上の足元位置に対する矩形幅の線形近似式及び、画像上の足元位置に対する矩形高さの線形近似式を算出し、オブジェクトモデルのパラメータを取得する。

図１に示す処理Ａ３において、上記パラメータに従うオブジェクトサイズの参照テーブル（近似オブジェクト推定テーブル）を作成する。ここでは、画面上のｙ座標（２４０ピクセル；２４０ｐｉｘ）について幅と高さを定義した参照テーブルが作成される。

上記処理Ａ３において、上記パラメータに従うオブジェクトサイズの参照テーブルの値が０以下となる場合（例えば、画面内に消失点が撮像されるような画角における消失点近傍より上側の画素にて０以下となる）は、値を０として作成する。

上記処理Ａ３において、上記パラメータに従うオブジェクトサイズの参照テーブルの値に閾値を設け（例えば閾値５：遠方を撮影するような画角でのオブジェクトは、ほとんどが小さいものであり、推定に意味がなく、精度を確保できないため、ある閾値以下ではモデル推定を実施しない）、画面上のｙ座標（２４０ピクセル；２４０ｐｉｘ）について幅と高さのどちらかが閾値以下となった画素にて、値を０として作成する。

以上の処理（前処理）により取得した参照テーブルを用いて、単眼カメラ１１で撮影した画像に対してオブジェクトの推定を行う。

図１に示す処理Ａ１１において、単眼カメラ１１の映像を所定の周期で入力し、入力した画面上の現在画像と過去画像を差分処理して、変化した画素を含む矩形の領域を抽出する。

図１に示す処理Ａ１２において、上記抽出した矩形の領域について、新たに抽出した矩形の領域を追跡開始オブジェクトとして、当該オブジェクトの追跡を行い、追跡したオブジェクト情報を保持し、追跡オブジェクトが出現する度にオブジェクト情報を更新する。

図１に示す処理Ａ１３において、抽出した矩形の領域（追跡開始オブジェクト、および追跡オブジェクト）について、上記前処理により取得した参照テーブルを用いて、オブジェクトの推定を行う。このオブジェクトの推定は、抽出した矩形の領域の足元位置を基準に、参照テーブルから取得したオブジェクトのサイズ（幅と高さ）と、抽出した矩形領域のサイズ（幅と高さ）とを比較することにより行う。この比較は、例えば所定の許容範囲をもたせて行う。ここで抽出した矩形領域のサイズがオブジェクトモデルサイズの許容範囲内にあれば、抽出対象である（指定したサンプルモデルＡ（またはＢ）に近似である）と推定する。

上記した参照テーブルを用意することにより、画像上の足元位置でのオブジェクトのサイズ（幅と高さ）が近似され、画像上の足元位置を基準とするオブジェクトの大きさを近似的に推定することができる。また、人物、車等について、それぞれ上記の手法を適用することにより、画面上でのオブジェクトサイズを個別に推定することができる。

本発明の実施形態に係る画像処理装置の構成を図２に示す。なお、この実施形態では、カメラから取り込んだ１フレーム分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。

本発明の実施形態に係る画像処理装置は、図２に示すように、カメラ（単眼カメラ）１１と、キャプチャ部１２と、画像処理記憶部１３と、画像処理部１５と、表示部１６とを具備して構成される。

カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、一定の画角で撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素（ｐｉｘ）＝ＱＶＧＡ）で出力する。

キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１５の処理対象画像（入力画像）として取り込み、画像処理記憶部１３内の画像バッファ１３１に保持する処理機能をもつ。この画像バッファ１３１に取り込む画面上の入力画像は、ここでは原画像とするが、エッジ画像であってもよい。

画像処理記憶部１３は、画像処理部１５の処理に供される、キャプチャ部１２が取り込んだ入力画像および処理中の各画像を含む各種データを記憶する。この画像処理記憶部１３には、画像処理部１５の制御の下に、キャプチャ部１２が取り込んだフレーム単位の画像のうち、今回取り込んだ一画面分の画像（現在画像）と、前回取り込んだ一画面分の画像（過去画像）をそれぞれ処理対象画像として保持する画像バッファ１３１を構成する領域が確保されるとともに、画像処理部１５の処理に用いられる画像領域が確保される。さらに画像処理記憶部１３には、画像処理部１５の処理に供される各種のパラメータおよび制御データを記憶する記憶領域、追跡処理に於いて生成若しくは取得される各種情報の記憶領域等も確保される。

画像処理部１５は、画像処理記憶部１３の画像バッファ１３１に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この差分二値化画像から、変化画素を含む矩形の領域を抽出する変化領域抽出処理部１５１と、この変化領域抽出処理部１５１で抽出した矩形の領域を処理対象に、領域を追跡する追跡処理部１５２と、参照テーブルを用いて、抽出した矩形の領域（矩形領域）が指定されたオブジェクトであることを推定するオブジェクト推定処理部１５３とを具備して構成される。

表示部１６は上記画像処理部１５で画像処理された動物体領域を表示出力する。

オブジェクト推定処理部１５３は、カメラ１１の映像を入力し、取得した変化領域情報、追跡情報等を利用して、オブジェクト（検出又は追跡した対象物）を推定するオブジェクト推定機能を実現している。

オブジェクト推定処理部１５３は、抽出した矩形領域（追跡開始オブジェクト、および追跡オブジェクト）について、参照テーブル１５４を用いて、オブジェクトの推定を行う現在オブジェクトモデル推定処理部１５５と、現在オブジェクトモデル推定処理部１５５が推定した、現在と過去の推定結果の情報をもとに、尤度を利用してオブジェクトモデルの判定を行うオブジェクトモデル更新処理部１５６とを具備して構成される。

上記した画像処理装置における各構成要素間の情報の流れを図３に示している。

画像処理記憶部１３は、上記した画像バッファ（メモリ）１３１の他に、変化領域抽出処理部１５１の処理に供される変化領域バッファ（メモリ）１３２、追跡処理部１５２の処理に供される追跡情報バッファ（メモリ）１３３、現在オブジェクトモデル推定処理部１５５の処理に供されるオブジェクト情報バッファ（メモリ）１３４等を有して構成される。

モデル推定係数パラメータ算出部１４は、上記した３つ以上の複数のサンプルモデルの矩形領域の情報を入力し、モデル推定（線形近似モデル）係数パラメータを算出して、この係数パラメータを保持し、オブジェクトモデルテーブル算出部１５４に供給する。

このモデル推定係数パラメータ算出部１４による推定係数の算出処理は、図５に示すように、例えばカメラ１１の監視映像若しくはカメラ１１で新たに撮影した監視領域内のサンプル映像等から、抽出対象となるオブジェクトが撮影されている画像を３枚以上（同一のオブジェクトが画面上の異なる箇所にて撮影されているもの）用意する。図５では、同一のサンプルモデル（例；人物）を３地点で撮影した３枚の画像（Ｐ１，Ｐ２，Ｐ３）を例に示している。

この用意された３枚の画像の１枚１枚に対して、図５に示すように、オブジェクトの領域を矩形（四角形）で囲む。

この画像の１枚１枚に対するオブジェクト情報として、画像上の足元位置Ｏｙｉ（ｐｉｘ）、矩形の幅Ｏｗｉ（ｐｉｘ）、矩形の高さＯｈｉ（ｐｉｘ）を取得する（ｉは画像の枚数）。

上記した３つ以上のオブジェクト情報を用いて、最小二乗法により、画像上の足元位置（ｙ）に対するオブジェクトの幅Ｏｗと高さＯｈに対する直線近似式を取得する。

幅モデル：Ｏｗ＝Ａｙ＋Ｂ（Ａ、Ｂは最小二乗法により求まるパラメータ）
高さモデル：Ｏｈ＝Ｃｙ＋Ｄ（Ｃ、Ｄは最小二乗法により求まるパラメータ）
算出したモデル近似式より、画像上の足元位置に対する幅グラフ、高さグラフを取得する。この足元位置−サイズ（幅と高さ）グラフの一例を図６および図８に示している。なお、図６では、後述する許容範囲（点線）を付加して示している。

複数のオブジェクト（例えば人物と車とバイク等）について推定したい場合は、上記について、別オブジェクトにて同様の処理を行う。

オブジェクトモデルテーブル算出部１５４は、モデル推定係数パラメータ算出部１４から供給されたパラメータ値に基づき、画面上の高さ方向（ｙ方向）のすべて（２４０ｐｉｘ）に対応するモデルの矩形の幅と高さの情報を算出し、図２に示す参照テーブル（１５４）を作成して、この参照テーブルを保持する。

この参照テーブルを用いて、図４に示す処理手順に従う画像処理が実施される。

画像処理部１５に設けられた変化領域抽出処理部１５１は、画像処理記憶部１３の画像バッファ１３１に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この画像情報を変化領域バッファ１３２に保持する。さらに、この差分二値化画像の情報から、変化画素を含む矩形の領域を抽出して、この矩形領域の情報を追跡情報バッファ１３３に保持する（図４ステップＢ１）。

追跡処理部１５２は、変化領域抽出処理部１５１により抽出され、追跡情報バッファ１３３に保持された矩形の領域を追跡対象オブジェクトとして追跡処理する。この追跡処理は、初期動作時においては、追跡処理の対象となるオブジェクトが存在しないので、このオブジェクトを新規オブジェクトとして追跡情報バッファ１３３に登録し、以降の追跡処理の対象とする。この追跡処理は、例えば、矩形の形状および重なりによる領域判定と、最小二乗近似により求めた予測方向に従う予測位置に基づく領域判定とを組み合わせた領域の追跡処理が適用できる（図４ステップＢ２）。

オブジェクト推定処理部１５３は、変化領域抽出処理部１５１が抽出した矩形領域（追跡開始（新規）オブジェクト、および追跡オブジェクト）について、オブジェクトモデルテーブル算出部１５４が算出した参照テーブルを用いて、オブジェクトの推定を行う（図４ステップＢ３）。

オブジェクトモデル更新処理部１５６は、現在オブジェクトモデル推定処理部１５５が推定した、現在と過去の推定結果の情報をもとに現在オブジェクトモデルを更新し、尤度を利用してオブジェクトモデルの判定を行う（図４ステップＢ４）。

この現在オブジェクトモデル推定処理部１５５、およびオブジェクトモデル更新処理部１５６の処理を対象としたオブジェクト推定方法を以下に示す。このオブジェクト推定方法は、単眼カメラの映像を入力し、取得した変化領域情報、追跡情報等を利用して、オブジェクト（検出又は追跡した対象物）の推定するオブジェクト推定機能を実現している。このオブジェクト推定機能により、例えば、検出すべきでない対象物の検出を排除し、ユーザが検出したい対象物を検出・追跡した結果が得られる。また、ユーザが指定した対象物か否かを特定することができる。

本発明の実施形態に係るオブジェクト推定機能は、以下の原理に従い実現する。

（１）．オブジェクトモデルの考え方
画像上の複数の位置におけるオブジェクト領域リファレンスサイズ（高さＯＨｙ、幅ＯＷｙ）を用いて、オブジェクト別の高さグラフ、幅グラフを得る。この高さ、幅グラフの対をオブジェクトモデルとする。

オブジェクトモデルは、サンプルのモデルで定義するため、幅と高さの許容範囲を設け、オブジェクトの判定を行うものとする。

この幅と高さの許容範囲を設定したオブジェクト（人物）モデルのグラフの一例を「足元位置−サイズ グラフ」として図６に示している。ここでは許容範囲を点線で示している。

（２）．オブジェクトモデルの指定方法
オブジェクトモデルは１種類以上を指定可能とする。

１種類以上のオブジェクトの監視範囲内での複数の位置におけるサイズ（高さＯＨｙ、幅ＯＷｙ）を矩形で指定する。

モデルは、３個入力し、その３データを用いて、最小二乗法により、オブジェクト別の高さグラフ、幅グラフの直線近似式を得る。

取得した近似式を用いて、ｙ座標に対応する幅（ＯＷｙ）とｙ座標に対応する高さ（ＯＨｙ）の配列を得て内部に格納し、参照テーブルとして利用する。

図７に示すように、矩形を監視エリアの、手前、中央、奥、の３箇所（３地点）で指定し、足元位置（ｘｐ，ｙｐ）、高さ（ＯＨｙｐ）、幅（ＯＷｙｐ）を得る。これをサンプルモデルのデータ（サンプルデータ）として外部パラメータへ保存する。これらオブジェクトモデルのサンプルデータから、直線近似式のパラメータ（Ａ〜Ｄ）を得る。すなわち、オブジェクトモデルの直線近似式（ＯＷｙ＝Ａｙ＋Ｂ）、（ＯＨｙ＝Ｃｙ＋Ｄ）のパラメータを得る。このパラメータに従う「足元位置−サイズ グラフ」の一例を図８に示している。

この直線近似式から、図９に一例を示す、オブジェクトサイズの参照テーブルを作成する。この参照テーブルを用いてオブジェクト（抽出した矩形領域）の推定を行う。

（３）．オブジェクト推定方法
オブジェクト推定方法として、３例を示す。

（３−１）．オブジェクト推定方法（その１）《単一モデル（＋閾値）＋重み付き多数決》
あるタイミングで取得された１つの領域情報とオブジェクトモデルデータを利用して、オブジェクトの判定を行う。

許容する割合（リファレンスモデルサイズの±Ｘ％のサイズまでは当該オブジェクトと判断する、Ｘはオブジェクト単位に指定できる外部パラメータとする）を指定させ、オブジェクト推定の判断に利用する。

判定を行う時に、許容する割合を考慮した縦横比の最小値（ＳｈａｐｅＭｉｎ）と最大値（ＳｈａｐｅＭａｘ）を求め、矩形縦横比（Ｓｈａｐｅ）がその範囲に入っている場合のみ、そのオブジェクトの評価値を算出する。

オブジェクトモデルに対して、出現した領域情報とのユークリッド距離（Ｄ）を算出し、算出したユークリッド距離を使った評価値を算出する。

モデル評価値の算出式は、下式とする。

ＳｈａｐｅＭｉｎ＜Ｓｈａｐｅ＜ＳｈａｐｅＭａｘが成り立つ時は、下式にて評価値を算出する。

この式により、Ｆｎ（Ｏｂｊ）は、図１０のように与えられる。なお、−１を超えた場合は、−１に置換する。

判定した複数（ｎ地点で）の結果を使って、最終判断する。判定に利用する結果数は、パラメータとし、多数決処理による。

この判定イメージを図１１に示す。ここでは、±２０％で許容する場合を例に示している。

重み付き多数決判定は、複数地点（ｎ地点で）の結果を使って、以下のように判断する。

評価値の総和を算出する。

ΣＦ（ａ）＝ΣＦ（ｂ）の時、判定の結果オブジェクトがΣＦ（ａ）（又はＦ（ｂ））＜０の時、Ｕｎｋｎｏｗｎとする。オブジェクトが判定された時、尤度を下式にて求める。Ｕｎｋｎｏｗｎの場合は、０％とする。

＜最終判定＞
最終判定は、参照フレーム（ｎ地点）の結果のオブジェクト判定回数と尤度の平均値を使って最終判定を行う。

・参照フレームを通じて１度でもＵｎｋｏｗｎがある＝観察中（Ｗａｔｈｉｎｇ・・・）
・参照フレームすべてがＵｎｋｏｗｎ＝Ｕｎｋｏｗｎ
・参照フレームのオブジェクト判定回数の最も多いオブジェクトと尤度平均値が最も高いオブジェクトが異なる＝観察中（Ｗａｔｈｉｎｇ・・・）
・参照フレームのオブジェクト判定回数の最も多いオブジェクトと尤度平均値が最も高いオブジェクトが同じ＝当該オブジェクトで確定
参照フレーム数＝５（ｎ＝５）の場合の判定例を図１２に示している（Ａ：オブジェクトＡ、Ｂ：オブジェクトＢ、Ｗ：観察中、Ｕ：Ｕｎｋｏｗｎ）。

（３−２）．オブジェクト推定方法（その２）《モデル更新＋マハラノビス距離判定＋重み付き多数決》
複数取得された当該オブジェクトと判定された領域情報を利用して、各位置におけるオブジェクトモデルを作成する。（膨大な領域情報から標本を複数取得し、モデルを生成する）。

この時のオブジェクトモデルは正規分布であると仮定し、マハラノビス距離を利用して、オブジェクトの判定を行う。

第１ステップと同様に判定した複数の結果を使って、最終判断する。判定に利用する結果数は、パラメータとし、多数決処理による。

この判定イメージを図１３に示す。

＜例＞
Ｘ個データが蓄積されるまでは、オブジェクト推定方法（その１）とする。

Ｘ個の母集団が取得できたら、その中から３０個のサンプルを抽出し、下記モデルを各位置別に作成する。モデル作成のタイミングで取得された３０個は削除し、再度３０個の領域データを取得し、ある条件になった時点で自動的に再生成する。（作成されるタイミングは座標位置により異なるようになる。また、判定手法が、母集団の準備状況により、各位置毎で異なる（メンテナンス画面で確認できるようにする）。

マハラノビスの平方距離が自由度ｐのカイ二乗分布に従うことに基づいて計算できる（ｐは判別分析に用いた変数の個数＝２）。

よって、

上記確率から、評価値Ｆを求める。

以降は、オブジェクト推定方法（その１）と同じ。

ΣＦ（ａ）＝ΣＦ（ｂ）の時、判定の結果オブジェクトがΣＦ（ａ）（又はＦ（ｂ））＜０の時、Ｕｎｋｎｏｗｎとする。

最終判定の方法は、オブジェクトモデル推定方法（その１）と同じとする。

（３−３）．オブジェクト推定方法（その３）《（その２）＋シルエット画像を用いたＡｄａＢｏｏｓｔ判定》
オブジェクト推定方法（その２）の手法による出力に加え、位置別のシルエット平均画像（教師データ）を複数枚利用した学習付き弱識別器を組合せ、強識別器を構成して最終判断を行う。

（４）．オブジェクトモデルを利用した不要領域の削除（派生機能）
オブジェクト情報の内、最も大きいモデルよりもさらに大きい領域と判断した場合は、当該領域を削除する。

または、オブジェクト情報の内、最も小さいモデルよりも更に小さい領域と判断した場合は、当該領域を削除する。

なお、本機能は、オブジェクトモデル推定機能がＯＮの場合のみ機能する。

削除する領域のサイズは、利用するモデルの情報のみを利用し、判断する。

図１４に示す高さ方向の不要エリアと幅方向の不要エリアの何れかの条件を満たす領域（ハッチングした領域）は削除する。

オブジェクト推定方法（その１、その２）に応じて、削除とする領域の選定方法を推定方法に併せて変更する。

＜オブジェクト推定方法（その１）の場合＞
最小モデルと最大モデルを考え、最小モデルよりも幅、高さが小さい場合、又は最大モデルよりも幅、高さが大きい場合、削除する。モデル推定のパラメータとは別に削除エリア用パラメータを指定し判断する。

＜オブジェクト推定方法（その２）の場合＞
最小モデルと最大モデルを考え、最小モデルよりも幅、高さが極端に小さい場合、又は最大モデルよりも幅、高さが極端に大きい場合、削除する（３σを基準に判断する）。

なお、手動による削除設定と自動による上記削除を可能とする。

上記した本発明の実施形態によれば、カメラ情報やカメラ設置条件を利用することなく、撮影された画像上のオブジェクトを３箇所以上抽出することで撮影映像上に出現するオブジェクト推定テーブルを参照テーブルとして設定することができる。また、上記参照テーブルを利用して、尤度とオブジェクト推定を実施し、現在と過去の推定結果を利用して最終的なオブジェクト推定ができる。また、撮影映像上で画像処理により抽出された領域がオブジェクトであるのか、そうでない領域であるのかを判定することができ、ノイズ除去を行うことができる。

本発明の実施形態に係る実施形態に係る画像処理装置の動作概要を示す図。 上記実施形態に係る画像処理装置の構成を示すブロック図。 上記実施形態に係る画像処理装置の構成要素間における情報の流れを示す図。 上記実施形態に係る画像処理装置の処理手順を示すフローチャート。 上記実施形態に係る画像処理装置の参照テーブルを作成するための撮影画像を示す図。 上記実施形態に係る画像処理装置の参照テーブルを作成するための足元位置−サイズグラフの一例を示す図。 上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。 上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。 上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。 上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。 上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。 上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。 上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。 上記実施形態に係る画像処理装置のオブジェクト推定方法を説明するための図。

符号の説明

１１…単眼カメラ、１２…キャプチャ部、１３…画像処理記憶部、１４…モデル推定係数パラメータ算出部、１５…画像処理部、１６…表示部、１５１…変化領域抽出処理部、１５２…追跡処理部、１５３…オブジェクト推定処理部、１５４…参照テーブル、１５５…現在オブジェクトモデル推定処理部、１５６…オブジェクトモデル更新処理部。

Claims (7)

1. 単眼カメラの映像を所定の周期で入力し、入力した画面上の現在画像と過去画像を差分処理して、変化した画素を含む矩形の領域を抽出する領域抽出処理手段と、
   前記単眼カメラにより、抽出対象となる対象物を単位に、前記単眼カメラで撮影した画面上で位置を異にする３地点以上の複数地点においてサンプルモデルを撮影し、撮影した各地点毎の画像の矩形の領域について、接地位置と高さおよび幅の各情報を取得し、取得した情報をもとに、直線近似式に従う参照テーブルを作成し保持する参照テーブルの取得処理手段と、
   前記領域抽出処理手段が抽出した矩形の領域について、前記参照テーブルを参照し、接地位置に対する領域の大きさから前記対象物を推定する推定処理手段と、
   を具備したことを特徴とする画像処理装置。
2. 前記サンプルモデルにおける前記各接地位置の前記高さと幅の情報をオブジェクトモデルとして定義し、前記オブジェクトモデルに幅と高さの許容範囲を設けたことを特徴とする請求項１に記載の画像処理装置。
3. 前記参照テーブルの取得処理手段は、前記サンプルモデルの情報を用いて、最小二乗法により、オブジェクト別の高さグラフ、幅グラフの直線近似式を取得し、取得した近似式を用いて、画面上の縦方向のｙ座標に対応する幅（ＯＷｙ）とｙ座標に対応する高さ（ＯＨｙ）の配列を得ることにより前記参照テーブルを取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記領域抽出処理手段が抽出した矩形の領域を、追跡し、追跡した領域各々について、前記対象物を推定し、推定した対象物が所定の追跡回数に亘り同一であるとき、前記追跡した対象物を特定する追跡処理手段をさらに具備したことを特徴とする請求項１に記載の画像処理装置。
5. 前記追跡処理手段により特定された対象物を除く画像を画面上から除去するノイズ除去手段をさらに具備したことを特徴とする請求項４に記載の画像処理装置。
6. 前記単眼カメラは、前記サンプルモデル、および前記矩形の領域を抽出する対象となる画像を、斜め上方から撮影することを特徴とする請求項１に記載の画像処理装置。
7. 単眼カメラの映像を所定の周期で入力し、入力した画面上の現在画像と過去画像を差分処理して、変化した画素を含む矩形の領域を抽出し、抽出した矩形の領域から対象物を推定するオブジェクト推定機能を有する画像処理装置としてコンピュータを機能させるためのオブジェクト推定プログラムであって、
   今回入力した画面上の画像と前回入力した画面上の画像とを差分処理して画面上の変化した画素を含む矩形の領域を抽出する領域抽出機能と、
   前記単眼カメラにより、抽出対象となる対象物を単位に、前記単眼カメラで撮影した画面上で位置を異にする３地点以上の複数地点において、サンプルモデルを撮影し、撮影した各地点毎の画像の矩形の領域について、接地位置と高さと幅の３種の情報を取得し、取得した情報をもとに、直線近似式に従う参照テーブルを作成し保持する参照テーブルの取得処理機能と、
   前記抽出した矩形の領域について、前記参照テーブルを参照し、接地位置に対する領域の大きさから前記対象物を推定する推定処理機能と
   をコンピュータに実現させるためのオブジェクト推定プログラム。

Images