JP2015069648A - 目標検出方法及び目標検出システム - Google Patents

Abstract

【課題】目標検出方法及びシステムを提供する。【解決手段】目標検出方法は、現在シーンの現フレーム画像を取得し、現フレーム画像の前の連続した複数のフレーム画像の履歴シーケンスにおける履歴情報に基づいて、現フレーム画像の特徴領域を予測し、抽出された特徴に基づいて、現フレーム画像において予測された特徴領域に対し、前フレーム画像の特徴領域との特徴領域マッチングを行い、現フレーム画像においてマッチングされた特徴領域の間の変位ベクトル、空間隣接性及び追跡情報に基づいて、特徴領域の目標集合分析を行うことで目標の特徴領域の集合を取得し、取得された目標集合を検出目標として出力し、抽出された特徴及び空間隣接性に基づいてマッチングしていない点に対してクラスタリングを行い、目標集合分析の結果及びクラスタリング結果を用いて現フレーム画像の特徴領域及び領域特徴を更新する。【選択図】図３

Description

本発明は目標検出方法及び装置に関する。具体的に言えば、本発明は車両の自律運転過程中に変位ベクトル特徴、空間隣接性特徴及び追跡情報を用いて目標集合の分析を行い、自己学習によって絶え間なく特徴領域と特徴値を増強し、さらに検出性能を向上させる目標検出方法及びシステムに関する。

ビデオ検出の幅広い使用につれて、ビデオ画像中の対象検出精度への要求が高まってきている。また、人々の自動運転技術へのニーズに伴い、如何に確実に３Ｄ道路環境を取得するかは、車両の自律運転において非常に重要である。３Ｄ道路環境認識タスクは、主に、路面推定、消失点計算、目標検出等を含み、そのうち、目標対象検出はもっとも重要な一部として、自律走行車の制御に対して直接な影響を及ぼす。

各種対象の画像中に現れる各種特性に関し、各種対象検出方法が提案されている。米国特許出願公開第ＵＳ００５９３７０７９Ａ号（特許文献１）は、立体図像の推定により対象を検出する、立体図対象検出方法を提案している。他の構成類別において画素のために対応する視差値を決定し、且つ所定頻度で視差ヒストグラム中にインクレメンタル集合する。該ヒストグラムの所定のグループ化点領域に属する画素組は、その後被検出の対象と見なされる。該特許出願においては、所定のグループ化点領域に複数の対象が存在するか、等距離に複数の対象が存在する時は、視差ヒストグラムにより対象を決定することができない。

米国特許第ＵＳ７８０１３３０Ｂ２号（特許文献２）はビデオストリームから目標検出と追跡を行う方法を開示している。該方法はビデオを受信し、ビデオにおける運動画素を検出し、検出された運動画素に基づいてビデオにおける線分と運動ブロックを検出し、検出された線分又は運動ブロックに基づいてビデオにおける目標を認識し、認識された目標に基づいてビデオにおける目標を追跡し、及びビデオにおける被追跡目標を管理する。該特許においては、フレームごとに線分又は運動ブロックを検出してマッチングを行う。

従来の技術から見れば、現在の目標検出方法は主に、（１）フレーム内情報に基づく検出方法、（２）フレーム間情報に基づく検出方法の２種類がある。第１類方法は空間の分布特徴を利用して信頼点をクラスタリングして目標を検出する。この類の方法は単純シーン下の検出に対しては非常に有効であり、複雑シーン下の隣接目標に対する分割効果が悪く、且つ大目標を誤って複数の小目標に分けやすい。第２類方法はフレーム間のマッチングにより相対運動情報を取得して目標検出を行う。この類の方法は通常、計算量が膨大で、且つ画素点変位の決定において不安定である。

フレーム内情報に基づいて視差図に目標検出を行うことは幅広く用いられる目標検出方法である。ところが現在の該方法には、さらにいくつの問題が存在し、カメラのパラメータを正確に取得しないため、視差計算により得られる結果も正確ではない。同一目標における視差値の分散が非常に大きいため、隣接する目標の区別がしにくい。図１Ａと１Ｂに示すように、そのうち図１Ａの階調図から分かるように、２つの目標に属する歩行者と車両は視差図１Ｂで同一の目標として認識されている。図１Ｂにおける長方形枠は検出された目標領域である。まばらである視差図中に、水平双眼カメラが取得した視差図における目標の水平縁はほとんど視差値がないため、同一目標を異なる小目標に分割しやすい。図２Ａと２Ｂに示すように、水平双眼カメラが取得した視差図に車両における中間部分は正確なマッチング結果を取得することができないため、車両テールの中間水平縁部分には視差がなく、従って該車両は２つの部分として認識される。図２Ｂに示すように、そのうち２つの長方形枠は検出された目標領域である。

本発明は主にこの２つの課題に対して、以下の新方法を用いて解決する。

本発明の一の態様によれば、目標検出方法を提供しており、該方法は、現在シーンの現フレーム画像を取得するステップと、現フレーム画像の前の連続した複数のフレーム画像の履歴シーケンスにおける履歴情報に基づいて、現フレーム画像の特徴領域を予測するステップと、具体的な応用の必要に応じて抽出された特徴に基づいて、現フレーム画像において予測された特徴領域に対し、前フレーム画像の特徴領域との特徴領域マッチングを行うステップと、現フレーム画像においてマッチングされた特徴領域の間の変位ベクトル、空間隣接性及び追跡情報に基づいて、現フレーム画像の特徴領域に対して目標集合分析を行うことで検出される目標の特徴領域の集合を取得し、取得された目標集合を検出目標として出力するステップと、前記抽出された特徴及び空間隣接性に基づいて、マッチングしていない点に対してクラスタリングを行うステップと、次のフレーム画像に対して前述のステップを繰り返すように、目標集合分析の結果及びクラスタリング結果を用いて現フレーム画像の特徴領域及び領域の特徴を更新するステップと、を含む。

本発明の目標検出方法では、前記目標集合分析を行うステップは、現フレーム画像においてマッチングされた特徴領域に対して、特徴領域の現フレーム画像の前の連続した複数のフレームにおける相対変位状態に基づいて、マッチングされた特徴領域の変位ベクトルを計算するステップと、現フレーム画像の前の連続した複数のフレームの履歴情報により示された追跡軌跡に基づいて、現フレーム画像において計算された特徴領域の変位ベクトルを補正するステップと、現フレーム画像に対して、特徴領域の補正後の変位ベクトル、特徴領域間の空間隣接性及び追跡情報に基づいて、特徴領域の統合を行うことで、目標集合を取得するステップと、を含む。従って、本発明の方法により運動情報とセクション分けるために空間接続情報を使用することにより有効的に隣接する対象を区分することができる。

本発明の目標検出方法では、前記目標集合分析を行うステップは、統合された目標集合の形状を分析し、統合された目標集合に属する潜在目標領域を決定するステップと、具体的な応用の必要に応じて抽出された特徴に基づいて、決定された潜在目標領域を特徴領域として前フレーム画像の特徴領域との再マッチングを行うステップと、マッチングされ、且つ統合された目標集合と同じ変位ベクトルを有する潜在目標領域を、統合された目標集合に統合することで、目標の集合領域全体を取得し、マッチングしていない潜在目標領域を新たな特徴領域として保留するステップと、をさらに含む。

本発明の目標検出方法では、前記現フレーム画像が第１フレームの画像である場合、抽出された特徴及び空間隣接性に基づいてマッチングしていない点に対してクラスタリングを直接に行うことで第１フレームの特徴領域を取得するステップをさらに含む。

本発明の目標検出方法では、前記現フレーム画像の特徴領域及び領域の特徴を更新するステップは、目標集合領域を現フレーム画像の新たな特徴領域とするステップと、マッチングしていない潜在目標領域を現フレーム画像の新たな特徴領域とするステップと、マッチングしていない点をクラスタリングして生成された領域を現フレーム画像の新たな特徴領域とするステップと、抽出された特徴に対して各新たな特徴領域の特徴値を更新するステップと、を含む。従って、本発明の方法は特徴領域と特徴値に対して自己学習を行い、特徴強度が連続的であり、且つより強い堅牢性を有する。

本発明の目標検出方法では、前記履歴シーケンスには、現フレーム画像の前の連続した複数のフレーム画像における各特徴領域の運動状態パラメータが記録されている。

本発明の目標検出方法では、前記特徴領域の予測はカルマンフィルタにより運動モデルを作成することにより行われる。

本発明の目標検出方法では、現フレーム画像において統合を行うための特徴領域は、同じ変位ベクトルを有し、且つ空間上に隣接すると共に、連続した複数のフレームにおいて同じ変位ベクトル、空間関係及び同じ運動軌跡を有する。

本発明の目標検出方法では、前記潜在目標領域を決定するステップにおいて、異なる目標の形状モデルを予め作成することにより潜在目標領域を検出する。

本発明の他の態様によれば、目標検出システムを提供しており、現在シーンの現フレーム画像を取得する画像取得手段と、現フレーム画像の前の連続した複数のフレーム画像の履歴シーケンスにおける履歴情報に基づいて、現フレーム画像の特徴領域を予測する特徴領域予測手段と、具体的な応用の必要に応じて抽出された特徴に基づいて、現フレーム画像において予測された特徴領域に対して、前フレーム画像の特徴領域との特徴領域マッチングを行う特徴領域マッチング手段と、現フレーム画像においてマッチングされた特徴領域の間の変位ベクトル、空間隣接性及び追跡情報に基づいて、現フレーム画像の特徴領域に対して目標集合分析を行うことで検出される目標の特徴領域の集合を取得し、取得された目標集合を検出目標として出力する目標集合分析手段と、前記抽出された特徴及び空間隣接性に基づいて、マッチングしていない点に対してクラスタリングを行うクラスタリング手段と、次のフレーム画像に対して前述のステップを繰り返すように、目標集合分析の結果及びクラスタリング結果を用いて現フレーム画像の特徴領域及び領域の特徴を更新する特徴更新手段と、を含む。

本発明の目標検出方法により、変位ベクトル特徴、空間隣接性特徴及び追跡情報を用いて目標集合の分析を行い、自己学習によって絶え間なく特徴領域と特徴値を増強し、さらに検出特性を向上させる。

従来の技術中に視差図における２つの隣接目標が１つの目標として認識された模式図である。 従来の技術中に視差図における２つの隣接目標が１つの目標として認識された模式図である。 従来の技術中に視差図における１つの目標が２つの目標として認識された模式図である。 従来の技術中に視差図における１つの目標が２つの目標として認識された模式図である。 本発明による目標検出方法を示す全体フローチャートである。 本発明の方法により特徴マッチングを行うことを示すフローチャートである。 前の１つのフレーム画面における特徴領域を示す模式図である。 特徴領域により現在フレーム画面（新規リアルタイム画面）における特徴領域を予測して取得する模式図である。 図５Ｂに予測された特徴領域に対して特徴領域マッチングを行った後の結果を示す模式図である。 本発明の方法により自己学習検出を行うフローチャートである。 本発明の方法により目標集合分析を行うフローチャートである。 図９Ａは、変位ベクトルを決定する模式図である。図９Ｂは、図９Ａに決定された変位ベクトルを示す拡大模式図である。図９Ｃは、図９Ａと９Ｂに示す変位ベクトルに対して補正を行った後の変位ベクトルを示す模式図である。図９Ｄは、図９Ａと９Ｂに示す変位ベクトルに対して補正を行った後の変位ベクトルを示す模式図である。 特徴領域により統合された後の目標集合を示す模式図である。 潜在の目標領域を決定することにより得られた特徴領域を示す模式図である。 非マッチング点がクラスタリングされた後の結果を示す模式図である。 潜在目標領域が統合目標集合と統合されず新規特徴領域に更新される結果模式図である。 統合目標集合と潜在目標領域を統合した後の結果が新規特徴領域に更新された結果模式図である。 非マッチング点のクラスタリング結果が新特徴領域に更新された模式図である。 現在フレームの元視差図である。 従来目標検出方法（例えばフレーム内情報に基づく方法）を用いた結果模式図である。 本発明の検出方法を用いた結果模式図である。 現在フレームの元視差図である。 従来目標検出方法（例えばフレーム内情報に基づく方法）を用いた結果模式図である。 本発明の検出方法を用いた結果模式図である。 本発明の目標検出方法を用いたシステムの機能モジュール図である。

当業者によりよく本発明を理解させるために、以下、図面と具体的な実施方式を参照しながら本発明をさらに詳しく説明する。

本発明の実施例によれば、図３に示すように、目標検出方法を提供する。まず、ステップＳ１０に、例えば双眼カメラの画像取得ユニット１０によりリアルタイム画面をキャプチャし、現在シーンの視差図又は階調図を含み、特徴領域生成ユニット１１（後述する）に出力する。続いて、ステップＳ１１に、特徴領域生成ユニット１１は各特徴領域の履歴シーケンスに基づいて新規リアルタイム画面における特徴領域を予測して特徴領域マッチングを行うことで新規リアルタイム画面における特徴領域を取得する。特徴領域生成ユニット１１はマッチングされた特徴領域を自己学習検出ユニット１２（後述する）に送信する。ステップＳ１２に、自己学習検出ユニット１２は現フレーム画像におけるマッチングされた特徴領域を目標集合分析し、及び非マッチング点に対して抽出特徴と空間隣接性に基づいてクラスタリングを行って新規特徴領域を形成し、現フレーム画像における特徴領域とこれらの特徴領域における特徴を更新し、更新された結果を出力ユニット１３（後述する）に送信する。その後、ステップＳ１３に、出力ユニット１３は新規特徴領域を新規リアルタイム画面における目標対象として出力する。

図４は本発明の方法による特徴マッチングを示すフローチャートである。図４に示すように、まず、ステップＳ１０で取得されたリアルタイム画面の階調図と視差図に対して、ステップＳ１１０で該リアルタイム画面が本発明の検出方法を用いたシステムが受信された第１フレーム画像であるかどうかを判断する。第１フレーム画像であると、処理過程は後述するステップＳ１２２に移行する。第１フレーム画像ではないと、ステップ１１１に移行する。ステップＳ１１１において、取得された画像に対して、特徴領域予測１１１は追跡フィルタを用いて作成された運動モデルに基づいて各特徴領域の次のフレーム（新規リアルタイム画面）における位置を予測する。追跡フィルタ、例えばカルマンフィルタは、各特徴領域の運動状態パラメータを説明する運動モデルを構築してもよい。もちろん、他の従来のフィルタを使用してもよい。特徴領域の次のフレームにおける位置Ｐ_ｎ＋１と大きさＳ_ｎ＋１は、いずれも追跡フィルタによりシステム中に保存されている履歴シーケンスＴ基づいて予測することができる。

本出願の１つの実例として、システム中に保存されている履歴シーケンスＴは各特徴領域の運動軌跡を記録している。

ここで、Ｏ_ｊ目標（特徴領域）の状態であり、その第ｉフレームでの位置Ｐ_ｉ、速度Ｖ_ｉ、寸法Ｓ_ｉ等を含む。Ｔｉはｍ個目標の第フレームｉにある時の状態を含む。Ｔは第０フレームから第ｎフレームまでの各フレームの履歴情報を含む。
図５Ａは前の１つのフレーム画面における特徴領域を示す模式図であり、図５Ｂは特徴領域により現在フレーム画面（新規リアルタイム画面）における特徴領域を予測して取得する模式図である。

本発明において、最初に本発明の前記目標検出方法を使用する場合があり、即ち、前記ステップＳ１１０においてリアルタイム画面が第１フレーム画像であると判断される場合である。これに対して、本発明は、初期期状態では、前記ステップを行わず、直接後述する非マッチング点クラスタリングステップＳ１２２を行ってもよい。簡単に言えば、Ｓ１２２において、初期画面に対して、空間隣接性に基づいてクラスタリングを行い、同一の空間に属する画素点を一類に分類して特徴領域を形成する。例えば、クラスタリング方法（例えば、連結成分分析法（ＣＣＡ）、Ｋ−平均値法等）を使用し、近い視差値を有し且つＸ、Ｙ方向に隣接する点に対してクラスタリングを行う。その後の第２フレームに対して、具体的な検出対象の特徴に基づいて、一定空間範囲内でマッチングを行うことで第２フレームにおける特徴領域又は対象領域を取得する。例えば、具体的な検出対象が人であると、人の通常運動速度に基づいて、人の隣接する両フレームの時間内の通常移動距離を設定し、これにより、第１フレームの特徴領域を中心とする該通常移動の距離（例えば１、２、３、４又は５個の画素点の距離）範囲内で特徴マッチング行い、これによって、マッチングされた領域を第２フレームの特徴領域とする。その後、前の両フレームの特徴領域に基づいて前記履歴シーケンスＴを作成し、新規リアルタイム画面に対して前記ステップＳ１１１を実行する。それにしても、現フレームが第１フレームであるかを判断するステップは必ず必要ではない。実際に本発明の検出方法を実施する中で、システムは通常、いくつの具体応用に対応する履歴シーケンスを予め設定し、これらの予め設定された履歴シーケンスに記録する履歴情報は通常具体応用に対応する実際環境との間に類似ところがあり、通常、特徴の予測結果に多大な格差をもたらすことがない。また、特徴領域予測結果に大きな格差が存在すると、後に行う非マッチング点クラスタリングステップにより補正することができる。

現在フレーム（新規リアルタイム画面）に対して特徴領域予測を行った後、ステップＳ１１２において、後述する特徴領域マッチングユニット１１２は抽出された特徴に基づいて、現フレーム画像において予測された特徴領域に対し、前の１つのフレームの特徴領域との特徴領域マッチングを行う。抽出された特徴は異なる実際応用に対して、異なる特徴を有してもよい。多くの特徴、例えば模様、角点及び形状等を抽出して領域のマッチングに用いてもよい。車両検出を例として、対称性特徴を抽出してマッチングを行うことができる。人に対して、模様又は形状特徴を用いてマッチングを行うことができる。これらの特徴の抽出は従来の各種方法を用いて行うことができる。マッチング方法においては、抽出される異なる特徴を対象としてもよい。相応のマッチング方法、例えばヒストグラムマッチング、テンプレートマッチング等の方法を採用する。図６は図５Ｂに予測された特徴領域に対して特徴領域マッチングを行った後の結果を示す模式図である。図６に示すように、中実の長方形枠はマッチング上の特徴領域を示し、中空部の長方形枠は非マッチング特徴領域を示す。車道線が隣接フレームの対応の長方形枠内で変化したため、車両左下部に位置する特徴領域が非マッチングとなる。

前記のステップＳ１１１に対して説明したように、本発明の検出方法を使用する初期段階に、最初の第１フレームに対して、マッチングの元がないため、ステップＳ１１２は実行せず、直接後述する非マッチング点クラスタリングステップを行う。

図７は本発明の方法により自己学習検出を行うフローチャートである。例えば、図７に示すように、ステップＳ１２０において、前の段階から得られた現在フレームの特徴マッチング後のマッチングされた特徴領域及び元画像を受信すると、ステップＳ１２１において、目標集合分析ユニット１２１が、マッチングされた特徴領域の変位ベクトル、空間隣接性及び追跡情報に基づいて、特徴領域の目標集合分析を行うことで目標の特徴領域の集合を取得する。図８は本発明の方法により目標集合分析を行うフローチャートである。

図８に示すように、ステップＳ１２０において、前の段階から取得された現在フレームの特徴マッチング後のマッチングされた特徴領域及び元画像を受信する。その後、ステップＳ１２１１において、目標集合分析ユニット１２１に含まれる変位ベクトル決定ユニット１２１１が、現在フレーム中のマッチングされた特徴領域に対して、特徴領域の前の連続的なマルチフレームにおける相対変位状態に基づいて、マッチングされた特徴領域の変位ベクトルを算出することができる。具体的な計算方法は従来の変位ベクトル計算方法により行ってもよい。図９Ａは変位ベクトルを決定する模式図である。図９Ｂは図９Ａで決定された変位ベクトルを示す拡大模式図である。図９Ａと９Ｂ図における白色矢印の指示のように、取得された特徴領域の変位ベクトルを計算する。これらの非マッチング特徴領域又は非マッチング画素点に対しては、変位ベクトルを算出することができない。

その後、ステップＳ１２１２において、目標集合分析ユニット１２１に含まれる変位ベクトル補正ユニット１２１２が、追跡軌跡に基づいて、計算された特徴領域の変位ベクトルを補正する。前述のように、本発明の目標検出方法を用いるシステムには、特徴領域の履歴追跡シーケンスが保存されており、該履歴追跡シーケンスは各特徴領域の運動軌跡情報を記録している。車両を被検出対象とすることを例にすると、車両走行過程中に、現在フレームにおける可能な車両の位置としての特徴領域の位置は急激な変化がない。従って、履歴追跡シーケンスに記録する各特徴領域の運動軌跡情報は計算された対応特徴領域の変位ベクトルを補正／平滑化することに用いられることができる。このような補正方法は従来の数学補正形態類を用いて行うことができ、従ってここで詳しく説明しない。図９Ｃ〜９Ｄは図９Ａと９Ｂに示す変位ベクトルに対して補正を行った後の変位ベクトルを示す模式図である。図９Ｃに示すように、補正した後、検出対象としての車両の位置近傍に、同じ運動ベクトルを有する特徴領域が３つあり、図９Ｄに示すように、補正した後、車両の位置近傍の他の特徴領域が異なる運動ベクトルを有する。同じ変位ベクトルを有する特徴領域に対して同じマークを用いてラベルをつけることができる。

次に、ステップＳ１２１３において、目標集合分析ユニット１２１に含まれる特徴領域統合ユニット１２１３が、特徴領域の補正後の変位ベクトル、特徴領域同士の間の空間隣接性及び追跡情報に基づいて、特徴領域の統合を行い、目標集合を取得する。統合又は集合された特徴領域は同時に、下記の３つの条件、即ち、まず、現在フレーム中に、統合されようとする特徴領域が同じ変位ベクトルを有し、又は同じマークを有すること、次に、現在フレーム中に、統合されようとする特徴領域が空間上に互いに隣接し、且つ、これらの特徴領域の間にいかなる背景とする目標又は領域特徴がないこと、最後に、統合される特徴領域が安定的で且つ連続したマルチフレームにおいて同じ変位ベクトル、安定空間関係及び同じ運動軌跡を有することの、３つの条件を満たすべきである。特徴領域の間が同時に前記の３つの基準を満たすと、特徴領域統合ユニット１２１３が、これらの特徴領域を統合することで、１つの目標集合を新規作成する。前記３つの基準を満たすいくつの特徴領域内部のいくつの特徴領域は不安定（例えば異なる変位ベクトルを有する）である可能性があるが、このような内部不安定は最終の統合に影響を与えない。図１０は特徴領域により統合された後の目標集合を示す模式図である。図１０に示すように、図９Ｃにおける同じ変位ベクトルを有する３つの特徴領域は安定的で、且つ過去の連続的な数フレーム中（例えば、連続的な２、３、４、５、６−１０フレーム中）に同じ運動軌跡を有し、同時にこれらは空間上に隣接し又は安定的な相互空間関係を有することで、統合される。図９Ｄに示す異なる変位ベクトル領域がこの３つの特徴領域の間に存在するが、この３つの特徴領域内部の間の小さな特徴領域は非常に不安定で、且つ背景とする目標ではないと決定されるため、これらの小特徴領域は該目標集合を分割させることがない。これらの不安定特徴領域は背景であると決定された時、即ち、統合されようとする目標集合が同一の目標に属さない可能性がある場合は、これらの不安定の特徴領域は背景目標として統合されようとする目標集合を分割することになる。

続いて、ステップＳ１２１４に、目標集合分析ユニット１２１に含む潜在目標領域決定ユニット１２１４は統合された目標集合の形状を分析し、潜在の目標領域を決定し、該潜在の目標領域を改めてマッチングする特徴領域とする。通常、異なる応用場合に、例えば、車両検出場合又は人の検出場合に用い、本発明の検出方法のシステムを用いて異なる検出対象の形状モデルを作成して潜在の目標領域を検出する。車両検出を例とし、長方形モデルを使用して車両形状を表すことができる。統合された目標集合、即ち検出された車両の一部に対して、予め定義された車両モデルに基づいて、車両の残りの一部を推算することができる。次に、潜在目標領域決定ユニット１２１４は推算された車両の残りの一部を潜在の目標領域として決定し、改めてマッチングする特徴領域とする。図１１は潜在の目標領域を決定することにより得られた特徴領域を示す模式図である。図１１に示すように、図における斜線付き多角形領域は即ち予め定義された車両モデルに基づいて決定された潜在目標領域である。

次に、ステップＳ１２１５において、目標集合分析ユニット１２１に含まれる潜在目標領域再マッチングユニット１２１５が、決定された潜在目標領域又は潜在特徴領域を新規特徴領域として再マッチングを行い、目標集合領域全体を取得する。具体的に言えば、新規特徴領域と前の１つのフレームにおける特徴領域とのマッチングを行う。現在フレームの前記潜在目標領域又は潜在特徴領域がマッチングされ、且つその変位ベクトルが目標集合全体の変位ベクトルと同じであれば、統合された目標集合と統合する。さもないと、新規特徴領域として保留し、次のフレームにおいてマッチングを行う。

最後に、ステップＳ１２１６において、最終の目標集合を検出された目標又は対象として出力する。

以上、目標検出過程を説明したが、リアルタイム対象検出過程中に、シーンが絶えず変化するため、現在フレーム中に新たな検出すべき対象が出現する恐れがあり、従って、必ず履歴シーケンスに基づいてマッチングできない対象が存在し、この非マッチング対象は、システム応用場合の検出しようとする対象である可能性がある。従って、現在フレーム中に非マッチング点に対してクラスタリングを行う必要があり、現在フレーム中に新たに出現した対象の検出漏れを防止する。従って、本発明の目標検出方法は、前に目標集合分析を行った上で、ステップＳ１２２において、クラスタリングユニット１２２が現在フレームにおける非マッチング点に対して抽出された特徴と空間隣接性に基づいてクラスタリングを行うことを更に含む。前のステップＳ１１１で言及した通りに、本発明の方法の開始時には、第１フレームはマッチングの基礎がないため、クラスタリングを行って特徴領域を取得する必要がある。ステップＳ１２２において、第１フレームに対しては、この前に目標集合を取得していないと見なされ、且つ第１フレームのすべての点はいずれも非マッチング点と見なされ、いずれもクラスタリング実行に用いられる。一方、後続フレームに対して、目標集合以外の非マッチング点に対してクラスタリングを行うことで新たに出現した対象に対応する可能性がある新規領域特徴を発生させる。前述のように、非マッチング点及び領域に対して、クラスタリング方法（例えば、連結成分分析法（ＣＣＡ）、Ｋ−平均値法等）を使用して、近い視差値を有し且つＸ、Ｙ方向に隣接する点に対してクラスタリングを行い、新規特徴領域を取得し、次フレームのマッチングに用いる。図１２は非マッチング点がクラスタリングされた後の結果を示す模式図である。図１２に示すように、図における中空部枠は非マッチング点に対してクラスタリングを行った後の結果である。

その後、ステップＳ１２３において、特徴更新ユニット１２３は現在フレームの特徴領域及び特徴値を更新する。具体的に言えば、まず前記統合結果及び非マッチング点クラスタリング結果に基づいて、特徴領域を更新する。まず、いくつの特徴領域が１つの目標集合に統合されると、又は統合された目標集合と潜在目標領域が新規目標集合に再度統合されると、最後の目標集合を新規特徴領域とし、即ち、単に新たに統合して生成された目標領域を新規特徴領域とする。図１３Ｂは統合目標集合と潜在目標領域を統合した後の結果が新規特徴領域に更新された結果模式図である。次に、二次マッチングされていない潜在目標領域を新規特徴領域に更新する。潜在の目標領域とそれに対応する目標集合が統合されると、該潜在の目標領域は独立して１つの新規特徴領域とはならない。目標集合と統合されないと、独立して１つの新規特徴領域となる。図１３Ａは潜在目標領域が統合目標集合と統合されず新規特徴領域に更新される結果模式図である。図１３Ａに示すように、車両左下部に位置する多角形は潜在目標領域として新規特徴領域に更新され、同時に目標集合は別の新規特徴領域とし、例えば車両右上部の多角形に示す通りである。最後に、非マッチング点がクラスタリングして生成した領域を新規特徴領域とする。図１３Ｃは非マッチング点のクラスタリング結果が新特徴領域に更新された模式図である。図１３Ｃに示すように、車両左下部の長方形枠は非マッチング点のクラスタリング結果を新規特徴領域とすることを示す。このように、以上の３部分が更新して取得した新規特徴領域はマッチング基礎又は履歴シーケンスの一部として次のフレーム画像の目標検出に用いられる。もちろん、この３部分はかならず同時に存在するわけがなく、前のステップ中に統合された部分が存在せず、又は潜在目標領域が存在しないことがある。

次のフレームの特徴領域のマッチングのため、特徴領域を更新する以外、特徴更新ユニット１２３はさらに特徴値を更新する必要がある。新たに決定された特徴領域に対して、その模様、形状、角点等の特徴の特徴値を更新する。また、連続的なフレームの検出過程においては、検出された目標集合が変化し（視角が異なり、シーンが変化する等の原因によってもたらす）、同時に該目標自体も変化し（形状変化等の原因、例えば、通行中の人の姿勢の変化、目標間の遮蔽変化等によってもたらす）、これにより、各フレーム後に、特徴値の更新を行い、後続フレームにおける目標検出の正確性と信頼性を向上させる。

図１４Ａは現在フレームの元視差図である。図１４Ｂは従来目標検出方法（例えばフレーム内情報に基づく方法）を用いた結果模式図である。図１４Ｃは本発明の検出方法を用いた結果模式図である。図１４Ａ〜１４Ｃから、視差図中に水平縁が連続しないため、図１４Ｂに示す結果には検出された車両が誤って分割されたことに表されていることがわかる。本発明が提出した自己学習検出方法は変位ベクトル特徴、空間隣接性特徴及び追跡情報を用いて目標集合分析を行うため、図１４Ｃに示すように、車両が正確に検出される。このため、本発明の目標検出方法は効果的に視差図中に水平縁が連続しない状況を処理し、且つ正確に隣接目標を分割することができる。

図１５Ａは現在フレームの元視差図である。図１５Ｂは従来目標検出方法（例えばフレーム内情報に基づく方法）を用いた結果模式図である。図１５Ｃは本発明の検出方法を用いた結果模式図である。図１５Ａ〜１５Ｃから、視差値が正確でないため、従来のフレーム内情報に基づく方法は、検出された車両と歩行者が一緒に混在していることが分かる。一方、本発明が提出した方法は、変位と軌跡情報を用いているため、図１５Ｃに示すように、車両と歩行者が正確的に分割されている。

一方、著名なフレーム間情報に基づく目標検出方法−−光ストリームアルゴリズムは、光ストリームアルゴリズム採用角点、エッジ等の固定のミクロ特徴に対して画素点又はブロックのマッチングを行う。これに対し、本発明の検出方法は、自己学習により絶えずに特徴領域と特徴値を増強させ、次にさらに増強された特徴領域をマッチングし、連続的なフレームの検出において、特徴領域と特徴値が絶えずに増強可能であるため、本方法のロバスト性はさらに強く、且つ計算量がより小さくなる。

図１６は本発明の目標検出方法を用いたシステムの機能モジュール図である。図１６に示すように、本発明による目標検出システムは、現在シーンの視差図又は階調図を含むリアルタイム画面をキャプチャする画像取得ユニット１０、各特徴領域の履歴シーケンスに基づいて新規リアルタイム画面に対して特徴領域予測を行い、且つ特徴領域マッチングを行うことで新規リアルタイム画面における特徴領域を取得する特徴領域生成ユニット１１、及びマッチングされた特徴領域に対して目標集合分析を行い、及び非マッチング点に対して空間隣接性に基づいて、クラスタリングを行って新規特徴領域を形成し、取得された特徴領域を更新する自己学習検出ユニット１２を備える。特徴領域生成ユニット１１は、追跡フィルタを用いて作成した運動モデルに基づいて各特徴領域の次のフレーム（新規リアルタイム画面）における位置を予測する特徴領域予測ユニット１１１、抽出された特徴に基づいて、予測された特徴領域内に特徴領域マッチングを行う特徴領域マッチングユニット１１２を備える。自己学習検出ユニット１２は、マッチングされた特徴領域の変位ベクトル、空間隣接性及び追跡情報に基づいて、特徴領域の目標集合分析を行うことで目標の特徴領域の集合を取得する目標集合分析ユニット１２１、現在フレーム中に非マッチング点に対して空間隣接性に基づいてクラスタリングを行う非マッチング点クラスタリングユニット１２２、及び現在フレームの特徴領域及び特徴値を更新する特徴更新ユニット１２３を備える。目標集合分析ユニット１２１は、現在フレーム中にマッチングされた特徴領域に対して、特徴領域のその前の連続的な複数のフレームにおける相対変位状態に基づいて、マッチングした特徴領域にある変位ベクトルを計算することができる変位ベクトル決定ユニット１２１１、追跡軌跡に基づいて、計算された特徴領域の変位ベクトルを補正する変位ベクトル補正ユニット１２１２、特徴領域の補正後の変位ベクトル、特徴領域同士の間の空間隣接性及び追跡情報に基づいて、特徴領域の統合を行い、目標集合を取得する特徴領域統合ユニット１２１３、統合された目標集合の形状を分析し、潜在の目標領域を決定し、該潜在の目標領域を新たにマッチングしようとする特徴領域とする潜在目標領域決定ユニット１２１４、及び決定された潜在目標領域又は潜在特徴領域を新規特徴領域として新たにマッチングを行い、目標集合領域全体を取得する潜在目標領域再マッチングユニット１２１５を備える。

以上、具体的な実施例を参照しながら本発明の基本原理を説明したが、本領域の一般の当業者にとって、本発明の方法及び装置の全部又はいかなるステップ又は部材は、いかなる計算装置（プロセッサー、記憶媒体等を含む）又は計算装置のネットワーク中に、ハードウェア、ファームウエア、ソフトウェア又はこれらの組み合わせで実現することができると理解可能であり、これは本分野の一般の当業者が本発明の説明を読んだ場合、これらの基本プログラミングスキルを運用して実現することができる。

従って、本発明の目的はいかなる計算装置上で１つのプログラム又は１組のプログラムを運行して実現することができる。前記計算装置は、公知の汎用装置であってもよい。従って、本発明の目的は前記方法又は装置を実現するプログラムコードを含むプログラム製品を提供することのみにより実現することができる。つまり、このようなプログラム製品も本発明を構成し、且つこのようなプログラム製品を記憶する記憶媒体も本発明を構成する。明らかに、前記記憶媒体はいかなる公知の記憶媒体又は将来に開発するいかなる記憶媒体であってもよい。

なお、本発明の装置及び方法中に、明らかに、各部材又は各ステップは分解及び／又は再組合することができる。これらの分解及び／又は再組合は本発明の等価方案と見なすべきである。且つ、前記一連の処理を実行するステップは自然的に説明した順序すなわち時間順序により実行することができるが、かならず時間順序により実行する必要がない。いくつのステップは並行し又は互いに独立に実行することができる。

前記具体的な実施形態は、本発明保護範囲を制限するものではない。当業者は、設計要求とほかの要素に応じて、さまざまな修正、組合、サブ組合及び置換を生じることができると分かるべきである。本発明の主旨と原則の内に行ったいかなる修正、等同取替及び改良等はいずれも本発明保護範囲内に含まれるべきである。

米国特許出願公開第ＵＳ００５９３７０７９Ａ号 米国特許ＵＳ７８０１３３０Ｂ２号

Claims (10)

1. 現在シーンの現フレーム画像を取得するステップと、
   現フレーム画像の前の連続した複数のフレーム画像の履歴シーケンスにおける履歴情報に基づいて、現フレーム画像の特徴領域を予測するステップと、
   具体的な応用の必要に応じて抽出された特徴に基づいて、現フレーム画像において予測された特徴領域に対し、前フレーム画像の特徴領域との特徴領域マッチングを行うステップと、
   現フレーム画像においてマッチングされた特徴領域の間の変位ベクトル、空間隣接性及び追跡情報に基づいて、現フレーム画像の特徴領域に対して目標集合分析を行うことで検出される目標の特徴領域の集合を取得し、取得された目標集合を検出目標として出力するステップと、
   前記抽出された特徴及び空間隣接性に基づいて、マッチングしていない点に対してクラスタリングを行うステップと、
   次のフレーム画像に対して前述のステップを繰り返すように、目標集合分析の結果及びクラスタリング結果を用いて現フレーム画像の特徴領域及び領域の特徴を更新するステップと、を含む目標検出方法。
2. 前記目標集合分析を行うステップは、
   現フレーム画像においてマッチングされた特徴領域に対して、特徴領域の現フレーム画像の前の連続した複数のフレームにおける相対変位状態に基づいて、マッチングされた特徴領域の変位ベクトルを計算するステップと、
   現フレーム画像の前の連続した複数のフレームの履歴情報により示された追跡軌跡に基づいて、現フレーム画像において計算された特徴領域の変位ベクトルを補正するステップと、
   現フレーム画像に対して、特徴領域の補正後の変位ベクトル、特徴領域間の空間隣接性及び追跡情報に基づいて、特徴領域の統合を行うことで、目標集合を取得するステップと、を含む請求項１に記載の目標検出方法。
3. 前記目標集合分析を行うステップは、
   統合された目標集合の形状を分析し、統合された目標集合に属する潜在目標領域を決定するステップと、
   具体的な応用の必要に応じて抽出された特徴に基づいて、決定された潜在目標領域を特徴領域として前フレーム画像の特徴領域との再マッチングを行うステップと、
   マッチングされ、且つ統合された目標集合と同じ変位ベクトルを有する潜在目標領域を、統合された目標集合に統合することで、目標の集合領域全体を取得し、マッチングしていない潜在目標領域を新たな特徴領域として保留するステップと、をさらに含む請求項２に記載の目標検出方法。
4. 前記現フレーム画像が第１フレームの画像である場合、抽出された特徴及び空間隣接性に基づいてマッチングしていない点に対してクラスタリングを直接に行うことで第１フレームの特徴領域を取得するステップをさらに含む請求項１乃至３のいずれかに記載の目標検出方法。
5. 前記現フレーム画像の特徴領域及び領域の特徴を更新するステップは、
   目標集合領域を現フレーム画像の新たな特徴領域とするステップと、
   マッチングしていない潜在目標領域を現フレーム画像の新たな特徴領域とするステップと、
   マッチングしていない点をクラスタリングして生成された領域を現フレーム画像の新たな特徴領域とするステップと、
   抽出された特徴に対して各新たな特徴領域の特徴値を更新するステップと、を含む請求項４に記載の目標検出方法。
6. 前記履歴シーケンスには、現フレーム画像の前の連続した複数のフレーム画像における各特徴領域の運動状態パラメータが記録されている請求項５に記載の目標検出方法。
7. 前記特徴領域の予測はカルマンフィルタにより運動モデルを作成することにより行われる請求項６に記載の目標検出方法。
8. 現フレーム画像において統合を行うための特徴領域は、同じ変位ベクトルを有し、且つ空間上に隣接すると共に、連続した複数のフレームにおいて同じ変位ベクトル、空間関係及び同じ運動軌跡を有する請求項７に記載の目標検出方法。
9. 前記潜在目標領域を決定するステップにおいて、異なる目標の形状モデルを予め作成することにより潜在目標領域を検出する、請求項３に記載の目標検出方法。
10. 現在シーンの現フレーム画像を取得する画像取得手段と、
    現フレーム画像の前の連続した複数のフレーム画像の履歴シーケンスにおける履歴情報に基づいて、現フレーム画像の特徴領域を予測する特徴領域予測手段と、
    具体的な応用の必要に応じて抽出された特徴に基づいて、現フレーム画像において予測された特徴領域に対して、前フレーム画像の特徴領域との特徴領域マッチングを行う特徴領域マッチング手段と、
    現フレーム画像においてマッチングされた特徴領域の間の変位ベクトル、空間隣接性及び追跡情報に基づいて、現フレーム画像の特徴領域に対して目標集合分析を行うことで検出される目標の特徴領域の集合を取得し、取得された目標集合を検出目標として出力する目標集合分析手段と、
    前記抽出された特徴及び空間隣接性に基づいて、マッチングしていない点に対してクラスタリングを行うクラスタリング手段と、
    次のフレーム画像に対して前述のステップを繰り返すように、目標集合分析の結果及びクラスタリング結果を用いて現フレーム画像の特徴領域及び領域の特徴を更新する特徴更新手段と、を含む目標検出システム。