JP2013149177A - オプティカルフロー処理装置 - Google Patents
オプティカルフロー処理装置 Download PDFInfo
- Publication number
- JP2013149177A JP2013149177A JP2012010556A JP2012010556A JP2013149177A JP 2013149177 A JP2013149177 A JP 2013149177A JP 2012010556 A JP2012010556 A JP 2012010556A JP 2012010556 A JP2012010556 A JP 2012010556A JP 2013149177 A JP2013149177 A JP 2013149177A
- Authority
- JP
- Japan
- Prior art keywords
- flow
- group
- flw
- image
- flwg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】静止物に由来するフローを移動体によるフローと区別して特定すること。
【解決手段】 自車MTの周辺を連続して撮像するカメラ１０と、画像IMのフロー検出対象となる領域に予め定められた大きさの複数の区画BT, DTを配置する区画配置部４２と、連続する前後の画像IM間で一致度ADが高い区画画像TMを探索することでフローFlwを抽出するフロー抽出部１２と、実空間での前記フローFlwの向きを算出すると共に自車MTの進行方向とは逆向きの逆フローFlwRを抽出するフロー方向算出部７４と、前記逆フローFlwRを前記自車MTの前記周辺に存在する反復パターンRPと判定する反復パターン判定部７６とを備えた。
【選択図】図１
【解決手段】 自車MTの周辺を連続して撮像するカメラ１０と、画像IMのフロー検出対象となる領域に予め定められた大きさの複数の区画BT, DTを配置する区画配置部４２と、連続する前後の画像IM間で一致度ADが高い区画画像TMを探索することでフローFlwを抽出するフロー抽出部１２と、実空間での前記フローFlwの向きを算出すると共に自車MTの進行方向とは逆向きの逆フローFlwRを抽出するフロー方向算出部７４と、前記逆フローFlwRを前記自車MTの前記周辺に存在する反復パターンRPと判定する反復パターン判定部７６とを備えた。
【選択図】図１
Description
本発明は、画像処理により走行環境を確認する技術分野に関連し、特に、移動体に装備され走行環境の物体を抽出する技術に関する。
移動体は、例えば、四輪車、二輪車、電動車などである。運転者は、駐車のための操作時等を除き、通常、走行する前方を視る。車線変更や、右左折時には、各種ミラーで後方を確認する。また、移動体には、運転者からの死角がある。ここでは、移動体の前方、側方及び後方などの周囲を走行環境という。
運転者による走行環境の確認を支援するシステムとして、移動体である自車に設置したカメラで走行環境を撮像し、この画像又は補正・編集した画像を表示部に表示する手法や、画像処理をして一定の条件を満たす際に警報を発する手法などがある。
走行環境確認のために有用な画像処理として、時間的な差のある２枚の画像間で同一物体を抽出し、その物体間の変位ベクトルをオプティカルフローとして生成する手法がある。
運転者による走行環境の確認を支援するシステムとして、移動体である自車に設置したカメラで走行環境を撮像し、この画像又は補正・編集した画像を表示部に表示する手法や、画像処理をして一定の条件を満たす際に警報を発する手法などがある。
走行環境確認のために有用な画像処理として、時間的な差のある２枚の画像間で同一物体を抽出し、その物体間の変位ベクトルをオプティカルフローとして生成する手法がある。
特許文献１には、画像の背景に周期的な構造物が存在する場合でも移動体のオプティカルフローのみを抽出することを目的として、時間的に連続する３つの画像間の２つのオプティカルフローの関係から、静止物体に起因する偽のオプティカルフローを判定する手法が開示されている。
特許文献２には、２つの物体の重なり合いを検出するために、始点画像フレームと終点画像フレームについて、順方向の動きベクトルと逆方向の動きベクトルとを比較する手法が開示されている（段落０２２３，図３３）。
特許文献３には、自車のカメラで周辺を撮像し静止物と移動体とを区分けしてグループ化するために、「移動物体であれば、自車両に近づくにつれて移動速度が遅くなる。また、検出の対象となる物体が移動物体であれば、路面上の移動方向とは略逆方向の移動速度が検出される」という特性に基づいて、検出物体の移動速度に応じて静止物体か移動体かを判定する手法が開示されている（段落０１２３，０１３９）
特許文献４（同一出願人及び発明者）には、広角レンズを用いたカメラで撮像した画像の座標値とワールド座標系の座標値とをイメージ・プレーン上での補正計算により対応させる手法が開示されている。
特許文献２には、２つの物体の重なり合いを検出するために、始点画像フレームと終点画像フレームについて、順方向の動きベクトルと逆方向の動きベクトルとを比較する手法が開示されている（段落０２２３，図３３）。
特許文献３には、自車のカメラで周辺を撮像し静止物と移動体とを区分けしてグループ化するために、「移動物体であれば、自車両に近づくにつれて移動速度が遅くなる。また、検出の対象となる物体が移動物体であれば、路面上の移動方向とは略逆方向の移動速度が検出される」という特性に基づいて、検出物体の移動速度に応じて静止物体か移動体かを判定する手法が開示されている（段落０１２３，０１３９）
特許文献４（同一出願人及び発明者）には、広角レンズを用いたカメラで撮像した画像の座標値とワールド座標系の座標値とをイメージ・プレーン上での補正計算により対応させる手法が開示されている。
上記特許文献１には、連続する2枚の画像IM比較に加えて、さらに1枚前に取得した画像IMに対して入力画像IMとのフロー処理を行い、フローFlwの長さの変化を確認することで繰り返しパターンを抽出しようとする手法が開示されている。
しかしながら、このような手法では、ある入力画像IMに対する1回の処理に対して、少なくとも入力1枚ストック２枚の3枚の画像IMを記録するメモリが必要となり、またフローFlwを行うシステム計算負荷も2倍必要となるため、さらに繰り返しパターンかどうか、フロー内容を確認する処理とあわせると必然的にコスト高なシステムとなってしまう。また、連続する繰り返しパターンの区間が長ければ長いほど、特許文献１の処理でも回避できない誤検出のケースが存在する。
上記特許文献２には、通常は順方向の動きベクトルと、逆方向の動きベクトルとは、大きさが一致し向きが反対となると想定されるところ（段落０２２４）、ベクトルの大きさが一致しない場合には、物体の重なり合いにより対応点状況が得られない状況であると判定しようとする手法（段落０２２４，０２２５、図３４）は開示されているが、背景に周期的に生じる静止物による偽のオプティカルフローを除去する手法については、何ら開示されていない。
上記特許文献３には、単純な速度差では正確なグループ化ができないような一定の画角範囲に収まらない幅をもった移動物体の同一性を判定する際に、路面の定義上の進行方向と逆方向の速度を持つ物体を移動体と判定する。これにより、実際には一つの物体であるのに複数の物体であると誤判断してしまうことを防止する。しかし、この特許文献３には、静止物から生じてしまう偽のフローを除去する手法については、何ら開示されていない。
しかしながら、このような手法では、ある入力画像IMに対する1回の処理に対して、少なくとも入力1枚ストック２枚の3枚の画像IMを記録するメモリが必要となり、またフローFlwを行うシステム計算負荷も2倍必要となるため、さらに繰り返しパターンかどうか、フロー内容を確認する処理とあわせると必然的にコスト高なシステムとなってしまう。また、連続する繰り返しパターンの区間が長ければ長いほど、特許文献１の処理でも回避できない誤検出のケースが存在する。
上記特許文献２には、通常は順方向の動きベクトルと、逆方向の動きベクトルとは、大きさが一致し向きが反対となると想定されるところ（段落０２２４）、ベクトルの大きさが一致しない場合には、物体の重なり合いにより対応点状況が得られない状況であると判定しようとする手法（段落０２２４，０２２５、図３４）は開示されているが、背景に周期的に生じる静止物による偽のオプティカルフローを除去する手法については、何ら開示されていない。
上記特許文献３には、単純な速度差では正確なグループ化ができないような一定の画角範囲に収まらない幅をもった移動物体の同一性を判定する際に、路面の定義上の進行方向と逆方向の速度を持つ物体を移動体と判定する。これにより、実際には一つの物体であるのに複数の物体であると誤判断してしまうことを防止する。しかし、この特許文献３には、静止物から生じてしまう偽のフローを除去する手法については、何ら開示されていない。
［課題１］このように、上記従来例では、自車の移動により背景となる静止物が見かけ上移動することで生ずる偽のオプティカルフローを良好に判定することができない、という不都合があった。
［課題２］また、静止物によるフローを除去するために画像処理のしきい値を厳しくすると、静止物の誤検出を低下させることができるが、すると、本来抽出すべき移動体を検出する確率をも低下させてしまう、という不都合があった。
［課題２］また、静止物によるフローを除去するために画像処理のしきい値を厳しくすると、静止物の誤検出を低下させることができるが、すると、本来抽出すべき移動体を検出する確率をも低下させてしまう、という不都合があった。
［発明の目的］本発明の目的は、静止物に由来するフローを移動体によるフローと区別して特定することにある。
［着眼点］本発明の発明者は、静止物によるフローのうち特に移動体と分別しづらいフローは繰り返しのあるパターンから発生している、という点に着目した。そして、繰り返しパターン（以下、反復パターン）から発生するフローの性質に注目して画像処理を工夫することで、上記課題を解決できるのではないか、との着想に至った。
［課題解決手段１］実施例１に対応する第１群の本発明は、オプティカルフロー処理装置であり、自車の周辺を連続して撮像するカメラと、前記画像のフロー検出対象となる領域に予め定められた大きさの複数の区画を配置する区画配置部と、前記連続する前後の前記画像間で一致度が高い前記区画画像を探索することで前記フローを抽出するフロー抽出部と、実空間での前記フローの向きを算出すると共に前記自車の進行方向とは逆向きの逆フローを抽出するフロー方向算出部と、前記逆フローを前記自車の前記周辺に存在する反復パターンと判定する反復パターン判定部とを備えた、という構成を採っている。
これにより、上記課題１を解決した。
これにより、上記課題１を解決した。
［課題解決手段２］ 実施例２に対応する本発明は、周辺車両検出装置であり、自車の周辺を連続して撮像するカメラと、前記画像のフロー検出対象となる領域に予め定められた大きさの複数の基礎区画を配置すると共に、検出される前記フローの位置に応じて当該基礎区画と同一の大きさの動的区画を配置する区画配置部と、前記連続する前後の前記画像間で一致度が高い前記区画画像を探索することで前記フローを抽出するフロー抽出部と、実空間での前記フローの向きを算出すると共に前記自車の進行方向とは逆向きの逆フローを抽出するフロー方向算出部とを備えている。
周辺車両検出装置は、さらに、予め定められた無効条件を満たすフローを無効フローに区分し、前記逆フローを有効無効の判定保留である保留フローに区分し、前記無効でも保留でもないフローを有効フローと区分する有効性判定部と、前記有効フロー及び前記保留フローに予め定められたグループ条件を適用することで複数のフローのグループ化を判定すると共に、各グループに前記保留フローが含まれているか否かを判定するグループ判定部と、前記動的区画の配置を介して前記グループの連続性を管理すると共に画像毎で当該グループ毎の保留フローの出現回数を管理する連続性管理部と、前記画像毎の前記複数のグループに予め定められた検出条件を適用することで接近車の候補となるグループを検出する接近車検出部とを備えている。
そして、前記接近車検出部が、グループ毎に、当該グループに属する各フローの始点と当該各フローの直近の速度とを加算することで当該各フローのフロー予測終点を算出すると共に、別途フロー終点を求める予測終点算出処理と、前記フロー予測終点又は前記フロー終点の一方を中心として予測領域を描画する予測領域描画処理と、前記フロー予測終点又は前記フロー終点の他方が前記予測領域に予め定められたしきい値以上含まれる際に、当該グループを接近車候補と判定する接近車候補判定処理と、前記保留フロー出現回数に応じて前記予測領域の大きさを小さく制御する予測領域減衰制御処理とを備えた、という構成を採っている。
これにより、上記課題１及び２を解決した。
周辺車両検出装置は、さらに、予め定められた無効条件を満たすフローを無効フローに区分し、前記逆フローを有効無効の判定保留である保留フローに区分し、前記無効でも保留でもないフローを有効フローと区分する有効性判定部と、前記有効フロー及び前記保留フローに予め定められたグループ条件を適用することで複数のフローのグループ化を判定すると共に、各グループに前記保留フローが含まれているか否かを判定するグループ判定部と、前記動的区画の配置を介して前記グループの連続性を管理すると共に画像毎で当該グループ毎の保留フローの出現回数を管理する連続性管理部と、前記画像毎の前記複数のグループに予め定められた検出条件を適用することで接近車の候補となるグループを検出する接近車検出部とを備えている。
そして、前記接近車検出部が、グループ毎に、当該グループに属する各フローの始点と当該各フローの直近の速度とを加算することで当該各フローのフロー予測終点を算出すると共に、別途フロー終点を求める予測終点算出処理と、前記フロー予測終点又は前記フロー終点の一方を中心として予測領域を描画する予測領域描画処理と、前記フロー予測終点又は前記フロー終点の他方が前記予測領域に予め定められたしきい値以上含まれる際に、当該グループを接近車候補と判定する接近車候補判定処理と、前記保留フロー出現回数に応じて前記予測領域の大きさを小さく制御する予測領域減衰制御処理とを備えた、という構成を採っている。
これにより、上記課題１及び２を解決した。
本発明は、本明細書の記載及び図面を考慮して各請求項記載の用語の意義を解釈し、各請求項に係る発明を認定すると、各請求項に係る発明は、上記背景技術等との関連において次の有利な効果を奏する。
［発明の作用効果１］ 課題解決手段１のオプティカルフロー処理装置は、フロー方向算出部は、実空間でのフローの向きを算出して、自車の進行方向とは逆向きの逆フローを抽出し、反復パターン判定部は、逆フローを前記自車の前記周辺に存在する反復パターンと判定する。従って、フローの画像上の向きではなく、フローの実空間での向きが自車の進行方向に対して逆向きのフローを、自車の走行によって見かけ上の移動をする反復パターンと判定することができる。すなわち、反復パターン判定部は、逆フローが反復パターン由来であると判定する。このように、フローの実空間での方向という情報を利用して、当該フローが由来する物体（画像上の特徴部分）を特定することができるため、自車の走行に伴うリアルタイムのオプティカルフロー処理にて良好に反復パターンを特定することができる。特に、静止物のなかで反復パターンは近隣に進行方向のフローも生じるため静止物であるとの特定が困難であるが、本発明では、実空間での逆向きという性質を利用して、微分処理等をせずに、フローの実空間の方向という情報のみで、路面の白線等の反復パターンを特定することができる。
［発明の作用効果２］ 課題解決手段２の周辺車両検出装置は、フロー方向算出部が、実空間でのフローの向きを算出すると共に自車の進行方向とは逆向きの逆フローを抽出し、有効性判定部が、抽出したフローを、逆フローを含む保留フローと、無効フローと、有効フローとに区分し、連続性管理部が、画像毎で当該グループ毎の保留フローの出現回数を管理する。そして、車両検出部の予測領域減衰制御処理が、前記保留フロー出現回数に応じて前記予測領域の大きさを小さく制御することで、保留フローの出現回数が多くなるとそのグループを接近車と判定する可能性を小さくすることができる。
このように、時間的に連続する画像に対して、保留フローの出現回数に応じて、繰り返し、予測領域を減衰させる処理により、逆フローが出現したグループを接近車と判定する可能性を連続して低下させつつ、逆フローが出現しないグループからは接近車を検出することができる。
従って、本来抽出すべき移動体を検出する確率を低下させずに、静止物によるフローを除去することができる。これにより、自車の走行中という画像処理にとって過酷な環境下にあっても、繰り返しパターンの見かけの移動により生ずるフロー及びそのグループを良好に特定して除去することができる。
このように、時間的に連続する画像に対して、保留フローの出現回数に応じて、繰り返し、予測領域を減衰させる処理により、逆フローが出現したグループを接近車と判定する可能性を連続して低下させつつ、逆フローが出現しないグループからは接近車を検出することができる。
従って、本来抽出すべき移動体を検出する確率を低下させずに、静止物によるフローを除去することができる。これにより、自車の走行中という画像処理にとって過酷な環境下にあっても、繰り返しパターンの見かけの移動により生ずるフロー及びそのグループを良好に特定して除去することができる。
発明を実施するための形態として、２つの実施例を開示する。実施例１はオプティカルフロー処理装置であり、実施例２は周辺車両検出装置である。実施例１から２までを含めて実施形態という。
＜0.1 オプティカルフロー処理＞
オプティカルフロー処理（相関法）は、時間的に連続する２枚の画像IMを対象とした情報処理であり、前回撮像した前画像IMと、前画像IMの次に撮像した現画像IMとを比較することでオプティカルフローFlwを抽出する。本明細書では、オプティカルフローFlwを「フローFlw」と省略する。
フロー抽出処理では、予め定められたテンプレートで前画像IM及び現画像IMを多数の矩形領域（区画）に区切り、前画像IMの区画画像TMと相関性の高い現画像IMの区画を探索する。この区画の比較・探索をブロックマッチングという。そして、前画像IMの区画画像TMの特徴と最も良く一致する現画像IMの区画画像TMを探索し、特徴が相関する程度が一定以上の区画間をフローFlwで結びつける。このフローFlwはベクトルであり、その大きさ（フロー長）は自車MTも移動中であれば相対速度に比例する。フローFlwは二次元の画像座標系UVで抽出されるため、フロー方向は三次元座標でのベクトルを二次元に投影した際の向きとなる。すなわち、フロー方向は進行方向に関連するが進行方向そのものではない。
オプティカルフロー処理（相関法）は、時間的に連続する２枚の画像IMを対象とした情報処理であり、前回撮像した前画像IMと、前画像IMの次に撮像した現画像IMとを比較することでオプティカルフローFlwを抽出する。本明細書では、オプティカルフローFlwを「フローFlw」と省略する。
フロー抽出処理では、予め定められたテンプレートで前画像IM及び現画像IMを多数の矩形領域（区画）に区切り、前画像IMの区画画像TMと相関性の高い現画像IMの区画を探索する。この区画の比較・探索をブロックマッチングという。そして、前画像IMの区画画像TMの特徴と最も良く一致する現画像IMの区画画像TMを探索し、特徴が相関する程度が一定以上の区画間をフローFlwで結びつける。このフローFlwはベクトルであり、その大きさ（フロー長）は自車MTも移動中であれば相対速度に比例する。フローFlwは二次元の画像座標系UVで抽出されるため、フロー方向は三次元座標でのベクトルを二次元に投影した際の向きとなる。すなわち、フロー方向は進行方向に関連するが進行方向そのものではない。
フローFlwは、移動前となる前画像IM上に配置したテンプレートの区画（矩形領域）から、移動後となる現画像IMの座標上の区画を結ぶベクトルである。移動前の区画の基準点がフローFlwの始点[U0, V0]、移動後の区画の基準点がフローFlwの終点[U1, V1]となる。現画像IMが前画像IMとなると、現画像IMでフロー終点[U1, V1]であった区画は、前画像IMとしてフロー始点[U0, V0]となる。フロー始点[U0, V0]とフロー終点[U1, V1]とを特定することで、フローFlwの属性を表現することができる。
ブロックマッチングでの特徴量FEとしては、相違度 (SAD, Sum of Absolute Difference) や正規化相互相関 (NCC, Normalized cross-corelation) 等の評価値がある。この評価値の偏差が最も小さい区画の一致度ADの高い区画を探索することで、前画像IMから現画像IMに向けて探索された区画間にフローFlwを配置することができる。
ブロックマッチングでの特徴量FEとしては、相違度 (SAD, Sum of Absolute Difference) や正規化相互相関 (NCC, Normalized cross-corelation) 等の評価値がある。この評価値の偏差が最も小さい区画の一致度ADの高い区画を探索することで、前画像IMから現画像IMに向けて探索された区画間にフローFlwを配置することができる。
＜0.2 座標系と各種マップ＞
図３を参照して座標系の定義例を説明する。本実施形態及び各実施例では、様々な座標系の定義を採用できるが、代表的な例を図３に示す。図３では、三次元のカメラ座標系xyzと、三次元のワールド座標系XYZと、二次元の画像座標系UVとが関係する。
図３（Ａ），（Ｂ）に示す例では、カメラ座標系xyzのx軸とワールド座標系XYZのX軸と画像座標系UVのU軸とは平行であり、カメラ座標系xyzのy軸と世界座標系XYZのY軸と画像座標系UVのV軸とが平行である。ワールド座標系XYZのZ軸は路面GTと平行で車両の後方に向き、カメラ座標系xyzのz軸は自車MTに設置したカメラ１０の光軸と一致する。
図３（Ｂ）に示すように、カメラ座標系xyzのカメラ座標原点OCは、レンズ焦点位置であり、画像座標系U,Vの中心からカメラ座標系のz方向に焦点距離fの位置にある。図４に示すイメージ・プレーンIPはこの焦点位置を含むカメラ座標系xyzのxy平面に設定する。
画像IMが広角画像IMである際には、イメージ・プレーンIPに理想座標値[Xcm, Ycm]と歪曲座標値[Xcd, Ycd]とを定義し、所定の算式で歪曲座標値[Xcd, Ycd]を理想座標値[Xcm, Ycm]に近似する。理想座標値[Xcm, Ycm]は線形で、ワールド座標系XYZと対応させることができる。
図３を参照して座標系の定義例を説明する。本実施形態及び各実施例では、様々な座標系の定義を採用できるが、代表的な例を図３に示す。図３では、三次元のカメラ座標系xyzと、三次元のワールド座標系XYZと、二次元の画像座標系UVとが関係する。
図３（Ａ），（Ｂ）に示す例では、カメラ座標系xyzのx軸とワールド座標系XYZのX軸と画像座標系UVのU軸とは平行であり、カメラ座標系xyzのy軸と世界座標系XYZのY軸と画像座標系UVのV軸とが平行である。ワールド座標系XYZのZ軸は路面GTと平行で車両の後方に向き、カメラ座標系xyzのz軸は自車MTに設置したカメラ１０の光軸と一致する。
図３（Ｂ）に示すように、カメラ座標系xyzのカメラ座標原点OCは、レンズ焦点位置であり、画像座標系U,Vの中心からカメラ座標系のz方向に焦点距離fの位置にある。図４に示すイメージ・プレーンIPはこの焦点位置を含むカメラ座標系xyzのxy平面に設定する。
画像IMが広角画像IMである際には、イメージ・プレーンIPに理想座標値[Xcm, Ycm]と歪曲座標値[Xcd, Ycd]とを定義し、所定の算式で歪曲座標値[Xcd, Ycd]を理想座標値[Xcm, Ycm]に近似する。理想座標値[Xcm, Ycm]は線形で、ワールド座標系XYZと対応させることができる。
図４を参照すると、本実施形態では、カメラ１０を自車MTの後方に設置し、自車MTの後方の走行環境を撮影する。カメラ１０を下向きに傾けて設置することで、接近車MA等の移動体を撮像できる範囲を広くしている。そして、カメラ１０の光軸（z軸）を法線とする平面でカメラ１０の焦点位置にある平面がイメージ・プレーンIP（特許文献４での理想平面）である。
本実施例では、画像座標[U, V]の２つの座標値U, Vと、ワールド座標系XYZの３つの座標値X, Y, Zとを対応させるために、ワールド座標系XYZの高さYについては、予め定められた高さを仮定地上高Yconstとして仮定すると良い。すなわち、ワールド座標系XYZにて様々なフローFlwが抽出されるが、その高さを仮定地上高Yconstと仮定する。すると、仮定地上高Yconstに近い高さのフローFlwは若干の速度の誤差を含みつつ仮定地上高Yconstの高さに表れたと取り扱われ、一方、仮定地上高Yconstとは高さの異なる高さのフローFlwは、速度に異常があるノイズとして除去されていく。
本実施例では、画像座標[U, V]の２つの座標値U, Vと、ワールド座標系XYZの３つの座標値X, Y, Zとを対応させるために、ワールド座標系XYZの高さYについては、予め定められた高さを仮定地上高Yconstとして仮定すると良い。すなわち、ワールド座標系XYZにて様々なフローFlwが抽出されるが、その高さを仮定地上高Yconstと仮定する。すると、仮定地上高Yconstに近い高さのフローFlwは若干の速度の誤差を含みつつ仮定地上高Yconstの高さに表れたと取り扱われ、一方、仮定地上高Yconstとは高さの異なる高さのフローFlwは、速度に異常があるノイズとして除去されていく。
従って、仮定地上高Yconstを仮定することで、画像座標系UVとワールド座標系XYZとを対応させることができる他、路面GTに生じるフローFlwや、車高より高い電柱や歩道橋等から生じるフローFlwをノイズとして除去し易くなる。
図４に示すように、仮定地上高Yconstは、フローFlwを抽出する特徴量FEの多いバンパー付近の高さとすると良い。第１の仮定地上高Yconst1はバンパーと車体とのつなぎ目、第２の仮定地上高Yconst2はバンパー下部と路面GTとの境界で輝度差が大きく現れやすい高さである。実施例では、フローFlwの目的に応じて仮定地上高Yconstを定める。
図４に示すように、仮定地上高Yconstは、フローFlwを抽出する特徴量FEの多いバンパー付近の高さとすると良い。第１の仮定地上高Yconst1はバンパーと車体とのつなぎ目、第２の仮定地上高Yconst2はバンパー下部と路面GTとの境界で輝度差が大きく現れやすい高さである。実施例では、フローFlwの目的に応じて仮定地上高Yconstを定める。
本実施形態の画像処理では、画像IMを対象とする画像処理をしつつ、実空間での位置（速さ、大きさ、距離）等の情報を参照することがある。実空間の情報を参照するには、関連する座標値の変換式によりリアルタイムに計算しても良いが、予め定められた精度で対応関係を計算しておき計算結果をマップとして求めておくと、少ない計算量でリアルタイム処理をすることができる。
ここでは、実施例で使用可能な３つのマップについて説明する。各マップは一例であって、他の構成でのマップを使用しても良いし、マップを使用しなくとも良い。１つめは、画像座標値[U, V]からワールド座標値[X, Yconst, Z]を求めるマップで、UVtoXZマップ（特許文献４の計測マップ）という。２つめは、ワールド座標値[X, Z]から画像座標値[U, V]を求めるマップで、XZtoUVマップという。３つめは、画像座標値[U, V]から世界座標系の仮想ブロックIBの画像座標系UVでの大きさ（例えば、球体である仮想ブロックの表示上の半径である表示ブロック半径BDr）を求めるマップで、表示マップという。
実施例１及び２では上述したマップの活用は必須ではないが、適宜使用することでより効果を得ることができる。特に、フローFlwの実空間での速度（速度ベクトル、向き及び速さ）をリアルタイムに求めるには、UVtoXZマップ（計測マップ）を準備しておくと計算コストの少ないシステムを実現することができる。
ここでは、実施例で使用可能な３つのマップについて説明する。各マップは一例であって、他の構成でのマップを使用しても良いし、マップを使用しなくとも良い。１つめは、画像座標値[U, V]からワールド座標値[X, Yconst, Z]を求めるマップで、UVtoXZマップ（特許文献４の計測マップ）という。２つめは、ワールド座標値[X, Z]から画像座標値[U, V]を求めるマップで、XZtoUVマップという。３つめは、画像座標値[U, V]から世界座標系の仮想ブロックIBの画像座標系UVでの大きさ（例えば、球体である仮想ブロックの表示上の半径である表示ブロック半径BDr）を求めるマップで、表示マップという。
実施例１及び２では上述したマップの活用は必須ではないが、適宜使用することでより効果を得ることができる。特に、フローFlwの実空間での速度（速度ベクトル、向き及び速さ）をリアルタイムに求めるには、UVtoXZマップ（計測マップ）を準備しておくと計算コストの少ないシステムを実現することができる。
・UVtoXZマップ（計測マップ）
特許文献４には、駐車支援用の広角レンズを使用したカメラ１０を元に画像座標系UVの二次元座標と、実空間のワールド座標系XYZの座標値との相関を円滑に取得するためのUVtoXZマップ（計測マップ）が開示されている。
UVtoXZマップを生成するには、まず、カメラキャリブレーションデータrnn, tn, kn, pn, ann, cnを読み出す。そして、仮定地上高Yconstを設定する。
次に、次式（１）を使用して画像座標値[U, V]を歪曲座標値[Xcd, Ycd]に変換する。
なお、式の番号を示す数字にa,b,c等のアルファベットが付されている式について、その式の番号を示す数字で言及する際には、アルファベットで識別するすべての式を含む。例えば、式(2)というときには、式(2a)と式(2b)とを含む。
特許文献４には、駐車支援用の広角レンズを使用したカメラ１０を元に画像座標系UVの二次元座標と、実空間のワールド座標系XYZの座標値との相関を円滑に取得するためのUVtoXZマップ（計測マップ）が開示されている。
UVtoXZマップを生成するには、まず、カメラキャリブレーションデータrnn, tn, kn, pn, ann, cnを読み出す。そして、仮定地上高Yconstを設定する。
次に、次式（１）を使用して画像座標値[U, V]を歪曲座標値[Xcd, Ycd]に変換する。
なお、式の番号を示す数字にa,b,c等のアルファベットが付されている式について、その式の番号を示す数字で言及する際には、アルファベットで識別するすべての式を含む。例えば、式(2)というときには、式(2a)と式(2b)とを含む。
-1: 逆行列であることを示す
[U, V]： 広角の画像IMでの画像座標値であり、物体を撮像した画像座標系UVでの画素位置（二次元平面）
[Xcd,Ycd]： 歪曲平面座標系（歪みがあるイメージ・プレーン）での歪曲平面座標値（二次元平面）
ann： カメラ１０の内部パラメーターで線形歪み
Cx, Cy： 広角の画像IMの画像IM中心
[U, V]： 広角の画像IMでの画像座標値であり、物体を撮像した画像座標系UVでの画素位置（二次元平面）
[Xcd,Ycd]： 歪曲平面座標系（歪みがあるイメージ・プレーン）での歪曲平面座標値（二次元平面）
ann： カメラ１０の内部パラメーターで線形歪み
Cx, Cy： 広角の画像IMの画像IM中心
さらに、歪曲座標値[Xcd, Ycd]を理想座標値[Xcm, Ycm]に変換する。このとき、好ましい実施例では、理想平面に校正円Rckを配置し、校正円Rckの内側は放射歪曲を放射歪曲補正式（３）で補正し、校正円Rckの外側は対数歪曲を補正する対数歪曲補正式（４）を使用する。式（３）は、Tsaiの歪曲近似式である。
[Xcm, Ycm]： 理想平面座標系（歪み無しのイメージ・プレーン）での理想平面座標値（二次元平面）
Rcm: 歪曲平面座標系の座標値[Xcd, Ycd]の半径
Rck： 歪曲平面座標系での校正円Rck（の半径）
kn: 放射歪曲補正パラメーター
pn: 対数歪曲補正パラメーター
Rcm: 歪曲平面座標系の座標値[Xcd, Ycd]の半径
Rck： 歪曲平面座標系での校正円Rck（の半径）
kn: 放射歪曲補正パラメーター
pn: 対数歪曲補正パラメーター
次に、次式（５）の関係から、次式（６）により理想座標値[Xcm, Ycm]をワールド座標値[X, Yconst, Z]に変換する。媒介変数ｓは、イメージ・プレーンIPとワールド座標系XYZの相似関係に応じたイメージ・プレーンIPの長さとワールド座標系XYZの長さを対応させる比例定数である。
-1: 逆行列であることを示す
rnn, tn： カメラ１０の外部パラメーターでｒは回転成分、ｔは並進成分
[X, Yconst, Z]： 物体のワールド座標系XYZでの座標値（三次元空間）
Yconst: 仮定地上高
s： 媒介変数
rnn, tn： カメラ１０の外部パラメーターでｒは回転成分、ｔは並進成分
[X, Yconst, Z]： 物体のワールド座標系XYZでの座標値（三次元空間）
Yconst: 仮定地上高
s： 媒介変数
このように、画像座標系UVの必要な範囲の座標値[U, V]について、式（１）を用いてイメージ・プレーンIP上の広角歪みを含む座標値を求め、式（３）及び（４）を用いて広角歪みを近似補正した理想値を求め、仮定地上高Yconstと式（６）を用いて広角歪みを補正したイメージ・プレーンIP上の理想値からワールド座標系XYZの所定の高さの座標値[X, Yconst, Z]を求めることができる。
このように、UVtoXZマップ（計測マップ）は、画像座標値[U, V]と、ワールド座標値[X, Yconst, Z]とを予め対応させたマップである。
このように、UVtoXZマップ（計測マップ）は、画像座標値[U, V]と、ワールド座標値[X, Yconst, Z]とを予め対応させたマップである。
・XZtoUVマップ
XZtoUVマップは、UVtoXZマップとは逆に、ワールド座標値[X, Z]から画像座標値[U, V]を求めるためのマップである。
XZtoUVマップを求めるには、まず、式（５）により、ワールド座標値[X, Y, Z]をイメージ・プレーンIPでの理想座標値[Xc, Yc]に変換する。
次に、式（２）により式（３）と式（４）とを切り換えて、広角歪みを近似的に補正する。
さらに、イメージ・プレーンIPの[Xcd, Ycd]を式（７）に従って画像座標値[U, V]に変換する。
XZtoUVマップは、UVtoXZマップとは逆に、ワールド座標値[X, Z]から画像座標値[U, V]を求めるためのマップである。
XZtoUVマップを求めるには、まず、式（５）により、ワールド座標値[X, Y, Z]をイメージ・プレーンIPでの理想座標値[Xc, Yc]に変換する。
次に、式（２）により式（３）と式（４）とを切り換えて、広角歪みを近似的に補正する。
さらに、イメージ・プレーンIPの[Xcd, Ycd]を式（７）に従って画像座標値[U, V]に変換する。
-1: 逆行列であることを示す
ann： カメラ１０の内部パラメーターで線形歪み
Cx, Cy： 広角の画像IMの画像IM中心
このように、XZtoUVマップは、ワールド座標値[X, Yconst, Z]と画像座標値[U, V]とを予め対応させたマップである。
ann： カメラ１０の内部パラメーターで線形歪み
Cx, Cy： 広角の画像IMの画像IM中心
このように、XZtoUVマップは、ワールド座標値[X, Yconst, Z]と画像座標値[U, V]とを予め対応させたマップである。
・表示マップ
UVtoXZマップと、XZtoUVマップとを使用することで、画像IMの任意の画像座標値[U, V]のワールド座標系XYZでの座標値[X, Yconst, Z]を求め、逆に、ワールド座標値[X, Yconst, Z]から画像座標値[U, V]を求めることができる。
さらに、実施例では、フローFlwの始点終点でのワールド座標系XYZと画像座標系UVとの大きさの対応関係の情報を使用して高度な判定処理を実現することもできる。このワールド座標系XYZと画像座標系UVとの大きさの対応関係は、マップ無しにリアルタイムで求めても良いし、UVtoXZマップと、XZtoUVマップとを使用してリアルタイムに求めても良いし、また、予めこの大きさの対応関係に関するマップを別途作成しておいても良い。
ここでは、球体の仮想ブロックIBを用いてこの対応関係を予め計算しておく手法を説明する。計算結果は、画像座標値[U, V]から世界座標系の仮想ブロックIBの画像座標系UVでの大きさを求めるデータを集めたマップであり、表示マップという。
UVtoXZマップと、XZtoUVマップとを使用することで、画像IMの任意の画像座標値[U, V]のワールド座標系XYZでの座標値[X, Yconst, Z]を求め、逆に、ワールド座標値[X, Yconst, Z]から画像座標値[U, V]を求めることができる。
さらに、実施例では、フローFlwの始点終点でのワールド座標系XYZと画像座標系UVとの大きさの対応関係の情報を使用して高度な判定処理を実現することもできる。このワールド座標系XYZと画像座標系UVとの大きさの対応関係は、マップ無しにリアルタイムで求めても良いし、UVtoXZマップと、XZtoUVマップとを使用してリアルタイムに求めても良いし、また、予めこの大きさの対応関係に関するマップを別途作成しておいても良い。
ここでは、球体の仮想ブロックIBを用いてこの対応関係を予め計算しておく手法を説明する。計算結果は、画像座標値[U, V]から世界座標系の仮想ブロックIBの画像座標系UVでの大きさを求めるデータを集めたマップであり、表示マップという。
図５に示すように、フローFlwは、ワールド座標系XYZの仮想ブロックIBの移動から生じると仮定することもできる。仮想ブロックIBは、画像IMに撮像される範囲の三次元空間にて予め定められた位置及び大きさを持つ。この仮想ブロックIBを、前記画像IMの二次元の画像座標系UVに表示ブロックBDとして投影すると、仮想ブロックIBの位置に応じて表示ブロック半径BDrが異なる長さとなる。それぞれの表示ブロックBDの大きさは、仮想ブロックIBの位置及び大きさに応じて定められる。
すなわち、カメラ１０の近くの仮想ブロックIBは、遠方の仮想ブロックIBよりも画像座標系UVにて大きく投影される。すなわち、遠近法により、無限遠点の仮想ブロックIBは極小で、遠くの仮想ブロックIBは小さく、カメラ１０に近づくにつれて大きくなる。
このように、表示ブロックBDは、画像座標系UVの座標値（位置）と関連づけられた仮想ブロックIBの大きさである。従って、三次元空間の物体が、画像IM上、遠近法により大きさが変わる程度を表すことができる。
このように、表示ブロックBDは、画像座標系UVの座標値（位置）と関連づけられた仮想ブロックIBの大きさである。従って、三次元空間の物体が、画像IM上、遠近法により大きさが変わる程度を表すことができる。
図５に示すように、図中左側のワールド座標系XYZにて、仮想ブロックIBが始点[U0, V0]から終点[U1, V1]に移動したことでフローFlwが生じたと判定する。図５に示す例では、この仮想ブロックIBは球体で、大きさ（仮想ブロック半径IBr）は同一である。この同一の大きさの球体は、画像座標系UVでは、遠近法（自車MTとの車間距離）に応じて画像IMでの表示上の大きさが変化する。すなわち、カメラ１０から奥行き方向（図３（Ａ）のz軸）に遠方となるほど小さくなり、カメラ１０に近づくほど仮想ブロックIBは大きく撮像される。
好ましい実施例では、抽出されたフローFlwに関連する位置に基づいて画像処理を行う。例えば、次回のオプティカルフロー処理用の動的区画DTの配置、フローFlwのグループ化、フローFlwの進行の予測、フローFlw又はグループFlwGに基づく接近車MAの判定等である。
このようなフローFlwに関連する位置に基づく処理では、基準とすべきフローFlwの位置は、フロー始点でなければならない場合にはフロー始点と明記する。一方、フローFlwに関連する位置であれば厳密に始点や終点と同一点でなくても良い場合には、本明細書では、「フロー関連位置」という。
フロー関連位置としては、（１）フロー始点、（２）フロー終点、（３）フロー始点とフロー終点とから算術的に求められる位置（例えばフローFlwの中点）、（４）フローFlwの終点に近い位置、（５）フローFlwの延長線上の位置、（６）フローFlwの始点又は終点から一定距離の位置、（７）フローFlwの始点又は終点から一定距離以内の位置（領域）などがある。
このようなフローFlwに関連する位置に基づく処理では、基準とすべきフローFlwの位置は、フロー始点でなければならない場合にはフロー始点と明記する。一方、フローFlwに関連する位置であれば厳密に始点や終点と同一点でなくても良い場合には、本明細書では、「フロー関連位置」という。
フロー関連位置としては、（１）フロー始点、（２）フロー終点、（３）フロー始点とフロー終点とから算術的に求められる位置（例えばフローFlwの中点）、（４）フローFlwの終点に近い位置、（５）フローFlwの延長線上の位置、（６）フローFlwの始点又は終点から一定距離の位置、（７）フローFlwの始点又は終点から一定距離以内の位置（領域）などがある。
＜1 オプティカルフロー処理装置 ＞
＜1.1 逆フローFlwR＞
まず、本実施形態の実施例１を開示する。実施例１は、静止物から発生するフローFlwを特定するために、フローFlwの実空間のフロー方向に基づいて静止物であるか否かを判定する技術である。
＜1.1 逆フローFlwR＞
まず、本実施形態の実施例１を開示する。実施例１は、静止物から発生するフローFlwを特定するために、フローFlwの実空間のフロー方向に基づいて静止物であるか否かを判定する技術である。
オプティカルフロー処理装置１００は、その主要な要素として、カメラ１０と、区画配置部４２と、フロー抽出部１２と、フロー方向算出部７４と、反復パターン判定部７６とを備えている。この構成により、静止物のうち特に反復パターンRP（繰り返しパターン）を特定することができる。
図１に示す例では、さらに、基礎区画配置部３６と、動的区画配置部３８と、特徴量算出部４０とを備えている。実施例では、これらの構成は必須ではないが、これらの構成を備えることで計算コストを低減するなど、付加的な効果を奏することができる。
望ましい実施例では、有効性判定部７０、グループ判定部４４、接近車検出部４６、または、保留フロー減衰制御部７２や、これらの組み合わせを備えると良い。このような構成により、接近車MAの検出精度を低下させずに、反復パターンRPを特定することで、誤検出の確率を低下させることができる。
以下、各部１０，４２，１２，７４，７６等の内容を説明する。各部１０，４２，１２，７４，７６の動作は、時間的に順序づけて把握すると一連の方法を構成する工程である。各部及び対応する各工程の情報処理は、ＥＣＵ等で実行されるプログラムによって実現することができる。
図１に示す例では、さらに、基礎区画配置部３６と、動的区画配置部３８と、特徴量算出部４０とを備えている。実施例では、これらの構成は必須ではないが、これらの構成を備えることで計算コストを低減するなど、付加的な効果を奏することができる。
望ましい実施例では、有効性判定部７０、グループ判定部４４、接近車検出部４６、または、保留フロー減衰制御部７２や、これらの組み合わせを備えると良い。このような構成により、接近車MAの検出精度を低下させずに、反復パターンRPを特定することで、誤検出の確率を低下させることができる。
以下、各部１０，４２，１２，７４，７６等の内容を説明する。各部１０，４２，１２，７４，７６の動作は、時間的に順序づけて把握すると一連の方法を構成する工程である。各部及び対応する各工程の情報処理は、ＥＣＵ等で実行されるプログラムによって実現することができる。
カメラ１０は、自車MTの周辺を連続して撮像する（撮像工程）。カメラ１０は、通常のレンズで比較的歪みのない画像IMを撮像しても良いし、広角レンズを有し広角歪みのある画像IMを撮像しても良い。
区画配置部４２は、前記画像IMのフローFlw検出対象となる領域に予め定められた大きさの複数の区画を配置する。区画は、オプティカルフロー処理で使用するテンプレートの一領域であり、本実施例では、どのような区画を利用しても良い。画像IMは区画により複数の区画画像TMに分割される。
反復パターンRPを良好に検出するには、フローFlwが抽出される特徴量FEの多い部分に、複数の区画があり、複数のフローFlwが抽出されると良い。このため、細かい単一の基礎区画BTを用いるか、又は、基礎区画BTを粗めとしつつフローFlwが抽出された箇所に動的にフローFlwを追加するようにすると良い。動的区画DTを使用する例では、図１に示すように、基礎区画配置部３６と、動的区画配置部３８とを備えると良い。
反復パターンRPを良好に検出するには、フローFlwが抽出される特徴量FEの多い部分に、複数の区画があり、複数のフローFlwが抽出されると良い。このため、細かい単一の基礎区画BTを用いるか、又は、基礎区画BTを粗めとしつつフローFlwが抽出された箇所に動的にフローFlwを追加するようにすると良い。動的区画DTを使用する例では、図１に示すように、基礎区画配置部３６と、動的区画配置部３８とを備えると良い。
基礎区画配置部３６は、前記画像IMのフローFlw検出対象となる領域を予め定められた同一の大きさの基礎区画BTで区分けすると良い。基礎区画配置部３６は、画像IMの全面に基礎区画BTを配置して良いし、画像IM中背景を除いた走行環境の部分のみに配置するようにしても良い。
動的区画配置部３８は、前記検出される前記フローFlwのフロー関連位置に前記基礎区画BTと同一の大きさの動的区画DTを動的に配置すると良い。フロー関連位置は、上述したように、フロー始点やフロー終点等のフローFlwの位置に応じて定まる点又は領域である。例えば、動的区画DTの配置では、フロー終点をフロー関連位置とすると良い。
そして、動的区画DTの大きさを基礎区画BTと同一とすると、オプティカルフロー処理の計算コストを低減することができる。
そして、動的区画DTの大きさを基礎区画BTと同一とすると、オプティカルフロー処理の計算コストを低減することができる。
そして、時系列でみて連続作業の中で接近車MAを規定回数以上連続検出するためには、より条件の良いフローFlwを元に動的に動的区画DTを配置する必要がある。検出したフロー終点（移動位置）に対して、予め定めた規則に従って周辺領域にさらに複数の動的区画DTを追加配置することで、接近車MAが中央に配置されない場合でも、他の動的区画でギャップを補えるよう補完することができる。好ましい実施例では、フロー終点等のフロー関連位置又はごく近くに配置する動的区画を動的中心区画DTc、動的中心区画DTc等を中心としてその周囲に配置する動的区画DTを動的補完区画DTsという。
この動的補完区画DTsをフロー終点以外の周囲部に複数個配置しておけば、仮にレンズの歪や視差の影響で画像IMの表示形状に変形が生じた場合でも、複数配置した動的補完区画DTsのうち比較的変形量が少ない位置へ配置されたものが、本来の検出位置に配置された動的中心区画DTcの代わりに検出を行うことができる。すなわち、動的補完区画DTsの配置により、接近車MAの連続検出性を向上できる。
そして、この動的補完区画DTsの配置により、反復パターンRPから発生する逆フローFlwR及び正フローFlwNを一定数以上発生させることができ、これにより、反復パターンRPをより精度良く特定することができるようになる。
図２を参照すると、区画として、基礎区画BT、動的区画DTとを配置すると良く、動的区画DTとしてはさらに、動的中心区画DTcと、動的補完区画DTsとを使用することができる。
図２に示すように、基礎区画BTは画像IMに均質に配置される。本実施例では、基礎区画BTと基礎区画BTとの間に、隙間OPを設けることができる。隙間OPの配置を可能とすることで、基礎区画BTの大きさを、抽出対象の特徴に対して、大きすぎず、小さすぎない適切な大きさとすることができる。
そして、動的中心区画DTc及び動的補完区画DTsは、隙間OPに重ねて配置することができる。従って、隙間が生じるように基礎区画BTを配置しても、フローFlwが抽出されると、隙間OPの部分にも動的に動的区画DTを配置して、時間的に前後する画像IM間の特徴部分の移動を良好に抽出することができる。
そして、この動的補完区画DTsの配置により、反復パターンRPから発生する逆フローFlwR及び正フローFlwNを一定数以上発生させることができ、これにより、反復パターンRPをより精度良く特定することができるようになる。
図２を参照すると、区画として、基礎区画BT、動的区画DTとを配置すると良く、動的区画DTとしてはさらに、動的中心区画DTcと、動的補完区画DTsとを使用することができる。
図２に示すように、基礎区画BTは画像IMに均質に配置される。本実施例では、基礎区画BTと基礎区画BTとの間に、隙間OPを設けることができる。隙間OPの配置を可能とすることで、基礎区画BTの大きさを、抽出対象の特徴に対して、大きすぎず、小さすぎない適切な大きさとすることができる。
そして、動的中心区画DTc及び動的補完区画DTsは、隙間OPに重ねて配置することができる。従って、隙間が生じるように基礎区画BTを配置しても、フローFlwが抽出されると、隙間OPの部分にも動的に動的区画DTを配置して、時間的に前後する画像IM間の特徴部分の移動を良好に抽出することができる。
また、特徴量算出部４０は、前記基礎区画BT及び動的区画DTで区画されたそれぞれの区画画像TMの特徴量FEを当該基礎区画BT及び動的区画DTの区別無く算出すると良い。
そして、フロー抽出部１２は、前記連続する前後の前記画像IM間で前記特徴量FEの前記一致度ADが高い前記区画画像TMを探索することで前記フローFlwを抽出する（フロー抽出工程）。
そして、フロー抽出部１２は、前記連続する前後の前記画像IM間で前記特徴量FEの前記一致度ADが高い前記区画画像TMを探索することで前記フローFlwを抽出する（フロー抽出工程）。
フローFlwが抽出される区画画像TMの組み合わせとしては、（１）前画像IMの基礎区画BTと現画像IMの基礎区画BT、（２）前画像IMの基礎区画BTと現画像IMの動的区画DT、（３）前画像IMの動的区画DTと現画像IMの基礎区画BT、（４）前画像IMの動的区画DTと現画像IMの動的区画DTとがある。
実際には、動的区画DTをフロー始点として抽出されるフローFlwが多い。一方、連続的に抽出されるフローFlwが最初に検出されるのは、基礎区画BTをフロー始点とする例が多い。
実際には、動的区画DTをフロー始点として抽出されるフローFlwが多い。一方、連続的に抽出されるフローFlwが最初に検出されるのは、基礎区画BTをフロー始点とする例が多い。
フロー方向算出部７４は、実空間での前記フローFlwの向きを算出すると共に、前記自車MTの進行方向とは逆向きの逆フローFlwRを抽出する。実空間でのフローFlwの向きを算出するには、例えば図３に示す画像座標系UVとワールド座標系XYZとを対応させて、フロー始点[U0, V0]及びフロー終点[U1, V1]のワールド座標系XYZでの座標値を得て、フロー始点終点の図３に示すZ軸の長さ（又は速度）を得ると良い。この画像座標系UVとワールド座標系XYZとの対応は、上述したように、式（１）等で計算するか、又は、UVtoXZマップ（計測マップ）を事前準備してリアルタイムに参照すると良い。
反復パターン判定部７６は、前記逆フローFlwRを前記自車MTの前記周辺に存在する反復パターンRPと判定する。図３に示す座標系では、自車MTの直進時にはワールド座標系XYZのZ方向を向いた逆フローFlwRがある際に、この逆フローFlwRのフロー始点終点位置に反復パターンRPが存在すると判定する。白線等を抽出する際には反復パターンRPの抽出により白線の判定処理にて白線である確率を高めることができ、逆に、接近車MAを抽出する際には反復パターンRP部分は背景の静止物でノイズであるとして除去する確率を高めることができる。
反復パターンRP（繰り返しパターン）は、路面GTの白線や道路に面する壁などの直線成分を多く持つ静止物で、その反復パターンRPの輪郭付近では相似要素が高く、輪郭線に平行方向へ一致箇所が多数検出される。
図６（Ａ）に示すように、路面GTと白線との境界である区画画像TMに対しては、図６（Ｂ）に示すように、特徴量FEの一致度ADの高い区画画像TMが多数生じる。
自車MTの進行方向とほぼ並行である道路白線の輪郭部などは、前向き（進行方向）にも、後ろ向き（進行方向逆向き）にも、一致箇所が発生する。特に分解能の低い（例えば８ビット）計測マップを使用した場合、フロー始点終点に関する速度による無効判定を使用しても除去困難であるような誤検出フローFlwが発生してしまう。このような誤検出は、画像処理の原理的な要因に影響して発生するので、マッチングの手法や計測マップによる判定手法を使用しても対策は相当難しく、接近車MA検出に関する大きな障害となる。
図６（Ａ）に示すように、路面GTと白線との境界である区画画像TMに対しては、図６（Ｂ）に示すように、特徴量FEの一致度ADの高い区画画像TMが多数生じる。
自車MTの進行方向とほぼ並行である道路白線の輪郭部などは、前向き（進行方向）にも、後ろ向き（進行方向逆向き）にも、一致箇所が発生する。特に分解能の低い（例えば８ビット）計測マップを使用した場合、フロー始点終点に関する速度による無効判定を使用しても除去困難であるような誤検出フローFlwが発生してしまう。このような誤検出は、画像処理の原理的な要因に影響して発生するので、マッチングの手法や計測マップによる判定手法を使用しても対策は相当難しく、接近車MA検出に関する大きな障害となる。
図７（Ａ）は特徴量FEの一致度ADに基づいて抽出した全てのフローFlwを示す。図７（Ａ）に示す全てのフローFlwは移動車によるフローFlwではないため、全て誤検出フローFlwである。背景やノイズであるフローFlwは、フロー速度等を使用した無効フローFlwの判定により除去することができるが、図７（Ｂ）に示すように、この無効フローFlwの判定では白線の輪郭に残った誤検出フローFlwを除去することができない。
このように、白線の輪郭などの繰り返しパターンがあると、無効フローFlwを除去しても、誤検出フローFlwとして残ってしまう。このような除去困難である誤検出フローFlwは、白線の輪郭以外にも橋の欄干やガードレールの繰り返し構造を持つオブジェクト（繰り返しパターン）からも発生する。
このように、白線の輪郭などの繰り返しパターンがあると、無効フローFlwを除去しても、誤検出フローFlwとして残ってしまう。このような除去困難である誤検出フローFlwは、白線の輪郭以外にも橋の欄干やガードレールの繰り返し構造を持つオブジェクト（繰り返しパターン）からも発生する。
図８に反復パターンRPと区画画像TMとの関係例を示す。図中、重線（二本線）で示す重線部は反復パターンRPで、実線（１本線）で示す実線部は今回の区画画像TMで、点線で示す点線部は1つ前の画像IMに対する処理で使用した区画画像TMである。前回より、図８では、３つの移動について、点線部、実線部、重線部と進行している。
図８に示す区画画像TM(1)の位置では、点線部である1つ前の画像IMの区画画像TMを使用することで反復パターンRPの発生を判別できる。しかし、区画画像TM(2)及び区画画像TM(3)の位置では、1つ前の点線部の画像IMの区画画像TMを使用しても、反復パターンRPの発生であるか否かを判別できない。
なお、特許文献１は、図８との対比例では、点線部vs重線部の一致度ADと、実線部vs重線部の一致度ADとの差を算出し、この差に基づいて反復パターンRPであるか否かを判定する。
図８に示す区画画像TM(1)の位置では、点線部である1つ前の画像IMの区画画像TMを使用することで反復パターンRPの発生を判別できる。しかし、区画画像TM(2)及び区画画像TM(3)の位置では、1つ前の点線部の画像IMの区画画像TMを使用しても、反復パターンRPの発生であるか否かを判別できない。
なお、特許文献１は、図８との対比例では、点線部vs重線部の一致度ADと、実線部vs重線部の一致度ADとの差を算出し、この差に基づいて反復パターンRPであるか否かを判定する。
図９に示すように、反復パターンRPを対象としてオプティカルフロー処理をすると、進行方向の正フローFlwNとともに、進行方向と逆向きの逆フローFlwRが出現する。特に、反復パターンRPは自車MTの移動にともない見かけ上進行方向の逆向きに移動しているため、そのフローFlwも、進行方向となる正フローFlwNと、進行方向逆向きとなる逆フローFlwRとして出現する。フローFlwの向きが進行方向であるか否かを画像座標系UVで精度良く判定することは困難であるため、フロー始点終点の座標値をワールド座標系XYZの座標値に変換して実空間でのフロー方向を求めると、逆フローFlwRの多くは反復パターンRPに由来するフローFlwであることが分かる。
図１０を参照すると、オプティカルフロー処理装置１００は、まず、自車MTの周辺を撮像する（ステップＳ１，撮像工程）。続いて、前記画像IMのフローFlw検出対象となる領域に予め定められた大きさの複数の区画を配置する（ステップＳ２，区画配置工程）。好ましくは、基礎区画BTと、動的区画DTとを配置する。続いて、時間的に連続する前後の前記画像IM間で、一致度ADが高い前記区画画像TMを探索することで、前記フローFlwを抽出する（ステップＳ３，フロー抽出工程）。
そして、本実施例１では、フローFlwの始点終点の位置を実空間化して（ステップＳ４）、実空間での前記フローFlwの向きを算出する（ステップＳ５）。そして、フローFlwの向きが前記自車MTの進行方向とは逆向きの際には（ステップＳ６）、逆フローFlwRと判定する(ステップＳ７，フロー方向算出工程）。そして、逆フローFlwRを前記自車MTの前記周辺に存在する反復パターンRPと判定する（ステップＳ８，反復パターンRP判定工程）。その後、接近車MA判定処理（ステップＳ９）を実行し、次の画像IMの撮像へと処理を戻す。
この図１０に示す画像処理は、ECUとメモリ等を備える演算装置が、オプティカルフロー処理用プログラムを実行することで実現することができる。
この図１０に示す画像処理は、ECUとメモリ等を備える演算装置が、オプティカルフロー処理用プログラムを実行することで実現することができる。
・正逆フローFlwRのセット
また、好ましい実施例では、前記反復パターン判定部７６が、前記逆フローFlwRの一定範囲内に当該逆フローFlwRの発生確率に近い確率で発生した進行向きの正フローFlwNがある際には、当該正フローFlwNを当該逆フローFlwRと同一の反復パターンRPと判定すると良い。これにより、移動体によるフローFlwと区別しづらい正フローFlwNを逆フローFlwRの存在から特定することができる。そして、この正逆フローFlwRは、一体的に、同一の反復パターンRPに由来すると判定できる。
一定範囲は、画像座標系UVで予め定めた同一の範囲か、表示ブロック半径BDrなど実空間での同一の大きさを画像座標系UVに投影した範囲などを使用することができる。また、フローFlwのグループ化の処理に伴い生成されるグループFlwGの範囲を利用しても良い。
また、好ましい実施例では、前記反復パターン判定部７６が、前記逆フローFlwRの一定範囲内に当該逆フローFlwRの発生確率に近い確率で発生した進行向きの正フローFlwNがある際には、当該正フローFlwNを当該逆フローFlwRと同一の反復パターンRPと判定すると良い。これにより、移動体によるフローFlwと区別しづらい正フローFlwNを逆フローFlwRの存在から特定することができる。そして、この正逆フローFlwRは、一体的に、同一の反復パターンRPに由来すると判定できる。
一定範囲は、画像座標系UVで予め定めた同一の範囲か、表示ブロック半径BDrなど実空間での同一の大きさを画像座標系UVに投影した範囲などを使用することができる。また、フローFlwのグループ化の処理に伴い生成されるグループFlwGの範囲を利用しても良い。
再度図１０を参照すると、ステップＳ６にて、フローFlwの向きが進行方向の逆向きではない場合、進行方向向きで、かつ、逆フローFlwR近くにある際には、これを正フローFlwNと判定する（ステップＳ１１）。このステップＳ１１では、処理対象のフローFlwを中心とした一定範囲内に進行方向向きのフローFlwと逆フローFlwRとが同様の確率で出現している際に、正フローFlwNであると判定するようにしても良い。一方、ステップＳ１０の条件を満たさなければ、無効フローFlwを除き、有効フローFlwと判定する（ステップＳ１２）。
再度図９を参照すると、反復パターンRP（繰り返しパターン）からは、正フローFlwNと逆フローFlwRとが近い確率で出現する。また、この正フローFlwNと逆フローFlwRとの出現確率の比較は、フローFlwをグループ化する際に比較処理をするようにしても良い。
再度図９を参照すると、反復パターンRP（繰り返しパターン）からは、正フローFlwNと逆フローFlwRとが近い確率で出現する。また、この正フローFlwNと逆フローFlwRとの出現確率の比較は、フローFlwをグループ化する際に比較処理をするようにしても良い。
・1.1 逆ローの効果
上述のように、フロー方向算出部７４が、実空間での前記フローFlwの向きが逆向きの逆フローFlwRを抽出し、反復パターン判定部７６が、この逆フローFlwRを反復パターンRPと判定するため、白線認識に際しては微分処理等をせずに反復パターンRPの部分を白線等と認識する確率を高めることができ、逆に、接近車MAを抽出する際には反復パターンRP部分を静止物のノイズであるとして除去する確率を高めることができる。
特に、周辺の移動体を抽出する際に、自車の移動に伴い反復パターンRPからノイズとなるフローFlwが生ずると、このフローFlwの速度等に基づいた無効判定では除去しきれなくなってしまうが、本実施例では、フローFlwの方向に基づいて反復パターンRPと判定することができる。すなわち、速度情報で抽出不能な反復パターンRPを良好に検出することができる。
また、逆フローFlwR近くに出現する正フローFlwNをこの逆フローFlwRと同一の反復パターンRPから発生していると判定することで、反復パターンRPから発生する正フローFlwNを移動体由来と誤判定することなく、逆フローFlwRと一体的に反復パターンRPの特定をすることができる。特に、正フローFlwNが、移動体と同様の速度情報（速さ及び方向）を持つ場合であっても、逆フローFlwRの近隣で発生しているという情報を利用して、接近車MA判定処理等にて正フローFlwNを良好に除去していくことができる。このように、接近車MA判定処理等では、進行方向を向いた正フローFlwNを逆フローFlwRと一体的に排除することができる。
上述のように、フロー方向算出部７４が、実空間での前記フローFlwの向きが逆向きの逆フローFlwRを抽出し、反復パターン判定部７６が、この逆フローFlwRを反復パターンRPと判定するため、白線認識に際しては微分処理等をせずに反復パターンRPの部分を白線等と認識する確率を高めることができ、逆に、接近車MAを抽出する際には反復パターンRP部分を静止物のノイズであるとして除去する確率を高めることができる。
特に、周辺の移動体を抽出する際に、自車の移動に伴い反復パターンRPからノイズとなるフローFlwが生ずると、このフローFlwの速度等に基づいた無効判定では除去しきれなくなってしまうが、本実施例では、フローFlwの方向に基づいて反復パターンRPと判定することができる。すなわち、速度情報で抽出不能な反復パターンRPを良好に検出することができる。
また、逆フローFlwR近くに出現する正フローFlwNをこの逆フローFlwRと同一の反復パターンRPから発生していると判定することで、反復パターンRPから発生する正フローFlwNを移動体由来と誤判定することなく、逆フローFlwRと一体的に反復パターンRPの特定をすることができる。特に、正フローFlwNが、移動体と同様の速度情報（速さ及び方向）を持つ場合であっても、逆フローFlwRの近隣で発生しているという情報を利用して、接近車MA判定処理等にて正フローFlwNを良好に除去していくことができる。このように、接近車MA判定処理等では、進行方向を向いた正フローFlwNを逆フローFlwRと一体的に排除することができる。
＜1.2 逆フローFlwRの減衰制御＞
実施例１では、好ましくは、逆フローFlwRに基づく減衰制御をすると良い。減衰制御をする例では、図１に示すように、有効性判定部７０と、グループ判定部４４と、接近車検出部４６と、そして、保留フロー減衰制御部７２とを備える。
この減衰制御は、逆フローFlwR及び逆フローFlwRを含むグループFlwGについては、グループ化や接近車MA候補との判定に際して、通常の有効フローFlwに対する条件を減衰させて厳しくする制御である。逆フローFlwRの他、一致度ADギャップの小さいフローFlwを無効判定又は減衰制御の対象としても良い。
実施例１では、好ましくは、逆フローFlwRに基づく減衰制御をすると良い。減衰制御をする例では、図１に示すように、有効性判定部７０と、グループ判定部４４と、接近車検出部４６と、そして、保留フロー減衰制御部７２とを備える。
この減衰制御は、逆フローFlwR及び逆フローFlwRを含むグループFlwGについては、グループ化や接近車MA候補との判定に際して、通常の有効フローFlwに対する条件を減衰させて厳しくする制御である。逆フローFlwRの他、一致度ADギャップの小さいフローFlwを無効判定又は減衰制御の対象としても良い。
有効性判定部７０は、フローFlwを３種類に区分する。第１は、予め定められた無効条件を満たすフローFlwを無効フローFlwとする区分で、第２は、前記逆フローFlwR及び前記正フローFlwNを有効無効の判定保留である保留フローFlwとする区分で、第３は、前記無効でも保留でもないフローFlwを有効フローFlwとする区分である。
無効フローFlwは、誤検出を防止するための複数の無効判定処理により無効と判定されるフローFlwである。無効判定処理としては、無効判定（１）内角異常（時間的に連続する２つのフローFlwの移動方向が急激すぎる）、（２）無限遠点方向への移動（無限遠点から近近づいてきていない）、（３）速度異常（相対速度が足りないか、または速度超過）などがある。また、正フローFlwNは無効フローFlwに区分するようにしても良い。
無効フローFlwは、誤検出を防止するための複数の無効判定処理により無効と判定されるフローFlwである。無効判定処理としては、無効判定（１）内角異常（時間的に連続する２つのフローFlwの移動方向が急激すぎる）、（２）無限遠点方向への移動（無限遠点から近近づいてきていない）、（３）速度異常（相対速度が足りないか、または速度超過）などがある。また、正フローFlwNは無効フローFlwに区分するようにしても良い。
保留フローFlwは、実施例１では特に、背景や路面GTの反復パターンRPから生じる逆フローFlwR及び正フローFlwNである。保留フローFlwは、有効無効を判定しきれないフローFlwを有効フローFlwと同様の扱いをしつつ、グループ化や接近車MA判定に際しては抑制的、その存在や影響を段階的に減衰させるように扱うフローFlwである。正逆フローFlwR, FlwN以外にも、例えば、速度異常について、有効と無効との２段階ではなく、保留フローFlwと判定する速度範囲を設定しても良い。
また、一致度AD（SAD）のギャップに基づいて保留フローFlwを検出するようにしても良い。視差の関係がある以上、カメラ１０と物体の相対位置が変化すると画像IMに必ず微小の変化が発生する。フローFlwの発生は物体の移動を示すので、フローFlwが一定以上の長さを持つのに、フロー始点の一致度ADとフロー終点での一致度ADの差（＝画像IMの変化）が小さいのは反復パターンRPが発生しているものとして考える。
一致度ADギャップの小さいフローFlwを検出するには、まず、マッチング処理の際、基礎区画BTの登録点（フロー始点）で確認した一致度ADを記録する。フロー始点で、マッチングが一致したとしてもフローFlwの長さ＝0となるのでフローFlwは発生しない。
続いて、検出した一致度AD（=フロー終点となる位置）を確認する。検出したフローFlwについて画像平面上でU方向成分・V長さを確認し差が次式にていずれかが２以下となるもの（隣り合う関係＝移動なし）は、無効と判定して処理対象から除外するか、保留フローFlwと判定する。
ΔU＝[U0−U1の絶対値、及びΔV＝V0−V1]の絶対値
続いて、検出した一致度AD（=フロー終点となる位置）を確認する。検出したフローFlwについて画像平面上でU方向成分・V長さを確認し差が次式にていずれかが２以下となるもの（隣り合う関係＝移動なし）は、無効と判定して処理対象から除外するか、保留フローFlwと判定する。
ΔU＝[U0−U1の絶対値、及びΔV＝V0−V1]の絶対値
さらに残ったフローFlwに対し、移動があったにも関わらずフロー終点の一致度ADと区画の登録点での一致度ADとの差に対してしきい値を設定し、一致度ADの偏差が設定しきい値より小さい場合は、白線等の輪郭線等を示す確率が高いものとして無効フローFlw又は保留フローFlwと判断する。
なお、この一致度ADギャップの判定処理で一致度ADの偏差のしきい値を厳しく設定すると、接近車MA自身の検出に失敗してしまうことがある。これは、基本的に接近車MAとの車間距離が迫るほど検出されるフローFlwは輪郭部に集中していく傾向があるからである。また、区画のサイズを小さく取ることで、画像IMの変化への感度が弱くなることも原因する。よって、この一致度ADの差による評価をあまり厳しく（許容設定範囲を小さく）することができない。このため、一致度ADギャップに基づく処理のみで反復パターンRPを除去するのは困難である。従って、逆フローFlwRを用いた反復パターンRPの抽出が極めて有効である。
グループ判定部４４は、前記有効フローFlw及び前記保留フローFlwに予め定められたグループFlwG条件を適用することで複数のフローFlwのグループ化を判定する。グループFlwG条件は、フローFlw間の画像座標系UV又はワールド座標系XYZでの距離、方向の共通性、速さの共通性などに基づいてグループFlwG条件を満たすフロー群を１つのグループFlwGにグループ化し、満たさないフローFlwは別グループFlwGに帰属させる。また、グループFlwG条件として、１つのフローFlwが複数のグループFlwGに帰属可能な際にどのグループFlwGに帰属させるかの条件を含めても良い。
接近車検出部４６は、前記画像IM毎の前記複数のグループFlwGに予め定められた検出条件を適用することで接近車MAの候補となるグループFlwGを検出する。検出条件は、例えば、同一のグループFlwGが時間的に連続して一定回数以上検出された場合に接近車MAの候補とするなどの条件である。
保留フロー減衰制御部７２は、前記グループ化及び／又は前記グループFlwGの検出に際して、前記保留フローFlwに適用する前記グループFlwG条件及び／又は前記検出条件を減衰させることで、当該保留フローFlwに対して前記有効フローFlwに適用する条件より厳しい条件を適用させる。
すなわち、保留フロー減衰制御部７２は、第１に、グループ化の検出に際してグループFlwG条件を減衰させることができ、または、第２に、接近車MA候補となるグループFlwGの検出に際して検出条件を減衰させることができる。そして、第３に、この第１及び第２の両方の減衰制御をすることもできる。
すなわち、保留フロー減衰制御部７２は、第１に、グループ化の検出に際してグループFlwG条件を減衰させることができ、または、第２に、接近車MA候補となるグループFlwGの検出に際して検出条件を減衰させることができる。そして、第３に、この第１及び第２の両方の減衰制御をすることもできる。
保留フロー減衰制御部７２がグループFlwG条件を減衰制御する例では、保留フローFlwをグループFlwGに帰属させ、または、保留フローFlwを含むグループFlwGに他の有効フローFlwを帰属させる際に、有効フローFlwに対するグループ化の条件を厳しくすることで、保留フローFlwが他の有効フローFlwと同一のグループFlwGに帰属する確率を低下させる。これにより、反復パターンRPに由来する正逆フローFlwR, FlwNを有効フローFlwとは別グループFlwGとし、正逆フローFlwR, FlwNを孤立させることができる。すなわち、保留フローFlwの他の有効フローFlwとの連結確率を低下させるため、接近車MA検出の感度を維持しつつ静止物によるフローFlwなどノイズ除去することができる。
また、保留フロー減衰制御部７２が検出条件を減衰制御する例では、保留フローFlwを含むグループFlwGに対するグループFlwG検出の条件を厳しくすることで、保留フローFlwを含むグループFlwGを接近車MA候補と誤判定する確率を低下させることができる。
そして、保留フロー減衰制御部７２が、グループFlwG条件及び検出条件の両方を減衰制御すると、保留フローFlwを含むグループFlwGを孤立させ、保留フローFlwを含むグループFlwGを接近車MA候補と判定する可能性を低下させつつも、保留フローFlw自体はグループ化等の処理対象として抽出しておくことで、接近車MAの検出精度を保ちつつ、反復パターンRPによるノイズの影響を低下させることができる。このように、減衰制御により、反復パターンRPに影響を除去しつつ検出性能を確保することができる。
そして、保留フロー減衰制御部７２が、グループFlwG条件及び検出条件の両方を減衰制御すると、保留フローFlwを含むグループFlwGを孤立させ、保留フローFlwを含むグループFlwGを接近車MA候補と判定する可能性を低下させつつも、保留フローFlw自体はグループ化等の処理対象として抽出しておくことで、接近車MAの検出精度を保ちつつ、反復パターンRPによるノイズの影響を低下させることができる。このように、減衰制御により、反復パターンRPに影響を除去しつつ検出性能を確保することができる。
本実施例１では、特に、グループ判定部４４が、前記複数のフローFlwの前記フロー関連位置間の実空間での距離（実空間距離）に基づいて、当該複数のフローFlwのグループ化を判定すると良い。グループ化判定のためのフロー関連位置として、フロー始点を採用すると、時間的に連続するフローFlwの追跡をし易くなる。その他、フロー終点や中点をフロー関連位置としても良い。
フローFlwのグループFlwGの管理は、例えば、グループFlwGを識別するグループFlwG番号を使用して、同一グループFlwGのフローFlwには同一のグループFlwG番号を付する。
そして、接近車検出部４６は、前記画像IM毎に接近車MAの候補となるグループFlwGを検出すると共に、当該グループFlwGの検出回数に応じて当該グループFlwGが接近車MAであるか否かを判定する。
フローFlwのグループFlwGの管理は、例えば、グループFlwGを識別するグループFlwG番号を使用して、同一グループFlwGのフローFlwには同一のグループFlwG番号を付する。
そして、接近車検出部４６は、前記画像IM毎に接近車MAの候補となるグループFlwGを検出すると共に、当該グループFlwGの検出回数に応じて当該グループFlwGが接近車MAであるか否かを判定する。
図１１に、フローFlwと実空間距離の関係例を示す。
好ましい例では、図１１（Ａ）に示すように、実空間の三次元のワールド座標値[X, Y, Z]と画像IMの二次元の画像座標値[U, V]とを対応させ、周辺環境の監視に良好なフローFlwの抽出確率を高めるために、抽出対象のフローFlwの高さを仮定地上高Yconst（図４）と仮定する。図１１（Ｂ）には、実空間距離の大きさを対応する大きさの半径を持つ円で表す。この円は、図５に示す表示ブロックBDであり、その半径は、表示ブロック半径BDrである。
好ましい例では、図１１（Ａ）に示すように、実空間の三次元のワールド座標値[X, Y, Z]と画像IMの二次元の画像座標値[U, V]とを対応させ、周辺環境の監視に良好なフローFlwの抽出確率を高めるために、抽出対象のフローFlwの高さを仮定地上高Yconst（図４）と仮定する。図１１（Ｂ）には、実空間距離の大きさを対応する大きさの半径を持つ円で表す。この円は、図５に示す表示ブロックBDであり、その半径は、表示ブロック半径BDrである。
図１２（Ａ）に示すフローFlwについて、実空間距離を直径とする円（又は表示ブロックBD）で表すと、図１２（Ｂ）に示すように、円が重なり合う。好ましい例では、グループ判定部４４は、重なり合う円を同一のグループFlwGと判定する。このように実空間距離を参照してフローFlwをグループ化すると、グループ化の判断基準が車間距離によって変化しないため、同一の接近車MA又は接近車MAの同一の特徴部分を車間距離によらず連続してグループ化し、グループFlwGとして追跡することができる。
図１２（Ｂ）に示す例では、６本あるフローFlwが３つのグループFlwG(1), FlwG(2), FlwG(3)にグループ化されている。
図１２（Ｂ）に示す例では、６本あるフローFlwが３つのグループFlwG(1), FlwG(2), FlwG(3)にグループ化されている。
・グループ化処理の詳細
図１３を参照すると、グループ判定部４４は、グループ継続処理４８と、グループ探索処理５０と、検出回数比較処理５２と、グループ帰属化処理５４と、統合バッファ５６とを備えている。グループ判定部４４の動作を一連のグループFlwG判定方法と把握する場合には、各処理４８，５０，５２，５４は方法を構成する工程となる。グループFlwG継続工程とグループFlwG探索工程とはどちらを先にしても良いし、並列処理としても良い。
以下、２以上のフローFlwをフローFlw間の画像上の距離又は前記実空間での距離に基づいてグループ化する処理例を説明する。保留フロー減衰制御部７２は、正逆フローFlwR, FlwNについては、このグループ化を判定するための距離を短く補正制御する。
図１３を参照すると、グループ判定部４４は、グループ継続処理４８と、グループ探索処理５０と、検出回数比較処理５２と、グループ帰属化処理５４と、統合バッファ５６とを備えている。グループ判定部４４の動作を一連のグループFlwG判定方法と把握する場合には、各処理４８，５０，５２，５４は方法を構成する工程となる。グループFlwG継続工程とグループFlwG探索工程とはどちらを先にしても良いし、並列処理としても良い。
以下、２以上のフローFlwをフローFlw間の画像上の距離又は前記実空間での距離に基づいてグループ化する処理例を説明する。保留フロー減衰制御部７２は、正逆フローFlwR, FlwNについては、このグループ化を判定するための距離を短く補正制御する。
グループFlwG判定に際して、まず、グループ継続処理４８は、動的区画DTから検出されるフローFlwについて、当該動的区画DTの生成元のフローFlwが属したグループFlwGに帰属可能とする。グループFlwGに帰属可能とする処理は、当該フローFlwに仮にグループFlwG番号を与えておく情報処理などである。例えば、動的区画DTを配置する際に当該動的区画DTについてのデータとして当該動的区画DTを配置する元となったフローFlwのグループFlwG番号を記録しておき、この動的区画DTからフローFlwが抽出された際には、そのフローFlwについてのデータとして当該グループFlwG番号を記録すると良い。
グループ継続処理４８の処理対象となるフローFlwを子フローFlw、子フローFlwを抽出した動的区画DTを配置する生成元となったフローFlwを親フローFlwという。子フローFlwは、次の画像IMの処理では親フローFlwとなる。
基礎区画BTから検出されるフローFlwは、生成元の親フローFlwがないため、グループFlwGの継承処理はない。
グループ継続処理４８の処理対象となるフローFlwを子フローFlw、子フローFlwを抽出した動的区画DTを配置する生成元となったフローFlwを親フローFlwという。子フローFlwは、次の画像IMの処理では親フローFlwとなる。
基礎区画BTから検出されるフローFlwは、生成元の親フローFlwがないため、グループFlwGの継承処理はない。
グループ探索処理５０は、前記基礎区画BT又は動的区画DTから抽出されるフローFlwについて前記フローFlw間の距離に基づいて帰属可能な１以上のグループFlwGを探索する処理である。グループ探索処理５０では、帰属可能なグループFlwGを探索できない場合と、１つのグループFlwGを探索する場合と、２以上のグループFlwGを探索する場合とがある。距離に基づいてグループFlwGを探索するのは、処理対象のフローFlwの近くに、既にグループFlwGに帰属しているフローFlwがあれば、同一のグループFlwGに帰属させることで、隣接するフローFlwを１つのグループFlwGに帰属させる処理である。
このグループ探索処理５０にて、処理対象のフローFlwに近いか否かは、実空間距離に基づいて判定すると、画像IMでの画像距離によらず、接近車MA又はその特徴部分の実際の大きさに基づいてフローFlwが帰属可能なグループFlwGを探索することができる。
グループ探索処理５０は、保留フロー減衰制御部７２による制御に応じて、正逆フローFlwR, FlwNの場合にはより短い画像距離又は実空間距離でグループ化の判定をする。
このグループ探索処理５０にて、処理対象のフローFlwに近いか否かは、実空間距離に基づいて判定すると、画像IMでの画像距離によらず、接近車MA又はその特徴部分の実際の大きさに基づいてフローFlwが帰属可能なグループFlwGを探索することができる。
グループ探索処理５０は、保留フロー減衰制御部７２による制御に応じて、正逆フローFlwR, FlwNの場合にはより短い画像距離又は実空間距離でグループ化の判定をする。
グループ探索処理５０は、画像IMと同一サイズのイメージバッファを統合バッファ５６として用いて、グループFlwG探索を実行しても良い。この例では、グループ探索処理５０は、抽出した有効フローFlwのフロー始点等のフロー関連位置を中心として、予め定められた距離を半径又は直径とする円を統合バッファ５６に描画する。抽出した有効フローFlwについて円を描画し、円が重なり合った際には重なり合ったフローFlwと同一グループFlwGの候補とすることができる。保留フローFlwに対しては、有効フローFlwの距離よりも短い距離の円を描画することで、保留フローFlwを他の有効フローFlwと同一のグループFlwGに帰属させる可能性を減衰させることができる。
検出回数比較処理５２は、前記帰属可能とされたグループFlwGが複数ある際には当該グループFlwGの検出回数を比較する。「検出回数」は、接近車検出部４６にて異なる画像IMで接近車MAの候補を検出した回数である。そして、この検出回数比較処理５２にて検出回数を比較するのは、帰属可能なグループFlwGが２以上ある場合であり、帰属可能なグループFlwGが１つのみの場合にはこの比較は行わない。
基礎区画BTから抽出されたフローFlwの場合、グループ探索処理５０にてグループFlwG番号の異なる２以上のグループFlwGに帰属可能と判定された場合に、その２つのグループFlwGの検出回数を比較する。
動的区画DTから抽出されたフローFlwの場合、グループ探索処理５０にて帰属可能なグループFlwGが１以上探索された際に、グループ継続処理４８で帰属可能とされた生成元のフローFlwが帰属していたグループFlwGとあわせて検出回数を比較する。グループ探索処理５０にて２つの帰属可能なグループFlwGが探索された場合、その２つのグループFlwGの検出回数と、グループ継続処理４８にて継続するグループFlwGの検出回数とを比較する。
基礎区画BTから抽出されたフローFlwの場合、グループ探索処理５０にてグループFlwG番号の異なる２以上のグループFlwGに帰属可能と判定された場合に、その２つのグループFlwGの検出回数を比較する。
動的区画DTから抽出されたフローFlwの場合、グループ探索処理５０にて帰属可能なグループFlwGが１以上探索された際に、グループ継続処理４８で帰属可能とされた生成元のフローFlwが帰属していたグループFlwGとあわせて検出回数を比較する。グループ探索処理５０にて２つの帰属可能なグループFlwGが探索された場合、その２つのグループFlwGの検出回数と、グループ継続処理４８にて継続するグループFlwGの検出回数とを比較する。
グループ帰属化処理５４は、当該検出回数を比較したフローFlwを当該検出回数が最多のグループFlwGに属させると共に、前記基礎区画BTから検出されたフローFlwで帰属可能なグループFlwGが探索されない際には新規グループFlwGに属させる。
基礎区画BT又は動的区画DTから検出されたフローFlwで、検出回数比較処理５２にて複数のグループFlwGの検出回数を比較した際には、検出回数が最多のグループFlwGに帰属させる。
基礎区画BTから検出されたフローFlwで、グループ探索処理５０にて帰属可能なグループFlwGが探索されない際には、新規グループFlwGに属させる。これは、例えば、グループFlwGを識別するグループFlwG番号を新しく発番して新しい番号を当該フローFlwに割り当てる。
動的区画DTから検出されたフローFlwで、グループ探索処理５０にて実空間距離内に他のグループFlwGが発見されなかった際には、グループ継続処理４８にて割り当てられたグループFlwGに帰属させる。
基礎区画BT又は動的区画DTから検出されたフローFlwで、検出回数比較処理５２にて複数のグループFlwGの検出回数を比較した際には、検出回数が最多のグループFlwGに帰属させる。
基礎区画BTから検出されたフローFlwで、グループ探索処理５０にて帰属可能なグループFlwGが探索されない際には、新規グループFlwGに属させる。これは、例えば、グループFlwGを識別するグループFlwG番号を新しく発番して新しい番号を当該フローFlwに割り当てる。
動的区画DTから検出されたフローFlwで、グループ探索処理５０にて実空間距離内に他のグループFlwGが発見されなかった際には、グループ継続処理４８にて割り当てられたグループFlwGに帰属させる。
また、グループ帰属化処理５４は、グループ探索処理５０にて２以上のグループFlwGが探索された場合には、処理対象のフローFlwのみならず、検出回数の少ない他の全てのフローFlwのグループFlwGを検出回数が最多のグループFlwGに上書きする処理（最多更新処理）を備えても良い。
図１４を参照してグループ判定部４４によるグループ化の具体的な処理例を説明する。
図１２（Ｂ）に示すグループ化の状態は、図１４の統合バッファ５６に拡大して示すように、黒丸で示すグループFlwG(1)と、斜線１本で示すグループFlwG(2)と、斜線２本で示すグループFlwG(3)が描画されている。図１４に示す例では、これらのグループFlwG(1), FlwG(2)及びFlwG(3)があるところに、白丸で示すフローFlw(1), Flw(2)及びFlw(3)の３つ抽出されたとする。
グループ探索処理５０にて、フローFlw(1)は２つのグループFlwG(2), FlwG(3)の両方と重なるため、帰属可能なグループFlwGとしてこれら２つのグループFlwGが探索される。フローFlw(1)が基礎区画BT由来のフローFlwの場合には、前回帰属していた親フローFlwのグループFlwGが無いため、このフローFlw(1)は、グループFlwG(2), FlwG(3)のいずれかのうち検出回数の多いグループFlwGに帰属する。動的区画DT由来の場合には、グループ継続処理４８で与えられた親フローFlwのグループFlwGと、グループFlwG(2)と、グループFlwG(3)との３グループFlwGの検出回数を比較する。
いずれの場合も、例えば、グループFlwG(2)の検出回数が多ければ、グループFlwG(2)に帰属する。この際、最多更新処理により、グループFlwG(3)の帰属グループFlwGをグループFlwG(2)に上書きしても良い。
図１２（Ｂ）に示すグループ化の状態は、図１４の統合バッファ５６に拡大して示すように、黒丸で示すグループFlwG(1)と、斜線１本で示すグループFlwG(2)と、斜線２本で示すグループFlwG(3)が描画されている。図１４に示す例では、これらのグループFlwG(1), FlwG(2)及びFlwG(3)があるところに、白丸で示すフローFlw(1), Flw(2)及びFlw(3)の３つ抽出されたとする。
グループ探索処理５０にて、フローFlw(1)は２つのグループFlwG(2), FlwG(3)の両方と重なるため、帰属可能なグループFlwGとしてこれら２つのグループFlwGが探索される。フローFlw(1)が基礎区画BT由来のフローFlwの場合には、前回帰属していた親フローFlwのグループFlwGが無いため、このフローFlw(1)は、グループFlwG(2), FlwG(3)のいずれかのうち検出回数の多いグループFlwGに帰属する。動的区画DT由来の場合には、グループ継続処理４８で与えられた親フローFlwのグループFlwGと、グループFlwG(2)と、グループFlwG(3)との３グループFlwGの検出回数を比較する。
いずれの場合も、例えば、グループFlwG(2)の検出回数が多ければ、グループFlwG(2)に帰属する。この際、最多更新処理により、グループFlwG(3)の帰属グループFlwGをグループFlwG(2)に上書きしても良い。
フローFlw(2)は、フローFlw(3)の処理前は、グループ探索処理５０にて実空間距離内に近接するグループFlwGがないため、基礎区画BT由来の際には新規グループFlwGとなり、動的区画DT由来の際には親フローFlwと同一のグループFlwGとなる。いずれの場合も、フローFlw(2)はグループFlwG(1)には帰属しない。
この状態で、フローFlw(3)を処理すると、グループ探索処理５０にて、グループFlwG1と、Flw(2)のグループFlwGとが探索される。続いて、検出回数を比較し、最多のグループFlwG(1)に帰属する。最多更新処理をすると、結局、Flw(2)とFlw(3)とは同一のグループFlwGとなる。なお、フローFlw(2)が基礎区画BT由来の場合、フローFlw(2)の新規グループFlwGの検出回数は０回であるため、グループFlwG1に吸収される。
仮に、フローFlw(3)が基礎区画BT由来の逆フローFlwRの場合、保留フロー減衰制御部７２により、図１４に示すフローFlw(3)の円が小さく制御される。その結果、グループFlwG1ともFlw(2)とも重ならなくなると、孤立する新たなグループFlwGに帰属することとなる。
この状態で、フローFlw(3)を処理すると、グループ探索処理５０にて、グループFlwG1と、Flw(2)のグループFlwGとが探索される。続いて、検出回数を比較し、最多のグループFlwG(1)に帰属する。最多更新処理をすると、結局、Flw(2)とFlw(3)とは同一のグループFlwGとなる。なお、フローFlw(2)が基礎区画BT由来の場合、フローFlw(2)の新規グループFlwGの検出回数は０回であるため、グループFlwG1に吸収される。
仮に、フローFlw(3)が基礎区画BT由来の逆フローFlwRの場合、保留フロー減衰制御部７２により、図１４に示すフローFlw(3)の円が小さく制御される。その結果、グループFlwG1ともFlw(2)とも重ならなくなると、孤立する新たなグループFlwGに帰属することとなる。
・予測判定の詳細
次に、グループFlwG単位の予測判定処理により、接近車MAであるか否かを判定する手法を説明する。
図１５を参照すると、この例では、接近車検出部４６は、予測終点算出処理６２と、予測領域描画処理６６と、接近車候補判定処理６８と、予測バッファ６４とを備える。予測バッファ６４は、統合バッファ５６と同様に画像IMと同一サイズのイメージバッファである。図１５に示す例では、予測領域描画処理６６は、フロー予測終点FApを中心として予測領域FAを描画し、接近車候補判定処理６８は、予測領域FAにフロー終点が含まれる数に基づいて接近車MA候補を判定する。
次に、グループFlwG単位の予測判定処理により、接近車MAであるか否かを判定する手法を説明する。
図１５を参照すると、この例では、接近車検出部４６は、予測終点算出処理６２と、予測領域描画処理６６と、接近車候補判定処理６８と、予測バッファ６４とを備える。予測バッファ６４は、統合バッファ５６と同様に画像IMと同一サイズのイメージバッファである。図１５に示す例では、予測領域描画処理６６は、フロー予測終点FApを中心として予測領域FAを描画し、接近車候補判定処理６８は、予測領域FAにフロー終点が含まれる数に基づいて接近車MA候補を判定する。
図１６を参照すると、一点鎖線で示すフローFlwは、前回の画像IMに配置した区画から抽出された同一グループFlwGのフローFlw(1)、フローFlw(2)、及びフローFlw(3)である。点線で示す矢印は、フローFlwの始点と、当該各フローFlwの直近の速度とを加算したベクトルであり、それぞれのフローFlwの終点を始点として同一方向で同一大きさに接続した予測フローFlwFである。今回フローFlwが動的補完区画DTsから生じる場合には、一点鎖線で示す前回フローFlwPはないが、動的補完区画DTsについての動的中心区画DTcに前回フローFlwPがあり、この速さ及び向きを使用して動的補完区画DTsから抽出されるフローFlwの終点位置を予測すると良い。
予測終点算出処理６２は、これら点線で示す矢印の終点（矢印の先）をフロー予測終点FApとして算出する。
予測終点算出処理６２は、これら点線で示す矢印の終点（矢印の先）をフロー予測終点FApとして算出する。
そして、予測領域描画処理６６は、予測バッファ６４に、フロー予測終点FApでの前記実空間で距離に応じた大きさの予測領域FAを当該各フロー予測終点FApを中心として描画する。図１６に示す例では、３つの予測領域FAが重なり合って一定の領域を形成している。この実空間距離に応じた円の描画は、表示マップの参照による表示ブロックBDの描画としても良い。
予測領域FAは、前回フローFlwPが静止物等のノイズではなく仮定地上高Yconstの近くの高さで自車MTに相対速度で接近する物体が、フレームレートに応じた数十分の１秒間に、速度及び向きを変えずに移動した場合にに今回フローFlwが到達する領域であり、その領域の広がりは、好ましくは、実空間距離が参照され遠近による表示ギャップの影響を除外した広がりを持つ。このため、接近車MAの特徴部分から発せられるフローFlwは、通常、この予測領域FA内にフロー終点を持つ。
接近車候補判定処理６８は、グループFlwG毎に、前記グループFlwGに属する前記各フローFlwの終点が、前記予測領域FAに予め定められたしきい値以上含まれる際に、当該グループFlwGを接近車MA候補と判定する。すなわち、同一のグループFlwGに属するフロー群の一定割合以上が、予測領域FA内にフロー終点を持つ場合、当該フロー群は同一の物体から発せられ同一の移動をしていると判定できる。このため、接近車候補判定処理６８は、当該グループFlwGは接近車MAの候補であると判定し、当該グループFlwGの検出回数をカウントアップする。
図１６に示す例では、前回フローFlwP(1)による予測フローFlwF(1)のフロー予測終点FApを中心とした予測領域FAは、同様に予測フローFlwF(2)及び予測フローFlwF(3)のフロー予測終点FApを中心とした予測領域FAと統合され、１つの領域となっている。そして、予測フローFlwF(2)に対して、実際のフローFlw(1)は方向も大きさも異なり、そのフロー終点は予測領域FAに入らない。一方、フローFlw(2)及びFlw(3)は方向が若干異なるものの予測領域FA内に入っている。しきい値を65%とすると、66%のフローFlwが予測領域FA内に入ったため、図２３に示すフローFlwは接近車MAの候補として検出され、当該グループFlwGの検出回数に１を加算する。
なお、フローFlw(1)は、フローFlw(2)及び(3)とは異なる物体に起因するフローFlwで、路面GT等の背景によるノイズと考えられる。
なお、フローFlw(1)は、フローFlw(2)及び(3)とは異なる物体に起因するフローFlwで、路面GT等の背景によるノイズと考えられる。
また、例えば、フローFlw(2)が保留フローFlwである正フローFlwNであったとすると、保留フロー減衰制御部７２は、フローFlw(2)の予測領域FAを小さくし、例えば点線で示す予測領域FA(2)とする。すると、フローFlw(2)は予測領域FAに入らなくなり、全体としてしきい値を超えず接近車MAの候補として検出されなくなる。
・減衰制御
保留フローFlwの減衰制御を図１７から図１９を参照して再度説明する。
図１７に示す画像IMに逆フローFlwR(1)があり、フローFlw(2)は逆フローFlwRとセットとなる正フローFlwNである。フローFlw(3)は反復パターンRPの履歴を持つ検出箇所に検出した正フローFlwNである。
フローFlwR(1)及びフローFlwN(2)により、白線箇所に逆フローFlwRを検出でき、この逆フローFlwRの位置にて反復パターンRPが検出されたと判定できる。この逆フローFlwRを親フローFlwとして動的に追加する動的区画DTに、反復パターンRPの検出と記録することで、正フローFlwN(3)のように今回の処理で逆フローFlwRが検出されなくとも、逆フローFlwRとセットの正フローFlwNであると判定することができる。
保留フローFlwの減衰制御を図１７から図１９を参照して再度説明する。
図１７に示す画像IMに逆フローFlwR(1)があり、フローFlw(2)は逆フローFlwRとセットとなる正フローFlwNである。フローFlw(3)は反復パターンRPの履歴を持つ検出箇所に検出した正フローFlwNである。
フローFlwR(1)及びフローFlwN(2)により、白線箇所に逆フローFlwRを検出でき、この逆フローFlwRの位置にて反復パターンRPが検出されたと判定できる。この逆フローFlwRを親フローFlwとして動的に追加する動的区画DTに、反復パターンRPの検出と記録することで、正フローFlwN(3)のように今回の処理で逆フローFlwRが検出されなくとも、逆フローFlwRとセットの正フローFlwNであると判定することができる。
図１７に示す正フローFlwN(2)及び正フローFlwN(3)については、無効判定処理にて有効フローFlwと判定されても、保留フローFlwとするか、または削除すると良い。図１８に示す統合バッファ５６への描画では、正フローFlwN(3)は減衰制御された小さい半径で描画し、逆フローFlwR(1)のある正フローFlwN(2)は削除した。
一方、正フローFlwNであっても、次画面処理用の動的中心区画DTc・動的補完区画DTsは通常通り追加すると良い。
また、反復パターンRPとして記録された履歴を持つグループFlwGに所属する有効フローFlwについては、逆フローFlwRの出現回数に合わせてグループ化のために描画する円の半径を縮小させて、第１に、他のグループFlwGとの連結を回避し、第２に、領域（対象）を絞ることで集中確認できるよう対応すると良い。
一方、正フローFlwNであっても、次画面処理用の動的中心区画DTc・動的補完区画DTsは通常通り追加すると良い。
また、反復パターンRPとして記録された履歴を持つグループFlwGに所属する有効フローFlwについては、逆フローFlwRの出現回数に合わせてグループ化のために描画する円の半径を縮小させて、第１に、他のグループFlwGとの連結を回避し、第２に、領域（対象）を絞ることで集中確認できるよう対応すると良い。
図１９に示す予測バッファ６４に対して、繰り返し履歴を持つグループFlwGに所属する有効フローFlwについては、発生回数に合わせて予測領域FAを小さくさせて、グループFlwG検出の判定精度を厳しくすると。図１９に示す例では、フローFlwN(3)は大きさを小さくした予測領域FA(3)の外にフロー終点が来るので、このフローFlwN(3)は発見されず、グループFlwGの検出回数はカウントアップされない。
・警報提示手段
接近車MAを検出した際、ブザーやバイブレータなどの他機器を利用してドライバーへの情報提示することができる。その他、カーナビモニタなどへ以下のような情報を出力することもできる。
警報提示手段（１）
接近車MAを検出したグループFlwGに対し、該当グループFlwGの予測バッファ６４上の予測領域FAをカメラ１０の入力画像IMと重ね合わせてモニタへ出力する。
接近車MAを検出した際、ブザーやバイブレータなどの他機器を利用してドライバーへの情報提示することができる。その他、カーナビモニタなどへ以下のような情報を出力することもできる。
警報提示手段（１）
接近車MAを検出したグループFlwGに対し、該当グループFlwGの予測バッファ６４上の予測領域FAをカメラ１０の入力画像IMと重ね合わせてモニタへ出力する。
警報提示手段（２）
警報提示手段（１）で操作する該当グループFlwGの予測バッファ６４上の該当グループ領域GAについて、重心位置[U重心,V重心]を求める。求めた重心位置[U重心,V重心]をさらに計測マップにて実空間上[X重心,Yconst,Z重心]に変換する。そして、インパネに、左右および自車MT後方を示す3つのLEDを用意する。
実空間上へ変換された際のX重心の符号・位置を確認し、設定したLEDに対して対応させたランプのスイッチを入れる。
さらに実空間上へ変換された際のZ重心の大きさから、相対距離や接近速度を計算し、大きさにおおじてLEDへの点灯輝度や点滅タイミングを変化させ危険度を通知する。
あるいは左右の方向指示器と連動し、ドライバーが方向指示器を起動する方向と判断接近車MAの存在[X重心,Yconst,Z重心]が合致し注意すべき際にはドライバーへ通常と違う動作音・アラームを提示する等の効果を使用して情報提示する。
警報提示手段（１）で操作する該当グループFlwGの予測バッファ６４上の該当グループ領域GAについて、重心位置[U重心,V重心]を求める。求めた重心位置[U重心,V重心]をさらに計測マップにて実空間上[X重心,Yconst,Z重心]に変換する。そして、インパネに、左右および自車MT後方を示す3つのLEDを用意する。
実空間上へ変換された際のX重心の符号・位置を確認し、設定したLEDに対して対応させたランプのスイッチを入れる。
さらに実空間上へ変換された際のZ重心の大きさから、相対距離や接近速度を計算し、大きさにおおじてLEDへの点灯輝度や点滅タイミングを変化させ危険度を通知する。
あるいは左右の方向指示器と連動し、ドライバーが方向指示器を起動する方向と判断接近車MAの存在[X重心,Yconst,Z重心]が合致し注意すべき際にはドライバーへ通常と違う動作音・アラームを提示する等の効果を使用して情報提示する。
・1.2 逆フローFlwRの減衰制御の効果
上述のように、保留フロー減衰制御部７２が、前記グループFlwG条件及び／又は前記検出条件を減衰させることで、当該保留フローFlwに対して前記有効フローFlwに適用する条件より厳しい条件を適用させるため、グループ判定部４４は、有効フローFlwのグループFlwGから保留フローFlwを孤立させるようにグループ化処理を実行することができ、接近車検出部４６は、保留フローFlwを含むグループFlwGを接近車MA候補と判定する確率を低下させることができる。
このように、逆フローFlwRを抽出してグループ化等の処理対象としつつ、保留フロー減衰制御部７２が各条件を減衰制御するため、接近車MAの検出に必要なフローFlwを無効とせずに残しつつも、反復パターンRPの可能性のあるフローFlwについては通常の有効フローFlwとは異なる条件で厳しく判定することで、ノイズの影響の除去と検出精度の維持とを両立させることができる。すなわち、逆フローFlwRを除去しつつ、接近車MAの検出性能を確保することができる。
上述のように、保留フロー減衰制御部７２が、前記グループFlwG条件及び／又は前記検出条件を減衰させることで、当該保留フローFlwに対して前記有効フローFlwに適用する条件より厳しい条件を適用させるため、グループ判定部４４は、有効フローFlwのグループFlwGから保留フローFlwを孤立させるようにグループ化処理を実行することができ、接近車検出部４６は、保留フローFlwを含むグループFlwGを接近車MA候補と判定する確率を低下させることができる。
このように、逆フローFlwRを抽出してグループ化等の処理対象としつつ、保留フロー減衰制御部７２が各条件を減衰制御するため、接近車MAの検出に必要なフローFlwを無効とせずに残しつつも、反復パターンRPの可能性のあるフローFlwについては通常の有効フローFlwとは異なる条件で厳しく判定することで、ノイズの影響の除去と検出精度の維持とを両立させることができる。すなわち、逆フローFlwRを除去しつつ、接近車MAの検出性能を確保することができる。
＜2 周辺車検出装置＞
＜2.1 逆フローFlwRの履歴記録と予測判定処理＞
次に、本実施形態の実施例２を開示する。
実施例２の周辺車検出装置１０２は、その主要な要素として、実施例１のオプティカルフロー処理装置と同様に、カメラ１０と、区画配置部４２と、フロー抽出部１２と、フロー方向算出部７４と、有効性判定部７０と、接近車検出部４６とを備えている。
実施例２の周辺車検出装置は、さらに、連続性管理部７８と、予測終点算出処理６２と、予測領域描画処理６６と、接近車候補判定処理６８と、予測領域減衰制御処理８０とを備えている。
そして、図２０に示す例では、実施例１と同様に、基礎区画配置部３６と、動的区画配置部３８と、特徴量算出部４０と、統合バッファ５６と、予測バッファ６４とを備えている。
＜2.1 逆フローFlwRの履歴記録と予測判定処理＞
次に、本実施形態の実施例２を開示する。
実施例２の周辺車検出装置１０２は、その主要な要素として、実施例１のオプティカルフロー処理装置と同様に、カメラ１０と、区画配置部４２と、フロー抽出部１２と、フロー方向算出部７４と、有効性判定部７０と、接近車検出部４６とを備えている。
実施例２の周辺車検出装置は、さらに、連続性管理部７８と、予測終点算出処理６２と、予測領域描画処理６６と、接近車候補判定処理６８と、予測領域減衰制御処理８０とを備えている。
そして、図２０に示す例では、実施例１と同様に、基礎区画配置部３６と、動的区画配置部３８と、特徴量算出部４０と、統合バッファ５６と、予測バッファ６４とを備えている。
実施例１と同様に、カメラ１０は、自車MTの周辺を連続して撮像する。区画配置部４２では、基礎区画配置部３６が、画像IMのフローFlw検出対象となる領域に予め定められた大きさの複数の基礎区画BTを配置する。そして、動的区画配置部３８が、検出される前記フローFlwの位置に応じて当該基礎区画BTと同一の大きさの動的区画DTを配置する。
さらに、フロー抽出部１２は、前記連続する前後の前記画像IM間で一致度ADが高い前記区画画像TMを探索することで前記フローFlwを抽出する。そして、フロー方向算出部７４は、実空間での前記フローFlwの向きを算出すると共に前記自車MTの進行方向とは逆向きの逆フローFlwRを抽出する。
有効性判定部７０は、予め定められた無効条件を満たすフローFlwを無効フローFlwに区分し、前記逆フローFlwRを有効無効の判定保留である保留フローFlwに区分し、前記無効でも保留でもないフローFlwを有効フローFlwと区分する。
さらに、グループ判定部４４は、前記有効フローFlw及び前記保留フローFlwに予め定められたグループFlwG条件を適用することで複数のフローFlwのグループ化を判定すると共に、各グループFlwGに前記保留フローFlwが含まれているか否かを判定する。
有効性判定部７０は、予め定められた無効条件を満たすフローFlwを無効フローFlwに区分し、前記逆フローFlwRを有効無効の判定保留である保留フローFlwに区分し、前記無効でも保留でもないフローFlwを有効フローFlwと区分する。
さらに、グループ判定部４４は、前記有効フローFlw及び前記保留フローFlwに予め定められたグループFlwG条件を適用することで複数のフローFlwのグループ化を判定すると共に、各グループFlwGに前記保留フローFlwが含まれているか否かを判定する。
本実施例２では、連続性管理部７８が、前記動的区画DTの配置を介して前記グループFlwGの連続性を管理すると共に、画像IM毎で当該グループFlwG毎の保留フローFlwの出現回数を管理する。例えば、抽出されたフローFlwの速度等の属性を、このフローFlwを基準として配置する動的区画DTに関連させて記憶し、そして、この動的区画DTから検出されるフローFlwに記録した過去のフロー速度等を継承させることで、フローFlwの連続性を管理することができる。グループFlwGはフローFlwの集まりであるため、フローFlwの連続性グループFlwG毎に管理することができる。また、グループFlwGを単位として、グループFlwGが検出された回数や、グループFlwGに保留フローFlwが含まれた回数などを連続的に管理することができる。
接近車検出部４６は、前記画像IM毎の前記複数のグループFlwGに予め定められた検出条件を適用することで接近車MAの候補となるグループFlwGを検出する。この接近車検出部４６は、処理６２、処理６６、処理６８及び処理８０を備える。予測終点算出処理６２は、グループFlwG毎に、当該グループFlwGに属する各フローFlwの始点と当該各フローFlwの直近の速度とを加算することで当該各フローFlwのフロー予測終点FApを算出して、当該フロー終点を求める。
予測領域描画処理６６は、前記フロー予測終点FAp又は前記フロー終点の一方を中心として予測領域FAを描画する。接近車候補判定処理６８は、前記フロー予測終点FAp又は前記フロー終点の他方が前記予測領域FAに予め定められたしきい値以上含まれる際に、当該グループFlwGを接近車MA候補と判定する。
接近車候補判定処理６８は、予測領域FAの中心がフロー予測終点FApである際には、当該予測領域FAに含まれるフロー終点の数を算出する。逆に、予測領域FAの中心がフロー終点である際には、当該予測領域FAに含まれるフロー予測終点FApの数を算出する。
そして、予測領域減衰制御処理８０は、前記保留フロー出現回数に応じて前記予測領域FAの大きさを小さく制御する。この予測領域FAの大きさを小さくする制御は、実施例１の保留フロー減衰制御部７２による制御と同様、逆フローFlwRを含むグループFlwGの検出確率を低下させる制御である。
接近車候補判定処理６８は、予測領域FAの中心がフロー予測終点FApである際には、当該予測領域FAに含まれるフロー終点の数を算出する。逆に、予測領域FAの中心がフロー終点である際には、当該予測領域FAに含まれるフロー予測終点FApの数を算出する。
そして、予測領域減衰制御処理８０は、前記保留フロー出現回数に応じて前記予測領域FAの大きさを小さく制御する。この予測領域FAの大きさを小さくする制御は、実施例１の保留フロー減衰制御部７２による制御と同様、逆フローFlwRを含むグループFlwGの検出確率を低下させる制御である。
・動的区画配置による連続性管理
図２１を参照して、連続的に動的区画を配置する情報処理例を説明する。連続的に撮像される画像IMについて、初回を画像IM[1]として、順に画像IM[2]、画像IM[3]、画像IM[i + 1]と表す。また、フロー抽出部１２がフローFlwを抽出する前後の画像IMについて番号を並べて画像IM[1][2]と表す。画像IM[1][2]は初回の画像IM[1]と次の画像IM[1]との組み合わせである。図２１に示す例では、単に番号のみを[1][2]等と表している。
図２１を参照して、連続的に動的区画を配置する情報処理例を説明する。連続的に撮像される画像IMについて、初回を画像IM[1]として、順に画像IM[2]、画像IM[3]、画像IM[i + 1]と表す。また、フロー抽出部１２がフローFlwを抽出する前後の画像IMについて番号を並べて画像IM[1][2]と表す。画像IM[1][2]は初回の画像IM[1]と次の画像IM[1]との組み合わせである。図２１に示す例では、単に番号のみを[1][2]等と表している。
カメラ１０にて画像IM[1]を撮像する（ステップＳ１１[1]）と、基礎区画配置部３６は、当該画像IM[1]に基礎区画BTを配置する（ステップＳ１２[1]）。続いて、基礎区画BTで切り出した区画画像TMの特徴量FEを算出する（ステップＳ１４[1]）。
次に、画像IM[2]を撮像する（ステップＳ１１[2]）。基礎区画配置部３６は、ステップＳ１２[1]で配置した基礎区画BTと同じ基礎区画BTを当該画像IM[2]に配置する（ステップＳ１２[2]）。続いて、基礎区画BTで切り出した区画画像TMの特徴量FEを算出する（ステップＳ１４[2]）。そして、フロー抽出部１２は、画像IM[1]の区画画像TMの特徴量FEと画像IM[2]の区画画像TMの特徴量FEとを比較することで、フローFlwを抽出する（ステップＳ１５[2]）。
このステップＳ１５[2]のより具体的な画像処理では、画像IM[1]の区画画像TMを１つ特定し、この区画画像TMの特徴量FEと一致度ADの高い画像IM[2]の区画画像TMを順に探索する。発見できればフローFlwの抽出とし、一方、発見できなければ画像IM[1]の次の区画画像TMの処理をする。このようなループ処理によりフローFlwを探索する。なお、前画像IMの全ての区画画像TMを比較対象とするのではなく、特徴量FEがしきい値との関係でフローFlwの始点となる可能性が高い区画画像TMのみを比較対象としても良い。
また、フロー抽出部１２は、様々な画像処理によりフローFlwの有効性を判定し、無効なフローFlwを検出しないようにしても良い。ステップＳ１５[2]にてフローFlwが抽出されないこともあるが、図２１に示す例では、１つ以上のフローFlwが抽出されたとする。
また、フロー抽出部１２は、様々な画像処理によりフローFlwの有効性を判定し、無効なフローFlwを検出しないようにしても良い。ステップＳ１５[2]にてフローFlwが抽出されないこともあるが、図２１に示す例では、１つ以上のフローFlwが抽出されたとする。
画像IM[3]の撮像により（ステップＳ１１[3]）、基礎区画BTの配置（ステップＳ１２[3]）に続いて動的区画DTを配置することができる（ステップＳ１３[3]）。すなわち、動的区画DTは、前画像IMにてフローFlwが抽出されて始めて配置することが可能となる。このステップＳ１３[3]の動的区画DTの配置又は設定は、好ましい例では、画像IM[3]を対象とする画像処理の一部としてではなく、画像IM[2]を対象とする画像処理の一部とし、ステップＳ１５[2]にてフローFlwを抽出した際に次回画像IM[3]用に予め動的区画DTを設定する。
動的区画DTは、抽出された１つのフローFlwに対して１つの動的区画DTとしても良いし、複数としても良いし、一定数以下の複数としても良い。連続性管理部７８は、この動的区画DTの配置に際して、ステップＳ１５[1]で抽出した親フローFlwの情報をステップＳ１３[3]で配置する動的区画DTと関連させて記憶しておく。
動的区画DTは、抽出された１つのフローFlwに対して１つの動的区画DTとしても良いし、複数としても良いし、一定数以下の複数としても良い。連続性管理部７８は、この動的区画DTの配置に際して、ステップＳ１５[1]で抽出した親フローFlwの情報をステップＳ１３[3]で配置する動的区画DTと関連させて記憶しておく。
特徴量算出部４０は、動的区画DTの区画画像TMの特徴量FEと、基礎区画BTの区画画像TMの特徴量FEとを同一のロジックで算出する。そして、画像IM[3]の段階では、フロー抽出部１２は、画像IM[2]の基礎区画BTから画像IM[3]の動的区画DT又は基礎区画BTへのフローFlwを抽出する。連続性管理部７８は、ステップＳ１５[3]にて動的区画DTからフローFlwが抽出された場合、そのフローFlwに親フローFlwの情報を記録する。
この状態で、連続的にフローFlwが二度抽出される可能性があるため、接近車MAの判定処理例によっては、接近車MAの判定処理をすることができる（ステップＳ１６[3]）。その判定処理例によっては、画像IM[4]の処理から接近車MA判定をするようにしても良い。図２１に示す接近車MA判定工程Ｓ１６では、上述したグループ化、予測判定処理、保留フロー減衰処理をしても良い。
この状態で、連続的にフローFlwが二度抽出される可能性があるため、接近車MAの判定処理例によっては、接近車MAの判定処理をすることができる（ステップＳ１６[3]）。その判定処理例によっては、画像IM[4]の処理から接近車MA判定をするようにしても良い。図２１に示す接近車MA判定工程Ｓ１６では、上述したグループ化、予測判定処理、保留フロー減衰処理をしても良い。
画像IM[4]の撮像後は（ステップＳ１１[4]）、本実施例がより効果的に作用する状態である。すなわち、動的区画DTの区画画像TMをフロー始点とするフローFlwの抽出が可能となる（ステップＳ１５[4]）。ステップＳ１３[4]にて複数の動的区画DTを配置すると、元のフローFlwが接近車MAに由来するフローFlwであれば、ステップＳ１５[4]にて配置した動的区画DTとほぼ同数のフローFlwの抽出が期待できる。このため、フローFlwの単体で接近車MAの判定をする他、動的区画DTの配置を通じて、フローFlwの集合的な振るまいに基づいてより正確に接近車MAの判定をすることができる。また、動的区画DTの配置により、反復パターンRPの特徴である逆フローFlwRを複数出現させることができる。
ステップＳ１５[4]にて正逆フローFlwRが出現したとすると、連続性管理部７８は、グループFlwGを単位として保留フローFlwの出現回数を管理する。ステップＳ１６[4]で出現回数１回、次の画像IM[5]でも出現すると（ステップＳ１５[5]）、ステップＳ１６[4]で出現回数２回となる。
ステップＳ１５[4]にて正逆フローFlwRが出現したとすると、連続性管理部７８は、グループFlwGを単位として保留フローFlwの出現回数を管理する。ステップＳ１６[4]で出現回数１回、次の画像IM[5]でも出現すると（ステップＳ１５[5]）、ステップＳ１６[4]で出現回数２回となる。
図２１に示すように、ステップＳ１５[2]にてフローFlw[1][2]が抽出されると、このフローFlw[1][2]のフロー関連位置として例えばフロー終点及びその周囲に複数の動的区画DTが配置され（ステップＳ１３[3]）、フローFlw[1][2]の終点近くを始点とするフローFlw[2][3]が抽出される（ステップＳ１５[3]）。さらに、ステップＳ１５[4]ではフローFlw[2][3]の終点近くを始点とするフローFlw[3][4]が抽出され、ステップＳ１５[5]ではフローFlw[3][4]の終点近くを始点とするフローFlw[4][5]が抽出される。
このように、抽出されたフロー位置に順次動的区画DTを配置することで、前回画像IMで抽出されたフローFlwのさらに移動先までのフローFlwを連続的に抽出することができる。また、反復パターンRPがある際に当該部分が反復パターンRPであるか否かを判定するのに必要な量の逆フローFlwRと正フローFlwNとを抽出することができる。
そして、連続性管理部７８が時間的に連続する保留フローFlwの出現回数を管理するため、グループ化や予測判定に際して、保留フローFlwの出現回数に応じた減衰制御をすることができる。
このように、抽出されたフロー位置に順次動的区画DTを配置することで、前回画像IMで抽出されたフローFlwのさらに移動先までのフローFlwを連続的に抽出することができる。また、反復パターンRPがある際に当該部分が反復パターンRPであるか否かを判定するのに必要な量の逆フローFlwRと正フローFlwNとを抽出することができる。
そして、連続性管理部７８が時間的に連続する保留フローFlwの出現回数を管理するため、グループ化や予測判定に際して、保留フローFlwの出現回数に応じた減衰制御をすることができる。
次に、図２２から図２４のフローチャートを参照して本実施例２による情報処理例を詳細に説明する。
・検出するフローFlwの速度範囲
フローFlwの速度は、ワールド座標系XYZでX方向とZ方向となる。X方向は画像IMではほぼ左右方向であり、Z方向は画像IMでは自車MTに近づく方向で、ほぼ上下方向である。
自車MTも走行しているため、接近車MAの速度は相対速度である。本実施例では、周辺車両のうち、自車MTに接近する接近車MAの検出を課題とするため、Z方向の速度は一定速度以上の値である。すなわち、検出する車両の相対速度の範囲（しきい値）を次の通りに設定する。
・検出するフローFlwの速度範囲
フローFlwの速度は、ワールド座標系XYZでX方向とZ方向となる。X方向は画像IMではほぼ左右方向であり、Z方向は画像IMでは自車MTに近づく方向で、ほぼ上下方向である。
自車MTも走行しているため、接近車MAの速度は相対速度である。本実施例では、周辺車両のうち、自車MTに接近する接近車MAの検出を課題とするため、Z方向の速度は一定速度以上の値である。すなわち、検出する車両の相対速度の範囲（しきい値）を次の通りに設定する。
−Xmax ≦ X速度 ≦＋Xmax [km/h]
＋Zlow ≦ Z速度 ≦＋Zmax [km/h]
ここで、
Xmax: ワールド座標系XYZでのX方向の上限速度
Zlow: ワールド座標系XYZでのZ方向の下限速度
Zmax: ワールド座標系XYZでのZ方向の上限速度
＋Zlow ≦ Z速度 ≦＋Zmax [km/h]
ここで、
Xmax: ワールド座標系XYZでのX方向の上限速度
Zlow: ワールド座標系XYZでのZ方向の下限速度
Zmax: ワールド座標系XYZでのZ方向の上限速度
・手順０ 事前設定から画像IM[1]の撮像まで
手順0-１
この例では、UVtoXZマップ（計測マップ）を使用するため、相対速度の単位を計測マップの解像度にあわせて[km/h]から[マップbit/フレームに]変換すると良い。つまり単位時間の１フレーム(1/30 [sec])で何マップbit移動するかという単位とする。
Z方向相対速度SpZ = 50 [km/h] → 13,889 [ｍm/sec] → 463 [mm/フレーム]
Zmax ＝ 15 [m] でZ計測マップ8bitなら、463 [mm/フレーム] = 463/（15000/256）＝7.9 ≒ 8 [マップbit/フレーム]
手順0-１
この例では、UVtoXZマップ（計測マップ）を使用するため、相対速度の単位を計測マップの解像度にあわせて[km/h]から[マップbit/フレームに]変換すると良い。つまり単位時間の１フレーム(1/30 [sec])で何マップbit移動するかという単位とする。
Z方向相対速度SpZ = 50 [km/h] → 13,889 [ｍm/sec] → 463 [mm/フレーム]
Zmax ＝ 15 [m] でZ計測マップ8bitなら、463 [mm/フレーム] = 463/（15000/256）＝7.9 ≒ 8 [マップbit/フレーム]
検出対象とする接近車MAの接近速度の上限Xmaxを±22 [km/h]、Z方向の下限速度Zlowを10 [km/h]、Z方向の上限速度Zmaxを60 [km/h]として、X計測マップ8bit ＋Xmax ＝ ± 5.1 [m] でのマップbit値に次式で変換できる。
Xmax = 22 [km/h] → 203 [mm/フレーム] → 203/(5100×2/256) = 5.10 ≒ 6 [マップbit/フレーム]
Z計測マップ8bit ＋Zmax = 15 [m] でのマップbit値は次式で変換できる。
Zlow = 10 [km/h] → 92.6 [mm/フレーム] → 92.6/(15000/256) = 1.58 ≒ 2 [マップbit/フレーム]
Zmax = 60 [km/h] → 555.6 [mm/フレーム] → 555.6/(15000/256) = 9.48 ≒ １0 [マップbit/フレーム]
Xmax = 22 [km/h] → 203 [mm/フレーム] → 203/(5100×2/256) = 5.10 ≒ 6 [マップbit/フレーム]
Z計測マップ8bit ＋Zmax = 15 [m] でのマップbit値は次式で変換できる。
Zlow = 10 [km/h] → 92.6 [mm/フレーム] → 92.6/(15000/256) = 1.58 ≒ 2 [マップbit/フレーム]
Zmax = 60 [km/h] → 555.6 [mm/フレーム] → 555.6/(15000/256) = 9.48 ≒ １0 [マップbit/フレーム]
上記事例の場合、フローFlwの始点・終点を計測マップ上に変換し、その変化量がX方向で ±6 [マップbit/フレーム] 以上、Z方向で＋2 [マップbit/フレーム] 以上、10 [マップbit/フレーム] 以下を越えるフローFlwは無効なフローFlwとして除外する。
手順0-2
計測マップの分解能が低い場合、後述の手順1-3による速度判定で使用するフロー速度SpX, SpZの精度が確保できない。よって無限遠点の位置[Upi, Vpi]を求めて記録しておく。記録した[Upi, Vpi]は後述の手順１-2によるフロー評価に使用する。
計測マップの分解能が低い場合、後述の手順1-3による速度判定で使用するフロー速度SpX, SpZの精度が確保できない。よって無限遠点の位置[Upi, Vpi]を求めて記録しておく。記録した[Upi, Vpi]は後述の手順１-2によるフロー評価に使用する。
・無限遠点画像座標系UV[Upi, Vpi]の求め方
無限遠点ワールド系[Xpi, Ypi, Zpi] = [0, H, L]とする。
pi（添え字）: 無限遠点であることを示す。
H: カメラ高さOrgYw（表示マップ作成時に設定）
L: 仮想無限遠距離（例：Z計測マップ255bit相当の実長 [mm] の2倍等）
上述した座標変換式（７）等により [Xpi,Ypi,Zpi] ⇒[Upi, Vpi]に投影変換する（EOF相当）。LはZmaxより遠方に設定するのでZ計測マップによる参照は適用できない。このため、事前にオフラインにて計算しておくと良い。
無限遠点ワールド系[Xpi, Ypi, Zpi] = [0, H, L]とする。
pi（添え字）: 無限遠点であることを示す。
H: カメラ高さOrgYw（表示マップ作成時に設定）
L: 仮想無限遠距離（例：Z計測マップ255bit相当の実長 [mm] の2倍等）
上述した座標変換式（７）等により [Xpi,Ypi,Zpi] ⇒[Upi, Vpi]に投影変換する（EOF相当）。LはZmaxより遠方に設定するのでZ計測マップによる参照は適用できない。このため、事前にオフラインにて計算しておくと良い。
手順0-3
まず、最初の画像IM[1]を撮影し、記録する。
システムのリソースにあわせ、画像IM[1]に対して基準となる基礎区画BTを配置する。基礎区画BTの登録位置及び登録数は、システム起動から終了まで不変とする。基礎区画BTの大きさは画像IMの位置に応じて変化させても良いが、ここでは全て同一の大きさとすることで、特徴量FEや一致度ADの計算コストを低減する。
そして、画像IM[1]の全ての基礎区画BTの区画画像TMの特徴量FEを算出する。
まず、最初の画像IM[1]を撮影し、記録する。
システムのリソースにあわせ、画像IM[1]に対して基準となる基礎区画BTを配置する。基礎区画BTの登録位置及び登録数は、システム起動から終了まで不変とする。基礎区画BTの大きさは画像IMの位置に応じて変化させても良いが、ここでは全て同一の大きさとすることで、特徴量FEや一致度ADの計算コストを低減する。
そして、画像IM[1]の全ての基礎区画BTの区画画像TMの特徴量FEを算出する。
手順0-4 テーブル準備
詳細手順の工程で使用する次の３つのテーブルを準備する。データ自体は、手順の進行に従って記録し、上書きし、また削除する。
フローテーブル（フィードフォワードデータテーブル）
区画テーブル（次回動的テンプレート追加テーブル）
グループFlwGテーブル（グループFlwG検出回数テーブル）
区画テーブルのデータ項目は、データの連番、フローFlwのグループFlwGを識別するグループFlwG番号、フロー始点、フロー終点、区画画像TMの特徴量FEの一致度AD、区画画像TMの特徴量FE、実空間距離又は表示ブロック半径BDr、過去の速度である。
フローテーブルのデータ項目は、データの連番、グループFlwG番号、上書きの有無、フロー終点、当該フローFlwの速度である。
グループFlwGテーブルのデータ項目は、グループFlwG番号、グループFlwG検出回数、保留フロー出現回数である。
詳細手順の工程で使用する次の３つのテーブルを準備する。データ自体は、手順の進行に従って記録し、上書きし、また削除する。
フローテーブル（フィードフォワードデータテーブル）
区画テーブル（次回動的テンプレート追加テーブル）
グループFlwGテーブル（グループFlwG検出回数テーブル）
区画テーブルのデータ項目は、データの連番、フローFlwのグループFlwGを識別するグループFlwG番号、フロー始点、フロー終点、区画画像TMの特徴量FEの一致度AD、区画画像TMの特徴量FE、実空間距離又は表示ブロック半径BDr、過去の速度である。
フローテーブルのデータ項目は、データの連番、グループFlwG番号、上書きの有無、フロー終点、当該フローFlwの速度である。
グループFlwGテーブルのデータ項目は、グループFlwG番号、グループFlwG検出回数、保留フロー出現回数である。
手順0-5 バッファ準備
詳細手順の工程で使用する次の２つのバッファを準備する。
統合バッファ５６（図１３，図１４）
予測バッファ６４（図１５，図１６）
詳細手順の工程で使用する次の２つのバッファを準備する。
統合バッファ５６（図１３，図１４）
予測バッファ６４（図１５，図１６）
・手順１ フロー処理の初回から動的中心区画DTcの配置まで
図２２を参照して手順１を説明する。
手順1-1 マッチング処理によるフロー検出
カメラ１０からの画像IM[2]を撮影し、画像IM[2]の全ての基礎区画BTの特徴量FEを算出し、画像IM[1]と画像IM[2]間との間でマッチング処理をする（ステップＳ３１）。マッチング処理では、画像IM[1]の基礎区画BTの特徴量FEと、画像IM[2]の全ての基礎区画BTの特徴量FEとを比較して、一致度ADが予め定められたしきい値以上の基礎区画BTを探索する。発見した場合、画像IM[1]の基礎区画BTと、画像IM[2]の最も一致度ADが高い基礎区画BTとの間にてフローFlwの検出となる（ステップＳ３２）。
基礎区画BTの特徴量FEが特徴量FEしきい値以下の場合、または、一致度ADしきい値以上の基礎区画BTを発見しない場合には、フローFlwは検出されず、ステップＳ４１を経由して再度この手順1-1にて次の基礎区画BTを評価する。
このように、区画画像TM間でマッチング処理をして一致度AD判定や特徴量FE判定で、設定したしきい値を満たすことができない場合、フローFlwは検出されない。
図２２を参照して手順１を説明する。
手順1-1 マッチング処理によるフロー検出
カメラ１０からの画像IM[2]を撮影し、画像IM[2]の全ての基礎区画BTの特徴量FEを算出し、画像IM[1]と画像IM[2]間との間でマッチング処理をする（ステップＳ３１）。マッチング処理では、画像IM[1]の基礎区画BTの特徴量FEと、画像IM[2]の全ての基礎区画BTの特徴量FEとを比較して、一致度ADが予め定められたしきい値以上の基礎区画BTを探索する。発見した場合、画像IM[1]の基礎区画BTと、画像IM[2]の最も一致度ADが高い基礎区画BTとの間にてフローFlwの検出となる（ステップＳ３２）。
基礎区画BTの特徴量FEが特徴量FEしきい値以下の場合、または、一致度ADしきい値以上の基礎区画BTを発見しない場合には、フローFlwは検出されず、ステップＳ４１を経由して再度この手順1-1にて次の基礎区画BTを評価する。
このように、区画画像TM間でマッチング処理をして一致度AD判定や特徴量FE判定で、設定したしきい値を満たすことができない場合、フローFlwは検出されない。
手順1-2 始点終点データによる無効判定
基礎区画BTでフローFlwが検出されると、画像IM[1]と画像IM[2]の基礎区画BTの位置から、このフローFlwのフロー始点終点の画像座標値[U, V]を求め、フロー始点[U0, V0]、フロー終点[U1,V1]とする。さらに、フロー始点終点[U0,V0]・[U1,V1]に対して、計測マップよりワールド座標系XYZでのフロー始点終点[X0, Z0]・[X1, Z1]を求める。
この画像座標系UV又はワールド座標系XYZのフロー始点終点を用いてフローFlwの有効性を判定する（ステップＳ３３）。この有効性判定では、無効判定処理により無効とするフローFlwを抽出して棄却し、正逆フローFlwRは保留フローFlwに判定する。フローFlwが無効の際には、手順1-1(ステップＳ３１)へ戻り次のフローFlwの評価に移る。
このステップＳ３３での有効性判定にて、フローFlwの無効判定のみならず、しきい値等を使用して無効には至らない保留フローFlwとの判定をするようにしても良い。
基礎区画BTでフローFlwが検出されると、画像IM[1]と画像IM[2]の基礎区画BTの位置から、このフローFlwのフロー始点終点の画像座標値[U, V]を求め、フロー始点[U0, V0]、フロー終点[U1,V1]とする。さらに、フロー始点終点[U0,V0]・[U1,V1]に対して、計測マップよりワールド座標系XYZでのフロー始点終点[X0, Z0]・[X1, Z1]を求める。
この画像座標系UV又はワールド座標系XYZのフロー始点終点を用いてフローFlwの有効性を判定する（ステップＳ３３）。この有効性判定では、無効判定処理により無効とするフローFlwを抽出して棄却し、正逆フローFlwRは保留フローFlwに判定する。フローFlwが無効の際には、手順1-1(ステップＳ３１)へ戻り次のフローFlwの評価に移る。
このステップＳ３３での有効性判定にて、フローFlwの無効判定のみならず、しきい値等を使用して無効には至らない保留フローFlwとの判定をするようにしても良い。
無効判定（１） EOF-フロー始点ベクトルVec1= [U0−Upi, V0−Vpi]と、フローFlw = [U1−U0, V1−V0]について次式(8)で２ベクトルの内角確認を行う。
この式(8)が成り立つ際には、内角が90°以上 = 直角 or 鈍角変化である。
この場合移動方向に不備があったとして、当該フローFlwを無効と判断し、次のフローFlwの評価に移る。
このように、内積を示す式(9)より分母（長さ）は必ず正なので、鋭角を示すのはcosθがプラスのみである。そして、理想的なフローFlwであれば、FlwはVec1の延長＝内角はより0に近くなる。このため、この内角確認により無効なフローFlwを発見することができる。
この無効判定（１）は、計測マップの分解能が低い場合に特に有効であり、無限遠点近くではどのような精密さで計測マップを生成しても必ず分解能が低くなるため、無限遠点近くを対象とするフローFlwの無効判定処理として有効である。
この場合移動方向に不備があったとして、当該フローFlwを無効と判断し、次のフローFlwの評価に移る。
このように、内積を示す式(9)より分母（長さ）は必ず正なので、鋭角を示すのはcosθがプラスのみである。そして、理想的なフローFlwであれば、FlwはVec1の延長＝内角はより0に近くなる。このため、この内角確認により無効なフローFlwを発見することができる。
この無効判定（１）は、計測マップの分解能が低い場合に特に有効であり、無限遠点近くではどのような精密さで計測マップを生成しても必ず分解能が低くなるため、無限遠点近くを対象とするフローFlwの無効判定処理として有効である。
無効判定（２） 次のベクトルVec2, Vec3を求める。
EOF-フロー始点ベクトルVec2= [U0−Upi, V0−Vpi]
EOF-フロー終点ベクトルVec3= [U1−Upi, V1−Vpi]
そして、「ベクトルVec2の絶対値 ≧ ベクトルVec3の絶対値」であれば、接近移動が無かったものとして当該フローFlwを無効と判断し、手順1-2へ戻り次のフローFlw[id+1]の評価に移る。
この無効判定（２）も、計測マップの分解能が低い場合により効果的である。
EOF-フロー始点ベクトルVec2= [U0−Upi, V0−Vpi]
EOF-フロー終点ベクトルVec3= [U1−Upi, V1−Vpi]
そして、「ベクトルVec2の絶対値 ≧ ベクトルVec3の絶対値」であれば、接近移動が無かったものとして当該フローFlwを無効と判断し、手順1-2へ戻り次のフローFlw[id+1]の評価に移る。
この無効判定（２）も、計測マップの分解能が低い場合により効果的である。
手順1-3 相対速度
比較する画像IM間の撮影時間差Δt（NTSCのカメラ１０なら1フレーム間隔1/30 [秒]）より、対象が始点[X0, Z0]から終点[X1, Z1]まで移動した際の相対速度[spX, spZ] [マップbit/フレーム] を求める。
・フローFlwが連続撮影であればマップbit/フレームはワールド座標系XYZでのフロー始点終点[[X1, Z1] − [X0, Z0]の差分値で求めることができる。
・無効判定（３）として、相対速度[spX, spZ]が相対速度のしきい値を満たすか否かを判定する。速度のしきい値は上述した次の速度範囲である。速度範囲を満たさないフローFlwは無効なフローFlwとして除外し、手順1-2に戻り次のフローFlw[id+1]の確認を引き続き実行する。
−Xmax ≦ X速度spX ≦ ＋Xmax [km/h]
＋Zlow ≦ Z速度spZ ≦ ＋Zmax [km/h]
なお、Z計測マップの距離をZmax：256, Zmin：０とした場合は、Z0 > Z1の関係から接近方向の速度の符号が−になるので符合に関して補正作業が必要である。実施例では、Spz符号補正は完了したものとする。
比較する画像IM間の撮影時間差Δt（NTSCのカメラ１０なら1フレーム間隔1/30 [秒]）より、対象が始点[X0, Z0]から終点[X1, Z1]まで移動した際の相対速度[spX, spZ] [マップbit/フレーム] を求める。
・フローFlwが連続撮影であればマップbit/フレームはワールド座標系XYZでのフロー始点終点[[X1, Z1] − [X0, Z0]の差分値で求めることができる。
・無効判定（３）として、相対速度[spX, spZ]が相対速度のしきい値を満たすか否かを判定する。速度のしきい値は上述した次の速度範囲である。速度範囲を満たさないフローFlwは無効なフローFlwとして除外し、手順1-2に戻り次のフローFlw[id+1]の確認を引き続き実行する。
−Xmax ≦ X速度spX ≦ ＋Xmax [km/h]
＋Zlow ≦ Z速度spZ ≦ ＋Zmax [km/h]
なお、Z計測マップの距離をZmax：256, Zmin：０とした場合は、Z0 > Z1の関係から接近方向の速度の符号が−になるので符合に関して補正作業が必要である。実施例では、Spz符号補正は完了したものとする。
手順1-4 グループ領域GAの大きさ
次に、フロー始点[X0, Z0]でのグループ領域GAの大きさを算出する（ステップＳ３４）。グループ領域GAの大きさとして表示ブロック半径BDrを表示マップより取得しても良いし、フロー始点[X0, Z0]に予め定められた実空間距離を加算することでグループ領域GAの半径等を求めても良い。
カメラ１０の仕様（取付位置・姿勢・焦点距離・歪曲変数他）に応じたゲイン（カメラ１０に対する不変の固有値）によりグループ領域GAの大きさを調整しても良い。例えば、グループ領域GAの半径が実空間サイズで50 [cm] の場合、ゲインを0.25とすると半径12.5 [cm] となる。
ゲイン調整後の表示ブロック半径BDrが「小さすぎる」あるいは「０」の場合は、遠方あるいは半径計算不可位置と判断し、当該フローFlwを無効判定（４）として、手順1-2に戻り次のフローFlw[id+1]を対象とする。
次に、フロー始点[X0, Z0]でのグループ領域GAの大きさを算出する（ステップＳ３４）。グループ領域GAの大きさとして表示ブロック半径BDrを表示マップより取得しても良いし、フロー始点[X0, Z0]に予め定められた実空間距離を加算することでグループ領域GAの半径等を求めても良い。
カメラ１０の仕様（取付位置・姿勢・焦点距離・歪曲変数他）に応じたゲイン（カメラ１０に対する不変の固有値）によりグループ領域GAの大きさを調整しても良い。例えば、グループ領域GAの半径が実空間サイズで50 [cm] の場合、ゲインを0.25とすると半径12.5 [cm] となる。
ゲイン調整後の表示ブロック半径BDrが「小さすぎる」あるいは「０」の場合は、遠方あるいは半径計算不可位置と判断し、当該フローFlwを無効判定（４）として、手順1-2に戻り次のフローFlw[id+1]を対象とする。
続いて、保留フロー減衰制御部７２は、逆フローFlwRの出現回数に応じてグループ領域GAの大きさを減衰制御する（ステップＳ３５）。ステップＳ３２にて、逆フローFlwRが出現した際には、当該保留フローFlwについてはグループ領域GAの半径にゲインを掛けることで保留フローFlwのグループ領域GAを小さく制御する。
手順1-6 統合バッファ５６
画像IMと同じサイズの統合バッファ５６を用意する。そして、画像IM上のフロー始点[U0, V0]を中心にグループ領域GAを描画する（ステップＳ３５）。グループ領域GAは、グループFlwG番号で識別される。グループ領域GAは、円形の領域ではなく、正方形その他の多角形の領域としても良い。グループ領域GAは、図１４に示す例では、表示ブロックBDが重なり合って生じる円又は連結された円である。
画像[1][2]の最初のフローFlwを処理対象とする時点ではグループ領域GAは重ならないため（ステップＳ３６）、このフローFlwのグループFlwGには新しいグループFlwG番号を付与する（ステップＳ３７）。２つめ以降のフローFlwに対する処理で、グループ領域GAが重なる場合には、新たなグループFlwG番号ではなく、重なり合った既存のグループFlwGに帰属させる（ステップＳ３８）。画像[1][2]の３つめ以降のフローFlwに対する処理で、２つ以上のグループ領域GAと重なる際には、図２３に示すグループFlwGの選定処理（ステップＳ５８，Ｓ５９，Ｓ６０）により１つのグループFlwGに帰属させる。
画像IMと同じサイズの統合バッファ５６を用意する。そして、画像IM上のフロー始点[U0, V0]を中心にグループ領域GAを描画する（ステップＳ３５）。グループ領域GAは、グループFlwG番号で識別される。グループ領域GAは、円形の領域ではなく、正方形その他の多角形の領域としても良い。グループ領域GAは、図１４に示す例では、表示ブロックBDが重なり合って生じる円又は連結された円である。
画像[1][2]の最初のフローFlwを処理対象とする時点ではグループ領域GAは重ならないため（ステップＳ３６）、このフローFlwのグループFlwGには新しいグループFlwG番号を付与する（ステップＳ３７）。２つめ以降のフローFlwに対する処理で、グループ領域GAが重なる場合には、新たなグループFlwG番号ではなく、重なり合った既存のグループFlwGに帰属させる（ステップＳ３８）。画像[1][2]の３つめ以降のフローFlwに対する処理で、２つ以上のグループ領域GAと重なる際には、図２３に示すグループFlwGの選定処理（ステップＳ５８，Ｓ５９，Ｓ６０）により１つのグループFlwGに帰属させる。
手順1-5 グループFlwG番号
相対速度[spX, spZ]がしきい値を満たすフローFlwについて、検出した順番に1番から自然数でグループFlwG番号を割り付ける。このグループFlwG番号は、次回の画像IM[3]と画像IM[2]による判別作業にて使用する。グループFlwG番号は、グループFlwGの属性を管理するための番号であり、手順の進行によって、仮の番号を与え、連番とするための更新をし、確定し、確定されていた番号を仮の番号としていく。仮の状態を仮グループFlwG番号として整理しても良いが、ここでは、グループFlwGに付する番号をすべてグループFlwG番号という。
相対速度[spX, spZ]がしきい値を満たすフローFlwについて、検出した順番に1番から自然数でグループFlwG番号を割り付ける。このグループFlwG番号は、次回の画像IM[3]と画像IM[2]による判別作業にて使用する。グループFlwG番号は、グループFlwGの属性を管理するための番号であり、手順の進行によって、仮の番号を与え、連番とするための更新をし、確定し、確定されていた番号を仮の番号としていく。仮の状態を仮グループFlwG番号として整理しても良いが、ここでは、グループFlwGに付する番号をすべてグループFlwG番号という。
手順1-7 動的中心区画DTcの追加と区画テーブル
フロー終点位置[U1,V1]に動的中心区画DTcを追加する（ステップＳ３９）。動的中心区画DTcは、次回の画像IM[2][3]のフロー処理で使用される。動的中心区画DTcを配置したフロー終点[U1, V1]は、次回の画像IM[2][3]の処理で検出されるフローFlwの始点となる。
図２１に示す例では、処理対象の画像IMの処理中に動的区画DTを配置するが、図２２から図２４に示す例では、フローFlwが抽出された段階で、次回の画像IMの画像処理用に動的区画DTを準備しておく。
動的中心区画DTcを配置すると、そのグループFlwG番号と、フロー終点位置[U1, V1]と、相対速度[spX, spZ]とを区画テーブルに記録する。フローFlwの情報を動的中心区画DTcとの関係で記録しておくことで、この動的中心区画DTc又は関連する動的補完区画DTsから抽出される次のフローFlwに当該フローFlwの情報を引き継ぐことができる。
動的中心区画DTcの位置[U1,V1]が、基礎区画BTの登録位置や他の登録済み動的区画DT（動的補完区画DTsを含む）と重複する場合は、登録位置[U1,V1]をシフトさせ、[U1, V1] → [U1 ± a, V1 ± b] （a,bはシフト探索量）のように登録重複しない位置へ補正すると良い。a, bの値が一定値（例えば、表示ブロック半径BDr）を超過する場合は、登録を中止し、手順1-2へ戻り次のフローFlwについて処理を行う。
フロー終点位置[U1,V1]に動的中心区画DTcを追加する（ステップＳ３９）。動的中心区画DTcは、次回の画像IM[2][3]のフロー処理で使用される。動的中心区画DTcを配置したフロー終点[U1, V1]は、次回の画像IM[2][3]の処理で検出されるフローFlwの始点となる。
図２１に示す例では、処理対象の画像IMの処理中に動的区画DTを配置するが、図２２から図２４に示す例では、フローFlwが抽出された段階で、次回の画像IMの画像処理用に動的区画DTを準備しておく。
動的中心区画DTcを配置すると、そのグループFlwG番号と、フロー終点位置[U1, V1]と、相対速度[spX, spZ]とを区画テーブルに記録する。フローFlwの情報を動的中心区画DTcとの関係で記録しておくことで、この動的中心区画DTc又は関連する動的補完区画DTsから抽出される次のフローFlwに当該フローFlwの情報を引き継ぐことができる。
動的中心区画DTcの位置[U1,V1]が、基礎区画BTの登録位置や他の登録済み動的区画DT（動的補完区画DTsを含む）と重複する場合は、登録位置[U1,V1]をシフトさせ、[U1, V1] → [U1 ± a, V1 ± b] （a,bはシフト探索量）のように登録重複しない位置へ補正すると良い。a, bの値が一定値（例えば、表示ブロック半径BDr）を超過する場合は、登録を中止し、手順1-2へ戻り次のフローFlwについて処理を行う。
手順1-8 動的補完区画DTsの追加
さらにフロー終点位置[U1,V1]の周囲に動的補完区画DTsを追加する（ステップＳ４０）。動的補完区画DTsは、動的区画DTの一種である。
動的補完区画DTsは、次の手法１又は２により登録すると良い。
手法１ フロー検出位置[U,V]に対し簡易的に線分[U ± BDr[u, v], V]は仮定地上高Yconst平面と仮想ブロックIBの交線であるとして扱い、この線分の[U ± BDr[u,v], V]を任意にM等分した分割点座標を求める。
[U, V] = [(U - 2 × BDr) + 2 × BDr／M, V]
そして、[U, V]へ計M個の動的補完区画DTsを登録する。表示ブロック半径BDr[u, v]は表示マップの参照値である。
さらにフロー終点位置[U1,V1]の周囲に動的補完区画DTsを追加する（ステップＳ４０）。動的補完区画DTsは、動的区画DTの一種である。
動的補完区画DTsは、次の手法１又は２により登録すると良い。
手法１ フロー検出位置[U,V]に対し簡易的に線分[U ± BDr[u, v], V]は仮定地上高Yconst平面と仮想ブロックIBの交線であるとして扱い、この線分の[U ± BDr[u,v], V]を任意にM等分した分割点座標を求める。
[U, V] = [(U - 2 × BDr) + 2 × BDr／M, V]
そして、[U, V]へ計M個の動的補完区画DTsを登録する。表示ブロック半径BDr[u, v]は表示マップの参照値である。
手法２ [U, V]への動的補完区画DTsのみでは不足する場合は、フローFlwの延長線上を仮想円盤中心が移動するとして扱い、対象となるフロー延長線と設定した仮想ブロックIBで区切られた線分を任意のN等分した分割点位置に動的補完区画DTsの登録位置をN点登録しても良い。
ここでは、仮想円盤中点・分割点は仮定地上高Yconst平面上に分布しているものとして取り扱う。
ここでは、仮想円盤中点・分割点は仮定地上高Yconst平面上に分布しているものとして取り扱う。
手法１及び２のいずれの場合もシステムの数値計算能力が十分に備わっていれば、フロー検出位置[ [U,V]を一旦仮定地上高Yconst平面上に投影し、表示マップ作成時に設定した仮想ブロックIBの実空間半径BDrを利用して動的補完区画DTs登録候補点を３次元実空間上に求め、それらを再度座標変換式(7)により、それぞれ画像座標[U,V]に投影変換して動的補完区画DTsを登録すると良い。
動的補完区画DTsの登録位置と、基礎区画BT、動的中心区画DTc、又は他の動的補完区画DTsとが重複する場合は、シフト操作し、重複が生じない位置へと調整する。
[U, V] = [U ± a, V ± b] （a, bはシフト探索量）と補正する。
a, bが一定値（例えば、表示ブロック半径BDr）を超過する場合は、登録を中止する。
動的補完区画DTsの登録位置と、基礎区画BT、動的中心区画DTc、又は他の動的補完区画DTsとが重複する場合は、シフト操作し、重複が生じない位置へと調整する。
[U, V] = [U ± a, V ± b] （a, bはシフト探索量）と補正する。
a, bが一定値（例えば、表示ブロック半径BDr）を超過する場合は、登録を中止する。
動的補完区画DTsについても、関連する動的中心区画DTcのグループFlwG番号と、フロー終点位置[U1, V1]と、相対速度[spX, spZ]とを区画テーブルに記録する。やはり登録箇所が既に登録済みの区画と重複する場合は、周辺の重複登録しない座標を探し登録座標を補正する。
手順1-9 次フローFlwの処理
全区画のマッチング処理が終了したか否かを確認し、全区画終了でなければ、手順1-1（ステップＳ３１）へ戻り、次の検出フローFlwの処理をする。全区画終了であれば手順1-13に進む。
全区画のマッチング処理が終了したか否かを確認し、全区画終了でなければ、手順1-1（ステップＳ３１）へ戻り、次の検出フローFlwの処理をする。全区画終了であれば手順1-13に進む。
手順1-13
全ての基礎区画BTの作業が終わった段階で、区画テーブルのグループFlwG番号を1番からの通し番号に整理する（ステップＳ４２）。
画像IM[1]及び画像IM[2]による処理では、区画テーブル内のグループFlwG番号は連番となっているが、処理が進行すると、動的区画DTの選定処理により無効判定された動的区画DTのグループFlwG番号が消失し欠落番号が生じる。手順1-13では、この欠落番号を取り除き、グループFlwG番号も正式な番号として連番とし、グループFlwG番号に更新する。
全ての基礎区画BTの作業が終わった段階で、区画テーブルのグループFlwG番号を1番からの通し番号に整理する（ステップＳ４２）。
画像IM[1]及び画像IM[2]による処理では、区画テーブル内のグループFlwG番号は連番となっているが、処理が進行すると、動的区画DTの選定処理により無効判定された動的区画DTのグループFlwG番号が消失し欠落番号が生じる。手順1-13では、この欠落番号を取り除き、グループFlwG番号も正式な番号として連番とし、グループFlwG番号に更新する。
・手順２ 画像IM[3]入力以後：動的区画DT追加後の処理：動的区画DT
次に、図２３を参照して手順２及び３を説明する。
画像IM[1][2]に対するフロー処理により、動的区画DT（動的中心区画DTc及び動的補完区画DTs）が追加されている。区画テーブルには、これらのそれぞれの区画について、グループFlwG番号と、フロー終点位置[U1, V1]と、相対速度[spX, spZ]とを保持している。これら区画テーブルで管理されるデータは、グループFlwGの履歴データである。区画テーブルに登録されているフロー終点位置[U1, V1]の多くは、この手順2ではフロー始点（動的中心区画DTc）又はフロー始点の周囲（動的補完区画DTs）の位置となる。
次に、図２３を参照して手順２及び３を説明する。
画像IM[1][2]に対するフロー処理により、動的区画DT（動的中心区画DTc及び動的補完区画DTs）が追加されている。区画テーブルには、これらのそれぞれの区画について、グループFlwG番号と、フロー終点位置[U1, V1]と、相対速度[spX, spZ]とを保持している。これら区画テーブルで管理されるデータは、グループFlwGの履歴データである。区画テーブルに登録されているフロー終点位置[U1, V1]の多くは、この手順2ではフロー始点（動的中心区画DTc）又はフロー始点の周囲（動的補完区画DTs）の位置となる。
手順2-0 フィードフォワードデータ
画像IM[3]を撮影する。手順1-1に従い、画像IM[2][3]に関してフロー処理を行う。フロー処理は、効率化のため、基礎区画BTと動的区画DTの登録位置に対して1度にまとめて処理を行う。
次に手順1-2以降の検出フローFlwの判定処理を行うが、本実施例２では、デフォルトテンプレートである基礎区画BTについて確認する前に、動的テンプレートである動的区画DTを対象とする（ステップＳ５１）。その後基礎区画BTに対して同様の処理を行う。動的区画DTを先にマッチング処理することで、フローFlwを効率的にグループFlwG単位で処理することができる。
画像IM[3]を撮影する。手順1-1に従い、画像IM[2][3]に関してフロー処理を行う。フロー処理は、効率化のため、基礎区画BTと動的区画DTの登録位置に対して1度にまとめて処理を行う。
次に手順1-2以降の検出フローFlwの判定処理を行うが、本実施例２では、デフォルトテンプレートである基礎区画BTについて確認する前に、動的テンプレートである動的区画DTを対象とする（ステップＳ５１）。その後基礎区画BTに対して同様の処理を行う。動的区画DTを先にマッチング処理することで、フローFlwを効率的にグループFlwG単位で処理することができる。
動的区画DTから検出されるフローFlwに関しては、フローFlwについての情報として、フィードフォワードデータをフローテーブルに記録する。フィードフォワードデータは、予測処理等で使用するデータであり、次のデータ項目を含むと良い。
フロー始点[U0, V0]
フロー終点[U1, V1]
前回検出された速度[spX,spZ]（画像IM[1][2]で設定）
フロー始点・終点の一致度AD（SAD, NCC値等による評価値、その他）
フロー始点・終点の特徴量FE（テンプレート内画像IMの輝度分散値、微分情報(ソーベル等)による評価値、その他）
フロー終点で求めた実空間距離（例えば、表示ブロック半径BDr）
グループFlwG番号
フロー始点[U0, V0]
フロー終点[U1, V1]
前回検出された速度[spX,spZ]（画像IM[1][2]で設定）
フロー始点・終点の一致度AD（SAD, NCC値等による評価値、その他）
フロー始点・終点の特徴量FE（テンプレート内画像IMの輝度分散値、微分情報(ソーベル等)による評価値、その他）
フロー終点で求めた実空間距離（例えば、表示ブロック半径BDr）
グループFlwG番号
手順2-1
画像IM[2][3]の動的区画DTの区画画像TMに対して、手順1-1から手順1-3と同様にマッチング処理をし（ステップＳ５２）、有効なフローFlwを探索する（ステップＳ５３）。正逆フローFlwRが出現した際には保留フローFlwに区分する。そして、画像IM[2][3]のフィードフォワードデータを初期化する。
画像IM[2][3]の動的区画DTの区画画像TMに対して、手順1-1から手順1-3と同様にマッチング処理をし（ステップＳ５２）、有効なフローFlwを探索する（ステップＳ５３）。正逆フローFlwRが出現した際には保留フローFlwに区分する。そして、画像IM[2][3]のフィードフォワードデータを初期化する。
手順2-2
手順1-4の処理と同様に、有効なフローFlwについて、フロー終点[U1, V1]での実空間距離（例えば、表示ブロック半径BDr）を求める（ステップＳ５４）。
手順2-4
その後手順1-8までの作業を行った後、後述のグループFlwG評価作業で使用するために、フィードフォワードデータを更新する（ステップＳ５５）。フィードフォワードデータの速度[spX, spZ]は、画像IM[1][2]を対象に手順1-8で記録した速度を使用する。
なお、今回の手順2-1内、手順1-2から手順1-４で確認した速度は、次回の画像IM[3][4]に対するフィードフォワードデータ設定に使用するため、以降の手順1-7内で区画テーブルへ記録する。
手順1-4の処理と同様に、有効なフローFlwについて、フロー終点[U1, V1]での実空間距離（例えば、表示ブロック半径BDr）を求める（ステップＳ５４）。
手順2-4
その後手順1-8までの作業を行った後、後述のグループFlwG評価作業で使用するために、フィードフォワードデータを更新する（ステップＳ５５）。フィードフォワードデータの速度[spX, spZ]は、画像IM[1][2]を対象に手順1-8で記録した速度を使用する。
なお、今回の手順2-1内、手順1-2から手順1-４で確認した速度は、次回の画像IM[3][4]に対するフィードフォワードデータ設定に使用するため、以降の手順1-7内で区画テーブルへ記録する。
手順2-7
続いて、手順1-4と同様にグループ領域GAの大きさを算出し、さらにステップＳ５３で保留フローFlwに区分された際にはグループ領域GAの大きさを減衰させて、小さく補正する（ステップＳ５６Ａ）。そして、統合バッファにグループ領域GAを描画する（ステップＳ５６Ｂ）。
(手順2-3)
この手順2の初回のフローFlwでは、グループ領域GAが重ならないため、グループFlwG番号（画像IM[3][4]用）は、前回グループFlwG番号の割り当てとなる（ステップＳ５９）。前回グループFlwG番号は、手順1-13で画像IM[1][2]を対象とした処理でこの初回のフローFlwの親フローFlwに登録したグループFlwG番号（画像IM[2][3]用）である。
処理が進み、基礎区画BT由来のフローFlwで既存のグループ領域と重ならなかった際には、ステップＳ５９にて前回グループFlwGがないため、新規のグループ番号を割り当てる。
続いて、手順1-4と同様にグループ領域GAの大きさを算出し、さらにステップＳ５３で保留フローFlwに区分された際にはグループ領域GAの大きさを減衰させて、小さく補正する（ステップＳ５６Ａ）。そして、統合バッファにグループ領域GAを描画する（ステップＳ５６Ｂ）。
(手順2-3)
この手順2の初回のフローFlwでは、グループ領域GAが重ならないため、グループFlwG番号（画像IM[3][4]用）は、前回グループFlwG番号の割り当てとなる（ステップＳ５９）。前回グループFlwG番号は、手順1-13で画像IM[1][2]を対象とした処理でこの初回のフローFlwの親フローFlwに登録したグループFlwG番号（画像IM[2][3]用）である。
処理が進み、基礎区画BT由来のフローFlwで既存のグループ領域と重ならなかった際には、ステップＳ５９にて前回グループFlwGがないため、新規のグループ番号を割り当てる。
手順2-7続き
手順2の２つめ以降のフローFlwでは、描画したグループ領域GAが、既に描画済みの１つのグループ領域GAと重なり合った場合（ステップＳ５７）、当該重なり合った別のグループFlwG（別Ｇ）と、当該動的区画DTの生成元フローFlwが属したグループFlwG（前回Ｇ）とのグループFlwG検出回数を比較する（ステップＳ５８）。この検出回数は、グループFlwGテーブルに記録されている。比較結果、別Ｇの検出回数が多ければ、重なり合ったグループFlwGのグループFlwG番号を割り当て、一方、前回Ｇの検出回数が多ければ、前回ＧのグループFlwG番号を割り当てる。グループFlwG番号が確定するとフィードフォワードデータにも記録する。
グループFlwG検出回数が同数の場合は、通し番号の小さいほうのグループFlwG番号を優先的に割り付ける。
手順2の２つめ以降のフローFlwでは、描画したグループ領域GAが、既に描画済みの１つのグループ領域GAと重なり合った場合（ステップＳ５７）、当該重なり合った別のグループFlwG（別Ｇ）と、当該動的区画DTの生成元フローFlwが属したグループFlwG（前回Ｇ）とのグループFlwG検出回数を比較する（ステップＳ５８）。この検出回数は、グループFlwGテーブルに記録されている。比較結果、別Ｇの検出回数が多ければ、重なり合ったグループFlwGのグループFlwG番号を割り当て、一方、前回Ｇの検出回数が多ければ、前回ＧのグループFlwG番号を割り当てる。グループFlwG番号が確定するとフィードフォワードデータにも記録する。
グループFlwG検出回数が同数の場合は、通し番号の小さいほうのグループFlwG番号を優先的に割り付ける。
一方、グループ領域GAが重なり合わなかった場合には、前回グループFlwGのグループFlwG番号を割り当てる（ステップＳ５９）。すなわち、画像IM[1][2]を対象として手順1-13で設定したグループFlwG番号を読み出し、今回のグループFlwG番号（画像IM[3][4]用）として使用する。
なお、画像IM[3][4]の比較時には、グループFlwGテーブルに登録されるグループFlwG検出回数は最大でも1回である。しかし、画像IM[4][5]、画像IM[5][6]・・・と処理が進むにつれ、無効判定された動的区画DTに割り付けられたグループFlwG番号が消失し欠落番号が生じ、グループFlwG検出回数に差が生じる。
ステップＳ５７にて、動的区画由来のフローFlwが、２以上のグループ領域GAと重なり合った場合、前回グループFlwGのグループFlwG番号と含めて３以上のグループFlwGの検出回数を比較し（ステップＳ５８）、検出回数が最多のグループFlwGに帰属させる（ステップＳ５９，Ｓ６０）。
手順2-5
手順2の初回フローFlwでは、グループFlwG上限値は超過しないため（ステップＳ６１）、手順1-7、手順1-8に従い次回の画像IM[4][3]のフローFlw用に動的中心区画DTc、動的補完区画DTsを追加する（ステップＳ６３）。
手順2-6
続いて、画像IM[1][2]の処理で設定した動的区画DTが完了すると（ステップＳ６５）、次の動的区画DTについて、手順2-1から手順2-3の作業を実行する（ステップＳ５２，Ｓ５３）。
手順2の初回フローFlwでは、グループFlwG上限値は超過しないため（ステップＳ６１）、手順1-7、手順1-8に従い次回の画像IM[4][3]のフローFlw用に動的中心区画DTc、動的補完区画DTsを追加する（ステップＳ６３）。
手順2-6
続いて、画像IM[1][2]の処理で設定した動的区画DTが完了すると（ステップＳ６５）、次の動的区画DTについて、手順2-1から手順2-3の作業を実行する（ステップＳ５２，Ｓ５３）。
手順2-8 グループFlwG単位で動的区画DTの最大登録数を管理
好ましい実施例では、システムのリソースとの関係から、動的区画の上限数を管理すると良い。
残り全ての動的区画DT由来のフローFlwを繰り返し順次処理し、動的区画DTの配置（手順2-5，ステップＳ６３）に際して、グループFlwG番号(画像IM[3][4]用）毎に、追加する動的中心区画DTc及び動的補完区画DTsの登録数をカウントする。
好ましい実施例では、システムのリソースとの関係から、動的区画の上限数を管理すると良い。
残り全ての動的区画DT由来のフローFlwを繰り返し順次処理し、動的区画DTの配置（手順2-5，ステップＳ６３）に際して、グループFlwG番号(画像IM[3][4]用）毎に、追加する動的中心区画DTc及び動的補完区画DTsの登録数をカウントする。
ここで、ある任意のグループFlwG番号(画像IM[3][4]用）に関して、最大登録数である上限値を超過して動的区画DT(画像IM[3][4]用）を追加登録しようとする場合（ステップＳ６１）、次のような情報処理をする（ステップＳ６２からＳ６４）。ステップＳ６３及びＳ６４の「中心」は動的中心区画DTsで、「補完」は動的補完区画DTsである。
（１）今回のフローFlwに対する動的補完区画DTs(画像IM[3][4]用）は新規追加しない。
（２）追加する動的中心区画DTc(画像IM[3][4]用）は、既に登録済みの動的補完区画DTs(画像IM[3][4]用）の中から削除対象を選定し、区画テーブルを上書きして更新する。
削除対象の動的補完区画DTs(画像IM[3][4]用）は、手順2-4で記録したフィードフォワードデータの一致度AD、特徴量FEを比較して最も劣るスコアを持つ登録済み動的中心区画DTc(画像IM[3][4]用）に属する補完区画(画像IM[3][4]用）のメンバから選定する（ステップＳ６２）。
そして、登録済の動的補完区画DTs(画像IM[3][4]用）のグループFlwG番号と、フロー終点位置[U1, V1]と、相対速度[spX, spZ]とを上書きし、追加する動的中心区画DTc(画像IM[3][4]用）のデータを記録する（ステップＳ６４）。
（１）今回のフローFlwに対する動的補完区画DTs(画像IM[3][4]用）は新規追加しない。
（２）追加する動的中心区画DTc(画像IM[3][4]用）は、既に登録済みの動的補完区画DTs(画像IM[3][4]用）の中から削除対象を選定し、区画テーブルを上書きして更新する。
削除対象の動的補完区画DTs(画像IM[3][4]用）は、手順2-4で記録したフィードフォワードデータの一致度AD、特徴量FEを比較して最も劣るスコアを持つ登録済み動的中心区画DTc(画像IM[3][4]用）に属する補完区画(画像IM[3][4]用）のメンバから選定する（ステップＳ６２）。
そして、登録済の動的補完区画DTs(画像IM[3][4]用）のグループFlwG番号と、フロー終点位置[U1, V1]と、相対速度[spX, spZ]とを上書きし、追加する動的中心区画DTc(画像IM[3][4]用）のデータを記録する（ステップＳ６４）。
上書き更新した動的補完区画DTs(画像IM[3][4]用）は、２回以上の上書き更新しないようにすると良い。この例では、最も劣るスコアを持つ動的中心区画DTc(画像IM[3][4]用）を基準とした動的補完区画DTs(画像IM[3][4]用）が全て手順2-8の更新作業により上書き更新された後は、次にロースコアである登録済動的中心区画DTc(画像IM[3][4]用）に属する登録済動的補完区画DTs(画像IM[3][4]用）を更新する。
手順2-9
画像IM[1][2]で設定した動的区画DT由来のフローFlwについて、手順2-1から手順2-8まで繰り返し処理する（ステップＳ６５）。動的区画から抽出されたフローFlwの処理が終了すると、次に、画像IM[2][3]の基礎区画BT由来のフローFlwを手順３として処理する。
画像IM[1][2]で設定した動的区画DT由来のフローFlwについて、手順2-1から手順2-8まで繰り返し処理する（ステップＳ６５）。動的区画から抽出されたフローFlwの処理が終了すると、次に、画像IM[2][3]の基礎区画BT由来のフローFlwを手順３として処理する。
・手順３ 画像IM[3]入力以後：動的区画DT追加後の処理：基礎区画BT
手順3-1（画像IM[3]以降を手順1-2から手順1-13に準拠して処理）
基礎区画BTの区画画像TMついて、手順1-2から手順1-13に準拠して作業を行う。
但し、手順1-5及び手順1-10の作業中、新たにグループFlwG番号(画像IM[3][4]用）を定義する場合（ステップＳ３７）、使用するグループFlwG番号(画像IM[3][4]用）は1番ではなく、前回動的区画DTの登録時に手順1-13で設定したグループFlwG番号(画像IM[1][2]）の最大値からの通し番号とする。
例えば、前回の手順1-13処理でNa個、通番補正後のグループFlwG番号がNo. 1からNo. 10であった場合、設定するグループFlwG番号(画像IM[3][4]用）はNo. 11から順次追加する。
手順3-1（画像IM[3]以降を手順1-2から手順1-13に準拠して処理）
基礎区画BTの区画画像TMついて、手順1-2から手順1-13に準拠して作業を行う。
但し、手順1-5及び手順1-10の作業中、新たにグループFlwG番号(画像IM[3][4]用）を定義する場合（ステップＳ３７）、使用するグループFlwG番号(画像IM[3][4]用）は1番ではなく、前回動的区画DTの登録時に手順1-13で設定したグループFlwG番号(画像IM[1][2]）の最大値からの通し番号とする。
例えば、前回の手順1-13処理でNa個、通番補正後のグループFlwG番号がNo. 1からNo. 10であった場合、設定するグループFlwG番号(画像IM[3][4]用）はNo. 11から順次追加する。
基礎区画BTから抽出されるフローFlwは、上述した手順2-7と異なり、動的区画DTのように前回の処理結果から継承される手順1-13で設定されたグループFlwG番号（画像IM[1][2]）を持たない。このためグループFlwGテーブルを参照する必要はない。すなわち、グループFlwG番号(画像IM[3][4]用）が、統合バッファ５６座標上に登録済みであれば（ステップＳ５７）、検出回数を比較して（ステップＳ５８）、検出回数が最多のグループFlwG番号を割り付ける（ステップＳ６０）。
手順3-2（画像IM[3]以降で手順2-5（ステップＳ６４）となる場合）
手順1-7及び手順1-8で動的区画DT(画像IM[3][4]用）の追加作業中に、グループFlwG番号(画像IM[3][4]用）を単位として動的中心区画DTc及び動的補完区画DTsの総数を確認する（ステップＳ６１）。そして、上限値を超えて新たに登録を行おうとする場合は、手順2-8に従い基準となる動的中心区画DTcの一致度AD・特徴量FEスコアを調べ（ステップＳ６２）、最も低い動的中心区画DTcの動的補完区画DTs(画像IM[3][4]用）上へ、新たな動的中心区画DTcのデータを上書き更新する。また新たな動的補完区画DTsの登録を見合わせる（ステップＳ６４）。
手順1-7及び手順1-8で動的区画DT(画像IM[3][4]用）の追加作業中に、グループFlwG番号(画像IM[3][4]用）を単位として動的中心区画DTc及び動的補完区画DTsの総数を確認する（ステップＳ６１）。そして、上限値を超えて新たに登録を行おうとする場合は、手順2-8に従い基準となる動的中心区画DTcの一致度AD・特徴量FEスコアを調べ（ステップＳ６２）、最も低い動的中心区画DTcの動的補完区画DTs(画像IM[3][4]用）上へ、新たな動的中心区画DTcのデータを上書き更新する。また新たな動的補完区画DTsの登録を見合わせる（ステップＳ６４）。
手順3-3
全ての基礎区画BTについて手順3-1から手順3-2の処理を完了させるまで（ステップＳ６６）、処理（ステップＳ５２からＳ６６）を繰り返す。
手順3-4
画像IM[1][2]で設定した動的区画DTのNa個と基礎区画BTのNd個の全ての区画画像TMについて、画像IM[2][3]による判定作業が終わった段階で（ステップＳ６６）、グループFlwG番号を通し番号に整理する。すなわち、次回の画像IM[4]と画像IM[3]に対するフロー処理用に動的中心区画DTcと動的補完区画DTsへグループFlwG番号(画像IM[3][4]用）が割り当てられている。このグループFlwG番号を1番からの通し番号に整理する（ステップＳ６７）。そして、それぞれの登録済みの動的中心区画DTc及び動的補完区画DTsに対して、整理前のグループFlwG番号(画像IM[3][4]用）を整理したグループFlwG番号(画像IM[3][4]用）に置き換える。
全ての基礎区画BTについて手順3-1から手順3-2の処理を完了させるまで（ステップＳ６６）、処理（ステップＳ５２からＳ６６）を繰り返す。
手順3-4
画像IM[1][2]で設定した動的区画DTのNa個と基礎区画BTのNd個の全ての区画画像TMについて、画像IM[2][3]による判定作業が終わった段階で（ステップＳ６６）、グループFlwG番号を通し番号に整理する。すなわち、次回の画像IM[4]と画像IM[3]に対するフロー処理用に動的中心区画DTcと動的補完区画DTsへグループFlwG番号(画像IM[3][4]用）が割り当てられている。このグループFlwG番号を1番からの通し番号に整理する（ステップＳ６７）。そして、それぞれの登録済みの動的中心区画DTc及び動的補完区画DTsに対して、整理前のグループFlwG番号(画像IM[3][4]用）を整理したグループFlwG番号(画像IM[3][4]用）に置き換える。
手順3-5
さらに手順2-4等で登録したフィードフォワードデータ内のグループFlwG番号、画像IM[1][2]を対象として手順１-13で設定したグループFlwGテーブルのインデックスについても、該当する新規グループFlwG番号に置き換える。
フィードフォワードデータの持つグループFlwG番号は、画像IM[1][2]、手順1-13で設定したもの、あるいは手順2-7で統合された番号である。また手順3-1、手順3-2の基礎区画BTの判定処理で追加された分を除く、画像IM[3][4]用のグループFlwG番号と等価である。
さらに手順2-4等で登録したフィードフォワードデータ内のグループFlwG番号、画像IM[1][2]を対象として手順１-13で設定したグループFlwGテーブルのインデックスについても、該当する新規グループFlwG番号に置き換える。
フィードフォワードデータの持つグループFlwG番号は、画像IM[1][2]、手順1-13で設定したもの、あるいは手順2-7で統合された番号である。また手順3-1、手順3-2の基礎区画BTの判定処理で追加された分を除く、画像IM[3][4]用のグループFlwG番号と等価である。
・手順４ グループFlwG単位でのフロー連続性確認手法
手順4では、手順2-1から手順2-4で作成したフローFlwについての情報（フィードフォワードデータ）を利用して、グループFlwG番号に基づいたグループFlwG単位で連続性を評価し、接近車MAを検出する。
図２４に、手順4から手順5までの情報処理例を示す。
フィードフォワードデータは、画像IM[1][2]を対象に手順1-7、手順1-8で設定した動的区画DTに基づく。フィードフォワードデータの記録速度(画像IM[1][2]で設定)は、前回の登録作業時に記録されたものである。フィードフォワードデータの記録速度[spX, spZ]は、画像IM[3][4]での比較作業以降、前回の登録作業時に手順2-8あるいは手順3-2の作業が加わる。よって動的補完区画DTs（次回フローFlw用）が上書き更新された場合のみ、動的中心区画DTcと異なる値となる。手順2-8あるいは手順3-2で更新作業が入った場合でもグループFlwG番号は共通に保たれる。
手順4では、手順2-1から手順2-4で作成したフローFlwについての情報（フィードフォワードデータ）を利用して、グループFlwG番号に基づいたグループFlwG単位で連続性を評価し、接近車MAを検出する。
図２４に、手順4から手順5までの情報処理例を示す。
フィードフォワードデータは、画像IM[1][2]を対象に手順1-7、手順1-8で設定した動的区画DTに基づく。フィードフォワードデータの記録速度(画像IM[1][2]で設定)は、前回の登録作業時に記録されたものである。フィードフォワードデータの記録速度[spX, spZ]は、画像IM[3][4]での比較作業以降、前回の登録作業時に手順2-8あるいは手順3-2の作業が加わる。よって動的補完区画DTs（次回フローFlw用）が上書き更新された場合のみ、動的中心区画DTcと異なる値となる。手順2-8あるいは手順3-2で更新作業が入った場合でもグループFlwG番号は共通に保たれる。
手順4-1
手順2-1で記録したフィードフォワードデータを参照し、データが無効（初期化状態のゼロデータ）でないことを確認する（ステップＳ７１）。フィードフォワードデータの要素が無効であった場合は、先の手順2-1から手順2-4の段階で無効と判断されたものであるため、フィードフォワードデータに関する処理は、引き続き次のデータの確認作業を行う。よって、これら事前の確認により有効なデータは手順2-4でデータを与えられている。
手順4でのグループFlwG単位の予測による処理では、グループFlwGに属するフローFlwの過去の速度によるフロー予測終点FApと、実際のフローFlwのフロー終点との近接性を確認することで、一定範囲に近い場合には当該フローFlwを正規フローFlwとする。このフロー予測終点FApをの算出による正規フローFlwの確認対象（予測対象フローFlw）は、グループFlwGに属するすべてのフローFlwを対象としても良いし、グループFlwGに残る動的区画DTからのフローFlwのみを対象としても良いし、ステップＳ６２で削除対象とされたフローFlwも含むようにしても良い。
手順2-1で記録したフィードフォワードデータを参照し、データが無効（初期化状態のゼロデータ）でないことを確認する（ステップＳ７１）。フィードフォワードデータの要素が無効であった場合は、先の手順2-1から手順2-4の段階で無効と判断されたものであるため、フィードフォワードデータに関する処理は、引き続き次のデータの確認作業を行う。よって、これら事前の確認により有効なデータは手順2-4でデータを与えられている。
手順4でのグループFlwG単位の予測による処理では、グループFlwGに属するフローFlwの過去の速度によるフロー予測終点FApと、実際のフローFlwのフロー終点との近接性を確認することで、一定範囲に近い場合には当該フローFlwを正規フローFlwとする。このフロー予測終点FApをの算出による正規フローFlwの確認対象（予測対象フローFlw）は、グループFlwGに属するすべてのフローFlwを対象としても良いし、グループFlwGに残る動的区画DTからのフローFlwのみを対象としても良いし、ステップＳ６２で削除対象とされたフローFlwも含むようにしても良い。
手順4-2
フィードフォワードデータに記録したフロー始点[U0, V0]を、実空間[X0, Yconst, Z0]に変換する（ステップＳ７２）。
手順4-3
実空間[X0, Yconst, Z0]に次式にて比較画像IM間での推定移動（予測移動）を加え、実空間上でフロー予測終点FAp[X1f, Yconst, Z1f]を求める（ステップＳ７３）。
フレーム間隔 × 履歴データからの速度[spX, spZ]
フィードフォワードデータに記録したフロー始点[U0, V0]を、実空間[X0, Yconst, Z0]に変換する（ステップＳ７２）。
手順4-3
実空間[X0, Yconst, Z0]に次式にて比較画像IM間での推定移動（予測移動）を加え、実空間上でフロー予測終点FAp[X1f, Yconst, Z1f]を求める（ステップＳ７３）。
フレーム間隔 × 履歴データからの速度[spX, spZ]
手順4-4
座標変換式（７）によりフロー予測終点FAp[X1f, Yconst, Z1f]を画面平面上の座標[U1f, V1f]に投影変換する（ステップＳ７４）。投影変換の座標計算は浮動小数演算等を使用するためシステムへの負担が大きい。このような場合は上述したXZtoUVマップを利用して[X1f, Yconst, Z1f]に対応する[U1f, V1f]値を取得すると良い。
座標変換式（７）によりフロー予測終点FAp[X1f, Yconst, Z1f]を画面平面上の座標[U1f, V1f]に投影変換する（ステップＳ７４）。投影変換の座標計算は浮動小数演算等を使用するためシステムへの負担が大きい。このような場合は上述したXZtoUVマップを利用して[X1f, Yconst, Z1f]に対応する[U1f, V1f]値を取得すると良い。
手順4-5
処理対象のフローFlwの所属するグループFlwGについて、グループFlwGテーブルを参照して、保留フローFlwの出現回数を参照する。そして、保留フローFlwの出現回数に応じた予測領域FAの大きさを算出する（ステップＳ７５Ａ）。予測領域FAの大きさは、例えば表示ブロック半径BDrに保留フローFlwの出現回数による減衰用ゲインを掛けた半径による大きさとすると良い。例えば、保留フローFlwの出現回数が０回であれば表示ブロック半径BDrのままとし、保留フローFlwの出現回数が１以上であれば出現回数に応じて半径BDrを短くする。
処理対象のフローFlwの所属するグループFlwGについて、グループFlwGテーブルを参照して、保留フローFlwの出現回数を参照する。そして、保留フローFlwの出現回数に応じた予測領域FAの大きさを算出する（ステップＳ７５Ａ）。予測領域FAの大きさは、例えば表示ブロック半径BDrに保留フローFlwの出現回数による減衰用ゲインを掛けた半径による大きさとすると良い。例えば、保留フローFlwの出現回数が０回であれば表示ブロック半径BDrのままとし、保留フローFlwの出現回数が１以上であれば出現回数に応じて半径BDrを短くする。
次に、画像IMと同じサイズの空の予測バッファ６４を用意して、画像座標系UVでのフロー予測終点FAp[U1f, V1f]周りに円領域（中心[U1f, V1f]・半径BDr）を設定しフィードフォワードデータに記録されたグループFlwG番号で描画する（ステップＳ７５Ｂ）。この描画した円領域は、図１６に示す予測領域FAである。予測バッファ６４を利用する手法は手順1-6の統合バッファ５６と同様である。
円領域の半径を表示ブロック半径BDrとすることで、車間距離によらず実空間距離に基づく大きさで予測領域FAを描画することができる。
円領域の半径を表示ブロック半径BDrとすることで、車間距離によらず実空間距離に基づく大きさで予測領域FAを描画することができる。
手順4-6
このフィードフォワード処理は、グループFlwGを単位として行う。よって、同一グループFlwGに属するフローFlwについて、手順4-１から手順4-5まで（ステップＳ７１からＳ７５まで）を同一グループFlwGの全てのフローFlwについて、予測領域FAを描画するまで（ステップＳ７６）、繰り返し実行する。
このフィードフォワード処理は、グループFlwGを単位として行う。よって、同一グループFlwGに属するフローFlwについて、手順4-１から手順4-5まで（ステップＳ７１からＳ７５まで）を同一グループFlwGの全てのフローFlwについて、予測領域FAを描画するまで（ステップＳ７６）、繰り返し実行する。
手順4-7
１グループFlwG分のフィードフォワードデータ（フローFlw）について、予測バッファ６４上でのそれぞれのフロー終点[U[ ]1,V[ ]1]の位置を参照し、予測領域FAに含まれているか否かを確認し、フロー終点が予測領域FAに含まれている場合、正常な正規フローFlwとする（ステップＳ７７）。そして、例えば、グループFlwGを単位として、正規フロー数／フロー総数の正規比率を求めておく。
保留フローFlwの出現回数に応じて予測領域FAを小さくした場合、そのフロー終点が予測領域FAに含まれる確率が低下し、保留フローFlwが出現したことのあるグループFlwGについては、正規比率が低下する。
１グループFlwG分のフィードフォワードデータ（フローFlw）について、予測バッファ６４上でのそれぞれのフロー終点[U[ ]1,V[ ]1]の位置を参照し、予測領域FAに含まれているか否かを確認し、フロー終点が予測領域FAに含まれている場合、正常な正規フローFlwとする（ステップＳ７７）。そして、例えば、グループFlwGを単位として、正規フロー数／フロー総数の正規比率を求めておく。
保留フローFlwの出現回数に応じて予測領域FAを小さくした場合、そのフロー終点が予測領域FAに含まれる確率が低下し、保留フローFlwが出現したことのあるグループFlwGについては、正規比率が低下する。
手順4-8
次に、全のグループFlwGごとに手順4-1から4-7（ステップＳ７１からＳ７７）の作業を実行し（ステップＳ７８）、グループFlwG番号毎の正規比率を記録する。
手順4-9
手順4-7及び手順4-8で求めた正規比率にしきい値を設定し、正規比率がしきい値を満たす場合は、グループFlwGテーブルの該当グループFlwGに対し検出回数1回として加算する（ステップＳ７９）。接近により離散したグループFlwGも連続して正しい検出が行えればカウントを追加し接近車MAの判定に使用する。
次に、全のグループFlwGごとに手順4-1から4-7（ステップＳ７１からＳ７７）の作業を実行し（ステップＳ７８）、グループFlwG番号毎の正規比率を記録する。
手順4-9
手順4-7及び手順4-8で求めた正規比率にしきい値を設定し、正規比率がしきい値を満たす場合は、グループFlwGテーブルの該当グループFlwGに対し検出回数1回として加算する（ステップＳ７９）。接近により離散したグループFlwGも連続して正しい検出が行えればカウントを追加し接近車MAの判定に使用する。
図２４に示す例では、予測対象フローFlwのフロー始点に過去速度を加算して予測領域FAを描画し、実際の予測対象フローFlwの終点が当該予測領域FA内となるか否かを確認したが、逆に、予測対象フローFlwの終点から予測領域FAを描画し、フロー予測終点FApがこの予測領域FAに含まれるか否かを確認するようにしても良い。
・手順５ 接近車MAの検出判定
手順5-1
次の入力画面[4]を取得し画面[4][3]の処理に移る。
手順1-1から4-9の作業を繰り返し、さらに画面[4][5]、画面[5][6]と作業を繰り返しグループFlwG毎の検出回数を求めていく（ステップＳ８０）。
ただし、それぞれ手順2-4で登録したフィードフォワードデータ内のグループFlwG番号についても、該当する新規のグループFlwG番号に置き換える際に、グループFlwGテーブルの該当検出数もグループFlwG番号の登録回数から新規グループFlwG番号の対応位置へ移動させる。
フローFlwの判断や、該当する仮想ブロックIBの消失、手順2-7の入れ替えなどで該当グループFlwG番号が検出されなくなった時点で、グループFlwGテーブルの該当グループFlwG番号のデータは0クリアする。
そして、手順3-５実行時にグループFlwG番号を通し番号処理してグループFlwG番号を確定する際、グループFlwGテーブルの該当項目も調整する。
手順5-1
次の入力画面[4]を取得し画面[4][3]の処理に移る。
手順1-1から4-9の作業を繰り返し、さらに画面[4][5]、画面[5][6]と作業を繰り返しグループFlwG毎の検出回数を求めていく（ステップＳ８０）。
ただし、それぞれ手順2-4で登録したフィードフォワードデータ内のグループFlwG番号についても、該当する新規のグループFlwG番号に置き換える際に、グループFlwGテーブルの該当検出数もグループFlwG番号の登録回数から新規グループFlwG番号の対応位置へ移動させる。
フローFlwの判断や、該当する仮想ブロックIBの消失、手順2-7の入れ替えなどで該当グループFlwG番号が検出されなくなった時点で、グループFlwGテーブルの該当グループFlwG番号のデータは0クリアする。
そして、手順3-５実行時にグループFlwG番号を通し番号処理してグループFlwG番号を確定する際、グループFlwGテーブルの該当項目も調整する。
手順5-2
手順4-9実行時にグループFlwGテーブルのグループFlwG検出回数にしきい値を設定する。あるグループFlwGが規定回数以上検出されることは、連続して接近移動を繰り返す物体の存在＝接近車MAありと判断し（ステップＳ８１）、ドライバーへ情報提示する。
手順4-9実行時にグループFlwGテーブルのグループFlwG検出回数にしきい値を設定する。あるグループFlwGが規定回数以上検出されることは、連続して接近移動を繰り返す物体の存在＝接近車MAありと判断し（ステップＳ８１）、ドライバーへ情報提示する。
続いて、個別の処理手順を説明する。
・手順C 逆フローFlwRの検出
・手順D 保留フローFlwによるグループ領域GA及び予測領域FAの大きさの調整
・手順F-5 画像を参照した再説明（真逆フロー部分）
・手順A, B, E及びF5以外のFは同一発明者の別出願で開示しているが、本明細書では欠番である。
・手順C 逆フローFlwRの検出
・手順D 保留フローFlwによるグループ領域GA及び予測領域FAの大きさの調整
・手順F-5 画像を参照した再説明（真逆フロー部分）
・手順A, B, E及びF5以外のFは同一発明者の別出願で開示しているが、本明細書では欠番である。
・手順C 逆フローFlwRの検出
ここで、逆フローFlwRの検出処理を説明する。
反復パターンRPが問題となるのは、連続マッチング処理に際して区画画像TMの移動方向が繰り返されるためである。このような反復パターンRPの発生傾向は自車MTの進行方向と平行に存在する。
本実施例では、接近を示すフローFlwを検出した区画の所属するグループFlwGには、基礎区画BT・他の動的中心区画DTc・動的補完区画DTsが含まれる。よって手順2-0あるいは手順3-1（手順1-1）で除去されたフローFlwの中には、図９に示すように自車MTと並行ではあるが、逆向きを示すフローFlwが存在する公算が高い。
そして、繰り返しを有する反復パターンRPが撮像されると、同一のグループFlwGに属する基礎区画BT、動的中心区画DTc、及び動的補完区画DTsのいずれかが逆フローFlwRを検出する確率が高い。このため、逆フローFlwRの発生を、反復パターンRPの発生と判定できる。この逆フローFlwRの発生したエリアに対して重点的に判別作業を強化することで反復パターンRPの影響を抑制できる。
ここで、逆フローFlwRの検出処理を説明する。
反復パターンRPが問題となるのは、連続マッチング処理に際して区画画像TMの移動方向が繰り返されるためである。このような反復パターンRPの発生傾向は自車MTの進行方向と平行に存在する。
本実施例では、接近を示すフローFlwを検出した区画の所属するグループFlwGには、基礎区画BT・他の動的中心区画DTc・動的補完区画DTsが含まれる。よって手順2-0あるいは手順3-1（手順1-1）で除去されたフローFlwの中には、図９に示すように自車MTと並行ではあるが、逆向きを示すフローFlwが存在する公算が高い。
そして、繰り返しを有する反復パターンRPが撮像されると、同一のグループFlwGに属する基礎区画BT、動的中心区画DTc、及び動的補完区画DTsのいずれかが逆フローFlwRを検出する確率が高い。このため、逆フローFlwRの発生を、反復パターンRPの発生と判定できる。この逆フローFlwRの発生したエリアに対して重点的に判別作業を強化することで反復パターンRPの影響を抑制できる。
手順C1
手順1-3等で無効とされたフローFlwのうち、自車MTの移動速度と真逆を示す逆フローFlwRについて、フロー始点・及びフロー終点座標を記録する（ステップＳ３３，Ｓ５３）。
手順C2
手順4-1のフィードフォワード処理（ステップＳ７１）の前に、統合バッファ５６と記録した逆フローFlwRの始点終点履歴を確認し、統合バッファ５６上の領域記録から逆フローFlwRがいずれかのグループ領域GAに含まれる場合はグループFlwGテーブルに記録し、グループFlwG番号毎に含まれる逆フローFlwRの数をカウントする。
手順1-3等で無効とされたフローFlwのうち、自車MTの移動速度と真逆を示す逆フローFlwRについて、フロー始点・及びフロー終点座標を記録する（ステップＳ３３，Ｓ５３）。
手順C2
手順4-1のフィードフォワード処理（ステップＳ７１）の前に、統合バッファ５６と記録した逆フローFlwRの始点終点履歴を確認し、統合バッファ５６上の領域記録から逆フローFlwRがいずれかのグループ領域GAに含まれる場合はグループFlwGテーブルに記録し、グループFlwG番号毎に含まれる逆フローFlwRの数をカウントする。
手順C3
手順4-9（ステップＳ７９）において、該当グループFlwG番号毎に逆フローFlwRの数が一致以上含まれる場合は、手順4-9の条件を満たすグループFlwGについてはカウントの増加数を1/2とする。また検出があった回での手順5-に関する処理については、該当グループFlwGの検出処理をパスする。
手順4-9（ステップＳ７９）において、該当グループFlwG番号毎に逆フローFlwRの数が一致以上含まれる場合は、手順4-9の条件を満たすグループFlwGについてはカウントの増加数を1/2とする。また検出があった回での手順5-に関する処理については、該当グループFlwGの検出処理をパスする。
グループFlwGの検出回数のカウントを保留することで、グループFlwGの有効性の確認は次回の画像IMによる判断に委譲される。よって、白線を含む確率の高いグループFlwGほど、手順4-9のカウントが蓄積されないので、手順5-2（ステップＳ８１）で接近車MAと判断される確率が減少する。
処理を繰り返していく中で、反復パターンRPを持つものは、繰り返し逆フローFlwRが検出されるので、判定の厳しさが増し除去されていく。
また逆に接近車MAに対して反復パターンRPであると誤認識された場合でも、連続検出される中で再び逆フローFlwRが誤認識され発生する確率は低く、次画像IMでの有効フローFlwによる連続検出カウント増加により最終的にフォローアップされ接近車MAを検出することができる。
処理を繰り返していく中で、反復パターンRPを持つものは、繰り返し逆フローFlwRが検出されるので、判定の厳しさが増し除去されていく。
また逆に接近車MAに対して反復パターンRPであると誤認識された場合でも、連続検出される中で再び逆フローFlwRが誤認識され発生する確率は低く、次画像IMでの有効フローFlwによる連続検出カウント増加により最終的にフォローアップされ接近車MAを検出することができる。
・手順D 保留フローFlwによるグループ領域GA及び予測領域FAの大きさの調整
減衰制御によりグループ領域GA及び予測領域FAを縮小する動作例を説明する。
手順CによるグループFlwG検出回数のカウントの抑制は有効であるが、手順1-6（ステップＳ３５Ａ）・手順2-7，手順3-1（ステップＳ５６）等の統合バッファ５６および手順4-5（ステップＳ７５Ｂ）の予測バッファ６４の作成時に、白線の確率を持つグループFlwGと接近車MAを示すグループFlwGが連結してしまうと正しい接近車MA判定ができない恐れがある。
この手順Dでは、逆フローFlwRを保留フローFlwとし、表示ブロック半径BDrを有効フローFlwに対する処理よりも小さく制御する。
減衰制御によりグループ領域GA及び予測領域FAを縮小する動作例を説明する。
手順CによるグループFlwG検出回数のカウントの抑制は有効であるが、手順1-6（ステップＳ３５Ａ）・手順2-7，手順3-1（ステップＳ５６）等の統合バッファ５６および手順4-5（ステップＳ７５Ｂ）の予測バッファ６４の作成時に、白線の確率を持つグループFlwGと接近車MAを示すグループFlwGが連結してしまうと正しい接近車MA判定ができない恐れがある。
この手順Dでは、逆フローFlwRを保留フローFlwとし、表示ブロック半径BDrを有効フローFlwに対する処理よりも小さく制御する。
手順D1
追加処理C-3を行った際、逆フローFlwRによりカウントアップができなかったグループFlwG（保留フローFlwが出現したグループFlwG）に対してグループFlwG番号を記録する。
手順D2
さらに、その保留フローFlwの発生回数を履歴としてグループFlwG番号単位でグループFlwGテーブルに記録・蓄積する。
手順D3
次画像IMに対して、接近車MA検出処理を行う。手順1-6（手順2-7・手順3-1）を実行する際、直前の作業で、当該グループFlwG番号に手順D1の発生が確認された場合は、手順D2で記録された時間的に連続する今までの総発生回数に比例する形で、表示ブロック半径BDrを縮小するゲインを掛ける（ステップＳ５６Ａ）。
今回の例では、履歴のカウント回数Nに対して、半径BDr = 表示マップによる表示ブロック半径BDr ÷ 2^Nを採用する。但し、例では半径Rが2以下となった場合はRを下限値2でクリップすると良い。
結果、統合バッファ５６にてグループ領域GAを設定する際、白線の確率が高い逆フローFlwRを含むグループFlwGと他のグループFlwGの連結確率を下げることができる。
追加処理C-3を行った際、逆フローFlwRによりカウントアップができなかったグループFlwG（保留フローFlwが出現したグループFlwG）に対してグループFlwG番号を記録する。
手順D2
さらに、その保留フローFlwの発生回数を履歴としてグループFlwG番号単位でグループFlwGテーブルに記録・蓄積する。
手順D3
次画像IMに対して、接近車MA検出処理を行う。手順1-6（手順2-7・手順3-1）を実行する際、直前の作業で、当該グループFlwG番号に手順D1の発生が確認された場合は、手順D2で記録された時間的に連続する今までの総発生回数に比例する形で、表示ブロック半径BDrを縮小するゲインを掛ける（ステップＳ５６Ａ）。
今回の例では、履歴のカウント回数Nに対して、半径BDr = 表示マップによる表示ブロック半径BDr ÷ 2^Nを採用する。但し、例では半径Rが2以下となった場合はRを下限値2でクリップすると良い。
結果、統合バッファ５６にてグループ領域GAを設定する際、白線の確率が高い逆フローFlwRを含むグループFlwGと他のグループFlwGの連結確率を下げることができる。
手順D4
さらに、手順2-4を行う場合、同様に当該グループFlwG番号に手順D1の発生が確認された場合は、手順D2で記録された総発生回数に比例する形で表示ブロック半径BDrを縮小するゲインを掛ける（ステップＳ５５）。その結果、手順4-5（ステップＳ７５Ａ）で予測バッファ６４へ予測領域FAを描画する際（ステップＳ７５Ｂ）、白線の確率が高い逆フローFlwRを含むグループFlwGは接近車MA候補として判定する確率を下げることができる。
また、手順3-５実行時にグループFlwG番号 を通し番号処理してグループFlwG番号を確定する際、グループFlwGテーブルの保留フローFlwの出現回数も調整する。
さらに、手順2-4を行う場合、同様に当該グループFlwG番号に手順D1の発生が確認された場合は、手順D2で記録された総発生回数に比例する形で表示ブロック半径BDrを縮小するゲインを掛ける（ステップＳ５５）。その結果、手順4-5（ステップＳ７５Ａ）で予測バッファ６４へ予測領域FAを描画する際（ステップＳ７５Ｂ）、白線の確率が高い逆フローFlwRを含むグループFlwGは接近車MA候補として判定する確率を下げることができる。
また、手順3-５実行時にグループFlwG番号 を通し番号処理してグループFlwG番号を確定する際、グループFlwGテーブルの保留フローFlwの出現回数も調整する。
・手順F5 反復パターンRP判定と回避方法
反復パターンRP判定と回避方法について、具体的な画像例を参照して説明する。
次の図２６（２４）から図２９（２７）に示すように、白線のような車両の進行方向と並行に存在する構造物による反復パターンRPに対して、誤検出を回避することができない。
図２５は、車載カメラで撮像した実際の画像IMをグレースケールに変換し、左側の白線に生じた誤検出フローFlwを拡大表記した例で、作業開始時の状態を示す。
図２６は、図２５のイメージデータを白黒線画でトレースしたものである。以下、図２７から３９はグレースケールのイメージデータをトレースしたものである。
反復パターンRP判定と回避方法について、具体的な画像例を参照して説明する。
次の図２６（２４）から図２９（２７）に示すように、白線のような車両の進行方向と並行に存在する構造物による反復パターンRPに対して、誤検出を回避することができない。
図２５は、車載カメラで撮像した実際の画像IMをグレースケールに変換し、左側の白線に生じた誤検出フローFlwを拡大表記した例で、作業開始時の状態を示す。
図２６は、図２５のイメージデータを白黒線画でトレースしたものである。以下、図２７から３９はグレースケールのイメージデータをトレースしたものである。
図２７から図３０は逆フローFlwRによる画像処理を行わず、誤検出・誤判定する例である。
図２７は白線位置に重なるフローFlwの連続検出で、1回目処理（画像[1][2]）である。反復パターンRPである白線部分に通常の無効判定では除去できない誤検出フローFlwがある。
図２８に示すように、２回目処理（画像[2][3]）では、抽出した親フローFlwを元に動的区画を配置したことで、反復パターンRPから多数の子フローFlwが抽出される。
図２９に示すように、４回目処理（画像[4][5]）では、白線位置に重なるフローFlwの誤検出(親子フローFlw)が続いている。
その結果、図３０に示すように、４回目処理（画像[4][5]）にて、接近車MA（移動体）との誤検出が生じた。
図２７は白線位置に重なるフローFlwの連続検出で、1回目処理（画像[1][2]）である。反復パターンRPである白線部分に通常の無効判定では除去できない誤検出フローFlwがある。
図２８に示すように、２回目処理（画像[2][3]）では、抽出した親フローFlwを元に動的区画を配置したことで、反復パターンRPから多数の子フローFlwが抽出される。
図２９に示すように、４回目処理（画像[4][5]）では、白線位置に重なるフローFlwの誤検出(親子フローFlw)が続いている。
その結果、図３０に示すように、４回目処理（画像[4][5]）にて、接近車MA（移動体）との誤検出が生じた。
このように、自車MTの進行方向に繰り返されるパターンから発生するフローFlwについては、速度Zの接近方向による無効判定だけでは対応が難しい。本実施例では、このような反復パターンRPを持つ構造物から逆フローFlwRが検出され、そして、この逆フローFlwRは通常の接近方向を示す有効フローFlwの検出頻度と同程度の確率で発生することを利用し、誤判定を回避する。
つまり、本実施例では、接近車MAからの接近方向フロー発生頻度(逆フローFlwRの発生頻度は低い)、反復パターンRPからの接近、及び逆フローFlwRの発生頻度(同程度発生)の違いを利用して、誤検出を回避する。
つまり、本実施例では、接近車MAからの接近方向フロー発生頻度(逆フローFlwRの発生頻度は低い)、反復パターンRPからの接近、及び逆フローFlwRの発生頻度(同程度発生)の違いを利用して、誤検出を回避する。
反復パターンRP以外の背景からも、逆フローFlwRおよび他方向の誤検出フローFlwが発生する。このようなフローFlwについては通常どおり手順F1-3の段階でほぼ誤検出フローFlwとして除去される。
(1) まず背景の大部分では特徴量FEに乏しくなる傾向が強いのでマッチング判定時に除去される。
(2) 特に遠方に存在する背景に関してこの傾向が強い(モニタ上の表示サイズが小さくなるため、画素情報量が低下しコントラストがとりにくくなる)。乏しいコントラストでは仮にマッチング判定時に一致度ADの条件が満たされた場合でもフローFlwの方向があいまいで定まりにくい(周囲の至る箇所で一致する=一部は対象外と判定可能)。大多数のあいまいなフローFlwに関しては計測マップの速度判定や移動量判別によって除去される。
(3) さらに遠方の背景については計測マップ有効範囲の確認で除去できる。
つまり反復パターンRP以外の背景で発生するフローFlwは速度等を利用した無効判定により除去されるので、接近車MAの誤検出の要因となることは非常に稀なケースとなる。
仮に計測マップを使用した無効判定が外乱・ノイズの影響で上手く機能しない場合、接近車MA以外の多くの対象は、相対速度がマイナスのため、接近フローFlwは通常検出されない。外乱の影響で一時的、または例外的に接近フローFlwを誤検出した場合でも、当該対象から連続して接近フローFlwが誤検出される確率は非常に低い。接近フローFlwが連続検出されない場合、対応するFlwGあるいは、フィードフォワードテーブル、履歴テーブル等も割り当てられないので、パススイッチ記録処理も機能しない。つまり、繰り返しパターン以外から検出された真逆フローは、手順1-3の様に無効フローと共に除外される。
しかし、白線等の繰り返しパターン位置においては、図9の様に形状的・構造的な特性から相対速度がマイナスであるにも関わらず、連続して接近フローを誤検出する恐れが高いため、対策が必要となる。
(1) まず背景の大部分では特徴量FEに乏しくなる傾向が強いのでマッチング判定時に除去される。
(2) 特に遠方に存在する背景に関してこの傾向が強い(モニタ上の表示サイズが小さくなるため、画素情報量が低下しコントラストがとりにくくなる)。乏しいコントラストでは仮にマッチング判定時に一致度ADの条件が満たされた場合でもフローFlwの方向があいまいで定まりにくい(周囲の至る箇所で一致する=一部は対象外と判定可能)。大多数のあいまいなフローFlwに関しては計測マップの速度判定や移動量判別によって除去される。
(3) さらに遠方の背景については計測マップ有効範囲の確認で除去できる。
つまり反復パターンRP以外の背景で発生するフローFlwは速度等を利用した無効判定により除去されるので、接近車MAの誤検出の要因となることは非常に稀なケースとなる。
仮に計測マップを使用した無効判定が外乱・ノイズの影響で上手く機能しない場合、接近車MA以外の多くの対象は、相対速度がマイナスのため、接近フローFlwは通常検出されない。外乱の影響で一時的、または例外的に接近フローFlwを誤検出した場合でも、当該対象から連続して接近フローFlwが誤検出される確率は非常に低い。接近フローFlwが連続検出されない場合、対応するFlwGあるいは、フィードフォワードテーブル、履歴テーブル等も割り当てられないので、パススイッチ記録処理も機能しない。つまり、繰り返しパターン以外から検出された真逆フローは、手順1-3の様に無効フローと共に除外される。
しかし、白線等の繰り返しパターン位置においては、図9の様に形状的・構造的な特性から相対速度がマイナスであるにも関わらず、連続して接近フローを誤検出する恐れが高いため、対策が必要となる。
手順F5-1
無効なフローFlwを除去する際（ステップＳ３３，Ｓ５３）、真後ろ方向(速度X ≒ 0、速度Z ＜ 0)となるフローFlwを逆フローFlwRとして別途記録する。この結果、図３１に示すように、接近車MAを示す有効フローFlw、白線(反復パターンRP)位置に生じる誤検出フローFlwおよび逆フローFlwRが抽出される。反復パターンRP以外の背景や、あいまいなフローFlw(ノイズ)は除去される。
自車MT直進の速度を速度X ≒ 0、速度Z ＞ 0と仮定すると逆フローFlwRの速度成分が「速度X ≒ 0、速度Z ＜ 0」と予測できる。
図３１に、図２７に逆フローFlwRを重ねた状態を示し、図３２に逆フローFlwRの抜粋を示す。
無効なフローFlwを除去する際（ステップＳ３３，Ｓ５３）、真後ろ方向(速度X ≒ 0、速度Z ＜ 0)となるフローFlwを逆フローFlwRとして別途記録する。この結果、図３１に示すように、接近車MAを示す有効フローFlw、白線(反復パターンRP)位置に生じる誤検出フローFlwおよび逆フローFlwRが抽出される。反復パターンRP以外の背景や、あいまいなフローFlw(ノイズ)は除去される。
自車MT直進の速度を速度X ≒ 0、速度Z ＞ 0と仮定すると逆フローFlwRの速度成分が「速度X ≒ 0、速度Z ＜ 0」と予測できる。
図３１に、図２７に逆フローFlwRを重ねた状態を示し、図３２に逆フローFlwRの抜粋を示す。
手順F5-2
図２６に示す例と同様に今回は白線上のフローFlwを代表フローFlwの例にとって処理を進める。
図３３に、取り出した代表フローFlw(子フローFlw含む)と、グループFlwGにかかる逆フローFlwRの一例を示す。
この例では、逆フローFlwRが発生したことを記録するために、グループFlwG数分のフィードフォワード予測処理用のパススイッチを設ける。子フローFlw設定時のグループ領域GA(=2回目以降で動的区画DTが存在する場合は統合したグループ領域GA)に対して、逆フローFlwRが重なる場合は、該当グループFlwGに対応するパススイッチをONとする。逆フローFlwRがなければスイッチはOFFのままとする。
図２６に示す例と同様に今回は白線上のフローFlwを代表フローFlwの例にとって処理を進める。
図３３に、取り出した代表フローFlw(子フローFlw含む)と、グループFlwGにかかる逆フローFlwRの一例を示す。
この例では、逆フローFlwRが発生したことを記録するために、グループFlwG数分のフィードフォワード予測処理用のパススイッチを設ける。子フローFlw設定時のグループ領域GA(=2回目以降で動的区画DTが存在する場合は統合したグループ領域GA)に対して、逆フローFlwRが重なる場合は、該当グループFlwGに対応するパススイッチをONとする。逆フローFlwRがなければスイッチはOFFのままとする。
手順F5-3
全グループFlwGに対して手順F5-2までの処理を完了させる。処理完了後、パススイッチがONとなったグループFlwGに対して、該当するグループFlwGに関してはグループFlwGテーブルの保留フローFlwの出現を1ポイント加算し、グループFlwGテーブルに記録する。
今回は逆フローFlwRが複数本、同一グループ領域GAに発生した場合でもグループFlwGテーブル上のカウント増加数は1とする。
全グループFlwGに対して手順F5-2までの処理を完了させる。処理完了後、パススイッチがONとなったグループFlwGに対して、該当するグループFlwGに関してはグループFlwGテーブルの保留フローFlwの出現を1ポイント加算し、グループFlwGテーブルに記録する。
今回は逆フローFlwRが複数本、同一グループ領域GAに発生した場合でもグループFlwGテーブル上のカウント増加数は1とする。
手順F5-4
全ての予測対象フローFlwに対する処理終了後、次の画像IM取得前に全てのパススイッチをOFFリセットする。
全ての予測対象フローFlwに対する処理終了後、次の画像IM取得前に全てのパススイッチをOFFリセットする。
手順F5-5
手順F4-1からに沿って、動的区画DT位置から検出されたフローFlwに関して予測処理（フィードフォワード）による接近車MAの判定を行う。但し、手順F5-4にてグループFlwGのパススイッチがONとなった場合、そのグループFlwGの保留フロー出現回数に応じて予測領域FAの大きさ(表示ブロック半径BDrや表示ブロック面積BDa)を縮小する。予測領域FAは図３４に示す例から図３５に示す例のように縮小制限される。
予測領域FAのサイズを制限することで、より実際のフローFlwと予測対象フローFlwの終点が一致するもの(誤差の小さいもの)でなければ連続検出のためのグループFlwGカウントは難しくなる。よってグループFlwGの連続検出カウントを稼グためのフロー判定精度を厳しく強化できる(あいまいなものはグループ領域GA内のフロー検出カウントに寄与しない)。
今回の例では、履歴のカウント回数Nに対して半径BDr=表示マップによる表示ブロック半径BDr ÷ 2^Nを採用する。但し、例では半径Rが2以下となった場合はRを下限値2でクリップする。
手順F4-1からに沿って、動的区画DT位置から検出されたフローFlwに関して予測処理（フィードフォワード）による接近車MAの判定を行う。但し、手順F5-4にてグループFlwGのパススイッチがONとなった場合、そのグループFlwGの保留フロー出現回数に応じて予測領域FAの大きさ(表示ブロック半径BDrや表示ブロック面積BDa)を縮小する。予測領域FAは図３４に示す例から図３５に示す例のように縮小制限される。
予測領域FAのサイズを制限することで、より実際のフローFlwと予測対象フローFlwの終点が一致するもの(誤差の小さいもの)でなければ連続検出のためのグループFlwGカウントは難しくなる。よってグループFlwGの連続検出カウントを稼グためのフロー判定精度を厳しく強化できる(あいまいなものはグループ領域GA内のフロー検出カウントに寄与しない)。
今回の例では、履歴のカウント回数Nに対して半径BDr=表示マップによる表示ブロック半径BDr ÷ 2^Nを採用する。但し、例では半径Rが2以下となった場合はRを下限値2でクリップする。
手順F5-4
全ての予測対象フローFlwについてグループFlwG別のグループFlwGカウント追加判定処理を完了する。各グループFlwG単位での判定の際、グループFlwG検出カウントがしきい値を超えた場合に、グループFlwGテーブルに加える連続検出カウントの加算方法を以下のように変更する。
・手順F5-2でパススイッチがONとなったグループFlwGで検出があった際、連続検出カウントを1ポイント加算する。さらに、手順F4-6の連続検出カウントの累積値しきい値による接近車MA検出判定作業をパスする。
・パススイッチがOFFのグループFlwG検出については、連続検出カウントを2ポイント加算する(加算ポイントを2倍にする)。
全ての予測対象フローFlwについてグループFlwG別のグループFlwGカウント追加判定処理を完了する。各グループFlwG単位での判定の際、グループFlwG検出カウントがしきい値を超えた場合に、グループFlwGテーブルに加える連続検出カウントの加算方法を以下のように変更する。
・手順F5-2でパススイッチがONとなったグループFlwGで検出があった際、連続検出カウントを1ポイント加算する。さらに、手順F4-6の連続検出カウントの累積値しきい値による接近車MA検出判定作業をパスする。
・パススイッチがOFFのグループFlwG検出については、連続検出カウントを2ポイント加算する(加算ポイントを2倍にする)。
また、手順F4-6の接近車MAの検出判定を、今回の例では次のように変更する。
(連続検出カウントの累積値 ÷ 2) ≧ しきい値(任意定数) + a ×保留フロー出現回数
今回の例ではしきい値 = 2(手順F4-7と同じ設定)
aは任意係数で、例えばa = 1
(連続検出カウントの累積値 ÷ 2) ≧ しきい値(任意定数) + a ×保留フロー出現回数
今回の例ではしきい値 = 2(手順F4-7と同じ設定)
aは任意係数で、例えばa = 1
図２７に示すのように、追加する動的区画DTの増加、基礎区画BTを含めたグループ領域GAの統合により、処理が進行するほど疑わしいポイントでの反復パターンRPの検出感度を向上できる。また同様に、自車MTとの相対距離が近づくほど反復パターンRPの検出感度を確保できる。
図３６は図２７の白線位置に重なるフローFlwの連続検出に逆フローFlwRを重ねた1回目処理の例を示す説明図である。
図３７は図２８の白線位置に重なるフローFlwの誤検出時(親子フローFlw)に逆フローFlwRを重ねた2回目処理の一例を示す説明図である。
図３８は図２９の白線位置に重なるフローFlwの誤検出時(親子フローFlw)に逆フローFlwRを重ねた4回目処理の一例を示す説明図である。
図３９は図３０の白線位置に重なるフローFlwの誤検出回避時(フィードフォワード予測)の4回目処理の一例を示す説明図である。
このように、検出した逆向きパターンにより、繰り返パターンの存在を予知し、疑わしいグループFlwGについては、接近方向のフローFlwによる連続検出回数と逆フローFlwRの検出履歴の発生頻度によるバランスで制約を設けることで、誤検出を回避することができる。
図４０（Ａ）（Ｂ）に、逆向きフローFlwR判定処理の効果を示す画像例として、0.5秒間の一連のシステム動作結果例を示す。
図３６は図２７の白線位置に重なるフローFlwの連続検出に逆フローFlwRを重ねた1回目処理の例を示す説明図である。
図３７は図２８の白線位置に重なるフローFlwの誤検出時(親子フローFlw)に逆フローFlwRを重ねた2回目処理の一例を示す説明図である。
図３８は図２９の白線位置に重なるフローFlwの誤検出時(親子フローFlw)に逆フローFlwRを重ねた4回目処理の一例を示す説明図である。
図３９は図３０の白線位置に重なるフローFlwの誤検出回避時(フィードフォワード予測)の4回目処理の一例を示す説明図である。
このように、検出した逆向きパターンにより、繰り返パターンの存在を予知し、疑わしいグループFlwGについては、接近方向のフローFlwによる連続検出回数と逆フローFlwRの検出履歴の発生頻度によるバランスで制約を設けることで、誤検出を回避することができる。
図４０（Ａ）（Ｂ）に、逆向きフローFlwR判定処理の効果を示す画像例として、0.5秒間の一連のシステム動作結果例を示す。
上述のように、保留フロー減衰制御により、保留フローFlwの連結確率を低下させるため、接近車MA検出の感度を維持しつつ静止物によるフローFlwなどノイズ除去することができる。
また、接近車MAの判定にて予測領域FAを描画する際にも、保留フローFlwについては予測領域FAを小さくすることで、接近車MAの近接とは異なる移動（静止を含む）をするノイズを接近車MAと誤判定する可能性を低下させることができる。
このように、保留フローFlwを有効フローFlwと同様に処理しつつ、グループ化や接近車MA判定段階で抑制的に取り扱うことで、有効フローFlwを無効判定してしまうほどに厳しいしきい値を採用しなくとも、ノイズによるフローFlwによる誤検出を抑止することができる。これは、その他の複雑な処理を不要とするため、少ない計算量で精度良く接近車MAの近接を判定するために極めて有用な制御である。
また、接近車MAの判定にて予測領域FAを描画する際にも、保留フローFlwについては予測領域FAを小さくすることで、接近車MAの近接とは異なる移動（静止を含む）をするノイズを接近車MAと誤判定する可能性を低下させることができる。
このように、保留フローFlwを有効フローFlwと同様に処理しつつ、グループ化や接近車MA判定段階で抑制的に取り扱うことで、有効フローFlwを無効判定してしまうほどに厳しいしきい値を採用しなくとも、ノイズによるフローFlwによる誤検出を抑止することができる。これは、その他の複雑な処理を不要とするため、少ない計算量で精度良く接近車MAの近接を判定するために極めて有用な制御である。
・その他、本実施例では、簡易EOF評価(手順1-3)、表示マップ作成、XZtoUVマッフ作成、および逆フローFlwRの評価(速度X≒0、速度Z＜0)等は全て計測マップ作成に関わる計算モでルに基づき実施することができる。
・そして、他特許のように白線検出や道路領域の選定処理などの別アプリケーションを組み込まず、フローFlwとフロー群のグループ化処理だけで後続車両の接近検出を行うことができるシンプルな構成であるため、より簡易的なシステム(安価な)でも高精度の接近車MAの検出結果を得ることができる。
・本方式を採用したシステムでは、現状のテスト結果で不検出≒0件、誤検出1.5件/35分程度(晴天時:高速走行約5分、市街地走行約30分)の結果を得ている。
・そして、他特許のように白線検出や道路領域の選定処理などの別アプリケーションを組み込まず、フローFlwとフロー群のグループ化処理だけで後続車両の接近検出を行うことができるシンプルな構成であるため、より簡易的なシステム(安価な)でも高精度の接近車MAの検出結果を得ることができる。
・本方式を採用したシステムでは、現状のテスト結果で不検出≒0件、誤検出1.5件/35分程度(晴天時:高速走行約5分、市街地走行約30分)の結果を得ている。
・2.1 逆フローFlwRの履歴記録と予測判定処理の効果
上述のように、接近車候補判定処理６８が、予測領域FAの中心がフロー予測終点FApである際には、当該予測領域FAに含まれるフロー終点の数を算出し、逆に、予測領域FAの中心がフロー終点である際には、当該予測領域FAに含まれるフロー予測終点FApの数を算出する。そして、予測領域減衰制御処理８０が、前記保留フロー出現回数に応じて前記予測領域FAの大きさを小さく制御するため、逆フローFlwRを含むグループFlwGでは、予測領域FAに含まれるフロー予測終点FAp又はフロー終点の数が少なくなるように制御されて、グループFlwGを接近車MA候補と判定する検出条件が厳しくなる。つまり、保留フロー減衰制御部７２による制御と同様、逆フローFlwRを含むグループFlwGの検出確率を低下させる。しかも、予測領域減衰制御処理８０が、前記保留フロー出現回数に応じて前記予測領域FAの大きさを小さく制御するため、時間的に連続する処理にて、同一のグループFlwGで複数回保留フローFlwが出現する際には、出現回数に応じて予測領域FAが小さくなり、接近車MA候補として検出される可能性が低下していく。一方、保留フローFlwの出現回数が少なければ、接近車MA候補として検出される可能性を高める。従って、連続的に逆フローFlwRが出現した場合には接近車MA候補として検出する可能性を低下させ、逆フローFlwRが単発的に出現する際には接近車MA候補として検出する可能性を一定以上には低めない。このように、本実施例では、連続処理により接近車MAの検出精度を高めることができる。
上述のように、接近車候補判定処理６８が、予測領域FAの中心がフロー予測終点FApである際には、当該予測領域FAに含まれるフロー終点の数を算出し、逆に、予測領域FAの中心がフロー終点である際には、当該予測領域FAに含まれるフロー予測終点FApの数を算出する。そして、予測領域減衰制御処理８０が、前記保留フロー出現回数に応じて前記予測領域FAの大きさを小さく制御するため、逆フローFlwRを含むグループFlwGでは、予測領域FAに含まれるフロー予測終点FAp又はフロー終点の数が少なくなるように制御されて、グループFlwGを接近車MA候補と判定する検出条件が厳しくなる。つまり、保留フロー減衰制御部７２による制御と同様、逆フローFlwRを含むグループFlwGの検出確率を低下させる。しかも、予測領域減衰制御処理８０が、前記保留フロー出現回数に応じて前記予測領域FAの大きさを小さく制御するため、時間的に連続する処理にて、同一のグループFlwGで複数回保留フローFlwが出現する際には、出現回数に応じて予測領域FAが小さくなり、接近車MA候補として検出される可能性が低下していく。一方、保留フローFlwの出現回数が少なければ、接近車MA候補として検出される可能性を高める。従って、連続的に逆フローFlwRが出現した場合には接近車MA候補として検出する可能性を低下させ、逆フローFlwRが単発的に出現する際には接近車MA候補として検出する可能性を一定以上には低めない。このように、本実施例では、連続処理により接近車MAの検出精度を高めることができる。
１０ カメラ
１２ フロー抽出部
３６ 基礎区画配置部
３８ 動的区画配置部
４０ 特徴量算出部
４２ 区画配置部
４４ グループ判定部
４６ 接近車検出部
４８ グループ継続処理
５０ グループ探索処理
５２ 検出回数比較処理
５４ グループ帰属化処理
５６ 統合バッファ
６２ 予測終点算出処理
６４ 予測バッファ
６６ 予測領域描画処理
６８ 接近車候補判定処理
７０ 有効性判定部
７２ 保留フロー減衰制御部
７４ フロー方向算出部
７６ 反復パターン判定部
７８ 連続性管理部
８０ 予測領域減衰制御処理
AD 一致度
FE 特徴量
Flw フロー
FlwG グループ
IM 画像
MT 自車
MA 接近車
OC カメラ座標原点
UV 画像座標系
xyz カメラ座標系
XYZ ワールド座標系
BT 基礎区画
DT 動的区画
DTc 動的中心区画
DTs 動的補完区画
BD 表示ブロック
BDa 表示ブロック面積
BDr 表示ブロック半径
IB 仮想ブロック
RP 反復パターン
FlwN 正フロー
FlwR 逆フロー
GA グループ領域
FA 予測領域
FAp フロー予測終点
FlwP 前回フロー
FlwF 予測フロー
１２ フロー抽出部
３６ 基礎区画配置部
３８ 動的区画配置部
４０ 特徴量算出部
４２ 区画配置部
４４ グループ判定部
４６ 接近車検出部
４８ グループ継続処理
５０ グループ探索処理
５２ 検出回数比較処理
５４ グループ帰属化処理
５６ 統合バッファ
６２ 予測終点算出処理
６４ 予測バッファ
６６ 予測領域描画処理
６８ 接近車候補判定処理
７０ 有効性判定部
７２ 保留フロー減衰制御部
７４ フロー方向算出部
７６ 反復パターン判定部
７８ 連続性管理部
８０ 予測領域減衰制御処理
AD 一致度
FE 特徴量
Flw フロー
FlwG グループ
IM 画像
MT 自車
MA 接近車
OC カメラ座標原点
UV 画像座標系
xyz カメラ座標系
XYZ ワールド座標系
BT 基礎区画
DT 動的区画
DTc 動的中心区画
DTs 動的補完区画
BD 表示ブロック
BDa 表示ブロック面積
BDr 表示ブロック半径
IB 仮想ブロック
RP 反復パターン
FlwN 正フロー
FlwR 逆フロー
GA グループ領域
FA 予測領域
FAp フロー予測終点
FlwP 前回フロー
FlwF 予測フロー
Claims (6)
- 自車の周辺を連続して撮像するカメラと、
画像のフロー検出対象となる領域に予め定められた大きさの複数の区画を配置する区画配置部と、
前記連続する前後の前記画像間で一致度が高い区画画像を探索することで前記フローを抽出するフロー抽出部と、
実空間での前記フローの向きを算出すると共に前記自車の進行方向とは逆向きの逆フローを抽出するフロー方向算出部と、
前記逆フローを前記自車の前記周辺に存在する反復パターンと判定する反復パターン判定部と、
を備えたことを特徴とするオプティカルフロー処理装置。 - 前記反復パターン判定部が、前記逆フローの一定範囲内に当該逆フローの発生確率に近い確率で発生した進行向きの正フローがある際には、当該正フローを当該逆フローと同一の反復パターンと判定する、
ことを特徴とする請求項１記載のオプティカルフロー処理装置。 - 予め定められた無効条件を満たすフローを無効フローに区分し、前記逆フロー及び前記正フローを有効無効の判定保留である保留フローに区分し、前記無効でも保留でもないフローを有効フローと区分する有効性判定部と、
前記有効フロー及び前記保留フローに予め定められたグループ条件を適用することで複数のフローのグループ化を判定するグループ判定部と、
前記画像毎の前記複数のグループに予め定められた検出条件を適用することで接近車の候補となるグループを検出する接近車検出部と、
前記グループ化及び／又は前記グループの検出に際して、前記保留フローに適用する前記グループ条件及び／又は前記検出条件を減衰させることで、当該保留フローに対して前記有効フローに適用する条件より厳しい条件を適用させる保留フロー減衰制御部と、
を備えたことを特徴とする請求項２記載のオプティカルフロー処理装置。 - 自車の周辺を連続して撮像する撮像工程と、
画像のフロー検出対象となる領域に予め定められた大きさの複数の区画を配置する区画配置工程と、
前記連続する前後の前記画像間で一致度が高い前記区画画像を探索することで前記フローを抽出するフロー抽出工程と、
実空間での前記フローの向きを算出すると共に前記自車MTの進行方向とは逆向きの逆フローを抽出するフロー方向算出工程と、
前記逆フローを前記自車の前記周辺に存在する反復パターンと判定する反復パターン判定工程と、
を備えたことを特徴とするオプティカルフロー処理方法。 - 請求項４記載の方法を演算装置を用いて実行するためのオプティカルフロー処理用プログラム。
- 自車の周辺を連続して撮像するカメラと、
前記画像のフロー検出対象となる領域に予め定められた大きさの複数の基礎区画を配置すると共に、検出される前記フローの位置に応じて当該基礎区画と同一の大きさの動的区画を配置する区画配置部と、
前記連続する前後の前記画像間で一致度が高い前記区画画像を探索することで前記フローを抽出するフロー抽出部と、
実空間での前記フローの向きを算出すると共に前記自車の進行方向とは逆向きの逆フローを抽出するフロー方向算出部と、
予め定められた無効条件を満たすフローを無効フローに区分し、前記逆フローを有効無効の判定保留である保留フローに区分し、前記無効でも保留でもないフローを有効フローと区分する有効性判定部と、
前記有効フロー及び前記保留フローに予め定められたグループ条件を適用することで複数のフローのグループ化を判定すると共に、各グループに前記保留フローが含まれているか否かを判定するグループ判定部と、
前記動的区画の配置を介して前記グループの連続性を管理すると共に画像毎で当該グループ毎の保留フローの出現回数を管理する連続性管理部と、
前記画像毎の前記複数のグループに予め定められた検出条件を適用することで接近車の候補となるグループを検出する接近車検出部とを備え、
前記接近車検出部が、グループ毎に、
当該グループに属する各フローの始点と当該各フローの直近の速度とを加算することで当該各フローのフロー予測終点を算出すると共に、当該フロー終点を求める予測終点算出処理と、
前記フロー予測終点又は前記フロー終点の一方を中心として予測領域を描画する予測領域描画処理と、
前記フロー予測終点又は前記フロー終点の他方が前記予測領域に予め定められたしきい値以上含まれる際に、当該グループを接近車候補と判定する接近車候補判定処理と、
前記保留フロー出現回数に応じて前記予測領域の大きさを小さく制御する予測領域減衰制御処理とを備えた、
ことを特徴とする周辺車両検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012010556A JP2013149177A (ja) | 2012-01-22 | 2012-01-22 | オプティカルフロー処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012010556A JP2013149177A (ja) | 2012-01-22 | 2012-01-22 | オプティカルフロー処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013149177A true JP2013149177A (ja) | 2013-08-01 |
Family
ID=49046594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012010556A Pending JP2013149177A (ja) | 2012-01-22 | 2012-01-22 | オプティカルフロー処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013149177A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016009330A (ja) * | 2014-06-24 | 2016-01-18 | 本田技研工業株式会社 | 立体物認識装置 |
| JP2017161281A (ja) * | 2016-03-08 | 2017-09-14 | オムロン株式会社 | 自転車検知装置、自転車検知方法、および自転車検知プログラム |
| CN109475326A (zh) * | 2016-07-08 | 2019-03-15 | 株式会社ＲｅＴｅｃｈ | 姿势评价系统 |
| CN110163889A (zh) * | 2018-10-15 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、目标跟踪装置、目标跟踪设备 |
-
2012
- 2012-01-22 JP JP2012010556A patent/JP2013149177A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016009330A (ja) * | 2014-06-24 | 2016-01-18 | 本田技研工業株式会社 | 立体物認識装置 |
| JP2017161281A (ja) * | 2016-03-08 | 2017-09-14 | オムロン株式会社 | 自転車検知装置、自転車検知方法、および自転車検知プログラム |
| CN109475326A (zh) * | 2016-07-08 | 2019-03-15 | 株式会社ＲｅＴｅｃｈ | 姿势评价系统 |
| CN109475326B (zh) * | 2016-07-08 | 2021-08-13 | 株式会社ＲｅＴｅｃｈ | 姿势评价系统 |
| CN110163889A (zh) * | 2018-10-15 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、目标跟踪装置、目标跟踪设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112292711B (zh) | 关联lidar数据和图像数据 | |
| Gupte et al. | Detection and classification of vehicles | |
| US10031231B2 (en) | Lidar object detection system for automated vehicles | |
| US8406472B2 (en) | Method and system for processing image data | |
| JP6226368B2 (ja) | 車両監視装置、および車両監視方法 | |
| CN107192994A (zh) | 多线激光雷达海量点云数据快速有效提取及车辆、车道线特征识别方法 | |
| JP2021026644A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
| CN109001757A (zh) | 一种基于2d激光雷达的车位智能检测方法 | |
| CN106934817A (zh) | 基于多属性的多目标跟踪方法及装置 | |
| JP2008262333A (ja) | 路面判別装置および路面判別方法 | |
| CN106023594A (zh) | 一种车位遮挡的判定方法、装置及车辆管理系统 | |
| JP2013149177A (ja) | オプティカルフロー処理装置 | |
| CN105654031A (zh) | 用于物体检测的系统和方法 | |
| CN110619674A (zh) | 用于事故和警情场景还原的三维增强现实设备及方法 | |
| EP3555854B1 (en) | A method of tracking objects in a scene | |
| CN111382735A (zh) | 夜间车辆检测方法、装置、设备及存储介质 | |
| US20220171975A1 (en) | Method for Determining a Semantic Free Space | |
| CN101604380B (zh) | 人头识别直径搜索法 | |
| JP7095559B2 (ja) | 区画線検出装置及び区画線検出方法 | |
| JP4575315B2 (ja) | 物体検出装置及びその方法 | |
| JP2013149176A (ja) | オプティカルフロー処理装置 | |
| CN104931024B (zh) | 障碍物检测装置 | |
| CN116052120A (zh) | 基于图像增强和多传感器融合的挖掘机夜间物体检测方法 | |
| CN113658222A (zh) | 一种车辆检测跟踪方法及装置 | |
| JP2004251886A (ja) | 周囲物体検出装置 |