JP2017084067A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】ユーザに対して物体の存在を通知する情報の質を向上させることができる画像処理装置および画像処理方法を提供すること。【解決手段】本実施形態に係る画像処理装置は、特徴点取得部と、グループ化処理部と、マスク処理部と、強調画像生成部と、重畳画像生成部とを備える。特徴点取得部は、入力されるフレーム画像から物体の特徴点を複数取得する。グループ化処理部は、入力される複数の特徴点に対してグループ化処理を行って出力する。マスク処理部は、入力される複数の特徴点に対してマスク処理を行って出力する。強調画像生成部は、特徴点取得部がグループ化処理部へ特徴点を入力し、グループ化処理部がマスク処理部へ特徴点を出力する場合に、マスク処理後の特徴点のグループに対応する物体の強調画像を生成する。重畳画像生成部は、強調画像をフレーム画像に重畳した重畳画像を生成して出力する。【選択図】図３

Description

本発明の実施形態は、画像処理装置および画像処理方法に関する。

従来、カメラによって撮像される複数のフレーム画像内に存在する物体のエッジを抽出し、エッジのフレーム画像内における左右方向の移動速度を算出し、エッジの左右方向の移動速度に基づいて、フレーム画像内に存在する道路境界を検出する物体検出装置がある（例えば、特許文献１参照）。

この種の物体検出装置は、一般に、撮像装置から順次入力されるフレーム画像から各フレーム画像に写る立体物などの物体の特徴点を複数取得し、フレーム画像中でカメラから比較的遠い一部の領域に含まれる特徴点を取得した複数の特徴点から排除するマスク処理を行う。

その後、物体検出装置は、マスク処理後に残った複数の特徴点を同一物体毎のグループに振分けるグループ化処理を行い、例えば、特徴点のグループを囲む枠画像をフレーム画像中の対応する物体に重畳することにより、ユーザに物体の存在を通知する。

特開２００６−２６８０９７号公報

しかしながら、かかる装置は、枠画像によって物体の全体ではなく一部だけを囲んだフレーム画像をユーザに提供する場合がある。かかるフレーム画像は、ユーザに物体の存在を通知する情報として、情報の質が高いとは言えない。

本実施形態は、ユーザに対して物体の存在を通知する情報の質を向上させることができる画像処理装置および画像処理方法を提供することを目的とする。

本実施形態に係る画像処理装置は、特徴点取得部と、グループ化処理部と、マスク処理部と、強調画像生成部と、重畳画像生成部とを備える。特徴点取得部は、撮像装置から順次入力されるフレーム画像から各前記フレーム画像に写る物体の特徴点を複数取得する。グループ化処理部は、入力される複数の前記特徴点を同一物体毎のグループに振分けるグループ化処理を行って出力する。マスク処理部は、入力される複数の前記特徴点から前記フレーム画像中の一部の領域に含まれる特徴点を排除するマスク処理を行って出力する。強調画像生成部は、前記特徴点取得部が前記グループ化処理部へ前記特徴点を入力し、前記グループ化処理部が前記マスク処理部へ前記特徴点を出力する場合に、前記マスク処理部から出力される前記特徴点のグループに対応する前記フレーム画像中の前記物体を強調する強調画像を生成する。重畳画像生成部は、前記強調画像生成部によって生成された前記強調画像を前記フレーム画像に重畳した重畳画像を生成して出力する。

本実施形態に係る画像処理装置および画像処理方法は、ユーザに対して物体の存在を通知する情報の質を向上させることができる。

図１は、実施形態に係る画像処理方法の対比例１を示す説明図である。 図２は、実施形態に係る画像処理方法の対比例２を示す説明図である。 図３は、実施形態に係る画像処理方法を示す説明図である。 図４は、実施形態に係る画像処理方法を示す説明図である。 図５は、実施形態に係る画像処理装置の構成を示す機能ブロック図である。 図６は、実施形態に係る立体物検知部の構成を示す機能ブロック図である。 図７は、実施形態に係る特徴点方式静止物点取得部の構成を示す機能ブロック図である。 図８は、実施形態に係る特徴点方式の説明図である。 図９は、実施形態に係る特徴点方式の説明図である。 図１０は、実施形態に係る背景差分方式静止物点取得部の構成を示す機能ブロック図である。 図１１は、実施形態に係る特徴点画像生成部の動作を示す説明図である。 図１２は、実施形態に係るグループ化処理部およびマスク処理部の処理順序を示す説明図である。 図１３は、実施形態に係るグループ化処理部およびマスク処理部の処理順序を示す説明図である。 図１４は、実施形態に係るグループ化処理の閾値の説明図である。 図１５は、実施形態に係るグループ化処理の閾値の説明図である。 図１６は、実施形態に係るマスクの形状変化を示す説明図である。 図１７は、実施形態に係るグループ選択部の構成を示す機能ブロック図である。 図１８は、実施形態に係るグループ選択部および領域分割部の動作の一例を示す説明図である。 図１９は、実施形態に係る画像処理装置が実行する処理を示すフローチャートである。 図２０は、実施形態の変形例１に係る画像処理装置の画像処理方法を示す説明図である。 図２１は、実施形態の変形例２に係る画像処理装置の画像処理方法を示す説明図である。 図２２は、実施形態の変形例３に係る画像処理装置の画像処理方法を示す説明図である。 図２３は、実施形態の変形例４に係る画像処理装置の画像処理方法を示す説明図である。

以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

以下では、実施形態に係る画像処理装置が、車載カメラによって連続して撮像される自車後方の画像（以下、「フレーム画像」と記載する）に対して画像処理を行い、画像処理後のフレーム画像を車室内に設けられる表示装置へ出力する場合を例に挙げて説明する。

なお、実施形態に係る画像処理装置が画像処理する画像は、車両の後方を撮像した画像に限定されるものではなく、車両の前方や側方を撮像した画像であってもよい。また、実施形態に係る画像処理装置が画像の入力を受け付ける撮像装置は、車載カメラに限定されるものではなく、例えば、スマートフォン等のモバイル機器に搭載されたカメラモジュール、デジタルカメラ、街頭や住居に設置される防犯カメラ等であってもよい。

以下では、まず、実施形態に係る画像処理方法の対比例について説明した後、実施形態に係る画像処理方法および画像処理装置について説明する。図１は、実施形態に係る画像処理方法の対比例１を示す説明図であり、図２は、実施形態に係る画像処理方法の対比例２を示す説明図である。また、図３および図４は、実施形態に係る画像処理方法を示す説明図である。

図１（ａ）に示すように、対比例１では、フレーム画像Ｐ中に、立ち止った人物（静止物）、他車（移動物）、建物（静止物）および樹木（静止物）などの物体が写っている場合、図１（ｂ）に示すように、フレーム画像Ｐから各物体（以下代表的に「立体物」と称する）の特徴点を取得する。

ここでの特徴点は、例えば、フレーム画像Ｐ中の立体物のエッジ等、各立体物の外形で際立った点のことである。かかる特徴点は、例えば、所謂特徴点方式や背景差分方式などの立体物検知法によって取得する。なお、特徴点方式や背景差分方式については、画像処理装置の説明と合わせて後述する。

続いて、対比例１では、図１（ｃ）に示すように、各特徴点が集中している領域を囲む枠画像（同図中の太線矩形枠）を生成し、フレーム画像Ｐに重畳させて表示装置へ出力する。かかる対比例１によれば、ユーザへ自車後方に障害物がある旨を通知することができるが、フレーム画像Ｐに重畳される枠画像数が多過ぎて、ユーザに通知する障害物の情報量が過多となり、ユーザにとって見難くなる。

かかる問題を解消する方法として、例えば、図２に示す対比例２の画像処理方法がある。対比例２では、図１（ｂ）に示した複数の特徴点を取得した後、特徴点に対するマスク処理を行い、マスク処理後の特徴点をグループ化することによって、ユーザへ通知する障害物の情報が過多となることを抑制する。

具体的には、対比例２では、図２（ａ）に示すように、特徴点を取得したフレーム画像Ｐに対して、マスクＭを適用する。マスクＭは、自車後方の正面にあたるフレーム画像Ｐの中央領域Ｒで取得される静止物および移動物の特徴点を排除せず、中央領域Ｒの左右両端から中央領域Ｒの外側へ左右方向に所定距離だけ離れた位置までの側方領域Ｍ１で取得される静止物の特徴点を排除する。

また、マスクＭは、フレーム画像Ｐ中で中央領域Ｒおよび側方領域Ｍ１よりも外側の遠方領域Ｍ２で取得された静止物および移動物の特徴点を排除する。なお、図２（ａ）に示すマスクＭが特徴点を除外する領域は一例であり、これに限定されるものではない。

これにより、マスク処理後には、フレーム画像Ｐにおける中央領域Ｒに、静止物および移動物の特徴点が残り、側方領域Ｍ１に移動物の特徴点が残る。つまり、マスク処理によって、遠方領域Ｍ２では、全ての特徴点が排除され、側方領域Ｍ１では、静止物の特徴点が選択的に排除される。

したがって、対比例２によれば、フレーム画像Ｐが図１（ａ）に示すものの場合、走行安全性の観点からユーザへ通知する必要性が比較的低い遠方に存在する建物や樹木の特徴点を、マスク処理によって立体物の検知材料から排除することができる。

さらに、対比例２によれば、現時点で自車が後退しても衝突しない位置にあるが、今後衝突の可能性が生じる側方領域Ｍ１で移動中の他車については、立体物の検知材料として残すことができる。

続いて、対比例２では、図２（ｂ）に示すように、マスク処理後に残された複数の特徴点を同一立体物毎のグループＧ１，Ｇ２に振分けるグループ化処理を行う。ここで、グループＧ１は、移動中の特徴点のグループである。グループＧ２は、立ち止った人物の特徴点のグループである。

その後、対比例２では、図２（ｂ）に示す各グループＧ１，Ｇ２を囲む枠画像を生成し、図２（ｃ）に示すように、フレーム画像Ｐに枠画像（同図中の太線矩形枠）を重畳する。かかる対比例２によれば、自車が後退した場合に衝突の可能性がある立体物に対して、選択的に枠画像を重畳させることで、ユーザへ提供する障害物の情報が過多となることを抑制する。

しかしながら、対比例２では、フレーム画像から取得した全ての特徴点について、一律にマスク処理を行ってからグループ化処理を行うため、枠画像によって移動物の全体ではなく一部だけを囲んだフレーム画像をユーザに提供する場合がある。

具体的には、図２（ａ）に示すように、移動中の他車から取得した特徴点をマスク処理した後、図２（ｂ）に示すように、マスク処理で残った特徴点をグループ化処理すると、他車における特徴点のグループＧ１は、他車の前部分だけとなる。

このため、グループＧ１を囲む枠画像をフレーム画像Ｐに重畳した場合、図２（ｃ）に示すように、他車の前部分だけが枠画像によって囲まれたフレーム画像Ｐとなってしまう。このような枠画像を重畳したフレーム画像Ｐは、ユーザに障害物の存在を通知する情報として、情報の質が高いとは言えない。

そこで、実施形態に係る画像処理方法は、フレーム画像Ｐから取得する立体物の複数の特徴点のうち、移動物の特徴点については、グループ化処理を行った後にマスク処理を行い、静止物の特徴点については、マスク処理を行った後に、グループ化処理を行う。

具体的には、実施形態に係る画像処理方法（以下、「本画像処理方法」と記載する）は、図３（ａ）に示すように、フレーム画像Ｐから移動体である他車の複数の特徴点を取得してグループ化処理を行う。これにより、他車の特徴点のグループＧ３は、ほぼ他車全体を含む領域となる。

その後、本画像処理方法は、図３（ｂ）に示すように、グループ化処理後の特徴点のグループＧ３に対して、マスク処理を行う。なお、ここで適用するマスクＭは、図２（ａ）に示すものと同じマスクＭである。ただし、グループが占める領域の一部でも特徴点を排除しない領域と重なる場合は、当該グループの特徴点は排除せずに残される。したがって、図３（ｂ）に示すグループＧ３の特徴点は排除されずに残される。

続いて、本画像処理方法は、フレーム画像ＰにおけるグループＧ３が占める領域を、他車の特徴点が存在する領域として囲む枠画像を生成し、図３（ｃ）に示すように、枠画像（同図中の太線矩形枠）をフレーム画像Ｐに重畳する。

これにより、本画像処理方法は、側方領域Ｍ１に大半が侵入した他車のほぼ全体を囲む枠画像を生成することができるので、ユーザに障害物の存在を通知する情報として対比例２よりも質の高い枠画像を重畳したフレーム画像Ｐを生成することができる。

また、本画像処理方法は、フレーム画像Ｐ中の静止物を囲む枠画像を生成する場合、対比例と同様の方法によって、枠画像を生成する。具体的には、本画像処理装置は、フレーム画像Ｐ中の静止物を囲む枠画像を生成する場合、図４（ａ）に示すように、まず、フレーム画像Ｐから取得した静止物である人物、建物、および樹木の特徴点に対して、マスクＭを適用したマスク処理を行う。

その後、本画像処理方法は、図４（ｂ）に示すように、マスク処理によって排除されなかった人物の特徴点をグループＧ２とするグループ化処理を行う。そして、本画像処理方法は、グループＧ２を囲む枠画像を生成し、図４（ｃ）に示すように、枠画像（同図中の太線矩形枠）をフレーム画像Ｐに重畳する。

これにより、本画像処理方法は、フレーム画像Ｐ中の静止物のうち、自車に衝突する恐れのない遠方の建物および樹木に枠画像を重畳させることなく、自車が後退した場合に衝突する危険性のある後方正面の人物に枠画像を重畳させることができる。

次に、図５を参照して、実施形態に係る画像処理装置２について説明する。図５は、実施形態に係る画像処理装置２の構成を示す機能ブロック図である。図５に示すように、画像処理装置２は、自車の後方を撮像する車載カメラ１と車室内に設けられる表示装置３とに接続される。

かかる画像処理装置２は、例えば、ＦＰＧＡ（Field Programmable Gate Array）であり、設計されたプログラムを実行することによって機能する立体物検知部４と、描画処理部５とを備える。立体物検知部４および描画処理部５には、車載カメラ１から自車の後方が撮像された動画映像のフレーム画像Ｐが順次時系列で入力される。

立体物検知部４は、入力されるフレーム画像Ｐからフレーム画像Ｐに写る静止物と移動物とを検知して、静止物の検知結果と移動部の検知結果とを個別に描画処理部５へ出力する処理部である。また、立体物検知部４は、フレーム画像Ｐに基づいて、自車の移動量および旋回量を検出し、検出結果を描画処理部５へ出力する処理も行う。かかる立体物検知部４の詳細については、図６〜図１１を参照して後述する。

描画処理部５は、立体物検知部４から入力される検知結果に基づいて、フレーム画像Ｐ中の静止物および移動物をそれぞれ個別に囲む枠画像を生成し、車載カメラ１から入力されるフレーム画像Ｐに枠画像を重畳して表示装置３へ出力する処理部である。枠画像は、フレーム画像Ｐ中の静止物および移動物を強調する強調画像の一例である。

また、描画処理部５は、立体物検知部４から入力される自車の移動量および旋回量の検出結果に基づいて、自車の移動経路になると予測される予測ガイド線の画像（予測移動線画像）を生成してフレーム画像Ｐに重畳させる処理も行う。なお、描画処理部５は、自車の旋回量とは無関係に、自車後方の中央領域Ｒに対応する領域を示す固定ガイド線の画像を生成し、フレーム画像Ｐに重畳させる処理も行う。

ここで、図６〜図１１を参照して、立体物検知部４の構成および動作について説明する。図６は、実施形態に係る立体物検知部４の構成を示す機能ブロック図であり、図７は、実施形態に係る特徴点方式静止物点取得部６の構成を示す機能ブロック図である。

また、図８および図９は、実施形態に係る特徴点方式の説明図であり、図１０は、実施形態に係る背景差分方式静止物点取得部７の構成を示す機能ブロック図であり、図１１は、実施形態に係る特徴点画像生成部４２の動作を示す説明図である。

図６に示すように、立体物検知部４は、特徴点取得部４１と、特徴点画像生成部４２とを備える。特徴点取得部４１は、車載カメラ１から順次入力されるフレーム画像Ｐから各フレーム画像Ｐに写る立体物の特徴点を複数取得する処理部である。

また、特徴点取得部４１は、特徴点方式静止物点取得部６、背景差分方式静止物点取得部７、および背景差分方式移動物点取得部８を備える。特徴点方式静止物点取得部６は、特徴点方式を使用してフレーム画像Ｐにおける静止物の特徴点を取得し、取得した特徴点をプロットした画像を特徴点画像生成部４２へ出力する処理部である。

具体的には、特徴点方式静止物点取得部６は、自車の移動に伴うフレーム画像Ｐの遷移状態を特徴点で追跡し、特徴点の移動ベクトルから自車の移動推定を行うことでフレーム画像Ｐにおける静止物の位置を推定する処理部である。かかる特徴点方式静止物点取得部６は、図７に示すように、フレームメモリ６１、オプティカルフロー算出部６２、第１視点変換部６３、静止物検出部６４、および第２視点変換部６５とを備える。フレームメモリ６１は、車載カメラ１から入力されるフレーム画像Ｐを時系列に順次記憶してオプティカルフロー算出部６２へ出力するメモリである。

オプティカルフロー算出部６２は、フレーム画像Ｐにサンプル点を設定し、そのサンプル点が自車の移動に伴って移動した移動ベクトルをオプティカルフローとして算出して第１視点変換部６３へ出力する処理部である。

例えば、オプティカルフロー算出部６２は、図８（ｂ）に示す撮像された最新のフレーム画像Ｐを車載カメラ１から取得し、最新のフレーム画像Ｐよりも以前に撮像された図８（ａ）に示す１フレーム前のフレーム画像Ｐをフレームメモリ６１から取得する。

そして、オプティカルフロー算出部６２は、図８（ａ）に示すように、１フレーム前のフレーム画像Ｐ中に、複数個（例えば、数百個）のサンプル点（同図中の黒点）を設定する。その後、オプティカルフロー算出部６２は、１フレーム前のフレーム画像Ｐが撮像された時刻と、図８（ｂ）に示す最新のフレーム画像Ｐが撮像された２時刻間でのサンプル点の移動ベクトルをオプティカルフローとして算出する。

図８（ｂ）に示す黒点から延びる線分は、各サンプル点の移動ベクトルを示している。図７へ戻り、オプティカルフロー算出部６２は、車載カメラ１から最新のフレーム画像Ｐが入力される度に、順次オプティカルフローを算出して、第１視点変換部６３へ出力する。

第１視点変換部６３は、オプティカルフロー算出部６２から入力されるオプティカルフローを路面展開して、静止物検出部６４へ出力する処理部である。ここでの路面展開とは、算出されたフレーム画像Ｐ上のオプティカルフローを路面上（ワールド座標上）の移動ベクトル（オプティカルフロー）へ変換する処理である。

かかる第１視点変換部６３は、図９に示すように、フレーム画像Ｐ上のオプティカルフローＢ１を路面上へ投影することによって、路面上のオプティカルフローＢ２を算出する。第１視点変換部６３は、車載カメラ１の取付位置および俯角を用いた変換アルゴリズムを使用して路面上のオプティカルフローＢ２を算出する。

車載カメラ１のフレーム画像Ｐ上のオプティカルフローＢ１は、路面Ｇに投影されることで路面Ｇ上のオプティカルフローＢ２に変換される。車載カメラ１の視点からフレーム画像Ｐ上のオプティカルフローＢ１の始点を結ぶ線を延長し、路面Ｇと交差する点が路面Ｇ上のオプティカルフローＢ２の始点となる。

同様に、車載カメラ１の視点からフレーム画像Ｐ上のオプティカルフローＢ１の終点を結ぶ線を延長し、路面Ｇと交差する点が路面Ｇ上のオプティカルフローＢ２の終点となる。図９におけるフレーム画像Ｐは、フレーム画像Ｐ上のオプティカルフローＢ１を路面Ｇ上のオプティカルフローＢ２に変換する場合の概念図であり、実空間上に存在するフレーム画像Ｐを示すものではない。

路面Ｇ上のオプティカルフローＢ２の始点および終点は、路面ＧをＸＹ平面とし、車載カメラ１の位置を基点とした場合における、ＸＹ座標から算出することができる。図７へ戻り、第１視点変換部６３は、算出した路面Ｇ上のオプティカルフローＢ２を静止物検出部６４へ出力する。

静止物検出部６４は、第１視点変換部６３から入力される路面Ｇ上のオプティカルフローＢ２に基づいて、路面Ｇ上における静止物の位置を検出する処理部である。具体的には、静止物検出部６４は、路面Ｇ上のオプティカルフローＢ２に基づいて、各フレーム画像Ｐが撮像される期間に移動した自車の路面Ｇに対する旋回量と、移動量とを算出する。

また、静止物検出部６４は、自車の旋回量および移動量とオプティカルフローＢ２の長さとに基づいて静止物の特徴点を検出する。そして、静止物検出部６４は、各フレーム画像Ｐの路面Ｇ上における静止物の特徴点を、４８０×７２０画素の立体物配置マップへマッピングする。

ここで、静止物検出部６４は、特徴点がマッピングされた画素（ここでは、「中心画素」という）を所定の輝度の色とし、中心画素の周囲の数画素を中心画素から遠ざかるにつれて所定の輝度から徐々に低い輝度の色とし、その他の画素を黒色とする。

そして、静止物検出部６４は、現時点のフレーム画像Ｐを基準フレーム画像として設定する。そして、静止物検出部６４は、基準フレーム画像よりも過去に撮像された各フレーム画像Ｐの立体物配置マップにマッピングされた特徴点を、自車の旋回量および移動量に基づいて、基準フレーム画像中の対応する位置へシフト（回転、並進）させる。

なお、静止物検出部６４は、自車のＹ方向（図９のＸＹＺ座標参照）への移動量が一定量（例えば、４５ｍｍ）を超えた場合に、基準フレーム画像を最新のフレーム画像Ｐに更新する。

静止物検出部６４は、フレーム画像Ｐ毎に作成した立体物配置マップにおける各画素の輝度値を積分することによって、各画素に静止物の特徴点が存在する確からしさ（以下、「確度」という）を各画素の輝度値で示す最終的な立体物配置マップを作成する。

このとき、静止物検出部６４は、各立体物配置マップにおける前画素の輝度値を一律（２％：２／１００倍）に低減してから各画素の輝度値を積分することにより、積分が完了する前に輝度値が上限値に達してオーバーフロー状態となる画素の発生を抑制する。

図７へ戻り、静止物検出部６４は、こうして作成した路面Ｇ上における静止物の特徴点の位置および確度をマップ内の黒以外の画素の位置および輝度値によって示す立体物配置マップを後段の第２視点変換部６５へ出力する。かかる立体物配置マップ中の黒以外の画素は、静止物の特徴点の一例である。

なお、静止物検出部６４は、立体物配置マップを作成する過程で算出した自車の旋回量および移動量を描画処理部５へ出力する処理も行う。描画処理部５は、入力される自車の旋回量および移動量を使用して、自車の移動経路になると予測される前述の予測ガイド線の画像を生成する。

第２視点変換部６５は、静止物検出部６４から入力される立体物配置マップを画像展開することによって、４８０×７２０画素の画像を生成し、生成した画像を特徴点画像生成部４２へ出力する処理部である。ここでの画像展開とは、路面Ｇ上（ワールド座標上）の静止物の特徴点の位置を車載カメラ１視点のフレーム画像Ｐの位置へ変換する処理である。

次に、図１０を参照して、図６に示す背景差分方式静止物点取得部７について説明する。なお、背景差分方式静止物点取得部７と、背景差分方式移動物点取得部８とは、取得対象の特徴点のフレーム間における移動量（移動速度）が異なる点を除き、同様の構成である。このため、背景差分方式移動物点取得部８については、その詳細な説明を省略する。

図１０に示すように、背景差分方式静止物点取得部７は、フレームメモリ７１、移動量算出部７２、エッジ検出部７３、および静止物検出部７４を備える。フレームメモリ７１は、車載カメラ１から入力されるフレーム画像Ｐを時系列に順次記憶して移動量算出部７２へ出力するメモリである。

移動量算出部７２は、車載カメラ１から順次入力される各フレーム画像Ｐと、フレームメモリ７１から取得する１フレーム前のフレーム画像Ｐとの差分を取ることによって立体物を抽出した差分画像を生成してエッジ検出部７３へ出力する処理部である。

具体的には、移動量算出部７２は、車載カメラ１から最新のフレーム画像Ｐ（ここでは、現フレーム）を順次取得し、フレームメモリ７１から１フレーム前のフレーム画像Ｐ（ここでは、前フレームという）を順次取得する。

そして、移動量算出部７２は、現フレームおよび前フレームについて、それぞれ２種類の視点変換画像を生成する。まず、移動量算出部７２は、現フレームおよび前フレームについて、それぞれ俯角を９０度とした仮想視点の水平画像を生成する。さらに、移動量算出部７２は、現フレームおよび前フレームについて、俯角０度とした仮想視点の路面画像を生成する。

そして、移動量算出部７２は、現フレームおよび前フレームの水平画像にそれぞれ特定矩形領域を指定し、前フレームの特定矩形領域を現フレームの特定矩形領域へ微小距離ずつずらしながら、現フレームの特定矩形領域とのＳＡＤ（Sum of Absolute Difference）値を算出する。移動量算出部７２は、ＳＡＤ値が最小のときのずれ量を摂動量として算出し、算出した摂動量と車載カメラ１の焦点距離とに基づいて自車の旋回量を算出する。

続いて、移動量算出部７２は、現フレームおよび前フレームの路面画像にそれぞれ特定矩形領域を指定し、前フレーム画像の特定矩形領域については、先に算出した旋回量を用いて現フレームの特定矩形領域と相対的な方向を合わせる。

そして、移動量算出部７２は、補正後の前フレームの特定矩形領域を、路面上に規定したＸＹ座標のＸ方向およびＹ方向にずらしながら、現フレームの特定矩形領域とのＳＡＤ値を算出する。移動量算出部７２は、ＳＡＤ値が最小のときのずれ量を摂動量として算出し、算出した摂動と路面画像の仮想視点の高さとに基づき、自車の移動量を算出する。移動量算出部７２は、算出した自車の旋回量および移動量をエッジ検出部７３および静止物検出部７４へ出力する。

エッジ検出部７３は、車載カメラ１から現フレームを順次取得し、フレームメモリ７１から前フレームを順次取得して、現フレームおよび前フレームから立体物のエッジを検出し、エッジ部分を選択的に強調したエッジ検出画像を生成する処理部である。

エッジ検出部７３は、エッジ検出画像を生成する場合、移動量算出部７２から入力される自車の旋回量および移動量に基づいて、予め前フレームを回転および並進させる補正を行うことにより、現フレームとの相対的な位置および方向を合わせる。そして、エッジ検出部７３は、生成した現フレームおよび前フレームのエッジ画像を静止物検出部７４へ出力する。

静止物検出部７４は、エッジ検出部７３から入力される現フレームのエッジ画像と、前フレームのエッジ画像の各画素の輝度値の差分をとる差分処理を行うことによって、背景差分画像を生成する。かかる背景差分画像には、立体物の像が現れ、非立体物の像は現れない。

続いて、静止物検出部７４は、背景差分画像に現れる立体物の像から複数（例えば、２００個）の特徴点を検出する。そして、静止物検出部７４は、移動量算出部７２から入力される自車の旋回量および移動量に基づいて、前フレームの背景差分画像の特徴点の位置を現フレームの背景差分画像の座標中の位置に変換し、各画素の輝度値を一律に低減させてから積分を行う。

このとき、静止物検出部７４は、各画素の輝度値を約１／２（輝度値の上限が２５５の場合、１２８）に低減して積分を行うことにより、静止物および移動物の特徴点を含む４８０×７２０画素の画像を生成する。

また、静止物検出部７４は、各画素の輝度値を約１／８（輝度値の上限が２５５の場合、３２）に低減して積分を行うことにより、移動物の特徴点を含む４８０×７２０画素の画像を生成する。そして、静止物検出部７４は、静止物および移動物の特徴点を含む画像から移動物の特徴点を削除した画像を静止物の特徴点を含む画像として特徴点画像生成部４２へ出力する。

図６へ戻り、背景差分方式移動物点取得部８は、背景差分方式静止物点取得部７と同様の手順によって、移動物の特徴点を含む４８０×７２０画素の画像を生成し、生成した移動物の特徴点を含む画像を特徴点画像生成部４２へ出力する。

特徴点画像生成部４２は、特徴点取得部４１から入力される４８０×７２０画素の各画像を、それぞれ３０×４５画素の画像へ圧縮して特徴点画像を生成する処理部である。ここで、図１１を参照して、特徴点画像生成部４２による画像圧縮処理の手順について説明する。

図１１（ａ）に示すように、特徴点画像生成部４２は、４８０×７２０画素の画像を１６×１６画素の領域に分割し、１６×１６画素の領域に含まれる各画素の輝度値と第１輝度閾値とを比較する。

そして、特徴点画像生成部４２は、図１１（ｂ）に示すように、例えば、１６×１６画素の領域に、第１輝度閾値以上の画素が３個ある場合、図１１（ｃ）に示すように、３０×４５画素の領域の対応する位置へ、第１輝度閾値以上の画素数である３をプロットする。

ここで、３０×４５画素の領域における画素数をプロットする位置は、４８０×７２０画素の画像から選択した１６×１６画素の領域の画像における位置と同じ相対位置である。

特徴点画像生成部４２は、４８０×７２０画素の画像を分割した全ての１６×１６画素の領域について、輝度閾値以上の画素の個数を判別して、３０×４５画素の領域へプロットすることにより、３０×４５画素の特徴点画像を生成する。

さらに、特徴点画像生成部４２は、生成した３０×４５画素の特徴点画像の各画素にプロットした画素数と第２輝度閾値とを比較し、画素数が第２輝度閾値以上の画素を白、第２輝度閾値未満の画素を黒とする２値化を行い３０×４５画素の特徴点画像を生成する。

そして、特徴点画像生成部４２は、特徴点方式静止物点取得部６および背景差分方式静止物点取得部７から入力された各画像からそれぞれ生成した静止物の特徴点画像を描画処理部５へ出力する。また、特徴点画像生成部４２は、背景差分方式移動物点取得部８から入力された画像から生成した移動物の特徴点画像を描画処理部５へ出力する。

図５へ戻り、描画処理部５は、グループ化処理部５１、マスク処理部５２、領域分割部５３、グループ選択部５４、枠画像生成部５５、および重畳画像生成部５６を備える。グループ化処理部５１は、立体物検知部４によってフレーム画像Ｐから取得される静止物および立体物の複数の特徴点を同一の立体物毎のグループに振分けるグループ化処理を行う処理部である。

また、マスク処理部５２は、立体物検知部４によってフレーム画像Ｐから取得される静止物および立体物の複数の特徴点から、フレーム画像Ｐにおける一部の領域に含まれる特徴点を排除するマスク処理を行う処理部である。

これらグループ化処理部５１およびマスク処理部５２は、立体物検知部４によって検知される立体物が移動物か静止物かによって処理を行う順序が変わる。ここで、図１２および図１３を参照して、グループ化処理部５１およびマスク処理部５２の処理順序について説明する。図１２および図１３は、実施形態に係るグループ化処理部５１およびマスク処理部５２の処理順序を示す説明図である。

立体物検知部４は、検知した立体物が移動物であった場合、検知した移動物の特徴点画像をグループ化処理部５１へ出力する。かかる場合、図１２に示すように、グループ化処理部５１は、移動物の特徴点画像中の移動物の特徴点を同一物のグループに振分けるグループ化処理を行い、グループ化処理後の移動物の特徴点画像をマスク処理部５２へ出力する（図３（ａ）参照）。マスク処理部５２は、すでにグループ化処理が行われた移動物の特徴点画像に対してマスク処理を行い、マスク処理後の移動物の特徴点画像を出力する（図３（ｂ）参照）。

そして、マスク処理部５２から出力される移動物の特徴点画像は、領域分割部５３およびグループ選択部５４を介して枠画像生成部５５へ入力される。なお、領域分割部５３およびグループ選択部５４の動作については後述する。

枠画像生成部５５は、入力されるグループ化処理およびマスク処理の順に処理された移動物の特徴点画像中の特徴点のグループを囲む枠画像を生成する。これにより、枠画像生成部５５は、例えば、図３（ｃ）に示すように、移動物である他車のほぼ全体を囲む枠画像を生成して重畳画像生成部５６へ出力することができる。重畳画像生成部５６は、枠画像生成部５５から入力される枠画像を車載カメラ１から入力されるフレーム画像Ｐに重畳して重畳画像を生成して、表示装置３へ出力する。

一方、立体物検知部４は、検知した立体物が静止物であった場合、検知した静止物の特徴点画像をマスク処理部５２へ出力する。かかる場合、図１３に示すように、マスク処理部５２は、静止物の特徴点画像に対してマスク処理を行い、マスク処理後の静止物の特徴点画像をグループ化処理部５１へ出力する（図４（ａ）参照）。グループ化処理部５１は、すでにマスク処理が行われた静止物の特徴点画像に対してグループ化処理を行い、マスク処理後の静止物の特徴点画像を出力する（図４（ｂ）参照）。

グループ化処理部５１から出力される静止物の特徴点画像は、領域分割部５３およびグループ選択部５４を介して枠画像生成部５５へ入力される。枠画像生成部５５は、入力されるマスク処理およびグループ化処理の順に処理された静止物の特徴点画像中の特徴点のグループを囲む枠画像を生成する。

これにより、枠画像生成部５５は、例えば、図４（ｃ）に示すように、静止物である立ち止った人物のほぼ全体を囲む枠画像を生成して重畳画像生成部５６へ出力することができる。重畳画像生成部５６は、枠画像生成部５５から入力される枠画像を車載カメラ１から入力されるフレーム画像Ｐに重畳して重畳画像を生成して、表示装置３へ出力する。

また、グループ化処理部５１は、移動物の特徴点をグループ化処理する場合と、静止物の特徴点をグループ化処理する場合とで、同一のグループにする特徴点間の距離の閾値を異ならせている。ここで、図１４および図１５を参照し、グループ化処理部５１によるグループ化処理の閾値について説明する。図１４および図１５は、実施形態に係るグループ化処理の閾値の説明図である。

図１４に示すように、グループ化処理部５１は、例えば、他車などの移動物の特徴点をグループ化処理する場合、フレーム画像Ｐ中で左右方向に並ぶ特徴点同士が同一のグループになり易く、上下方向に並ぶ特徴点同士が同一のグループになり難くする。

具体的には、グループ化処理部５１は、フレーム画像Ｐ中で上下方向に並ぶ移動物の特徴点間の距離が第１の閾値Ｔｈ１以下の場合に、特徴点同士を一つのグループとする。一方、グループ化処理部５１は、フレーム画像Ｐ中で左右方向に並ぶ移動物の特徴点間の距離が第１の閾値Ｔｈ１よりも大きな第２の閾値Ｔｈ２以下の場合に、特徴点同士を一つのグループとする。

例えば、グループ化処理部５１は、第１の閾値Ｔｈ１を縦２画素分の距離とし、第２の閾値Ｔｈ２を横３画素分の距離とする。これにより、グループ化処理部５１は、移動物が他車である場合に、車両の前後や左右のエッジのように左右方向に離間した位置で特徴点が取得されても、左右方向に離間した特徴点を含む他車全体を包含する領域を特徴点のグループＧ３が占める領域とすることができる。したがって、枠画像生成部５５は、他車のほぼ全体を囲む枠画像を生成することができる。

一方、グループ化処理部５１は、図１５に示すように、例えば、立ち止った人物の静止物の特徴点をグループ化処理する場合、フレーム画像Ｐ中で縦に並ぶ特徴点同士が同一のグループになり易く、左右方向に並ぶ特徴点同士が同一のグループになり難くする。

具体的には、グループ化処理部５１は、フレーム画像Ｐ中で上下方向に並ぶ静止物の特徴点間の距離が第３の閾値Ｔｈ３以下の場合に、特徴点同士を一つのグループとする。一方、グループ化処理部５１は、フレーム画像Ｐ中で左右方向に並ぶ静止物の特徴点間の距離が第３の閾値Ｔｈ３よりも小さな第４の閾値Ｔｈ４以下の場合に、特徴点同士を一つのグループとする。

例えば、グループ化処理部５１は、第３の閾値Ｔｈ３を縦４画素分の距離とし、第４の閾値Ｔｈ４を横１画素分の距離とする。これにより、グループ化処理部５１は、静止物が人物である場合に、足元および頭部のエッジのように上下方向に離間した位置で特徴点が取得されても、上下方向に離間した特徴点を含む人物全体を包含する領域を特徴点のグループＧ２が占める領域とすることができる。

したがって、枠画像生成部５５は、人物のほぼ全体を囲む枠画像を生成することができる。しかも、グループ化処理部５１は、グループＧ２の左右方向近傍に、別の人物画像から取得した特徴点のグループＧ４が存在しても、グループＧ２とグループＧ４とを一つのグループにすることがない。したがって、枠画像生成部５５は、二人並んだ人物をそれぞれ個別に囲む枠画像を生成することができる。

また、マスク処理部５２は、自車が後方へ直進する場合には、図４（ａ）などに記載したマスクＭを適用したマスク処理を行うが、自車が旋回しながら後退する場合には、フレーム画像Ｐに重畳される前述の予測ガイド線に応じてマスクＭの形状を変化させる。

ここで、図１６を参照して、マスクＭの形状変化について説明する。図１６は、実施形態に係るマスクＭの形状変化を示す説明図である。図１６（ａ）に示すように、重畳画像生成部５６は、自車が後方へ直進する場合、自車後方の中央領域Ｒに対応する領域を示す固定ガイド線ＲＬをフレーム画像Ｐに重畳させる。

また、重畳画像生成部５６は、自車が旋回しながら後退する場合、立体物検知部４から入力される自車の旋回量に基づいて、図１６（ｂ）に示すように、自車の移動経路になると予測される予測ガイド線ＧＬをフレーム画像Ｐへさらに重畳させる。そして、重畳画像生成部５６は、フレーム画像Ｐにおける予測ガイド線ＧＬの表示位置をマスク処理部５２へ出力する。

かかる場合、マスク処理部５２は、図１６（ｃ）に示すように、マスクＭにおける中央領域Ｒと側方領域Ｍ１との境界線を予測ガイド線ＧＬの表示位置に連動して変化させる。これにより、マスク処理部５２は、自車が旋回しながら後退する場合に、これから自車が進む予定の領域に、静止物および移動物の特徴点を排除しない中央領域Ｒを設定することができ、ユーザにとってより有益な特徴点を排除せずに残すことができる。

図５へ戻り、領域分割部５３は、グループ化処理部５１またはマスク処理部５２から入力される特徴点画像を左右方向に並ぶ複数の分割領域に分割してグループ選択部５４へ出力する処理部である。グループ選択部５４は、領域分割部５３から入力される複数の分割領域に分割された特徴点画像に含まれる特徴点のグループのうち、フレーム画像Ｐ中で枠画像を重畳させるグループを選択する処理部である。

ここで、図１７および図１８を参照して、グループ選択部５４の構成と、グループ選択部５４および領域分割部５３の動作の一例について説明する。図１７は、実施形態に係るグループ選択部５４の構成を示す機能ブロック図であり、図１８は、実施形態に係るグループ選択部５４および領域分割部５３の動作の一例を示す説明図である。

図１７に示すように、グループ選択部５４は、サイズ判定部８１、所属領域判定部８２、および最下部判定部８３を備える。ここで、例えば、図１８（ａ）に示すように、領域分割部５３へグループＡ，Ｂ，Ｃ，Ｄ，Ｅという５つの特徴点のグループを含む特徴点画像Ｐ１が入力される場合がある。なお、ここでは、便宜上、特徴点画像Ｐ１におけるグループＡ，Ｂ，Ｃ，Ｄ，Ｅの形状を矩形状としている。

かかる場合、領域分割部５３は、図１８（ｂ）に示すように、特徴点画像Ｐ１を分割領域ａ１，ａ２，ａ３という左右方向に並ぶ３つの分割領域に分割してグループ選択部５４のサイズ判定部８１へ出力する。

サイズ判定部８１は、領域分割部５３から入力される特徴点画像Ｐ１に含まれるグループの各サイズを判定し、所定サイズよりも小さなグループＥを削除して所属領域判定部８２へ出力する。これにより、サイズ判定部８１は、自車の後方に存在していても危険性の低い極小さな物体の存在がユーザへ無駄に通知されることを抑制することができる。

続いて、所属領域判定部８２は、サイズ判定部８１から入力される特徴点画像Ｐ１に含まれる各グループが何れの分割領域に属するかを判定する。具体的には、まず、所属領域判定部８２は、特徴点画像Ｐ１に各グループを囲むグループ枠を規定し、各グループ枠の底辺中心座標を含む分割領域を、グループ枠によって囲まれるグループが属する分割領域と判定する。

これにより、図１８（ｃ）に示す例では、所属領域判定部８２は、グループＡが分割領域ａ１に属し、グループＢ，Ｃが分割領域ａ２に属し、グループＤが分割領域ａ３に属すると判定する。そして、所属領域判定部８２は、各グループの属性を付加した特徴点画像Ｐ１を最下部判定部８３へ出力する。

最下部判定部８３は、各分割領域に属するグループのうち、各分割領域における最下部に位置するグループを分割領域毎に選択する。具体的には、最下部判定部８３は、各分割領域に属するグループのうち、グループ枠の底辺中心座標と特徴点画像Ｐ１の底辺との距離が最短のグループ枠によって囲まれるグループを各分割領域における最下部に位置するグループと判定する。

例えば、最下部判定部８３は、図１８（ｃ）に示す分割領域ａ１では、グループＡを囲むグループ枠の底辺の中心座標から特徴点画像Ｐ１の底辺Ｌまでの距離Ｄ１が最も近いので、グループＡを最下部のグループと判定する。

こうして、最下部判定部８３は、図１８（ｄ）に示すように、グループＡを分割領域ａ１の最下部に位置するグループ、グループＢを分割領域ａ２の最下部に位置するグループ、グループＤを分割領域ａ３の最下部に位置するグループと判定する。そして、最下部判定部８３は、各分割領域の最下部に位置するグループのグループ枠の特徴点画像Ｐ１における位置情報を枠画像生成部５５へ出力する。

図５へ戻り、枠画像生成部５５は、グループ選択部５４から入力される特徴点画像におけるグループ枠の位置情報に基づいて、フレーム画像Ｐに重畳させる枠画像を生成して、重畳画像生成部５６へ出力する。

重畳画像生成部５６は、枠画像生成部５５から入力される枠画像をフレーム画像Ｐへ重畳した重畳画像を生成して表示装置３へ出力する。なお、重畳画像生成部５６は、前述した固定ガイド線や予測ガイド線などの画像もフレーム画像Ｐに重畳させる。

これにより、画像処理装置２は、フレーム画像Ｐを左右方向に並ぶ３つの各分割領域内で自車に最も近い位置にある立体物を枠画像で囲んだ重畳画像をユーザへ提供することができる。したがって、画像処理装置２は、例えば、フレーム画像Ｐ全体で最も自車に近い立体物だけを枠画像で囲む他の画像処理装置よりも、ユーザに対して立体物の存在を通知する情報の質を向上させることができる。

次に、図１９を参照して、画像処理装置２が実行する処理について説明する。図１９は、実施形態に係る画像処理装置２が実行する処理を示すフローチャートである。画像処理装置２は、例えば、自車のシフトレバーがバックの位置へシフトされている期間、図１９に示す処理を所定周期で繰り返し実行する。

画像処理装置２は、自車のシフトレバーがバックの位置へシフトされると、図１９に示すように、フレーム画像Ｐから立体物を検知したか否かを判定する（ステップＳ１０１）。そして、画像処理装置２は、立体物を検知しないと判定した場合（ステップＳ１０１，Ｎｏ）、処理をステップＳ１１０へ移し、フレーム画像Ｐに固定ガイド線や予測ガイド線を重畳した重畳画像を生成して表示装置３へ出力し、処理を終了する。

また、画像処理装置２は、立体物を検知したと判定した場合（ステップＳ１０１，Ｙｅｓ）、検知した立体物は移動物か否かを判定する（ステップＳ１０２）。そして、画像処理装置２は、立体物は移動物であると判定した場合（ステップＳ１０２，Ｙｅｓ）、立体物の特徴点画像に対してグループ化処理を行い（ステップＳ１０３）、その後、特徴点画像に対してマスク処理を行って（ステップＳ１０４）、処理をステップＳ１０５へ移す。

また、画像処理装置２は、検知した立体物は移動物でないと判定した場合（ステップＳ１０２，Ｎｏ）、立体物を静止物と判定し、立体物の特徴点画像に対してマスク処理を行い（ステップＳ１１１）、その後、特徴点画像に対してグループ化処理を行って（ステップＳ１１２）、処理をステップＳ１０５へ移す。

ステップＳ１０５において、画像処理装置２は、特徴点画像を複数の分割領域に分割する領域分割を行い、その後、特徴点画像に含まれる特徴点のグループのサイズ判定を行う（ステップＳ１０６）。そして、画像処理装置２は、特徴点のグループに所定サイズよりも小さなグループがある場合には、特徴点画像から削除して処理をステップＳ１０７へ移す。

ステップＳ１０７において、画像処理装置２は、特徴点画像に含まれる特徴点のグループが属する分割領域を判定する所属領域判定を行い、その後、各分割領域で最下部に位置するグループを判定する最下部判定を行う（ステップＳ１０８）。

続いて、画像処理装置２は、各分割領域で最下部に位置するグループを囲む枠画像を生成する枠画像生成を行う（ステップＳ１０９）。その後、画像処理装置２は、枠画像をフレーム画像Ｐに重畳した重畳画像を生成する重畳画像生成を行い（ステップＳ１１０）、生成した重畳画像を表示装置３へ出力して処理を終了する。

なお、上述した実施形態は一例であり、実施形態に係る画像処理装置２の構成および動作は、上記した実施形態に限定されるものではない。以下、実施形態に係る画像処理装置２の変形例について説明する。

図２０〜図２３は、実施形態の変形例１〜４に係る画像処理装置の画像処理方法を示す説明図である。上述した実施形態では、画像処理装置が移動物の特徴点画像に対して、グループ化処理、マスク処理の順に画像処理を行い、静止物の特徴点画像に対して、マスク処理、グループ化処理の順に画像処理を行う場合を例に挙げたが、これは一例である。

例えば、変形例１の画像処理装置は、図２０（ａ）に示すように、移動物および静止物の特徴点についてグループ処理を行い、図２０（ｂ）に示すように、グループ化処理後の特徴点についてマスク処理を行うこともできる。かかる画像処理方法によっても、図２０（ｃ）に示すように、移動体である他車のほぼ全体を囲む枠画像をフレーム画像Ｐに重畳させることができる。

また、上述した実施形態では、画像処理装置が特徴点画像を分割した複数の各分割領域内で、最も下部に位置するグループを枠画像で囲むグループとして選択したが、枠画像で囲むグループは、各分割領域につき１つに限定するものではない。

例えば、変形例２の画像処理装置は、特徴点画像を分割した分割領域における最下部に位置するグループを囲むグループ枠の底辺から特徴点画像の上辺側へ所定距離離れた位置までの領域を下部領域として設定する下部領域設定部をさらに備える。

かかる画像処理装置は、図２１（ａ）に示す特徴点画像Ｐ１を生成した場合、まず、図２１（ｂ）に示すように、特徴点画像Ｐ１を３つの分割領域ａ１，ａ２，ａ３に分割する。その後、画像処理装置の下部領域設定部は、図２１（ｃ）内にハッチングで示すように、各分割領域ａ１，ａ２，ａ３におけるグループ枠の底辺から特徴点領域の上辺側へ所定距離離Ｄ２だけ離れた位置までの領域を下部領域として設定する。

そして、画像処理装置のグループ選択部は、各下部領域内に底辺中心座標が位置するグループ枠によって囲まれるグループを最下部に位置するグループとして選択する。これにより、画像処理装置は、図２１（ｄ）に示すように、分割領域ａ１については、２つのグループＡ，Ｅをそれぞれ枠画像で囲むグループとして選択することができる。

かかる画像処理装置は、例えば、グループＡに対応する立体物が静止物であり、グループＥに対応する立体物が自車へ近づく移動物の場合に、グループＡよりも注意が必要なグループＥに対応する移動物を枠画像で囲み、ユーザに存在を通知することができる。

また、変形例３の画像処理装置は、特徴点画像の分割数を可変とした領域分割部と、上記した下部領域の大きさを可変とした下部領域設定部とをさらに備える。かかる画像処理装置は、例えば、図２２に示すように、特徴点領域を左右方向に並ぶ４以上（ここでは、６つ）の分割領域ａ１１，ａ１２，ａ１３，ａ１４，ａ１５，ａ１６に分割することが可能である。これにより、画像処理装置は、自車に近い危険なより多くの立体物を枠画像で囲むことにより、立体物の存在をユーザへ通知することができる。

ただし、画像処理装置は、領域分割部によって特徴点画像の分割数を増加させる場合は、下部領域設定部による底辺から上辺までの所定距離Ｄ３を縮小する。これにより、画像処理装置は、ユーザへ提供する枠画像の情報が過多になることを抑制しつつ、自車に近い危険な立体物をより多く枠画像で囲み、危険な立体物の存在をユーザへ通知することができる。

また、画像処理装置は、領域分割部によって特徴点画像の分割数を減少させる場合には、下部領域における底辺から上辺までの所定距離Ｄ３を拡大する。これにより、画像処理装置は、特徴点画像の分割数を減少させたことにより、ユーザへ通知する危険な立体物数の過度な現象を抑制することができる。

また、画像処理装置は、領域分割部を省略することも可能である。かかる変形例４の画像処理装置は、上述した下部領域設定部を備える。そして、変形例４の画像処理装置は、図２３に示すように、特徴点画像中で最も下部に位置する特徴点のグループＡを囲むグループ枠の底辺から特徴点画像の上辺側へ所定距離Ｄ４離れた位置までの領域を下部領域として設定する。

このとき、下部領域設定部は、車載カメラ１の広角レンズに起因して、自車からの距離が同一であるにも関わらず、特徴点画像中の位置が異なる上下方向の最大距離を所定距離Ｄ４として設定する。なお、図２３には、自車からグループＡに対応する立体物までの距離と同一距離にある特徴点画像中の位置を円弧Ｌ１によって示している。

かかる画像処理装置によれば、特徴点画像中では、グループＡよりも上部に位置するが、自車からの距離がグループＡに対応する立体物と同じグループＢに対応する立体物も枠画像で囲むことができる。

また、画像処理装置は、撮像装置の広角レンズに起因した特徴点画像の歪み補正を行う補正部を備える構成であってもよい。かかる場合、画像処理装置のグループ選択部は、
補正部によって歪み補正された特徴点画像に基づいて、分割領域における最下部に位置するグループを選択する。これにより、画像処理装置は、各分割領域内で自車からの距離が最短の立体物をより高精度に検出することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 車載カメラ
２ 画像処理装置
３ 表示装置
４ 立体物検知部
５ 描画処理部
６ 特徴点方式静止物点取得部
７ 背景差分方式静止物点取得部
８ 背景差分方式移動物点取得部
１２ 立体物検知部
４１ 特徴点取得部
４２ 特徴点画像生成部
５１ グループ化処理部
５２ マスク処理部
５３ 領域分割部
５４ グループ選択部
５５ 枠画像生成部
５６ 重畳画像生成部
６１ フレームメモリ
６２ オプティカルフロー算出部
６３ 第１視点変換部
６４ 静止物検出部
６５ 第２視点変換部
７１ フレームメモリ
７２ 移動量算出部
７３ エッジ検出部
７４ 静止物検出部
８１ サイズ判定部
８２ 所属領域判定部
８３ 最下部判定部

Claims (9)

1. 撮像装置から順次入力されるフレーム画像から各前記フレーム画像に写る物体の特徴点を複数取得する特徴点取得部と、
   入力される複数の前記特徴点を同一物体毎のグループに振分けるグループ化処理を行って出力するグループ化処理部と、
   入力される複数の前記特徴点から前記フレーム画像中の一部の領域に含まれる特徴点を排除するマスク処理を行って出力するマスク処理部と、
   前記特徴点取得部が前記グループ化処理部へ前記特徴点を入力し、前記グループ化処理部が前記マスク処理部へ前記特徴点を出力する場合に、前記マスク処理部から出力される前記特徴点のグループに対応する前記フレーム画像中の前記物体を強調する強調画像を生成する強調画像生成部と、
   前記強調画像生成部によって生成された前記強調画像を前記フレーム画像に重畳した重畳画像を生成して出力する重畳画像生成部と
   を備えることを特徴とする画像処理装置。
2. 前記特徴点取得部は、
   複数の前記特徴点から前記物体のうち移動物の特徴点を取得する移動物点取得部
   を備え、
   前記移動物点取得部は、
   前記移動物の特徴点を前記グループ化処理部へ入力する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記グループ化処理部は、
   前記フレーム画像中で上下方向に並ぶ前記移動物の特徴点間の距離が第１の閾値以下の場合に、当該特徴点同士を一つのグループとし、前記フレーム画像中で左右方向に並ぶ前記移動物の特徴点間の距離が前記第１の閾値よりも大きな第２の閾値以下の場合に、当該特徴点同士を一つのグループとする
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記強調画像生成部は、
   前記特徴点取得部が前記マスク処理部へ前記特徴点を入力し、前記マスク処理部が前記グループ化処理部へ前記特徴点を出力する場合に、前記グループ化処理部から出力される前記特徴点のグループに対応する前記フレーム画像中の前記物体を強調する強調画像を生成する
   ことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記特徴点取得部は、
   複数の前記特徴点から前記物体のうち静止物の特徴点を取得する静止物点取得部
   を備え、
   前記静止物点取得部は、
   前記静止物の特徴点を前記マスク処理部へ入力する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記グループ化処理部は、
   前記フレーム画像中で上下方向に並ぶ前記静止物の特徴点間の距離が第３の閾値以下の場合に、当該特徴点同士を一つのグループとし、前記フレーム画像中で左右方向に並ぶ前記静止物の特徴点間の距離が前記第３の閾値よりも小さな第４の閾値以下の場合に、当該特徴点同士を一つのグループとする
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記重畳画像生成部は、
   前記撮像装置が搭載される車両の予測移動領域の左右両端を示す予測移動線画像を前記フレーム画像に重畳し、
   前記マスク処理部は、
   前記予測移動領域よりも外側の領域に含まれる前記静止物の特徴点を前記入力される前記特徴点から排除するマスク処理と、
   前記予測移動領域の左右両端から左右方向外側へ所定距離離れた領域に含まれる移動物の特徴点を前記入力される前記特徴点から排除するマスク処理と
   を行うことを特徴とする請求項５または請求項６に記載の画像処理装置。
8. 前記重畳画像生成部は、
   前記車両の旋回量に応じて湾曲する前記予測移動線画像を前記フレーム画像に重畳する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 特徴点取得部が撮像装置から順次入力されるフレーム画像から各前記フレーム画像に写る物体の特徴点を複数取得する工程と、
   グループ化処理部が入力される複数の前記特徴点を同一物体毎のグループに振分けるグループ化処理を行って出力する工程と、
   マスク処理部が入力される複数の前記特徴点から前記フレーム画像中の一部の領域に含まれる特徴点を排除するマスク処理を行って出力する工程と、
   前記特徴点取得部が前記グループ化処理部へ前記特徴点を入力し、前記グループ化処理部が前記マスク処理部へ前記特徴点を出力する場合に、強調画像生成部が前記マスク処理部から出力される前記特徴点のグループに対応する前記フレーム画像中の前記物体を強調する強調画像を生成する工程と、
   重畳画像生成部が前記強調画像生成部によって生成された前記強調画像を前記フレーム画像に重畳した重畳画像を生成して出力する工程と
   を含むことを特徴とする画像処理方法。