JP2013065238A - コーナー検出装置 - Google Patents

Abstract

【課題】 撮像状況によって分離して抽出された２つのエッジ間に存在するコーナーを検出できるコーナー検出装置を提供する。
【解決手段】 車両に搭載し、周囲環境を画像として撮像するカメラ1と、撮像された画像に対し、２方向以上の直線エッジ成分を抽出するエッジ抽出部3と、各エッジを構成する画素に対して、エッジの直交方向の速度であるフローを算出するフロー算出部4と、エッジ端をエッジ方向（エッジの延びる方向）に延長するエッジ延長部5と、延長されたエッジに基づき、方向の異なるエッジ同士の交点をコーナーとして判別するコーナー判別部6と、を備え、エッジ延長部5は、延長した先に同じ大きさを有するフローが存在する場合、延長を有効と見なして再線化する。
【選択図】 図１

Description

本発明は、コーナー検出装置に関する。

従来のコーナー検出装置では、画像上の画素における横方向の２次微分値と縦方向の２次微分値との差分を評価することにより、画像から横方向のエッジと縦方向のエッジを抽出し、横方向のエッジと縦方向のエッジの交点をコーナーとして検出している。

特開２０１０−３９５２０号公報

しかしながら、上記従来技術にあっては、撮像状況によって１つのエッジとして抽出すべき画素が互いに分離した２つのエッジとして抽出された場合、２つのエッジ間に存在するコーナーを検出できないという問題があった。
本発明の目的は、撮像状況によって分離して抽出された２つのエッジ間に存在するコーナーを検出できるコーナー検出装置を提供することにある。

本発明では、抽出した直線エッジ成分のエッジ端を延長し、延長したエッジ端の先に同じ大きさを有するフローが存在する場合、延長を有効と見なして再線化し、再線化後のエッジと他方向のエッジとの交点をコーナーとして判別する。

よって、本発明にあっては、再線化後のエッジと他方向のエッジとの交点をコーナーとして判別するため、撮像状況によって分離して抽出された２つのエッジ間に存在するコーナーを検出できる。

実施例１のコーナー検出装置の構成図である。 実施例１の画像処理装置2で実行されるコーナー検出処理の流れを示すフローチャートである。 ２値化処理、細線化処理および膨張処理の具体例を示す図である。 縦エッジの横フロー算出方法を示す模式図である。 画像内から縦エッジと横エッジを検出し、各エッジのフローを算出した状態を示す撮像画像の所定エリアの一例である。 隣接する同一フロー同士をグループ化した状態を示す撮像画像の所定エリアの一例である。 エッジ端を延長した先に異なる大きさのフローの横エッジが存在する状態を示す撮像画像の所定エリアの一例である。 エッジ端を延長した先に同じ大きさのフローの横エッジが存在する状態を示す撮像画像の所定エリアの一例である。 エッジ交点が左斜め下に対角移動した場合の従来の問題点を示す図である。 縦エッジと横エッジとが重なる点の外側を１画素延長した状態を示す図である。 エッジ交点が左斜め下に対角移動した場合の実施例１のフロー算出作用を示す図である。

以下に本発明のコーナー検出装置を実施するための形態を、図面に示す実施例に基づいて説明する。

〔実施例１〕
図１は、実施例１のコーナー検出装置の構成図であり、実施例１のコーナー検出装置は、車両（移動体）に搭載され、自車前方の走行環境を撮像する車載カメラ（撮像手段）1と、自車の速度（自車速）を検出する車速検出部（速度検出手段）7と、カメラ1で得られた時系列画像を処理する画像処理装置2とを備える。
カメラ1は、車速検出部7で検出された自車速が高いほど、撮像するフレーム間隔（フレームレート）を短くする。
画像処理装置2は、エッジ抽出部（エッジ抽出手段）3と、フロー算出部（フロー算出手段）4と、エッジ延長部（エッジ延長手段）5と、コーナー判別部（コーナー判別手段）6とを有する。
画像処理装置2は、カメラ1で得られた画像からコーナーを検出する。検出したコーナーは、画像中の物体の動きの検出に用いられ、ドライバの運転支援等に供される。実施例２では、画像処理装置2の各部において、以下に示すコーナー検出処理を実施する。

［コーナー検出処理］
図２は、実施例１の画像処理装置2で実行されるコーナー検出処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、例えば、車両のイグニッションスイッチがオンされたときに開始する。
ステップS101では、エッジ抽出部3において、カメラ1から画像を取得する。
ステップS102では、エッジ抽出部3において、取得した画像に対し、縦方向の直線エッジ成分(縦エッジ)と、横方向の直線エッジ成分（横エッジ）の検出を行う。

ステップS103では、エッジ抽出部3において、図３(a)に示すように、エッジの画素とエッジ以外の画素を２値化する２値化処理を行う。２値化処置としては、例えば、エッジの画素の輝度またはRGBプレーンを255、エッジ以外の画素の輝度またはRGBプレーンを0とする。
ステップS104では、エッジ抽出部3において、図３(b)に示すように、エッジ中心が正確に判断できるよう、エッジ幅を１画素とするエッジ細分化処理を行う。
ここで、実施例１では、縦エッジと横エッジとを細分化した際、縦エッジと横エッジの両端を１画素ずつ延長（拡張）する。

ステップS105では、エッジ抽出部3において、図３(c)に示すように、各エッジ幅が均一となるように膨張させ、エッジ幅を規格化するエッジ膨張処理を行う。具体的には、縦エッジ画素の左右に１画素ずつ、横エッジ画素の上下に１画素ずつ延長する。図３(c)は、縦エッジの画素の左右に１画素ずつ延長した例であり、画像横方向X0の位置でアクティブ（輝度またはRGBプレーンが255）なエッジを、X0,X0-1,X0+1の位置でアクティブとする。
また、実施例１では、膨張処理の際、縦エッジと横エッジとが重なる点共に、エッジ端をエッジ方向（エッジの延びる方向）に１画素延長する。
ステップS103〜ステップS105における一連の規格化処理により、エッジ幅が所定画素数に統一された２値のエッジ画像が得られる。

ステップS106では、フロー算出部4において、エッジの直交方向のフロー（速度）、すなわち、縦エッジの横フローおよび横エッジの縦フローを算出する。フロー算出部4は、画像中の画素毎に、投票対象をエッジとする投票を時系列的に実施し、投票値に基づくエッジの移動状態からエッジのフローを算出する。投票は、エッジに該当する（アクティブな）画素の投票値に+1を加算（カウントアップ）し、エッジに該当しない画素の投票値をリセット（初期化）する。
図４に、縦エッジの横フロー算出方法の具体例を示す。図４(a)は時刻tにおける縦エッジおよび投票値の状態、図４(b)は時刻t後の時刻t+1における縦エッジおよび投票値の状態、図４(c)は時刻t+1後の時刻t+2における縦エッジおよび投票値の状態を示す図である。

まず、時刻tにおいて画像横方向へ３画素分に規格化されたエッジが、図４(a)に示す位置(X0-1,X0,X0+1)に検出されたとする。このとき、フロー算出部4は、画像横方向X0-1で画像縦方向の任意画素において投票値を5、画像横方向X0で画像縦方向の任意画素において投票値を3、画像横方向X0+1で画像縦方向の任意位置において投票値を1とする。
その後、時刻t+1において再度同じ位置でエッジが検出されたとする。このとき、フロー算出部4は、図４(b)に示すように、画像横方向X0-1について投票値を6、画像横方向X0について投票値を4、画像横方向X0+1について投票値を2とする。
そして、図４(c)のように、時刻t+2においてエッジ位置が右下がり斜め方向に１画素分だけシフトしたとする。このとき、フロー算出部4は、画像横方向X0について投票値を5、画像横方向X0+1について投票値を3、画像横方向X0+2について投票値を1とする。さらに、エッジが検出されなくなった画素（画像横方向X0-1であって画像横方向に任意位置）について投票値をリセットする。

フロー算出部4は、各画素の投票値に基づいてエッジの直交方向の速度を検出する。新たにエッジが検出された位置では投票値が1となり、その画素の周囲の投票値の中では最も小さな値となる（投票値0を除く）。つまり、エッジが移動する方向の投票値は小さく、エッジが移動する方向と反対方向のエッジの投票値は大きくなる。よって、投票値の勾配によりエッジの移動方向を求めることができる。このとき、勾配が小さいほどエッジの移動速度は高くなるため、エッジの移動速度（フロー）は、1/勾配で表すことができる。また、エッジの位置は、図４(b)の場合、画像横方向X0+1の投票値をh、画像横方向X0-1の投票値とhとの差をHとしたとき、X0+h/Hとなる。

ここで、実施例１では、カメラ1において、車速検出部7で検出された自車速が高いほど、撮像するフレーム間隔（フレームレート）を短くすることにより、エッジが画像上を移動する速度に比べてカメラ1のフレームレートを十分高くしている。例えば、撮像するフレーム間隔が、自車が最高速度で走行している状態で、エッジが１画素移動する時間以下となるようにしている。これにより、画像上でエッジが１画素移動する毎に１回以上投票を行うことができるため、エッジのフローを精度よく得ることができる。
なお、横エッジの縦フロー算出方法については縦エッジの横フロー算出方法と同様である。
ステップS106では、フロー算出後、隣接する同一フローのエッジ同士を同一物体としてグループ化する。

ステップS107では、エッジ延長部5において、エッジ端をエッジ方向に延長する。ここでは、あらかじめ設定した最大延長画素分だけエッジ端を延長するが、最大延長画素分だけ延長する前に隣接するエッジと接触した場合には、エッジ端の延長を停止する。なお、延長部分の画素のフローは、延長したエッジと同一とする。
ステップS108では、コーナー判別部6において、延長した先に異なる大きさのフローのエッジが存在するか否かを判定し、YESの場合はステップS110へ進み、NOの場合はステップS109へ進む。
ステップS109では、コーナー判別部6において、エッジの延長結果を有効と判断し、延長した先に存在するエッジを同一物体として再線化（２つのエッジを繋げる）を行う。
ステップS110では、コーナー判別部6において、エッジの延長結果を無効と判断し、延長した先に存在するエッジを別の物体として再線化は行わない。

ステップS111では、コーナー判別部6において、全てのエッジに対し、ステップS107〜ステップS110までの処理が実施されたか否かを判定し、YESの場合はステップS112へ進み、NOの場合はステップS107へ戻る。
ステップS112では、コーナー判別部6において、延長済みのエッジ情報に基づき、縦エッジと横エッジとが交差する点をコーナーとして判断する。
ステップS113では、コーナー判別部6において、車両のイグニッションスイッチがオフであるか否かを判定し、YESの場合は本制御を終了し、NOの場合はステップS101へ戻る。

次に、作用を説明する。
［コーナー検出前のエッジ端延長作用］
図５〜図８を用いて実施例１のコーナー検出作用を説明する。図５〜図８は、カメラ1により撮像された画像の所定エリアを示すものである。
まず、画像内から縦エッジ11,12と横エッジ13,14,15を検出し、縦エッジ11,12の横フローと、横エッジ13,14,15の縦フローとをそれぞれ算出する（図５）。
続いて、各エッジに対し、隣接する同一フロー同士でグループ化を行う（図６）。これにより、縦エッジ11と12とがグループ化され、横エッジ13と14とがグループ化される。

次に、縦エッジと横エッジのエッジ端をエッジ方向に延長し、延長した先に異なる大きさのフローのエッジが存在するか否かを判定する。図７に示すように横エッジ15の延長部分16の先には横エッジ13が存在し、図７の場合、横エッジ15と横エッジ13はフローの大きさが異なるため、エッジの延長結果を無効と判断する。すなわち、横エッジ13と横エッジ15は別の物体であると判断して再線化は行わない。
一方、図８のように横エッジ15と横エッジ13のフローが同じ大きさの場合、エッジの延長結果を有効と判断し、横エッジ15と横エッジ13とを１つの横エッジ17として再線化し、横エッジ17と縦エッジ11との交点Pをコーナーとする。

すなわち、実施例１では、撮像状況によって分離して抽出されたと判定される２つのエッジを再線化した後、他方向のエッジとの交点をコーナーとして判別するため、撮像状況によって分離して抽出された２つのエッジ間に存在するコーナーを検出できる。
このとき、縦エッジと横エッジにあらかじめフロー情報を持たせ、エッジ端を延長した先に存在するエッジのフロー情報に基づいて、再線化の可否を判断しているため、延長した先に存在するエッジが撮像状況によって分離して抽出された同一物体のエッジであるか否かを精度よく判定できる。

［フロー算出前のエッジ端延長作用］
図９は、エッジ交点が左斜め下に対角移動した場合の従来の投票値の推移を示す図である。図９(a)は横フローの投票値、図９(b)は縦フローの投票値、図９(c)はエッジ交点を示す。なお、図９(a)と図９(b)の破線は前回投票値、実線は今回投票値であり、図９(c)の破線は前回位置、実線は今回位置を示す。
エッジ交点が対角移動した場合、図９(a)の斜線部分の横フローは算出されず、図９(b)の斜線部分の縦フローは算出されない。このため、図９(c)の網掛け部分については、横フローと縦フローが共に算出されず、エッジ交点のフローを算出できないという問題があった。

これに対し、実施例１では、図１０(a),(b)に示すように、縦エッジと横エッジを細分化処理した際、縦エッジと横エッジの両端を１画素ずつ延長（拡張）する。なお、図１０には、便宜上、一旦側のみを延長したものを記載している。
よって、実施例１では、エッジ交点が対角移動した場合、図１０(a)の斜線部分の横フローと図１０(b)の斜線部分の縦フローが検出されるため、図１０(c)の網掛け部分の横フローと縦フローを共にできる。すなわち、エッジ交点が画像の斜め方向に移動した場合であっても、エッジ交点のフローを算出できる。

次に、効果を説明する。
実施例１のコーナー検出装置にあっては、以下に列挙する効果を奏する。
(1) 車両に搭載し、周囲環境を画像として撮像するカメラ1と、撮像された画像に対し、２方向以上の直線エッジ成分を抽出するエッジ抽出部3と、各エッジを構成する画素に対して、エッジの直交方向の速度であるフローを算出するフロー算出部4と、エッジ端をエッジ方向（エッジの延びる方向）に延長するエッジ延長部5と、延長されたエッジに基づき、方向の異なるエッジ同士の交点をコーナーとして判別するコーナー判別部6と、を備え、エッジ延長部5は、延長した先に同じ大きさを有するフローが存在する場合、延長を有効と見なして再線化する。これにより、撮像状況によって分離して抽出された２つのエッジ間に存在するコーナーを検出できる。

(2) エッジ抽出部3は、撮像された画像に対して、縦エッジと横エッジを抽出する。縦エッジの横フローは、縦エッジの横方向の位置情報から算出でき、横エッジの縦フローは、横エッジの縦方向の位置情報から算出できるため、フローの算出が容易である。

(3) フロー算出部4は、現在と過去に撮像された画像のエッジ情報に基づいてフローを算出する。エッジの移動量は、現在と過去に撮像された画像のエッジの位置から求めることができ、移動に要した時間は、カメラ1のフレームレートから求めることができる。よって、現在と過去に撮像された画像のエッジ情報を見ることで、エッジのフローを容易に算出できる。

(4) フロー算出部4は、撮像された画像から抽出されたエッジを構成する画素情報と、当該画素が属するエッジと直交する方向に存在する画素情報とに基づいてフローを算出する。エッジを構成する画素がエッジと直交する方向へ何画素移動したのかを見ることで、エッジの移動量を正確に求めることができる。よって、エッジのフローをより正確に算出できる。

(5) フロー算出部4は、撮像された画像から抽出されたエッジの両端を所定の画素分（１画素分）延長した後、フローを算出するため、エッジ交点が画像の斜め方向に移動した場合であっても、エッジ交点のフローを算出できる。

(6) 自車の速度を検出する車速検出部7を更に有し、カメラ1は、車速検出部7が検出した速度が高くなるほど、撮像するフレーム間隔を短くするため、フローを精度よく得ることができる。

（他の実施例）
以上、本発明を実施するための形態を、実施例に基づいて説明したが、本発明の具体的な構成は、実施例に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
実施例では、本発明のコーナー検出装置を車載機器に適用した例を示したが、本発明は車載機器以外にも適用でき、実施例と同様の作用効果を得ることができる。

1 車載カメラ（撮像手段）
2 画像処理装置
3 エッジ抽出部（エッジ抽出手段）
4 フロー算出部（フロー算出手段）
5 エッジ延長部（エッジ延長手段）
6 コーナー判別部（コーナー判別手段）
7 車速検出部（速度検出手段）

Claims (6)

1. 移動体に搭載し、周囲環境を画像として撮像する撮像手段と、
   前記撮像された画像に対し、２方向以上の直線エッジ成分を抽出するエッジ抽出手段と、
   各エッジを構成する画素に対して、エッジの直交方向の速度であるフローを算出するフロー算出手段と、
   エッジ端を前記直線上に延長するエッジ延長手段と、
   前記延長されたエッジに基づき、方向の異なるエッジ同士の交点をコーナーとして判別するコーナー判別手段と、
   を備え、
   前記エッジ延長手段は、延長した先に同じ大きさを有するフローが存在する場合、延長を有効と見なして再線化することを特徴とするコーナー検出装置。
2. 請求項１に記載のコーナー検出装置において、
   前記エッジ抽出手段は、前記撮像された画像に対して、縦方向のエッジまたは横方向のエッジの少なくとも一方を抽出することを特徴とするコーナー検出装置。
3. 請求項１または請求項２に記載のコーナー検出装置において、
   前記フロー算出手段は、現在と過去に撮像された画像のエッジ情報に基づいて、前記フローを算出することを特徴とするコーナー検出装置。
4. 請求項３に記載のコーナー検出装置において、
   前記フロー算出手段は、前記撮像された画像から抽出されたエッジを構成する画素情報と、当該画素が属するエッジと直交する方向に存在する画素情報とに基づいて、前記フローを算出することを特徴とするコーナー検出装置。
5. 請求項４に記載のコーナー検出装置において、
   前記フロー算出手段は、前記撮像された画像から抽出されたエッジの両端を所定の画素分延長した後、前記フローを算出することを特徴とするコーナー検出装置。
6. 請求項１ないし請求項５のいずれか１項に記載のコーナー検出装置において、
   前記移動体の速度を検出する速度検出手段を更に有し、
   前記撮像手段は、前記速度検出手段が検出した速度が高くなるほど、撮像するフレーム間隔を短くすることを特徴とするコーナー検出装置。

Images