JP2005267396A - 画像処理装置 - Google Patents

Abstract

【課題】 撮像画像から線を高精度に検出することができる画像処理装置を提供することを課題とする。
【解決手段】 撮像画像から線を検出する画像処理装置であって、撮像手段２と、撮像手段で撮像した撮像画像からエッジを抽出するエッジ抽出手段１０と、エッジ抽出手段で抽出した各エッジに対して結合候補を抽出し、当該結合候補毎に線としての評価値を求める結合候補抽出手段１２と、結合候補抽出手段で任意のエッジに対して複数の結合候補を抽出した場合、当該複数の結合候補から線としての妥当性の高い結合候補を選択する結合候補選択手段１２と、各エッジに対する結合候補の抽出が終了した場合、当該各エッジの結合候補から評価値に基づいて線として最適な結合候補を判断する判断手段１４，１５とを備えることを特徴とする。
【選択図】 図１

Description

本発明は、撮像画像から線を検出する画像処理装置に関する。

ドライバの運転を支援するために、車線や横断歩道等を認識する装置が開発されている。これら装置では、カメラで撮像した画像から車線や横断歩道の輪郭を示す線を検出する必要がある。線を認識する方法の一例としては、撮像画像からエッジを求め、そのエッジのパラメータ（位置や方向）及び強度を検出し、パラメータ空間におけるエッジ強度を累積し、度数が密集したパラメータを線として特定する方法がある（特許文献１参照）。
特開２０００−１１１８７号公報

しかしながら、撮像画像には車線や横断歩道等の他にも線を示すものが多種多様に存在するので、線として結合できる可能性のあるエッジの候補が複数存在する箇所がある。例えば、あるエッジに対して結合する可能性のあるエッジが２つある場合（線が分岐している場合）、隣接する各エッジ間で直線性を評価すると、局所的に直線性が良いエッジを結合するので、誤った方向のエッジを結合する可能性がある。また、通常、局所的な結合では、先に検索したエッジを結合するので、結合すべきエッジと結合できない場合がある。また、局所的なノイズの影響によりエッジが線から歪んだ場合、その箇所の直線性の評価が低下し、そのエッジを結合できなくなる。このように、局所的にエッジを結合して線を検出する場合、誤って結合したりあるいは結合できなかったりするので、線の検出精度が低下する。

そこで、本発明は、撮像画像から線を高精度に検出することができる画像処理装置を提供することを課題とする。

本発明に係る画像処理装置は、撮像手段と、撮像手段で撮像した撮像画像からエッジを抽出するエッジ抽出手段と、エッジ抽出手段で抽出した各エッジに対して結合候補を抽出し、当該結合候補毎に線としての評価値を求める結合候補抽出手段と、結合候補抽出手段で任意のエッジに対して複数の結合候補を抽出した場合、当該複数の結合候補から線としての妥当性の高い結合候補を選択する結合候補選択手段と、各エッジに対する結合候補の抽出が終了した場合、当該各エッジの結合候補から評価値に基づいて線として最適な結合候補を判断する判断手段とを備えることを特徴とする。

この画像処理装置では、エッジ抽出手段により撮像画像からエッジを抽出する。そして、画像処理装置では、結合候補抽出手段により各エッジに対して結合候補を抽出し、抽出した結合候補を構成するエッジが線としての妥当性があるか否かを示す評価値を求める。結合候補は、エッジによって構成され、線として検出する可能性のある候補である。さらに、画像処理装置では、任意のエッジに対して複数の結合候補を抽出した場合、結合候補選択手段により評価値に基づいて線として妥当性の高い結合候補を選択する。そして、画像処理装置では、判断手段により各エッジの結合候補から線として最適な結合候補を評価値に基づいて選択し、その選択した結合候補を線として検出する。このように、画像処理装置では、エッジを結合していく際に各エッジに対して線として検出の可能性のある結合候補を抽出し、この結合候補を構成する全てのエッジによって線としての妥当性を大局的に判断する。そのため、画像処理装置では、エッジ間での局所的な結合の上に、結合候補を構成するエッジ群全体としての大局的な情報を加味しているので、線を高精度に検出することができる。

本発明の上記画像処理装置では、エッジ抽出手段で抽出したエッジから近傍のエッジによってセグメントを生成するセグメント生成手段を備え、結合候補抽出手段は、セグメント生成手段で生成した各セグメントに対して結合候補を抽出する構成としてもよい。

この画像処理装置では、セグメント生成手段により近傍の複数のエッジからなるセグメントを生成し、結合候補抽出手段によりセグメント単位で結合候補の抽出を行う。このように、画像処理装置では、複数のエッジからなるセグメント単位で処理を行うので、各処理を行う対象が少なくなり、処理負荷を軽減できる。

本発明によれば、撮像画像から線を高精度に検出することができる。

以下、図面を参照して、本発明に係る画像処理装置の実施の形態を説明する。

本実施の形態では、本発明に画像処理装置を、自動車に搭載され、走行支援装置に横断歩道や車線等を認識するための直線情報を提供する画像処理装置に適用する。本実施の形態に係る画像処理装置は、局所結合による直線抽出に大局的な情報を加味するために木構造を導入し、木構造を利用して自動車前方の撮像画像から直線を検出する。

図１〜図５を参照して、画像処理装置１の構成について説明する。図１は、本実施の形態に係る画像処理装置の構成図である。図２は、木構造を示す図である。図３は、木構造を利用した直線検出の一例であり、（ａ）が検出対象である直線のセグメントの一例であり、（ｂ）が根となるセグメントであり、（ｃ）が根セグメントの１段階までの追加セグメントであり、（ｄ）が根セグメントの２段階までの追加セグメントであり、（ｅ）が根セグメントに対する２つの結合候補であり、（ｆ）が根セグメントに対する最適な結合候補である。図４は、図１の画像ＥＣＵにおける各部の処理の一列であり、（ａ）がエッジを示す図であり、（ｂ）が微小セグメントを示す図であり、（ｃ）が結合候補を示す図であり、（ｄ）が包含関係にある結合候補を示す図である。図５は、図１の画像ＥＣＵの結合候補作成部の処理の一列であり、（ａ）が微小セグメントとその近傍の微小セグメントを示す図であり、（ｂ）が近傍の微小セグメントから評価値が良い微小セグメントをノードとして追加した図であり、（ｃ）が追加した微小セグメントとその近傍の微小セグメントを示す図であり、（ｄ）が微小セグメントの結合候補を作成した図である。

まず、画像処理装置１の構成について具体的に説明する前に、木構造について説明しておく。図２に示すように、木構造は、例えば、ノード（節）Ｎ１，Ｎ２，Ｎ３とリンク（枝）Ｌ１，Ｌ２からなり、木の元となるノードＮ１が根Ｒである。本実施の形態では、ノードが線分（微小セグメント）であり、リンクにより２つの線分が接続の可能性のあることを示す。また、根ＲとなるノードＮ１は、結合候補を作成する際の元となる任意の線分となる。根ノードＮ１に接続する可能性のある線分をノードＮ２，Ｎ２として接続し、各ノードＮ２，Ｎ２にそれぞれ接続する可能性のある線分を１つのノードＮ３と３つのノードＮ３，Ｎ３，Ｎ３として接続していく。そして、最下位層のノードＮ３の数が根ノードＮ１に対する結合候補の数となる。本実施の形態では、根ノードＮ１に対して１つの結合候補に絞るために、各結合候補に対してノードＮ１〜Ｎ３の線分からなる線の直線性の評価値をそれぞれ算出し、評価値が最もよい結合候補を選択する。このように、ノード（線分）間を局所的に結合していくとともに全ノードを結合したときの直線性を評価することによって大局的な結合性を加味している。なお、根となる線分には２つの端部があり、各端部方向に木構造をそれぞれ構成できるので、根ノードになる線分には２つの木構造を構成でき、各木構造でそれぞれ１つの結合候補に絞る。

図３を参照して、木構造を用いた結合候補を作成する一例を説明しておく。図３（ａ）に示すように根となる微小セグメントがＳ１であり、図３（ｂ）に示すようにこの微小セグメントＳ１を根ノードＮ１として木構造に登録する。次に、根の微小セグメントＳ１の一端部近傍を探索し、結合する可能性のある微小セグメントＳ２を１つだけ見つける。そして、図３（ｃ）に示すように微小セグメントＳ２をノードＮ２として木構造に登録し、微小セグメント群Ｓ１，Ｓ２による直線性の評価値を算出する。次に、微小セグメントＳ２の端部近傍を探索し、結合する可能性のある微小セグメントＳ３１，Ｓ３２を見つける。そして、図３（ｄ）に示すように微小セグメントＳ３１をノードＮ３１として及び微小セグメントＳ３２をノードＮ３２として木構造に登録し、微小セグメント群Ｓ１，Ｓ２，Ｓ３１及び微小セグメント群Ｓ１，Ｓ２，Ｓ３２による直線性の評価値を算出する。次に、微小セグメントＳ３１，３２の端部近傍をそれぞれ探索し、結合する可能性のある微小セグメントＳ４１と微小セグメントＳ４２をそれぞれ見つける。そして、図３（ｅ）に示すように微小セグメントＳ４１をノードＮ４１として及び微小セグメントＳ４２をノードＮ４２として木構造に登録し、微小セグメント群Ｓ１，Ｓ２，Ｓ３１，Ｓ４１及び微小セグメント群Ｓ１，Ｓ２，Ｓ３２，Ｓ４２による直線性の評価値を算出する。次に、微小セグメントＳ４１，４２の端部近傍をそれぞれ探索し、微小セグメントＳ４２にだけ結合する可能性のある微小セグメントＳ５を見つける。そして、図３（ｅ）に示すように微小セグメントＳ５をノードＮ５として木構造に登録し、微小セグメント群Ｓ１，Ｓ２，Ｓ３２，Ｓ４２，Ｓ５による直線性の評価値を算出する。ここで、根となる微小セグメントＳ１に対して２つの結合候補が作成され、この２つの結合候補の評価値を比較する。そして、微小セグメント群Ｓ１，Ｓ２，Ｓ３１，Ｓ４１からなる結合候補のほうが評価値の良いので、この候補候補を微小セグメントＳ１に対する最適な結合候補とする。

それでは、画像処理装置１について説明する。画像処理装置１は、自動車の前方を撮像し、その撮像画像における横断歩道や車線を示す白線の輪郭となる直線を検出する。特に、画像処理装置１では、直線を高精度に検出するために、木構造を利用して結合候補を作成する。画像処理装置１は、カメラ２及び画像ＥＣＵ[Electronic Control Unit]３を備え、画像ＥＣＵ３にエッジ抽出部１０、微小セグメント生成部１１、結合候補作成部１２、共通候補棄却部１３、候補順位付け部１４、候補抽出部１５及び結果出力部１６が構成される。

本実施の形態では、カメラ２が特許請求の範囲に記載する撮像手段に相当し、エッジ抽出部１０が特許請求の範囲に記載するエッジ抽出手段に相当し、微小セグメント生成部１１が特許請求の範囲に記載するセグメント生成手段に相当し、結合候補作成部１２が特許請求の範囲に記載する結合候補抽出手段及び結合候補選択手段に相当し、候補順位付け部１４及び候補抽出部１５が特許請求の範囲に記載する判断手段に相当する。

カメラ２は、例えば、ＣＣＤ[Charge Coupled Device]カメラであり、画像処理装置１を搭載する自動車の前方かつ中央に取り付けられる。カメラ２では、自動車の前方を撮像し、その撮像したカラー画像（例えば、ＲＧＢ[Red Green Blue]による画像）を取得する。カメラ２では、その撮像画像のデータを画像ＥＣＵ３に送信する。カメラ２は、左右方向に撮像範囲が広く、道路の左右端まで撮像可能である。なお、カメラ２はカラーであるが、道路上の横断歩道や車線の輪郭を検出できればよいので、白黒のカメラでもよい。

画像ＥＣＵ３は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなり、各処理部が構成される。画像ＥＣＵ３では、カメラ２から撮像画像データを取り入れ、その撮像画像から横断歩道や車線の輪郭を示す直線を検出する。そして、画像ＥＣＵ３では、その検出した直線情報を走行支援装置に送信する。

エッジ抽出部１０では、撮像画像から横断歩道や車線の輪郭を示すエッジを抽出する。エッジを抽出する手法としては、従来のエッジ抽出方法（例えば、Ｓｏｂｅｌフィルタ）を用いる。また、横断歩道や車線は白色で道路上に塗られているので撮像画像から白部分を抽出してからエッジ抽出を行う。白部分を抽出する場合、ＲＧＢによる撮像画像をＨＳＩ[Hue Saturation Intensity]変換を用いて色相・彩度・明度の各成分情報を有する画像に変換し、これら成分情報画像から白部分を抽出する。抽出されるエッジとしては、例えば、図４（ａ）に示すようなものとなる。

微小セグメント生成部１１では、抽出したエッジから線分となる微小セグメントを抽出する。具体的には、微小セグメント生成部１１では、任意のエッジに対して近傍のエッジを接続していき、その接続したエッジ群からなる線分の曲率を算出する。そして、微小セグメント生成部１１では、その算出した曲率が明らかに直線と見なせる曲率以内の場合にはそのエッジ群を微小セグメントとする。微小セグメントをどの程度の長さまでとするかを規定しておらず、明らかに直線と見なせる場合には多数のエッジにより長い線分となり、２つのエッジだけで形成される場合もある。ちなみに、このように微小セグメントとするのは、車線や横断歩道は局所変化の小さい直線からなるので、ある程度の長さを有する線分を処理単位として問題はなく、処理負荷を軽減することができるからである。生成される微小セグメントとしては、例えば、図４（ａ）に示すエッジが接続され、明らかに直線と見なすことができる５つの微小セグメントとなる。

結合候補作成部１２では、生成した各微小セグメントを根ノードとして、根コードに対して端点の一方向毎に１つの結合候補を作成する。微小セグメントには２つの端点があるので各端点から木構造を構成し、二方向に木構造を構成できる場合には一つの方向毎に１つの結合候補を作成し、一方向しか木構造を構成できない場合にはその方向に対してのみ結合候補を作成する。また、結合候補作成部１２では、各結合候補に対して直線性の妥当性を示す評価値を算出する。結合候補は、直線として検出される可能性のある候補であり、微小セグメントによって構成される。結合候補としては、例えば、図４（ｂ）の微小セグメントＳ１を根ノードとすると、図４（ｃ）に示すような微小セグメント群Ｓ１，Ｓ２，Ｓ３からなる結合候補が作成される。ちなみに、全ての微小セグメントに対して結合候補が作成されるので、微小セグメントＳ３に対しては微小セグメント群Ｓ３，Ｓ２，Ｓ１からなる結合候補が作成され、微小セグメントＳ２に対しては微小セグメント群Ｓ２，Ｓ１及び微小セグメント群Ｓ２，Ｓ３からなる２つの結合候補が作成される。

具体的には、まず、結合候補作成部１２では、微小セグメントからなる画像から結合候補が作成されていない微小セグメントを根となる微小セグメントとして選択し、根ノードとして登録する。そして、結合候補作成部１２では、選択した微小セグメントの端点近傍に存在する微小セグメントを探索する。この際、両端点に対してそれぞれ微小セグメントを探索していく。例えば、図５（ａ）に示すように、微小セグメントＳ１の一端点を探索すると、４つの微小セグメントＳ２１，Ｓ２２，Ｓ２３，Ｓ２４が見つかる。

結合候補作成部１２では、探索した微小セグメント毎に、その探索した微小セグメントを既にノードとして登録されている微小セグメントに加え、その直線性の評価値をそれぞれ算出する。この評価値は、新たに探索された微小セグメントを含めた微小セグメント群を最小自乗法を用いて直線方程式に当てはめ、直線から離れていることを示す誤差（エラー値）が評価値となる。したがって、評価値は、値が小さいほど直線としての妥当性が高く、値が大きいほど直線から離れた微小セグメントが存在する。結合候補作成部１２では、評価値に閾値を設けており、評価値が閾値以内の場合にはその新たに探索した微小セグメントを結合可能なノードとして登録し、評価値が閾値を超える場合にはその新たに探索した微小セグメントをノードとして登録しない。閾値は直線と明らかに見なせるか否かを判断するために設けられ、このように閾値で評価値を判定することによって結合候補を作成する際に登録するノードの数を絞り、処理負荷を軽減している。例えば、図５（ａ）に示すように、４つの微小セグメント群Ｓ１，Ｓ２１、微小セグメント群Ｓ１，Ｓ２２、微小セグメント群Ｓ１，Ｓ２３、微小セグメント群Ｓ１、Ｓ２４に対して評価値をそれぞれ算出すると、図５（ｂ）に示すように、２つの微小セグメント群Ｓ１，Ｓ２１、微小セグメント群Ｓ１，Ｓ２２だけが閾値以内となり、２つの微小セグメントＳ２１，Ｓ２２がノードとして登録される。

結合候補作成部１２では、新たにノードを追加した場合、その追加した全てのノード（微小セグメント）に対して上記した探索処理及び評価処理を行い、その新たに追加したノードに結合可能なノードがある場合にはそのノードを登録し、結合可能なノードがない場合にはその微小セグメントに対する探索処理及び評価処理を終了する。このように、結合候補作成部１２では、新たに追加するノードが無くなるまで探索処理及び評価処理を繰り返し行い、各微小セグメントに対して結合候補を生成する。例えば、図５（ｂ）で新たに追加されたノード（微小セグメント）Ｓ２１，Ｓ２２に対して、図５（ｃ）に示すように、微小セグメントＳ３１１，Ｓ３１２，Ｓ３１３と微小セグメントＳ３２１、Ｓ３２２，Ｓ３２３が探索され、微小セグメントＳ２１に対しては３つの微小セグメント群Ｓ１、Ｓ２１，Ｓ３１１、微小セグメント群Ｓ１、Ｓ２１，Ｓ３１２、微小セグメント群Ｓ１、Ｓ２１，Ｓ３１３の評価値がそれぞれ算出され、微小セグメントＳ２２に対しては３つの微小セグメント群Ｓ１、Ｓ２２，Ｓ３２１、微小セグメント群Ｓ１、Ｓ２２，Ｓ３２２、微小セグメント群Ｓ１、Ｓ２２，Ｓ３２３の評価値がそれぞれ算出される。そして、図５（ｄ）に示すように、微小セグメントＳ２１に対しては２つの微小セグメント群Ｓ１，Ｓ２１，Ｓ３１１、微小セグメント群Ｓ１、Ｓ２１，Ｓ３１２の評価値が閾値以内となり、２つの微小セグメントＳ３１１，Ｓ３１２がノードとして登録され、微小セグメントＳ２２に対しては２つの微小セグメント群Ｓ１、Ｓ２２，Ｓ３２１、微小セグメント群Ｓ１、Ｓ２２，Ｓ３２２の評価値が閾値以内となり、２つの微小セグメントＳ３２１，Ｓ３２２がノードとして登録される。

結合候補作成部１２では、各微小セグメントに対して結合候補を生成すると、各微小セグメントの各方向の木構造に対して結合候補を１つに絞る。そのために、結合候補作成部１２では、根となる微小セグメントの木構造において結合候補が複数生成された場合、その複数の結合候補の評価値を比較し、最も評価値が良い（すなわち、評価値が最も小さい）結合候補を最適な結合候補として抽出する。このように、結合候補作成部１２では、全ての微小セグメントの各木構造に対して１つの結合候補を作成する。例えば、図５（ｄ）に示すように、根となる微小セグメントＳ１に対して４つの結合候補が生成されるが、微小セグメント群Ｓ１，Ｓ２１，Ｓ３１１からなる結合候補が最も評価値が小さく、この結合候補が微小セグメントＳ１の結合候補となる。

共通候補棄却部１３では、各微小セグメントに対して作成されている結合候補のうち、他の結合候補と包含関係にある結合候補を候補から削除する。全ての微小セグメントに対して結合候補を作成しているので、ある微小セグメントの結合候補を構成する微小セグメント群のなかの微小セグメントが根ノードとなった場合にはその根ノードとなった微小セグメントに対する結合候補はそのある微小セグメントの結合候補に含まれることになる。このように、結合候補には他の結合候補の一部になる場合がある。例えば、図４（ｄ）に示すように、微小セグメントＳ１を根とした場合には結合候補Ｓ１，Ｓ２，Ｓ３（実線で示す結合候補）が作成され、微小セグメントＳ２を根とした場合には結合候補Ｓ２，Ｓ１（一点鎖線で示す結合候補）と結合候補Ｓ２，Ｓ３（二点鎖線で示す結合候補）が作成され、微小セグメントＳ３を根とした場合には結合候補Ｓ３，Ｓ２，Ｓ１（破線で示す結合候補）が作成される。したがって、結合候補として、結合候補Ｓ１，Ｓ２，Ｓ３を残し、他の結合候補を削除する。

候補順位付け部１４では、包含関係のない結合候補を評価値の良い順（評価値が小さい順）に並べる。これによって、直線としての妥当性の高い順に結合候補が並べられる。

候補抽出部１５では、評価値が良い結合候補から順に抽出し、抽出した結合候補をラベル付けし、直線として登録するとともに微小セグメントの画像からその結合候補を形成する微小セグメントを全て削除する。この際、候補抽出部１５では、既に登録された結合候補を構成する微小セグメントを含む他の結合候補がある場合、その他の結合候補を候補から削除する。結合候補から削除されて微小セグメントとして残っている微小セグメントがある場合、その微小セグメントに対して結合候補作成部１２から候補抽出部１５までの処理が再度実行される。ちなみに、どこにも結合できない微小セグメントがある場合にはその単一の微小セグメントによって結合候補が作成されるが、このような微小セグメントはノイズの可能性が高く、評価値としては最も大きい値が付与され、直線として検出されない。

結果出力部１６では、抽出した結合候補による微小セグメント群により直線情報を生成し、その直線情報を走行支援装置に出力する。

図１を参照して、画像処理装置１の動作を図６のフローチャートに沿って説明する。特に、画像ＥＣＵ３の結合候補作成部１２の処理については図７のフローチャートに沿って説明する。図６は、図１の画像ＥＣＵの処理を示すフローチャートである。図７は、図１の結合候補作成部の処理を示すフローチャートである。

画像処理装置１では、カメラ２により一定時間毎に自動車の前方を撮像する。そして、画像処理装置１では、その撮像画像を一定時間毎に画像ＥＣＵ３に取り入れ、画像ＥＣＵ３内に保持する（Ｓ１）。

画像ＥＣＵ３では、撮像画像から横断歩道等のエッジを抽出する（Ｓ２）。そして、画像ＥＣＵ３では、抽出したエッジから微小セグメントを生成する（Ｓ３）。

微小セグメントを生成すると、画像ＥＣＵ３では、生成した全ての微小セグメントに対して結合候補をそれぞれ作成し、各結合候補に対して直線性の評価値を算出する（Ｓ４）。

結合候補を作成すると、画像ＥＣＵ３では、結合候補のなかで包含関係のある結合候補を候補から棄却する（Ｓ５）。そして、画像ＥＣＵ３では、包含関係のない結合候補を評価値の良いものから順に並び替える（Ｓ６）。さらに、画像ＥＣＵ３では、その評価値の良い順に結合候補を抽出し、抽出した結合候補を直線として登録し、登録した結合候補を構成する微小セグメントを画像から消去する（Ｓ７）。また、画像ＥＣＵ３では、抽出した結合候補を構成する微小セグメントを含む他の結合候補がある場合にはその結合候補を棄却し、微小セグメントとして残す。

最後に、画像ＥＣＵ３では、棄却されて残っている微小セグメントがあるか否かを判定し、残っている場合にはＳ４の処理に戻り、残っていない場合には検出した直線情報を走行支援装置に出力し、処理を終了する（Ｓ８）。

結合候補作成部１２の処理について説明する。結合候補作成部１２では、微小セグメントの画像から結合候補を作成していない微小セグメントを根ノードとして選択する（Ｓ１０）。そして、結合候補作成部１２では、微小セグメントの端点近傍の微小セグメントを探索する（Ｓ１１）。ここでは、微小セグメントに対して局所的に結合可能な微小セグメントを探索する。

結合候補作成部１２では、探索した微小セグメント毎に、探索した微小セグメントを加えた場合の直線性の評価値を算出する（Ｓ１２）。そして、結合候補作成部１２では、その評価値が閾値以内か否かを判定し、閾値以内の場合にはその微小セグメントをノードとして追加し、閾値を超える場合にはその微小セグメントをノードとして追加しない（Ｓ１２）。ここでは、微小セグメントを局所的結合した場合に大局的に見た直線としての妥当性を考慮し、その微小セグメントを追加しても直線となる可能性のあるものだけをノードとして残している。

結合候補作成部１２では、追加されたノードがあるか否かを判定し、追加されたノードがある場合にはＳ１１の処理に戻る（Ｓ１３）。ここでは、微小セグメントの画像において、結合可能な微小セグメントが画像内に存在するまで結合候補の作成を続ける。

追加されたノードが無い場合、結合候補作成部１２では、根ノードとなる微小セグメントの木構造において複数の結合候補がある場合にはその結合候補のなかで最も評価値が良い結合候補を候補として抽出する（Ｓ１４）。ここでは、各微小セグメントに対して、最も直線として妥当性のある結合候補を絞る。なお、微小セグメントの両方向にそれぞれ木構造を構成できる場合には、各方向に対して結合候補がそれぞれ絞られる。しかし、このような結合候補は、他の結合候補に包含される可能性が高い。

最後に、結合候補作成部１２では、画像のなかの全ての微小セグメントに対して結合候補を作成したか否かを判定し、作成していない場合にはＳ１０の処理に戻り、作成している場合には処理を終了する（Ｓ１５）。

ここで、図８を参照して、横断歩道の検出結果の一例を示す。図８は、横断歩道の輪郭の直線検出の一例であり、（ａ）が従来の画像処理装置による直線検出結果を示す画像であり、（ｂ）が図１の画像処理装置による直線検出結果を示す画像である。図８（ａ）に示すように、従来の画像処理装置の場合、局所結合により直線検出を行っているので、ノイズ等の影響により結合できない部分が発生し、直線が随所に途切れ、検出精度が悪い。一方、図８（ｂ）に示すように、画像処理装置１の場合、局所結合に大局的な情報を加味しているので、局所で結合性の低下する部分があっても大局的には直線として検出できるので、直線としての検出精度が高い。

この画像処理装置１によれば、微小セグメント間を結合していく局所結合に、結合候補を構成する全ての微小セグメントによる直線の妥当性を示す大局的情報を考慮しているので、直線の検出精度が非常に高い。そのため、検出される直線は、結合性が非常に高く、途切れや誤結合等が極力抑制されている。

また、画像処理装置１によれば、処理単位を微小セグメントとしているので、処理負荷が軽減される。さらに、画像処理装置１によれば、結合候補を作成する際に評価値が閾値を超えるノードを除外するので、処理負荷が更に軽減される。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では自動車に搭載する画像処理装置に適用し、走行支援装置に直線情報を提供する構成としたが、撮像画像から線を検出する様々な装置に適用可能であり、その検出した線情報も様々な分野で利用可能である。また、本実施の形態では直線の検出に適用したが、曲線の検出にも適用可能である。

また、本実施の形態ではエッジから微小セグメントを生成し、処理単位を微小セグメントとしたが、エッジを処理単位としてもよい。局所的な変化の大きい線を検出する場合にはエッジを処理単位としたほうがよい。

また、本実施の形態では最小自乗法による直線式への当てはめによって評価値を算出し、線の妥当性を判断する構成としたが、線（直線、曲線）からずれている微小セグメント（エッジ）の個数や距離に基づいて評価値を求める方法などその評価方法については特に限定しない。

本実施の形態に係る画像処理装置の構成図である。 木構造を示す図である。 木構造を利用した直線検出の一例であり、（ａ）が検出対象である分岐のある直線のセグメントの一例であり、（ｂ）が根となるセグメントであり、（ｃ）が根セグメントの１段階までの追加セグメントであり、（ｄ）が根セグメントの２段階までの追加セグメントであり、（ｅ）が根セグメントに対する２つの結合候補であり、（ｆ）が根セグメントに対する最適な結合候補である。 図１の画像ＥＣＵにおける各部の処理の一列であり、（ａ）がエッジを示す図であり、（ｂ）が微小セグメントを示す図であり、（ｃ）が結合候補を示す図であり、（ｄ）が包含関係にある結合候補を示す図である。 図１の画像ＥＣＵの結合候補作成部の処理の一列であり、（ａ）が微小セグメントとその近傍の微小セグメントを示す図であり、（ｂ）が近傍の微小セグメントから評価値が良い微小セグメントをノードとして追加した図であり、（ｃ）が追加した微小セグメントとその近傍の微小セグメントを示す図であり、（ｄ）が微小セグメントの結合候補を作成した図である。 図１の画像ＥＣＵの処理を示すフローチャートである。 図１の結合候補作成部の処理を示すフローチャートである。 横断歩道の輪郭の直線検出の一例であり、（ａ）が従来の画像処理装置による直線検出結果を示す画像であり、（ｂ）が図１の画像処理装置による直線検出結果を示す画像である。

符号の説明

１…画像処理装置、２…カメラ、３…画像ＥＣＵ、１０…エッジ抽出部、１１…微小セグメント生成部、１２…結合候補作成部、１３…共通候補棄却部、１４…候補順位付け部、１５…候補抽出部、１６…結果出力部

Claims (2)

1. 撮像手段と、
   前記撮像手段で撮像した撮像画像からエッジを抽出するエッジ抽出手段と、
   前記エッジ抽出手段で抽出した各エッジに対して結合候補を抽出し、当該結合候補毎に線としての評価値を求める結合候補抽出手段と、
   前記結合候補抽出手段で任意のエッジに対して複数の結合候補を抽出した場合、当該複数の結合候補から線としての妥当性の高い結合候補を選択する結合候補選択手段と、
   各エッジに対する結合候補の抽出が終了した場合、当該各エッジの結合候補から評価値に基づいて線として最適な結合候補を判断する判断手段と
   を備えることを特徴とする画像処理装置。
2. 前記エッジ抽出手段で抽出したエッジから近傍のエッジによってセグメントを生成するセグメント生成手段を備え、
   前記結合候補抽出手段は、前記セグメント生成手段で生成した各セグメントに対して結合候補を抽出することを特徴とする請求項１に記載する画像処理装置。

Images