JP2015204022A - 画像処理装置 - Google Patents

Abstract

【課題】撮像画像から所要のエッジを抽出することを高い信頼性で行うことを可能とする画像処理装置を提供する。【解決手段】撮像画像のエッジ抽出対象領域は、互いに異なるエッジ抽出用の閾値がそれぞれ設定された複数の部分領域１１(1)〜１１(7)に分割されている。エッジ抽出対象領域からエッジを抽出するエッジ抽出手段５は、各部分領域１１(1)〜１１(7)でエッジを抽出する処理を各部分領域１１(1)〜１１(7)に対応して設定された閾値を用いて実行する。【選択図】図１

Description

本発明は、レーンマーク等の検知対象の画像を認識するために撮像画像から抽出したエッジを使用する画像処理装置に関する。

撮像装置の撮像画像からエッジを抽出し、そのエッジを用いて種々様々な検知対象の画像を認識することが従来より一般に行われている。

例えば特許文献１には、車両に搭載した撮像装置の撮像画像から、路面の白線の候補となるエッジを抽出することで二値画像を生成し、この二値画像に基づいて路面の白線を認識するものが記載されている。

この場合、白線の候補となるエッジは、撮像画像の輝度値変化を示すエッジ画像の画素値を所定の閾値と比較することで抽出される。

そして、特許文献１には、撮像画像の右領域におけるエッジの計数値又は左領域におけるエッジの計数値に応じて、左右両領域における上記閾値を変化させる技術が記載されている。

特開平９−２８８７３７号公報

撮像装置から得られる撮像画像は、撮像装置の周辺環境の構造物や天候等の影響によって、部分部分で画像の明るさ（平均輝度）が比較的大きく相違するような場合がある。例えば、自車両前方を撮像装置により撮像した場合、撮像画像の一部が塀等の構造物による影によって比較的暗いものとなっている一方、他の画像部分が比較的明るくなっているというような状況が生じることがある。

このような状況では、撮像画像からエッジを抽出しようとする場合に、その抽出をおこなおうとする全体の画像領域において、エッジ抽出用の閾値を同一に設定すると、該画像領域の部分部分によって、同じ種類のエッジ（例えば路面のレーンマークのエッジ）を抽出できたり、できなかったりする虞れがある。

しかるに、前記特許文献１に見られる如き従来の技術では、エッジを抽出しようとする画像領域の全体において、エッジ抽出用の閾値を同一の値に設定している。

このため、抽出しようとするエッジが実際に存在する画像領域で該エッジが抽出されなかったり、あるいは、抽出しようとするエッジが存在しない領域で、不要なエッジが多数抽出されてしまうというような不都合を生じやすい。

本発明はかかる背景に鑑みてなされたものであり、撮像画像から所要のエッジを抽出することを高い信頼性で行うことを可能とする画像処理装置を提供することを目的とする。

本発明の画像処理装置は、かかる目的を達成するために、監視領域を撮像する撮像装置の撮像画像内における画素値変化を所定の閾値と比較することにより該撮像画像からエッジを抽出するエッジ抽出手段を備える画像処理装置であって、前記エッジ抽出手段が前記撮像画像から前記エッジを抽出する処理を実行する該撮像画像中の領域であるエッジ抽出対象領域が、互いに異なる前記閾値がそれぞれ設定された複数の部分領域に分割されており、前記エッジ抽出手段は、前記エッジ抽出対象領域の各部分領域でエッジを抽出する処理を該部分領域に対応して設定された前記閾値を用いて実行するように構成されていることを特徴とする（第１発明）。

かかる第１発明によれば、エッジ抽出対象領域の各部分領域毎に、各別の閾値が設定されているので、前記エッジ抽出手段は、各部分領域の全体の画素値の状態（分布状態、平均画素値等）に適した閾値を用いて、該部分領域におけるエッジの抽出を行うことができる。

例えば、エッジ抽出対象領域において、比較的暗い部分領域と明るい部分領域とで、互いに異なる閾値を使用して、それらの部分領域でのエッジの抽出を行うことができる。

従って、第１発明によれば、撮像画像から所要のエッジを抽出することを高い信頼性で行うことが可能となる。

なお、第１発明におけるエッジ抽出対象領域は、撮像画像の全体領域、又は該撮像画像の一部の領域のいずれであってもよい。さらにエッジ抽出対象領域、並びに各部分領域は、１つの連続した領域、又は互いに分離した複数の領域から成る領域のいずれであってもよい。

上記第１発明の１つの態様では、前記閾値は、前記複数の部分領域のうち、実空間での前記撮像装置からの距離が相対的に大きい箇所の画像が投影される部分領域における閾値が、該距離が相対的に小さい箇所の画像が投影される部分領域における閾値よりも小さい値になるように設定されていることが好ましい（第２発明）。

すなわち、撮像装置からの距離が相対的に大きい箇所の画像は、該距離が相対的に小さい箇所の画像に比して不鮮明なものとなりやすい。第２発明では、このことを考慮して、上記の如く各部分領域における閾値が設定されている。

これにより、各部分領域におけるエッジの抽出を、該部分領域に写る箇所の撮像装置からの距離によらずに適切に行うことができる。

さらに、上記第１発明又は第２発明では、前記複数の部分領域のうちの１つ以上の部分領域のそれぞれにおける前記閾値を、当該部分領域のうちの局所領域において前記エッジ抽出手段により抽出される前記エッジの個数に応じて更新する閾値更新手段をさらに備えるようにしてもよい（第３発明）。

なお、任意の１つの部分領域のうちの局所領域は、該部分領域の一部分の領域を意味する。このことは、後述の他の発明においても同様である。

かかる第３発明によれば、１つ以上の部分領域のそれぞれにおける前記閾値が、該部分領域のうちの局所領域において抽出される前記エッジの個数に応じて更新される。例えば、ある値の閾値を使用して該局所領域においてエッジを抽出した場合に、該エッジの抽出個数が所定数よりも小さい場合（該抽出個数が少なすぎる場合）に、エッジを抽出しやすくするための該局所領域を有する部分領域における閾値を小さくすること、あるいは、該エッジの抽出個数が所定数よりも大きい場合（該抽出個数が多すぎる場合）に、エッジを抽出し難くするための該局所領域を有する部分領域における閾値を大きくすること等を行うことが可能となる。

このため、当該１つ以上の部分領域のそれぞれにおける画像状態の変化等に対して、各部分領域における閾値を適切に更新することができる。

また、当該１つ以上の部分領域のそれぞれにおける閾値を、該部分領域の一部の局所領域におけるエッジの抽出個数に応じて更新するので、この更新のための処理を、少ない演算負荷で効率よく行うことができる。

また、上記第１発明又は第２発明では、より具体的な態様として次の態様を採用できる。

すなわち、上記第１発明又は第２発明では、例えば、前記撮像装置が撮像する監視領域が、車両の走行路面を含む領域である場合に、該車両の走行路面の画像を含む前記エッジ抽出対象領域において前記エッジ抽出手段により抽出されたエッジを用いて前記走行路面のレーンマークの画像を認識するレーンマーク認識手段と、前記複数の部分領域のうちの少なくとも前記レーンマークの画像が写る可能性を有する１つ以上の部分領域のそれぞれにおける前記閾値を、前記走行路面のうちの右側及左側のレーンマークの間の路面の画像が写る領域となるように当該１つ以上の部分領域のそれぞれに設定した局所領域において前記エッジ抽出手段により抽出される前記エッジの個数に応じて更新する閾値更新手段とをさらに備える構成を採用できる（第４発明）。

かかる第４発明によれば、レーンマークの画像が写る可能性を有する１つ以上の部分領域のそれぞれにおける閾値が、前記第３発明と同様に、当該１つ以上の部分領域のそれぞれに設定した局所領域において前記エッジ抽出手段により抽出される前記エッジの個数に応じて更新される。

この場合、当該１つ以上の部分領域のそれぞれの局所領域は、前記走行路面のうちの右側及び左側のレーンマークの間の路面の画像が写る領域となるように設定された領域である。従って、該局所領域は、ノイズ成分等の少ない安定した画素値を有する領域である。

このため、当該１つ以上の部分領域のそれぞれにおける閾値を高い安定性で（ノイズ成分の影響を受けにくいように）適切に更新できる。

あるいは、上記第１発明又は第２発明では、例えば、前記撮像装置が撮像する監視領域が、車両の走行路面を含む領域である場合に、該車両の走行路面の画像を含む前記エッジ抽出対象領域において前記エッジ抽出手段により抽出されたエッジを用いて前記走行路面のレーンマークの画像を認識するレーンマーク認識手段と、前記複数の部分領域のうちの少なくとも前記レーンマークの画像が写る可能性を有する１つ以上の部分領域のそれぞれにおける前記閾値を、前記レーンマークの画像が写る領域となるように当該１つ以上の部分領域のそれぞれに設定した局所領域において前記エッジ抽出手段により抽出される前記エッジの個数に応じて更新する閾値更新手段とをさらに備える構成を採用できる（第５発明）。

かかる第５発明によれば、レーンマークの画像が写る可能性を有する１つ以上の部分領域のそれぞれにおける閾値が、前記第３発明と同様に、当該１つ以上の部分領域のそれぞれに設定した局所領域において前記エッジ抽出手段により抽出される前記エッジの個数に応じて更新される。

この場合、当該１つ以上の部分領域のそれぞれの局所領域は、前記レーンマークの画像が写る領域となるように設定された領域である。このため、当該１つ以上の部分領域のそれぞれにおける閾値を、レーンマークに対応するエッジを抽出する上で好適な値になるように更新できる。

上記第４発明又は第５発明では、前記閾値更新手段は、前記閾値の更新前に既に前記レーンマーク認識手段により認識されたレーンマークの撮像画像中の位置に基づいて、新たな撮像画像における前記レーンマークの存在箇所を推定し、該推定結果に基づいて、前記局所領域を設定するように構成されていることが好ましい（第６発明）。

この第６発明によれば、レーンマークの存在箇所を推定し、該推定結果に基づいて、前記局所領域を設定するので、該局所領域を高い信頼性で所要の位置に設定することができる。従って、レーンマークに対応するエッジを抽出するための閾値として好適な閾値を高い信頼性で設定できる。

本発明の実施形態における画像処理装置のシステム構成を示す図。 図１に示す撮像装置２の撮像画像の一例を示す図。 第１実施形態における部分領域及び局所領域の配置パターンを例示する図。 第２実施形態における部分領域及び局所領域の配置パターンを例示する図。

［第１実施形態］
本発明の第１実施形態を図１〜図３を参照して以下に説明する。

本実施形態の画像処理装置１は、道路を走行する車両１００に搭載されている。この画像処理装置１には、撮像装置２による撮像画像が該撮像装置２から入力される。そして、画像処理装置１は、撮像装置２から取得した撮像画像から所定の認識対象の画像を認識する。該認識対象は、本実施形態では、車両１００が走行する路面（走行路面）に付設されているレーンマークである。

撮像装置２は、単眼カメラ等により構成される。そして、撮像装置２は、車両１００（以降、自車両１００ということがある）の周辺の監視領域、例えば前方領域を撮像するように自車両１００に搭載されている。この撮像装置２の撮像画像は、カラー画像及びモノトーン画像のいずれであってもよい。また、撮像装置２は、２台以上のカメラにより構成されるステレオカメラであってもよい。

画像処理装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む電子回路ユニットにより構成される。

この画像処理装置１は、実装されるプログラムにより実現される機能、あるいは、ハードウェア構成により実現される機能として、撮像装置２の撮像画像から、レーンマークの候補となるエッジを抽出する処理を実行するエッジ抽出部５と、該エッジ抽出部５の処理で使用する閾値を更新する（可変的に設定する）処理を実行する閾値更新部６と、エッジ抽出部５で抽出されたエッジを用いてレーンマークの画像を認識する処理を実行するレーンマーク認識部７とを備える。

なお、エッジ抽出部５、閾値更新部６、及びレーンマーク認識部７は、それぞれ本発明におけるエッジ抽出手段、閾値更新手段、レーンマーク認識手段に相当する。

次に、画像処理装置１の処理を詳細に説明する。

画像処理装置１は、所定の演算処理周期で撮像装置２の撮像画像を取得し、現在時刻から所定時間前までの撮像画像を図示しない画像メモリに記憶保持する。

画像処理装置１は、各演算処理周期で取得した撮像画像に対して、エッジ抽出部５及びレーンマーク認識部７の処理を実行する。

図２は、撮像装置２から取得される撮像画像の一例を概略的に示している。図示例の撮像画像は、自車両１００が右側のレーンマーク１１０Ｒと左側のレーンマーク１１０Ｌとの間で走行路面１１１を走行している状況で取得される撮像画像を例示している。

なお、図示例では、右側レーンマーク１１０Ｒは、実線状の白線、左側のレーンマーク１１０Ｌは破線状の白線である。また、図示例の撮像画像において、点描を付した領域（走行路面１１１上の領域）は、走行路面１１１の右側に立設された塀１１２によって光が遮られた日陰領域を表している。従って、図示例の走行路面１１１の画像は、輝度が比較的高い明るい部分（日向部分）と輝度が比較的低い暗い部分（日陰部分）とが混在している。

エッジ抽出部５は、撮像画像内に図２に示す如く設定したエッジ抽出対象領域において、エッジを抽出する処理を実行する。該エッジ抽出対象領域は、本実施形態における認識対象としてのレーンマークの画像が存在する可能性が高い領域（図示例では、撮像画像の周縁寄りの箇所を除いた方形状の領域）として設定される。

なお、エッジ抽出対象領域は、既定の一定領域でよいが、撮像環境等の状況によって、適宜、そのサイズもしくは配置位置を変更するようにしてもよい。また、撮像画像の全体をエッジ抽出対象領域として設定してもよい。また、エッジ抽出対象領域は、方形状以外の形状（例えば台形状等）の領域であってもよい。

エッジ抽出部５は、エッジ抽出対象領域の撮像画像から微分フィルタ等を使用して、該撮像画像の水平方向（又は垂直方向）における画素値（例えば輝度値）の変化（勾配）を示すエッジ画像を作成する。該エッジ画像は、その各画素値の大きさが、元の撮像画像の画素値の変化の勾配が大きいほど、大きくなる画像である。

なお、撮像画像がカラー画像である場合には、撮像画像の画素値として、色相又は彩度を使用し、該色相又は彩度の変化に基づいてエッジ画像を作成することも可能である。

エッジ抽出部５はさらに、作成したエッジ画像において、画素値が所定の閾値以上となる画素（すなわち、元の撮像画像における画素値変化が所定の閾値以上となる画素）をエッジの構成要素として抽出する。

この場合、本実施形態では、上記閾値は、後述する閾値更新部６の処理によって、エッジ抽出対象領域を分割（区分け）してなる複数の部分領域のそれぞれ毎に各別に設定されている。

一例として、図３に示すように、エッジ抽出対象領域は、７つの部分領域１１(1)〜１１(7)（各々、太線の枠で囲まれた領域）に分割され、その部分領域１１(1)〜１１(7)のそれぞれ毎に各別の閾値が設定されている。なお、各部分領域１１(1)〜１１(7)は、本実施形態では、所定の面積の単位領域（図３中で破線枠で囲まれた小領域）を１つ以上含む領域（単位領域の整数倍の面積の領域）として設定される。

上記７つの部分領域１１(1)〜１１(7)のうち、部分領域１１(1)，１１(2)，１１(3)は、エッジ抽出対象領域の右半分において、下側から順番に上下方向に並ぶ領域、部分領域１１(4)，１１(5)，１１(6)は、エッジ抽出対象領域の左半分において、下側から順番に上下方向に並ぶ領域、部分領域１１(7)は、部分領域１１(3)及び１１(6)の上側でエッジ抽出対象領域の上端部に位置する領域である。

エッジ抽出対象領域の右側の部分領域１１(1)，１１(2)，１１(3)は、換言すれば、右側レーンマーク１１０Ｒの画像が写る領域、左側の部分領域１１(4)，１１(5)，１１(6)は、換言すれば、左側レーンマーク１１０Ｌの画像が写る領域である。また、エッジ抽出対象領域の上端部の部分領域１１(7)は、主に空の画像が写る領域である。

詳細は後述するが、閾値更新部６により、各部分領域１１(1)〜１１(7)毎に各別のエッジ抽出用の閾値が設定されている。

そして、エッジ抽出部５は、各部分領域１１(1)〜１１(7)におけるエッジの抽出を、それぞれの部分領域(1)〜１１(7)毎の閾値を用いて実行する。より詳しくは、エッジ抽出部５は、各部分領域１１(1)〜１１(7)において、エッジ画像の画素値が、該部分領域１１(1)〜１１(7)に対応する閾値以上となる画素を、該部分領域１１(1)〜１１(7)でのエッジ（レーンマークのエッジの候補となるエッジ）の構成要素として抽出する。

補足すると、図３では、エッジ抽出対象領域の右側の部分領域１１(1)，１１(2)，１１(3)と、左側の部分領域１１(4)，１１(5)，１１(6)との境界線の位置は、エッジ抽出対象領域の左右方向の中央位置であるが、該境界線の位置は、当該中央位置から左側又右側にずらした位置であってもよい。

次いで、画像処理装置１は、エッジ抽出部５により抽出されたエッジを用いて、レーンマーク認識部７の処理を実行する。この場合、レーンマーク認識部７は、自車両１００の右側及び左側で連続的に並ぶエッジによって、撮像画像におけるレーンマークの画像の存在位置及び方向（撮像画像上での存在位置及び方向）を認識する。

例えば図２に示した撮像画像におけるレーンマーク１１０Ｒ，１１０Ｌのそれぞれの存在位置及び方向が認識される。そして、レーンマーク認識部７は、撮像画像上で認識したレーンマークの存在位置及び方向等に基づいて、実空間での自車両１００とレーンマークとの位置関係を推定する。

その推定結果は、例えば、自車両１００の走行制御（走行領域の制御等）、あるいは、運転者に対する警報制御等に利用される。

次に、閾値更新部６の処理の詳細を説明する。なお、以降の説明では、任意の部分領域１１(i)（ｉ＝１，２，…）に対応するエッジ抽出用の閾値に参照符号th(i)を付する。

本実施形態では、閾値更新部６は、所定の演算処理周期で各部分領域１１(i)（ｉ＝１，２，…）におけるエッジ抽出用の閾値を更新する。この場合、閾値更新部６の処理の演算処理周期は、エッジ抽出部５の処理の演算処理周期と同じでよいが、該エッジ抽出部５の処理の演算処理周期よりも長い周期であってもよい。

さらには、撮像装置２の撮像環境の変化等をトリガーとして、閾値更新部６の処理を実行するようにしてもよい。

閾値更新部６は、本実施形態では、エッジ抽出対象領域の右側の部分領域１１(1)，１１(2)，１１(3)については、それぞれの部分領域１１(i)（ｉ＝１，２，３）に対応するエッジ抽出用の閾値th(i)を、該部分領域１１(i)の位置（撮像画像上での位置）がより上方側であるほど（換言すれば、該部分領域１１(i)に写る路面部分の、自車両１００からの距離がより大きいほど）、エッジ抽出用の閾値th(i)を相対的に小さくするように設定する。すなわち、th(1)＞th(2)＞th(3)となるように、これらの閾値th(1)，th(2)，th(3)が設定される。

同様に、閾値更新部６は、エッジ抽出対象領域の左側の部分領域１１(4)，１１(5)，１１(6)については、それぞれの部分領域１１(i)（ｉ＝４，５，６）に対応するエッジ抽出用の閾値th(i)を、th(4)＞th(5)＞th(6)となるように設定する。

ここで、より上方側の部分領域に写る画像は、自車両１００からの（あるいは撮像装置２からの）距離がより大きい箇所の投影画像であるので、下方側の部分領域に写る画像に較べて不鮮明なものとなりやすい。逆に、より下方側の部分領域に写る画像は、自車両１００からの（あるいは撮像装置２からの）距離がより小さい箇所の投影画像であるので、上方側の部分領域に写る画像に較べて鮮明なものとなりやすい。

そこで、上記の如く、th(1)＞th(2)＞th(3)となるように、閾値th(1)，th(2)，th(3)を設定することで、部分領域１１(1)，１１(2)，１１(3)にそれぞれ写るレーンマーク（例えば図２に示すレーンマーク１１０Ｒ）のエッジを、自車両１００からの距離（撮像装置２からの距離）によらずに、高い信頼性で抽出することが可能となる。

同様に、th(4)＞th(5)＞th(6)となるように、閾値th(4)，th(5)，th(6)を設定することで、部分領域１１(4)，１１(5)，１１(6)に写るレーンマーク（例えば図２に示すレーンマーク１１０Ｌ）のエッジを自車両１００からの距離（撮像装置２からの距離）によらずに、高い信頼性で抽出することが可能となる。

なお、本実施形態では、エッジ抽出対象領域の上端部の部分領域１１(7)は、基本的には、レーンマークの画像が写らない領域であるので、該部分領域１１(7)に対応するエッジ抽出用の閾値th(7)は、例えば、他の閾値th(1)〜th(6)よりも十分に大きい値に設定される。

部分領域１１(1)〜１１(6)のそれぞれの閾値th(1)〜th(6)はより具体的には次のように設定される。

すなわち、部分領域１１(1)〜(6)のそれぞれ１１(i)（ｉ＝１，２，…，６）に対応する閾値th(i)は、該部分領域１１(i)に含まれる局所領域１２(i)において当該閾値th(i)を用いて前記エッジ抽出部５の処理によりエッジを抽出した場合に、抽出されるエッジの個数（エッジの構成要素として抽出される画素の個数）が、該部分領域１１(i)に対応して定めた目標値に一致もしくはほぼ一致する個数となるように閾値th(i)が設定される。

さらに詳細には、閾値更新部６は、まず、部分領域１１(i)（ｉ＝１，２，…，６）のそれぞれ毎に、エッジの抽出個数をカウントするための局所領域１２(i)を設定する。

この場合、本実施形態では、局所領域１２(i)は、該局所領域１２(i)に写る画像が、自車両１００の前方の走行路面のうちの自車両１００の右側及び左側のレーンマークの間の路面部分（レーンマークが付設されていない路面部分）の画像となるように設定される。

より詳しくは、閾値更新部６は、現在時刻以前（現在時刻から所定時間前まで）に実行されたレーンマーク認識部７の処理により既に認識された右側及び左側のレーンマークの位置（撮像画像上での位置）に基づいて、エッジ抽出用の閾値を新たに設定しようとする（該閾値を更新しようとする）撮像画像において、自車両１００の右側及び左側のそれぞれのレーンマークが写っていると予想される概略的な位置を推定する。

なお、現在の撮像画像のみから、あらかじめ実験的に決定した規則により、レーンマークが写っていると予想される概略的な位置を推定してもよい。

そして、該レーンマークの推定位置に基づいて、右側及び左側のレーンマークの間の路面部分の画像が写る領域となるように、部分領域１１(i)（ｉ＝１，２，…，６）に対応する局所領域１２(i)を設定する。

一例として、自車両１００が、図２に示すレーンマーク１１０Ｒ，１１０Ｌの間のほぼ中央位置を走行している状況では、例えば図３中で斜線を付した領域１２(1)〜１２(6)がそれぞれ部分領域１１(1)〜１１(6)に対応する局所領域として設定される。

なお、図３に示す領域１２(1)〜１２(6)のそれぞれの配置位置及びサイズ（面積）は、一例であり、これらの配置位置及びサイズのパターンは図３に示すパターンに限られるものではない。

例えば最も下側の部分領域１１(1)，１１(4)に対応する局所領域１２(1)，１２(4)の面積（あるいは横幅もしくは縦幅）が、上側の部分領域１１(2)，１１(3)，１１(5)，１１(6)にそれぞれ対応する局所領域１２(2)，１２(3)，１２(5)，１２(6)と同じであってもよい。

また、右側の部分領域１１(1)，１１(2)，１１(3)の局所領域１２(1)，１２(2)，１２(3)のそれぞれと、左側の部分領域１１(4)，１１(5)，１１(6)の局所領域１２(4)，１２(5)，１２(6)のそれぞれとは、互いに異なる大きさの領域であってもよい。あるいは、右側の部分領域１１(1)，１１(2)，１１(3)の局所領域１２(1)，１２(2)，１２(3)のそれぞれの配置位置と、左側の部分領域１１(4)，１１(5)，１１(6)の局所領域１２(4)，１２(5)，１２(6)のそれぞれの配置位置とが左右対称となる配置位置と異なっていてもよい。

また、局所領域１２(1)〜１２(6)のうちのいずれかは、前記した単位領域よりも小さい領域であってもよい。

そして、閾値更新部６は、各部分領域１１(i)（ｉ＝１，２，…，６）の局所領域１２(i)において、エッジ抽出用の閾値th(i)を、所定の範囲内であらかじめ定めた複数の候補値（例えばth，th＋α、th＋２・α，th＋３・α，…，th＋ｎ・αというように所定値αずつ異なる値）に順番に設定し、それらの各候補値の閾値th(i)を用いて、エッジ抽出部５と同じ処理を実行することで、各候補値の閾値th(i)に対応して局所領域１２(i)で抽出されるエッジの抽出個数Ｎ(th(i))をカウントする。

また、閾値更新部６は、各部分領域１１(i)（ｉ＝１，２，…，６）の局所領域１２(i)毎に、エッジの抽出個数の目標値を設定する。この場合、部分領域１１(i)（ｉ＝１，２，…，６）毎に、単位面積当たりのエッジの抽出個数の目標値があらかじめ実験等に基づいて設定されている。そして、閾値更新部６は、各局所領域１２(i)におけるエッジの抽出個数の目標値を、単位面積当たりの目標値に、該局所領域１２(i)の面積を乗じてなる値に設定する。

そして、閾値更新部６は、各局所領域１２(i)（ｉ＝１，２，…，６）における閾値th(i)の候補値のうち、エッジの抽出個数Ｎ(th(i))が該局所領域１２(i)に対応して設定した目標値に最も近いものとなる候補値を該部分領域１１(i)の全体における閾値th(i)として選定する。

なお、この場合、エッジの抽出個数Ｎ(th(i))が目標値以下となることを必要条件して、該必要条件を満たす候補値のうち、エッジの抽出個数Ｎ(th(i))が最大となるような候補値を部分領域１１(i)における閾値th(i)として選定してもよい。

あるいは、エッジの抽出個数Ｎ(th(i))が目標値以上となることを必要条件として、該必要条件を満たす候補値のうち、エッジの抽出個数Ｎ(th(i))が最小となるような候補値を部分領域１１(i)における閾値th(i)として選定してもよい。

補足すると、各部分領域１１(i)（ｉ＝１，２，…，６）における単位面積当たりのエッジの抽出個数の目標値は、本実施形態では、上記の如く選択的に決定される閾値th(1)〜th(6)が、th(1)＞th(2)＞th(3)、th(4)＞th(5)＞th(6)となるように設定されている。

なお、エッジ抽出対象領域の上端部の部分領域１１(7)については、その閾値th(7)は、本実施形態では、あらかじめ定めた所定値に設定される。ただし、部分領域１１(7)におけるエッジの抽出個数が、所定の目標値に一致もしくはほぼ一致するように、該閾値th(7)を可変的に設定するようにしてもよい。

以上の如く各部分領域１１(1)〜１１(7)に対応して設定された閾値th(1)〜th(7)が、エッジ抽出部５の現在の演算処理周期での処理、あるいは、次回の演算処理周期以降の処理で使用される。

以上説明した本実施形態によれば、撮像画像のエッジ抽出対象領域の各部分領域１１(i)（ｉ＝１，２，…）毎に各別の閾値th(i)が設定される。このため、各部分領域１１(i)（ｉ＝１，２，…）毎に、エッジを抽出する上で適切な閾値th(i)を使用して、該エッジを抽出することができる。ひいては、各部分領域１１(i)で所要のエッジ（本実施形態では、レーンマークのエッジ）を抽出できなかったり、あるいは、余分なエッジが多数抽出されてしまうような事態が生じことを防止できる。

例えば、図２に示すように、走行路面１１１に、比較的暗い日陰部分と比較的明るい日向部分とが混在しているような場合であっても、各部分領域１１(i)（ｉ＝１，２，…）において、レーンマーク１１０Ｒ又は１１０Ｌのエッジを適切に抽出することができる。

このように、所要のエッジを高い信頼性で抽出することができる。

また、本実施形態では、レーンマークが写る可能性が高い部分領域１１(1)〜１１(6)のそれぞれ１１(i)（ｉ＝１，２，…，６）における閾値th(i)は、左右のレーンマークの間の箇所が写るように設定された局所領域１２(i)におけるエッジの抽出個数に応じて設定されるので、撮像画像中のノイズ成分の影響を受けにくいようにして、信頼性の高い閾値th(i)を適切に設定できる。

さらに、部分領域１１(1)〜１１(6)のそれぞれ１１(i)（ｉ＝１，２，…，６）における閾値th(i)は、該部分領域１１(i)の一部分の領域である局所領域１２(i)でのエッジの抽出個数に応じて設定されるので、その設定処理を少ない演算負荷で効率よく行うことができる。

［第２実施形態］
次に、本発明の第２実施形態を図４を参照して説明する。なお、本実施形態は、閾値更新部６の処理だけが第１実施形態と相違するものである。このため、本実施形態の説明は、第１実施形態と相違する事項を中心に行い、第１実施形態と同一の事項については説明を省略する。

本実施形態では、閾値更新部６は、エッジ抽出対象領域の部分領域１１(1)〜１１(7)のうち、部分領域１１(1)〜１１(6)のそれぞれ１１(i)（ｉ＝１，２，…，６）におけるエッジの抽出個数をカウントする局所領域１２(i)を第１実施形態と異なる形態で設定する。

本実施形態では、局所領域１２(i)は、自車両１００の前方の路面のうちの自車両１００の右側のレーンマーク及び左側のレーンマークのいずれか一方の画像が該局所領域１２(i)に写るように設定される。

より詳しくは、閾値更新部６は、現在時刻以前（現在時刻から所定時間前まで）に実行されたレーンマーク認識部７の処理により既に認識された右側及び左側のレーンマークの位置（撮像画像上での位置）に基づいて、エッジ抽出用の閾値を新たに設定しようとする（該閾値を更新しようとする）撮像画像において、自車両１００の右側及び左側のレーンマークが写っていると予想される位置を推定する。

そして、閾値更新部６は、右側のレーンマークの推定位置に基づいて、右側の部分領域１１(1)，１１(2)，１１(3)のそれぞれにおける局所領域１２(1)，１２(2)，１２(3)に右側のレーンマークが写るように、局所領域１２(1)，１２(2)，１２(3)を設定する。

同様に、閾値更新部６は、左側のレーンマークの推定位置に基づいて、左側の部分領域１１(4)，１１(5)，１１(6)のそれぞれにおける局所領域１２(4)，１２(5)，１２(6)に左側のレーンマークが写るように、局所領域１２(4)，１２(5)，１２(6)を設定する。

一例として、自車両１００が、図２に示すレーンマーク１１０Ｒ，１１０Ｌの間のほぼ中央位置を走行している状況では、例えば図４中で斜線を付した領域１２(1)〜１２(6)がそれぞれ部分領域１１(1)〜１１(6)に対応する局所領域として設定される。

なお、図４に示す領域１２(1)〜１２(6)のそれぞれの配置位置及びサイズ（面積）は、一例であり、これらの配置位置及びサイズのパターンは図４に示すパターンに限られるものではない。これらの配置位置及びサイズのパターンは、第１実施形態に関して説明した場合と同様に、種々様々のパターンを採用し得る。

本実施形態は、以上説明した事項以外は、第１実施形態と同じである。

かかる本実施形態においても、第１実施形態と同様に、各部分領域１１(i)（ｉ＝１，２，…）毎に、エッジを抽出する上で適切な閾値th(i)を使用して、該エッジを抽出することができる。ひいては、各部分領域１１(i)で所要のエッジ（本実施形態では、レーンマークのエッジ）を高い信頼性で抽出できる。

また、本実施形態では、レーンマークが写る可能性が高い部分領域１１(1)〜１１(6)のそれぞれ１１(i)（ｉ＝１，２，…，６）における閾値th(i)は、右側又は左側のレーンマークが写るように設定された局所領域１２(i)におけるエッジの抽出個数に応じて設定されるので、該レーンマークのエッジを抽出するために好適な閾値th(i)を設定できる。

さらに、部分領域１１(1)〜１１(6)のそれぞれ１１(i)（ｉ＝１，２，…，６）における閾値th(i)は、第１実施形態と同様に、該部分領域１１(i)の一部分の領域である局所領域１２(i)でのエッジの抽出個数に応じて設定されるので、その設定処理を少ない演算負荷で効率よく行うことができる。

［変形態様］
次に、以上説明した実施形態に関連する変形態様をいくつか説明する。

前記各実施形態では、エッジ抽出対象領域における部分領域１１(i)（ｉ＝１，２，…）の個数や、各部分領域１１(i)の配置位置及びサイズを一定にしたが、自車両１００の走行環境（ひいては、撮像環境）等に応じて、部分領域の個数、各部分領域の配置パターン、各部分領域のサイズを適宜変更するようにしてもよい。

また、前記各実施形態では、走行路面のレーンマークのエッジを抽出する場合を例にとって説明したが、撮像画像から他車両等の物体のエッジを抽出するような場合でも本発明を適用できる。

また、撮像装置２は、車両１００にあらかじめ搭載された撮像装置２に限らず、例えば運転者が携帯可能な撮像装置、あるいは、車両１００以外の任意の移動体等に搭載された撮像装置２であってもよい。

１…画像処理装置、２…撮像装置、５…エッジ抽出部（エッジ抽出手段）、６…閾値更新部（閾値更新手段）、７…レーンマーク認識部（レーンマーク認識手段）、１００…車両、１１１…走行路面、１１０Ｒ，１１０Ｌ…レーンマーク、１１(1)〜１１(7)…部分領域、１２(1)〜１２(7)…局所領域。

Claims (6)

1. 監視領域を撮像する撮像装置の撮像画像内における画素値変化を所定の閾値と比較することにより該撮像画像からエッジを抽出するエッジ抽出手段を備える画像処理装置であって、
   前記エッジ抽出手段が前記撮像画像から前記エッジを抽出する処理を実行する該撮像画像中の領域であるエッジ抽出対象領域が、互いに異なる前記閾値がそれぞれ設定された複数の部分領域に分割されており、
   前記エッジ抽出手段は、前記エッジ抽出対象領域の各部分領域でエッジを抽出する処理を該部分領域に対応して設定された前記閾値を用いて実行するように構成されていることを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記閾値は、前記複数の部分領域のうち、実空間での前記撮像装置からの距離が相対的に大きい箇所の画像が投影される部分領域における閾値が、該距離が相対的に小さい箇所の画像が投影される部分領域における閾値よりも小さい値になるように設定されていることを特徴とする画像処理装置。
3. 請求項１又は２記載の画像処理装置において、
   前記複数の部分領域のうちの１つ以上の部分領域のそれぞれにおける前記閾値を、当該部分領域のうちの局所領域において前記エッジ抽出手段により抽出される前記エッジの個数に応じて更新する閾値更新手段をさらに備えることを特徴とする画像処理装置。
4. 請求項１又は２記載の画像処理装置において、
   前記撮像装置が撮像する監視領域は、車両の走行路面を含む領域であり、
   該車両の走行路面の画像を含む前記エッジ抽出対象領域において前記エッジ抽出手段により抽出されたエッジを用いて前記走行路面のレーンマークの画像を認識するレーンマーク認識手段と、
   前記複数の部分領域のうちの少なくとも前記レーンマークの画像が写る可能性を有する１つ以上の部分領域のそれぞれにおける前記閾値を、前記走行路面のうちの右側及左側のレーンマークの間の路面の画像が写る領域となるように当該１つ以上の部分領域のそれぞれに設定した局所領域において前記エッジ抽出手段により抽出される前記エッジの個数に応じて更新する閾値更新手段とをさらに備えることを特徴とする画像処理装置。
5. 請求項１又は２記載の画像処理装置において、
   前記撮像装置が撮像する監視領域は、車両の走行路面を含む領域であり、
   該車両の走行路面の画像を含む前記エッジ抽出対象領域において前記エッジ抽出手段により抽出されたエッジを用いて前記走行路面のレーンマークの画像を認識するレーンマーク認識手段と、
   前記複数の部分領域のうちの少なくとも前記レーンマークの画像が写る可能性を有する１つ以上の部分領域のそれぞれにおける前記閾値を、前記レーンマークの画像が写る領域となるように当該１つ以上の部分領域のそれぞれに設定した局所領域において前記エッジ抽出手段により抽出される前記エッジの個数に応じて更新する閾値更新手段とをさらに備えることを特徴とする画像処理装置。
6. 請求項４又は５記載の画像処理装置において、
   前記閾値更新手段は、前記閾値の更新前に既に前記レーンマーク認識手段により認識されたレーンマークの撮像画像中の位置に基づいて、新たな撮像画像における前記レーンマークの存在箇所を推定し、該推定結果に基づいて、前記局所領域を設定するように構成されていることを特徴とする画像処理装置。