JP2013168057A - 道路境界判定装置及び道路境界判定方法 - Google Patents

Abstract

【課題】道路境界を判定する処理負荷を抑制しつつ、近距離から遠距離まで判定精度を低下させることなく道路境界を判定できる道路境界判定装置等を提供すること。
【解決手段】
道路を撮像して、時間的に連続した複数の静止画像を取得する撮像手段と、１回の判定処理において、撮像手段によって取得された静止画像のうち１つの静止画像を用いて、道路の境界を判定する第１判定手段と、１回の判定処理において、撮像手段によって取得された静止画像のうち複数の静止画像を用いて、当該複数の静止画像における所定の近距離領域内の前記道路の境界を判定する第２判定手段と、第１判定手段による判定結果と第２判定手段による判定結果とに基づいて、道路の境界を最終的に決定する道路境界決定手段とを備える。
【選択図】図３

Description

本発明は、道路境界判定装置等に関し、より特定的には、撮像画像を用いて道路の境界を判定する道路境界判定装置等に関する。

従来、車載カメラで撮像した動画像からオプティカルフローを算出して道路境界を判定する技術がある（例えば、特許文献１参照）。

特開２００７−１８３９１２号公報

しかし、オプティカルフローを用いて道路境界を判定する演算処理は処理負荷が大きく、又、カメラの性能（解像度）によっては、遠距離の道路境界の判定が困難となる可能性がある。

それ故に、本発明の主たる目的は、道路境界を判定する処理負荷を抑制しつつ、近距離から遠距離まで判定精度を低下させることなく道路境界を判定できる道路境界判定装置等を提供することである。

上記の目的を達成するために、本発明は以下の構成を採用した。なお、括弧内の参照符号、ステップ番号及び補足説明等は、この発明の理解を助けるために、後述する実施例との対応関係の一例を記したものであって、この発明の範囲を何ら限定するものではない。

本発明は、道路の境界を判定する道路境界判定装置に向けられている。そして、第１の局面では、少なくとも道路を撮像して、時間的に連続した複数の静止画像（動画像を構成するフレーム）を取得する撮像手段（１、Ｓ１）と、１回の判定処理において、撮像手段によって取得された静止画像のうち１つの静止画像を用いて、道路の境界（図６の線分Ａ〜Ｅ）を判定する第１判定手段（３、Ｓ２）と、１回の判定処理において、撮像手段によって取得された静止画像のうち複数の静止画像を用いて、当該複数の静止画像における所定の近距離領域内（図６参照）の道路の境界（図６の線分Ｆ）を判定する第２判定手段（４、Ｓ３）と、第１判定手段による判定結果と第２判定手段による判定結果とに基づいて、道路の境界（図６の線分Ｇ）を最終的に決定する道路境界決定手段（５、Ｓ４）とを備える。

これによれば、第１判定手段は１つの静止画像の全体について画像処理を行って道路境界を判定し、一方で、第２判定手段は複数の静止画像（典型的には、動画像）の所定の近距離領域について画像処理を行って道路境界を判定する。つまり、第１判定手段の画像処理は静止画像全体を処理対象としているが１つの静止画像が処理対象なのでその情報処理負荷は抑制され、又、第２判定手段の画像処理は複数の静止画像を処理対象としているが画像全体ではなく所定の近距離領域を処理対象としているのでその情報処理負荷は抑制される。また、第２判定手段は、複数の静止画像を用いて画像処理しているので所定の近距離領域に対して高精度の道路境界検出を実行でき、第１判定手段は、１つの静止画像を用いて画像処理しているので画像全体に対して或る程度高精度の道路境界検出を確保することができる。この結果として、道路境界を判定する処理負荷を抑制しつつ、近距離から遠距離まで判定精度を低下させることなく道路境界を判定することができる。

また、第２の局面では、第１判定手段は、１つの静止画像から線分を抽出することによって、道路の境界を判定してもよい（図４参照）。

これによれば、１つの静止画像から線分を抽出する手法で画像処理を行うので、少ない情報処理負荷で或る程度制度で道路境界を判定することができる。

また、第３の局面では、第２判定手段は、複数の静止画像からオプティカルフローを算出することによって、所定の近距離領域内の道路の境界を判定してもよい（図５参照）。

これによれば、オプティカルフローを用いた手法で画像処理を行うので、所定の近距離領域において、高精度の道路境界検出を実行して道路境界を判定することができる。

また、第４の局面では、第２判定手段は、オプティカルフローから３次元復元を行うことによって、所定の近距離領域内の道路の境界を判定してもよい（図５参照）。

これによれば、路面の立体構造を認識して道路の境界を判定できるので、縁石や歩道による段差等を高精度で判定して道路境界を判定することができる。

また、第５の局面では、道路境界決定手段は、第１判定手段によって判定された道路の境界（図６の線分Ａ〜Ｅ）のうち、第２判定手段によって判定された所定の近距離領域内の道路の境界（図６の線分Ｆ）と適合（マッチ）する境界を、最終的に道路の境界（図６の線分Ｇ）として決定してもよい（Ｓ４）。

これによれば、第１判定手段によって撮像画像全体を判定して得た境界のうち、高精度で判定した近距離範囲の境界とマッチする境界を最終的に道路の境界と判定するので、情報処理負荷を抑制しつつ、高精度な道路境界判定を実現することができる。

また、第６の局面では、道路境界判定装置は、車両に搭載されてもよい。

これによれば、車両の走行時において、情報処理負荷を抑制しつつ、高精度な道路境界判定を実現することができる。

また、本発明は、道路の境界を判定する道路境界判定方法にも向けられている。そして、第７の局面では、少なくとも道路を撮像して、時間的に連続した複数の静止画像を取得する撮像ステップと、１回の判定処理において、撮像ステップによって取得された静止画像のうち１つの静止画像を用いて、道路の境界を判定する第１判定ステップと、１回の判定処理において、撮像ステップによって取得された静止画像のうち複数の静止画像を用いて、当該複数の静止画像における所定の近距離領域内の道路の境界を判定する第２判定ステップと、第１判定ステップによる判定結果と第２判定ステップによる判定結果とに基づいて、道路の境界を最終的に決定する道路境界決定ステップとを備える。

これによれば、第１の局面と同様の効果を得ることができる。

本発明によれば、道路境界を判定する処理負荷を抑制しつつ、近距離から遠距離まで判定精度を低下させることなく道路境界を判定できる道路境界判定装置等を提供することができる。

本発明の一実施形態に係る道路境界判定装置２の構成について説明するためのブロック図の一例 撮像手段１と道路境界判定装置２とＤＳＳＥＣＵ６とを搭載した車両の一例について説明するための図 道路境界判定装置２の動作にいついて説明するフローチャートの一例 図３のステップＳ２の第１の道路境界判定処理について説明するフローチャートの一例 図３のステップＳ３の第２の道路境界判定処理について説明するフローチャートの一例 図３のステップＳ２〜Ｓ４の各処理において道路境界と判定された線分の一例を、撮像画像に具体的に記載した図

以下に、図を参照しつつ、本発明の一実施形態に係る道路境界判定装置２について説明する。

図１は、本発明の一実施形態に係る道路境界判定装置２の構成について説明するためのブロック図の一例である。図１に示すように、道路境界判定装置（カメラＥＣＵ（Electronic Control Unit））２は、第１の道路境界判定手段３と、第２の道路境界判定手段４と、道路境界決定手段５とを備える。また、道路境界判定装置２は、撮像手段（カメラ）１が撮像した画像を入力され、後述する道路境界判定の処理を実行した後に、その判定結果をＤＳＳＥＣＵ（Driving Support System Electronic Control Unit）６に出力する。ＤＳＳＥＣＵ６は、道路境界判定装置２から入力された道路境界の判定結果に基づいて、安全走行等に関する制御処理を実行する。

図２は、撮像手段１と道路境界判定装置２とＤＳＳＥＣＵ６とを搭載した車両の一例について説明するための図である。図２に示すように、撮像手段１は、例えば、車両のフロントガラス内側に、車両の進行方向を撮像できる方向で設置される。なお、図２には、道路境界判定装置２及びＤＳＳＥＣＵ６については図示していない。

図３は、道路境界判定装置２の動作にいついて説明するフローチャートの一例である。本実施形態において、道路境界判定装置２は、図３に示すステップＳ１からステップＳ５までの処理を、０．１秒の処理周期で繰り返すものとする。以下では、図１及び図３を用いて、道路境界判定装置２の動作にいついて説明する。

まず、ステップＳ１において、道路境界判定装置２は、撮像手段１が車両進行方向を撮像して取得した動画像の情報を、撮像手段１から取得する。ここで、撮像手段１が撮像した動画像は、時間的に連続した多数の静止画像（フレーム）から成る。また、本実施形態では、撮像手段１は、毎秒６０フレームの撮像速度で撮像して、撮像した静止画像を道路境界判定装置２に順次出力するものとする。ステップＳ１において、道路境界判定装置２は、撮像手段１から取得した動画像の情報のうち、所定数の最新フレーム（本実施形態では、６個の最新フレーム）を、図示しない記憶手段（メモリ）に順次記憶させておく。その後、処理は、ステップＳ２に移る。

ステップＳ２において、第１の道路境界判定手段３は、第１の道路境界判定処理を実行する。ここで、第１の道路境界判定処理は、ステップＳ１の処理によって記憶手段に記憶されている所定数の最新フレームのうち１つのフレーム（静止画像）を画像処理対象として用いて、道路の境界を判定（検出）する処理である。

図４は、図３のステップＳ２の第１の道路境界判定処理について説明するフローチャートの一例である。以下では、図４を参照して、図３のステップＳ２の第１の道路境界判定処理の一例について説明する。なお、図４を用いて以下に説明する画像処理は、ハフ変換を用いた一般的な線分抽出処理であるので、簡単な説明とする。

まず、ステップＳ２１において、第１の道路境界判定手段３は、ステップＳ１の処理によって記憶手段に記憶されているフレームのうち１つのフレーム（静止画像）に対して、エッジ点を検出する処理を実行する。その後、処理はステップＳ２２に移る。

ステップＳ２２において、第１の道路境界判定手段３は、所定のパラメータを用いて、ステップＳ２１で検出した各エッジ点を通る各直線群を、ハフ空間内の各曲線に変換するハフ変換処理を実行する。その後、処理はステップＳ２３に移る。

ステップＳ２３において、第１の道路境界判定手段３は、ハフ空間内の各点（各セル）について、曲線が通る数量を加算する投票処理を実行する。その後、処理はステップＳ２４に移る。

ステップＳ２４において、第１の道路境界判定手段３は、ステップＳ２３の処理で加算された数量が所定数量以上となったハフ空間内の各点を、処理対象の静止画像における線分として検出する線分検出処理を実行する。その後、処理は図３のステップＳ３に移る。

図６は、図３のステップＳ２〜Ｓ４の各処理において道路境界と判定された線分の一例を、撮像画像に具体的に記載した図である。図６（１）は、図３のステップＳ２及びＳ３の各処理において道路境界と判定された線分の一例を、撮像画像に具体的に記載したものである。図６（１）において、上記した図３のステップＳ２の第１の道路境界判定処理によって検出された線分を一点鎖線の線分Ａ〜Ｅで示し、後述する図３のステップＳ３の第３の道路境界判定処理によって検出された線分を破線の線分Ｆで示している。また、図６（２）は、後述する図３のステップＳ４の処理において最終的に道路境界と決定された線分を、図６（１）と同じ撮像画像に対して、二点鎖線の線分Ｇで記載したものである。

図６（１）の線分Ａ〜Ｅから解るように、図４のステップＳ２４の線分検出処理によって、縁石の有る左右の歩道における境界が、線分Ａ、Ｂ、Ｄ、Ｅとして検出され、又、センターラインが、線分Ｃとして検出されている。

次に、図３のステップＳ３において、第２の道路境界判定手段４は、第２の道路境界判定処理を実行する。ここで、第２の道路境界判定処理は、ステップＳ１の処理によって記憶手段に記憶されている所定数の最新フレームのうち複数のフレーム（静止画像）における所定の近距離領域（本実施形態では撮像手段１から１０ｍ以内の領域）を画像処理対象として用いて、道路の境界を判定（検出）する処理である。

図５は、図３のステップＳ３の第２の道路境界判定処理について説明するフローチャートの一例である。以下では、図５を参照して、図３のステップＳ３の第２の道路境界判定処理の一例について説明する。なお、図５を用いて以下に説明するステップＳ３１〜Ｓ３４の処理において、処理対象画像からオプティカルフローを算出して３次元復元を行う一般的な画像処理内容については、簡単な説明とする。

まず、ステップＳ３１において、第２の道路境界判定手段４は、ステップＳ１の処理によって記憶手段に記憶されているフレームのうちの複数のフレーム（静止画像）において、特徴点を抽出する特徴点抽出処理を実行する。その際、第２の道路境界判定手段４は、本実施形態の特徴的な処理として、上記した記憶手段に記憶されているフレームのうちの複数のフレーム（静止画像）における所定の近距離領域に対して、特徴点を抽出する。この所定の近距離領域は、図２に示すように撮像手段１から車両前方（撮像方向）の例えば１０ｍまでの領域に対応するものであって、図６（１）及び（２）に示すように、撮像画像の下端から所定距離（所定画素）上方までの領域である。その後、処理はステップＳ３２に移る。

ステップＳ３２において、第２の道路境界判定手段４は、ステップＳ３１で抽出した複数のフレームにおける特徴点に基づいて、勾配法を用いてオプティカルフローを算出する処理を実行する。つまり、第２の道路境界判定手段４は、上記した所定の近距離領域に対してオプティカルフローを算出する。その後、処理はステップＳ３３に移る。

ステップＳ３３において、第２の道路境界判定手段４は、ステップＳ３２で算出したオプティカルフローに基づいて、エピ極線方程式を用いる等して奥行きを算出する画像処理を行って、撮像画像に写った物体形状を３次元形状に復元する３次元復元処理を実行する。つまり、第２の道路境界判定手段４は、上記した所定の近距離領域に対して３次元復元処理を実行する。その後、処理はステップＳ３４に移る。

ステップＳ３４において、第２の道路境界判定手段４は、ステップＳ３３の処理によって３次元復元された形状に基づいて、道路の縁石やガードレール等の道路境界（線分）を検出する道路境界検出処理を実行する。つまり、第２の道路境界判定手段４は、上記した所定の近距離領域に対して、道路境界検出処理を実行する。その後、処理は図３のステップＳ４に移る。

ここで、図６（１）において、上記したように、以上の図３のステップＳ３の第３の道路境界判定処理によって検出された線分を線分（破線）Ｆで示している。図６（１）の線分Ｆから解るように、図５のステップＳ３４の道路境界検出処理によって、所定の近距離領域に写った縁石が線分Ｆとして検出されている。

次に、図３のステップＳ４において、道路境界決定手段５は、ステップＳ２の処理によって検出された線分とステップＳ３の処理によって検出された線分とに基づいて、撮像画像における道路境界を、最終的に決定する。具体的には、ステップＳ４において、道路境界決定手段５は、ステップＳ２の判定処理で検出された線分と、ステップＳ３の判定処理で検出された線分との間で、線分が適合（マッチ）するか否かを判定し、ステップＳ２の判定処理で検出された線分のうちステップＳ３の判定処理で検出された線分と適合した線分を、最終的に道路境界として決定する。具体的には、図６の撮像画像において、道路境界決定手段５は、ステップＳ２の判定処理で検出された線分Ａ〜Ｅと、ステップＳ３の判定処理で検出された線分Ｆとの間で、線分が適合（マッチ）するか否かを判定し、ステップＳ２の判定処理で検出された線分Ａ〜ＥのうちステップＳ３の判定処理で検出された線分Ｆと適合した線分Ｂを（図６（１）参照）、最終的に道路境界Ｇ（図６（２）参照）として決定する。その後、処理はステップＳ５に移る。

ステップＳ５において、道路境界決定手段５は、ステップＳ４で決定した道路境界の情報を、ＤＳＳＥＣＵ６に出力する。その後、処理はステップＳ１に戻って、ステップＳ１〜Ｓ５の処理が繰り返される。なお、ＤＳＳＥＣＵ６は、ステップＳ５で出力された道路境界の情報を用いて、ＬＤＰ（Lane Departure Prevention）制御等の安全走行等に関する制御処理を実行する。

以上に説明したように、本実施形態の道路境界判定装置２によれば、撮像画像全体に対して１つの静止画像を用いた線分検出（図４参照）によって道路境界を検出し、撮像画像の所定の近距離領域に対して動画像を用いてオプティカルフローを算出して道路境界を検出し、これらの検出結果を用いて最終的に道路境界を決定する。このことから、本実施形態の道路境界判定装置２によれば、道路境界を判定する処理負荷を抑制しつつ、近距離から遠距離まで判定精度を低下させることなく道路境界を判定することができる。

（変形例）
なお、上記の実施形態において、図３のステップＳ２の第１の道路境界判定処理は、ハフ変換を用いた線分検出処理として説明した。しかし、図３のステップＳ２の第１の道路境界判定処理は、これに限定されず、１つの静止画像から境界を検出できる処理であればよい。

また、上記の実施形態において、図３のステップＳ３の第２の道路境界判定処理は、オプティカルフローを算出して３次元復元を行って境界を検出する処理として説明した。しかし、図３のステップＳ３の第２の道路境界判定処理は、これに限定されず、複数の静止画像から境界を検出できる処理であればよい。

また、上記の実施形態において、図３のステップＳ２の処理とステップＳ３の処理とは、処理順序が逆でもよいし、同時に並行的に処理されてもよい。

また、上記の実施形態において、図３のステップＳ４の処理では、ステップＳ２の処理で検出された境界（線分）のうち、ステップＳ３の処理で検出された境界（線分）と適合する境界を、最終的に道路境界として決定するものとして説明した。しかし、図３のステップＳ４の処理は、これには限定されず、例えば、車両の進行方向情報を更に用いて、最適な境界を最終的に道路境界と決定するものとしてもよい。具体的には、舵角センサ（図示なし）からの舵角情報から車両の進行方向を判定し、この進行方向とは異なる境界は、最終的な道路境界として決定されないようにしてもよい。

また、上記の実施形態において、道路境界判定装置２は、車両に搭載されるものとして説明した。しかし、道路境界判定装置２は、車両に搭載されず、例えば、飛行機やヘリコプター等の移動体に搭載されて、離着陸を誘導するための滑走路上のレールや線を判定してもよい。

また、上記した実施形態において、上述した情報処理で用いられる処理順序等は、単なる一例に過ぎず、本発明の範囲を逸脱しなければ他の順序等であっても、本発明を実現できることは言うまでもない。

以上、本発明を詳細に説明してきたが、上述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

本発明は、道路境界判定装置等に利用可能であり、特に、道路境界判定装置において道路境界を判定する処理負荷を抑制しつつ近距離から遠距離まで判定精度を低下させることなく道路境界を判定したい場合等に有用である。

１ 撮像手段（カメラ）
２ 道路境界判定装置（カメラＥＣＵ）
３ 第１の道路境界判定手段
４ 第２の道路境界判定手段
５ 道路境界決定手段
６ ＤＳＳＥＣＵ
Ａ〜Ｇ 線分

Claims (7)

1. 道路の境界を判定する道路境界判定装置であって、
   少なくとも道路を撮像して、時間的に連続した複数の静止画像を取得する撮像手段と、
   １回の判定処理において、前記撮像手段によって取得された静止画像のうち１つの静止画像を用いて、前記道路の境界を判定する第１判定手段と、
   １回の判定処理において、前記撮像手段によって取得された静止画像のうち複数の静止画像を用いて、当該複数の静止画像における所定の近距離領域内の前記道路の境界を判定する第２判定手段と、
   前記第１判定手段による判定結果と前記第２判定手段による判定結果とに基づいて、前記道路の境界を最終的に決定する道路境界決定手段とを備える、道路境界判定装置。
2. 前記第１判定手段は、前記１つの静止画像から線分を抽出することによって、前記道路の境界を判定する、請求項１に記載の道路境界判定装置。
3. 前記第２判定手段は、前記複数の静止画像からオプティカルフローを算出することによって、前記所定の近距離領域内の前記道路の境界を判定する、請求項１又は２に記載の道路境界判定装置。
4. 前記第２判定手段は、前記オプティカルフローから３次元復元を行うことによって、前記所定の近距離領域内の前記道路の境界を判定する、請求項３に記載の道路境界判定装置。
5. 前記道路境界決定手段は、前記第１判定手段によって判定された道路の境界のうち、前記第２判定手段によって判定された前記所定の近距離領域内の道路の境界と適合する境界を、最終的に道路の境界として決定する、請求項１〜４の何れか１項に記載の道路境界判定装置。
6. 前記道路境界判定装置は、車両に搭載される、請求項１〜５の何れか１項に記載の道路境界判定装置。
7. 道路の境界を判定する道路境界判定方法であって、
   少なくとも道路を撮像して、時間的に連続した複数の静止画像を取得する撮像ステップと、
   １回の判定処理において、前記撮像ステップによって取得された静止画像のうち１つの静止画像を用いて、前記道路の境界を判定する第１判定ステップと、
   １回の判定処理において、前記撮像ステップによって取得された静止画像のうち複数の静止画像を用いて、当該複数の静止画像における所定の近距離領域内の前記道路の境界を判定する第２判定ステップと、
   前記第１判定ステップによる判定結果と前記第２判定ステップによる判定結果とに基づいて、前記道路の境界を最終的に決定する道路境界決定ステップとを備える、道路境界判定方法。

Images