JP2017117105A - 見通し判定装置 - Google Patents

Abstract

【課題】道路上の見通しの良し悪しについて判定することのできる見通し判定装置を提供する。【解決手段】見通し判定装置１０は、車両に設けられた撮像部１１から映像信号を取得し、映像信号に対しエッジ検出を行うエッジ検出部２０と、映像信号に基づく画像の中心を含む位置を基準とする判定領域内のエッジの数を検出し、エッジの数が閾値以上であれば、道路上の見通しが良好であると判定し、エッジの数が閾値未満であれば、道路上の見通しが良好ではないと判定する見通し判定部２７とを備える。【選択図】図１

Description

本発明は、車両の前方における道路上の見通しについて判定を行う見通し判定装置に関する。

車載カメラの映像信号を画像処理して、車両の周辺の車両や障害物を検出することが既に行われている。例えば、特許文献１には、カメラによって生成された２つのフレーム画像をエッジ処理し、それらの差分画像において移動している車両を検出する技術が記載されている。

特開平２−４５９００号公報

特許文献１に開示された技術においては、画像にエッジ処理を行うことにより車両が検出できることが前提となっているが、実際には、例えば霧の発生や吹雪等により、車両の周辺の見通しが悪くなることがある。その場合には、鮮明な画像を用いた画像処理ができないため、周辺の車両や障害物等の画像認識において正しい判定が行われなくなる可能性がある。そのため、画像認識にあたり、車両前方の見通しに関する情報を得ることが望まれているが、そのような情報をリアルタイムで得るための手立ては知られていない。

本発明は、このような実情に鑑みてなされたものであり、その目的は、道路上の見通しの良し悪しについて判定することのできる見通し判定装置を提供することにある。

以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する見通し判定装置は、車両に設けられた撮像部から映像信号を取得する映像信号取得部と、前記映像信号に対しエッジ検出を行うエッジ検出部と、前記映像信号に基づく画像の中心を含む位置を基準とする判定領域内のエッジの数を検出するエッジ数検出部と、前記エッジの数が閾値よりも大きい場合に道路上の見通しが良好であると判定し、前記エッジの数が閾値以下の場合に道路上の見通しが良好ではないと判定する判定部と、を備える。

道路上の見通しの良し悪しは、道路上の遠い位置が見えるか否かによって判定することができる。上記構成によれば、見通しを判定するための判定領域は、画像の中心の位置を含む位置を基準に設定されるので、判定領域に、車両からみて道路上の最も遠い位置である道路の消失点が含まれやすい。また、その判定領域内のエッジ数に基づき見通しの判定が行われるので、道路上の見通しとは関係のない路側の物体等のエッジを除外して、道路上の見通しについての判定を行うことができる。

見通し判定装置の一実施形態について、その概略構成を示すブロック図。 見通しが悪い状況の画像の例の図。 図２の画像にエッジ検出処理を行ったエッジ情報の例の図。 図３のエッジ情報に判定領域を設定した例の図。 車両が左カーブを走行する場面で撮像された画像に基づくエッジ情報に判定領域を設定した例の図。 車両が右カーブを走行する場面で撮像された画像に基づくエッジ情報に判定領域を設定した例の図。 同実施形態の見通し判定処理の手順を示すフローチャート。 同実施形態において、右カーブを走行する場面での視程、視程が確保される方向の正面からのずれ角度について説明する概念図。 同実施形態において、左カーブを走行する場面での視程、視程が確保される方向の正面からのずれ角度について説明する概念図。

以下、図１〜９を参照して、見通し判定装置を具体化した一実施形態を説明する。見通し判定装置は、車両に搭載される。
図１に示すように、見通し判定装置１０は、車両に設けられた撮像部１１から映像信号を入力する。撮像部１１は、車両の前方、前方左側、及び前方右側を含む前方領域を撮像領域としている。撮像部１１は、可視光カメラであって、所定のフレームレートでカラー画像を撮像する。この撮像部１１の映像信号は、見通し判定装置１０に画像情報として記録され、前方領域の見通しの良し悪しについての判定に用いられる。見通し判定装置１０によって見通しが良好であると判断された画像情報は、障害物検出等の各種の画像処理に用いられる。

見通し判定装置１０は、エッジ検出部２０を備える。エッジ検出部２０は、映像信号取得部、及びエッジ検出部に対応する。エッジ検出部２０は、記録された画像情報をグレースケールの画像情報に変換する。また、エッジ検出部２０は、変換した画像情報を構成する画素の濃淡が急激に変わる箇所であるエッジを検出する。例えば、エッジ検出部２０は、注目画素について横方向の画素値の差分、縦方向の画素値の差分に基づき、画素値の勾配を求め、その勾配が判定値以上であるときに、その画素をエッジとして検出する。エッジ検出には、例えば、ソーベル法等の各種のアルゴリズムを用いることができる。

また、見通し判定装置１０は、他車両検出部２１を備える。他車両検出部２１は、映像信号取得部に相当する。他車両検出部２１は、記録された画像情報を用いた画像認識アルゴリズムによって、自車両周辺の他車両を検出する。他車両の画像認識には、テンプレートマッチング、Ｖｉｏｌａ−Ｊｏｎｅｓ法等のアルゴリズムを用いることができる。他車両検出部２１は、例えば、他車両の検出台数を出力する。

さらに、見通し判定装置１０は、ＧＰＳ衛星の電波を受信するＧＰＳ受信機１２から位置検出信号を入力する。位置検出信号は、車両の緯度及び経度を含む絶対位置を示す信号であって、見通し判定装置１０の現在位置判定部２２によって取得される。また、現在位置判定部２２は、ＧＰＳ受信機１２から入力した位置検出信号のほか、地図情報記憶部２３に格納された地図情報２４を用いて、マップマッチングにより現在位置を同定する。なお、ＧＰＳ受信機１２に替えて、ＧＰＳ以外の衛星測位システムからの電波信号を入力する受信機を用いてもよい。

見通し判定装置１０は、実行可否判断部２５、判定領域補正部２６、及び見通し判定部２７を備える。実行可否判断部２５は、道路上の見通しの良し悪しを判定する見通し判定の実行の可否を判断する。見通し判定部２７は、エッジ数検出部、及び判定部に対応する。実行可否判断部２５によって見通し判定の実行が許可された場合には、見通し判定部２７によって見通し判定が実行される。実行可否判断部２５によって見通し判定の実行が禁止された場合には、見通し判定部２７は、見通し判定を実行しない。

実行可否判断部２５は、実行可能条件が成立するか否かを判断し、実行可能条件が成立したとき見通し判定の実行を許可する。実行可能条件は、以下の条件である。
・車両の前方領域における他車両の検出数が「０」であること（第１の実行可能条件）
・現在位置に対応する道路の構造が、所定距離以上の視程が確保できる構造であること（第２の実行可能条件）
車両の前方領域に他車両が存在すると、前方領域の見通しがその他車両に遮られて正しく判断することができない。そのため、前方領域の他車両の数が「０」であることを実行可能条件とする。第２の実行可能条件の「所定距離」は、例えば１００ｍであるが、１０ｍ以上１ｋｍ未満のいずれかの値であってもよい。例えば車両が急カーブを走行している場合には、そもそも所定距離以上の視程が確保できないため、見通し判定を禁止する。また、Ｔ字路及び交差点や、駐車場においても、車両の位置によっては、進行方向において所定距離以上の視程が確保できないことがあるため、見通し判定を禁止する。

実行可否判断部２５は、第１の実行可能条件について、他車両検出部２１から入力した車両の検出台数に基づき判断する。
また、実行可否判断部２５は、第２の実行可能条件について、地図情報記憶部２３に記憶された地図情報２４に基づき判断する。地図情報２４には、交差点や分岐点等の道路上の任意の箇所の位置情報、道路幅、道路の曲率半径、道路の標高等の情報が含まれている。実行可否判断部２５は、現在位置判定部２２から車両の現在位置を取得し、地図情報２４の中から、現在位置に対応する道路幅、曲率半径等を取得する。さらに、実行可否判断部２５は、取得した道路幅及び曲率半径等を用いて、現在位置における視程、すなわち水平方向において見通すことのできる最大距離を算出する。このとき、標高差が大きいエリアについては、標高差に基づき視程を算出してもよい。そして、実行可否判断部２５は、算出した視程が所定距離以上であるか否かを判断する。

実行可否判断部２５は、第１の実行可能条件及び第２の実行可能条件の両方が成立したか否かを判断し、それらの両方が成立したと判断した場合には、見通し判定の実行を許可する。一方、実行可否判断部２５は、第１の実行可能条件及び第２の実行可能条件のいずれかが成立しないと判断した場合には、見通し判定の実行を禁止する。

次に、図２〜図６を参照して、判定領域補正部２６及び見通し判定部２７について説明する。道路構造から推定される視程が長くても、例えば、霧の発生、吹雪、豪雨等の状況下では、実際の視程が、道路構造から推定される視程よりも著しく短くなる場合がある。また、夜間であって外灯が少ない場合も、視程は短くなる。そのため、判定領域補正部２６及び見通し判定部２７は、道路構造から推定される視程が所定距離以上確保される条件の下で、実際の視程を判定するための処理を行う。

判定領域補正部２６は、エッジ処理した画像情報に対し、見通し判定を行うための判定領域を設定する。視程が所定距離以上確保されうる道路において、消失点まで見通すことができれば、見通しは良好である。そのため、判定領域は、車両の進行方向前方の道路のうち最も遠い地点付近を含むように設定される。道路上の最も遠い地点は、道路の一方の側端と他方の側端とが交わる点である消失点に相当する。

撮像部１１によって撮像された画像は、車両が直線状の道路を直進するときに消失点が画像中央に位置するようになっている。そのため、判定領域は、画像中央を含む所定の位置、例えば判定領域の中心が撮像部１１のフレームの中心（例えば四角状のフレームの対角線の交点）と一致するような位置を基準位置としている。また、判定領域は、例えば、撮像画像の一部であって、少なくとも撮像画像の幅方向の１／２以下、且つ高さ方向の１／２以下の領域である。

見通し判定部２７は、設定された判定領域内のエッジ数を検知する。ここでいう「エッジ数」とは、エッジとして検出された画素の数である。例えば、隣接画素との画素値の差分が小さい画素が「白」として出力されたエッジ情報では、画素値の差分が大きい「黒」の画素の数を計数する。見通し判定部２７は、そして、エッジ数が閾値よりも大きい場合には、見通しが良好であると判定し、エッジ数が閾値以下である場合には、見通しが悪いと判定する。また、見通し判定部２７は、判定結果を、判定結果蓄積部２８に蓄積する。判定結果は、現在位置判定部２２から取得した絶対位置とともに蓄積される。

図２は、車両前方において霧が発生したときに撮像されたカラー画像１００の例を示している。この例では、車両前方の道路は、直線状の道路である。このカラー画像１００のうち、道路の消失点が含まれる中央部分においては、霧のために殆どの画素が白色であり、隣接画素との画素値の差分が小さくなっている。

図３は、図２のカラー画像１００をグレースケール変換した画像情報に対し、エッジ検出処理を行ったエッジ画像１０１の例を示している。隣接画素との画素値の差分が小さい画素は、ここでは便宜上、白色とし、模式的にエッジＥを表現している。道路の消失点が含まれる中央部分は、上述したように隣接画素との画素値の差分が小さいため、検出されるエッジ数が「０」になるか又は少なくなる。この例と対極をなす例は、例えば、晴天且つ昼間に撮像された画像であり、その画像には、道路の消失点付近には、樹木や建造物等の路側にある物体が現れるため、判定領域内におけるエッジ数が多くなる。

図４は、図３のエッジ画像１０１に対し、その基準位置に判定領域１１０を設定した例である。この例では、判定領域１１０内で検出されたエッジ数は「０」である。この場合、見通し判定部２７は、判定領域１１０内のエッジ数が予め設定された閾値以下であると判断し、見通しが悪いと判定する。

一方、図５に示すように、車両が左カーブを走行している場合には、道路の消失点は、直線状の道路を走行する場合よりも左側に偏る。そのため、判定領域補正部２６は、地図情報２４に含まれる曲率半径及び道路幅等を用いて、画像中央に対する道路の消失点のずれ角度を算出する。そして、判定領域補正部２６は、判定領域１１０を、基準位置から算出したずれ角度だけ左側へずらす。

図６に示すように、車両が右カーブを走行している場合には、消失点は、直線状の道路を走行する場合よりも右側に偏る。そのため、判定領域補正部２６は、地図情報２４に含まれる曲率半径及び道路幅等を用いて、画像中央に対する道路の消失点のずれ角度を算出する。そして、判定領域補正部２６は、判定領域１１０を、基準位置から算出したずれ角度だけ右側へずらす。

判定領域１１０の大きさは、シミュレーション等を通じて、撮像部１１の画素数や画角、エッジ検出の手法等に応じて決定される。判定領域が過大であると、消失点よりも手前における路側の樹木等の物体をエッジとして検出してしまい、見通しが悪いにも関らず良好であると判定してしまう可能性がある。判定領域が過小であると、路側の物体のエッジを検出した場合、その路側の物体のエッジ検出の結果が支配的になり、誤った判定を行う可能性がある。そのため、判定領域１１０の大きさは、上述のように、シミュレーション等を通じて適正に設定することが好ましい。

なお、見通し判定装置１０を構成するエッジ検出部２０、他車両検出部２１、実行可否判断部２５、現在位置判定部２２、見通し判定領域補正部２６、及び見通し判定部２７は、各種処理を実行する演算部、演算結果を記憶する揮発性記憶部、及びプログラムを格納した不揮発性記憶部等を備えるマイクロコンピュータや、カスタムＬＳＩ等の専用の処理回路によって構成されている。

次に図７〜図９を参照して、見通し判定装置１０の動作について説明する。
図７に示すように、見通し判定装置１０は、撮像部１１から映像信号を取得し（ステップＳ１）、画像情報として記録する。また、他車両検出部２１は、記録された画像情報を用いて、他車両検出を行う（ステップＳ２）。また、現在位置判定部２２は、ＧＰＳ受信機１２から測位信号を取得して、現在位置の判定を行う（ステップＳ３）。

次に、実行可否判断部２５は、前述した第１の実行可能条件及び第２の実行可能条件が成立するか否かに基づき、見通し判定を実行してよいか否かを判断する（ステップＳ４）。実行可否判断部２５は、他車両検出部２１から、前方領域に存在する車両（他車両）の数を取得し、車両の数が「０」であるか否かを判断する。また、実行可否判断部２５は、現在位置に対応する地図情報２４を取得し、地図情報２４に含まれる道路幅及び曲率半径等に基づき、現在位置において確保されうる視程を算出する。なお、車両が、Ｔ字路、交差点、又は駐車場等の施設内に存在する場合等には、第２の実行可能条件が成立しないと判断する。

例えば車両の現在位置から車両の進行方向に所定距離以上の直線状の道路が存在する場合には、実行可否判断部２５は、所定距離以上の視程が確保できると判断する。
ここで、図８及び図９を参照して、車両１２０が右カーブあるいは左カーブを走行する場合の視程の算出について説明する。

まず図８に示すように、車両１２０は、右カーブにあって、片側一車線を左側通行で走行しているものとする。道路１２１の曲率半径を「Ｒ」、道路幅を「ｄ」、車幅を「Ｗ」とするとき、撮像部１１の視程ＸＢは、以下の式（１）で表すことができる。

ＸＢ＝２｛（Ｒ＋ｄ−Ｗ）^２−Ｒ^２｝^１／２ …（１）

なお、車幅の方向における撮像部１１の位置に応じて上記の式（１）の「Ｗ」の値を変更すると、より厳密に視程ＸＢを算出することができる。

また、図９に示すように、車両１２０が、左カーブにあって、片側一車線を左側通行で走行しているものとする。車両１２０から道路１２１の内側の側端に接する接線１２３を引いたとき、車両１２０から接点１２４までの距離を「ＸＣ」、接点１２４から接線１２３と道路１２１の外側の側端までの距離を「ＸＤ」とすると、運転席付近の視程ＸＥは、以下の式（２）で表すことができる。

ＸＥ＝ＸＣ＋ＸＤ＝｛Ｗ^２＋２ＲＷ｝^１／２＋｛ｄ^２＋２Ｒｄ｝^１／２ …（２）

図７に戻り、見通し判定部２７は、車両前方における他車両の検出数が「１」以上である場合、算出した視程が所定距離未満である場合、又はそれらの両方である場合には、見通し判定の実行を禁止して（ステップＳ４：ＮＯ）、処理を終了する。また、ここで処理を終了した場合には、所定時間Ｔ１後に、ステップＳ１から上記の処理を繰り返す。

一方、見通し判定部２７が、車両前方における他車両の検出数が「０」であり、且つ車両前方において所定距離の視程が確保されうると判断した場合には（ステップＳ４：ＹＥＳ）、見通し判定を実行する。まず、エッジ検出部２０が、記憶部に記憶された画像情報に対しエッジ検出処理を実行する（ステップＳ５）。

判定領域補正部２６は、地図情報２４に基づき、判定領域の補正を行う（ステップＳ６）。車両の進行方向前方の道路が直線状である場合には、判定領域を、上記の基準位置に設定する。

一方、図８に示したように、車両が右カーブを走行する場合、視程の方向は、車両の正面、すなわち前方方向に対して右側に偏る。車両の前方方向に対する視程の方向のずれ角度θは、以下の式（３）で表すことができる。「ＸＢ」は、上記の式（１）の視程である。

θ＝ｓｉｎ^−１｛ＸＢ／２（Ｒ＋ｄ−Ｗ）｝ …（３）

また、図９に示したように、車両が左カーブを走行する場合、視程の方向は、車両の正面、すなわち前方方向に対して左側に偏る。車両の前方方向に対する視程の方向のずれ角度θは、以下の式（４）で表すことができる。「ＸＣ」は、上記の式（２）の視程の一部である。

θ＝ｓｉｎ^−１｛ＸＣ／（Ｒ＋Ｗ）｝ …（４）

判定領域補正部２６は、こうしてずれ角度θを算出すると、判定領域を、基準位置から車両の旋回方向に合わせてずれ角度θだけ移動させる。例えば、車両が右カーブを走行する場合には、右側にずれ角度θだけ移動させ、車両が左カーブを走行する場合には、左側にずれ角度θだけ移動させる。

そして、図７に示すように、判定領域が補正されると、見通し判定部２７は、判定領域内のエッジ数が閾値以下であるか否かを判断する（ステップＳ７）。見通し判定部２７が、判定領域内のエッジ数が閾値以下であると判断すると（ステップＳ７：ＹＥＳ）、見通しが悪いと判定する（ステップＳ８）。見通し判定部２７は、その見通し結果と、緯度・経度を含む絶対位置座標とを判定結果情報として判定結果蓄積部２８に格納する（ステップＳ９）。なお、ステップＳ２で、霧や吹雪が発生している状況下で撮像された画像を用いて他車両検出を行い、周辺に車両が存在するにも関わらず検出された車両数が「０」と判断した場合にも、このステップにおいて見通しが悪いと判断することができる。

一方、見通し判定部２７が、判定領域内のエッジ数が閾値よりも大きいと判断すると（ステップＳ７：ＮＯ）、見通しが良好であると判定する（ステップＳ１０）。見通し判定部２７は、その見通し結果と、緯度・経度を含む絶対位置座標とを判定結果情報として判定結果蓄積部２８に格納する（ステップＳ９）。このように見通し判定結果を格納すると、ステップＳ１に戻り、前回の処理開始から所定時間Ｔ２が経過した後に、上記の処理を繰り返す。

以上説明したように、上記実施形態によれば、以下の効果が得られるようになる。
（１）道路上の見通しの良し悪しは、道路上の遠い位置が見えるか否かによって判定することができる。上記実施形態によれば、見通しを判定するための判定領域は、画像の中心の位置を含む位置を基準に設定されるので、判定領域に、車両からみて道路上の最も遠い位置である道路の消失点が含まれやすい。また、その判定領域内のエッジ数に基づき見通しの判定が行われるので、道路上の見通しとは関係のない路側の物体等のエッジを除外して、道路上の見通しについての判定を行うことができる。

（２）車両が急カーブを走行する場合等、道路の構造上の理由でも視程が短くなることがある。実行可否判断部２５は、地図情報２４に基づき、道路構造上の視程を算出し、当該視程が所定距離以上確保されうる場合に、見通し判定部２７による見通し判定の実行を許可する。そのため、天候や、走行環境の照度等、変動性の要因による見通しの低下を正しく検出することができる。

（３）実行可否判断部２５は、車両前方に他車両が存在する場合には見通し判定部２７による見通し判定の実行を禁止する。そのため、他車両が車両の前方領域を遮るときに、見通しが低下したと判断することを抑制することができる。

（４）見通し判定部２７は、地図情報２４に基づき判定領域を補正する判定領域補正部２６を備える。これにより、道路の消失点と判定領域とのずれ量を低減することができるので、消失点付近の見通しについて精度よく判定することができる。

（他の実施形態）
なお、上記各実施形態は、以下のような形態をもって実施することもできる。
・上記実施形態では、撮像部１１は、カラー画像の映像信号を出力するものとしたが、グレースケール画像の映像信号を出力するものでもよい。例えば、撮像部１１からグレースケール画像の映像信号を入力する場合には、エッジ検出部２０が、カラー画像をグレースケール画像に変換する処理を省略することができる。

・上記実施形態では、エッジ検出部２０は、グレースケール画像データに対してエッジ検出を行うようにしたが、カラー画像に対してエッジ検出を行うようにしてもよい。この場合、カラー画像を、赤、緑、青の各色に分けて、それらの色毎に、濃淡の差を検出する。この場合、エッジ検出の精度を高めることができる。

・上記実施形態では、撮像部１１により生成された映像信号を用いて他車両の検出を行った。これ以外に、レーダ、超音波センサ等のその他の障害物検出センサや、車々間通信、路車間通信を用いて、車両前方の他車両の検出を行ってもよい。或いは、それらを組み合わせて他車両を検出してもよい。このようにすると、他車両検出の精度を向上できる。また、他車両だけでなく、歩行者等を検出してもよい。この場合には、車両が交差点手前で信号待ちをしている際に、交差点を歩行者が通過したときに、見通し判定を禁止することができる。

・上記実施形態では、図８及び図９、式（１）〜式（４）にしたがって視程を算出したが、この算出方法以外の方法で視程を算出してもよい。例えば、曲率半径、道路幅のほかに、車両が走行している車線を検出して、道路の幅方向の車両の位置を加味して視程を算出してもよい。或いは、曲率半径のみから判定領域の位置を決定してもよい。視程を厳密に算出すれば判定領域を小さくすることができる。また、見通し判定装置１０の処理負荷を軽減するために視程を概算する場合には判定領域を大きくすればよい。

・上記実施形態では、判定領域の位置を、道路の形状に応じて補正したが、判定領域は常に固定された領域であってもよい。この場合、判定領域は、消失点が判定領域に含まれるように、画像の中央を含む範囲に設定される。このようにすると、見通し判定装置１０の演算負荷を軽減することができる。

・上記実施形態では、実行可能条件を、前方領域における他車両の検出数が「０」であること、及び車両前方に置いて所定距離の視程が確保できることとした。これら以外、又はこれらに加えて、車両の操舵角が所定角度以下であること、前方の所定領域における道路上の白線を検出できること、車両が道路上に存在すること等を条件としてもよい。

１０…判定装置、１１…撮像部、１２…ＧＰＳ受信機、２０…エッジ検出部、２１…他車両検出部、２２…現在位置判定部、２３…地図情報記憶部、２４…地図情報、２５…実行可否判断部、２６…判定領域補正部、２７…判定部、２８…蓄積部、１１０…判定領域。

Claims (1)

1. 車両に設けられた撮像部から映像信号を取得する映像信号取得部と、
   前記映像信号に対しエッジ検出を行うエッジ検出部と、
   前記映像信号に基づく画像の中心を含む位置を基準とする判定領域内のエッジの数を検出するエッジ数検出部と、
   前記エッジの数が閾値よりも大きい場合に道路上の見通しが良好であると判定し、前記エッジの数が閾値以下の場合に道路上の見通しが良好ではないと判定する判定部と、
   を備える見通し判定装置。