JP2019016246A - 走路認識装置 - Google Patents
走路認識装置 Download PDFInfo
- Publication number
- JP2019016246A JP2019016246A JP2017134264A JP2017134264A JP2019016246A JP 2019016246 A JP2019016246 A JP 2019016246A JP 2017134264 A JP2017134264 A JP 2017134264A JP 2017134264 A JP2017134264 A JP 2017134264A JP 2019016246 A JP2019016246 A JP 2019016246A
- Authority
- JP
- Japan
- Prior art keywords
- shape
- far
- vehicle
- runway
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】交差点内又はその近傍の領域を走行中又は停車中の場合にも遠方走路形状を精度良く認識する。【解決手段】走路認識装置(100、100a〜100k)は、撮像画像に基づき近傍走路形状を算出する近傍形状算出部(101)と、近傍走路形状に基づき各撮像画像における処理領域(Er1〜Er4、El1〜El4)を設定し、処理領域内における遠方走路形状を繰り返し算出する遠方形状算出部(102)と、車両が交差点領域内を走行中又は停車中であるか否かを判定する交差点判定部(116)と、撮像画像において横断歩道の縞模様を構成する複数のペイントを検出し、検出された複数のペイントの長手方向を特定する方向特定部(117)と、を備え、遠方形状算出部は、走行中又は停車中でないと判定された場合に近傍走路形状に基づき処理領域を設定し、走行中又は停車中であると判定された場合に複数のペイントの長手方向を利用して処理領域を設定する。【選択図】図31
Description
本開示は、車両の走路を認識する技術に関する。
車両の自動運転には、自車両の走行する走路、例えば、道路であれば自車両の走行レーンを認識することが求められる。走路の認識は、例えば、カメラ等の撮像装置により得られる撮像画像において走路の区画線である白線を検出し、かかる白線に基づき実行される。自車両の走路が認識されると、走路上における障害物の検出およびブレーキの自動操作や、車線逸脱の推定といった自動運転に必要な動作が実行され得る。そこで、より安定した自動運転の実現のために、現在位置の近傍から遠方までの走路の形状を高精度に認識する技術が望まれる。一般的に、遠方の走路形状は近傍の走路形状に比べて認識の精度は低くなる。そこで、撮像画像において、先ず近傍の走路における白線を検出して近傍の走路形状を認識し、次に撮像画像における遠方領域(一般的には撮像画像の上方領域)において、遠方において白線が存在すると予想される領域を認識した近傍の走路形状に基づき絞り込み、絞り込まれた領域内において白線を検出し、検出された白線に基づき遠方の走路形状を認識する方法が提案されている(特許文献1参照)。
特許文献1の方法では、交差点内または交差点の近傍の領域を走行中又は停車中であり、自車両の近傍の領域において白線が存在しない、または、わずかしか存在しない場合には、近傍の走路形状が正しく認識できず、遠方領域において白線が存在すると予想される領域を絞り込むことができない。このため、自車両が交差点内または交差点の近傍の領域を走行中又は停車中の場合にも、遠方の走路形状を精度良く認識可能な技術が望まれている。
本開示は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
本開示の一形態によれば、車両に搭載され、前記車両の走路を認識する走路認識装置(100、100a〜100k)が提供される。この走路認識装置は;前記車両に搭載された撮像装置(21)により繰り返し得られる撮像画像に基づき、前記車両の近傍の走路形状である近傍走路形状を繰り返し算出する近傍形状算出部(101)と;算出された前記近傍走路形状に基づき各撮像画像における処理領域(Er1〜Er4、El1〜El4)を設定し、前記処理領域内における前記車両の遠方の走路形状である遠方走路形状を繰り返し算出する遠方形状算出部(102)と;前記車両が交差点および前記交差点の近傍領域を含む交差点領域内を走行中又は停車中であるか否かを判定する交差点判定部(116)と;前記撮像画像において、前記車両の走行レーン上の横断歩道の縞模様を構成する複数のペイントを検出し、検出された前記複数のペイントの長手方向を特定する方向特定部(117)と;を備え;前記遠方形状算出部は;前記交差点領域内を前記車両が走行中又は停車中でないと判定された場合に、算出された前記近傍走路形状に基づき前記処理領域を設定し;前記交差点領域内を前記車両が走行中又は停車中であると判定された場合に、前記方向特定部により特定された前記複数のペイントの長手方向を利用して、前記処理領域を設定する。
この形態の走路認識装置によれば、交差点領域内を前記車両が走行中又は停車中であるか否かを判定し、交差点領域内を車両が走行中又は停車中であると判定された場合に、車両の走行レーン上の横断歩道の縞模様を構成する複数のペイントの長手方向を特定し、かかる長手方向を利用して処理領域を設定するので、自車両が交差点内または交差点の近傍の領域を走行中又は停車中の場合にも、遠方の走路形状を精度良く認識できる。一般に、走行レーン上の横断歩道の縞模様を構成する複数のペイントの長手方向は、走行レーンに沿った方向であり、かかる方向の延長上に、遠方走路が存在するからである。
本開示は、走路認識装置以外の種々の形態で実現することも可能である。例えば、走路認識装置を備える車両、走路認識方法、走路を認識するためのコンピュータプログラム、かかるコンピュータプログラムを記憶した記憶媒体等の形態で実現することができる。
A.第1実施形態:
A1.装置構成:
図1に示す本実施形態の走路認識装置100は、図示しない車両に搭載され、かかる車両の走路に認識する。なお、本実施形態において、走路認識装置100が搭載された車両を、「自車両」とも呼ぶ。自車両は、自動運転可能な車両である。自車両は、自動運転と手動運転(運転者による運転)とを切り替えて実行する車両と、これらの2種類の運転のうちの自動運転のみを実行する車両とのいずれであってもよい。走路認識装置100は、図示しないCPUおよびメモリを備えたECU(Electronic Control Unit)10により構成されている。走路認識装置100は、同様に車両に搭載された撮像部21、車速センサ22、ヨーレートセンサ23、および車両制御部31に、それぞれ電気的に接続されている。
A1.装置構成:
図1に示す本実施形態の走路認識装置100は、図示しない車両に搭載され、かかる車両の走路に認識する。なお、本実施形態において、走路認識装置100が搭載された車両を、「自車両」とも呼ぶ。自車両は、自動運転可能な車両である。自車両は、自動運転と手動運転(運転者による運転)とを切り替えて実行する車両と、これらの2種類の運転のうちの自動運転のみを実行する車両とのいずれであってもよい。走路認識装置100は、図示しないCPUおよびメモリを備えたECU(Electronic Control Unit)10により構成されている。走路認識装置100は、同様に車両に搭載された撮像部21、車速センサ22、ヨーレートセンサ23、および車両制御部31に、それぞれ電気的に接続されている。
撮像部21は、水平方向に並ぶ2つのカメラ(いわゆるステレオカメラ)により構成されている。各カメラは、集光するレンズおよび受光素子を備え、自車両の前方を撮像して撮像画像を得る。撮像部21は、自車両のイグニッションがオンすると、撮像画像の取得を繰り返し実行する。車速センサ22は、自車両の移動速度を測定する。車速センサ22は、自車両のイグニッションがオンすると、車速の検出を繰り返し実行する。ヨーレートセンサ23は、自車両のヨーレート(回転角速度)を検出する。ヨーレートセンサ23は、自車両のイグニッションがオンすると、ヨーレートの検出を繰り返し実行する。車両制御部31は、車両の動きを制御する。車両制御部31としては、例えば、内燃機関や電動モータなどの駆動機構の動作を制御するECU、電子制御ブレーキシステム(ECB)を制御するECU、車輪の操舵角を制御するECUなどの複数のECUからなる。
走路認識装置100が備えるCPUがメモリに記憶されている制御プログラムを実行することにより、走路認識装置100は、近傍形状算出部101、遠方形状算出部102、近傍形状記憶部103、遠方形状記憶部104、および目標通過点設定部105として機能する。
近傍形状算出部101は、後出する近傍走路形状特定処理を実行することにより、撮像部21により繰り返し得られる撮像画像に基づき、自車両の走行する走路であって自車両の近傍の走路の形状(以下、「近傍走路形状」と呼ぶ)を繰り返し算出する。「自車両の近傍」とは、撮像部21よりも進行方向前方の領域のうち、自車両から所定の距離以内の領域を意味する。本実施形態では、自車両の近傍を定義する上述の所定の距離は、7m(メートル)である。なお、7mに限らず任意の距離としてもよい。本実施形態において、「走路の形状」とは、走路の幅と、走路の幅方向の両端の位置と、走路の曲率(曲率半径)とで規定される。したがって、「近傍走路形状を算出する」とは、自車両の走行する走路であって自車両の近傍の走路(以下、「近傍走路」と呼ぶ)の走路の幅と、走路の幅方向の両端の位置と、走路の曲率(曲率半径)とをそれぞれ算出することを意味する。
遠方形状算出部102は、後出する遠方走路形状特定処理を実行することにより、自車両の走行予定の走路であって遠方の走路の形状(以下、「遠方走路形状」と呼ぶ)を繰り返し算出する。詳細手順については後述するが、概略を説明すると、遠方形状算出部102は、近傍形状算出部101により算出された近傍走路形状に基づき撮像画像における遠方走路形状を算出するための処理の対象となる領域(以下、単に「処理領域」と呼ぶ)を特定し、かかる処理領域内において遠方走路形状を算出する。「遠方走路形状を算出する」とは、自車両の走行予定の走路であって遠方の走路(以下、「遠方走路」と呼ぶ)の幅と、遠方走路の幅方向の両端の位置と、遠方走路の曲率(曲率半径)とをそれぞれ算出することを意味する。
近傍形状記憶部103は、近傍形状算出部101により算出された近傍走路形状を時系列的に履歴として記憶する。具体的には、算出された近傍走路形状を示す各パラメータを、算出時刻と共に記憶する。遠方形状記憶部104は、遠方形状算出部102により算出された遠方走路形状を時系列的に履歴として記憶する。具体的には、算出された遠方走路形状を示す各パラメータを、算出時刻と共に記憶する。
目標通過点設定部105は、後述する目標通過点設定処理を実行することにより、自車両が目標とする通過点を設定する。この目標通過点は、自車両が自動運転する際に目標とする通過点として利用される。基本的に目標通過点は、近傍走路形状に基づき設定されるが、近傍走路形状の算出精度が低くなる場合には、例外的に遠方走路形状に基づき設定される。このようにしているのは、基本的に近傍走路形状の算出精度は、遠方走路形状の算出精度よりも高いためである。
A2.近傍走路形状算出処理:
図2に示す近傍走路形状算出処理は、自車両のイグニッションがオンすると定期的に繰り返し実行される。近傍形状算出部101は、得られた撮像画像における近傍走路のエッジ、より具体的には、近傍走路を区画する区画線のエッジを抽出する(ステップS105)。
図2に示す近傍走路形状算出処理は、自車両のイグニッションがオンすると定期的に繰り返し実行される。近傍形状算出部101は、得られた撮像画像における近傍走路のエッジ、より具体的には、近傍走路を区画する区画線のエッジを抽出する(ステップS105)。
近傍形状算出部101は、抽出されたエッジを周知のハフ(Hough)変換して直線を検出し(ステップS110)、検出された直線のうちから区画線(白線)候補の直線を算出する(ステップS115)。具体的には、検出された直線のうちから、ハフ変換の投票数が多いものを白線候補として算出する。
図3に示すように、撮像画像F1には、自車両の走路である車線Ln1と対向車線Ln2とが写っている。撮像画像F1の上方側に位置する遠方走路が含まれる領域(以下、「遠方走路領域」と呼ぶ)Af1と、撮像画像F1の下方側に位置する近傍走路が含まれる領域(以下、「近傍走路領域」と呼ぶ)An1とのうち、近傍走路領域An1において車線Ln1の区画線Lr1、Ll1のエッジが抽出され、それぞれの区画線Lr1、Ll1を表す直線が白線候補として算出される。
図2に示すように、近傍形状算出部101は、白線候補の絞り込みを行う(ステップS120)。具体的には、例えば撮影画像における白線候補の周囲の路面に対する、白線候補のコントラストの比率が所定の閾値よりも高いものや、白線候補部分の輝度とその周囲の輝度との差が所定の閾値以上に大きいものに白線候補を限定する。他にも、線の太さ、総延長距離など、様々な特徴を考慮して絞り込んでもよい。そして、車両の中心から左右方向に最も近い1つの白線候補を選択する。
近傍形状算出部101は、ステップS120において白線候補が絞り込まれたか否かを判定し(ステップS125)、絞り込まれていない、すなわち白線候補が無いと判定された場合(ステップS125:NO)、上述のステップS105に戻る。これに対して、白線候補があると判定された場合(ステップS125:YES)、近傍形状算出部101は、S120にて絞り込まれた白線候補を構成するエッジ点を、平面座標に変換する(S130)。平面座標とは、路面を平面と仮定したときの座標である。ここでは事前にキャリブレーションで求めた撮像装置を構成するカメラの位置・姿勢の情報(以下、「撮像パラメータ」と呼ぶ)を基に撮影画像上のエッジ点を座標変換する。このようにエッジ点を平面座標上の情報とすることで、過去の撮影画像に基づくエッジ点の座標情報との組み合わせを容易に行うことができるようになる。
近傍形状算出部101は、ステップS130で算出した平面座標から、近傍走路形状を算出する(ステップS135)。上述ように、近傍走路形状は、近傍走路についての、走路の幅と、走路の幅方向の両端の位置と、走路の曲率(曲率半径)とを意味する。これらの各パラメータの算出方法は、例えば、特開2013−196341号公報に記載の方法など、周知の方法を採用してもよい。
近傍形状算出部101は、ステップS135で算出された近傍走路形状を、遠方形状算出部102および目標通過点設定部105に出力し、また、算出した時刻と共に近傍形状記憶部103に記憶する(ステップS140)。
A3.遠方走路形状算出処理:
図4に示す近傍走路形状算出処理は、自車両のイグニッションがオンすると定期的に繰り返し実行される。遠方形状算出部102は、所定の時刻に近傍走路形状の入力があるか否かを判定する(ステップS205)。上述のように、近傍走路形状算出処理のステップS140が実行された場合には、「入力あり」と判定される。これに対して、近傍走路形状算出処理のステップS125において白線候補の絞り込みの結果、白線候補が無いと判定された場合、ステップS140は実行されず、所定の時刻に近傍走路形状は、遠方形状算出部102に入力されない。
図4に示す近傍走路形状算出処理は、自車両のイグニッションがオンすると定期的に繰り返し実行される。遠方形状算出部102は、所定の時刻に近傍走路形状の入力があるか否かを判定する(ステップS205)。上述のように、近傍走路形状算出処理のステップS140が実行された場合には、「入力あり」と判定される。これに対して、近傍走路形状算出処理のステップS125において白線候補の絞り込みの結果、白線候補が無いと判定された場合、ステップS140は実行されず、所定の時刻に近傍走路形状は、遠方形状算出部102に入力されない。
近傍走路形状の入力があると判定された場合(ステップS205:YES)、遠方形状算出部102は、入力された近傍走路形状を利用して、近傍走路(区画線)を延長させて遠方走路形状を推定する(ステップS210)。遠方形状算出部102は、推定された遠方走路形状に基づき処理領域を設定する(ステップS215)。処理領域とは、遠方走路領域のうち、遠方走路形状を算出する(特定する)際に、区画線のエッジ点を抽出する対象領域として絞り込まれる領域を意味する。換言すると、区画線のエッジ点を抽出して遠方走路形状を算出する処理の対象となる領域を意味する。
図5では、図3の撮像画像F1における遠方走路領域Af1を拡大して模式的に示している。図5では、ステップS210において推定された遠方走路形状に基づき、遠方走路領域Af1において2つの処理領域Er1、El1が設定されている。なお、図3にも処理領域Er1、El1が表わされている。以下、これら2つの処理領域Er1、El1の設定方法を説明する。区画線Lr1において、最も手前側の点Pr1と消失点P0から予め定められた距離d1だけ手前の点Pr11とを定める。消失点P0は、2つの区画線Lr1、Ll1が交差する点として求める。次に、定められた2つの点Pr1、Pr11について、それぞれ該当する点を中心として、水平方向に所定の距離の幅を有する2つの辺(短辺)を求め、かかる辺の端同士を区画線Lr1に沿って結んで2つの辺(長辺)を定める。こうして定められた2つの短辺および2つの長辺で囲まれる領域を、処理領域Er1として設定する。同様に、区画線Ll1において、最も手前側の点Pl1と消失点P0から予め定められた距離d1だけ手前の点Pl11とを定める。次に、定められた2つの点Pl1、Pl11について、それぞれ該当する点を中心として、水平方向に所定の距離の幅を有する2つの辺(短辺)を求め、かかる辺の端同士を区画線Ll1に沿って結んで2つの辺(長辺)を定める。こうして定められた2つの短辺および2つの長辺で囲まれる領域を、処理領域El1として設定する。図3および図5に示すように、走路(車線Ln1)が直線状であり、両側の区画線Lr1、Ll1がいずれも直線の場合には、処理領域Er1、El1の形状は、いずれも撮像画像において台形形状となる。
図4に示すように、処理領域の設定後(ステップS215の後)、遠方形状算出部102は、処理領域内において遠方走路を区画するエッジを抽出する(ステップS220)。その後に実行されるハフ変換(ステップS225)、白線候補算出(ステップS230)、候補絞り込み(ステップS235)、候補の有無の判定(ステップS240)、エッジ点平面変換(ステップS245)は、いずれも上述の近傍走路形状算出処理のステップS110〜S130と同じであるので、詳細な説明を省略する。なお、ステップS240において白線候補が無いと判定された場合(ステップS240:NO)、遠方走路形状算出処理は終了する。
ステップS245の実行後、遠方形状算出部102は、ステップS240で算出した平面座標から、遠方走路形状を算出する(ステップS250)。かかる算出方法は、上述の近傍走路形状算出処理のステップS135と同様であるので、詳細な説明を省略する。
遠方形状算出部102は、ステップS250で算出された遠方走路形状を、目標通過点設定部105に出力し、また、算出した時刻と共に遠方形状記憶部104に記憶する(ステップS255)。
上述のステップS205において、所定の時刻に近傍走路形状の入力がないと判定された場合(ステップS205:NO)、遠方形状算出部102は、前回のタイミングで算出された遠方走路形状が遠方形状記憶部104にあるか否かを判定する(ステップS270)。
図6に示す撮像画像F2は、自車両が交差点CRの手前で停車している際に得られた画像の一例である。撮像画像F2には、近傍走路領域An2の下端(手前側端部)に、少しだけ区画線Lr2、Ll2が写っているものの、近傍走路領域An2の下方に写った横断歩道Pd1よりも先には、区画線は写っていない。したがって、この場合、白線候補は絞り込まれず、遠方形状算出部102に近傍走路形状は入力されず、上述のステップS205において所定の時刻に近傍走路形状の入力がないと判定される。なお、撮像画像F2において遠方走路領域Af2には、交差点CRを挟んで存在する横断歩道Pd2と、区画線Lr2、Ll2の続きが写っている。
図4に示すように、前回のタイミングで算出された遠方走路形状が遠方形状記憶部104にないと判定された場合(ステップS270:NO)、遠方走路形状算出処理は終了する。これに対し、遠方走路形状の履歴があると判定された場合(ステップS270:YES)、遠方形状算出部102は、遠方形状記憶部104に記憶されている前回の遠方走路形状と、撮像パラメータと、車両の動きを示す情報とに基づき、遠方走路領域において、処理領域を設定する(ステップS275)。車両の動きを示す情報とは、例えば、車速センサ22から得られる自車両の移動速度、ヨーレートセンサ23から得られるヨーレート、車両制御部31から得られる操舵角などを意味する。ステップS275において、遠方形状算出部102は、前回算出された遠方走路形状を、撮像パラメータと車両の動きから補正して今回の(今回の撮像画像における)遠方走路形状を推定する。そして、かかる推定された遠方走路形状から遠方走路領域における区画線を特定し、かかる区画線に基づき処理領域を設定する。区画線に基づく処理領域の設定方法は、上述のステップS215について説明した方法と同じであるので、その詳細な説明を省略する。図6の例では、遠方走路領域Af2に2つの処理領域Er2、El2が設定されている。ステップS275の実行後、上述のステップS220〜S255が実行される。
A4.目標通過点設定処理:
図7に示す目標通過点設定処理は、自車両のイグニッションがオンすると定期的に繰り返し実行される。目標通過点設定部105は、所定の時刻に近傍走路形状の入力があるか否かを判定する(ステップS305)。上述のように、近傍走路形状算出処理は定期的に実行され、ステップS140が実行される場合には、定期的に近傍走路形状が目標通過点設定部105に入力される。他方、近傍走路形状が算出されない場合には、所定時刻に近傍走路形状は目標通過点設定部105に入力されない。
図7に示す目標通過点設定処理は、自車両のイグニッションがオンすると定期的に繰り返し実行される。目標通過点設定部105は、所定の時刻に近傍走路形状の入力があるか否かを判定する(ステップS305)。上述のように、近傍走路形状算出処理は定期的に実行され、ステップS140が実行される場合には、定期的に近傍走路形状が目標通過点設定部105に入力される。他方、近傍走路形状が算出されない場合には、所定時刻に近傍走路形状は目標通過点設定部105に入力されない。
近傍走路形状の入力があると判定された場合(ステップS305:YES)、目標通過点設定部105は、近傍走路形状に基づき目標通過点を設定する(ステップS310)。具体的には、目標通過点設定部105は、近傍走路領域における近傍走路の中央点を目標通過点として設定する。例えば、図3の例では、車線Ln1の両端の区画線Lr1、Ll1の水平方向の中央であり、かつ、近傍走路領域An1における奥行方向の中央の点PT1が目標通過点として設定される。
図7に示すように、上述のステップS305において、近傍走路形状の入力がないと判定された場合(ステップS305:NO)、目標通過点設定部105は、遠方走路形状の入力があるか否かを判定する(ステップS315)。上述の遠方走路形状算出処理のステップS255が実行された場合には、遠方走路形状が目標通過点設定部105に入力される。これに対して、ステップS255が実行されない場合、すなわち、近傍走路形状の入力が無く(ステップS205:NO)、且つ、前回のタイミングで算出された遠方走路形状が無いと判定された場合(ステップS270:NO)、遠方走路形状は目標通過点設定部105に入力されない。
遠方走路形状の入力があると判定された場合(ステップS315:YES)、目標通過点設定部105は、遠方走路形状に基づき目標通過点を設定する(ステップS330)。具体的には、目標通過点設定部105は、遠方走路領域における遠方走路の水平方向の中央であって、最も手前側の点を目標通過点として設定する。例えば、図6の例では、区画線Lr2、Ll2の水平方向に沿った中央であって、遠方走路領域Af2における最も手前側の点PT2が、目標通過点として設定される。
上述のステップS310の実行後、または、ステップS330の実行後、または、ステップS315において遠方走路形状の入力がないと判定された場合(ステップS315:NO)、目標通過点設定処理は終了する。
以上説明した第1実施形態の走路認識装置100によれば、撮像画像を利用して近傍走路形状を算出できない場合には、前回の遠方走路形状を利用して処理領域が設定されるので、車両の近傍の走路形状が認識できない場合にも遠方の走路形状を精度良く認識できる。加えて、近傍走路形状が出力された場合には、近傍走路形状に基づき目標通過点が設定されるので、精度良く目標通過点を設定できる。また、近傍走路形状が出力されない場合には遠方走路形状に基づき目標通過点が設定されるので、近傍走路形状が出力されない場合であっても目標通過点が設定できないことを避けることができると共に、かかる場合であっても精度良く認識した走路形状に基づき目標通過点を設定できる。このため、精度良く目標通過点を設定できる。
B.第2実施形態:
第2実施形態の走路認識装置の装置は、第1実施形態の走路認識装置100の装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。第2実施形態の走路形状算出処理は、図8に示すように、ステップS209を追加して実行する点において、図4に示す第1実施形態の走路形状算出処理と異なり、その他の手順は同一である。
第2実施形態の走路認識装置の装置は、第1実施形態の走路認識装置100の装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。第2実施形態の走路形状算出処理は、図8に示すように、ステップS209を追加して実行する点において、図4に示す第1実施形態の走路形状算出処理と異なり、その他の手順は同一である。
ステップS205において、近傍走路形状の入力がないと判定された場合(ステップS205:YES)、遠方形状算出部102は、予め定められた閾値時間を超えて近傍走路形状の入力が連続してないか否かを判定する(ステップS209)。本実施形態では、予め定められた期間(所定の時間)として、1秒間が設定されている。なお、1秒間に限らず、撮像画像の取得間隔よりも長い任意の時間に設定されてもよい。予め定められた閾値を超えて近傍走路形状の入力が連続してないと判定された場合(ステップS209:YES)、遠方走路形状算出処理は終了する。これに対して、予め定められた閾値を超えて近傍走路形状の入力が連続してないことはない(すなわち、入力がある)と判定された場合(ステップS209:NO)、上述のステップS270が実行される。このように、予め定められた閾値時間を超えて近傍走路形状の入力が連続してない場合に遠方走路形状算出処理を終了するのは、遠方走路形状の履歴を利用した遠方走路形状の算出が長い時間継続したために遠方走路形状の算出精度が低下することを抑制するためである。なお、ステップS209の閾値時間は、請求項における第1期間の下位概念に相当する。
以上説明した第2実施形態の走路認識装置は、第1実施形態の走路認識装置100と同様な効果を有する。加えて、近傍走路形状が予め定められた期間を超えて連続して算出されない場合には、遠方走路形状の算出を停止するので、遠方走路形状の算出精度が低下することを抑制できる。このため、低い精度で算出された遠方走路形状が履歴として記憶されてしまうことを抑制でき、処理領域の特定精度が低下することを抑制できる。
C.第3実施形態:
第3実施形態の走路認識装置の装置は、第1実施形態の走路認識装置100の装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。第3実施形態の目標通過点設定処理は、図9に示すように、ステップS319、S320を追加して実行する点において、図7に示す第1実施形態の目標通過点設定処理と異なり、その他の手順は同一である。
第3実施形態の走路認識装置の装置は、第1実施形態の走路認識装置100の装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。第3実施形態の目標通過点設定処理は、図9に示すように、ステップS319、S320を追加して実行する点において、図7に示す第1実施形態の目標通過点設定処理と異なり、その他の手順は同一である。
図9に示すように、ステップS315において遠方走路形状の入力がないと判定された場合(ステップS315:NO)、目標通過点設定部105は、予め定められた閾値時間(所定の閾値時間)を超えて遠方走路形状の入力がないか否かを判定する(ステップS319)。上述の予め定められた閾値時間(所定の閾値時間)は、本実施形態では、2秒間に設定されている。かかる予め定められた閾値時間を超えて遠方走路形状の入力がないと判定された場合(ステップS319:YES)、目標通過点設定処理は終了する。これに対して、予め定められた閾値時間を超えて遠方走路形状の入力がないことはない(すなわち、閾値時間以内で入力がある)と判定された場合(ステップS319:NO)、目標通過点設定部105は、遠方形状記憶部104に記憶されている遠方走路形状の履歴に基づき今回の遠方走路形状を算出する(ステップS320)。本実施形態では、このステップS320は、図4に示す第1実施形態における遠方走路形状算出処理のステップS275において「前回の遠方走路形状」を「最新の遠方走路形状」に置き換えて実行し、その後ステップS215〜S255を実行する処理を意味する。なお、「最新の遠方走路形状」に限らず、新しい方から数えて所定回数分の遠方走路形状を用いて、例えば、これらの遠方走路形状を平均化して、ステップS275の処理を行い、その後ステップS220〜S225を実行してもよい。すなわち、遠方走路形状の履歴を用いた任意の方法で、今回の遠方走路形状を算出してもよい。また、遠方走路形状の履歴に代えて、または、遠方走路形状の履歴に加えて、近傍走路形状の履歴を用いて今回の遠方走路形状を算出してもよい。例えば、最新の近傍走路形状で特定される区画線を単純に延長(外挿)して遠方走路形状を求め、かかる遠方走路形状を今回の遠方走路形状としてもよい。または、図4に示す遠方走路形状算出処理のステップS210における「(入力された)近傍走路形状」を、「最新の近傍走路形状」に置き換えてステップS210を実行し、その後ステップS220〜S255を実行して今回の遠方走路形状を算出してもよい。さらには、最新の近傍走路形状で特定される区画線を単純に延長(外挿)して求める遠方走路形状と、過去の遠方走路形状との平均値を求め、かかる平均値を図4に示す遠方走路形状算出処理のステップS275における「前回の遠方走路形状」と置き換えてステップS275を実行し、その後ステップS220〜S255を実行して今回の遠方走路形状を算出してもよい。すなわち、一般には、近傍走路形状の履歴と、遠方走路形状の履歴と、のうち少なくとも一方を用いて今回の遠方走路形状の算出する任意の方法を、ステップS320で実行してもよい。ステップS320の実行後、上述のステップS330が実行される。なお、ステップS320の閾値時間は、請求項における第2期間の下位概念に相当する。
以上説明した第3実施形態の走路認識装置は、第1実施形態の走路認識装置100と同様な効果を有する。加えて、閾値時間を超えて遠方走路形状が入力されない、すなわち、閾値時間を超えて遠方走路形状が算出されない場合には、近傍走路形状の履歴と、遠方走路形状の履歴と、のうち少なくとも一方を用いて今回の遠方走路形状を算出するので、頻繁に遠方走路形状が算出されなくなることを抑制できる。また、遠方走路形状の履歴の量が少なくなって処理領域の特定精度が低下することを抑制できる。他方、遠方走路形状が算出されない期間が閾値時間を超えた場合には、遠方走路形状の算出を停止するので、低い精度で認識される遠方走路形状が履歴として記憶されることを抑制できる。
D.第4実施形態:
図10に示す第4実施形態の走路認識装置100aは、車両位置判定部106として機能する点において、第1実施形態の走路認識装置100と異なる。第4実施形態の走路認識装置100aのその他の構成は、第1実施形態の走路認識装置100と同じであるので、その詳細な説明を省略する。
図10に示す第4実施形態の走路認識装置100aは、車両位置判定部106として機能する点において、第1実施形態の走路認識装置100と異なる。第4実施形態の走路認識装置100aのその他の構成は、第1実施形態の走路認識装置100と同じであるので、その詳細な説明を省略する。
車両位置判定部106は、自車両の現在位置が交差点領域内であるか否かを判定する。交差点領域とは、交差点および交差点の近傍領域を含む領域を意味する。交差点の近傍領域とは、交差点の中央から所定の距離以内の領域を意味し、本実施形態では、交差点の中央から50m以内の領域を意味する。なお、50mに限らず、交差点の近傍であると認められる任意の距離以内の領域を意味してもよい。本実施形態において、車両位置判定部106は、現在位置が交差点領域内であるか否かを、撮像画像に信号機が写っており且つその大きさが所定の大きさ以上であるか否かにより判定する。信号機が所定の大きさ以上に写っている場合には、自車両の位置は交差点内または交差点の近傍に位置する。なお、自車両に搭載されている図示しないナビゲーションシステムにより得られる自車両の位置情報に基づき判定してもよい。
図11に示すように、第4実施形態の遠方走路形状算出処理は、ステップS206、S207、S208を追加して実行する点において、第2実施形態の走路形状算出処理と異なり、その他の手順は同一である。
ステップS205において、近傍走路形状の入力がないと判定された場合(ステップS205:YES)、遠方形状算出部102は、自車両の現在位置が交差点領域内であるか否かを判定する(ステップS206)。
自車両の現在位置が交差点領域内でないと判定された場合(ステップS206:NO)、遠方形状算出部102は、上述のステップS209における閾値時間を、通常の時間に設定する(ステップS207)。通常の時間として、本実施形態では1秒間が設定されている。なお、1秒間に限らず、撮像画像の取得間隔よりも長い任意の時間に設定されてもよい。
これに対して、自車両の現在位置が交差点領域内であると判定された場合(ステップS206:YES)、遠方形状算出部102は、上述のステップS209の所定の閾値時間を、通常の時間よりも長い時間に設定する(ステップS208)。より長い時間として、本実施形態では2秒間が設定されている。なお、2秒間に限らず、通常の時間よりも長い任意の時間に設定されてもよい。
ステップS207またはS208の実行後、上述のステップS209が実行される。すなわち、遠方形状算出部102は、予め定められた閾値時間を超えて近傍走路形状の入力が連続してないか否かを判定する。第4実施形態では、このステップS209における閾値時間は、ステップS207またはS208により設定される。このように、自車両の現在位置が交差点領域内である場合に、ステップS209における閾値時間、すなわち、遠方走路形状の算出を停止させるか否かを判断する際の基準である、近傍走路形状が連続して入力されない時間を長く設定するのは、以下の理由からである。すなわち、自車両の現在位置が交差点領域内である場合、自車両の走行に伴い短期間の後に近傍走路形状の算出が再開されることが明らかであるため、遠方走路形状の算出を停止しなくてもその後の遠方走路形状の算出への影響は少ないからである。また、このようにすることで、遠方走路形状の算出停止により遠方走路形状の履歴の量がいたずらに減ってしまうことを抑制できるからである。これに対して、自車両の現在位置が交差点領域内でない場合には、近傍走路形状が連続して入力されない場合には、なんらかの問題、例えば、撮像画像の故障や走路認識装置100の故障などが発生している可能性がある。このような場合に遠方走路形状の算出を継続すると、精度が低い遠方走路形状に基づき自動運転が実行されるおそれがあるため、本実施形態では、かかる場合におけるステップS209の閾値時間を通常時間とし、長く設定しないようにしている。
以上説明した第4実施形態の走路認識装置は、第1実施形態および第2実施形態の走路認識装置100と同様な効果を有する。加えて、ステップS209における閾値時間の長さを、自車両の現在位置が交差点領域内であるか否かに応じて設定するので、近傍走路形状が算出されない理由が「自車両が交差点領域内に存在すること」であり、自車両の走行に伴い短期間の後に近傍走路形状の算出が再開されることが明らかである場合には、遠方走路形状の算出が停止されることを抑制して、遠方走路形状の履歴の量が不用意に少なくなることを抑制できる。加えて、自車両の現在位置が交差点領域内でない場合には、交差点領域内である場合に比べて、閾値時間をより短い時間に設定するので、遠方走路形状の誤認識を抑制できる。
E.第5実施形態:
第5実施形態の走路認識装置の装置は、第1実施形態の走路認識装置100の装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。第5実施形態の目標通過点設定処理は、図12に示すように、ステップS316、S317、S318を追加して実行する点において、第3実施形態の目標通過点設定処理と異なり、その他の手順は同一である。
第5実施形態の走路認識装置の装置は、第1実施形態の走路認識装置100の装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。第5実施形態の目標通過点設定処理は、図12に示すように、ステップS316、S317、S318を追加して実行する点において、第3実施形態の目標通過点設定処理と異なり、その他の手順は同一である。
図12に示すように、ステップS315において遠方走路形状の入力がないと判定された場合(ステップS315:NO)、目標通過点設定部105は、自車両の現在位置が交差点領域内であるか否かを判定する(ステップS316)。ステップS316は、上述の第4実施形態のステップS206と同様な処理であるので、その詳細な手順の説明を省略する。
自車両の現在位置が交差点領域内でないと判定された場合(ステップS316:NO)、目標通過点設定部105は、上述のステップS319における閾値時間を、通常の時間に設定する(ステップS317)。通常の時間として、本実施形態では1秒間が設定されている。なお、1秒間に限らず、撮像画像の取得間隔よりも長い任意の時間に設定されてもよい。
これに対して、自車両の現在位置が交差点領域内であると判定された場合(ステップS316:YES)、目標通過点設定部105は、上述のステップS319の所定の閾値時間を、通常の時間よりも長い時間に設定する(ステップS318)。より長い時間として、本実施形態では2秒間が設定されている。なお、2秒間に限らず、通常の時間よりも長い任意の時間に設定されてもよい。
ステップS317またはS318の実行後、上述のステップS319が実行される。すなわち、遠方形状算出部102は、予め定められた閾値時間を超えて遠方走路形状の入力が連続してないか否かを判定する。第5実施形態では、このステップS319における閾値時間は、ステップS317またはS318により設定される。このように、自車両の現在位置が交差点領域内である場合に、ステップS319における閾値時間、すなわち、遠方走路形状の算出(推定)を停止させるか否かを判断する際の基準となる、遠方走路形状算出処理の結果としての遠方走路形状が入力されない時間を長く設定する理由は、上述の第4実施形態においてステップS209における閾値時間を長く設定する理由と同じである。
以上説明した第5実施形態における走路認識装置は、第1実施形態および第3実施形態の走路認識装置100と同様な効果を有する。加えて、ステップS319における閾値時間の長さを、自車両の現在位置が交差点領域内であるか否かに応じて設定するので、遠方走路形状算出処理により遠方走路形状が算出されない理由が「自車両が交差点領域内に存在すること」であり、自車両の走行に伴い短期間の後に遠方走路形状の算出が再開されることが明らかである場合には、遠方走路形状の算出が停止されることを抑制して、遠方走路形状の履歴の量が不用意に少なくなることを抑制できる。加えて、自車両の現在位置が交差点領域内でない場合には、交差点領域内である場合に比べて、閾値時間をより短い時間に設定するので、遠方走路形状の誤認識を抑制できる。
F.第6実施形態:
第6実施形態の走路認識装置の装置は、第1実施形態の走路認識装置100の装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。第6実施形態の走路形状算出処理は、図13に示すように、ステップS405およびS410を追加して実行する点において、第1実施形態の走路形状算出処理と異なり、その他の手順は同一である。
第6実施形態の走路認識装置の装置は、第1実施形態の走路認識装置100の装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。第6実施形態の走路形状算出処理は、図13に示すように、ステップS405およびS410を追加して実行する点において、第1実施形態の走路形状算出処理と異なり、その他の手順は同一である。
図13に示すように、遠方形状算出部102は、ステップS205において、所定の時刻に近傍走路形状の入力があると判定された場合(ステップS205:YES)、入力された近傍走路形状の確からしさの評価値を決定する(ステップS405)。具体的には、遠方形状算出部102は、ステップS205で入力された近傍走路形状から、近傍走路の進行方向に沿った距離(以下、「近傍走路距離」と呼ぶ)を特定し、かかる近傍走路距離に基づき評価値テーブルを参照して、評価値を決定する。評価値テーブルは、走路認識装置100が備える図示しないメモリに予め記憶されている。
図14に示すように、評価値テーブルには、近傍走路距離と評価値とが対応付けて設定されている。図14において、横軸は近傍走路距離を示し、縦軸は評価値を示す。図14に示すように、評価値テーブルでは、近傍走路距離が長くなるほど評価値が高くなるように設定されている。これは、近傍走路距離が長いほど、近傍走路形状の算出精度が高くなるからである。なお、図14に示す例では、近傍走路距離が0から距離Laまでにおける近傍走路距離の変化に対する評価値の変化率が最も大きく、距離Laから距離Lbまでにおける近傍走路距離の変化に対する評価値の変化率が第2番目に大きく、距離Lbよりも大きい場合の近傍走路距離の変化に対する評価値の変化率が最も低くなるように、近傍走路距離と評価値との変化が3段階に設定されている。なお、3段階に限らず、任意の段階数で段階的に設定されてもよい。また、指数関数的に連続的に変化してもよい。
図13に示すように、遠方形状算出部102は、決定された評価値に応じて、今回算出された近傍走路形状、すなわち、今回入力された近傍走路形状と、前回算出された遠方走路形状と、撮像パラメータと、車両の動きを示す情報と、に基づき、処理領域を設定する(ステップS410)。以下、ステップS410の具体的な手順について説明する。
まず、遠方形状算出部102は、ステップS405で決定された評価値に基づき、今回入力された近傍走路形状に基づき推定される処理領域の尤もらしさの度合い(以下、「尤度」と呼ぶ)と、遠方形状記憶部104に記憶されている前回の遠方走路形状に基づき推定される処理領域の尤度とを、統合尤度テーブルを参照して特定する。なお、本実施形態において、「今回入力された近傍走路形状に基づき推定される処理領域」を「第1推定処理領域」とも呼ぶ。また、「前回の遠方走路形状に基づき推定される処理領域」を「第2推定処理領域」とも呼ぶ。
図15に示す統合尤度テーブルは、走路認識装置100が備える図示しないメモリに予め記憶されている。図15に示すように、統合尤度テーブルでは、評価値に対して、第1推定処理領域の尤度および第2推定処理領域の尤度が対応付けて設定されている。図15において、横軸は評価値を示し、縦軸は第1推定処理領域の尤度および第2推定処理領域の尤度を示す。図15において、直線AL以下の領域A1は第1推定処理領域の尤度を示し、直線ALよりも上の領域AL2(上限100%)は第2推定処理領域の尤度を示す。本実施形態では、第1推定処理領域の尤度と第2推定処理領域尤度の合計は常に100%になるように正規化されている。そして、統合尤度テーブルでは、評価値が高いほど、すなわち、入力された近傍走路形状の確からしさが高いほど第1推定処理領域の尤度は高く、第2推定処理領域の尤度は低い。例えば、図15に示すように、評価値が値E1である場合には、第1推定処理領域の尤度は70%(0.7)であり、第2推定処理領域の尤度は30%(0.3)である。
次に、遠方形状算出部102は、今回の近傍走路形状に基づき処理領域を推定する。すなわち、第1推定処理領域を設定する。本実施形態において、かかる推定は、第1実施形態における遠方走路形状算出処理のステップS210およびS215を実行することにより実現する。次に、遠方形状算出部102は、前回の遠方走路形状に基づき処理領域を推定する。すなわち、第2推定処理領域を設定する。本実施形態において、かかる推定は、第1実施形態における遠方走路形状算出処理のステップS275を実行することにより実現する。
次に、遠方形状算出部102は、第1推定処理領域と第2推定処理領域との重複領域の尤度を算出する。重複領域の尤度は、第1推定処理領域の尤度と第2推定処理領域の尤度とを利用してベイズ推定に基づき導かれる。具体的には、下記式(1)に基づき算出される。下記式(1)において、Xは、重複領域の尤度を示す。変数Aは、第1推定処理領域の尤度を示す。また、変数Bは、第2推定処理領域の尤度を示す。
X=A×B/{A×B+(1−A)×(1−B)}・・・(1)
X=A×B/{A×B+(1−A)×(1−B)}・・・(1)
例えば、評価値が図15に示すE1である場合には、第1推定処理領域と第2推定処理領域との重複領域については、変数Aとして0.7が上記式(1)に代入され、変数Bとして0.3が上記式(1)に代入される。したがって、かかる重複領域については、統合尤度Xとして0.5が算出されることとなる。
次に、遠方形状算出部102は、撮像装置における各領域(各画素)のうち、尤度が所定の閾値以上の領域を、今回の処理領域として設定する。例えば、所定の閾値が0.3に設定されており、評価値が図15に示すE1である場合には、第1推定処理領域(尤度:0.7)と、第2推定処理領域(尤度:0.3)と、これら2つの推定処理領域の重複領域(尤度:0.5)とを合わせた領域が今回の処理領域として設定されることとなる。なお、第1推定処理領域および第2推定処理領域のいずれにも該当しない領域については、尤度は0に設定されており、今回の処理領域としては設定されない。
図13に示すように、このようなステップS410の実行後、上述したステップS220〜S255が実行される。
以上説明した第6実施形態の走路認識装置は、第1実施形態の走路認識装置100と同様な効果を有する。加えて、近傍走路距離が長いほど評価値を高く設定し、その結果、近傍走路形状の尤度がより高くなるように設定しているので、近傍走路形状に基づき推定される処理領域を今回の処理領域として設定され易く(用いられ易く)できる。したがって、近傍走路距離が長く、近傍走路形状の算出精度が高いと見込まれる場合には、近傍走路形状に基づき推定される処理領域を今回の処理領域として設定され易くでき、処理領域の特定精度(遠方走路を含む領域としての確からしさ)の低下を抑制できる。なお、第6実施形態において、遠方形状算出部102は、請求項における評価部にも相当する。
G.第7実施形態:
第7実施形態の走路認識装置100bは、図16に示すように、物体検出部107および停車判定部108として機能する点において、第1実施形態の走路認識装置100と異なる。第7実施形態の走路認識装置100bのその他の装置構成は、第1実施形態の走路認識装置100と同じであるので、その詳細な説明を省略する。
第7実施形態の走路認識装置100bは、図16に示すように、物体検出部107および停車判定部108として機能する点において、第1実施形態の走路認識装置100と異なる。第7実施形態の走路認識装置100bのその他の装置構成は、第1実施形態の走路認識装置100と同じであるので、その詳細な説明を省略する。
物体検出部107は、自車両の前方における他の車両の有無を検出する。本実施形態において、車両位置判定部106は、撮像部21により得られる撮像画像を解析することにより、自車両の前方における他の車両の有無を検出する。停車判定部108は、自車両が赤信号で停車中であるか否かを判定する。本実施形態において、停車判定部108は、撮像部21により得られる撮像画像を解析することにより赤信号であるか否かを判定すると共に、車速センサ22から得られる自車両の移動速度に基づき停車中であるか否かを判定する。
第7実施形態の走路認識装置100bは、図17に示す実行判定処理を実行する点において、第1実施形態の走路認識装置100と異なる。第7実施形態の走路認識装置100bは、第1実施形態の走路認識装置100と同様な手順にて、近傍走路形状算出処理および目標通過点設定処理を実行する。また、走路認識装置100bは、第6実施形態の走路認識装置100と同様な手順にて、遠方走路形状算出処理を実行する。
実行判定処理は、近傍走路形状算出処理を実行するか否かを決定するための処理であり、自車両のイグニッションがオンすると実行される。したがって第7実施形態では、近傍走路形状算出処理は、定期的には実行されない。図17に示すように、近傍形状算出部101は、自車両の進行方向に先行車両が存在せず、且つ、自車両が赤信号により停車中であるか否かを判定する(ステップS505)。具体的には、近傍形状算出部101は、物体検出部107による検出結果、および停車判定部108による判定結果に基づき、自車両の進行方向に先行車両が存在せず、且つ、自車両が赤信号により停車中であるか否かを判定する。
自車両の進行方向に先行車両が存在せず、且つ、自車両が赤信号により停車中であると判定された場合(ステップS505:YES)、近傍走路形状算出処理の定期的な実行タイミングが到来しても、近傍走路形状算出処理を実行せず、停車前に特定された処理領域を今回の処理領域として特定する(ステップS510)。本実施形態では、停車前に特定された処理領域として、停車直前に特定された処理領域が今回の処理領域として特定される。なお、停車直前に特定された処理領域に代えて、停車直前よりも所定回数だけ前に特定された処理領域が今回の処理領域として特定されてもよい。
「自車両の進行方向に先行車両が存在せず、且つ、自車両が赤信号により停車中」ではないと判定された場合(ステップS505:NO)、近傍形状算出部101および遠方形状算出部102は、上述の近傍走路算出処理および遠方走路形状算出処理を実行する(ステップS520)。
なお、上述のステップS510が実行された場合、遠方走路形状算出処理として、ステップS220〜S255が実行される。
以上説明した第7実施形態の走路認識装置100bは、第1実施形態の走路認識装置100と同様な効果を有する。加えて、自車両の進行方向に先行車両が存在せず、且つ、自車両が赤信号により停車中である場合には、停車直前に特定された処理領域が今回の処理領域として特定されるので、処理領域の特定精度の低下を抑制できる。車両の前方に他の車両が存在せず、且つ、車両が赤信号で停車中の場合には、近傍走路形状の認識精度は停車前と同様である。他方、先行車両が存在して赤信号で停車中は、例えば、先行車両の車体のペイントを区画線(近傍走路形状)として誤って認識する場合などが想定され、処理領域の特性精度が低下するおそれがある。したがって、本実施形態の走路認識装置100bによれば、処理領域の特定精度の低下を抑制できる。
H.第8実施形態:
第8実施形態の走路認識装置100cは、図18に示すように、自車両に搭載されたミリ波レーダ24と電気的に接続されている点と、立体構造物検出部109として機能する点とにおいて、第1実施形態の走路認識装置100と異なる。第8実施形態の走路認識装置100cのその他の構成は、第1実施形態の走路認識装置100の装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
第8実施形態の走路認識装置100cは、図18に示すように、自車両に搭載されたミリ波レーダ24と電気的に接続されている点と、立体構造物検出部109として機能する点とにおいて、第1実施形態の走路認識装置100と異なる。第8実施形態の走路認識装置100cのその他の構成は、第1実施形態の走路認識装置100の装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
ミリ波レーダ24は、ミリ波帯の電波を用いて、自車両の前方の物体を検出する。より正確には、物体を複数の検出点(物標)として検出する。立体構造物検出部109は、ミリ波レーダ24による検出結果と、撮像部21により得られる撮像画像とに基づき、立体構造物(先行車両、対向車両、交差する道路上の車両、中央分離帯、歩行者、ガードレール、マンホール、信号機等)の種類、かかる立体構造物と自車両との距離、立体構造物の位置、立体構造物の大きさ、および、立体構造物の自車両に対する相対速度を繰り返し検出する。
第8実施形態の走路認識装置100cは、第1実施形態の走路認識装置100と同様な手順にて、近傍走路形状算出処理、遠方走路形状算出処理および目標通過点設定処理を実行する。但し、図4に示す遠方走路形状算出処理のステップS215の具体的な手順が、第1実施形態と若干異なる。
第1実施形態におけるステップS215では、近傍走路(区画線)を延長させて遠方走路形状を推定し、かかる遠方走路形状に基づき処理領域を設定していた。これに対して、第8実施形態では、遠方形状算出部102は、第1実施形態と同様にして設定された処理領域のうち、立体構造物検出部109により検出された道路の側縁に存在する立体構造物(以下、「路側物」と呼ぶ)により区画される領域の内側に、処理領域を設定する。
図19の例では、自車両500は、走行レーンLn3を図19における左側から右側へと走行しており、交差点CR2の手前に位置している。このとき、走行レーンLn3のうち、交差点CR2を越えた2つの領域Er3、El3が、遠方走路形状に基づき一時的に処理領域として特定される。そして、これら2つの領域Er3、El3のうち、領域LW内の領域が最終的に処理領域として設定される。処理領域LWは、走行レーンLn3の近傍で走行レーンLn3に沿って検出された立体構造物である路側物PgRと、隣の走行レーンLn4の近傍で走行レーンLn3に沿って検出された立体構造物である路側物PgLとで区画された領域として特定される。路側物PgRは、例えば、図示しない反対車線との境界に位置するいわゆる中央分離帯が該当する。また、路側物PgLは、走行レーンLn4と図示しない歩道との境界に位置するガードレールが該当する。
以上説明した第8実施形態の走路認識装置は、第1実施形態の走路認識装置100と同様な効果を有する。加えて、立体構造物検出部により検出された路側物の内側により区画される領域の内側に処理領域を設定するので、処理領域の特定精度の低下を抑制できる。一般に、走路は、路側物により区画される領域の内側に存在するからである。
I.第9実施形態:
第9実施形態の走路認識装置100dは、図20に示すように、接続インターフェイス部(接続IF部)25と電気的に接続されている点と、走行レーン特定部110および走行レーン推定部111として機能する点とにおいて、第8実施形態の走路認識装置100cと異なる。第9実施形態の走路認識装置100dのその他の構成は、第8実施形態の走路認識装置100cの装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
第9実施形態の走路認識装置100dは、図20に示すように、接続インターフェイス部(接続IF部)25と電気的に接続されている点と、走行レーン特定部110および走行レーン推定部111として機能する点とにおいて、第8実施形態の走路認識装置100cと異なる。第9実施形態の走路認識装置100dのその他の構成は、第8実施形態の走路認識装置100cの装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
接続IF部25は、自車両に搭載されたナビゲーション装置600と電気的に接続され、ナビゲーション装置600から自車両の位置を示す情報および地図情報を取得する。かかる地図情報には、各道路の走行レーンを示す情報が含まれている。走行レーン特定部110は、接続IF部25を介してナビゲーション装置600から入力される現在の走行レーンについての情報に基づき自車両の現在の走行レーンを特定する。走行レーン推定部111は、自車両が交差点に差し掛かった場合に、交差点を通過した後に自車両が走行するレーンである通過後走行レーンを推定する。具体的には、走行レーン推定部111は、立体構造物検出部109により検出される立体構造物のうち、現在の走行レーンの前方に存在する路側物を特定し、特定された路側物と現在の走行レーンとに基づき、地図情報から得られる自車両の現在位置の前方(交差点を通過した先)に存在する走行レーンのうちから、通過後走行レーンを推定する。例えば、図19の例では、自車両500は、走行レーンLn3を現在走行しているものの交差点CR2が存在するために、撮像画像の解析では、今後走行予定の走行レーンは特定できない。しかし、自車両500が走行レーンLn3を現在走行中であること、前方に路側物PgRが存在すること、交差点CR2の先には、走行レーンLn3と走行レーンLn4とが存在すること、の各情報から、交差点CR2の通過後に、自車両500は、走行レーンLn3を走行すると予測し、走行レーンLn3を通過後走行レーンとして推定する。
遠方形状算出部102は、第8実施形態と同様にして、第1実施形態と同様にして設定された処理領域(一時的な処理領域)のうち、立体構造物検出部109により検出された路側物により区画される領域の内側であり、さらに、さらに、通過後走行レーン内の領域を、最終的な処理領域として設定する。したがって、第9実施形態では、第8実施形態とは異なり、図19に示す領域El3のうち、走行レーンLn3から外れた領域は、処理領域として設定されないこととなる。
以上説明した第9実施形態の走路認識装置100dは、第8実施形態の走路認識装置100cと同様な効果を有する。さらに、通過後走行レーンを推定し、かかる通過後走行レーンを利用して処理領域をより限定するので、処理領域の特定精度の低下をより抑制できる。特に、交差点が存在することにより近傍走路形状の算出精度が低い状況であっても、処理領域の特定精度の低下を抑制できる。
J.第10実施形態:
第10実施形態の走路認識装置100eは、図21に示すように、加速度センサ26と電気的に接続されている点と、姿勢変化検出部112として機能する点と、補正量マップ格納部120を備える点とにおいて、第1実施形態の走路認識装置100と異なる。第10実施形態の走路認識装置100eのその他の構成は、第1実施形態の走路認識装置100の装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
第10実施形態の走路認識装置100eは、図21に示すように、加速度センサ26と電気的に接続されている点と、姿勢変化検出部112として機能する点と、補正量マップ格納部120を備える点とにおいて、第1実施形態の走路認識装置100と異なる。第10実施形態の走路認識装置100eのその他の構成は、第1実施形態の走路認識装置100の装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
加速度センサ26は、自車両の加速度を検出する。姿勢変化検出部112は、自車両の姿勢の変化を検出する。本実施形態では、姿勢変化検出部112は、加速度センサ26により得られる加速度に基づき、自車両の姿勢の変化を検出する。具体的には、加速度が進行方向に向かってプラスの値の場合、すなわち、自車両が加速している場合、自車両の姿勢は、前方側が鉛直上方側を向き、後方側が鉛直下方側に向くように変化すると検出する。かかる姿勢の変化は、いわゆるノーズアップと呼ばれる。また、自車両が減速している場合、自車両の姿勢は、前方側が鉛直下方側を向き、後方側が鉛直上方側に向くように変化すると検出する。かかる姿勢の変化は、いわゆるノーズダウンと呼ばれる。
補正量マップ格納部120には、補正量マップが予め格納されている。補正量マップとは、自車両の移動速度(車速)と、自車両の加速度と、補正量とが対応付けられたマップである。補正量とは、遠方走路算出処理のステップS215で設定された処理領域の位置を補正するための補正量であり、画素数(ピクセル)を単位として補正の方向と共に格納されている。上述のノーズアップが生じると、撮像部21の撮像方向が変化するため、撮像画像に写る撮像範囲は、当初行ったキャリブレーションの際に設定された撮像範囲よりも上方にずれることとなる。このため、ステップS215で設定される処理領域は、実際の領域に対して上方にずれて検出される。これとは逆に、ノーズダウンが生じると、撮像画像に写る撮像範囲は、当初行ったキャリブレーションの際に設定された撮像範囲よりも下方にずれることとなる。このため、ステップS215で設定される処理領域は、実際の領域に対して下方にずれて検出される。そこで、遠方形状算出部102は、ステップS215において、上述の手順に従って処理領域を求め、かかる処理領域を、自車両の姿勢の変化によるずれ量をキャンセルするように補正を行なう。このときの補正量は、車速と加速度に相関するため、予め実験により車速と加速度と補正量とを求めて補正量マップを作成し、補正量マップ格納部120に格納されている。したがって、遠方形状算出部102は、車速センサ22から得られる車速と、加速度センサ26から得られる加速度とに基づき、補正量マップを参照して、補正量を特定する。
以上説明した第10実施形態の走路認識装置100eは、第1実施形態の走路認識装置100と同様な効果を有する。加えて、自車両の姿勢変化が検出された場合に、姿勢変化に応じて処理領域の位置を補正して特定するので、姿勢変化に伴い適切でない領域、例えば、遠方の走路が含まれない領域が処理領域として特定されることを抑制できる。また、処理領域を補正する際の補正量を、予め格納されている補正量マップを参照して設定するので、補正量を簡単に且つ短時間で設定することができる。
K.第11実施形態:
第11実施形態の走路認識装置100fは、図22に示すように、テンプレート画像特定部113として機能する点と、補正量マップ格納部120を備えていない点とにおいて、第10実施形態の走路認識装置100eの装置構成と異なる。第11実施形態の走路認識装置100fにおけるその他の構成要素は、第10実施形態の走路認識装置100eと同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。テンプレート画像特定部113は、処理領域を設定する際に用いるテンプレート画像を特定する。かかるテンプレート画像については、後述する。
第11実施形態の走路認識装置100fは、図22に示すように、テンプレート画像特定部113として機能する点と、補正量マップ格納部120を備えていない点とにおいて、第10実施形態の走路認識装置100eの装置構成と異なる。第11実施形態の走路認識装置100fにおけるその他の構成要素は、第10実施形態の走路認識装置100eと同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。テンプレート画像特定部113は、処理領域を設定する際に用いるテンプレート画像を特定する。かかるテンプレート画像については、後述する。
第11実施形態の走路認識装置100fは、遠方走路形状算出処理の手順において、第10実施形態の走路認識装置100eと異なる。なお、第11実施形態の走路認識装置100fは、第10実施形態の走路認識装置100eと同様な手順にて、近傍走路形状算出処理および目標通過点設定処理を実行する。
図23に示すように、ステップS205において、近傍走路形状の入力があると判定された場合(ステップS205:YES)、姿勢変化検出部112は、自車両の姿勢変化、具体的には、ノーズアップまたはノーズダウンが発生したか否かを判定する(ステップS440)。ノーズアップまたはノーズダウンが発生したと判定された場合(ステップS440:YES)、テンプレート画像特定部113は、ノーズアップまたはノーズダウンが発生する前に設定された処理領域を含むテンプレート画像を設定する(ステップS445)。具体的には、前回処理領域が設定された際に用いられた撮像画像(すなわち、前回得られた撮像画像)において、処理領域を含む領域、例えば、図3における処理領域Er1と処理領域El1とを両方含むような矩形の領域の画像を、テンプレート画像として切り出して設定する。
遠方形状算出部102は、今回の撮像画像内において、ステップS445で設定されたテンプレート画像のパターンマッチングを実行する(ステップS450)。すなわち、ステップS445で設定されたテンプレート画像と同じ大きさの領域を、今回得られた撮像画像において1画素ずつずらしながら特定しつつ、かかる領域とテンプレート画像との類似度を求める。
遠方形状算出部102は、ステップS450の結果、最も類似する画像領域において処理領域を設定する(ステップS455)。具体的には、遠方形状算出部102は、最も類似する画像領域において、テンプレート画像における処理領域の相対的な位置と同じ位置の領域を、処理領域として設定する。ステップS445の実行後、上述のステップS220〜S255が実行される。
上述のステップS440において、ノーズアップまたはノーズダウンが発生しないと判定された場合(ステップS440:NO)、上述のステップS210が実行される。
以上説明した第11実施形態の走路認識装置100fは、第10実施形態の走路認識装置100eと同様な効果を有する。加えて、ノーズアップまたはノーズダウンが発生した場合に、発生前に得られた撮像画像において処理領域を含む領域の画像をテンプレート画像として設定し、かかるテンプレート画像で今回得られた撮像画像についてパターンマッチングを行うことで、処理領域が設定されるので、ノーズアップまたはノーズダウンが発生した場合に処理領域の補正を行なう必要が無い。また、かかる補正時の補正量を予め格納する必要がないため、かかる格納に要する記憶容量を省略できる。
L.第12実施形態:
第12実施形態の走路認識装置100gは、図24に示すように、補正量特定部114として機能する点において、図18に示す第8実施形態の走路認識装置100cと異なる。第12実施形態の走路認識装置100gにおけるその他の構成要素は、第8実施形態の走路認識装置100cと同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。補正量特定部114は、処理領域の位置を補正する際に用いられる補正量を特定する。走路認識装置100gでは、上述の10実施形態の走路認識装置100eと同様に、自車両の姿勢変化に応じて処理領域の位置を補正する。第10実施形態の走路認識装置100eでは、車速と加速度とに基づき補正量マップを参照して補正量を特定していたが、第12実施形態の走路認識装置100gは、撮像部21により得られた撮像画像と、ミリ波レーダ24の測定結果とを利用して、補正量を特定する。
第12実施形態の走路認識装置100gは、図24に示すように、補正量特定部114として機能する点において、図18に示す第8実施形態の走路認識装置100cと異なる。第12実施形態の走路認識装置100gにおけるその他の構成要素は、第8実施形態の走路認識装置100cと同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。補正量特定部114は、処理領域の位置を補正する際に用いられる補正量を特定する。走路認識装置100gでは、上述の10実施形態の走路認識装置100eと同様に、自車両の姿勢変化に応じて処理領域の位置を補正する。第10実施形態の走路認識装置100eでは、車速と加速度とに基づき補正量マップを参照して補正量を特定していたが、第12実施形態の走路認識装置100gは、撮像部21により得られた撮像画像と、ミリ波レーダ24の測定結果とを利用して、補正量を特定する。
第12実施形態の走路認識装置100gは、遠方走路形状算出処理の手順において、第1実施形態の走路認識装置100と異なる。なお、第12実施形態の走路認識装置100gは、第1実施形態の走路認識装置100と同様な手順にて、近傍走路形状算出処理および目標通過点設定処理を実行する。
図25に示すように、ステップS205において、近傍走路形状の入力があると判定された場合(ステップS205:YES)、補正量特定部114は、前回の撮像画像における特定地点までの自車両からの距離と、今回の撮像画像における特定地点までの自車両からの距離との差分を算出する(ステップS460)。特定位置は、前回と今回とで同一となる現実の環境における位置であれば、任意の位置に定めることができる。例えば、路側に配置されたポール(例えば、標識を掲示するためのポールなど)の位置を特定位置としてもよい。
次に、補正量特定部114は、前回のミリ波レータ24の測定結果に基づく特定立体構造物までの距離と、今回のミリ波レーダ24の測定結果に基づく特定立体構造物までの距離との差分を算出する(ステップS465)。特定立体構造物は、前回と今回とで同一となる現実の環境における立体構造物であれば、任意の立体構造物に定めることができる。上述のステップS460およびS465の具体例を、図26、図27および図28を用いて説明する。
図26に示す例では、自車両500の姿勢は、平常時の姿勢、すなわち、車両長手方向が水平方向と平行となるような姿勢である。このとき、自車両500から、自車両500の前方に存在するポールPLの位置P2までの距離は、撮像画像に基づき距離L1として推定されている。かかる距離は、本実施形態では、撮像画像中におけるポールPLの相対的な位置P2により求められる。平常時の姿勢、すなわち、撮像部21のキャリブレーション実行時の姿勢時には、撮像範囲Agは、予め定められた範囲であるため、撮像画像中における位置P2の相対的な位置により、自車両500から位置P2までの距離を求める(推定する)ことができる。なお、図26の例では、ミリ波レーダ24の測定結果に基づき、ポールPLまでの距離は、距離L2として推定されている。ミリ波レーダ24は、ミリ波を前方に照射し、ポールPLからの反射波を受信するため、自車両500からポールPLまでの距離として、ミリ波レーダ24の位置から水平方向にポールPLにぶつかる位置P1までの距離L2が求められる。
図27に示すように、例えば、図26の状態の後、自車両500が急ブレーキを行った場合、ノーズダウンが生じる。この場合、撮像範囲Agは、図26の場合に比べて鉛直下方側を向くこととなる。このため、撮像画像中におけるポールPLの相対的な位置は、鉛直上方に変化し、図27において破線で示すように、あたかもポールPLがより遠くに位置するように写ることなる。したがって、図27の例では、ポールPLの位置は、図26に示す位置P2とは異なり、自車両500からより遠い位置P2aとして特定される。このとき、自車両500と位置P2aとの間の距離は、距離L11として推定される。そして、この図27に示す距離L11と図26に示す距離L1との差分が上述のステップS460で求められる。この差分には、図26の状態から図27の状態に変化するまでの自車両500の走行距離と、上述したノーズダウンに起因する撮像画像におけるポールPLの相対的な位置のずれと、が含まれている。
他方、図28に示すように、図26の状態の後、図27と同様に自車両500が急ブレーキを行ってノーズダウンが生じた場合、ミリ波レーダ24の測定結果によれば、ポールPLの位置は変化が無く、したがって、このとき測定される自車両500からポールPLまでの距離L12も、図26と同様に、自車両500からポールPLの位置P1までの距離として求められる。そして、図28に示す距離L12と図26に示す距離L2との差分がステップS465で求められる。この差分は、図26の状態から図28の状態に変化するまでの自車両500の走行距離とほぼ等しい。
図25に示すように、補正量特定部114は、ステップS460で算出された差分と、ステップS465で算出された差分の2種類の差分の相違をキャンセルするように、補正量を特定する(ステップS470)。具体的には、ステップS460で求めた差分からステップS465で求めた差分を差し引き、その余りの差分をキャンセルするように、補正量を特定する。例えば、上述の図26〜図28の例では、距離L11と距離L1との差分から、距離L12と距離L2との差分を差し引く。そして、仮に、その差分が、プラスであれば、すなわち、ポールPLがより遠くに位置するような値であれば、より近くに位置するように、すなわち、撮像画像中において下方に位置することとなるように、補正量を特定する。
図25に示すように、遠方形状算出部102は、入力された近傍走路形状を利用して、近傍走路(区画線)を延長させて遠方走路形状を推定する(ステップS475)。このステップS475は、上述のステップS210と同じである。遠方形状算出部102は、推定された遠方走路形状に基づき仮処理領域を設定する(ステップS480)。仮処理領域とは、ステップS470で特定された補正量による補正前の処理領域を意味する。このステップS480は、上述のステップS215と同じである。遠方形状算出部102は、ステップS480で設定された仮処理領域をステップS470で特定された補正量だけずらして処理領域を設定する(ステップS485)。ステップS485の実行後、上述のステップS220〜S255が実行される。
以上説明した第12実施形態の走路認識装置100gは、第10実施形態の走路認識装置100gと同様な効果を有する。加えて、ノーズアップまたはノーズダウンが発生した場合の処理領域の位置を補正する際の補正量を、撮像部21により得られる撮像画像と、ミリ波レーダ24の測定結果とを用いて算出するので、補正量を精度良く求めることができる。
M.第13実施形態:
第13実施形態の走路認識装置100hは、図29に示すように、テンプレート画像補正部115として機能する点において、第11実施形態の走路認識装置100fと異なる。第13実施形態の走路認識装置100hにおけるその他の構成要素は、第11実施形態の走路認識装置100fと同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。走路認識装置100hは、第11実施形態の走路認識装置100fと同様な手順にて、近傍走路形状算出処理、遠方走路形状算出処理および目標通過点設定処理を実行する。
第13実施形態の走路認識装置100hは、図29に示すように、テンプレート画像補正部115として機能する点において、第11実施形態の走路認識装置100fと異なる。第13実施形態の走路認識装置100hにおけるその他の構成要素は、第11実施形態の走路認識装置100fと同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。走路認識装置100hは、第11実施形態の走路認識装置100fと同様な手順にて、近傍走路形状算出処理、遠方走路形状算出処理および目標通過点設定処理を実行する。
テンプレート画像補正部115は、図23に示す遠方走路形状算出処理のステップS445において、テンプレート画像を補正する。具体的には、撮像部21の搭載位置または撮像部21の姿勢に相関する搭載パラメータと、自車両の走行レーンの形状に相関するパラメータと、自車両の挙動に相関するパラメータとに基づき、テンプレート画像を補正する。搭載パラメータとしては、例えば、撮像部21の撮像方向のヨー、ピッチ、ロール、撮像部21の自車両の重心位置からの相対的な位置(座標)などが該当する。走行レーンの形状に相関するパラメータとしては、近傍走路形状を示す各パラメータなどが該当する。また、自車両の挙動に相関するパラメータとしては、例えば、レーンチェンジの有無、右折または左折の予定、自車両の車速や加減速などが該当する。
以上説明した第13実施形態の走路認識装置100hは、第11実施形態の走路認識装置100fと同様な効果を有する。加えて、テンプレート画像は、撮像装置の搭載位置または姿勢に相関する搭載パラメータと、車両の走行レーンの形状に相関するパラメータと、車両の挙動に相関するパラメータとに基づき補正されるので、これらの各パラメータが変化した場合であっても、適切な画像をテンプレート画像として用いることができる。
N.第14実施形態:
第14実施形態の走路認識装置の装置構成は、第11実施形態の走路認識装置100fの装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
第14実施形態の走路認識装置の装置構成は、第11実施形態の走路認識装置100fの装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
第14実施形態の走路認識装置100fは、第11実施形態の走路認識装置100fと同様な手順にて、近傍走路形状算出処理、遠方走路形状算出処理および目標通過点設定処理を行う。但し、第14実施形態の遠方走路形状算出処理は、図23に示す遠方走路形状算出処理におけるステップS450、すなわち、パターンマッチングの実行手順において、第11実施形態の遠方走路形状算出処理と異なる。
図30に示すように、第14実施形態におけるパターンマッチング処理では、遠方形状算出部102は、今回の撮像画像において、テンプレート画像と比較する対象となる領域(以下、「比較対象領域」と呼ぶ)を特定する(ステップS705)。遠方形状算出部102は、図23に示すステップS445において設定されたテンプレート画像における破線含有領域を特定する(ステップS710)。破線含有領域とは、破線を含む領域であり、例えば、区画線が破線である場合に、かかる区画線を含む領域を意味する。後述のように、遠方形状算出部102は、比較対象領域の各画素と、テンプレート画像における同じ位置の各画素とを比較して一致するか否かに応じてスコアを与える。このとき、比較対象領域において比較対象とする画素(以下、「比較画素」と呼ぶ)が、テンプレート画像における破線含有領域内の画素に対応する画素か否かを判定する(ステップS715)。
比較画素が破線含有領域の画素に対応する画素であると判定された場合(ステップS715:YES)、遠方形状算出部102は、比較画素とテンプレート画像における対応画素(相対的な位置が同じ画素)とを比較して一致するか否かを判定する(ステップS720)。一致すると判定された場合(ステップS720:YES)、遠方形状算出部102は、かかる比較画素に対してスコア「1」を与える(ステップS725)。他方、一致しないと判定された場合(ステップS735:NO)、比較画素に対してスコア「0.5」を与える(ステップS730)。
上述のステップS715において、比較画素が破線含有領域の画素に対応する画素でないと判定された場合(ステップS715:NO)、比較画素とテンプレート画像における対応画素(相対的な位置が同じ画素)とを比較して一致するか否かを判定する(ステップS735)。かかるステップS735は上述のステップS720と同じである。一致すると判定された場合(ステップS735:YES)、遠方形状算出部102は、上述のステップS725と同様に、かかる比較画素に対してスコア「1」を与える(ステップS740)。他方、一致しないと判定された場合(ステップS735:NO)、上述のステップS730とは異なり、比較画素に対してスコア「0」を与える(ステップS745)。
上述のステップS725、S730、S740、S745のいずれかが実行された後、遠方形状算出部102は、全ての比較対象領域の全ての画素について比較が終了したか否かを判定し(ステップS750)、比較が終了していないと判定された場合(ステップS750:NO)、上述のステップS705に戻る。これに対して、比較が終了したと判定された場合(ステップS750:YES)、遠方形状算出部102は、各比較対象領域についての合計スコアを算出し、記憶する(ステップS755)。合計スコアは、各比較対象領域の各画素について、ステップS725、S730、S740、S745のいずれかが実行されて付与されたスコアを合算した値である。かかる合計スコアが高いほど、テンプレート画像に類似することを意味する。そして、ステップS755の実行後、パターンマッチング処理は終了し、図23に示すステップS455が実行される。このとき、合計スコアが最も高い領域は、最も類似する領域であり、かかる領域において処理領域が設定される。
ここで、上述のように、比較画素が破線含有領域内の画素に対応する画素である場合には、比較画素が、対応する画素と一致しない場合に与えられるスコアは「0.5」であり、比較画素が破線含有領域内の画素に対応する画素でない場合のスコア「0」に比べて高い。このようにすることで、自車両の走行レーンの区画線が破線である場合には、区画線が実線である場合に比べて、パターンマッチング処理の結果が合計スコアに与える影響を低減できる。一般に、区画線が破線である場合には、同じ区画線であっても、前回の撮像画像に写っている態様と、今回の撮像画像に写っている態様とは異なる可能性が高い。具体的には、破線のうちのペイント部分とペイントされてない部分との境界の位置が、自車両の走行に伴ってずれるため、同じ区画線であっても、前回の撮像画像に写っている態様と、今回の撮像画像に写っている態様とは異なる可能性が高い。そこで、破線の場合には、パターンマッチングの結果が合計スコアに与える影響を低減させることで、同一の区画線を同一のものとして評価できるようにしている。
以上説明した第14実施形態の100fは、第11実施形態の走路認識装置100fと同様な効果を有する。加えて、区画線が破線の場合には、区画線が実線である場合に比べて、パターンマッチングの結果が一致度を示すスコアに与える影響を低減するので、処理領域の特定精度の低下を抑制できる。区画線が破線の場合には、同じ線であるにも関わらず、撮像するタイミングが異なると形状が異なる可能性が高い。したがって、この場合、一致度を示すスコア(合計スコア)に与える影響を低減するので、同一の区画線を同一の区画線として認識する可能性を高めることができる。
O.第15実施形態:
第15実施形態の走路認識装置100iは、図31に示すように、交差点判定部116および方向特定部117として機能する点において、第1実施形態の走路認識装置100と異なる。第15実施形態の走路認識装置100iのその他の構成は、第1実施形態の走路認識装置100と同じであるので、その詳細な説明を省略する。
第15実施形態の走路認識装置100iは、図31に示すように、交差点判定部116および方向特定部117として機能する点において、第1実施形態の走路認識装置100と異なる。第15実施形態の走路認識装置100iのその他の構成は、第1実施形態の走路認識装置100と同じであるので、その詳細な説明を省略する。
交差点判定部116は、自車両が交差点領域内を走行中又は交差点領域内で停車中であるか否かを判定する。方向特定部117は、自車両の走行レーン上の横断歩道の縞模様(いわゆるゼブラ)を構成する複数のペイントを検出し、検出された複数のペイントの長手方向を特定する。一般的には、複数のペイントの長手方向は、走行レーンに沿った方向である。
第15実施形態の遠方走路形状算出処理は、図32に示すように、ステップS275に代えて、ステップS280〜S284を実行する点において、図4に示す第1実施形態の遠方走路形状算出処理と異なり、その他の手順は同一である。なお、第15実施形態の近傍走路形状算出処理および目標通過点設定処理は、第1実施形態と同じである。
上述のステップS270において、前回の遠方走路形状の履歴があると判定された場合(ステップS270:YES)、交差点判定部116は、自車両が交差点領域内を走行中又は交差点領域内で停車中であるか否かを判定する(ステップS280)。交差点領域の定義は第4実施形態で説明したとおりである。また、自車両が交差点内の走行中または停車中であるか否かの判定は、第4実施形態のステップS206と同様な手順に加えて、車速センサ22により測定される車速に基づき実現できる。自車両が交差点領域内を走行中又は交差点領域内で停車中でないと判定された場合(ステップS280:NO)、遠方走路形状算出処理は終了する。
自車両が交差点領域内を走行中又は交差点領域内で停車中であると判定された場合(ステップS280:YES)、遠方形状算出部102は、今回の撮像画像において、自車両の走行レーンに横断歩道の縞模様を構成する複数のペイントがあるか否かを判定する(ステップS281)。複数のペイントが無いと判定された場合(ステップS281:NO)、遠方走路形状算出処理は終了する。これに対して、複数のペイントがあると判定された場合(ステップS281:YES)、方向特定部117は、ステップS281で特定された複数のペイントの長手方向に沿ったエッジのうち、自車両の走行レーン内において右端に位置するエッジと、左端に位置するエッジを特定する(ステップS282)。方向特定部117は、ステップS282で特定された2つのエッジに基づき、今回の撮像画像において、かかるエッジを延長した場合の仮想線同士が交差する点(いわゆる消失点)の位置を特定する(ステップS283)。遠方形状算出部102は、ステップS283で特定された消失点の位置に基づき処理領域を設定する(ステップS284)。
図33の例では、自車両の走行レーンLn5に横断歩道Pd3の縞模様を構成する複数のペイントがあると判定される。なお、走行レーンLn5は、撮像画像F20の下方に少しだけ写っている区画線Lr4、Ll4により区画される。ステップS282では、複数のエッジのうち、走行レーンLn5内に一部が含まれている右側のペイントZrの内側のエッジEg1と、同様に走行レーンLn5内に一部が含まれている左側のペイントZlの内側のエッジEg2とが特定される。ステップS283では、ステップS282で特定された2つのエッジEg1、Eg2を延長した2つの仮想線Vl1、Vl2同士が交差する点P10が、消失点として特定される。
この図33の例を利用して、ステップS284において処理領域を設定する方法について、具体的に説明する。まず、2つの仮想線Vl1、Vl2上の2つの第1点であって、点P10(2つの仮想線Vl1、Vl2の交差位置)から予め定められた第1距離L21だけ手前の2つの第1点P1r、P1lを特定する。次に、2つの仮想線Vl1、Vl2上における2つの第1点P1r、P1lとは異なる2つの点であって、横断歩道Pd3の奥側の端部から予め定められた第2距離L22だけ奥側の点を、第2点P2r、P2lとして特定する。そして、仮想線Vl1に沿って、第1点P1rと第2点P2rとを結んだ線分を中心として、予め定められた第3距離L3を走行レーンLn5と交わる方向の幅の大きさとする矩形の領域を、処理領域Er4として設定する。同様に、仮想線Vl2に沿って、第1点P1lと第2点P2lとを結んだ線分を中心として、第3距離L3を走行レーンLn5と交わる方向の幅の大きさとする矩形の領域を、処理領域El4として設定する。
図32に示すように、ステップS284の実行後、上述のステップS220〜S255が実行される。
以上説明した第15実施形態の走路認識装置100iは、第1実施形態の走路認識装置100と同様な効果を有する。加えて、自車両が交差点領域内を走行中又は停車中であると判定された場合に、横断歩道の縞模様を構成するペイントの長手方向を利用して処理領域を設定するので、処理領域の特定精度の低下を抑制できる。一般に、走行レーン上の横断歩道の縞模様を構成する複数のペイントの長手方向は、走行レーンと平行であるため、かかる長手方向を利用して処理領域を設定することにより、処理領域の特定精度の低下を抑制できるからである。
P.第16実施形態:
第16実施形態の走路認識装置100jは、図34に示すように、正常性判定部118として機能する点において、第1実施形態の走路認識装置100の装置構成と異なる。第16実施形態の走路認識装置100jにおけるその他の構成要素は、第1実施形態の走路認識装置100と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。正常性判定部118は、後述する第16実施形態における遠方走路形状算出処理において一時的に選択された白線候補の正常性を判定する。
第16実施形態の走路認識装置100jは、図34に示すように、正常性判定部118として機能する点において、第1実施形態の走路認識装置100の装置構成と異なる。第16実施形態の走路認識装置100jにおけるその他の構成要素は、第1実施形態の走路認識装置100と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。正常性判定部118は、後述する第16実施形態における遠方走路形状算出処理において一時的に選択された白線候補の正常性を判定する。
第16実施形態の遠方走路形状算出処理は、図35に示すように、図4に示す第1実施形態の遠方走路算出処理と比べて、ステップS225〜S240に代えてステップS805〜S810を実行する点においてのみ異なる。なお、第16実施形態の走路認識装置100jは、第1実施形態の走路認識装置100と同様な手順にて、近傍走路形状算出処理および目標通過点設定処理を実行する。第1実施形態では、処理領域内において白線候補を特定するためにハフ変換を行なっていたが、第16実施形態では、LMedS(Least Median Squares)を用いる。LMedSは、いわゆるランダムサンプル法の一種である。なお、LMedSに代えて、RANSAC(RANdom SAmple Consensus)を用いてもよい。
図35に示すように、ステップS220の実行後、遠方形状算出部102は、LMedSを利用して白線候補を決定する(ステップS805)。具体的には、ステップS220で抽出された処理領域内のエッジのうち、任意の2個をランダムにサンプリングする。次に、かかる2個のエッジを結ぶ直線式から、他の全てのエッジ(例えば、N個)と、かかる直線との誤差の2乗を算出する。次に、得られたN個の2乗誤差の中央値を、かかる直線の評価スコアとして特定して記録する。以上を、すべてのエッジの2個の組み合わせについて実行する。そして、得られたすべての評価スコアのうち、最低の評価スコアの直線を、白線候補として決定する。なお、白線候補は、後述するように正常であると判定された場合には、遠方走路形状として算出されるため、「仮の遠方走路形状」と呼ぶことができる。
正常性判定部118は、ステップS805で決定された白線候補が正常であるか否かを判定する(ステップS810)。この正常性判定の具体的な方法を、図36を用いて説明する。図36では、4つのケースC1〜C4について、それぞれ白線候補m1〜m4と、誤差分布と、各白線候補の評価スコアS1〜S4とが表されている。
ケースC1では、評価スコアS1は、比較的小さい値であり、本実施形態では正常であると判定される。これに対して、他の3つのケースC2〜C4では、正常ではない、すなわち、異常であると判定される。具体的には、ケースC2では、評価スコアが比較的大きいため異常であると判定される。また、ケースC3では、評価スコアS3は比較的小さい。しかし、ケースC3では、中央値から外れた値の誤差(2乗誤差)が連続する誤差範囲であって、度数が大きく且つ互いに等しい誤差範囲が比較的広く存在している。このような状況とはケースC3に示すように、白線候補として決定された直線m3に加えて同様な直線m30が存在し得るような場合が想定される。具体的には、白線(区画線)の近傍に白線に沿って設置されたガードレールが存在するような場合には、かかるガードレールのエッジからなる直線も、誤差の分布においては、中央値から外れた誤差が均一に分布する態様で現れる。また、ケースC4では、評価スコアS4は比較的小さいが、エッジの合計数が小さいために算出される誤差数も少なく、その結果、白線候補m4が白線である蓋然性が低い場合が想定される。
本実施形態では、上述の3つのケースC2〜C4を異常であると認識するために、下記(i)〜(iii)のいずれかの条件を満たす場合には正常ではない(異常である)と判定し、いずれの条件も満たさない場合には正常であると判定するようにしている。
(i)LMedSにより得られる誤差分布における中央値の評価スコアが、予め定められた閾値評価スコアよりも大きい。
(ii)LMedSにより得られる誤差分布において、中央値から外れた値の誤差が連続する誤差範囲であって、度数が予め定められた閾値度数よりも大きく互いに等しい誤差範囲が、予め定められた範囲よりも広い。
(iii)得られた誤差数が予め定められた閾値数よりも少ない。
(i)LMedSにより得られる誤差分布における中央値の評価スコアが、予め定められた閾値評価スコアよりも大きい。
(ii)LMedSにより得られる誤差分布において、中央値から外れた値の誤差が連続する誤差範囲であって、度数が予め定められた閾値度数よりも大きく互いに等しい誤差範囲が、予め定められた範囲よりも広い。
(iii)得られた誤差数が予め定められた閾値数よりも少ない。
図35に示すように、上述のステップS810の結果、白線候補は正常であると判定された場合(ステップS810:YES)、遠方形状算出部102は、上述のステップS245〜S255を実行する。これに対して、白線候補は正常ではないと判定された場合(ステップS810:NO)、遠方走路形状算出処理は終了する。したがって、この場合、遠方走路形状は算出されないこととなる。
以上説明した第16実施形態の走路認識装置100jは、第1実施形態の走路認識装置100と同様な効果を有する。加えて、LMedSにより決定された白線候補が正常でないと判定された場合に遠方走路形状を算出しないので、正常でない遠方走路形状が履歴として遠方形状記憶部104に記憶されることを抑制できる。このため、遠方走路形状を用いて処理領域を設定する場合の精度の低下を抑制できる。
また、誤差分布に基づき、白線候補の正常性を判定するので、かかる正常性を精度良く判定できる。また、上記(i)〜(iii)のいずれかの条件が満たされた場合に、白線候補は正常ではないと判定するので、白線候補の正常性を精度良く判定できる。
Q.第17実施形態:
第17実施形態の走路認識装置100kは、図37に示すように、走路推定部119として機能する点において、第16実施形態の走路認識装置100jの装置構成と異なる。第17実施形態の走路認識装置100kにおけるその他の構成要素は、第16実施形態の走路認識装置100jと同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。走路推定部119は、前回の遠方走路形状に基づき、今回の遠方走路形状を推定する。
第17実施形態の走路認識装置100kは、図37に示すように、走路推定部119として機能する点において、第16実施形態の走路認識装置100jの装置構成と異なる。第17実施形態の走路認識装置100kにおけるその他の構成要素は、第16実施形態の走路認識装置100jと同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。走路推定部119は、前回の遠方走路形状に基づき、今回の遠方走路形状を推定する。
第17実施形態の遠方走路形状算出処理は、図38に示すように、図35に示す第16実施形態の遠方走路算出処理と比べて、ステップS800を追加実行する点においてのみ異なる。なお、第17実施形態の走路認識装置100kは、第1実施形態の走路認識装置100と同様な手順にて、近傍走路形状算出処理および目標通過点設定処理を実行する。
図38に示すように、ステップS220の実行後、走路推定部119は、遠方形状記憶部104に記憶されている前回の遠方走路形状と、撮像パラメータと、車両の動きを示す情報とに基づき、今回の遠方走路形状を推定する(ステップS800)。このステップS800は、上述のステップS275において今回の遠方走路形状を推定する処理と同じ処理であるので、その詳細な説明を省略する。ステップS800の後、上述のステップS805およびS810が実行される。但し、本実施形態におけるステップS810の具体的な手順は、第16実施形態の手順と異なる。
具体的には、正常性判定部118は、ステップS800で推定された今回の遠方走路形状と、ステップS805で決定された白線候補とを比較して、これら2つの形状(直線)の位置および角度の差を求める。なお、位置および角度のうち一方の差のみを求めてもよい。そして、かかる差が予め定められた閾値以上である場合に正常ではない(異常である)と判定し、かかる閾値よりも小さい場合には、正常であると判定する。
図39において、直線Lr4、Ll4は、近傍走路形状を示す。また、直線Lr5、Ll5は、前回の遠方走路形状から推定される今回の遠方走路形状を示す。また、直線Lr6、Ll6は、白線候補の直線を示す。図39に示すように、直線Lr5と直線Lr6とは、互いに交差しており、角度差は比較的大きい。同様に、直線Ll5と直線Ll6とは、互いに交差しており、角度差は比較的大きい。したがって、この場合、白線候補の直線Lr6、Ll6は、異常であると判定される可能性が高い。なお、このように、白線候補が前回の遠方走路形状から推定される今回の遠方走路形状と大きく相違する理由としては、例えば、区画線に沿って存在するガードレールや植え込みから抽出されたエッジから白線候補が決定された場合などが想定される。
以上説明した第17実施形態の走路認識装置100kは、第16実施形態の走路認識装置100jと同様な効果を有する。加えて、LMedSにより決定された白線候補と前回の遠方走路形状から推定される今回の遠方走路形状とを比較して、2つの直線の角度および位置の差が閾値以上である場合に、白線候補は正常ではないと判定するので、白線候補の正常性を精度良く判定できる。
R.第18実施形態:
第18実施形態における走路認識装置の装置構成は、図37に示す第17実施形態におおける走路認識装置100kの装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
第18実施形態における走路認識装置の装置構成は、図37に示す第17実施形態におおける走路認識装置100kの装置構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
第18実施形態における遠方走路形状算出処理は、図38に示す第17実施形態における遠方走路形状算出処理と同様である。但し、ステップS805の具体的な処理において、第17実施形態と異なる。
第18実施形態の走路認識装置100kは、ステップS805を、図40に示す手順で実行する。具体的には、正常性判定部118は、2つエッジを選択し、かかる2つのエッジを通る直線を特定する(ステップS905)。正常性判定部118は、ステップS905で特定された直線について、LMedSを利用して仮の誤差分布を求める(ステップS910)。なお、「仮の誤差分布」と呼ぶのは、かかる誤差分布は、後述するように補正される可能性があるからである。正常性判定部118は、ステップS800で推定された今回の遠方走路形状と、ステップS905で特定された直線との一致度合いを求める(ステップS915)。例えば、第17実施形態と同様に、これら2つの形状(直線)の位置および角度の差を求め、差が小さいほど大きくなるように一致度合いを定める。
正常性判定部118は、ステップS915で求めた一致度合いに応じて、ステップS910で求めた誤差分布を補正して、最終的な誤差分布を求める(ステップS920)。具体的には、本実施形態では、一致度合いに応じて、中央値、すなわち、評価スコアを低く補正する。このとき、一致度合いが高いほど、評価スコアを低減する量を大きくする。
正常性判定部118は、すべてのエッジを選択したか否かを判定し(ステップS925)、すべてのエッジを選択していないと判定された場合(ステップS925:NO)、上述のステップS905に戻る。これに対して、すべてのエッジを選択したと判定された場合(ステップS925:YES)、最も評価スコアの低い直線を、白線候補として決定する(ステップS930)。上述のように、推定された今回の遠方走路形状との一致度合いが高い直線ほど、評価スコアが大きく低減するので、ステップS930において、白線候補として決定され易いといえる。
以上説明した第18実施形態の走路認識装置100kは、第17実施形態の走路認識装置100kと同様な効果を有する。加えて、LMedSにおいて評価対象となる直線のうち、前回算出された遠方走路形状に基づき推定された今回の遠方走路形状との一致度合いが高い直線ほど、評価スコアが大きく低減するので、白線候補として決定され易くできる。したがって、白線候補を、より高い精度で決定することができる。
S.その他の実施形態:
(S−1)各実施形態において、今回算出された近傍走路形状を用いていた処理を、近傍走路形状の履歴を用いた処理に置き換えてもよい。例えば、第1実施形態における遠方走路形状算出処理のステップS210において、今回算出された近傍走路形状に代えて、近傍走路形状の履歴を用いて遠方走路形状を推定してもよい。例えば、前回の近傍走路形状、前々回の近傍走路形状からそれぞれ遠方走路形状を推定し、これら2つの遠方走路形状を組み合わせて(外挿して)、今回の遠方走路形状を推定してもよい。また、例えば、第1実施形態の遠方走路形状算出処理のステップS275において、前回算出された遠方走路形状に代えて、遠方走路形状の履歴を用いて処理領域を設定してもよい。
(S−1)各実施形態において、今回算出された近傍走路形状を用いていた処理を、近傍走路形状の履歴を用いた処理に置き換えてもよい。例えば、第1実施形態における遠方走路形状算出処理のステップS210において、今回算出された近傍走路形状に代えて、近傍走路形状の履歴を用いて遠方走路形状を推定してもよい。例えば、前回の近傍走路形状、前々回の近傍走路形状からそれぞれ遠方走路形状を推定し、これら2つの遠方走路形状を組み合わせて(外挿して)、今回の遠方走路形状を推定してもよい。また、例えば、第1実施形態の遠方走路形状算出処理のステップS275において、前回算出された遠方走路形状に代えて、遠方走路形状の履歴を用いて処理領域を設定してもよい。
(S−2)第4実施形態と第5実施形態とを組み合わせてもよい。すなわち、自車両の現在位置が交差点領域内であると判定された場合(ステップS206:YES、およびステップS316:YES)、ステップS209における閾値時間とステップS319における閾値時間とをいずれも通常の時間よりも長い時間に設定してもよい。
(S−3)各実施形態において、自車両の前方に他の車両が存在せず、且つ、自車両が赤信号で停車中の場合であり、且つ、自車両の前方を横切る移動物が存在する場合には、処理領域の新たな設定を行わず、自車両の停車前に設定された処理領域を、現在の処理領域として設定してもよい。この構成においては、走路認識装置は、自車両の前方における物体を検出する物体検出部と、自車両が赤信号で停車中であるか否かを判定する停車判定部とを、さらに備える。停車判定部は、例えば、撮像画像を解析することにより、赤信号で停車中であるか否かを判定できる。自車両の前方を横切る移動物が存在する場合には、撮像画像に基づき算出される近傍走路形状の精度が低下し、また、そのような近傍走路形状を用いて設定される処理領域の精度も低下し、ひいては、遠方走路形状の精度も低下する。したがって、このような構成とすることで、低い精度の近傍走路形状および遠方走路形状が算出されることを抑制できる。
(S−4)第15実施形態では、処理領域を設定するために用いられた横断歩道のペイントのエッジは、ステップS281で特定された複数のペイントの長手方向に沿ったエッジのうち、自車両の走行レーン内において右端に位置するエッジと、左端に位置するエッジとであったが、本開示はこれに限定されない。ステップS281で特定された複数のペイントの長手方向に沿った任意の位置の2つのエッジであってもよい。また、2つのエッジに限らず、複数のエッジを用いて処理領域を特定してもよい。すなわち、複数のエッジを用いて消失点の位置を特定し、かかる消失点の位置に基づき処理領域を設定してもよい。
(S−5)第15実施形態において、処理領域を設定する具体的な方法は適宜変更可能である。例えば、ステップS282で特定されたエッジを延長させて消失点P10の位置を特定したら、かかる消失点P10を頂点とする所定の形状の三角形状の領域を、2つのエッジを延長させた仮想線に沿って配置して設定してもよい。
(S−6)第4実施形態では、自車両の現在位置が交差点領域内であるか否かに応じて、目標通過点設定処理のステップS319における閾値時間の長さを変えていたが、本開示はこれに限定されない。例えば、遠方走路形状算出処理のステップS205を、「近傍走路形状が予め定められた時間(所定の閾値時間)を超えて近傍走路形状の入力があるか否かを判定する処理(以下、「ステップS205a」と呼ぶ)に置き換える。そして、かかるステップS205aの前に、上述のステップS260〜S264を実行する。このとき、ステップS262またはS264で設定される閾値時間を、ステップS205aにおける閾値時間としてもよい。
(S−7)第13実施形態の3種類のパラメータのうち、少なくとも1種類のパラメータに基づき、テンプレート画像を補正してもよい。
(S−8)第17実施形態の遠方走路形状算出処理のステップS800において、前回の遠方走路形状に代えて、今回の遠方走路形状を用いて、今回の遠方走路形状を推定してもよい。かかる推定は、例えば、第1実施形態の遠方走路形状算出処理のステップS210と同様な手順により実行してもよい。
(S−9)各実施形態では、算出された近傍走路形状および遠方走路形状は、目標通過点、すなわち、自車両が自動運転する際の目標とする通過点を設定するために用いられていたが、本開示はこれに限定されない。例えば、近傍走路形状および遠方走路形状のうち、少なくとも一方が算出されない場合に警報を発生させる構成とし、近傍走路形状および遠方走路形状は、かかる警報の発生契機として用いられてもよい。かかる構成においては、目標通過点設定部105、および目標通過点設定処理の実行を省略してもよい。
(S−10)各実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、第1実施形態においては、近傍形状算出部101、遠方形状算出部102、近傍形状記憶部103、遠方形状記憶部104、目標通過点設定部105のうちの少なくとも1つの機能部を、集積回路、ディスクリート回路、またはそれらの回路を組み合わせたモジュールにより実現してもよい。また、本開示の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータプログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。すなわち、「コンピューター読み取り可能な記録媒体」とは、データパケットを一時的ではなく固定可能な任意の記録媒体を含む広い意味を有している。
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、各実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
100,100a〜100k 走路認識装置、21 撮像装置、101 近傍形状算出部、102 遠方形状算出部、103 近傍形状記憶部、104 遠方形状記憶部、Er1〜Er4,El1〜El4 処理領域
Claims (4)
- 車両に搭載され、前記車両の走路を認識する走路認識装置(100、100a〜100k)であって、
前記車両に搭載された撮像装置(21)により繰り返し得られる撮像画像に基づき、前記車両の近傍の走路形状である近傍走路形状を繰り返し算出する近傍形状算出部(101)と、
算出された前記近傍走路形状に基づき各撮像画像における処理領域(Er1〜Er4、El1〜El4)を設定し、前記処理領域内における前記車両の遠方の走路形状である遠方走路形状を繰り返し算出する遠方形状算出部(102)と、
前記車両が交差点および前記交差点の近傍領域を含む交差点領域内を走行中又は停車中であるか否かを判定する交差点判定部(116)と、
前記撮像画像において、前記車両の走行レーン上の横断歩道の縞模様を構成する複数のペイントを検出し、検出された前記複数のペイントの長手方向を特定する方向特定部(117)と、
を備え、
前記遠方形状算出部は、
前記交差点領域内を前記車両が走行中又は停車中でないと判定された場合に、算出された前記近傍走路形状に基づき前記処理領域を設定し、
前記交差点領域内を前記車両が走行中又は停車中であると判定された場合に、前記方向特定部により特定された前記複数のペイントの長手方向を利用して、前記処理領域を設定する、
走路認識装置。 - 請求項1に記載の走路認識装置において、
前記方向特定部は、前記交差点領域内を前記車両が走行中又は停車中であると判定された場合に、前記複数のペイントの長手方向に沿ったエッジうち、前記走行レーン内に位置する2つのエッジ(Eg1、Eg2)を延長した仮想線(Vl1、Vl2)同士の交差位置(P10)を特定し、
前記遠方形状算出部は、前記交差位置に基づき、前記処理領域を設定する、
走路認識装置。 - 請求項2に記載の走路認識装置において、
前記2つのエッジは、前記走行レーン内においてそれぞれ最も端側に位置する、
走路認識装置。 - 請求項2または請求項3に記載の走路認識装置において、
前記遠方形状算出部は、前記複数のペイントの長手方向に沿ったエッジのうち前記走行レーン内における両端に位置する2つのエッジを延長した2つの仮想線上の2つの第1点(P1r、P1l)であって、前記交差位置から予め定められた第1距離(L21)だけ手前側の2つの第1点と、前記2つの仮想線上の前記2つの第1点とは異なる2つの第2点(P2r、P2l)であって、前記横断歩道(Pd3)の奥側の端部から予め定められた第2距離(L22)だけ奥側の2つの第2点と、をそれぞれ結んだ線分を中心として、予め定められた第3距離(L3)を前記走行レーン(Ln5)と交わる方向の幅とする2つの矩形状の領域(Er4、El4)を、前記処理領域として特定する、
走路認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017134264A JP2019016246A (ja) | 2017-07-10 | 2017-07-10 | 走路認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017134264A JP2019016246A (ja) | 2017-07-10 | 2017-07-10 | 走路認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019016246A true JP2019016246A (ja) | 2019-01-31 |
Family
ID=65356589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017134264A Pending JP2019016246A (ja) | 2017-07-10 | 2017-07-10 | 走路認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019016246A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210279484A1 (en) * | 2018-06-27 | 2021-09-09 | Nippon Telegraph And Telephone Corporation | Lane estimation device, method, and program |
JP2022111536A (ja) * | 2021-01-20 | 2022-08-01 | トヨタ自動車株式会社 | 情報処理装置、情報処理システム、及び情報処理プログラム |
US11776392B2 (en) * | 2018-10-15 | 2023-10-03 | Zenuity Ab | Method for assigning ego vehicle to a lane |
-
2017
- 2017-07-10 JP JP2017134264A patent/JP2019016246A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210279484A1 (en) * | 2018-06-27 | 2021-09-09 | Nippon Telegraph And Telephone Corporation | Lane estimation device, method, and program |
US11861841B2 (en) * | 2018-06-27 | 2024-01-02 | Nippon Telegraph And Telephone Corporation | Lane estimation device, method, and program |
US11776392B2 (en) * | 2018-10-15 | 2023-10-03 | Zenuity Ab | Method for assigning ego vehicle to a lane |
JP2022111536A (ja) * | 2021-01-20 | 2022-08-01 | トヨタ自動車株式会社 | 情報処理装置、情報処理システム、及び情報処理プログラム |
JP7367709B2 (ja) | 2021-01-20 | 2023-10-24 | トヨタ自動車株式会社 | 情報処理装置、情報処理システム、及び情報処理プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6566132B2 (ja) | 物体検出方法及び物体検出装置 | |
JP6747269B2 (ja) | 物体認識装置 | |
JP4676373B2 (ja) | 周辺認識装置、周辺認識方法、プログラム | |
CN107209997B (zh) | 车辆的行驶控制装置以及行驶控制方法 | |
JP6356585B2 (ja) | 車両の走行制御装置 | |
US20210309231A1 (en) | Driving Environment Information Generation Method, Driving Control Method, Driving Environment Information Generation Device | |
US11092442B2 (en) | Host vehicle position estimation device | |
JP6363518B2 (ja) | 区画線認識装置 | |
US20190179006A1 (en) | Target detection device | |
JP6171499B2 (ja) | 危険度判定装置及び危険度判定方法 | |
JP2019016246A (ja) | 走路認識装置 | |
JP7006203B2 (ja) | 軌跡設定装置 | |
JP2018097782A (ja) | 区画線認識装置 | |
JP7321035B2 (ja) | 物体位置検出方法及び物体位置検出装置 | |
JP2019220070A (ja) | 車両制御装置 | |
JP6962726B2 (ja) | 走路認識装置 | |
JP5974923B2 (ja) | 道路端検出システム、方法およびプログラム | |
CN114084129A (zh) | 一种基于融合的车辆自动驾驶控制方法及系统 | |
JP5888275B2 (ja) | 道路端検出システム、方法およびプログラム | |
CN111781606A (zh) | 一种新型激光雷达和超声波雷达融合的小型化实现方法 | |
US11920936B2 (en) | Vehicle controller, and method and computer program for controlling vehicle | |
US20220289185A1 (en) | Vehicle controller and method for controlling vehicle | |
JP4703963B2 (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 | |
JP2019016245A (ja) | 走路認識装置 | |
JP6604052B2 (ja) | 走路境界推定装置及び走路境界推定方法 |