JP2017111632A

JP2017111632A - 情報演算装置

Info

Publication number: JP2017111632A
Application number: JP2015245616A
Authority: JP
Inventors: 中村　弘; Hiroshi Nakamura; 弘中村
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2015-12-16
Filing date: 2015-12-16
Publication date: 2017-06-22
Anticipated expiration: 2035-12-16
Also published as: JP6341191B2; CN107021103B; US20170177952A1; US10108865B2; CN107021103A

Abstract

【課題】走行車線の左右のレーンマーカ候補点の一方が十分に離間して存在する複数のエッジ点を含まない場合であっても、走行車線に関する情報を適切に演算できる。
【解決手段】単眼カメラによる車両前方の撮像画像に基づき走行車線に関する情報を演算する情報演算装置であって、撮像画像内のエッジ点に基づき左右のレーンマーカ候補点を特定する候補点特定部と、左右のレーンマーカ候補点のそれぞれに離間条件を満たす二つのエッジ点が含まれる場合に、カルマンフィルタ処理によって、車両の横位置、ピッチ角、ヨー角、走行車線の車線幅、曲率、曲率変化率を演算するカルマンフィルタ処理部とを備え、カルマンフィルタ処理部は、左右のレーンマーカ候補点の一方に離間条件を満たす二つのエッジ点が含まれ、他方は一つもエッジ点を含まない場合に、ピッチ角がゼロ且つ車線幅が所定値として演算する。
【選択図】図５

Description

本発明は、情報演算装置に関する。

従来、車両に搭載されたカメラによって撮像された車両の走行車線の撮像画像に基づいて、当該走行車線に関する情報を演算する装置に関する技術文献として、例えば、特開２００２−１０９６９５号公報が知られている。この公報には、車両前方の撮像画像から、エッジ処理によりエッジ点を抽出すると共に、所定の条件を満たすエッジ点を走行車線の左右の白線に対応するレーンマーカ候補点として検出する走行路認識装置が記載されている。この走行路認識装置は、左右のレーンマーカ候補点の撮像画像上における座標値から、拡張カルマンフィルタを用いて、道路曲率等の走行車線に関する情報を演算する。

特開２００２−１０９６９５号公報

しかしながら、前述した従来の装置においては、走行車線の左右のレーンマーカ候補点のそれぞれが十分に離間して存在する複数のエッジ点を含んでいることを前提としており、左右のレーンマーカ候補点の一方が十分に離間して存在する複数のエッジ点を含まない場合には、拡張カルマンフィルタを用いた演算を適切に実行できず、求めている走行車線に関する情報を取得できないという問題がある。

このため、本技術分野では、走行車線の左右のレーンマーカ候補点の一方が十分に離間して存在する複数のエッジ点を含まない場合であっても、走行車線に関する情報を適切に演算することができる情報演算装置を提供することが望まれている。

上記課題を解決するため、本発明の一態様に係る情報演算装置は、車両に搭載された単眼カメラによって撮像された車両の前方の撮像画像に基づいて、車両の走行する走行車線に関する情報を演算する情報演算装置であって、撮像画像内のエッジ点を検出するエッジ点検出部と、撮像画像内のエッジ点に基づいて、走行車線における車両の左側のレーンマーカのエッジ点である左側レーンマーカ候補点、及び、走行車線における車両の右側のレーンマーカのエッジ点である右側レーンマーカ候補点を特定する候補点特定部と、左側レーンマーカ候補点及び右側レーンマーカ候補点のそれぞれに予め設定された離間条件を満たす二つのエッジ点が含まれる場合に、予め決められたカルマンフィルタ処理によって、左側レーンマーカ候補点及び右側レーンマーカ候補点に基づいて、走行車線内における車両の横位置、走行車線に対する車両のピッチ角、走行車線に対する車両のヨー角、走行車線の車線幅、車両前方における走行車線の曲率、及び曲率の変化率である曲率変化率を演算するカルマンフィルタ処理部と、を備え、カルマンフィルタ処理部は、左側レーンマーカ候補点及び右側レーンマーカ候補点の一方に離間条件を満たす二つのエッジ点が含まれ、他方は一つもエッジ点を含まない場合に、車両のピッチ角をゼロとすると共に走行車線の車線幅を所定値としたカルマンフィルタ処理によって、左側レーンマーカ候補点及び右側レーンマーカ候補点の一方に基づいて、横位置、ヨー角、曲率、及び曲率変化率を演算する。

本発明の一態様に係る情報演算装置では、左側レーンマーカ候補点及び右側レーンマーカ候補点のそれぞれに予め設定された離間条件を満たす二つのエッジ点が含まれない場合であっても、左側レーンマーカ候補点及び右側レーンマーカ候補点の一方に離間条件を満たす二つのエッジ点が含まれ、他方は一つもエッジ点を含まないときには、車両のピッチ角をゼロとすると共に走行車線の車線幅を所定値とする拘束条件を印加して、カルマンフィルタ処理を実行する。従って、この情報演算装置によれば、左側レーンマーカ候補点及び右側レーンマーカ候補点のうち一方が一つのエッジ点も特定できない場合であっても、走行車線に関する情報を適切に演算することができる。

本発明の他の態様に係る情報演算装置は、車両に搭載された単眼カメラによって撮像された車両の前方の撮像画像に基づいて、車両の走行する走行車線に関する情報を演算する情報演算装置であって、撮像画像内のエッジ点を検出するエッジ点検出部と、撮像画像内のエッジ点に基づいて、走行車線における車両の左側のレーンマーカのエッジ点である左側レーンマーカ候補点、及び、走行車線における車両の右側のレーンマーカのエッジ点である右側レーンマーカ候補点を特定する候補点特定部と、左側レーンマーカ候補点及び右側レーンマーカ候補点のそれぞれに予め設定された離間条件を満たす二つのエッジ点が含まれる場合に、予め決められたカルマンフィルタ処理によって、左側レーンマーカ候補点及び右側レーンマーカ候補点に基づいて、走行車線内における車両の横位置、走行車線に対する車両のピッチ角、走行車線に対する車両のヨー角、走行車線の車線幅、車両前方における走行車線の曲率、及び曲率の変化率である曲率変化率を演算するカルマンフィルタ処理部と、を備え、カルマンフィルタ処理部は、左側レーンマーカ候補点及び右側レーンマーカ候補点の一方に離間条件を満たす二つのエッジ点が含まれ、他方には少なくとも一つのエッジ点が含まれ、他方の全てのエッジ点が離間条件を満たさない場合に、車両のピッチ角をゼロとしたカルマンフィルタ処理によって、左側レーンマーカ候補点及び右側レーンマーカ候補点に基づいて、横位置、ヨー角、車線幅、曲率、及び曲率変化率を演算する。

本発明の他の態様に係る情報演算装置では、左側レーンマーカ候補点及び右側レーンマーカ候補点のそれぞれに予め設定された離間条件を満たす二つのエッジ点が含まれない場合であっても、左側レーンマーカ候補点及び右側レーンマーカ候補点の一方に離間条件を満たす二つのエッジ点が含まれ、他方には少なくとも一つのエッジ点が含まれ且つ他方の全てのエッジ点が離間条件を満たさないときには、車両のピッチ角をゼロとする拘束条件を印加して、カルマンフィルタ処理を実行する。従って、この情報演算装置によれば、少なくとも一つのエッジ点が特定された左側レーンマーカ候補点及び右側レーンマーカ候補点のうち一方に離間条件を満たす二つのエッジ点が含まれない場合であっても、走行車線に関する情報を適切に演算することができる。

以上説明したように、本発明の一態様又は他の態様に係る情報演算装置によれば、走行車線の左右のレーンマーカ候補点の一方が十分に離間して存在する複数のエッジ点を含まない場合であっても、走行車線に関する情報を適切に演算することができる。

本実施形態に係る情報演算装置を示すブロック図である。走行車線に関する情報を説明するための平面図である。走行車線に関する情報を説明するための側面図である。車両の前方の撮像画像を示す図である。左側レーンマーカ候補点が少なくとも一つのエッジ点を含みつつ、離間条件を満たす二つのエッジ点を含まない場合を示す図である。左側レーンマーカ候補点が一つのエッジ点も含まない場合を示す図である。本実施形態に係る情報演算装置の情報演算処理を示すフローチャートである。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

図１は、本実施形態に係る情報演算装置を示すブロック図、図２は、走行車線に関する情報を説明するための平面図、図３は、走行車線に関する情報を説明するための側面図である。図４は、車両Ｖの前方の撮像画像Ｐを示す図である。図１〜図４に示すように、情報演算装置１は、乗用車等の車両Ｖに搭載され、車両Ｖの前方の撮像画像Ｐに基づいて、車両Ｖの走行する走行車線に関する情報を演算する装置である。撮像画像Ｐとは、車両Ｖに搭載された単眼カメラ３によって撮像された画像である。情報演算装置１は、上記の演算において、予め決められたカルマンフィルタ処理を実行する。カルマンフィルタ処理について詳しくは後述する。

図２には、車両Ｖ、左側レーンマーカＬ及び右側レーンマーカＲが示されている。左側レーンマーカＬは、車両Ｖの走行する走行車線における車両Ｖの左側のレーンマーカである。右側レーンマーカＲは、車両Ｖの走行する走行車線における車両Ｖの右側のレーンマーカである。撮像画像Ｐには、左側レーンマーカＬ及び右側レーンマーカＲのそれぞれが撮像されている。図２において、車両Ｖの車幅方向をｘ軸方向、車両Ｖの進行方向をｚ軸方向とする。また、図３において、車両Ｖの高さ方向をｙ軸方向とする。

図２及び図３に示すように、走行車線に関する情報には、車両Ｖに関するパラメータと、車線に関するパラメータと、が含まれる。車両Ｖに関するパラメータとしては、走行車線内における車両Ｖの横位置ｅ、走行車線に対する車両Ｖのピッチ角φ、走行車線に対する車両Ｖのヨー角θが含まれる。走行車線内における車両Ｖの横位置ｅとは、左側レーンマーカＬに対する車両Ｖの横位置である。走行車線に対する車両Ｖのピッチ角φとは、図３に示されるｙｚ平面（ｙ軸とｚ軸のなす平面）において、車両Ｖの走行する走行車線の路面に平行な線と車両Ｖに設けられた単眼カメラ３の光軸との成す角である。走行車線に対する車両Ｖのヨー角θとは、図２に示されるｘｚ平面（ｘ軸とｚ軸のなす平面）において、車両Ｖの走行する走行車線の延在方向と車両Ｖに設けられた単眼カメラ３の光軸との成す角である。道路に関するパラメータとしては、走行車線の車線幅Ｗ、車両Ｖの前方における走行車線の曲率ｃ_０、曲率ｃ_０の変化率である曲率変化率ｃ_１が含まれる。情報演算装置１によって演算された走行車線に関する情報は、一例として、車両Ｖに搭載された周知の運転支援システムにおける運転支援制御に用いられる。

［情報演算装置の構成］
以下、本実施形態に係る情報演算装置１の構成について図面を参照して説明する。図１に示すように、情報演算装置１は、装置を統括的に制御するＥＣＵ［Electronic Control Unit］２を備えている。ＥＣＵ２は、ＣＰＵ[CentralProcessing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなる電子制御ユニットである。ＥＣＵ２は、単眼カメラ３と接続されている。

単眼カメラ３は、車両Ｖに搭載され、車両Ｖの前方を撮像する撮像機器である。単眼カメラ３は、車両Ｖのフロントガラスの裏側に設けられている。単眼カメラ３は、車両Ｖの前方の撮像画像Ｐに関する撮像情報をＥＣＵ２に送信する。

次に、ＥＣＵ２の機能的構成について説明する。図１に示すように、ＥＣＵ２は、画像取得部１０、エッジ点検出部１１、候補点特定部１２、離間条件判定部１３、及びカルマンフィルタ処理部１４を有している。

画像取得部１０は、単眼カメラ３の撮像情報から、単眼カメラ３によって撮像された撮像画像Ｐを取得する。図４に示す撮像画像Ｐには、車両Ｖの走行車線を形成するレーンマーカ（車線境界線、車両通行帯境界線等）が示されている。具体的に、撮像画像Ｐには、レーンマーカとして、走行車線における車両Ｖの左側のレーンマーカである左側レーンマーカＬ、及び、走行車線における車両Ｖの右側のレーンマーカである右側レーンマーカＲが示されている。左側レーンマーカＬ及び右側レーンマーカＲは、走行車線を構成している。

図４において、撮像画像Ｐの左右方向（横方向）をＰｘ軸方向、撮像画像Ｐの上下方向（縦方向）をＰｙ軸方向とする。Ｐｘ軸及びＰｙ軸からなるＰｘＰｙ座標系におけるＰｘＰｙ座標の値は、撮像画像Ｐを構成する画素単位で設定されている。ＰｘＰｙ座標系は、撮像画像Ｐの左下の角の画素を原点（Ｐｘ，Ｐｙ：０，０）として設定されている。後述する図５及び図６においても同様である。

エッジ点検出部１１は、画像取得部１０の取得した撮像画像Ｐ内のエッジ点を検出する。エッジ点とは、撮像画像Ｐの走査方向において撮像画像Ｐの輝度値が急増する上りエッジ点、及び、急減する下りエッジ点である。

具体的に、エッジ点検出部１１は、画像取得部１０の取得した撮像画像Ｐに基づいて、周知の手法により輝度値に関する輝度情報を取得する。輝度情報とは、撮像画像Ｐの画素毎の輝度値の情報である。エッジ点検出部１１は、撮像画像Ｐにおける輝度情報に基づいてエッジ点検出処理を行うことにより、エッジ点を検出する。エッジ点検出部１１は、撮像画像Ｐを横方向に走査してエッジ点を検出する。エッジ点検出部１１は、横方向に隣り合う画素との輝度値の差が所定の閾値以上である画素をエッジ点として検出する。

候補点特定部１２は、エッジ点検出部１１によって検出された撮像画像Ｐ内のエッジ点に基づいて、左側レーンマーカＬのエッジ点である左側レーンマーカ候補点Ｌｃ、及び、右側レーンマーカＲのエッジ点である右側レーンマーカ候補点Ｒｃを特定する。左側レーンマーカ候補点Ｌｃは、左側レーンマーカＬに対応するエッジ点のうち、左側レーンマーカＬの右端（走行車線側の端）に位置するエッジ点である。また、右側レーンマーカ候補点Ｒｃは、右側レーンマーカＲに対応するエッジ点のうち、右側レーンマーカＲの左端（走行車線側の端）に位置するエッジ点である。

候補点特定部１２は、撮像画像Ｐ内のエッジ点に対するパターン認識によって左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃを特定する。候補点特定部１２は、ＥＣＵ２に予め記憶された左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃの画像パターンを利用してパターン認識を行う。なお、候補点特定部１２は、パターン認識に限らず、他の周知の手法によって左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃを特定してもよい。

離間条件判定部１３は、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃのそれぞれについて、予め設定された離間条件を満たす二つのエッジ点を含むか否かを判定する。「予め設定された離間条件を満たす二つのエッジ点」とは、撮像画像Ｐの縦方向（Ｐｙ軸方向）で十分に離間している二つのエッジ点を意味する。「予め設定された離間条件」は、撮像画像Ｐ上の二つのエッジ点にそれぞれ対応する実際の走行車線における二つの地点が、走行車線の延在方向（ｚ軸方向、図２参照）において所定距離（例えば２０ｍ）以上離れている場合に満たされる。

離間条件判定部１３は、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃに含まれるエッジ点について、撮像画像Ｐ上のエッジ点の座標（ＰｘＰｙ座標系の座標）から、実際の走行車線に対する地点（エッジ点に対応する地点）の座標（ｘｚ座標系の座標）を演算する。ＥＣＵ２は、撮像画像Ｐに対するＰｘＰｙ座標系の座標と実際の走行車線に対するｘｚ座標系の座標との対応関係を座標変換データとして予め記憶している。離間条件判定部１３は、ＥＣＵ２に予め記憶された座標変換データを利用して、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃに含まれる撮像画像Ｐ上の各エッジ点の座標から、各エッジ点に対応する実際の走行車線の各地点の座標を演算する。

離間条件判定部１３は、左側レーンマーカ候補点Ｌｃに含まれる各エッジ点に対応する実際の走行車線の各地点の座標に基づいて、左側レーンマーカ候補点Ｌｃが、走行車線の延在方向における距離が所定距離以上の二つの地点に対応する二つのエッジ点を含むか否かを判定する。離間条件判定部１３は、左側レーンマーカ候補点Ｌｃが走行車線の延在方向における距離が所定距離以上の二つの地点に対応する二つのエッジ点を含むと判定した場合、左側レーンマーカ候補点Ｌｃが予め設定された離間条件を満たす二つのエッジ点を含むと判定する。離間条件判定部１３は、右側レーンマーカ候補点Ｒｃについても同様に判定する。

なお、離間条件判定部１３は、必ずしも実際の走行車線の各地点の座標を演算する必要はない。例えば、ＥＣＵ２は、撮像画像Ｐ上の二つのエッジ点の座標の組み合わせと、この組み合わせに係る二つのエッジ点が離間条件を満たすか否かの関係を離間条件の判定用データとして予め記憶していてもよい。この場合、離間条件判定部１３は、ＥＣＵ２に予め記憶された判定用データを利用して、左側レーンマーカ候補点Ｌｃに含まれるエッジ点の座標から、左側レーンマーカ候補点Ｌｃが離間条件を満たす二つのエッジ点を含むか否かを直接判定することができる。なお、離間条件判定部１３は、他の周知の手法によって左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃがそれぞれ離間条件を満たす二つのエッジ点を含むか否かを判定してもよい。

図４は、走行車線の左右のレーンマーカ候補点が十分に存在する場合を示している。図４に示す状況において、離間条件判定部１３は、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃがそれぞれ離間条件を満たす二つのエッジ点を含むと判定する。

図５は、左側レーンマーカ候補点Ｌｃが少なくとも一つのエッジ点を含みつつ、離間条件を満たす二つのエッジ点を含まない場合を示す図である。図５において右側レーンマーカ候補点Ｒｃは離間条件を満たす二つのエッジ点を含んでいる。図５に示すように、レーンマーカの掠れ等によって、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃのうち一方は十分に特定できているが、他方を十分に特定できていない場合がある。なお、車両Ｖの前方を走行する先行車によって左右何れかのレーンマーカが隠れる場合にも同様の状況が発生する。

図５に示す状況において、離間条件判定部１３は、右側レーンマーカ候補点Ｒｃは離間条件を満たす二つのエッジ点を含むと判定し、左側レーンマーカ候補点Ｌｃは離間条件を満たす二つのエッジ点を含まないと判定する。

また、離間条件判定部１３は、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃの一方が離間条件を満たす二つのエッジ点を含み、他方が離間条件を満たす二つのエッジ点を含まないと判定した場合、他方のレーンマーカ候補点が一つのエッジ点も含まないか少なくとも一つのエッジ点を含むかを判定する。図６は、左側レーンマーカ候補点が一つのエッジ点も含まない場合を示す図である。図６において右側レーンマーカ候補点Ｒｃは離間条件を満たす二つのエッジ点を含んでいる。図６に示す状況において、離間条件判定部１３は、左側レーンマーカ候補点Ｌｃは一つのエッジ点も含まないと判定する。

一方、図５に示す状況において、離間条件判定部１３は、左側レーンマーカ候補点Ｌｃは少なくとも一つのエッジ点を含むと判定する。この場合、左側レーンマーカ候補点Ｌｃは、少なくとも一つのエッジ点が含まれ且つ左側レーンマーカ候補点Ｌｃの全てのエッジ点が離間条件を満たさないレーンマーカ候補点である。すなわち、離間条件を満たす二つのエッジ点を含まず、少なくとも一つのエッジ点を含むレーンマーカ候補点とは、少なくとも一つのエッジ点が含まれ且つ他方の全てのエッジ点が離間条件を満たさないレーンマーカ候補点と同じである。

カルマンフィルタ処理部１４は、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃがそれぞれ離間条件を満たす二つのエッジ点を含むと判定された場合に、予め決められたカルマンフィルタ処理を実行する。カルマンフィルタ処理部１４は、カルマンフィルタ処理によって、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃに基づいて、走行車線に関する情報を演算する。カルマンフィルタ処理部１４は、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃに含まれる撮像画像Ｐ上のエッジ点の座標を入力値（観測変数）として、走行車線に関する情報（出力値）を演算する。カルマンフィルタ処理部１４は、走行車線に関する情報として、上述した横位置ｅ、ピッチ角φ、ヨー角θ、車線幅Ｗ、曲率ｃ_０及び曲率変化率ｃ_１を出力する。

予め決められたカルマンフィルタ処理としては、Akihiro WATANABE,Takashi NAITO, Yoshiki NINOMIYA “Lane detection with Roadside structure usingon-board monocular camera”, Intelligent Vehicles Symposium, 2009 IEEE, June2009, p.191 -196 等の文献において開示された方法がある。

カルマンフィルタ処理部１４は、上記文献に記載されている下記の式（１）〜式（３）を用いたカルマンフィルタ処理を実行することができる。式（１）におけるｔは時刻であり、ｘ（ｔ）は時刻ｔにおける状態変数である。状態変数ｘは、式（１）に示すように、上述した走行車線に関する情報に相当する。ここで、時刻ｔにおける各パラメータについては、符号に下付のｔを加えて示す。時刻ｔにおける走行車線に関する情報は、横位置ｅ_ｔ、ピッチ角φ_ｔ、ヨー角θ_ｔ、車線幅Ｗ_ｔ、曲率ｃ_０，ｔ、及び曲率変化率ｃ_１，ｔとして示す。式（１）は、ｘ（ｔ）と時刻ｔにおける走行車線に関する情報とを関連付けている。式（２）、式（３）は、カルマンフィルタ処理の状態遷移モデル式である。式（２）におけるｗ_ｔは、誤差を表す所定値である。式（２）のＡ_ｔは、式（３）によって定義される。式（３）におけるｄｚ_ｔは、時刻ｔにおけるｘｚ座標系のｚ軸方向（車両Ｖの進行方向）の座標の時間変化である。ｄｚ_ｔは、車両Ｖの車速から求めることができる。

次に、カルマンフィルタの観測変数ｚに付いて説明する。観測変数ｚは、撮像画像Ｐ上における左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃの各エッジ点の座標(ＰｘＰｙ座標系の座標)に相当する。観測変数ｚと状態変数ｘは対応する関係にある。すなわち、状態変数ｘが分かれば、撮像画像Ｐ上におけるある縦座標（Ｐｙ座標）における左側レーンマーカ候補点Ｌｃの横座標（Ｐｘ座標）は一意に決まる。このため、観測変数ｚは、下記の式（４）で示すことができる。このカルマンフィルタ処理は、式（４）となるような関数ｈに対してＨ＝ｈ（ｘ）のヤコビアンとなっている。

カルマンフィルタ処理部１４は、上記式（１）〜式（４）を用いたカルマンフィルタ処理によって、観測変数ｚから状態変数ｘを演算する。すなわち、カルマンフィルタ処理部１４は、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃの各エッジ点の座標（ＰｘＰｙ座標系の座標）から、走行車線に関する情報（横位置ｅ_ｔ、ピッチ角φ_ｔ、ヨー角θ_ｔ、車線幅Ｗ_ｔ、曲率ｃ_０，ｔ、及び曲率変化率ｃ_１，ｔ）を演算する。なお、本発明に係るカルマンフィルタ処理は、上述したカルマンフィルタ処理に限定される必要はない。

次に、図５に示す状況におけるカルマンフィルタ処理について説明する。図５に示すように、カルマンフィルタ処理部１４は、右側レーンマーカ候補点Ｒｃは離間条件を満たす二つのエッジ点を含むと判定され、左側レーンマーカ候補点Ｌｃは離間条件を満たす二つのエッジ点を含まないと判定された場合、第１拘束条件を設定する。ここで、第１拘束条件は、ピッチ角φ_ｔをゼロとする拘束条件である。

この場合、カルマンフィルタ処理部１４は、第１拘束条件を印加して、上述したカルマンフィルタ処理を実行する。カルマンフィルタ処理部１４は、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃに含まれる撮像画像Ｐ上のエッジ点の座標（ＰｘＰｙ座標系の座標）とゼロであるピッチ角φ_ｔを入力値として、カルマンフィルタ処理を実行することにより、走行車線に関する情報を演算する。

続いて、図６に示す状況におけるカルマンフィルタ処理について説明する。図６に示すように、カルマンフィルタ処理部１４は、右側レーンマーカ候補点Ｒｃは離間条件を満たす二つのエッジ点を含むと判定され、左側レーンマーカ候補点Ｌｃは一つのエッジ点も含まないと判定された場合、第２拘束条件を設定する。ここで、第２拘束条件は、ピッチ角φ_ｔをゼロとし、且つ、車線幅Ｗ_ｔを所定値とする拘束条件である。この所定値は、固定値とすることができる。また、既にカルマンフィルタ処理によって車線幅Ｗが演算されている場合には、直前に演算された車線幅Ｗの値（前回値）を所定値としてもよい。

この場合、カルマンフィルタ処理部１４は、第２拘束条件を印加して、上述したカルマンフィルタ処理を実行する。カルマンフィルタ処理部１４は、右側レーンマーカ候補点Ｒｃに含まれる撮像画像Ｐ上のエッジ点の座標（ＰｘＰｙ座標系の座標）とゼロであるピッチ角φ_ｔと所定値である車線幅Ｗ_ｔとを入力値として、カルマンフィルタ処理を実行することにより、走行車線に関する情報を演算する。

［情報演算装置による情報演算処理］
次に、情報演算装置１による情報演算処理について説明する。図７は、本実施形態に係る情報演算装置の情報演算処理を示すフローチャートである。図７に示すフローチャートの処理は、一例として車両Ｖの運転支援システムを起動した場合に、ＥＣＵ２によって実行される。ＥＣＵ２は、図７に示すフローチャートの処理が終了した場合（エンドに至った場合）、再びスタートから処理を繰り返す。ＥＣＵ２は、車両Ｖの運転支援システムが終了した場合、途中であっても情報演算処理を終了する。

図７に示すように、ステップＳ１１において、ＥＣＵ２は、画像取得部１０により単眼カメラ３の撮像した車両Ｖの前方の撮像画像Ｐを取得する。画像取得部１０は、単眼カメラ３の撮像情報から、単眼カメラ３によって撮像された撮像画像Ｐを取得する。ＥＣＵ２は、画像取得部１０が撮像画像Ｐを取得した場合、ステップＳ１２に移行する。

ステップＳ１２において、ＥＣＵ２は、エッジ点検出部１１により撮像画像Ｐ内のエッジ点を検出する。具体的に、エッジ点検出部１１は、画像取得部１０の取得した撮像画像Ｐに含まれる輝度情報に基づいて周知のエッジ点検出処理を行うことによりエッジ点を検出する。ＥＣＵ２は、エッジ点を検出した場合、ステップＳ１３に移行する。

ステップＳ１３において、ＥＣＵ２は、候補点特定部１２により、撮像画像Ｐ内のエッジ点に基づいて左側レーンマーカ候補点Ｌｃ、及び、右側レーンマーカ候補点Ｒｃを特定する。候補点特定部１２は、撮像画像Ｐ内のエッジ点に対して、パターン認識によって左側レーンマーカＬ及び右側レーンマーカＲを構成するエッジ点を抽出して、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃを特定する。ＥＣＵ２は、レーンマーカ候補点を特定した場合、ステップＳ１４に移行する。

ステップＳ１４において、ＥＣＵ２は、離間条件判定部１３により、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃのそれぞれについて、予め設定された離間条件を満たす二つのエッジ点を含むか否かを判定する。離間条件判定部１３は、ＥＣＵ２に予め記憶された座標変換データを利用して、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃに含まれる撮像画像Ｐ上の各エッジ点の座標から、各エッジ点に対応する実際の走行車線の各地点の座標を演算する。離間条件判定部１３は、左側レーンマーカ候補点Ｌｃに含まれる各エッジ点に対応する実際の走行車線の各地点の座標に基づいて、上記判定を行う。

ＥＣＵ２は、離間条件判定部１３により、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃが離間条件を満たす二つのエッジ点を含むと判定された場合（Ｓ１４：ＹＥＳ）には、ステップＳ１９に移行する。

一方、ＥＣＵ２は、離間条件判定部１３により、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃが離間条件を満たす二つのエッジ点を含むと判定されなかった場合（Ｓ１４：ＮＯ）には、ステップＳ１５に移行する。

ステップＳ１５において、ＥＣＵ２は、離間条件判定部１３により、左右何れか一方のレーンマーカ候補点（左側レーンマーカ候補点Ｌｃ又は右側レーンマーカ候補点Ｒｃ）が離間条件を満たす二つのエッジ点を含むか否かを判定する。ＥＣＵ２は、左右何れか一方のレーンマーカ候補点が離間条件を満たす二つのエッジ点を含むと判定されなかった場合（Ｓ１５：ＮＯ）には、図７に示す情報演算処理を終了する（フローチャートのエンドに至る）。

一方、ステップＳ１５において、ＥＣＵ２は、左右何れか一方のレーンマーカ候補点が離間条件を満たす二つのエッジ点を含むと判定された場合（Ｓ１５：ＹＥＳ）には、ステップＳ１６に移行する。

ステップＳ１６において、ＥＣＵ２は、離間条件判定部１３により、他方のレーンマーカ候補点が一つのエッジ点も含まないか少なくとも一つのエッジ点を含むかを判定する。ＥＣＵ２は、他方のレーンマーカ候補点が一つのエッジ点も含まないと判定された場合（Ｓ１６：ＹＥＳ）には、ステップＳ１７に移行する。一方、ＥＣＵ２は、他方のレーンマーカ候補点が少なくとも一つのエッジ点を含むと判定された場合（Ｓ１６：ＮＯ）には、ステップＳ１８に移行する。

ステップＳ１７において、ＥＣＵ２は、カルマンフィルタ処理部１４におけるカルマンフィルタ処理について、第２拘束条件（ピッチ角φをゼロ、車線幅Ｗを所定値）を設定する。第２拘束条件は、一度、カルマンフィルタ処理が実行されると、設定が解除される。ＥＣＵ２は、第２拘束条件を設定した場合、ステップＳ１９に移行する。

ステップＳ１８において、ＥＣＵ２は、カルマンフィルタ処理部１４におけるカルマンフィルタ処理について、第１拘束条件（ピッチ角φをゼロ）を設定する。第１拘束条件は、一度、カルマンフィルタ処理が実行されると、設定が解除される。ＥＣＵ２は、第１拘束条件を設定した場合、ステップＳ１９に移行する。

ステップＳ１９において、ＥＣＵ２は、カルマンフィルタ処理部１４により、予め決められたカルマンフィルタ処理を実行する。カルマンフィルタ処理部１４は、第１拘束条件又は第２拘束条件が設定されていない場合、カルマンフィルタ処理により、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃに含まれる撮像画像Ｐ上のエッジ点の座標に基づいて、走行車線に関する情報（横位置ｅ、ピッチ角φ、ヨー角θ、車線幅Ｗ、曲率ｃ_０、及び曲率変化率ｃ_１）を演算する。カルマンフィルタ処理部１４は、上記式（１）〜（４）を用いたカルマンフィルタ処理によって、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃに含まれる撮像画像Ｐ上のエッジ点の座標（ＰｘＰｙ座標系の座標）から、走行車線に関する情報を演算する。

一方、カルマンフィルタ処理部１４は、第１拘束条件が設定されている場合、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃに含まれる撮像画像Ｐ上のエッジ点の座標（ＰｘＰｙ座標系の座標）と、ゼロであるピッチ角φとを入力値として、カルマンフィルタ処理を実行することにより、走行車線に関する情報を演算する。

また、カルマンフィルタ処理部１４は、第２拘束条件が設定されている場合、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃに含まれる撮像画像Ｐ上のエッジ点の座標と、ゼロであるピッチ角φと、所定値である車線幅Ｗとを入力値として、カルマンフィルタ処理を実行することにより、走行車線に関する情報を演算する。ＥＣＵ２は、カルマンフィルタ処理を実行した場合、図７に示す情報演算処理を終了する。

［本実施形態に係る情報演算装置の作用効果］
以上説明した本実施形態に係る情報演算装置１によれば、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃのそれぞれに予め設定された離間条件を満たす二つのエッジ点が含まれない場合であっても、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃの一方に離間条件を満たす二つのエッジ点が含まれ、他方は一つもエッジ点を含まないときには、車両Ｖのピッチ角φをゼロとすると共に走行車線の車線幅Ｗを所定値とする拘束条件を印加して、カルマンフィルタ処理を実行する。従って、この情報演算装置１によれば、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃのうち一方が一つのエッジ点も特定できない場合であっても、走行車線に関する情報を適切に演算することができる。

また、情報演算装置１によれば、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃのそれぞれに予め設定された離間条件を満たす二つのエッジ点が含まれない場合であっても、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃの一方に離間条件を満たす二つのエッジ点が含まれ、他方には少なくとも一つのエッジ点が含まれ且つ他方の全てのエッジ点が離間条件を満たさないときには、車両Ｖのピッチ角φをゼロとする拘束条件を印加して、カルマンフィルタ処理を実行する。従って、この情報演算装置１によれば、少なくとも一つのエッジ点が特定された左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃのうち一方に離間条件を満たす二つのエッジ点が含まれない場合であっても、走行車線に関する情報を適切に演算することができる。

以上、本発明の実施形態について説明したが、本発明は、上述した実施形態に限られない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

例えば、情報演算装置１において、カルマンフィルタ処理部１４は、第１拘束条件を印加したカルマンフィルタ処理と第２拘束条件を印加したカルマンフィルタ処理の両方を実行可能である必要はなく、一方のみ可能な構成であってもよい。すなわち、カルマンフィルタ処理部１４は、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃの一方に離間条件を満たす二つのエッジ点が含まれ、他方には少なくとも一つのエッジ点が含まれ且つ他方の全てのエッジ点が離間条件を満たさない場合にカルマンフィルタ処理を実行しない態様であってもよい。この場合、カルマンフィルタ処理部１４は、第２拘束条件を設定する必要はない。また、この場合には、図７に示すフローチャートにおいて、Ｓ１５及びＳ１８の処理が省略されると共に、Ｓ１６でＮＯの場合にはＳ１９に至ることなく、情報演算処理を終了する。

同様に、カルマンフィルタ処理部１４は、左側レーンマーカ候補点Ｌｃ及び右側レーンマーカ候補点Ｒｃの一方に離間条件を満たす二つのエッジ点が含まれ、他方が一つもエッジ点を含まない場合にカルマンフィルタ処理を実行しない態様であってもよい。この場合、カルマンフィルタ処理部１４は、第１拘束条件を設定する必要はない。更に、この場合には、図７に示すフローチャートにおいて、Ｓ１７の処理が省略され、Ｓ１６でＹＥＳの場合にはＳ１９に至ることなく、情報演算処理を終了する。

１…情報演算装置、３…単眼カメラ、１１…エッジ点検出部、１２…候補点特定部、１３…離間条件判定部、１４…カルマンフィルタ処理部、Ｌｃ…左側レーンマーカ候補点、Ｐ…撮像画像、Ｒｃ…右側レーンマーカ候補点、Ｖ…車両。

Claims

車両に搭載された単眼カメラによって撮像された前記車両の前方の撮像画像に基づいて、前記車両の走行する走行車線に関する情報を演算する情報演算装置であって、
前記撮像画像内のエッジ点を検出するエッジ点検出部と、
前記撮像画像内の前記エッジ点に基づいて、前記走行車線における前記車両の左側のレーンマーカの前記エッジ点である左側レーンマーカ候補点、及び、前記走行車線における前記車両の右側のレーンマーカの前記エッジ点である右側レーンマーカ候補点を特定する候補点特定部と、
前記左側レーンマーカ候補点及び前記右側レーンマーカ候補点のそれぞれに予め設定された離間条件を満たす二つの前記エッジ点が含まれる場合に、予め決められたカルマンフィルタ処理によって、前記左側レーンマーカ候補点及び前記右側レーンマーカ候補点に基づいて、前記走行車線内における前記車両の横位置、前記走行車線に対する前記車両のピッチ角、前記走行車線に対する前記車両のヨー角、前記走行車線の車線幅、前記車両前方における前記走行車線の曲率、及び前記曲率の変化率である曲率変化率を演算するカルマンフィルタ処理部と、
を備え、
前記カルマンフィルタ処理部は、
前記左側レーンマーカ候補点及び前記右側レーンマーカ候補点の一方に前記離間条件を満たす二つの前記エッジ点が含まれ、他方は一つも前記エッジ点を含まない場合に、前記車両のピッチ角をゼロとすると共に前記走行車線の車線幅を所定値とした前記カルマンフィルタ処理によって、前記左側レーンマーカ候補点及び前記右側レーンマーカ候補点の一方に基づいて、前記横位置、前記ヨー角、前記曲率、及び前記曲率変化率を演算する、情報演算装置。
車両に搭載された単眼カメラによって撮像された前記車両の前方の撮像画像に基づいて、前記車両の走行する走行車線に関する情報を演算する情報演算装置であって、
前記撮像画像内のエッジ点を検出するエッジ点検出部と、
前記撮像画像内の前記エッジ点に基づいて、前記走行車線における前記車両の左側のレーンマーカの前記エッジ点である左側レーンマーカ候補点、及び、前記走行車線における前記車両の右側のレーンマーカの前記エッジ点である右側レーンマーカ候補点を特定する候補点特定部と、
前記左側レーンマーカ候補点及び前記右側レーンマーカ候補点のそれぞれに予め設定された離間条件を満たす二つの前記エッジ点が含まれる場合に、予め決められたカルマンフィルタ処理によって、前記左側レーンマーカ候補点及び前記右側レーンマーカ候補点に基づいて、前記走行車線内における前記車両の横位置、前記走行車線に対する前記車両のピッチ角、前記走行車線に対する前記車両のヨー角、前記走行車線の車線幅、前記車両前方における前記走行車線の曲率、及び前記曲率の変化率である曲率変化率を演算するカルマンフィルタ処理部と、
を備え、
前記カルマンフィルタ処理部は、
前記左側レーンマーカ候補点及び前記右側レーンマーカ候補点の一方に前記離間条件を満たす二つ前記エッジ点が含まれ、他方には少なくとも一つの前記エッジ点が含まれ、他方の全ての前記エッジ点が前記離間条件を満たさない場合に、前記車両のピッチ角をゼロとした前記カルマンフィルタ処理によって、前記左側レーンマーカ候補点及び前記右側レーンマーカ候補点に基づいて、前記横位置、前記ヨー角、前記車線幅、前記曲率、及び前記曲率変化率を演算する、情報演算装置。