JP2017207973A - 検出装置および検出方法 - Google Patents

Abstract

【課題】信号処理の負荷の増大を防ぎ、短時間で横断歩道の位置を検出できる検出装置および検出方法を提供する。
【解決手段】検出装置１０は、方位−距離センサ１００の出力データに基づいて、車両の進行方向における横断歩道の候補位置を推定し、候補位置を用いて、横断歩道の長さと、横断歩道と車道との交差角度とを推定する位置推定部１０２と、推定された横断歩道の長さおよび推定された交差角度に基づき、横断歩道の白線の間隔を示す、互いに直交する２つの基底関数の周期数および幅を補正する補正部１０５と、候補位置を含む画像データと補正した２つの基底関数とを用いて、横断歩道の存在の有無を検出する横断歩道検出部１０６と、を備える。
【選択図】図２

Description

本開示は、車両に搭載され、車両が走行する路面上の横断歩道を検出する検出装置および検出方法に関する。

近年、カメラ、ソナー、レーダ（例えば、ミリ波レーダ）等を用いて車両の周辺の物体（例えば、車両又は歩行者）を検出することにより、物体への衝突を回避するために車両を減速させる自動ブレーキシステムや運転者に物体への衝突の可能性を通知する警報システムが普及している。これらのシステムの普及は、単路を走行する車両の事故防止に貢献している。

これらのシステムでは、誤動作を低減し、性能向上を図るために、システムが動作する条件を様々なセンサを用いて限定している。

例えば、様々なセンサを用いて路面上の横断歩道を認識し、認識した横断歩道の周辺の歩行者や自転車を検出するように動作条件を限定、または、優先することによって、システムの性能向上を図ることができる。そのため、横断歩道を精度良く検出することにより、システムの性能向上が期待できる。

特許文献１には、車両に搭載された単眼カメラを用いて、横断歩道の縞（周期的に配置された白線）に対応する輝度の強弱の変化を水平方向と垂直方向とで認識することにより、横断歩道を検出する装置が開示されている。

特開２０１３−１８６６６３号公報

しかしながら、特許文献１に記載の技術は、交差点に進入した車両から右左折方向に存在する横断歩道を車両に搭載されたカメラによって撮影する場合、右左折方向に存在する横断歩道の縞の間隔は狭く映ってしまうため、高解像度カメラを用いて横断歩道の縞模様に対応する輝度の強弱の変化を認識しなければならず、高負荷な信号処理を行なわなければならない。

本開示の非限定的な実施例は、信号処理の負荷の増大を防ぎ、短時間で横断歩道の位置を検出できる検出装置および検出方法を提供する。

本開示の一態様は、方位−距離センサの出力データに基づいて、車両の進行方向における横断歩道の候補位置を推定し、前記候補位置を用いて、前記横断歩道の長さと、前記横断歩道と車道との交差角度とを推定する位置推定部と、前記推定された横断歩道の長さおよび前記推定された交差角度に基づき、前記横断歩道の白線の間隔を示す、互いに直交する２つの基底関数の周期数および幅を補正する補正部と、前記候補位置を含む画像データと前記補正した２つの基底関数とを用いて、前記横断歩道の存在の有無を検出する横断歩道検出部と、を備える検出装置である。

本開示の一態様は、方位−距離センサの出力データに基づいて、車両の進行方向における横断歩道の候補位置を推定し、前記候補位置を用いて、前記横断歩道の長さと、前記横断歩道と車道との交差角度とを推定し、前記推定された横断歩道の長さおよび前記推定された交差角度に基づき、前記横断歩道の白線の間隔を示す、互いに直交する２つの基底関数の周期数および幅を補正し、前記候補位置を含む画像データと前記補正した２つの基底関数とを用いて、前記横断歩道の存在の有無を検出する、検出方法である。

なお、これらの包括的または具体的な態様は、システム、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様によれば、信号処理の負荷の増大を防ぎ、短時間で横断歩道の位置を検出できる。

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

交差点における車両の前方の視界の一例を示す図 本開示の実施の形態に係る検出装置の構成の一例を示すブロック図 本開示の実施の形態における横断歩道の候補位置の推定方法の一例を示す図 近似線の抽出方法の一例を示す図 交差点における画像データの一例を示す図 本開示の実施の形態における空間周波数解析の一例を示す図 本開示の実施の形態における空間周波数解析の一例を示す図 本開示の実施の形態における横断歩道検出処理の一例を示すフローチャート 本開示の実施の形態における横断歩道の候補位置の推定処理の一例を示すフローチャート

（本開示に至る経緯）
まず、本開示に至る経緯について説明する。本開示は、車両に搭載され、車両が走行する路面上の横断歩道を検出する検出装置および検出方法に関する。

図１は、交差点における車両の前方の視界の一例を示す図である。図１には、車両の直進方向（矢印Ｖ１）に存在する横断歩道Ｃ１と車両の右折方向（矢印Ｖ２）に存在する横断歩道Ｃ２が示されている。特許文献１に記載の技術では、車両に搭載されたカメラによって図１に示すような画像を撮影し、横断歩道の縞に対応する輝度の強弱の変化を認識することによって、その画像における横断歩道の位置を検出する。

横断歩道Ｃ１の縞の間隔は比較的広いため、図１に示す画像から横断歩道Ｃ１の縞に対応する輝度の強弱の変化を認識しやすい。

横断歩道Ｃ２は、車両の進行方向の正面ではなく、斜め前に存在するため、縞の間隔が横断歩道Ｃ１と比較して狭くなる。そのため、高解像度のカメラを用いて撮影を行なわなければ、図１に示す画像から横断歩道Ｃ２の縞に対応する輝度の強弱の変化を認識することが困難である。また、高解像度のカメラを用いると、処理すべきデータの量が増えてしまい、信号処理の負荷が増大してしまうため、横断歩道を検出するまでに時間の増加、回路規模の増加が発生してしまう。

このため、まず、レーダ装置によって、横断歩道の存在する位置及び道路形状を推定して、推定結果によって、カメラにより撮影される横断歩道の変形状態を推定することによって、カメラにより撮影された横断歩道の検出処理量を軽減する。

このような事情に鑑み、まず、レーダ装置によって、横断歩道の存在する位置及び道路形状を推定して、推定結果によって、カメラにより撮影される横断歩道の変形状態を推定することによって（空間周波数を解析）、カメラにより撮影された横断歩道の検出処理量を軽減できることに着目し、本開示に至った。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する実施の形態は一例であり、本開示は以下の実施の形態により限定されるものではない。

（実施の形態）
図２は、本実施の形態に係る検出装置１０の構成の一例を示すブロック図である。検出装置１０は、車両に搭載され、車両の周辺（例えば、前方、側方等の車両の進行方向）に存在する横断歩道を検出する。図２に示すように、検出装置１０は、距離−方位センサ１００、フリースペース検出部１０１、位置推定部１０２、画像データ取得部１０３、座標計算部１０４、補正部１０５、および、横断歩道検出部１０６を備える。

距離−方位センサ１００は、車両の各方位に対して電波を送信し、車両の周辺に存在する物体によって反射された電波を反射波として受信する。そして、距離−方位センサ１００は、受信した反射波に基づいて反射点を検出し、検出した反射点を示す反射点情報を、フレーム毎に生成する。フレームとは、距離−方位センサ１００における処理単位である。

例えば、距離−方位センサ１００は、距離−方位センサ１００からの電波の送信方向、および、距離−方位センサ１００からの距離を所定の間隔で区切ったセル毎に、反射波の受信電力の代表値（以下、「反射強度」と云う）を測定する。そして、距離−方位センサ１００は、所定の閾値以上の反射強度を有するセルを、反射点として検出する。そして、距離−方位センサ１００は、反射点に基づき、車両から物体までの距離、物体の方向、および、車両の速度に対する物体の相対速度を検出する。距離−方位センサ１００は、検出した情報を反射点情報として、フレーム毎に、フリースペース検出部１０１へ出力する。

フリースペース検出部１０１は、反射点情報を用いて、車両周辺における物体が存在しない領域との境界を、フレーム毎に検出する。車両周辺における物体が存在しない領域とは、車両が走行する領域、すなわち、車道領域である。つまり、フリースペース検出部１０１が検出する境界は、車道と車道外との間の境界である。

具体的には、フリースペース検出部１０１は、距離−方位センサ１００の検出範囲内の各方位において距離−方位センサ１００からの距離が最も近い反射点の位置を、各方位における境界の点として、フレーム毎に検出する。

また、フリースペース検出部１０１は、過去のフレームにおいて検出した境界を、現フレームにおける境界へ変換する変換処理、および、過去のフレームにおいて検出した境界と、現フレームにおける境界とのスムージング処理を行う。

フリースペース検出部１０１は、変換処理およびスムージング処理を行った後の、現フレームの境界をフリースペース情報として位置推定部１０２へ出力する。なお、現フレームの境界は、距離−方位センサ１００の検出範囲の座標平面と同一の座標平面の座標によって示される。例えば、距離−方位センサ１００の検出範囲の座標平面（以下、Ｔ０座標平面）は、車両が走行する路面と略平行なＸ−Ｙ平面である。

なお、フリースペース検出部１０１の詳細については、特願２０１５−１９８６７５を参照されたい。

位置推定部１０２は、方位−距離センサ１００の出力データに基づいて、車両の進行方向における横断歩道が存在する候補となる位置（以下、横断歩道の候補位置）を推定する。そして、位置推定部１０２は、推定した横断歩道の候補位置を用いて、横断歩道の長さと、横断歩道と車道との交差角度とを推定する。具体的には、位置推定部１０２は、フリースペース検出部１０１から取得する現フレームの境界に基づく複数の１次近似線を作成し、１次近似線から横断歩道が存在する候補となる位置（以下、横断歩道の候補位置）を推定し、横断歩道の候補位置を用いて、横断歩道の長さと、横断歩道と車道との交差角度と推定する。位置推定部１０２は、推定結果を座標計算部１０４および補正部１０５へ出力する。位置推定部１０２における横断歩道の候補位置を推定する方法については、後述するが、概略は、以下の通りである。

交差点などの複数の道路が交差する部分では、道路の縁の角が隅切り（丸く角が除去）されている。隅切りの大きさは、歩道の幅員等で決定される。隅切りの目的の１つは、運転者が大きなハンドル操作を行なわずに、スムーズに車両を右左折させるためである。また、隅切りの他の目的は、歩行者が右左折先の横断歩道を横断している場合、車両が右左折するために横断歩道の手前にて一時停止しても、直進する後続車両の妨げにならないようにするためである。つまり、交差点などの複数の道路が交差する部分において、隅切りは、右左折しようとする車両の進行方向から見て、横断歩道の手前側に設けられる。

そのため、本実施の形態における位置推定部１０２は、１次近似線の傾きが変化する箇所を横断歩道の手前側に設けられる隅切りの位置に対応する箇所とし、１次近似線の傾きが変化する箇所に基づいて、横断歩道の候補位置の座標Ｐ１、Ｐ３を推定する（図３Ａ参照）。

また、直角に交差する交差点の横断歩道は、歩行者が安全に車道を横断するために、車道に対して直角に設けられている。これは、歩行者の横断時間を短縮し、信号の待ち時間への配慮という目的もある。一方で、直角に交差していない交差点では、横断歩道を車道に対して直角に設けると、歩行者は横断歩道を横断するために迂回しなければならない。さらに、歩行者が迂回を避けるために横断歩道外を横断する可能性があるため、交通安全上問題がある。そのため、直角に交差していない交差点の横断歩道は、車道に直角ではなく、交差点の交差角度に応じて傾斜して設けられている。

そのため、位置推定部１０２は、１次近似線の傾きを用いて右折先の車道の交差角度θを算出することにより、横断歩道の角度を算出する。

画像データ取得部１０３は、車両の前方に設けられ、車両の前方および前側方を撮影する単眼カメラ（図示せず）から画像データを取得する。画像データ取得部１０３は、画像データを横断歩道検出部１０６へ出力する。画像データは、例えば、単眼カメラの向きおよび画角によって予め定まる平面（以下、カメラ座標平面）におけるデータである。

座標計算部１０４は、位置推定部１０２から取得する横断歩道の候補位置に対して座標変換を行う。具体的には、座標計算部１０４は、横断歩道検出部１０６における横断歩道の候補位置と画像データとを用いた処理のために、Ｔ０座標平面における横断歩道の候補位置を、カメラ座標平面における座標に変換する。なお、座標計算部１０４における座標変換は、周知の座標変換処理を用いて実行される。座標計算部１０４は、カメラ座標平面に変換した後の横断歩道の候補位置を、補正部１０５および横断歩道検出部１０６へ出力する。

補正部１０５は、横断歩道の検出における基準となる２つの基底関数を有する。２つの基底関数は、横断歩道の白線の間隔を示し、互いに直交する。補正部１０５は、Ｔ０座標平面における横断歩道の候補位置が示す横断歩道の長さ、角度、および、カメラ座標平面に変換した後の横断歩道の候補位置が示す横断歩道の長さ、角度に応じて２つの基底関数の周期数および幅を補正する。補正部１０５は、補正した後の２つの基底関数を横断歩道検出部１０６へ出力する。なお、補正部１０５における基底関数の補正処理については、後述する。

横断歩道検出部１０６は、横断歩道の候補位置を含む画像データと補正した２つの基底関数とを用いて、横断歩道の存在の有無を検出する。具体的には、横断歩道検出部１０６は、画像データ取得部１０３から取得する画像データから、座標計算部１０４から取得する横断歩道の候補位置に対応する範囲を部分データとして抽出する。そして、横断歩道検出部１０６は、抽出した部分データと、補正部１０５から取得する２つの基底関数それぞれとを用いて、部分データ内に、横断歩道の縞に対応する輝度の周期的な変化の存在を判定するための空間周波数解析を行う。

横断歩道検出部１０６は、空間周波数解析として、抽出した部分データと、補正部１０５から取得する２つの基底関数それぞれとの内積を算出する。そして、横断歩道検出部１０６は、内積が所定の閾値以上の場合に、横断歩道が存在すると判定する。

横断歩道検出部１０６は、横断歩道の位置を示す判定結果を、例えば、図示しない衝突防止装置等へ出力する。あるいは、横断歩道検出部１０６は、横断歩道の位置を示す判定結果を、例えば、図示しない表示部等に表示させることにより、運転者への注意を促す。なお、横断歩道検出部１０６における横断歩道の検出処理については、後述する。

次に、位置推定部１０２における横断歩道の候補位置を推定する方法について説明する。

図３Ａは、本実施の形態における横断歩道の候補位置の推定方法の一例を示す図である。図３Ａは、検出装置１０を備える車両Ｚが、図３Ａの下方から交差点に進入して右折する状況における、右折する方向に存在する横断歩道を検出する例を示している。また、図３Ａには、フリースペース検出部１０１によって検出された境界Ｌ１〜Ｌ４、および、時点Ｔ０〜Ｔ３それぞれにおける車両Ｚの状態が示されている。なお、境界Ｌ１〜Ｌ４の内側が車道である。

位置推定部１０２は、横断歩道の候補位置として、図３Ａに示す横断歩道を囲む４点の座標Ｐ１〜Ｐ４を推定する。また、位置推定部１０２は、横断歩道の長さＷ２、交差点を形成する２つの道路の交差角度θ、および、横断歩道が設けられた車道の道路幅Ｗ２’を推定する。

時点Ｔ０の車両Ｚは、直進している状態である。車両Ｚの運転者は、方向指示器を操作し、時点Ｔ０以降において右折を開始する。その際、検出装置１０は、右折先に存在する横断歩道の位置の検出を開始する。そして、検出装置１０は、時点Ｔ１までに、横断歩道の位置の検出を完了する。

時点Ｔ３では、車両Ｚは、右折先の横断歩道を通過する直前であるが、既に数ｋｍ／ｈの速度で走行している。運転者が時点Ｔ３の位置で右折先の横断歩道上の歩行者等を発見し、車両を停止させてしまうと、対向車との事故を引き起こす可能性がある。そのため、時点Ｔ２にて、運転者は、対向車の確認と右折先の横断歩道上の歩行者等の確認を行う。したがって、時点Ｔ２よりも前、つまり、時点Ｔ１の段階で、横断歩道の位置の検出を完了する必要がある。

位置推定部１０２は、時点Ｔ０における車両Ｚの位置、より詳細には、車両Ｚの後輪間の中点を原点とし、車両Ｚが時点Ｔ０において進行する方向をＹ軸方向とし、車両Ｚが走行する路面に略平行なＸ−Ｙ平面をＴ０座標平面と決定する。そして位置推定部１０２は、Ｔ０座標平面における、横断歩道の候補位置Ｐ１〜Ｐ４を推定する。

図３Ａに示す境界Ｌ１、Ｌ２は、距離−方位センサ１００が電波を送受信する際のノイズ等の影響により、不均一な長さの線分、または、点によって形成される。位置推定部１０２は、境界Ｌ１、Ｌ２を含む領域を、境界Ｌ１、Ｌ２に含まれる線分、または、点を囲む複数の小領域に分割する。なお、複数の小領域は、それぞれ、少なくとも１つの線分、または、少なくとも２つの点を含む。また、複数の小領域は、互いに重複している。

次に、位置推定部１０２は、分割した複数の小領域それぞれにおいて、１次近似線を作成する。例えば、位置推定部１０２は、小領域に含まれる１つの線分を延長して１次近似線として生成する。また、位置推定部１０２は、小領域に含まれる少なくとも２つの点からの距離が最小となるように、１次近似線を作成する。

位置推定部１０２が互いに重複する小領域毎に１次近似線を作成する理由は、本来の境界、つまり、車道の境界から極端に離れた点または線分が境界Ｌ１、Ｌ２に含まれていた場合に、横断歩道の検出精度が低下することを防ぐためである。

次に、位置推定部１０２は、各小領域にて生成した１次近似線のうち、Ｙ軸に略平行な１次近似線を除き、傾きの変化が無くなる１次近似線を抽出する。１次近似線の抽出について、図３Ｂを参照して説明する。

図３Ｂは、１次近似線の抽出方法の一例を示す図である。図３Ｂには、図３Ａの境界Ｌ１が分割された複数の小領域Ｓ１〜Ｓ９それぞれに１次近似線が示されている。また、境界Ｌ２が分割された複数の小領域Ｓ１０〜Ｓ１５それぞれに１次近似線が示されている。なお、図示の便宜上、各小領域の１次近似線のうち、小領域内の線分が示されている。

境界Ｌ１における小領域Ｓ１〜Ｓ４の１次近似線は、Ｙ軸に略平行な直線である。そして、小領域Ｓ５〜Ｓ７の１次近似線は、徐々に傾きが変化する直線である。そして、小領域Ｓ７〜Ｓ９の１次近似線は、互いに傾きの変化が無い。この場合、位置推定部１０２は、小領域Ｓ７の１次近似線を、傾きの変化が無くなる１次近似線として抽出する。抽出した近似線Ｌ１’は、その傾きをａ１（＝ΔＹ１／ΔＸ１）とすると、Ｔ０座標平面において、ｙ＝ａ１・ｘ＋ｂ１として表わされる。なお、・は乗算を表す。

位置推定部１０２は、例えば、隣接する２つの小領域のそれぞれの１次近似線の傾きの差を算出し、傾きの差が所定値以下の場合に傾きの変化が無いと判定する。

位置推定部１０２は、境界Ｌ２においても、境界Ｌ１と同様に、小領域Ｓ１４の１次近似線を、傾きの変化が無くなる１次近似線として抽出する。境界Ｌ２において、抽出した１次近似線Ｌ２’は、その傾きをａ２（＝ΔＹ２／ΔＸ２）とすると、Ｔ０座標平面において、ｙ＝ａ２・ｘ＋ｂ２として表わされる。

位置推定部１０２は、右折先の車道の両側の１次近似線Ｌ１’、Ｌ２’を抽出した後、傾きａ１と傾きａ２との差が所定の誤差以下であるか否かを判定する。位置推定部１０２は、傾きａ１と傾きａ２との差が所定の誤差以下であれば、１次近似線Ｌ１’と１次近似線Ｌ２’が類似条件を満たすと判定する。

１次近似線Ｌ１’と１次近似線Ｌ２’が類似条件を満たす場合、位置推定部１０２は、傾きａ１または傾きａ２から、右折先の車道の交差角度θ＝arctan（ａ１）（または、θ＝arctan（ａ２））を算出する。また、位置推定部１０２は、１次近似線Ｌ１’上の所定の点（例えば、１次近似線Ｌ１’に対応する小領域Ｓ７における、小領域Ｓ７内の線分の中点）を横断歩道の候補位置の座標Ｐ３として推定する。座標Ｐ３は、１次近似線Ｌ１’上の点であり、Ｐ３＝（ｘ３，ｙ３）として表す。同様に、位置推定部１０２は、１次近似線Ｌ２’上の所定の点（例えば、１次近似線Ｌ２’に対応する小領域における、小領域内の線分の中点）を横断歩道の候補位置の座標Ｐ１として推定する。座標Ｐ１は、１次近似線Ｌ２’上の点であり、Ｐ１＝（ｘ１，ｙ１）として表す。

ただし、位置推定部１０２は、座標Ｐ１〜Ｐ４の近くに横断歩道が存在することを推定するのであって、座標Ｐ１〜Ｐ４が横断歩道であると断言することは困難である。つまり、位置推定部１０２は、座標Ｐ１〜Ｐ４を、横断歩道位置を推定する為の候補位置として出力する。

なお、位置推定部１０２は、傾きａ１と傾きａ２との差が所定の誤差より大きい場合、１次近似線Ｌ１’と１次近似線Ｌ２’とが類似条件を満たさないと判定する。この場合、位置推定部１０２は、１次近似線Ｌ１’、Ｌ２’に対応する小領域に隣接する小領域のうち、車両の右折方向側に隣接する小領域の１次近似線を抽出し、その傾きが類似条件を満たすか否かを判定する。例えば、図３Ｂでは、位置推定部１０２は、小領域Ｓ７〜Ｓ９の１次近似線は、傾きの変化が無いため、小領域Ｓ７の車両の右折方向側に隣接する小領域Ｓ８の１次近似線を抽出する。

次に、位置推定部１０２は、抽出した１次近似線Ｌ１’、Ｌ２’のＹ切片ｂ１、ｂ２から、横断歩道の長さＷ２を次式（１）のように推定する（図３Ｂ参照）。
Ｗ２＝ｂ２−ｂ１ （１）

さらに、位置推定部１０２は、右折先の車道の道路幅Ｗ２’を次式（２）のように推定する。
Ｗ２’＝Ｗ２×cosθ （２）

次に、位置推定部１０２は、推定した座標Ｐ１、Ｐ３、交差角度θ、道路幅Ｗ２’から、座標Ｐ２、Ｐ４を推定する。

一般的な横断歩道の白線１本あたりの長さＷ１（横断歩道の幅）は、道路幅に応じて決められている。例えば、大型な交差点を除くと、幹線道路では４［ｍ］、細道路では３［ｍ］を最小として、１［ｍ］単位で増減する長さである。

位置推定部１０２は、道路幅と白線１本あたりの長さとの対応関係を示すテーブルを有し、推定した右折先の道路幅Ｗ２’に基づいて、白線１本あたりの長さを決定する。以下では、白線１本あたりの長さを３［ｍ］として、座標Ｐ２、Ｐ４を推定する例について説明する。

位置推定部１０２は、推定した座標Ｐ１＝（ｘ１，ｙ１）、Ｐ３＝（ｘ３，ｙ３）、交差角度θ、および、白線１本あたりの長さ３ｍという条件から、座標Ｐ２、Ｐ４を次式（３）のように推定する。
Ｐ２＝｛ｘ１＋（３×cosθ），ｙ１＋（３×sinθ）｝
Ｐ４＝｛ｘ３＋（３×cosθ），ｙ３＋（３×sinθ）｝ （３）

ところで、フリースペース検出部１０１は、図３Ａにおける境界Ｌ１、Ｌ２の一部が欠如した境界をフリースペース情報として位置推定部１０２へ出力する場合がある。例えば、交差点内の横断歩道の近傍の位置に停車車両があった場合には、図３Ａにおける境界Ｌ１、Ｌ２の一部が欠如する。

この場合、位置推定部１０２は、境界Ｌ１、Ｌ２における一方の１次近似線を抽出することが困難な場合がある。位置推定部１０２は、境界Ｌ１、Ｌ２における一方の１次近似線を抽出することが困難な場合であっても、境界Ｌ１、Ｌ２における他方の抽出した１次近似線から、横断歩道の候補位置を推定する。以下、境界Ｌ１の近似線Ｌ１’：ｙ＝ａ１・ｘ＋ｂ１が抽出された場合の、横断歩道の候補位置の推定方法について説明する。

前述の通り、近似線Ｌ１’：ｙ＝ａ１・ｘ＋ｂ１が抽出された場合、位置推定部１０２は、１次近似線上の点である座標Ｐ３＝（ｘ３，ｙ３）を推定する。

次に、位置推定部１０２は、１次近似線Ｌ１’の傾きａ１から、右折先の車道の交差角度θ＝arctan（ａ１）を算出する。

次に、位置推定部１０２は、右折先の横断歩道の長さＷ２、および、右折先の道路幅Ｗ２’を推定する。境界Ｌ１、Ｌ２における一方の１次近似線を抽出することが困難な場合、２つの近似線のＹ切片から、横断歩道の長さＷ２を推定することが困難である。このような場合、位置推定部１０２は、交差点における隅切りの大きさを用いて、横断歩道の長さＷ２を推定する。

交差点における隅切りの大きさは、例えば、道路構造令第４条における設計車両の規定によって事前に把握できる場合は、前記規定を用いても良いし、地図データから事前に把握してもよい。

つまり、交差点を走行する主な車両が、例えば、小型車なのかセミトレーラーなのかによって、隅切りの大きさが決定される。ここで、隅切りを設ける目的の１つが、車両が左折する先の横断歩道を歩行者が横断している場合、車両が横断歩道の手前にて一時停止しても、直進する後続車両の進行を妨げないことである。この為、セミトレーラー等を想定した道幅の大きな国道では、隅切りが大きくなる。

このため、図３Ａで示した隅切りの大きさＤ１は、道路幅Ｗ２’に比例する。隅切りの大きさＤ１は、Ｐ３のｘ座標と図３ＢにおけるＳ１領域の１次近似線のｘ座標との差分である。

位置推定部１０２は、予め、横断歩道の長さＷ２と隅切りの大きさＤ１との対応関係を示すテーブルを有し、テーブルと隅切りの大きさＤ１とから、横断歩道の長さＷ２を推定する。そして、位置推定部１０２は、横断歩道の長さＷ２および交差角度θから、上記の式（２）を用いて、右折先の道路幅Ｗ２’を推定する。

位置推定部１０２は、座標Ｐ３＝（ｘ３，ｙ３）、横断歩道の長さＷ２、および、交差角度θから、次式（４）を用いて、座標Ｐ１、Ｐ２、Ｐ４を推定する。なお、式（４）において、横断歩道の幅Ｗ１（白線１本あたりの長さ）は、３［ｍ］とした。
Ｐ１＝｛ｘ３，ｙ３＋Ｗ２｝
Ｐ２＝｛ｘ３＋（３×cosθ），ｙ３＋Ｗ２＋（３×sinθ）｝
Ｐ４＝｛ｘ３＋（３×cosθ），ｙ３＋（３×sinθ）｝ （４）

以上のように、位置推定部１０２は、境界Ｌ１、Ｌ２から、横断歩道の候補位置を示す４つの座標Ｐ１〜Ｐ４、交差点の交差角度θ、横断歩道の長さＷ２、および、右折先の道路幅Ｗ２’を推定する。位置推定部１０２は、推定した各情報を座標計算部１０４および補正部１０５へ出力する。なお、補正部１０５は、推定した各情報を用いて、横断歩道の検出に用いる基底関数を補正する。

次に、補正部１０５における基底関数の補正処理、および、横断歩道検出部１０６における横断歩道の検出方法について、説明する。

図４は、交差点における画像データの一例を示す図である。図４は、図３Ａに示した交差点において、時点Ｔ０にて画像データ取得部１０３が取得した画像データを示している。図４には、車両の直進方向に存在する横断歩道Ｃ３と車両の右折方向に存在する横断歩道Ｃ４が示されている。なお、図４における、Ｘ’軸、Ｙ’軸は、カメラ座標平面を規定する軸である。また、Ｒ’軸は、横断歩道Ｃ４に沿って規定された軸である。

横断歩道検出部１０６は、座標計算部１０４から、カメラ座標平面に変換した横断歩道の候補位置を示す座標Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’を取得する。また、横断歩道検出部１０６は、画像データ取得部１０３から、図４に示すような画像データを取得する。そして、横断歩道検出部１０６は、画像データから、横断歩道の候補位置の部分データとして、横断歩道Ｃ４の範囲を抽出する。

そして、横断歩道検出部１０６は、抽出した部分データの輝度変化に対して、空間周波数解析を行うことによって、横断歩道を検出する。図５Ａ、図５Ｂは、本実施の形態における空間周波数解析の一例を示す図である。図５Ａ、図５Ｂには、横断歩道の輝度変化と、輝度変化に対して空間周波数解析を行なうための偶関数の基底関数および奇関数の基底関数と、解析結果としての周波数強度が示されている。

図５Ａは、図４における車両の直進方向に存在する横断歩道Ｃ３に対する空間周波数解析の一例である。車両の直進方向に存在する横断歩道の縞は直進方向と略平行であるため、図５Ａに示すように、横断歩道Ｃ３の輝度変化は、略等間隔である。そのため、２つの基底関数の矩形の幅も、略等間隔で良い。

図５Ｂは、図４における車両の右折方向に存在する横断歩道Ｃ４に対する空間周波数解析の一例である。横断歩道Ｃ４の縞の幅は、車両から見て奥から手前に進むにつれて、つまり、図４のＲ’軸の正方向に進むにつれて広くなる。そのため、図５Ｂに示すように、横断歩道Ｃ４の輝度変化は、車両から見て奥から手前に進むにつれて、つまり、図４のＲ’軸の正方向に進むにつれて、幅が広くなる。そのため、補正部１０５は、２つの基底関数の周期数および矩形の幅の間隔を自車の進行方向に応じて補正する。

具体的に、補正部１０５は、道路幅と白線との対応関係を示すテーブル、位置推定部１０２から取得する横断歩道の長さＷ２に基づき、横断歩道の縞の数（白線の数）を決定し、基底関数の周期数を決定した縞の数と同じ数に設定する。そして、補正部１０５は、座標計算部１０４から取得する、座標変換後の道路幅Ｗ２’と、交差角度θから、Ｒ’軸を規定する。そして、補正部１０５は、カメラ座標平面における横断歩道の縞の間隔の変化を推定し、推定した縞の間隔（白線の間隔）に対応するように、基底関数の矩形の幅の間隔を補正する。

横断歩道検出部１０６は、横断歩道Ｃ４の線ｒ２に沿って横断歩道Ｃ４の輝度変化を取得する。線ｒ２は、横断歩道Ｃ４の道路幅方向に沿った線である。線ｒ２は、座標Ｐ３’と座標Ｐ４’との中点と、座標Ｐ１’と座標Ｐ２’との中点とを結ぶ線である。

横断歩道検出部１０６は、線ｒ２に沿って取得した横断歩道Ｃ４の輝度変化と、補正した基底関数との内積を算出する。横断歩道検出部１０６は、算出した内積と所定の閾値とを比較し、内積が所定の閾値以上の場合、横断歩道が存在することを検出する。そして、横断歩道検出部１０６は、横断歩道の位置、つまり、座標Ｐ１’〜Ｐ４’を、図示しない衝突防止装置等へ出力する。

なお、図５Ｂでは、横断歩道検出部１０６が線ｒ２に沿って横断歩道Ｃ４における輝度変化を取得する場合について説明したが、横断歩道検出部１０６は線ｒ１、線ｒ３に沿って横断歩道Ｃ４における輝度変化を取得してもよい。線ｒ１は、座標Ｐ３’と座標Ｐ４’とを結ぶ直線であり、線ｒ３は、座標Ｐ１’と座標Ｐ２’とを結ぶ線である。

次に、本実施の形態における横断歩道検出処理の流れについて、図６を参照して説明する。図６は、本実施の形態における横断歩道検出処理の一例を示すフローチャートである。横断歩道検出処理は、例えば、車両の運転者が方向指示器を操作したタイミングで開始される。

位置推定部１０２は、横断歩道検出処理を開始する際に、時点Ｔ０において基準となる座標の設定を行う（Ｓ１０１）。時点Ｔ０において設定した座標平面は、時点Ｔ０における車両Ｚの位置、より詳細には、車両Ｚの後輪間の中点を原点とし、車両Ｚが時点Ｔ０において進行する方向をＹ軸方向とし、車両Ｚが走行する路面に略平行なＸ−Ｙ平面をＴ０座標平面と決定する。

次に、位置推定部１０２は、フリースペース検出部１０１から、フリースペース情報として現フレームの境界を取得し、フリースペース情報を更新する（Ｓ１０２）。

次に、位置推定部１０２は、横断歩道の候補位置の推定を行う（Ｓ１０３）。Ｓ１０３における横断歩道の候補位置の推定処理について、図７を参照して説明する。

図７は、本実施の形態における横断歩道の候補位置の推定処理の一例を示すフローチャートである。横断歩道の候補位置の推定処理は、Ｓ１０２の後に実行される。

位置推定部１０２は、フリースペース情報として取得した現フレームの境界を含む領域を複数の小領域に分割する（Ｓ２０１）。

位置推定部１０２は、小領域毎の１次近似線を作成する（Ｓ２０２）。

位置推定部１０２は、１次近似線それぞれの傾きを比較し、Ｙ軸に略平行な１次近似線を除き、傾きの変化が無くなる１次近似線を抽出する（Ｓ２０３）。位置推定部１０２は、車両の進行方向先の車道の両側において、１次近似線を抽出する。

そして、位置推定部１０２は、車両の進行方向先の車道の両側において、１次近似線を抽出したか否かを判定する（Ｓ２０４）。

両側において、１次近似線を抽出した場合（Ｓ２０４にてＹＥＳ）、位置推定部１０２は、抽出した両側の１次近似線が類似条件を満たすか否かを判定する（Ｓ２０５）。

両側の１次近似線が類似条件を満たさない場合（Ｓ２０５にてＮＯ）、位置推定部１０２は、１次近似線に対応する小領域に隣接する小領域のうち、車両の進行方向側に隣接する小領域の１次近似線を抽出する（Ｓ２０６）。そして、再びＳ２０５の処理が実行される。

両側の１次近似線が類似条件を満たす場合（Ｓ２０５にてＹＥＳ）、位置推定部１０２は、１次近似線の傾きから、交差角度θを算出する（Ｓ２０７）。そして、位置推定部１０２は、抽出した両側の１次近似線から、横断歩道の候補位置を示す座標を推定する（Ｓ２０８）。位置推定部１０２は、座標計算部１０４へ横断歩道の候補位置を出力する。そして、横断歩道の候補位置の推定処理（Ｓ１０３）は終了し、図６のＳ１０４の処理が実行される。

Ｓ２０４にて、両側において、１次近似線を抽出していない場合（Ｓ２０４にてＮＯ）、位置推定部１０２は、片側の１次近似線を抽出したか否かを判定する（Ｓ２０９）。

片側の１次近似線を抽出した場合（Ｓ２０９にてＹＥＳ）、位置推定部１０２は、近似線の傾きから、交差角度θを算出する（Ｓ２１０）。位置推定部１０２は、抽出した片側の近似線から、当該片側の横断歩道の候補位置を示す座標を特定する（Ｓ２１１）。

そして、位置推定部１０２は、Ｓ２１１にて特定した座標およびＳ２１０にて算出した交差角度θから、１次近似線を抽出した側と反対側の横断歩道の候補位置を示す座標を推定する（Ｓ２１２）。位置推定部１０２は、座標計算部１０４へ横断歩道の候補位置を出力する。そして、横断歩道の候補位置の推定処理（Ｓ１０３）は終了し、図６のＳ１０４の処理が実行される。

Ｓ２０９にて、片側の１次近似線を抽出しなかった場合（Ｓ２０９にてＮＯ）、位置推定部１０２は、図示しない衝突防止装置等に横断歩道の位置検出にエラーが発生したことを示す情報を出力する（Ｓ２１３）。そして、図７の横断歩道の候補位置の推定処理（Ｓ１０３）を含む横断歩道検出処理は、終了する（図６の終了）。

図６の説明に戻ると、座標計算部１０４は、Ｔ０座標平面にて表される横断歩道の候補位置Ｐ１〜Ｐ４の座標をカメラ座標平面へ変換する座標変換を行う（Ｓ１０４）。座標計算部１０４は、座標変換後の横断歩道の候補位置を横断歩道検出部１０６へ出力する。

次に、画像データ取得部１０３は、単眼カメラ（図示せず）から、カメラ座標平面における画像データを取得する（Ｓ１０５）。画像データ取得部１０３は、画像データを横断歩道検出部１０６へ出力する。

横断歩道検出部１０６は、画像データから、横断歩道の候補位置が示す範囲を部分データとして抽出する（Ｓ１０６）。

補正部１０５は、基底関数を補正する（Ｓ１０７）。

横断歩道検出部１０６は、部分データにおける横断歩道の輝度変化を抽出し、輝度変化と基底関数との内積を算出する（Ｓ１０８）。

横断歩道検出部１０６は、算出した内積が閾値以上か否かを判定する（Ｓ１０９）。

内積が閾値以上の場合（Ｓ１０９にてＹＥＳ）、横断歩道検出部１０６は、横断歩道の候補位置に横断歩道があると判定する（Ｓ１１０）。横断歩道検出部１０６は、横断歩道の候補位置が示す横断歩道の位置を検出結果として図示しない衝突防止装置等に出力する（Ｓ１１１）。そして、横断歩道検出処理は終了する。

内積が閾値以上ではない場合（Ｓ１０９にてＮＯ）、横断歩道検出部１０６は、横断歩道の候補位置に横断歩道が無いと判定する（Ｓ１１２）。横断歩道検出部１０６は、横断歩道の候補位置に横断歩道が無いという検出結果を図示しない衝突防止装置等に出力する（Ｓ１１３）。そして、横断歩道検出処理は終了する。

以上説明したように、本実施の形態では、位置推定部１０２は、方位−距離センサ１００の出力データに基づいて、車両の進行方向における横断歩道の候補位置を推定し、候補位置を用いて、横断歩道の長さと、横断歩道と車道との交差角度とを推定する。そして、補正部１０５は、推定された横断歩道の長さおよび推定された交差角度に基づき、横断歩道の白線の間隔を示す、互いに直交する２つの基底関数の周期数および幅を補正する。横断歩道検出部１０６は、横断歩道の候補位置を含む画像データと補正した２つの基底関数とを用いて、横断歩道の存在の有無を検出する。横断歩道の縞に対応する輝度の周期的な変化の存在を判定する空間周波数解析として、画像データと補正した基底関数とを用いることにより、横断歩道の縞模様に対応する輝度の強弱の変化を認識する必要が無いため、信号処理の負荷の増大を防ぎつつ、短時間で横断歩道の位置を検出できる。

また、本実施の形態によれば、画像データと補正した基底関数との内積を算出して横断歩道の有無を判定するため、横断歩道の白線が部分的に消えている場合であっても、あるいは、横断歩道を横断中の歩行者等により部分的に輝度の変化が隠れてしまう場合であっても、検出精度の低下を抑制できる。

また、本実施の形態によれば、横断歩道検出部１０６が画像データを予め横断歩道の存在する可能性のある範囲に狭めることができるため、信号処理の負荷の増大を防ぎ、短時間で横断歩道の位置を検出できる。

また、本実施の形態では、基底関数として矩形波の関数を用いた。横断歩道の輝度変化は、概ね強弱の２段階であるため、矩形波の関数を用いることにより、三角関数（正弦関数または余弦関数）を用いる場合と比較して、高次の計算を省略できる。そのため、信号処理の負荷の増大を防ぎつつ、短時間で横断歩道の位置を検出できる。

また、本実施の形態によれば、位置推定部１０２がフリースペース検出部１０１によって推定された境界に基づいて横断歩道の候補位置を示す４つの座標を推定する方法において、横断歩道を挟む両側のうち一方の側の境界から２つの座標を推定した場合、推定した２つの座標から他方の側の２つの座標を推定できる。この構成により、交差点内に車両が駐停車し、境界が十分に推定できない場合であっても、横断歩道の候補位置の推定が可能となるため、横断歩道の検出精度が向上する。

なお、本実施の形態では、単眼カメラを用いて画像データを撮影する構成について説明したが、画像データは、ステレオカメラによって撮影されてもよい。

また、本実施の形態では、横断歩道の候補位置の輝度変化の強弱を１周期とした場合に、横断歩道の候補位置における周期数に合わせた周期を有する基底関数を用いる例について説明したが、本開示はこれに限定されない。例えば、補正部１０５が１周期分の基底関数を用いて、横断歩道の候補位置と交差角度とに基づいて、１周期分の基底関数を逐次補正して横断歩道検出部１０５に出力し、横断歩道検出部１０６が横断歩道の候補位置の輝度変化と補正した１周期分の基底関数との内積を算出してもよい。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

上記各実施の形態では、本開示はハードウェアを用いて構成する例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には、入力端子および出力端子を有する集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサを用いて実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｅｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＬＳＩ内部の回路セルの接続又は設定を再構成可能なリコンフィギュラブル プロセッサ（Ｒｅｃｏｎｆｉｇｕｒａｂｌｅ Ｐｒｏｃｅｓｓｏｒ）を利用してもよい。

さらには、半導体技術の進歩又は派生する別技術により,ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化してもよい。バイオ技術の適用等が可能性としてありえる。

本開示は、車両に搭載される事故防止システムに有用である。

１０ 検出装置
１００ 距離−方位センサ
１０１ フリースペース検出部
１０２ 位置推定部
１０３ 画像データ取得部
１０４ 座標計算部
１０５ 補正部
１０６ 横断歩道検出部

Claims (8)

1. 方位−距離センサの出力データに基づいて、車両の進行方向における横断歩道の候補位置を推定し、前記候補位置を用いて、前記横断歩道の長さと、前記横断歩道と車道との交差角度とを推定する位置推定部と、
   前記推定された横断歩道の長さおよび前記推定された交差角度に基づき、前記横断歩道の白線の間隔を示す、互いに直交する２つの基底関数の周期数および幅を補正する補正部と、
   前記候補位置を含む画像データと前記補正した２つの基底関数とを用いて、前記横断歩道の存在の有無を検出する横断歩道検出部と、
   を備える検出装置。
2. 前記位置推定部は、前記方位−距離センサを基準とした方位−距離平面において、前記車道内と車道外とを区別する境界を含む領域を複数の小領域に分割し、前記複数の小領域それぞれにおいて前記境界に基づく１次近似線を生成し、前記１次近似線の傾きの変化に基づき、前記候補位置を推定する、
   請求項１に記載の検出装置。
3. 前記位置推定部は、
   前記複数の小領域のうち、隣り合う小領域のそれぞれの１次近似線の傾きの差が所定値以下の１次近似線を抽出し、前記抽出した１次近似線上の所定の点を、前記候補位置を示す座標として推定し、
   前記候補位置を示す座標を用いて、前記横断歩道の長さを推定し、
   前記抽出した１次近似線の傾きから、前記交差角度を推定する、
   請求項２に記載の検出装置。
4. 前記補正部は、前記横断歩道の長さ、および、前記交差角度に基づき、前記２つの基底関数それぞれの周期数および幅を補正し、
   前記補正した基底関数の周期数は、前記横断歩道の長さによって算出される前記横断歩道の白線の数と同一である、
   請求項３に記載の検出装置。
5. 前記方位−距離センサから送信される検出波が物体によって反射され、前記方位−距離センサによって受信される反射波に基づき、前記方位−距離平面における前記境界を推定するフリースペース検出部と、
   を更に備える、
   請求項２から４のいずれか一項に記載の検出装置。
6. 前記方位−距離平面の座標を前記候補位置を含む画像データの撮影領域平面の座標に変換する座標計算部を更に備え、
   前記横断歩道検出部は、前記候補位置を含む画像データのうち、前記撮影領域平面における前記候補位置の座標に囲まれた範囲を用いて、前記横断歩道の存在の有無を検出する、
   請求項１から５のいずれか一項に記載の検出装置。
7. 前記位置推定部は、前記横断歩道を挟む２つの候補位置のうち１つを推定した場合、前記推定した候補位置に基づき、他方の候補位置を推定する、
   請求項１から６のいずれか一項に記載の検出装置。
8. 方位−距離センサの出力データに基づいて、車両の進行方向における横断歩道の候補位置を推定し、前記候補位置を用いて、前記横断歩道の長さと、前記横断歩道と車道との交差角度とを推定し、
   前記推定された横断歩道の長さおよび前記推定された交差角度に基づき、前記横断歩道の白線の間隔を示す、互いに直交する２つの基底関数の周期数および幅を補正し、
   前記候補位置を含む画像データと前記補正した２つの基底関数とを用いて、前記横断歩道の存在の有無を検出する、
   検出方法。

Images