JP2007133007A - 路面撮像装置及び路面標示計測装置 - Google Patents

Abstract

【課題】路面標示を撮像するための構成が容易であり、かつ高精度に路面標示を解析できる装置を提供することを目的とする。
【解決手段】車両に搭載され、地図の属性情報として使用される路面標示を計測するための路面画像を撮像する路面撮像装置であって、全周画像を取得可能な光学機器を備える撮像部を有する、ことを特徴とする路面撮像装置である。
【選択図】 図１

Description

この発明は、道路上に標示された車線中央線、車線境界線、及び車線外側線等の路面標示を撮像し、撮像された画像をもとに路面標示を計測する装置に関する。

車線中央線、車線境界線及び車線外側線等の路面標示の画像を撮像し、路面標示の座標を収集する手段として、ステレオ計測が用いられている。ステレオ計測では、車両に複数台のカメラを搭載し、同時に複数台のカメラで路面の状況を撮像し、複数枚の画像に写し出された対象物（車線中央線等）の視差から位置を計測する。計測で得られた位置に座標情報を付加することにより、路面標示の座標を収集することが可能となる（非特許文献１参照）。
第３回ＩＴＳシンポジウム２００４ ｐ４１−ｐ４６

しかし、上記従来のステレオ計測においては、高精度で路面標示の位置を解析するために、厳密な撮像装置（ステレオカメラ）の幾何学配置や調整を必要としていた。また、路面標示の位置を自動的に特定するには複雑な解析方法が必要であった。
また、ステレオ計測においては、一対のカメラの視差を利用するため撮像対象とカメラとの間に所定の距離が必要となる。車両直近の路面標示を撮像する場合には、当該路面標示とカメラとの間に十分な距離を確保できないため、撮像範囲が狭くなる。換言すれば、車両直近の路面を広く撮像するには、ステレオカメラのセットを複数準備しなけらばならない。なお、車両直近の路面を撮像するには次の利点がある。即ち、路面標示とカメラとの間に遮へい物（他の車両等）が入り込み難くなるので、路面標示を確実に撮像できる。車両と路面標示との距離がより正確に特定される。
そこで、本発明は、路面標示を撮像するための構成が容易であり、かつ高精度に路面標示を解析できる装置を提供することを目的とする。

本発明は上記目的を達成すべくなされたものである。すなわち、
車両に搭載され、地図の属性情報として使用される路面標示を計測するための路面画像を撮像する路面撮像装置であって、
全周画像を取得可能な光学機器を備える撮像部を有する、
ことを特徴とする路面撮像装置である。

上記構成によれば、撮像部に備えられる光学機器は全周画像を超広角で取得することが可能であるため、一つの光学機器で車両直近の路面を撮像することができる。また、車両に隣接する車線の路面画像の撮像もできる。すなわち、ステレオ計測と比べて、簡単かつ安価な構成でありながら、遮へい物の入り込み難い車両直近の撮像ができ、かつ広範囲な路面画像を取得することができる。

また、撮像された路面画像に路面標示が写し出されている場合には、その路面標示を計測し、それに座標情報を関連付けた地図データを作成し、カーナビゲーションなどに搭載することにより安全警告などに利用することができる。

以下、この発明の各要素について説明する。
（撮像部）
撮像部は車両に搭載され、走行中の車線及び隣接する車線を含む路面画像を撮像する。
撮像部は光学機器と光学機器で得られた画像を撮像するためのカメラを備える。
光学機器は全周画像を取得するために使用され、例えば、魚眼レンズまたは凸面鏡を用いることができる。魚眼レンズの場合は、視野角１８０度の広範囲な画像を取得することができる。従って、走行する自車に隣接する車線の画像も取得することが可能となる。
撮像部に使用されるカメラは特に限定されず、例えば、デジタルカメラ、ビデオカメラが用いられる。

撮像部は車両の頂部（例えば、車体の屋根部など）に取り付けられることが好ましい。撮影部の取り付け位置をできるだけ高くすることで、撮像される範囲（光軸方向に対して横方向の路面範囲）が広くなるため、隣接する車線の撮像も可能となる。撮像部の取り付け方法は、特に限定されないが、例えば、車体の屋根部に撮像部を取り付けるための取り付け台を組み立てて、そこに撮像部を取り付けてもよい。

撮像部は車両の前方に向けて設置されることが好ましい。前方に取り付けることにより、自車をコントロールすることで、他の車両との車間距離を保ち、直前の路面を確実に撮像することができる。

光学機器の光軸方向は車両の進行方向と略平行に設置されることが好ましい。例えば、光学機器の光軸方向を車両の進行方向と略平行にしたときは、車線境界線は直線で撮像される（図３参照）。すなわち、本来直線状の車線境界線を画像の上でも直線として撮像されるので、路面画像から路面標示を計測するために複雑な計算を必要としない。一方、光学機器の光軸方向を真下に向けたときは、本来直線である車線境界線が画像の上では曲線状に撮像されるため（図１０参照）、路面標示を計測するためには複雑な計算を必要とする。従って、路面標示の計測を容易にできる点で、光学機器の光軸方向は車両の進行方向と略平行に設置されることが好ましい。

光学機器には、レンズの上半分に太陽光などの余分や光が入り込むことを防止するために、遮光手段が備えられることが好ましい。遮光手段は特に限定されないが、例えば、レンズの上半分を遮光用のフードで覆ったり、レンズの上半分に遮光用のフィルターを貼り付けてもよい。これにより、輝度の強い太陽光が撮像されることなく、データ解析に利用可能な画像を安定して撮像することができる。

（路面標示抽出部）
路面標示抽出部は、撮像部で撮像された画像から所定のルールに従い路面標示に対応する特定点を抽出する。所定のルールは任意に定めることが可能である。例えば、路面画像の中心点に対して同心円を設定し、同心円上の明度が所定のしきい値以上であるときに、路面標示の一部であると判断し、これを特定点として抽出する。
データ処理の軽減の観点から同心円の数を少なくした場合、停止線のような横軸に平行となる路面標示は、同心円上の一部にかからないこともある。そこで、画面の中心点から下方向に直線を設定し、同心円上にかからないときでも、直線上に路面標示の一部がかかるようにして特定点を抽出できる構成とする。さらに、横断歩道のような横軸方向に長く、複雑な形状をした路面標示を検出するため、中心点から下方向及び左右下方向に複数の放射線を設定し、特定点を抽出できる構成としてもよい。
なお、同心円上又は放射線上の走査範囲は、画像上の下半分の画像について設定される。これは、画像における下半分が路面となるため、走査する範囲も下半分の画像とすることでデータ処理の軽減を図ったためである。

（路面標示認識部）
路面標示認識部は、路面標示抽出部で認識された特定点に基づいて路面標示のパターン（例えば、車線中央線のような連続線や一時停止線のような横線、横断歩道のような縦線と横線で表される形状の線、横断歩道または自転車横断帯ありを示す菱形マーク等）を認識する。
路面標示の認識方法は特に限定されないが、車線境界線のような連続した直線であれば、抽出される特定点は一定の角度で連続的に抽出される（図５参照）。この場合は、予め用意されている標準パターン（例えば、直線を特定点の配置の情報として保存したもの）と比較され、一致又は略一致するときは、抽出された特定点は直線と認識される。
一方、菱形マークであれば、抽出される特定点は一定の角度で連続的に抽出されることはない。この場合は、少なくとも直線とは認識されず、他の路面表示パターンと判断される。同様に、抽出された特定点と予め用意されている標準パターン（例えば、菱形マークを特定点の配置の情報として保存したもの）とを比較し、一致又は略一致するときは、抽出された特定点はその標準パターン（例えば、菱形マーク）と認識される。
認識されたパターンと予め用意された標準パターンとが一致しないときは、オペレータが特定点の配置から類似するパターンをマニュアルで選び出してもよい。また、路面標示の存在を示唆する座標情報のみを保存するようにしてもよい。

路面標示を認識するとき、同じ路面標示を複数回認識することがある。
例えば、進行方向に対して撮像部を搭載し、菱形マークを撮像するとき、路面画像では、菱形マークは初め画面の中心部に位置し、車両が進行するに従って、菱形マークは画面の下部に移動する。ここで、画面の中心部に位置する菱形マークと画面の下部に位置する菱形マークとを比較すれば、画面の下部に位置する菱形マークの方が輪郭が鮮明であり、路面標示を認識しやすい。そこで、同じ菱形マークについて複数枚の画像が撮像された場合には、最下部に位置する菱形マークを採用して路面標示を認識することが好ましい。

以下、この発明の実施例について説明する。
図１は本発明の実施例である路面撮像装置１０と路面標示計測装置２０との概略図である。
図２は路面撮像装置１０を搭載した測定用車両１００を示す図である。測定用車両１００は撮像部１３と、信号発生部１４と、座標取得部１５とを備える。
図３は遮光手段を備えた撮像部１３で撮像された路面画像の一例である。
図４は撮像された画像をもとに路面標示抽出部２３が特定点を抽出する手段を示す図である。
図５は図４で得られた特定点を三次元プロットにした図である。

図１において、路面撮像装置１０は、制御部１１と、撮像部１３と、信号発生部１４と、座標取得部１５と、記憶部１７と、で構成される。
路面標示計測装置２０は、制御部２１と、路面標示抽出部２３と、路面標示認識部２４と、表示部２５と、演算部２６と、記憶部２７と、で概略構成される。
路面標示計測装置２０はインターフェース部２８が備えられ、路面撮像装置１０に備えられたインターフェース部１８からデータの取得が可能である。

制御部１１は、ＣＰＵ１２を備える。路面撮像装置１０に備えられる各要素はバスラインを介してこのＣＰＵ１２に接続され、その制御を受ける。ＣＰＵ１２を動作させるためのプログラムは記憶部１７に保存されており、ＣＰＵ１２は当該プログラムを読み出して所定の動作を行うこととなる。

撮像部１３は、道路表面に標示された車線中央線、車線境界線及び車線外側線等の路面標示の映像を撮像する装置であり、車両の前方を撮像するように車両に搭載される。撮像部１３は、デジタルカメラ、ビデオカメラ等の市販の撮像装置が利用され、光学機器１３１として全周画像の撮像ができる魚眼レンズや凸面鏡が使用される。

撮像部１３は車両１００の頂部（車体の屋根部）に取り付けられる（図２参照）。撮影部１３の取り付け位置をできるだけ高くすることで、撮像される範囲が広くなるため、隣接する車線の撮像も可能となる。撮像部１３の取り付け方法は、車体１００の屋根部に撮像部１３を取り付けるための取り付け台を組み立てて、そこに撮像部１３を取り付ける。

また、撮像部１３は車両１００の前方に向けて設置される（図２参照）。前方に取り付けることにより、自車をコントロールすることで、他の車両との車間距離を保ち、直前の路面を確実に撮像することができる。

光学機器１３１の光軸方向は車両１００の進行方向と略平行に設置される。車線境界線を撮像する場合、光学機器１３１の光軸方向を車両１００の進行方向と略平行にしたときは、車線境界線は直線状で撮像される（図３参照）。すなわち、路面画像から路面標示を計測するために複雑な計算を必要としないため、路面標示の計測が容易にできる。

光学機器１３１には、レンズの上半分に太陽光などの余分や光が入り込むことを防止するために、遮光手段１３２が備えられる。遮光手段１３２としてフードが用いられ、光学機器１３１の上部及びレンズの上半分を覆うように設置される（図２参照）。遮光手段１３２を施すことで、輝度の強い太陽光が撮像されることなく、データ解析に利用可能な画像を安定して撮像することができる。
これ以外の撮像手段として、図２に示すように、レンズの表面の上半分を黒色に塗りつぶしたり（Ａ）、レンズの上半分をカット（Ｂ）してもよい。また、魚眼レンズの代わりに、矢印方向の撮像が可能な凸面鏡１３１１をカメラ１３１２に取り付けて撮像してもよい（Ｃ）。

信号発生部１４は、車両の移動距離を測定し、一定距離（例えば、２ｍ）ごとにパルス信号を発生する。発生したパルス信号は撮像部１３に送られ、撮像部１３はパルス信号を受け取ったタイミングで路面を撮像する。
座標取得部１５はＧＰＳ受信機等により構成され、車両の座標情報を取得する。取得された座標情報は路面画像と関連付けられて記憶部１７に保存される。
記憶部１７は、ＨＤＤなどの記憶媒体で構成される。この記憶部１７は、ＣＰＵ１２を制御するためのプログラムを保存するプログラム保存領域１７１と、撮像部１３で撮像された画像データを保存する画像データ保存領域１７２と、座標取得部１５で取得される車両の座標データ等を保存する座標データ保存領域１７３とで概略構成される。

制御部２１は、ＣＰＵ２２を備える。路面標示計測装置２０に備えられる各要素はバスラインを介してこのＣＰＵ２２に接続され、その制御を受ける。ＣＰＵ２２を動作させるためのプログラムは記憶部２７に保存されており、ＣＰＵ２２は当該プログラムを読み出して所定の動作を行うこととなる。

路面標示抽出部２３は、撮像部１３で撮像された画像をもとに路面標示の特定点を抽出する。図３は撮像部１３で撮像された画像の一例である。図４は図３の画像から特定点を抽出する場合の抽出手段を示す図である。中心点から所定の間隔のもとに同心円を設定し、同心円上の明度について、所定のしきい値以上のものを検出する。
図５は検出された明度と、距離と、角度の関係を示す図である。路面標示が白色であれば、明度の強度が強く、図のような結果が得られる。路面標示以外の部分（例えば、アスファルトなど）は、得られる明度が所定のしきい値よりも低いため、特定点の抽出の対象にはならない。
なお、路面標示抽出部２３は白色又は黄色の区別も可能であり、明度の強度により判別する。判別された色は、路面標示認識部で認識される路面標示の認識時の判断材料として利用される。
路面標示認識部２４は、路面標示抽出部２３で抽出された特定点の配置に基づいて路面標示のパターンを認識する。例えば、図５に示すように角度θ1について、特定点が所定の間隔で抽出されているときは、記憶部２７の標準パターン保存領域２７４に保存されている標準パターンの中から、ある角度について所定の間隔で特定点が抽出されるときの標準パターン（直線）と一致するかを判断し、一致するようであれば、θ１には直線があると認識されることとなる。

表示部２５は、ディスプレイ等で構成され、撮像部１３で撮像された画像等を表示する。
演算部２６は、撮像部１３で撮像された画像から特定点を抽出するときに必要となる演算処理を実行する。
記憶部２７は、ＨＤＤなどの記憶媒体で構成される。この記憶部２７は、ＣＰＵ２２を制御するためのプログラムを保存するプログラム保存領域２７１と、撮像部１３で撮像された画像データを保存する画像データ保存領域２７２と、路面標示抽出部２３で抽出される特定点に関するデータを保存する特定点データ保存領域２７３と、特定点の配置から路面標示を認識するときに、比較材料として使用される標準パターンを保存する標準パターン保存領域２７４と、特定点に関するデータから認識された路面標示のデータを保存する路面標示データ保存領域２７５と、座標取得部１５で取得される車両の座標データを保存する座標データ保存領域２７６とで概略構成される。

以下に、路面撮像装置１０及び路面標示計測装置２０の動作を説明する。
図６は路面撮像装置１０の動作（図６（Ａ））及び路面標示計測装置２０の動作（図６（Ｂ））を示すフローチャートである。
車両が所定の距離を移動することでパルス信号が発生し（ステップ１：Ｙ）、撮像部１３が路面を撮像する（ステップ３）。また、座標取得部１５がＧＰＳ衛星から座標情報を取得する（ステップ５）。撮像された路面画像（画像データ）と取得した座標情報（座標データ）は記憶部１７にそれぞれが関連づけられて保存される（ステップ７）。

路面標示計測装置２０は、インターフェース部２８を介して画像データ及び座標データを取得し、記憶部２７に保存する。
路面標示抽出部２３は路面画像から一定以上の明度を有する特定点を抽出する（ステップ１１）。続いて、路面標示認識部２４が抽出された特定点の配置と標準パターンとが一致するかを判断し、一致するときは（ステップ１３：Ｙ）、標準パターンを路面標示として認識する（ステップ１５）。認識された路面標示は路面標示データ保存領域２７５に保存される（ステップ１７）。一方、特定点の配置と標準パターンとが一致しないときは（ステップ１３：Ｎ）、オペレータの判断により、標準パターンに類似するものを選び出してもよい。

以上のように、撮像部に備えられる光学機器は全周画像を取得することが可能であるため、車両に隣接する車線の路面画像の撮像ができる。撮像された路面画像から路面標示を計測し、それに座標情報を付加することにより、カーナビゲーション用の道路データに路面標示を関連付けることが可能となる。

図７は本発明の他の実施例であり、撮像された画像をもとに路面標示抽出部２３が特定点を抽出する手段を示す図である。図７において、中心点から所定の間隔のもとに同心円を設定し、さらに中心点から下方向及び左右下方向に放射線を設定する。これら同心円上及び放射線上において、所定のしきい値以上の明度を有する点を解析することで特定点の抽出を行う。
図８は図７の放射線上の明度を解析することで得られた特定点の二次元プロット図である。

以下に、本実施例の動作を説明する。
図９は路面撮像装置１０の動作（図９（Ａ））及び路面標示計測装置２０の動作（図９（Ｂ））を示すフローチャートである。
車両が所定の距離を移動することでパルス信号が発生し（ステップ２１：Ｙ）、撮像部１３が路面を撮像する（ステップ２３）。また、座標取得部１５がＧＰＳ衛星から座標情報を取得する（ステップ２５）。撮像された路面画像と取得した座標情報は記憶部１７にそれぞれが関連づけられて保存される（ステップ２７）。

路面標示計測装置２０は、インターフェース部２８を介して画像データ及び座標データを取得し、それらのデータを記憶部２７に保存する。
次に、路面標示抽出部２３は路面画像の同心円上から一定以上の明度を有する特定点を抽出する（ステップ３１）。次に、放射線上から一定以上の明度を有する特定点を抽出する（ステップ３３）。続いて、路面標示認識部２４が抽出された特定点の配置と標準パターンとが一致するかを判断し、一致するときは（ステップ３５：Ｙ）、標準パターンを路面標示として認識する（ステップ３７）。認識された路面標示は路面標示データ保存領域２７５に保存される（ステップ３９）。一方、特定点の配置と標準パターンとが一致しないときは（ステップ３５：Ｎ）、オペレータの判断により、標準パターンに類似するものを選び出してもよい。

以上のように、撮像された画像の中心点から下方向及び左右下方向に放射線を設定することで、隣接する同心円上に路面標示がかからない場合であっても、特定点の検出をすることが可能となる。

この発明は、上記発明の実施の形態及び実施例の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。

図１は実施例１の路面標示計測装置の概略図である。 図２は路面撮像装置を搭載した測定用車両の一例を示す図である。（Ａ）及び（Ｂ）は遮光手段の一例である。（Ｃ）は凸面鏡を備えた撮像部の斜視図である。 図３は撮像部で撮像された路面画像の一例である。 図４は路面標示抽出部が撮像された画像をもとに特定点を抽出する手段を示す図である。 図５は図４で得られた特定点を三次元プロットにした図である。 図６は路面撮像装置１０の動作（Ａ）及び路面標示計測装置２０の動作（Ｂ）を示すフローチャートである。 図７は実施例２の路面標示計測装置を用いて、撮像された画像をもとに特定点を計測する手段を示す図である。 図８は図７で得られた特定点を二次元プロットした図である。 図９は路面撮像装置１０の動作（Ａ）及び路面標示計測装置２０の動作（Ｂ）を示すフローチャートである。 図１０は撮像部の光軸方向を車両真下に向けたときに撮像される路面画像のイメージ図である。

符号の説明

１０ 路面撮像装置、１３ 撮像部、１５ 座標取得部、２０ 路面標示計測装置、２３ 路面標示抽出部、２４ 路面標示認識部

Claims (13)

1. 車両に搭載され、地図の属性情報として使用される路面標示を計測するための路面画像を撮像する路面撮像装置であって、
   全周画像を取得可能な光学機器を備える撮像部を有する、
   ことを特徴とする路面撮像装置。
2. 前記光学機器は魚眼レンズ又は凸面鏡である、ことを特徴とする請求項１に記載の路面撮像装置。
3. 前記撮像部は前記車両の頂部に取り付けられる、ことを特徴とする請求項１に記載の路面撮像装置。
4. 前記撮像部は前記車両の前方に向けて取り付けられる、ことを特徴とする請求項１に記載の路面撮像装置。
5. 前記魚眼レンズまたは凸面鏡の光軸方向は車両の進行方向と略平行である、ことを特徴とする請求項２に記載の路面撮像装置。
6. 前記魚眼レンズまたは凸面鏡には遮光手段が設けられ、上方ないし光軸方向からの光を遮光する、ことを特徴とする請求項５に記載の路面撮像装置。
7. 車両に搭載され、地図の属性情報として使用される路面標示を計測するための路面画像を撮像する路面撮像装置であって、
   魚眼レンズ又は凸面鏡を備える撮像部を有する、
   ことを特徴とする路面撮像装置。
8. 請求項１〜７のいずれかの路面撮像装置で得られた路面画像に基づいて路面標示を計測する路面標示計測装置であって、
   路面画像から所定のルールに従い路面標示に対応する特定点を抽出する路面標示抽出部と、
   前記路面標示抽出部で抽出された前記特定点に基づいて、路面標示を認識する路面標示認識部と、
   を備えてなる、路面標示計測装置。
9. 前記路面標示抽出部は前記路面画像の中心を中心点として同心円を設定し、前記同心円上の明度を解析することで前記特定点を抽出する、ことを特徴とする請求項８に記載の路面標示計測装置。
10. 前記路面標示抽出部は前記路面画像の中心を中心点として同心円を設定し、さらに前記画像の中心点から前記画面の下方向に直線を設定し、前記同心円上及び前記直線上の明度を解析することで前記特定点を抽出する、ことを特徴とする請求項８に記載の路面標示計測装置。
11. 前記路面標示抽出部は前記路面画像の中心を中心点として同心円を設定し、さらに前記画像の中心点から複数の放射線を設定し、前記同心円上及び前記放射線上の明度を解析することで前記特定点を抽出する、ことを特徴とする請求項８に記載の路面標示計測装置。
12. 前記路面標示抽出部は前記路面画像の明度の大きさを解析することにより、路面標示の色を判定する、ことを特徴とする請求項８に記載の路面標示計測装置。
13. 前記路面標示抽出部は前記路面画像の下半分の一部又は全部の画像について走査範囲を設定し、特定点を抽出する、ことを特徴とする請求項８に記載の路面標示計測装置。