JP2022123469A - 路面標示認識方法及び路面標示認識装置 - Google Patents

Abstract

【課題】路面標示を精度よく認識することが可能な路面標示認識方法及び路面標示認識装置を提供する。
【解決手段】路面標示認識装置１は自車両の周囲を異なるタイミングで複数回撮像するカメラ１０と、カメラ１０によって異なるタイミングで撮像された複数の画像を処理するコントローラ２０とを備える。コントローラ２０は、複数の画像を用いてオプティカルフローを算出し、算出されたオプティカルフローが長い場合、短い場合と比較して多くの画像を複数の画像の中から選択し、選択された画像の中から所定以上の輝度を有する画素を選択し、選択された画素を用いて１枚の合成画像を生成し、生成された合成画像を用いて路面標示を認識する。
【選択図】図１

Description

本発明は、路面標示認識方法及び路面標示認識装置に関する。

従来より、路面標示を認識する発明として特許文献１に記載された発明が知られている。特許文献１に記載された発明は車速に基づいて撮影された異なる時間点の画像を合成して、白線などの車線標示線（車線区分線）を伸長させた画像を生成し、生成した画像から車線標示線を検出する。

米国特許第７，４１５，１３４ Ｂ２号

しかしながら、特許文献１に記載された発明では実際の車線区分線が破線である場合であっても合成で生成された画像の車線区分線が実線になったり、車線区分線以外の路面標示に適用した場合には矢印線が二重になったりするおそれがある。

本発明は、上記問題に鑑みて成されたものであり、その目的は、路面標示を精度よく認識することが可能な路面標示認識方法及び路面標示認識装置を提供することである。

本発明の一態様に係る路面標示認識方法は、複数の画像を用いてオプティカルフローを算出し、算出されたオプティカルフローが長い場合、短い場合と比較して多くの画像を複数の画像の中から選択し、選択された画像の中から所定以上の輝度を有する画素を選択し、選択された画素を用いて１枚の合成画像を生成し、生成された合成画像を用いて路面標示を認識する。

本発明によれば、路面標示を精度よく認識することが可能となる。

図１は、本発明の実施形態に係る路面標示認識装置１の構成図である。 図２は、静止物領域の一例を説明する図である。 図３は、画像選択方法の一例を説明する図である。 図４は、小領域４１における輝度の算出方法の一例を説明する図である。 図５は、もっとも輝度が高い画像の一例を説明する図である。 図６は、合成画像の一例を説明する図である。 図７は、路面標示認識装置１の一動作例を説明するフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

図１を参照して路面標示認識装置１の構成例を説明する。図１に示すように、路面標示認識装置１は、カメラ１０と、ヨーレートセンサ１１と、コントローラ２０と、ステアリングアクチュエータ１２と、アクセルペダルアクチュエータ１３と、ブレーキアクチュエータ１４を備える。

路面標示認識装置１は自動運転機能を有する車両に搭載されてもよく、自動運転機能を有しない車両に搭載されてもよい。また、路面標示認識装置１は自動運転と手動運転とを切り替えることが可能な車両に搭載されてもよい。また、自動運転機能は操舵制御、制動力制御、駆動力制御などの車両制御機能のうちの一部の機能のみを自動的に制御して運転者の運転を支援する運転支援機能であってもよい。本実施形態では路面標示認識装置１は自動運転機能を有する車両に搭載されるものとして説明する。

カメラ１０はＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有する。カメラ１０の設置場所は特に限定されないが、一例としてカメラ１０は自車両の前方、側方、後方に設置される。カメラ１０は所定の周期で自車両の周囲を連続的に撮像する。つまりカメラ１０は異なるタイミングで撮像した複数の画像を取得する。カメラ１０は自車両の周囲に存在する物体（歩行者、自転車、バイク、他車両など）、及び自車両の前方の情報（区画線、信号機、標識、横断歩道、交差点など）を検出する。カメラ１０によって撮像された画像はコントローラ２０に出力される。

ヨーレートセンサ１１は自車両のヨーレート（旋回方向への回転角の変化速度）を検出する。ヨーレートセンサ１１は検出したヨーレートをコントローラ２０に出力する。

コントローラ２０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、路面標示認識装置１として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは路面標示認識装置１が備える複数の情報処理回路として機能する。なおここでは、ソフトウェアによって路面標示認識装置１が備える複数の情報処理回路を実現する例を示すが、もちろん以下に示す各情報処理を実行するための専用のハードウェアを用意して情報処理回路を構成することも可能である。また複数の情報処理回路を個別のハードウェアにより構成してもよい。コントローラ２０は、複数の情報処理回路の一例として、オプティカルフロー算出部２１と、距離算出部２２と、挙動算出部２３と、静止物領域設定部２４と、画像選択部２５と、輝度算出部２６と、画像合成部２７と、道路構造物認識部２８と、車両制御部２９を備える。

オプティカルフロー算出部２１は、過去の画像と現在の画像とを用いて、画像中の物体がどの程度動いたかを算出する。オプティカルフローとは、画像中における物体の動きをベクトルで表すものである。算出方法の一例を説明する。時刻Ｔ１で撮像された画像を画像Ｉ１、時刻Ｔ２で撮像された画像を画像Ｉ２とする。時刻Ｔ１＜時刻Ｔ２とする。オプティカルフロー算出部２１は画像Ｉ１を任意の大きさに区分する。任意の大きさは特に限定されないが、ここでは画像の横方向の大きさをＮ画素、画像の縦方向の大きさをＭ画素とする。任意の大きさはＮ×Ｍとなる。オプティカルフロー算出部２１は画像Ｉ１の領域（Ｎ×Ｍ）と、画像Ｉ２の領域（Ｎ×Ｍ）とを比較する。比較方法として、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）などが知られている。これらの方法は周知技術であるため説明は省略する。オプティカルフロー算出部２１は、過去の画像上の特徴点に対応する実空間中の対象と同一の対象に対応する現在の画像上の特徴点を、関連する特徴点として検出する。オプティカルフロー算出部２１は、互いに関連する、過去の画像上の特徴点と現在の画像上の特徴点との組み合わせをオプティカルフローとして算出する。

距離算出部２２は、互いに関連する過去の画像上の特徴点と現在の画像上の特徴点の視差（ずれ量）から、カメラ１０から特徴点に対応する物体までの距離を算出する。換言すれば、距離算出部２２は、自車両から特徴点に対応する物体までの距離を算出する。距離算出部２２は、互いに関連する過去の画像上の特徴点と現在の画像上の特徴点との視差から、これらの特徴点に対応する実空間中の３次元座標を算出する。なお距離算出部２２はレーダまたはライダをカメラ１０と組み合わせて物体までの距離を算出してもよい。

挙動算出部２３は、自車両の３軸並進運動及び３軸回転運動を算出する。３軸並進運動は、自車両の前後方向、車幅方向、上下方向の運動である。３軸回転運動は、ロール軸、ピッチ軸及びヨー軸を含む３軸回りの回転運動である。これらの運動は車輪速センサ、加速度センサ、回転センサなどを用いて算出される。あるいはこれらの運動は画像を用いて算出される。画像を用いた算出方法として、非特許文献１「ＫＩＴＴ，Ｂｅｒｎｄ；ＧＥＩＧＥＲ，Ａｎｄｒｅａｓ；ＬＡＴＥＧＡＨＮ，Ｈｅｎｎｉｎｇ．Ｖｉｓｕａｌ ｏｄｏｍｅｔｒｙ ｂａｓｅｄ ｏｎ ｓｔｅｒｅｏ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ ｗｉｔｈ ｒａｎｓａｃ－ｂａｓｅｄ ｏｕｔｌｉｅｒ ｒｅｊｅｃｔｉｏｎ ｓｃｈｅｍｅ．Ｉｎ：２０１０ ｉｅｅｅ ｉｎｔｅｌｌｉｇｅｎｔ ｖｅｈｉｃｌｅｓ ｓｙｍｐｏｓｉｕｍ．ＩＥＥＥ，２０１０．ｐ．４８６－４９２．」が知られている。

静止物領域設定部２４は、オプティカルフロー算出部２１によるオプティカルフローと、距離算出部２２による算出結果と、挙動算出部２３による算出結果を組み合わせて、自車両の挙動を排除した３次元移動量（３次元運動ベクトル）を算出する。静止物領域設定部２４は、算出した絶対移動量と閾値とを比較する。移動量が閾値より大きい場合、その領域には他車両などの移動物体が存在する領域と判定される。静止物領域設定部２４は画像から移動物体が存在する領域を除外する。これにより移動物体が存在しない静止物領域が設定される。

画像選択部２５はオプティカルフロー算出部２１によって算出されたオプティカルフローの大きさに応じて複数の画像の中から合成に用いる画像を選択する。

輝度算出部２６は所定の領域に対してオプティカルフローに直交する方向の輝度を算出する。

画像合成部２７は輝度算出部２６によって算出された輝度がもっとも高い画素を用いて１枚の画像を生成する。画像合成部２７は生成した画像を道路構造物認識部２８に出力する。

道路構造物認識部２８は、画像合成部２７から入力された画像を用いて道路構造物を認識する。本実施形態において道路構造物とは路面標示を意味する。路面標示とは法律、法令、または規則などで定められている標示であって、代表的には走行区分線（いわゆる白線）、進行方向を示す矢印線、安全地帯又は路上障害物接近に接近しつつあることを示す線などである。

車両制御部２９は、道路構造物認識部２８によって認識された路面標示に基づいてステアリングアクチュエータ１２、アクセルペダルアクチュエータ１３、及び、ブレーキアクチュエータ１４を制御する。

次に図２を参照して静止物領域の設定方法の一例を説明する。

図２に示す画像３０は、自車両が走行しているときにカメラ１０によって撮像された画像である。図２に示すシーンにおいて、自車両は２車線道路のうち右側車線を走行している。自車両から見て自車両が走行する車線上の前方に他車両が存在する。また隣接する対向車線にも他車両が存在する。静止物領域設定部２４は上述した方法で他車両（移動物体）が存在する領域４０を画像３０から除外して静止物領域を設定する。

次に図３を参照して画像選択方法の一例を説明する。

画像選択部２５はオプティカルフローの大きさに応じて複数の画像の中から合成に用いる画像を選択する。図３の例では複数の画像の枚数は、画像３０、３０ａ～３０ｏの１６枚である。図３の画像３０に示すように、自車両の周囲の路面標示はかすれている。具体的には、右側車線と左側車線を区分する走行区分線はかすれており、自車両が走行する車線上の矢印線もかすれており、自車両右側の線（安全地帯又は路上障害物接近に接近しつつあることを示す線）もかすれている。このように道路上の路面標示がかすれている場合がある。自動運転において路面標示の重要性はいうまでもなく、したがって路面標示がかすれている場合、コントローラ２０が路面標示を認識可能な程度に画像処理することが求められる。

走行中に同じ風景を異なるタイミングで高速で撮像した場合、風景は自車両の進行方向とは逆方向に流れるため、同じ観測点においてある画像では路面標示がかすれている一方で、別の画像では路面標示が鮮明である場合がある。そこで本実施形態では複数の画像の中から路面標示が鮮明に映っている画像を選択する。ここで路面標示が鮮明に映っている、というのはある画像の一部において見受けられることが通常である。画像３０を格子状に細かく分解（例えば各画素あるいは縦横数画素の領域で分解）した場合を考える。この場合、分解した一つ一つの小領域において、路面標示がもっとも鮮明に映っている画像を選択することが好ましい。よって本実施形態ではある小領域において路面標示がもっとも鮮明に映っている画像を選択する。ただし合成に用いられるのは、その画像全部ではなく、あくまで路面標示がもっとも鮮明に映っている一部分の画素データである。よって路面標示がもっとも鮮明に映っている画像を選択するとは、より詳細には１６枚の画像の中から、ある一部分において路面標示がもっとも鮮明に映っている画像を選択することを意味する。小領域の分解方法は特に限定されないが、路面標示の一部を認識しうる程度の大きさに分解すればよい。

オプティカルフローは、通常自車両に近いほど長く、自車両から遠いほど短い。これは自車両に近いほど風景の変化が早く、自車両から遠いほど風景の変化が遅いからである。画像選択部２５はオプティカルフローが長いほど多くの画像を選択する。一方画像選択部２５はオプティカルフローが短いほど選択する画像を少なくする。図３に示すように、画像３０を上半分の領域Ｒ１と下半分の領域Ｒ２に分けた場合を考える。この場合、領域Ｒ１のオプティカルフローは領域Ｒ２のオプティカルフローより短い。よって図３に示すように領域Ｒ１では画像が１つ飛びで間引きされる形で選択される。一方領域Ｒ２では１６枚のすべての画像が選択される。領域Ｒ１で間引きする理由は、風景の変化が遅いから路面標示が鮮明に映っている部分が検出されにくいことと、演算処理負荷を軽減するためである。一方で領域Ｒ２で１６枚のすべての画像を選択する理由は、風景の変化が早いから路面標示が鮮明に映っている部分が検出されやすいためである。領域Ｒ１では８枚の画像の中からそれぞれの小領域において路面標示がもっとも鮮明に映っている画像が選択される。領域Ｒ２では１６枚の画像の中からそれぞれの小領域において路面標示がもっとも鮮明に映っている画像が選択される。なお８枚、１６枚というのは例示であってこれに限定されない。オプティカルフローが長い領域ほど多くの画像が選択されれば足りる。

次の図４を参照して、ある一部分において路面標示がもっとも鮮明に映っている画像を選択する方法の一例を説明する。

図４の符号４１で示される小領域４１が上述した小領域に相当する。輝度算出部２６はこの小領域４１に対してオプティカルフローに直交する方向の輝度を算出する。より詳しくは、輝度算出部２６は画像３０、３０ａ～３０ｏの１６枚すべての画像の小領域４１に対して輝度を算出する。路面標示が鮮明に映っているほど輝度が高くなる。図５に示すように画像３０、３０ａ～３０ｏのうち、小領域４１において、もっとも輝度が高い画像が画像３０ｅだったと仮定する。この場合画像合成部２７は小領域４１については画像３０ｅの画素５０を用いる。他の小領域についても同様の処理が繰り返される。画像合成部２７は、領域Ｒ１のそれぞれの小領域については、８枚の画像の中からもっとも輝度が高い画素を選択し、領域Ｒ２のそれぞれの小領域については、１６枚の画像の中からもっとも輝度が高い画素を選択する。そして画像合成部２７はそれぞれの小領域について選択した画素を用いて１枚の画像を生成する。このように生成された画像は、それぞれの小領域においてもっとも輝度が高い画素で構成される。なおそれぞれの小領域においてもっとも輝度が高い画素が合成される元になる画像は、１６枚のうちもっとも先に撮像された画像、すなわち画像３０である。図６に示すように画像３０のそれぞれの小領域においてもっとも輝度が高い画素が合成された結果、合成画像６０が生成される。合成画像６０から分かるように、画像３０と比較して、右側車線と左側車線を区分する走行区分線、自車両が走行する車線上の矢印線、及び自車両右側の線（安全地帯又は路上障害物接近に接近しつつあることを示す線）が鮮明になっている。これにより路面標示の認識精度が向上する。

上述した例では自車両が直線走行している場合を想定している。走行中には右折あるいは左折する場合がある。自車両が右折あるいは左折する場合、その前後で画像に大きな変化が生じる。このため自車両が右折あるいは左折するシーンにおいて本発明を適用する場合、自車両が右折あるいは左折するまでの画像を用いればよい。例えば図３において、画像３０ｇが撮像されたタイミングで自車両が右折した場合、画像３０、３０ａ～３０ｇまでの画像を用いればよい。なお自車両が右折あるいは左折したか否かはヨーレートセンサ１１から取得したヨーレートを用いて判断すればよい。

また、それぞれの小領域において、もっとも輝度が高い画像が選択されると説明したがこれに限定されない。所定以上の輝度を有する画像が選択されてもよい。所定以上の輝度とはコントローラ２０が認識可能な輝度であればよい。

次に、図７のフローチャートを参照して、路面標示認識装置１の一動作例を説明する。

ステップＳ１０１において、自車両に搭載されたカメラ１０によって自車両の周囲が異なるタイミングで撮像される。処理はステップＳ１０３に進みコントローラ２０はヨーレートセンサ１１から自車両のヨーレートを取得する。

処理はステップＳ１０５に進み、静止物領域設定部２４は画像３０から移動物体が存在する領域４０を除外する（図２参照）。これにより移動物体が存在しない静止物領域が設定される。

処理はステップＳ１０７に進み、画像選択部２５はオプティカルフローが長いほど多くの画像を選択する。一方画像選択部２５はオプティカルフローが短いほど選択する画像を少なくする。処理はステップＳ１０９に進み、輝度算出部２６はこの小領域４１に対してオプティカルフローに直交する方向の輝度を算出する。処理はステップＳ１１１に進み、画像合成部２７は領域Ｒ１のそれぞれの小領域については、８枚の画像の中からもっとも輝度が高い画素を選択し、領域Ｒ２のそれぞれの小領域については、１６枚の画像の中からもっとも輝度が高い画素を選択する（図３～５参照）。そして画像合成部２７はそれぞれの小領域について選択した画素を用いて１枚の画像を生成する（図６参照）。

処理はステップＳ１１３に進み、道路構造物認識部２８は画像合成部２７から入力された画像を用いて路面標示を認識する。処理はステップＳ１１５に進み、車両制御部２９は道路構造物認識部２８によって認識された路面標示に基づいてステアリングアクチュエータ１２、アクセルペダルアクチュエータ１３、及びブレーキアクチュエータ１４を制御する。

（作用効果）
以上説明したように、本実施形態に係る路面標示認識装置１によれば、以下の作用効果が得られる。

路面標示認識装置１は自車両の周囲を異なるタイミングで複数回撮像するカメラ１０と、カメラ１０によって異なるタイミングで撮像された複数の画像を処理するコントローラ２０とを備える。コントローラ２０は複数の画像を用いてオプティカルフローを算出し、算出されたオプティカルフローが長い場合、短い場合と比較して多くの画像を複数の画像の中から選択する。これは例えば図３に示すようにオプティカルフローが短い領域Ｒ１では画像が１つ飛びで間引きされる形で選択され、一方オプティカルフローが長い領域Ｒ２では１６枚のすべての画像が選択されることを意味する。コントローラ２０は選択された画像の中から所定以上の輝度を有する画素を選択し、選択された画素を用いて１枚の合成画像を生成する。そしてコントローラ２０は生成された合成画像を用いて路面標示を認識する。図６に示すように合成画像６０において合成される前の画像３０と比較して右側車線と左側車線を区分する走行区分線、自車両が走行する車線上の矢印線、及び自車両右側の線（安全地帯又は路上障害物接近に接近しつつあることを示す線）が鮮明になっている。このように本実施形態によれば路面標示の認識精度が向上する。

またコントローラ２０はオプティカルフローを用いて画像から移動物体が存在する領域４０を除外する（図２参照）。これにより移動物体の影響が排除される。

またコントローラ２０はオプティカルフローに直交する方向に対して画像の輝度を算出する。これにより自車両の走行に影響を及ぼす路面標示を合成の対象とすることが可能となる。

なおコントローラ２０は自車両の進行方向に直交する方向に対して画像の輝度を算出してもよい。これにより自車両の走行に影響を及ぼす路面標示を合成の対象とすることが可能となる。

またコントローラ２０は選択された画像の中からもっとも輝度が高い画素を選択する。このようなもっとも輝度が高い画素を用いることにより合成後の画像における路面標示が鮮明になる。

なおコントローラ２０は複数の画像の中からヨーレートに基づいて画像を選択してもよい。具体的にはコントローラ２０は自車両が右折あるいは左折したと判断された場合、自車両が右折あるいは左折するまでの画像を選択し、それ以降の画像は無視してもよい。これにより自車両が右折あるいは左折した場合における画像の変化の影響を低減できる。

上述の実施形態に記載される各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や回路部品等の装置を含む。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

１ 路面標示認識装置
１０ カメラ
１１ ヨーレートセンサ
１２ ステアリングアクチュエータ
１３ アクセルペダルアクチュエータ
１４ ブレーキアクチュエータ
２０ コントローラ
２１ オプティカルフロー算出部
２２ 距離算出部
２３ 挙動算出部
２４ 静止物領域設定部
２５ 画像選択部
２６ 輝度算出部
２７ 画像合成部
２８ 道路構造物認識部
２９ 車両制御部

Claims (7)

1. 自車両の周囲を異なるタイミングで複数回撮像するカメラと、前記カメラによって異なるタイミングで撮像された複数の画像を処理するコントローラとを備える路面標示認識方法であって、
   前記コントローラは、
   前記複数の画像を用いてオプティカルフローを算出し、
   算出された前記オプティカルフローが長い場合、短い場合と比較して多くの画像を前記複数の画像の中から選択し、
   選択された画像の中から所定以上の輝度を有する画素を選択し、
   選択された前記画素を用いて１枚の合成画像を生成し、
   生成された前記合成画像を用いて路面標示を認識する
   ことを特徴とする路面標示認識方法。
2. 前記コントローラは、前記オプティカルフローを用いて前記画像から移動物体が存在する領域を除外する
   ことを特徴とする請求項１に記載の路面標示認識方法。
3. 前記コントローラは、前記オプティカルフローに直交する方向に対して前記画像の輝度を算出する
   ことを特徴とする請求項１または２に記載の路面標示認識方法。
4. 前記コントローラは、前記自車両の進行方向に直交する方向に対して前記画像の輝度を算出する
   ことを特徴とする請求項１または２に記載の路面標示認識方法。
5. 前記コントローラは、前記選択された画像の中からもっとも輝度が高い画素を選択する
   ことを特徴とする請求項１～４のいずれか１項に記載の路面標示認識方法。
6. 前記コントローラは、前記複数の画像の中から、前記自車両のヨーレートを検出するセンサから取得した前記ヨーレートに基づいて画像を選択する
   ことを特徴とする請求項１～５のいずれか１項に記載の路面標示認識方法。
7. 自車両の周囲を異なるタイミングで複数回撮像するカメラと、
   前記カメラによって異なるタイミングで撮像された複数の画像を処理するコントローラとを備え、
   前記コントローラは、
   前記複数の画像を用いてオプティカルフローを算出し、
   算出された前記オプティカルフローが長い場合、短い場合と比較して多くの画像を前記複数の画像の中から選択し、
   選択された画像の中から所定以上の輝度を有する画素を選択し、
   選択された前記画素を用いて１枚の合成画像を生成し、
   生成された前記合成画像を用いて路面標示を認識する
   ことを特徴とする路面標示認識装置。

Images