JP2021111122A - レーンマーク認識装置 - Google Patents

Abstract

【課題】特定の色のレーンマークの認識精度を向上させることのできるレーンマーク認識装置を提供する。【解決手段】車載ステレオカメラ装置（RCCCレイヤを持つ撮像素子を有するカメラ装置）１０１により取得された画像から得られる視差画像から路面上のレーンマークの情報を取得し、前記レーンマークの情報に基づいて推定された路面領域の第１の色成分（例えば黄成分）が占める割合を取得し、前記第１の色成分（例えば黄成分）の割合に基づいて、前記レーンマークの第２の色成分（例えば黄成分）を認識するための閾値を変更する。【選択図】図３

Description

本発明は、レーンマーク認識装置に係り、例えば、ステレオカメラシステムなどのセンシングシステムのためのレーンマーク認識に関する。

近年、車載カメラ装置の普及により、安全運転や自動運転に向けた各種認識機能への要求が高まってきている。なかでも、ステレオカメラ装置は、画像に依る視覚的な情報と、画像内の対象物への距離情報を同時に計測するため、車両周辺の様々な対象物（人、車、立体物、路面、路面標識、看板標識など）を詳細に把握でき、運転支援時の安全性の向上にも寄与するとされている。例えば、運転支援機能として、路面上のレーンマークを認識し、車線中央に沿った走行を支援するLKA（Lane Keeping Assist）などが挙げられ、そのような機能の性能向上のためのレーンマーク認識技術の需要が高まっている。

従来から、車両に搭載され、車両の前方の状況を認識する車載カメラ装置に関する様々な技術・装置が提案されてきた。例えば、レーンマーク認識の性能向上に関しては、路面への光の照射状態が部分的に異なっている場合でも、レーンマークを精度よく認識する技術として、特許文献１が挙げられる。

特開２００７−２６１０６号公報

特許文献１に所載の従来技術では、複数画素を包含するエリアの移動方向先端部分の第１画素の色成分を、第１画素とともにエリアに包含される第２画素の輝度値を基準に補正し、補正された第１画素の色成分に基づき注目色に応じた第１画素の特徴量を算出することで、路面画像において該注目色のレーンマークを認識する。

しかしながら、上述した従来技術では、路面部分にさす影や光の影響により、路面の色が第１画素の色成分に十分に反映されず、第１画素における注目色に応じた特徴量が抑制され、当該注目色のレーンマークの認識精度が低下するおそれがある。

本発明は、上記事情に鑑みてなされたもので、その目的とするところは、特定の色のレーンマークの認識精度を向上させることのできるレーンマーク認識装置を提供することにある。

上記課題を解決するため、本発明に係るレーンマーク認識装置は、カメラ装置により取得された画像から得られる視差画像を用いて路面上のレーンマークを認識するレーンマーク認識装置であって、前記視差画像から前記レーンマークの情報を取得し、前記レーンマークの情報に基づいて推定された路面領域の第１の色成分が占める割合を取得し、前記第１の色成分の割合に基づいて、前記レーンマークの第２の色成分を認識するための閾値を変更することを特徴とする。

本発明によれば、例えば夜間でも特定の色のレーンマークを精度よくまたはより確実に認識することが可能となる。例えば、白色のレーンマークである白線を黄色のレーンマークである黄線と認識してしまう可能性を低くすることができ、夜間でも白線と黄線を精度よく識別することができる。これにより、例えば夜間でも、複数の色のレーンマークがある路面の中から特定の色のレーンマークに基づいた車両制御が可能となる。例えば、欧州の工事区間において、一時的に車線として区画された車線を正確に追従した車線維持制御が可能となる。

上記した以外の課題、構成および効果は以下の実施形態の説明により明らかにされる。

本発明の実施例に係る車載ステレオカメラシステムの搭載概要を示す図である。 本発明の実施例に係る車載ステレオカメラシステムの内部構成（機能ブロック構成）を示すブロック図である。 本実施例の画像信号処理ユニットの内部構成（機能ブロック構成）を示すブロック図である。 RCCCとRGGBのレイヤ配列の一例を示す図である。 RCCCにおけるRとCによる色分布を示す図である。 視差処理の概要を示す図である。 路面画像を説明する図である。 光による影響で特定部分の黄成分の変化を示す図である。 黄線判定用の閾値の変動を説明する図である。

以下、本発明の実施形態について図面を用いて説明する。なお、各図において同じ機能を有する部分には同じ符号を付して繰り返し説明は省略する場合がある。

図１は、本発明の実施例に係る車載ステレオカメラ装置１０１を備える車載ステレオカメラシステム１００の搭載概要を示す図である。

図示実施例の車載ステレオカメラシステム１００において、車載ステレオカメラ装置１０１は、車両前方上部のフロントガラスの手前に設置される。車載ステレオカメラシステム１００は、前記車載ステレオカメラ装置１０１が画像信号処理ユニット１０２や制御ユニット１０３を通して車内ネットワークとつながり、アクセル１０５、ブレーキ１０６、ステアリング１０４などを制御する。車載ステレオカメラシステム１００は、これら（１０１〜１０６）が車両１０７に搭載されるという形態を持つ。また、画像信号処理ユニット１０２と制御ユニット１０３については、車載スレテオカメラ装置１０１自身が処理を兼ねることもあり、装置として省略することもできる。

図２は、本発明の実施例に係る車載ステレオカメラシステム１００の内部構成（機能ブロック構成）、特にそのうちの車載ステレオカメラ装置１０１および画像信号処理ユニット１０２の内部構成（機能ブロック構成）を示すブロック図である。

車載ステレオカメラ装置１０１は、画像情報を取得する左右に（横並びに）配置された２つのカメラ２０１、２０２（左カメラ２０１、右カメラ２０２）を持つ。２つのカメラ２０１、２０２は、視野（撮像領域）の一部が重なるように車両１０７の前方上部のフロントガラスの手前に設置される。

なお、本実施例では、車載ステレオカメラ装置１０１を構成する２つのカメラ２０１、２０２は、車両１０７の前方上部に設置されて車両１０７の前方を撮像する（換言すれば、車両１０７の前方の画像（情報）を取得する）ようになっているが、車両１０７の後方や側方を撮像するようにしてもよいことは当然である。

画像信号処理ユニット１０２は、カメラ２０１、２０２の撮像を制御して、撮像した画像を取り込むための画像入力インタフェース２０３を持つ。この画像入力インタフェース２０３を通して取り込まれた画像は、バス２０９を通してデータが送られ、画像処理部２０４や演算処理部２０５で処理され、処理途中の結果や最終結果となる画像データなどが記憶部２０６に記憶される。

画像処理部２０４は、カメラ２０１の撮像素子から得られる第１の画像（左画像）と、カメラ２０２の撮像素子から得られる第２の画像（右画像）とを比較して、それぞれの画像に対して、撮像素子に起因するデバイス固有の偏差の補正や、ノイズ補間などの画像補正を行い、これを記憶部２０６に記憶する。本実施例では、画像処理の補正による空間解像度の低下を最小限にすることができ、感度の高さから夜間などの光源が乏しい状況において従来のRGGBレイヤより優位となるRCCCレイヤを採用する（図４参照）。更に、画像処理部２０４は、第１および第２の画像の間で、相互に対応する箇所を計算して、視差情報（視差画像）を計算し、先程と同様に、これを記憶部２０６に記憶する。

演算処理部２０５は、記憶部２０６に蓄えられた画像および視差情報（画像上の各点に対する距離情報）を使い、車両１０７周辺の環境を知覚するために必要な認識（例えば、レーンマーク、歩行者、車両、その他立体物、信号、標識など）を行う。これら認識結果や中間的な計算結果の一部が、先程と同様に記憶部２０６に記録される。

撮像した画像に対して前述の認識を行った後に、制御処理部２０８は、これら認識結果を用いて車両１０７の制御方針を計算する。

計算の結果として得られた車両１０７の制御方針や、レーンマークなどの認識結果の一部はＣＡＮインタフェース２０７を通して、外部の車載ネットワークＣＡＮ２１０に伝えられ、これにより制御ユニット１０３を介して車両１０７の制動（アクセル１０５、ブレーキ１０６、ステアリング１０４などの制御）が行われる。

前述したように、画像信号処理ユニット１０２では、カメラ２０１、２０２から取り込んだ画像から得られる視差情報（視差画像）を用いて車両１０７周辺の様々な対象物を認識し、その認識結果に基づいて車両１０７の制御方針を計算するが、以下では、そのうち路面上に設けられたレーンマークを認識する処理について詳細に説明する。

図３は、本実施例の画像信号処理ユニット（レーンマーク認識装置）１０２の内部構成（機能ブロック構成）を示すブロック図である。

本実施例のレーンマーク認識装置である画像信号処理ユニット１０２は、レーンマーク認識処理を実行するための機能ブロックとして、左画像取得部３０１、右画像取得部３０２、視差画像生成部３０３、レーンマーク検出部３０４、路面推定部３０５、路面色判定部３０６、レーンマーク色判定部３０７、車両制御部３０８を有する。例えば、左画像取得部３０１および右画像取得部３０２は、図２の画像入力インタフェース２０３、視差画像生成部３０３は、図２の画像処理部２０４、レーンマーク検出部３０４、路面推定部３０５、路面色判定部３０６、およびレーンマーク色判定部３０７は、図２の演算処理部２０５、車両制御部３０８は、図２の制御処理部２０８に内蔵される。

前述したように、本実施例では、車載ステレオカメラ装置１０１を構成するカメラ２０１、２０２は、光源が乏しい状況において従来のRGGBレイヤより優位となるRCCCレイヤを持つ撮像素子を有する。

図４に、RCCCレイヤとRGGBレイヤの配列の一例を示す。また、図５に、RCCCにおけるR（赤）素子とC（クリア）素子を用いた色分布を示す。図５において、縦軸はRCCCにおけるR（赤）とC（クリア）の比率を表し、横軸はRCCCにおけるC（クリア）の輝度値を表す。図５に示すように、R（赤）とC（クリア）の比率およびC（クリア）の輝度値から、カメラ２０１、２０２で取得した画像内の特定の色成分を抽出・判定することが可能である。

しかし、この場合、図５に示すように、例えば車両１０７のヘッドライトなどの光に照らされた白線は、黄成分として抽出されて黄線と判断される場合がある。

そこで、本実施例の画像信号処理ユニット（レーンマーク認識装置）１０２では、上述した各部において、以下で述べる各処理が実行される。なお、本処理は、主に白成分で構成されるレーンマークである白線と路面とが、同様に無彩色であることを前提としている。

まず、左画像取得部３０１および右画像取得部３０２は、左右のカメラ２０１、２０２から車両前方の路面画像（路面を映した画像）（図７参照）をそれぞれ取得する。

次に、視差画像生成部３０３は、左画像取得部３０１および右画像取得部３０２で取得した左右２つの路面画像をお互いに照合することで、視差を計算する。

図６を用いて視差計算のプロセスを述べる。

まず、左右の画像で視差計算の対象エリアとなるのが４０１と４０４である。ここで、画像４０１をある一定の小領域に分割し、着目する小領域に対応する部分を画像４０４の中から探すプロセスが、視差計算のプロセスである。具体的には、画像４０１上の着目する小領域と同じサイズの画像４０２を画像４０４から切り出し、この切出し範囲を矢印４０３のように横にシフトして、最も良く照合する場所を探すのが、視差の照合処理となる。

次に、レーンマーク検出部３０４は、視差画像生成部３０３の計算の結果、得られた視差情報（視差を含む視差画像）と、左右の路面画像または一方の路面画像を使い、レーンマーク認識を行う。レーンマーク検出部３０４は、例えば、左右画像もしくは一方の画像のC画像から輝度変化部分を抽出し、レーンマークのエッジを検出する。そして、レーンマーク検出部３０４は、検出したレーンマーク部分の距離情報を視差画像生成部３０３より算出した視差（視差画像）を基に二次元座標から世界座標に変換して登録する。また、レーンマーク検出部３０４は、検出したレーンマーク部分のR画像とC画像を参照し、画素のRとCの比率およびCの輝度値を基に（図５参照）、特定色成分（例えば黄成分）がレーンマーク部分を占める割合を登録する。

路面推定部３０５は、レーンマーク検出部３０４で検出（取得）したレーンマークの情報（距離情報）から、路面上のレーンマークの形状および路面勾配を算出し、路面画像における路面領域を推定する。

路面色判定部３０６は、路面推定部３０５で推定した路面領域の画素のRとCの比率およびCの輝度値から画素の色を求め、その路面領域の特定色成分（例えば黄成分）の占める割合を算出して登録する。

ここで、路面領域とは、検出されたレーンマークから一定距離車線中央方向に離れた領域をさす。

図７は、本実施例の路面画像を説明する図である。

図７は、左右のカメラ２０１、２０２の一方から得られた路面画像５０６を表し、白色のレーンマーク（つまり、白線）５０４と白色以外の特定色、例えば黄色のレーンマーク（つまり、黄線）５０５が存在する。図７中、光照射範囲５０３は、光、例えば車両１０７のヘッドライトによる光が照射される領域である。レーンマーク色成分抽出範囲５０１は、レーンマーク検出部３０４にて画素の色を抽出するレーンマークの範囲を表し、路面色成分抽出範囲５０２は、路面色判定部３０６にて画素の色を抽出する路面領域（路面推定部３０５にて推定）の範囲を表す。図７に示すように、路面色成分抽出範囲５０２は、レーンマーク色成分抽出範囲５０１から所定距離車線中央方向に離れた領域（一例として、レーンマーク色成分抽出範囲５０１の数cm程度内側から数十cm〜1m程度内側までの領域）に設定される。

レーンマーク色判定部３０７は、路面色判定部３０６にて登録された特定色の色成分（例えば黄成分）が占める割合から、レーンマーク部分が特定色かを判定する閾値を設定する。ここで、判定精度を向上させるために、路面領域における特定色が占める割合は複数フレーム間の平均値を利用する。レーンマーク色判定部３０７は、設定された閾値とレーンマーク検出部３０４にて登録された特定色の色成分が占める割合を比較することで、レーンマークが特定色かどうかの判定を行う。例えば、検出した路面部分の黄成分の割合が30％の時、その50％分（30/2=15%）加算した45％（30+15=45%）をレーンマーク部分の黄線判定の閾値として使用することで、レーンマークの色を判定する。

図８に、ヘッドライトなどの光の影響による路面、白線、および黄線における黄成分の変化（増加）を示す。図５でも説明したように、ヘッドライトなどの光の影響により、白線部分に光による影響（黄成分増加の影響）が加わるため、黄線判定のために予め設定された固定の閾値６０１では、白線を黄線として誤認識してしまう可能性がある。

図９に、レーンマーク色判定部３０７による黄線判定用の閾値の変動（可変設定）を示す。前述したレーンマーク色判定部３０７の処理によって、従来の黄線判定用の閾値６０１が、路面黄成分の割合を基準として黄線判定用の閾値６０２となる（増加される）。そのため、ヘッドライトなどの光の影響により、白線を黄線として誤認識してしまう可能性を低減することが可能となる。

なお、閾値設定において考慮されるヘッドライト、街灯、夕日などの環境光などの光による影響（黄成分増加の影響）の大きさは、昼夜やトンネル内外、周囲照明などの周囲環境の明るさに応じて変化するため、レーンマーク色判定部３０７の上記処理によって、昼夜やトンネル内外、周囲照明などの周囲環境の明るさに応じた適正な閾値（例えば黄線判定用の閾値）が可変設定されることになる。

車両制御部３０８は、レーンマーク検出部３０４およびレーンマーク色判定部３０７で検出したレーンマークの情報（距離情報、色成分情報など）を基に、車線における自車位置を算出し、車線中央を維持するように、ステアリング１０４（図１）などを制御するための制御信号を生成する。また、車両制御部３０８は、黄線と白線が同時に存在する場合は、黄線を優先して進行路のレーンマークとして利用する。これにより、複数の色のレーンマークがある路面の中から特定の色のレーンマークに基づいた車両制御が可能となる。

なお、上述した実施例では、無彩色である白線と黄線を識別する場合を例示したが、本実施例は、白線と白線以外の適宜のレーンマーク（青線など）を識別する場合にも適用可能であることは勿論である。また、上述した実施例では、レーンマークの距離情報に基づいて推定された路面領域の黄成分が占める割合を取得し、取得した黄成分の割合に基づいて、レーンマークの黄成分を認識するための閾値（黄線判定用の閾値）を変更する場合、換言すれば、路面領域における抽出・認識対象の色成分とレーンマークにおける抽出・認識対象の色成分とが同じである場合を例示したが、それらが異なる場合にも適用可能である。

以上で説明したように、本実施例の画像信号処理ユニット（レーンマーク認識装置）１０２は、車載ステレオカメラ装置（RCCCレイヤを持つ撮像素子を有するカメラ装置）１０１により取得された画像から得られる視差画像から路面上のレーンマークの情報を取得し、前記レーンマークの情報に基づいて推定された路面領域の第１の色成分（例えば黄成分）が占める割合を取得し、前記第１の色成分（例えば黄成分）の割合に基づいて、前記レーンマークの第２の色成分（例えば黄成分）を認識するための閾値を変更する。

すなわち、本実施例の画像信号処理ユニット（レーンマーク認識装置）１０２は、認識した路面画像から、路面部分の特定の色成分を抽出し、路面部分における特定の色成分を反映させた閾値を設定することでレーンマークの色を特定する。例えば、本実施例では、認識した路面領域から黄色成分の割合を抽出し、その黄色成分の割合に対応した閾値を設定することで、黄色のレーンマークを認識する。

本実施例によれば、例えば車両のヘッドライトや街灯の影響が生じる夜間でも特定の色のレーンマークを精度よくまたはより確実に認識することが可能となる。例えば、白色のレーンマークである白線を黄色のレーンマークである黄線と認識してしまう可能性を低くすることができ、夜間でも白線と黄線を精度よく識別することができる。これにより、例えば車両のヘッドライトや街灯の影響が生じる夜間でも、複数の色のレーンマークがある路面の中から特定の色のレーンマークに基づいた車両制御が可能となる。例えば、欧州の工事区間において、一時的に車線として区画された車線を正確に追従した車線維持制御が可能となる。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００ 車載ステレオカメラシステム
１０１ 車載ステレオカメラ装置（カメラ装置）
１０２ 画像信号処理ユニット（レーンマーク認識装置）
１０３ 制御ユニット
１０４ ステアリング
１０５ アクセル
１０６ ブレーキ
１０７ 車両
２０１ 左カメラ
２０２ 右カメラ
２０３ 画像入力インタフェース
２０４ 画像処理部
２０５ 演算処理部
２０６ 記憶部
２０７ ＣＡＮインタフェース
２０８ 制御処理部
２０９ バス
２１０ 車載ネットワークＣＡＮ
３０１ 左画像取得部
３０２ 右画像取得部
３０３ 視差画像生成部
３０４ レーンマーク検出部
３０５ 路面推定部
３０６ 路面色判定部
３０７ レーンマーク色判定部
３０８ 車両制御部

Claims (4)

1. カメラ装置により取得された画像から得られる視差画像を用いて路面上のレーンマークを認識するレーンマーク認識装置であって、
   前記視差画像から前記レーンマークの情報を取得し、
   前記レーンマークの情報に基づいて推定された路面領域の第１の色成分が占める割合を取得し、
   前記第１の色成分の割合に基づいて、前記レーンマークの第２の色成分を認識するための閾値を変更することを特徴とするレーンマーク認識装置。
2. 請求項１に記載のレーンマーク認識装置において、
   前記レーンマークの情報に基づいて推定された路面領域の黄成分が占める割合を取得し、
   前記黄成分の割合に基づいて、前記レーンマークの黄成分を認識するための閾値を変更することを特徴とするレーンマーク認識装置。
3. 請求項１に記載のレーンマーク認識装置において、
   前記路面領域は、前記レーンマークから所定距離離れた領域であることを特徴とするレーンマーク認識装置。
4. 請求項１に記載のレーンマーク認識装置において、
   前記カメラ装置は、RCCCレイヤを持つ撮像素子を有することを特徴とするレーンマーク認識装置。

Images