JP2003032669A - 車載用画像処理カメラ装置 - Google Patents

Abstract

(57)【要約】 【課題】特殊な光学フィルタを使用せず、認識性能の高
い車載用の画像処理カメラ装置を提供する。 【解決手段】カラーカメラ１１の色信号ＲＧＢを、画像
取り込み回路１２で個別に取り出し、マイコン１６でそ
れらの信号の組み合せをダイナミックに変更し、最大コ
ントラストの合成画像を得る。例えば、道路に引かれた
車線マーカの認識において、黄線が混在する場合には、
車線マーカのコントラストが大きくなるように赤成分と
緑成分の画像情報から、黄色の画面（Ｒ＋Ｇ）を合成
し、その合成画面に対して認識処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は車載用の画像処理カ
メラ装置に関し、特にカラーの撮像デバイスを使用した
画像の認識性能を向上するための前処理に関する。

【０００２】

【従来の技術】近年、車両に画像認識処理機能を有する
画像処理カメラを応用したシステムの開発が多くなされ
ている。例えば、図２に示すように、白線を認識する車
載用の画像処理カメラ装置は、画像処理カメラ１を車両
２のフロントガラスの内側に設置して、車両前方の路面
３を撮影する。

【０００３】図３は画像処理カメラ１で撮影した路面の
画像例で、道路の境界を示す白線３１、車線の中央分離
を示すセンターライン３２、路面３０を表示している。
３３は地平線である。

【０００４】車線認識装置は、この白線３１、３２を認
識してそれらの線分の傾きを計算することに車線に対す
る自車の向きおよび、白線３１、３２までの距離を測定
することにより、自車の横方向位置を検知する。この白
線認識結果を用いて、車線からの逸脱警報や、自動車線
維持システムなどが構築できる。このような装置の例
は、特開平１１−２４２７３５号等に詳しい。

【０００５】このような白線認識装置は、白線が明瞭に
撮像される場合には極めて安定に動作し、白線認識が行
われる。図４に白線認識の構成例を示す。画像処理装置
１は、カメラ１１で撮影された映像信号を画像取込み回
路１２およびマイコン１６に内蔵されているダイレクト
・メモリ・アクセス回路（ＤＭＡ）１６０により、書き
込み・読み出し可能なメモリ（ＲＡＭ）１４に取り込
み、読み出し専用メモリ（ＲＯＭ）１５に記憶されたプ
ログラムにしたがい、例えば、白線の認識がなされる。
認識結果は、通信ポート１６１を経由して、警報装置な
どに送り出される。

【０００６】車載環境では、撮像対象の路面の明るさが
大きく変わるため、カメラ１１の感度をダイナミックに
変更する必要がある。このため、マイコン１６から内蔵
の通信回路１６２を介して、カメラ１１に明るさを制御
するコマンドを送るようにしている。

【０００７】

【発明が解決しようとする課題】従来、白線の認識など
に使用される撮像デバイスは白黒カメラが多く用いられ
ている。カラーデバイスが用いられる場合にも、輝度信
号のみを使用するのが通例である。言い換えれば、カラ
ー情報の特性を用いて効率的に白線などの車線マーカを
認識する例は見当たらない。

【０００８】日本の道路環境においては、白線の他に黄
色線が車線マーカとして使われている。このため、白線
の認識を中心に考えると、黄色線の認識率が低下する問
題がある。この問題を、解決する方法として、例えば三
菱電機技報（Ｖｏｌ．７４，Ｎｏ．９，２０００年，頁
４３）に開示されている技術がある。同技報によれば、
特殊な光学フィルタを使うことにより黄色線の認識率の
向上を図っている。しかしながら、光学フィルタを採用
するため、光学系が複雑になる他、認識対象物の特性に
応じて、柔軟にフィルタ特性を変更することは困難であ
る。

【０００９】本発明の目的は、上記した従来技術の問題
点に鑑みなされたものであり、特殊な光学フィルタを使
用せず、認識対象に対して柔軟に対応でき、しかも認識
性能の高い車載用の画像処理カメラ装置を提供すること
にある。

【００１０】

【課題を解決するための手段】本発明では、カラーの撮
像デバイスの色信号を個別に取り出し、それらの信号の
最適な組み合せをダイナミックに変更することにより、
前記目的を達成するようにしたものである。

【００１１】例えば、道路に引かれた車線マーカの認識
において、黄線が混在する場合には、車線マーカのコン
トラストが大きくなるように赤成分と緑成分の画像情報
から、黄色の画面を合成し、その合成画面に対して認識
処理を行う。

【００１２】また、より一般的には、三原色の組み合わ
せ、すなわち、Ｒのみ，Ｇのみ、Ｂのみ、ＲとＧの和、
ＲとＢの和、ＢとＧの和，ＲとＧとＢの和の場合につい
て、それぞれ背景（例えば路面）と認識対象（例えば車
線マーカ）とのコントラストを評価し、最大のコントラ
ストが得られる組み合わせの合成画面に対して認識処理
を行う。

【００１３】本発明は車線マーカの認識に限られない。
例えば、信号機等の認識も可能である。このように、さ
まざまな環境下に適応して、コントラストの最大となる
画像を合成することにより、より良い認識結果を得るこ
とができる。

【００１４】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。図１は、一実施例による車
載用画像処理カメラ装置のブロック図を示す。本ブロッ
クは図４の従来例と基本的に同一で、同一の記号は同一
の要素である。異なる点は、カメラ部をカラー出力と
し、赤Ｒ、緑Ｇ、青Ｂの三原色を取り込む様にし、それ
にあわせて取り込み回路１２も同じような対応を行って
いるところにある。

【００１５】図５にカメラ１１の詳細な回路例を示す。
ＣＭＯＳによる画像センサ１１０、カメラの信号処理を
行うＣＤＳ／ＡＧＣ回路１１１、映像をデジタル信号に
変換するＡＤＣ１１２および制御回路１１３からなる。
ＣＤＳ／ＡＧＣ回路１１１は、外部から通信によりコマ
ンドを受けて、映像アンプのゲインを変更できる機能を
有する。ＡＤＣ１１２はＲ，Ｇ，Ｂの三原色をＡＤ変換
して出力する機能を有する。さらに制御回路１１３は外
部から通信によりコマンドを受けて、ＣＭＯＳセンサ１
１０を制御していわゆる電子シャッタ制御を行うことが
できる。最近このような回路すべてを１チップで構成さ
れた物が提供されはじめており、容易に回路を実現する
ことができる。

【００１６】本実施例では、三原色ＲＧＢで取り込む様
にしている。しかし、輝度信号と色差信号の組み合わせ
で表現された信号形式は三原色ＲＧＢと等価変換できる
ので、この信号形式を用いてもよいことは言うまでもな
い。

【００１７】図６に、マイコン１６が行なう処理動作の
フローチャートを示す。マイコン１６のプログラムはＲ
ＯＭ１５に記憶されており、電源が投入されると、ＲＯ
Ｍ１５に記憶されたプログラムが起動する。

【００１８】まず、Ｓ１０において初期化が行われる。
このステップでは、マイコンの内部のレジスタ設定、通
信回路の設定、必要に応じてＲＡＭ１４の所定領域のク
リア処理が行われる。

【００１９】次に、Ｓ１１において、カメラ１１の感度
設定が行われる。通常は、撮像結果を処理したフィード
バック処理を行うが、初期化処理の直後は、デフォルト
の感度に設定される。

【００２０】図７にカメラ感度設定の詳細フローを示
す。まず、Ｓ１１０において、初期化Ｓ１０の直後か否
かの判定を行う。初期化直後であれば、カメラ感度調整
を行うために必要な映像が取れていないので、Ｓ１１２
において、デフォルトの明るさを設定し、Ｓ１１３に移
行する。初期化直後でなければ、前回撮影した映像を使
い明るさを測定する。

【００２１】図８に明るさ測定の説明図を示す。明るさ
の測定は、画面の規定領域のデータを取り込み平均的な
明るさを計算する。例えば、晴天の空を計算の対象の入
れると、必要以上に感度を落とすことになり、結果とし
て、認識対象である車線マーカ３１、３２と路面３０を
正しく撮影できなくなる。

【００２２】例えば、撮像デバイスがＣＣＤ（Ｃｈａｒ
ｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であれば、太陽３
４が視野に入った場合、路面３０に感度を合わせると、
太陽３４の明るさにより、いわゆるスミア現象が発生
し、大きな縦縞３５が画面に現れ、場合によっては認識
対象物がスミアにより、隠されてしまう問題が発生す
る。しかし、本実施例ではＣＭＯＳセンサを使用してい
る。ＣＭＯＳセンサはＣＣＤとは異なり、映像信号の転
送方式が異なるため、スミア現象が発生し難くなるた
め、良好な認識結果が得られる。

【００２３】再び、図７に戻り説明を継続する。Ｓ１１
３においては、測定した明るさに基づき、シャッタ速度
を計算する。Ｓ１１４においては、ＡＧＣのゲイン値を
決定する。Ｓ１１５においては、上記で求めたシャッタ
速度値およびＡＧＣ値をカメラ１１に通信により送信す
る。

【００２４】なお、カメラ感度設定の方法は、いわゆる
電子シャッタの速度と映像信号の増幅器のゲイン調整を
組み合わせて行われるが、この内容については周知の技
術で対応可能である。

【００２５】次に、図６に戻って説明を継続する。Ｓ１
２においては、映像データの取り込みが行われる。これ
は、画面１枚分の映像データを赤（Ｒ）緑（Ｇ）青
（Ｂ）の各色毎にＳＲＡＭ１４に取り込む動作である。

【００２６】Ｓ１３においては、取り込まれた赤（Ｒ）
緑（Ｇ）の各色毎のデータを対応するピクセル毎に加算
を行い、ＳＲＡＭ１４の所定の領域に記憶する。しかる
後に、路面３０と車線マーカ３１、３２との間のコント
ラストを算出する。詳細は後述する。Ｓ１４において
は、同様に赤（Ｒ）緑（Ｇ）青（Ｂ）の和を求め、同様
に路面３０と車線マーカ３１、３２との間のコントラス
トを算出する。

【００２７】Ｓ１３、Ｓ１４の処理は、図９に示すよう
に、計算すれば効率的である。すなわち、メモリに記憶
されたＲとＧの加算を行いメモリの記憶する（Ｒ＋
Ｇ）。さらにＲ＋Ｇに対して、Ｂのデータを加算して同
様にＳＲＡＭ１４に記憶する。

【００２８】次に、Ｓ１３とＳ１４におけるコントラス
トの評価の方法について説明する。図１０は車両から道
路を見た画像を示す。ここでは、説明のため路肩側の車
線マーカ３１の色を白、センターライン３２を黄として
ある。この画像イメージはそのまま各色毎にメモリに取
り込まれており、上述したように、Ｒ＋ＧとＲ＋Ｇ＋Ｂ
のそれぞれについても同様な形で、メモリ上に計算され
て記憶されている。

【００２９】ここで、コントラストを評価する検査ライ
ンをメモリ上に設ける。これは、夜間走行時に、車のヘ
ッドランプにより照らされた場合に対応するものであ
り、横方向で明るさがあまり変化しないように考慮した
ものである。

【００３０】図１１に、上記検査ラインを横軸にして輝
度変化をとった例を示す。実線は、Ｒ＋Ｇ＋Ｂの輝度値
であり、破線はＲ＋Ｇの輝度値である。Ａ部は図１０の
Ａ部で白線３１に相当する輝度であり、Ｂ部は同様にセ
ンターライン３２に相当する輝度である。

【００３１】Ｒ＋Ｇ＋Ｂの場合は白線部分（Ａ部）で輝
度が高く、Ｗｒｇｂの値を取っている。また黄線部（Ｂ
部）では輝度が多少低下するため、少し低い輝度値Ｙｒ
ｇｂを取る。白線、黄線以外の路面部では、黒が主体の
ため、輝度値が低く、平均的な値Ｂｒｇｂを取る。

【００３２】一方、Ｒ＋Ｇによる輝度値分布は破線のよ
うになる。すなわち、白線部（Ａ部）では、青成分を除
去している分、Ｗｒｇｂより少し低いＷｒｇの輝度値を
取る。一方、黄線部（Ｂ部）では、もともと黄色が主体
のため、Ｙｒｇｂに対して検出輝度値の落ち込みは少な
く、Ｙｒｇの値を取る。同様に路面部分はＢｒｇｂより
も低い輝度値Ｂｒｇの値を取る。

【００３３】車線マーカ部（Ａ，Ｂ部）とそれ以外の路
面部との輝度値の比がコントラストとなる。この特性か
ら判断すると、白線部においてはＲ＋Ｇ＋ＢとＲ＋Ｇの
コントラストはあまり変化しない。一方、黄線部におい
ては、Ｒ＋Ｇのコントラストが最大となる。すなわち、
図１１のごとき特性を有する場合には、Ｒ＋Ｇの方がコ
ントラストを高く取れるため、認識しやすいということ
になる。

【００３４】図６に戻り説明を継続する。Ｓ１５では上
述したように、コントラスト特性の比較を行う。Ｓ１６
においては、Ｓ１５でより大きいコントラストが得られ
る合成画像に対して、認識を行う。Ｓ１７においては、
上位システムに認識結果を通信にて送信する。なお、白
線認識の手段は、たとえば、特開平６−３３３１９２号
などに記載されているように、映像から画像微分等の手
段を用いて、白線部分の候補点を複数求め、直線近似な
どの手段により、白線部分を推定することで実現でき
る。

【００３５】一般に昼間の場合には、図１１に示したよ
うな特性が得られるが、夜間になると明るさが低下する
ため、必ずしも、Ｒ＋Ｇが高いコントラストが得られる
保証はない。そのような場合に、Ｓ１５において、各組
み合わせの中から評価することにより、より高いコント
ラストの合成画像を使うことができる。これによれば、
固定の光学フィルタを使う方式に比べて柔軟性が高くな
る。また、本実施例では、演算処理が少なくてすむの
で、演算処理が多少遅くても目的の機能を実現できると
いう特徴も有している。

【００３６】以上は、車線マーカが白線と黄線の場合を
前提に説明したが、車線マーカがその背景である路面の
色、あるいは光線の当たり具合、例えば、夕日、朝日で
は光線のスペクトルが変わるため、より柔軟な対応が必
要になる。

【００３７】図１２に車線マーカと路面の三原色による
各輝度を示す。図１０の赤（Ｒ）の出力値で説明する
と、Ｗ１ｒは車線マーカ３１の検出輝度値であり、Ｗ２
ｒは車線マーカ３２の検出輝度値である。Ｂｒは路面３
０の検出輝度値である。緑（Ｇ）および、青（Ｂ）につ
いても同様に、Ｗ１ｇ，Ｗ２ｇ，Ｂｇ，Ｗ１ｂ、Ｗ２
ｂ，Ｂｂでそれぞれの輝度値を表している。

【００３８】以前にも説明したように、車線マーカの認
識を最善にするためには、一方の車線マーカのみではな
く、両方の車線マーカのコントラストが最大になるよう
にする必要がある。そのための方法について説明する。

【００３９】図１３は、図１２に示した三原色の値を組
み合わせた値を示したものである。例えば、画面Ｒ＋Ｂ
は、赤（Ｒ）と青（Ｂ）の情報を用いて画面を合成した
場合であり、Ｓとして、Ｗ１ｒ、Ｗ２ｒ，Ｗ１ｂ，Ｗ２
ｂを加算する。一方、背景となる路面に対しては、Ｎと
してＢｒとＢｂを加算する。コントラストとしては、Ｓ
をＮで除した値（Ｓ／Ｎ）になる。その他の組み合わせ
についても同様となるため詳細は省略する。最善の組み
合わせは、図中のＳ／Ｎの列から最大の値を取る組み合
わせを選択すればよい。以上のアルゴリズムについて
は、図１におけるマイコン１６の演算処理により実現さ
れる。

【００４０】次に、本発明の他の実施例として、信号機
の認識に応用した例を示す。図１４は図１のカメラ１１
が撮像した映像である。信号機３６が道路の傍らに設置
されている。信号機３６のランプ色を認識するために
は、赤、黄、緑の中から輝度が高いランプを特定すればよ
い。なお、日本においては、信号機のランプは左から
緑、黄、赤の順番に並んでいるので、必ずしも色そのもの
を認識しなくても、輝度だけで点灯色の推定が可能な場
合がある。

【００４１】信号機の認識の場合、上述した路面上に書
かれた白線とは異なり、信号機そのものの設置されてい
る場所が一定とならない。このため、カメラで見た画面
上では、信号機の位置が不特定になり、認識上の効率が
悪くなるきらいがある。これを改善するためには、信号
機の存在エリアを何らかの手段で限定し、認識エリア３
７を設ければよい。

【００４２】図１５に信号機の設置場所の情報を入手す
る一例を示す。信号機の設置場所の情報はナビゲーショ
ン装置などから獲得できる。すなわち、車載のナビゲー
ション装置４から信号機の位置（例えば交差点の中心か
らの方位、東西南北の二次元の距離）、信号機の高さ、
形状（横形、縦形）および交差点からの自車位置の情報
を、画像処理カメラ１に取り込んで、信号機の位置を推
定することで、認識エリア３７の獲得が可能となる。認
識エリア３７が獲得できれば、三原色の組合せを変えて
加算を行なった結果に対し、ランプ３６とエリア部（背
景）のコントラストの比が最大となる画像を合成し、認
識処理すればよい。

【００４３】

【発明の効果】本発明によれば、特殊な光学フィルタを
使用せず、しかも外界の条件に合わせて、コントラスト
の大きくなる画像を選択して合成し、その結果に対して
認識処理を行わせることができるので、認識性能のより
よい画像処理カメラ装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の一実施例による画像処理カメラ装置の
構成図。

【図２】車載の画像処理カメラ装置の視覚を示す説明
図。

【図３】画像処理カメラ装置により撮影された車両前方
の映像を示す説明図。

【図４】従来の画像処理カメラの構成図。

【図５】カラーカメラの詳細構成を示すブロック図。

【図６】本発明の一実施例による画像処理カメラ装置の
処理を示すフローチャート。

【図７】カメラの感度調整を説明するフローチャート。

【図８】カメラの感度調整のための明るさを検査する領
域を示す説明図。

【図９】三原色による画像の合成を行なう構成図。

【図１０】輝度値をサンプルする映像画面上の検査ライ
ンを示す説明図。

【図１１】検査ライン上において、ＲＧＢおよびＲＧの
信号による合成車線マーカと路面の輝度値を示す説明
図。

【図１２】ＲＧＢ三原色における車線マーカと路面の輝
度値を示す説明図。

【図１３】ＲＧＢ三原色による合成画面でのコントラス
トの計算方法を示す説明図。

【図１４】信号機の認識エリアを示す説明図。

【図１５】ナビゲーション装置の伝達情報を使って信号
機の認識エリアを求める概念図。

【符号の説明】

１…画像処理カメラ装置、２…車両、３…道路、４…ナ
ビゲーション装置、１１…カメラ、１２…画像取り込み
回路、１４…ＲＡＭ、１５…ＲＯＭ、１６…マイコン、
３０…路面、３１,３２…車線マーカ、３６…信号機、
３７…認識エリア。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA11 DA04 EA09 EA16 GA02 5B057 AA16 BA11 CA01 CA08 CA16 CB01 CB08 CB16 CE03 CE16 CH01 CH11 CH14 DA08 DA17 DB06 DB09 DC22 DC25 5C054 AA01 CA04 CC02 CH01 EA01 EE06 FC08 HA30 5C065 AA07 BB48 CC01 DD15 GG21

Claims (7)

【特許請求の範囲】
1. 【請求項１】 カラーの撮像デバイスが車両に搭載さ
   れ、車両の外を撮影し、得られた映像に対して認識処理
   を行う車載用の画像処理カメラ装置において、 前記撮像デバイスの色信号を個別に取り出し、それらの
   信号の最適な組み合せをダイナミックに変更することに
   より、最大コントラストとなる組み合わせの合成画像を
   得て、認識処理することを特徴とする車載用画像処理カ
   メラ装置。
2. 【請求項２】 カラーの撮像デバイスが車両に搭載さ
   れ、車両の外を撮影し、得られた映像の認識対象物に対
   して認識処理計算を行う車載用の画像処理カメラ装置に
   おいて、 前記撮像デバイスにより得られるカラー信号の三原色を
   それぞれ独立して取り込み、前記カラー信号の組み合わ
   せを変えて加算を行い、その結果に対して認識対象物と
   背景のコントラストを計算し、最大のコントラストが得
   られる組み合わせの合成画像に対して、前記認識処理計
   算を行うことを特徴とする車載用画像処理カメラ装置。
3. 【請求項３】 請求項２において、 車載のナビゲーション装置から、認識対象物の存在する
   場所、自車の位置情報および進行方向を入力し、認識対
   象物の存在するエリアをあらかじめ限定することを特徴
   とする車載用画像処理カメラ装置。
4. 【請求項４】 請求項２において、 前記認識対象は車線マーカであり、前記合成画面が、前
   記撮像デバイスの赤と緑の出力信号を加算した画像であ
   ることを特徴とする車載用画像処理カメラ装置。
5. 【請求項５】 請求項２、３または４において、 撮像デバイスのカラー信号を一旦メモリに取り込んだ
   後、各色の画像情報を加算することにより、前記合成画
   像を得ることを特徴とする車載用画像処理カメラ装置。
6. 【請求項６】 請求項２、３または４において、 前記認識対象物のコントラストを評価する場合に、撮像
   画面に対して車のヘッドランプの照射範囲内で水平方向
   に検査ラインを設け、この検査ライン上で、コントラス
   トの評価を行うことを特徴とする車載用画像処理カメラ
   装置。
7. 【請求項７】 カラーの撮像デバイスが車両に搭載さ
   れ、車両の外を撮影し、得られた映像の認識対象に対し
   て認識処理計算を行う車載用の画像処理カメラ装置にお
   いて、 前記撮像デバイスとして、ＣＭＯＳセンサを使用し、前
   記映像から空部分を除いた撮像画像領域の明るさに対し
   て、前記ＣＭＯＳセンサの感度調整を行うことを特徴と
   する車載用画像処理カメラ装置。