JP2013140555A - 車用色検出器 - Google Patents

Abstract

【課題】車のカラーカメラを通じて映像の色情報がリアルタイムで容易に得られる車用色検出器を提供する。
【解決手段】車の外部映像を撮影するカメラから所定の映像データの入力を受けて外部映像の色を検出する装置であって、カメラの撮影映像をＲＧＢ映像データに変換するＲＧＢ変換部、ＲＧＢ映像データの色映像、彩度映像、および強度映像を抽出するＨＳＩ映像抽出部、ＲＧＢ映像データの反転彩度映像、反転モジューロ彩度映像、および反転輝度映像を抽出する反転映像抽出部、および、所定のアルゴリズムによって色映像、彩度映像、強度映像、反転彩度映像、反転モジューロ彩度映像、または反転輝度映像のうちから選択されるいずれか２つ以上の映像を利用して、ホワイト、ブラック、レッド、およびイエローカラーを検出する色検出部、を含むことを特徴とする。
【選択図】図２

Description

本発明は、車用色検出器に係り、より詳しくは、車に搭載されるカラーカメラを通じて映像の色情報をリアルタイムで得ることにより、走行中である道路上の障害物の検出率を高める車用色検出器に関する。

一般的に、走行中の車において、道路上に存在する障害物を検出する装置として、レーダセンサまたは超音波センサが備えられる障害物検出システムが主に利用されている。
しかしながら、このようなレーダセンサまたは超音波センサが備えられた障害物検出システムは、障害物との単純な衝突を防ぐために備えられたものが主流であるため、障害物の種類、または障害物の危険度を判断することができる機能は備えられていない。
すなわち、レーダセンサまたは超音波センサのような距離測定センサだけでは、障害物の種類および危険度の区分が不可能であるため、カメラを利用して色および形態を区分する必要があった（例えば、特許文献１，２参照）。

従来より、車のカメラを利用して道路上の情報を得るシステムとして、道路上の車線情報を得て警告するＬＤＷＳ（Ｌａｎｅ Ｄｅｆｉｎｉｔｉｏｎ Ｗａｒｎｉｎｇ Ｓｙｓｔｅｍ）と車線を維持するＬＫＳ（Ｌａｎｅ Ｋｅｅｐｉｎｇ Ｓｕｐｐｏｒｔ）システムがある（例えば、特許文献３，４参照）。
ただし、このＬＤＷＳおよびＬＫＳシステム等の映像情報は、黒白イメージを用いている。このような黒白イメージはエッジ（Ｅｄｇｅ）および明るさ（Ｂｒｉｇｈｔｎｅｓｓ）情報のみを利用するため、車線のような制限的な対象物が検出可能であるという短所がある。
すなわち、一般的にはモノカメラ（ｍｏｎｏ ｃａｍｅｒａ）を利用して車のＬＤＷＳやＬＫＳシステムを運用しているため、映像の色情報を殆ど活用することができない。したがって、走行中の車両から障害物を検出するには限界が存在する。

このため、道路上の障害物の種類および危険度の区分を判定するために、カラーカメラを利用した、迅速かつ容易に道路上の対象物の色を検出して障害物を検出することができる装置が求められている。

大韓韓国特許公開公報第１０−２００５−００６５８８３号 大韓韓国特許公開公報第１０−２０１１−０００１４２５号 特開２００９−２５１９２９号公報 特表２００９−５４１８８８号公報

本発明は上記の問題を解決するためになされたものであって、その目的とするところは、車のカラーカメラを通じて映像の色情報がリアルタイムで容易に得られる車用色検出器を提供することにある。
また、他の目的とするところは、リアルタイムで得られる色情報を活用して障害物検出率を高め、障害物の種類および障害物の危険度を区分することができる車用色検出器を提供することにある。

上記目的を達成するためになされた本発明の色検出器は、車の外部映像を撮影するカメラから所定の映像データの入力を受けて外部映像の色を検出する装置であって、カメラの撮影映像をＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）映像データに変換するＲＧＢ変換部、ＲＧＢ映像データの色（Ｈｕｅ）映像、彩度（Ｓａｔｕｒａｔｉｏｎ）映像、および強度（Ｉｎｔｅｎｓｉｔｙ）映像を抽出するＨＳＩ（Ｈｕｅ，Ｓａｔｕｒａｔｉｏｎ，Ｉｎｔｅｎｓｉｔｙ）映像抽出部、ＲＧＢ映像データの反転彩度（Ｒｅｖｅｒｓｅ Ｓａｔｕｒａｔｉｏｎ）映像、反転モジューロ彩度（Ｒｅｖｅｒｓｅ Ｍｏｄｕｌｏ Ｓａｔｕｒａｔｉｏｎ）映像、および反転輝度（Ｒｅｖｅｒｓｅ Ｌｕｍｉｎａｎｃｅ）映像を抽出する反転映像抽出部、および、所定のアルゴリズムによって色映像、彩度映像、強度映像、反転彩度映像、反転モジューロ彩度映像、または反転輝度映像のうちから選択されるいずれか２つ以上の映像を利用して、ホワイト（ｗｈｉｔｅ）、ブラック（ｂｌａｃｋ）、レッド（ｒｅｄ）、およびイエロー（ｙｅｌｌｏｗ）カラーを検出する色検出部、を含むことを特徴とする。

本発明において、ホワイトカラーの検出は、彩度映像と強度映像が重複する領域の映像データを検出することが好ましい。
本発明において、ブラックカラーの検出は、反転モジューロ彩度映像が反転輝度映像よりも強い領域の映像データから色映像および彩度映像が重複する領域の映像データを除外して検出することが好ましい。
本発明において、レッドカラーの検出は、色映像および彩度映像が重複する領域の映像データを検出することが好ましい。

本発明において、イエローカラーの検出は、彩度映像および反転彩度映像が重複する領域の映像データから色映像を除外して検出することが好ましい。
本発明は、検出されたホワイト、ブラック、レッド、およびイエローカラーのそれぞれの連結性をチェックして、各カラーのノイズ（ｎｏｉｓｅ）を除去したり満たしたりする色群集部をさらに含むことが好ましい。
本発明において、カメラは、車の外部映像をカラー（ｃｏｌｏｒ）映像で得るカラーカメラであることが好ましい。

本発明の車用色検出器は、色情報を認識するための準備過程を単純化することができ、データ処理過程を迅速化することができるため、リアルタイムで容易に車の外部映像の色情報を得ることができる。
また、光の影響によるデータ変化に拘わらずにデータ処理を実行して安全性を担保することができ、例えば、天気変化による照度変化に最も敏感な強度映像をホワイト検出のみに利用するため、外部環境に強い色検出が可能となる。
さらに、類似色のクラスタリング（Ｃｌｕｓｔｅｒｉｎｇ）が容易であり、クラスタリングによって路面と異なる色情報を得ることが容易になる。
さらにまた、路面と異なる色情報の面積および分布図を分析して障害物のサイズおよび移動経路の予測までも可能とし、同じ領域に多重色が混合している場合、そのパターン分析によって特定障害物の識別率を向上させることができる。

本発明の一実施形態に係る車用色検出器のＨＳＩ映像抽出部および反転映像抽出部によって形成される色空間を示す例示図である。 本発明の一実施形態に係る車用色検出器の色検出部によって抽出される色を示す例示図である。 従来技術によるカメラの映像からホワイト映像とイエロー映像を抽出した映像データを示す例示図である。 従来技術によるカメラの映像からブラック映像、ホワイト映像、イエロー映像、およびレッド映像をそれぞれ抽出した映像データを示す例示図である。 本発明の車用色検出器によって検出されるホワイトカラーに対する検出過程を示す例示図である。 本発明の車用色検出器によって検出されるブラックカラーに対する検出過程を示す例示図である。 本発明の車用色検出器によって検出されるレッドカラーに対する検出過程を示す例示図である。 本発明の車用色検出器によって検出されるイエローカラーに対する検出過程を示す例示図である。 それぞれの色に対するカメラによる原映像、ＩＰＭ映像、および色抽出映像の比較図である。

以下、添付の図面を参照して、本発明の好ましい実施形態について詳しく説明する。
図１は、本発明の一実施形態に係る車用色検出器のＨＳＩ映像抽出部および反転映像抽出部によって形成される色空間を示す例示図である。図２は、本発明の一実施形態に係る車用色検出器の色検出部によって抽出される色を示す例示図である。

本発明に係る車用色検出器は、車の外部映像を撮影するカメラから所定の映像データの入力を受け、外部映像の色を検出する装置である。
車用色検出器は、ＲＧＢ映像データを利用してＨＳＩ色および反転映像を製作した後、ＨＳＩ色と反転映像の組み合わせおよび比較によって主要色を抽出した後、抽出された色を合成する過程を経ることにより、精密な色情報を検出する役割をする。

このために、本発明の車用色検出器は、カメラの撮影映像をＲＧＢ映像データに変換するＲＧＢ変換部１１０、ＲＧＢ映像データの色映像、彩度映像、および強度映像を抽出するＨＳＩ映像抽出部１２０、ＲＧＢ映像データの反転彩度映像、反転モジューロ彩度映像、および反転輝度映像を抽出する反転映像抽出部１３０、所定のアルゴリズムによって色映像、彩度映像、強度映像、反転彩度映像、反転モジューロ彩度映像、または反転輝度映像のうちから選択されるいずれか２つ以上の映像を利用して、ホワイト、ブラック、レッド、およびイエローカラーを検出する色検出部、および検出されたホワイト、ブラック、レッド、およびイエローカラーのそれぞれの連結性をチェックして、各カラーのノイズを除去したり満たしたりする色群集部（図示せず）を含んで構成される。

ＲＧＢ変換部１１０は、カメラが撮影した車の外部映像を赤、緑、青の三原色からなるＲＧＢ映像データに変換する役割を実行し、カメラの原映像を直ぐにＲＧＢ映像データに変換する。
すなわち、本発明は、道路上に存在する障害物の検出率を高めるための目的を有しているため、ＩＰＭ（Ｉｎｖｅｒｓｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｍａｐｐｉｎｇ）方式を利用してカメラの原映像から所定の３次元座標上の障害物の位置を得た後、ＲＧＢ映像データに変換する。
ＨＳＩ映像抽出部１２０は、ＲＧＢ映像データの色映像１１、彩度映像１２、および強度映像１５を抽出する。
また、反転映像抽出部１３０は、ＲＧＢ映像データの反転彩度映像１３、反転モジューロ彩度映像１４、および反転輝度映像１６を抽出する。

反転彩度映像１３は、原映像を反転させ、反転した彩度値を抜出することによって得ることができ、反転モジューロ彩度映像１４も、反転イメージおよび彩度映像１２を利用して得ることができる。
このように、ＨＳＩ映像抽出部１２０および反転映像抽出部１３０によって抽出される６種類のカラー因子を利用して、所定の色製作空間である色検出部でそれぞれの色情報を検出する。

色検出部は、所定の色検出アルゴリズムを備えることができ、これを利用して色映像１１、彩度映像１２、強度映像１５、反転彩度映像１３、反転モジューロ彩度映像１４、または反転輝度映像１６のうちから選択されるいずれか２つ以上の映像を利用し、ホワイト、ブラック、レッド、およびイエローカラーをそれぞれ検出する。

図２は、色検出部において、６種類のカラー因子を組み合わせたり比較したりすることにより、ホワイト、ブラック、レッド、イエローカラー情報を検出する過程を示している。
色検出部によるホワイトカラーの検出は、彩度映像１２と強度映像１５を重複する領域の映像データを検出することによってなされる。
また、色検出部によるブラックカラーの検出は、反転モジューロ彩度映像１４と反転輝度映像１６を比較し、反転モジューロ彩度映像１４が反転輝度映像１６よりも強い領域を抽出した後、色映像１１および彩度映像１２が重複する領域の映像データを除外して検出する。

このとき、色映像１１および彩度映像１２が重複する領域の映像データは、レッドカラーで検出される。
色検出器によるイエローカラーの検出は、彩度映像１２および反転彩度映像１３を比較して重複する領域を抽出した後、色映像を除外して検出する。

このように、本発明では、ＲＧＢ映像データから６種類の因子に分類した後、相対的に簡単な比較や組み合わせ過程を通じて主要色を検出するため、その過程が迅速であり、かつ連続的な色情報を得ることができる。
一方、このように色検出部によって検出されたホワイト、ブラック、レッド、およびイエローカラー情報は、色群集部によって各カラーのノイズを除去したり塗りつぶしたしたりして単一色の連結性をチェックされた後、色別ＩＤを付与することによってさらに精巧な色情報に加工された後、表示部に送られて運転手に顕示される。

図３、図４は、従来技術に係る所定の色映像を抽出した映像データを示す例示図である。
図３には、ヒストグラム（Ｈｉｓｔｏｇｒａｍ）のブルー（Ｂｌｕｅ）領域の区分により、カメラの原映像からホワイト映像とイエロー映像を抽出した様子を示した。この抽出ではホワイト映像とイエロー映像を明確に区分することができないという問題がある。

図４は、カメラの原映像からブラック映像、ホワイト映像、イエロー映像、およびレッド映像をそれぞれ抽出した様子を示しており、ブラック映像は実際の黒色と車などによって生じる影とを区別することができない。また、ホワイト映像も白領域を認識することができない。
また、イエロー映像も、実際には黄色の領域でない領域が黄色として検出された領域が存在し、レッド映像も、実際には赤色領域でない領域が赤色として検出された領域が多数存在する。
このように、従来のＲＧＢ映像のヒストグラムに基づいて色を分類する方式は、照度変化に敏感なだけでなく、色分類でもエラー領域（ｅｒｒｏｒ ｓｐａｃｅ）が多発する。本発明はこのような問題点を解決するためになされたものである。

図５〜図９は、本発明の一実施形態に係る車用色検出器によって検出される色に対する映像データを示す例示図である。
図５は、本発明の車用色検出器によって検出されるホワイトカラーに対する検出過程を示す例示図である。
先ず、カメラの原映像をＩＰＭ方式の変換によってＩＰＭ映像に変換する。ＩＰＭ映像は、３次元座標上で障害物の位置を得ることができる。
続いて、ＩＰＭ映像のＲＧＢ映像データを利用して、ＨＳＩ映像抽出部で彩度映像と強度映像をそれぞれ抽出する。

彩度映像と強度映像を抽出する一例として、彩度波形グラフ（Ｓａｔｕｒａｔｉｏｎ Ｗａｖｅｆｏｒｍ Ｇｒａｐｈ）を参照すると、彩度映像は、０〜２０（ｔｉｍｅ）の区間内で０からウエーブの大きさが最も小さい地点の間の領域のデータを出力して抽出することができる。
これと同様に、強度波形グラフ（Ｉｎｔｅｎｓｉｔｙ Ｗａｖｅｆｏｒｍ Ｇｒａｐｈ）を参照すると、強度映像は、２００〜２５６ヒストグラム値（Ｈｉｓｔｏｇｒａｍ Ｖａｌｕｅ）区間内でウエーブの大きさが最も小さい地点から２５６ヒストグラム値の間の領域のデータを出力して抽出することができる。

このように得られる彩度映像と強度映像を色検出部で併合処理してホワイト映像を検出する。
図５に示したとおり、本発明に係るホワイト映像は、従来のヒストグラムに基づいて色を分類する方式とは異なり、認識することができない白色領域がない。

図６は、本発明の車用色検出器によって検出されるブラックカラーに対する検出過程を示す例示図である。
先ず、カメラの原映像をＩＰＭ方式の変換によってＩＰＭ映像に変換し、続いて、ＩＰＭ映像のＲＧＢ映像データを利用し、反転映像抽出部で反転映像を利用して反転モジューロ彩度映像と反転輝度映像を抽出する。

続いて、色検出部で反転モジューロ彩度映像が反転輝度映像よりも強く表示される領域を抽出する。
この後、反転モジューロ彩度映像が反転輝度映像よりも強く表示される領域から、色（Ｈｕｅ）映像と彩度映像の併合によって生成されるレッド映像を除外すれば、ブラック映像を検出することができる。
図５に示したとおり、本発明に係るレッド映像は、従来のヒストグラムに基づいて色を分類する方式とは異なり、実際の黒色と車などによって生じる影との区別が可能である。

図７は、本発明の車用色検出器によって検出されるレッドカラーに対する検出過程を示す例示図である。
先ず、カメラの原映像をＩＰＭ方式の変換によってＩＰＭ映像に変換し、続いて、ＩＰＭ映像のＲＧＢ映像データを利用し、ＨＳＩ映像抽出部で色（Ｈｕｅ）映像と彩度映像をそれぞれ抽出する。

色映像と彩度映像を抽出する一例として、色波形グラフ（Ｈｕｅ Ｗａｖｅｆｏｒｍ Ｇｒａｐｈ）に示したとおり、色映像は、２００ヒストグラム値以上の領域のデータを出力して抽出する。
これと同様に、彩度波形グラフに示したとおり、彩度映像は、４５ヒストグラム値以上の領域のデータを出力して抽出する。

このようにして得られる色映像と彩度映像を色検出部で併合処理してレッド映像を検出する。
図７に示したとおり、本発明に係るレッド映像は、従来のヒストグラムに基づいて色を分類する方式とは異なり、実際には赤色領域でない領域が赤色として検出される領域が存在しない。

図８は、本発明の車用色検出器によって検出されるイエローカラーに対する検出過程を示す例示図である。
先ず、カメラの原映像をＩＰＭ方式の変換によってＩＰＭ映像に変換し、続いて、ＩＰＭ映像のＲＧＢ映像データを利用し、ＨＳＩ映像抽出部で色映像と彩度映像をそれぞれ抽出する。
また、ＩＰＭ映像のＲＧＢ映像データを利用し、反転映像抽出部で反転彩度映像を抽出する。

この後、反転彩度映像および彩度（Ｓａｔｕｒａｔｉｏｎ）映像の重複領域のみを抽出した後、色映像を除外すれば、イエロー映像を検出することができる。
図８に示したとおり、本発明に係るイエロー映像は、従来のヒストグラムに基づいて色を分類する方式とは異なり、実際には黄色い領域でない領域が黄色として検出される領域が存在しない。

図９は、それぞれの色に対するカメラによる原映像、ＩＰＭ映像、および色抽出映像の比較図である。
本発明の車用色検出器によれば、カメラの原映像やＩＰＭ映像を利用して迅速に色情報を得るため、色情報を認識するための準備過程を単純化することができ、データ処理過程を迅速化することができる。
また、本発明は、照度変化に最も敏感な強度映像をホワイト検出のみに利用するため、外部環境に強い色検出が可能となり、類似色のクラスタリングが容易であるため、路面と異なる色情報を得ることが容易になる。

また、本発明は、ｉ）レッド、ブルー、ホワイト、およびブラックで形成される道路表示板、ｉｉ）イエロー、ホワイト、およびブラックで形成されるスピードハンプ、ｉｉｉ）レッドとホワイトで形成される三角コーン、ホワイト、イエロー、およびブルーで形成される車線、ｉｖ）イエローとレッドで形成される工事表示ガードなどの同一領域に多重色が混合している場合、そのパターン分析によって特定障害物の識別率を極大化することができる。
さらに、上述したレッド、イエロー、ホワイト、ブラック以外の色も、上記の類似方式によって検出が可能である。ユーザが検出する所望する色を選別すれば、上述した４色の他にも多数の色を同時に検出することが可能である。ただし、色をクラスタリングするとき、濁った赤色と強い赤色を含むか否かは、ユーザがパラメータ設定によって同一色領域を区分しなければならない。

以上、本発明の好ましい実施例を説明したが、本発明は実施例に限定されるわけではなく、特許請求の範囲によって解釈されなければならない。また、この技術分野で通常の知識を有する者なら、本発明の技術的範囲内で多くの修正と変形ができることはいうまでもない。

１１ ・・・色映像
１２ ・・・彩度映像
１３ ・・・反転彩度映像
１４ ・・・反転モジューロ彩度映像
１５ ・・・強度映像
１６ ・・・反転輝度映像
１１０ ・・・ＲＧＢ変換部
１２０ ・・・ＨＳＩ映像抽出部
１３０ ・・・反転映像抽出部

Claims (7)

1. 車の外部映像を撮影するカメラから所定の映像データの入力を受けて外部映像の色を検出する装置であって、
   前記カメラの撮影映像をＲＧＢ映像データに変換するＲＧＢ変換部、
   ＲＧＢ映像データの色映像、彩度映像、および強度映像を抽出するＨＳＩ映像抽出部、
   前記ＲＧＢ映像データの反転彩度映像、反転モジューロ彩度映像、および反転輝度映像を抽出する反転映像抽出部、および、
   所定のアルゴリズムによって前記色映像、前記彩度映像、前記強度映像、前記反転彩度映像、前記反転モジューロ彩度映像、または前記反転輝度映像のうちから選択されるいずれか２つ以上の映像を利用して、ホワイト、ブラック、レッド、およびイエローカラーを検出する色検出部、
   を含むことを特徴とする車用色検出器。
2. 前記ホワイトカラーの検出は、
   前記彩度映像と前記強度映像が重複する領域の映像データを検出することを特徴とする請求項１に記載の車用色検出器。
3. 前記ブラックカラーの検出は、
   前記反転モジューロ彩度映像が前記反転輝度映像よりも強い領域の映像データから前記色映像および前記彩度映像が重複する領域の映像データを除外して検出することを特徴とする請求項１に記載の車用色検出器。
4. 前記レッドカラーの検出は、
   前記色映像および前記彩度映像が重複する領域の映像データを検出することを特徴とする請求項１に記載の車用色検出器。
5. 前記イエローカラーの検出は、
   前記彩度映像および前記反転彩度映像が重複する領域の映像データから前記色映像を除外して検出することを特徴とする請求項１に記載の車用色検出器。
6. 前記検出されたホワイト、ブラック、レッド、およびイエローカラーのそれぞれの連結性をチェックして、各カラーのノイズを除去したり満たしたりする色群集部をさらに含むことを特徴とする請求項１に記載の車用色検出器。
7. 前記カメラは、
   車の外部映像をカラー映像で得るカラーカメラであることを特徴とする請求項１に記載の車用色検出器。

Images