JP2009126493A - 障害物検出装置 - Google Patents

Abstract

【課題】車載の障害物検出装置において、車両の走行状態や障害物が静止しているか否かに拘わらず、当該障害物を簡易に検出する。
【解決手段】車両２００に設置されて周囲をカラー画像で撮影し、このカラー画像を表すＮＴＳＣ映像信号（画像信号）を出力する単眼カメラ１０と、得られたＮＴＳＣ信号をコンポーネント映像信号である同期信号と輝度信号Ｙと２つの色差信号Ｃｂ，Ｃｒ（色情報）とに変換するデジタルデコーダ３０（信号変換部）と、デジタルデコーダ３０により変換して得られた色差信号Ｃｂ，Ｃｒに基づいて障害物３００の有無を判定する障害物検出部４０と、を備える。
【選択図】図１

Description

本発明は、障害物検出装置に関し、詳細には、車載カメラによって得られた像に基づいて障害物を検出する装置の改良に関する。

近年、コンビニエンスストアを始めとする商業施設等の駐車場は、隣接する住宅等への配慮などの理由で、いわゆる前向き駐車を行う場合が多くなっている。このため、駐車場から出庫するときは後退状態で出ることになるが、後退状態では運転者からの死角も多く、また周囲と車両との間の距離感（車両感覚）も前進時のものとは異なるため、細心の注意を払っていても、車両周囲の障害物との接触事故を起こすことがある。

このような後退時の事故を防止するために、車両の周囲の状況を監視するカメラを車両に設置して死角を減らすとともに、距離感を補完する映像を車載ディスプレイに表示する監視システムを搭載している車両も増えている。

しかし、後退時の運転に馴れてくると、車載ディスプレイに映る映像を漫然と見ているだけとなって障害物を見逃したり、さらに、車載ディスプレイの表示を見ることさえしなくなって状況の確認を怠る場合もあり、接触事故は期待ほど減らない状況にある。

そこで、カメラで得られた映像に基づいて危険を自動的に検知し、運転者に注意を喚起する障害物検出装置が提案されている（特許文献１）。

このような障害物検出装置は、移動物体の検知において有用性が高く、車載カメラにより得られたカラー画像を表すＮＴＳＣ映像信号（画像信号）は、デジタルデコーダ（信号変換部）によってＹ（輝度信号），Ｃｂ（色差信号），Ｃｒ（色差信号）に変換され、得られた輝度信号Ｙはグレースケール（無彩色の階調パターン）の映像に処理される。

そして、このグレースケールの映像は、設定された閾値との大小比較によって二値化され、二値化された映像はフレームごとにメモリに記憶され、時系列的に前後する次のフレームとの間で、画素を対応させた差分が算出され、差分が０（ゼロ）または０に近い値の画素部分は移動物体ではなく、差分が大きな値の画素部分は移動物体である、と判定するものである。
特開２００５−３３９２７６号公報

しかし、上述した障害物検出装置は、フレーム間で差異が生じない静止物体の検出には適さない。また、車両自体が走行等で動いているときは、フレーム間で生じる画像ずれを相殺する補正を行う必要があり、オプチカルフロー等の高度な手法を適用したとしても、精度よく補正するのは困難であり、障害物の誤検出を招きやすい。このことは、障害物が動いている場合であっても同様である。

また、上述した手法に代えて、ステレオカメラ方式で静止した障害物を検出する技術が提案されているものの、装置が非常に高価になり、一般の車両に搭載するのは困難である。

本発明は上記事情に鑑みなされたものであり、搭載される車両の走行状態（停止しているか走行しているか、という移動の有無）に拘わらず、しかも、検出しようとする障害物が静止しているか否かに拘わらず、当該障害物を簡易に検出することができる障害物検出装置を提供することを目的とする。

本発明に係る障害物検出装置は、カメラで得られたカラー映像のうち色の情報に基づいて障害物の有無を検出することで、車両の移動によって生じるフレーム間での画像ずれを考慮するまでもなく、しかも検出対象である障害物の静止・移動の別にも拘わらず、障害物を簡易に検出するものである。

すなわち、本発明に係る障害物検出装置は、車両に設置されて前記車両の周囲をカラー画像で撮影するカメラと、前記カメラにより撮影して得られたカラー画像のうち色情報に基づいて、前記車両の周囲の障害物を検出する信号処理装置と、を備えたことを特徴とする。

このように構成された本発明に係る障害物検出装置によれば、カメラで撮影された車両周辺領域についてのカラー画像のうち、道路（路面）部分は、境界線を表す白線も含めてモノトーンの画像（無彩色（色情報を有しない。）の階調画像：グレースケール）であるが、その他の部分は一般的には有彩色（色情報を有する。）であるため、信号処理装置が、この色情報に基づいて道路の部分と道路以外の部分とを区別し、この区別によって、道路以外の部分すなわち障害物を簡易に検出する。

そして、この障害物検出装置では、時系列的に異なる複数のフレーム間での処理を必要としないため、搭載車両の移動の有無に拘わらず、かつ検出対象である障害物の静止・移動の別に拘わらず、障害物を簡易に検出することができる。

本発明に係る障害物検出装置によれば、搭載車両の移動の有無に拘わらず、かつ検出対象である障害物の静止・移動の別に拘わらず、障害物を簡易に検出することができる。

以下、図面を参照して本発明に係る障害物検出装置の実施の形態について説明する。

図１は、本発明の実施形態に係る障害物検出装置１００の構成を示すブロック図、図２，３は、図１に示した障害物検出装置１００の作用を説明する表示の模式図である。

図示の障害物検出装置１００は、車両２００に設置されて車両２００の周囲を図２に示すようなカラー画像で撮影し、このカラー画像を表すＮＴＳＣ映像信号（画像信号）を出力する単眼カメラ１０と、単眼カメラ１０により得られたＮＴＳＣ映像信号のうち色情報に基づいて、車両２００の周囲の障害物３００を検出する信号処理装置２０と、単眼カメラ１０により撮影して得られたＮＴＳＣ映像信号を可視画像として表示するとともに信号処理装置２０によって得られた障害物３００に注意を惹かせるように表示させるモニタ９０（表示装置）と、を備えている。

なお、モニタ９０は、車両２００に搭載されたナビゲーション装置等に予め備えられている既存のものであってもよい。

ここで、信号処理装置２０は、ＮＴＳＣ信号をコンポーネント映像信号である同期信号と輝度信号Ｙと２つの色差信号Ｃｂ，Ｃｒ（色情報）とに変換するデジタルデコーダ３０（信号変換部）と、デジタルデコーダ３０により変換して得られた色差信号Ｃｂ，Ｃｒに基づいて障害物３００の有無を判定する障害物検出部４０と、を備えている。

障害物検出部４０は、デジタルデコーダ３０により変換して得られた２つの色差信号Ｃｂ、Ｃｒを加算する加算部４１と、加算部４１により得られた２つの色差信号Ｃｂ、Ｃｒの加算値（Ｃｂ＋Ｃｒ）と予め設定された閾値とを大小比較する比較部４５と、比較部４５による比較の結果に基づいて、障害物３００の有無を判定する判定回路４６とを備えている。

ここで、信号処理装置２０の障害物検出部４０は、カメラ１０により撮影して得られたカラー画像のうち、図２に示すように、車両２００自体（後部バンパー等）が映った領域を除いた領域Ｒ（例えば、図示矩形太枠Ｓで囲まれた領域。以下、対象領域Ｒという。）についてのみ、上記障害物３００を検出するものである。

このような対象領域Ｒの選定は、カラー画像に映り込んだ車両２００のバンパーや、障害物３００の検出には不要な遠方の景色を、検出対象から除外するためであり、後述する領域分割回路４２（領域分割部）によって行われる。実際には、車両２００にカメラ１０を設置した際に、モニタ９０に表示された可視像を参照して、対象領域Ｒを固定し、固定された対象領域Ｒを領域分割回路４２に記憶させて、処理の都度、記憶された対象領域Ｒを読み出せばよく、対象領域Ｒの選定処理を常時行う必要はない。

さらに、障害物出部４０は、上述した対象領域Ｒを、図３に示すようにマトリックス状に複数の小矩形領域ｒ11，ｒ12，…，ｒ1q，ｒ21，…，ｒ2q，…，ｒp1，…，ｒpq（分割領域）に分割する領域分割回路４２を備え、障害物検出部４０の判定回路４６は、領域分割回路４２により得られた小矩形領域ｒ11，…，ｒpqごとに、障害物３００の有無を判定するものである。このため、比較部４５は、各小矩形領域ｒ11，…，ｒpqに対応してそれぞれ設けられている。

また、各小矩形領域ｒ11，…，ｒpq内には多数の画素が含まれており、これらの各画素ごとに算出された加算値には、量子化誤差や映像ノイズ等の影響によって偶発的に大きな色差信号Ｃｂ，Ｃｒが生じる虞もあり、このような偶発的な信号による誤判定を回避する必要があるとともに、比較処理を簡素化するために、障害物検出部４０は、各小矩形領域ｒ11，…，ｒpq内の各画素ごとの加算値（Ｃｂ＋Ｃｒ）を、この各小矩形領域ｒ11，…，ｒpqに含まれる全ての画素（画素数ｎ）について加算（Σ（Ｃｂ＋Ｃｒ））して平均値（Σ（Ｃｂ＋Ｃｒ）／ｎ（ｎ：画素数））を算出し、この平均値で閾値との比較を行うように構成されており、全画素について加算する領域加算部４３と、この領域加算部４３で加算して得られた領域加算値（Σ（Ｃｂ＋Ｃｒ））を画素数ｎで除して平均値（Σ（Ｃｂ＋Ｃｒ）／ｎ）を算出する平均値算出部４４とを、小矩形領域ｒ11，…，ｒpqごとに備えている。

なお、このように小矩形領域ｒ11，…，ｒpqごとに比較判定を行うことで、１フレームのカラー画像のうち、障害物３００の存在領域を大まかに報知するのに役立たせることができる。

また、信号処理装置２０は、モニタ９０に表示される可視画像のうち、障害物検出部４０によって障害物３００が検出された小矩形領域について、警告マークを重畳的に表示するスーパーインポーズにより車両２００の運転者に対して注意を喚起する警告マーク重畳回路５０（表示処理部）を備えている。

さらに、この障害物検出装置１００は、信号処理装置２０により障害物３００が検出されたときは、音声やブザー音で警告（警報）を発生させる警報音発生装置８０を備えている。

次に、本実施形態に係る障害物検出装置１００の作用について説明する。

まず、車両１００に搭載された単眼カメラ１０が、例えば車両２００の後方斜め下向きの景色をカラー画像（例えば図２に示すカラー画像）で撮影し、このカラー画像はＮＴＳＣ映像信号として信号処理装置２０のデジタルデコーダ３０に入力される。

デジタルデコーダ３０は、入力されたＮＴＳＣ映像信号を、同期信号（水平同期信号および垂直同期信号）と輝度信号Ｙと色差信号Ｃｂ，Ｃｒとに変換して出力する。

デジタルデコーダ３０から出力された信号のうち色差信号Ｃｂ，Ｃｒは、障害物検出部４０の加算部４１に入力され、加算部４１は、デジタルのＮＴＳＣ映像信号の１フレームを構成する画素ごとに、２つの色差信号Ｃｂ，Ｃｒを加算し、その加算値（Ｃｂ＋Ｃｒ）を領域分割回路４２に出力する。

ここで、図２に示したカラー画像には、手前部分（図示において下部）に自車両２００のバンパ２１０が映り込み、また遠部（図示において上部）に遠景２２０が映り込んでいる。また、カラー画像の大部分は、車両２００の後方の路面２３０であり、この路面２３０には車両２００を駐車する区画を示す白線枠２４０が描かれている。また、路面２３０には、障害物３００の一例として、赤橙色のカラーコーンが置かれており、この障害物３００としてのカラーコーンもカラー画像に映り込んでいる。

なお、カラー画像中の路面２３０や白線枠２４０の画像は、基本的に無彩色の階調画像（グレースケールのモノトーン画像）であり、カラーコーン等の障害物３００の画像は、一般的に有彩色の階調画像である。

すなわち、路面２３０や白線枠２４０の画像は、色差信号Ｃｂ，Ｃｒの値がいずれも０（ゼロ）または０に近い極めて小さい値を示すため、加算部４１から出力された加算値（Ｃｂ＋Ｃｒ）も０または０に近い極めて小さい値となり、一方、カラーコーン等の障害物３００の画像は、色差信号Ｃｂ，Ｃｒのうち少なくとも一方の値が大きな値を示すため、加算部４１から出力された加算値（Ｃｂ＋Ｃｒ）は、０に対して有意な差を呈する大きな値となり、路面２３０や白線枠２４０の画像とは明確に区別可能となる。

領域分割回路４２は、１フレームのカラー画像について、矩形太枠Ｓで囲まれた対象領域Ｒを選定するとともに、この対象領域Ｒを、デジタルデコーダ３０から入力された同期信号にしたがって、マトリックス状に並ぶ複数の小矩形領域ｒ11，…，ｒpqに分割処理する。

そして、各小矩形領域ｒ11，…，ｒpqに対応してそれぞれ設けられた領域加算部４３が、それぞれの小矩形領域ｒ11，…，ｒpqを構成する画素の加算値（Ｃｂ＋Ｃｒ）を、この各小矩形領域ｒ11，…，ｒpqに含まれる全ての画素（画素数ｎ）について加算（Σ（Ｃｂ＋Ｃｒ））する。

具体的な分割処理、加算処理は、領域分割回路４２で各小矩形領域ｒ11，…，ｒpqごとに振り分けられた加算値（Ｃｂ＋Ｃｒ）の信号は、領域加算部４３において、有効データが入力されるごとに逐次加算される。このとき、領域分割回路４２は、主にカウンタと切替えスイッチとから構成され、デジタルデコーダ３０から入力された水平同期信号および垂直同期信号をトリガとしてカウントを行い、入力されている加算値（Ｃｂ＋Ｃｒ）の信号が、いずれの小矩形領域ｒ11，…，ｒpqに属する画素の値かを特定し、切替えスイッチで加算値（Ｃｂ＋Ｃｒ）の信号を振り分けている。

そして、この処理をＮＴＳＣ映像信号の１フレーム分（１画面分）完了した後、各平均値算出部４４は、対応する領域加算部４３で加算して得られた領域加算値（Σ（Ｃｂ＋Ｃｒ））を画素数ｎで除して平均値（Σ（Ｃｂ＋Ｃｒ）／ｎ）を算出し、対応する各比較部４５が、得られた各小矩形領域ｒ11，…，ｒpqごとの平均値（Σ（Ｃｂ＋Ｃｒ）／ｎ）と予め設定された閾値とを大小比較し、平均値（Σ（Ｃｂ＋Ｃｒ）／ｎ）が閾値を上回ったか否かの結果を判定回路４６に出力する。

上述した予め設定された閾値は、路面２３０と路面２３０以外の物体（カラーコーン３００等の障害物）とを区分けするのに必要な、実験的または経験的に設定された値であり、路面２３０についての平均値（Σ（Ｃｂ＋Ｃｒ）／ｎ）よりも十分に大きく、かつ路面２３０以外の物体（カラーコーン３００等を始めとして歩行者やペット、その他の一般的な障害物）についての平均値（Σ（Ｃｂ＋Ｃｒ）／ｎ）よりも十分に小さい値で設定されている。なお、この閾値は量子化誤差等の影響を受けないように考慮して設定されている。

判定回路４６は、小矩形領域ｒ11，…，ｒpqに対応した各比較部４５から入力された、平均値（Σ（Ｃｂ＋Ｃｒ）／ｎ）が閾値を上回ったか否かの結果に基づいて、対応する小矩形領域ｒ11，…，ｒpqに、障害物３００が存在するか否かを判定する。

すなわち、平均値（Σ（Ｃｂ＋Ｃｒ）／ｎ）が閾値を上回った小矩形領域ｒij｛（ｉ，ｊ）＝（１，１），…，（ｐ，ｑ）｝については、路面２３０以外の有彩色の物体、すなわち何らかの障害物３００が存在すると判定し、一方、平均値（Σ（Ｃｂ＋Ｃｒ）／ｎ）が閾値を下回った小矩形領域ｒijについては、路面２３０以外の有彩色の物体、すなわち障害物３００が存在しないと判定する。

なお、小矩形領域ｒ11，…，ｒpqの面積が小さい場合、すなわち領域の分割個数が多い場合には、各小矩形領域ｒ11，…，ｒpqごとに対応する実際の車両２００の後方景色の個別の部分は小さいものとなる。

したがって、例えば障害物３００が存在すると判定された小矩形領域ｒijが一つである場合は、その障害物３００が存在すると判定された小矩形領域ｒijに対応する実際の後方景色の個別の部分も、面積が少ない僅かな範囲に過ぎず、したがって、そのような僅かな範囲にのみしか存在しない障害物３００は、車両３００に対する影響が極めて少ないものと推認することができる。

よって、障害物３００が存在すると判定された小矩形領域ｒijが一つであり、隣接する他の小矩形領域ｒijには障害物３００が存在しないと判定されたときは、判定回路４６は、敢えて注意すべき障害物３００は存在しないとする判定結果を出力してもよい。この場合、２つ以上連続する複数の小矩形領域ｒijについて、障害物３００が存在するとの判定の場合に、障害物３００が存在するとの判定結果を出力すればよい。本実施形態においては、色情報に基づいて小矩形領域ｒ2q，ｒ3q，ｒ4q，ｒ5(q-1)，ｒ5q，ｒ6(q-1)，ｒ6qに障害物３００が存在することが検出され、これらの小矩形領域は２つ以上連続するため、判定回路４６はこれらの小矩形領域ｒijに障害物３００が存在するとの判定結果を出力する。

判定回路４６による小矩形領域ｒijごとの判定結果は、警告マーク重畳回路５０および警報音発生装置８０に出力され、警告マーク重畳回路５０は、入力された判定結果に基づいて、障害物３００が存在するとの判定結果に対応した小矩形領域ｒijについて、モニタ９０に表示された可視画像に対してスーパーインポーズにより、警告マーク（図示せず）を重畳表示するようにモニタ９０を制御する。

これにより、モニタ９０に表示された車両２００の後方の景色であるカラー画像において、障害物３００が存在する小矩形領域ｒijが、運転者に対して視覚的に注意を惹くように表示される。

さらに、警報音発生装置８０は、いずれかの小矩形領域ｒijに障害物３００が存在するとの判定結果が入力されたときは、音声やブザー音等によって警報音を発生し、運転者に対して聴覚的に注意を惹くように表示される。

以上のように、障害物３００に対して注意を惹かせる作用は、路面２３０は無彩色であり、かつ障害物３００は路面２３０とは異なって有彩色である、との前提の下に、安価な単眼カメラ１０および信号処理装置２０を用いた簡易な構成によって、障害物３００を簡便に検出することによって実現されている。

したがって、本実施形態に係る障害物検出装置１００によれば、車両２００の移動によって生じるフレーム間での画像ずれを考慮するまでもなく、しかも検出対象である障害物３００の静止・移動の別にも拘わらず、障害物３００を簡易に検出することができる。

なお、本実施形態に係る障害物検出装置１００は、上述したように、色情報に基づいて障害物３００の存在を検出しているため、単眼カメラ１０で撮影されるカラー画像が、例えば日向の風景に建物等の日影が横切っているような画像であって、その日影の中に障害物３０が存在するような、従来の障害物検出装置では障害物の検出が困難な状況であっても、日影の中に存在する障害物３００の色情報を容易に検出することができる。

ここで、黒系一色の服装をした人を検出することができるかについては、そのような服装の人であっても、顔の一部や手などは露出しているのが一般的であり、これらの部分は有彩色であるから、障害物３００として検出することが可能である。

また、本実施形態に係る障害物検出装置１００は、加算部４１によって、２つの色差信号Ｃｂ，Ｃｒを加算して、その加算値（Ｃｂ＋Ｃｒ）と閾値とを大小比較するため、無彩色階調画像における色差信号との差異を得やすく、閾値処理による誤検出の可能性を抑制することができる。

本実施形態の障害物検出装置１００は、表示処理部としての警告マーク重畳回路５０が、障害物検出部４０によって障害物３００が検出された小矩形領域について警告マークを重畳的に表示するものを適用しているが、この他に、障害物検出部４０によって障害物３００が検出された小矩形領域の区画枠やその小矩形領域内の映像自体を点滅させるなどして、運転者の注意を惹かせる領域点滅回路を表示処理部として適用することもできる。

また、本実施形態に係る障害物検出装置１００は、ステレオカメラと比較して安価な単眼カメラ１０を用いた装置であるため、ステレオカメラやそのシステムを新たに搭載することがなく、既にカメラが設置されている車両に対しても、その既存のカメラから得られるカラー画像を利用して、本発明の障害物検出装置を実現することができる。

本発明の実施形態に係る障害物検出装置の構成を示すブロック図である。 図１に示した障害物検出装置の作用を説明する図（その１）である。 図１に示した障害物検出装置の作用を説明する図（その２）である。

符号の説明

１０ 単眼カメラ
２０ 信号処理装置２０
３０ デジタルデコーダ
４０ 障害物検出部
４１ 加算部
４２ 領域分割回路（領域分割部）
４３ 領域加算部
４４ 平均値算出部
４５ 比較部
４６ 判定回路
５０ 警告マーク重畳回路（表示処理部）
８０ 警報音発生装置
９０ モニタ（表示装置）
１００ 障害物検出装置
２００ 車両
３００ 障害物

Claims (7)

1. 車両に設置されて前記車両の周囲をカラー画像で撮影するカメラと、
   前記カメラにより撮影して得られたカラー画像のうち色情報に基づいて、前記車両の周囲の障害物を検出する信号処理装置と、を備えたことを特徴とする障害物検出装置。
2. 前記信号処理装置は、
   前記カラー画像を表す画像信号を輝度信号と２つの色差信号とに変換する信号変換部と、前記信号変換部により変換して得られた前記色差信号に基づいて前記障害物の有無を判定する障害物検出部と、を備えたことを特徴とする請求項１に記載の障害物検出装置。
3. 前記障害物検出部は、
   前記信号変換部により変換して得られた前記２つの色差信号を加算する加算部と、前記加算部により得られた前記２つの色差信号の加算値と予め設定された閾値とを大小比較する比較部とを備え、前記比較部による比較の結果に基づいて、前記障害物の有無を判定するものであることを特徴とする請求項２に記載の障害物検出装置。
4. 前記信号処理装置は、
   前記カラー画像を複数の領域に分割する領域分割部を備え、
   前記障害物検出部は、前記領域分割部により分割して得られた前記複数の分割領域ごとに、前記障害物の有無を判定するものであることを特徴とする請求項２または３に記載の障害物検出装置。
5. 前記カメラにより撮影して得られたカラー画像を可視画像として表示する表示装置を備えるとともに、
   前記信号処理装置は、
   前記表示装置に表示される前記可視画像のうち、前記障害物検出部によって前記障害物が検出された分割領域に対応する領域について、注意を喚起するマークを表示し、または点滅させる表示処理部を備えたことを特徴とする請求項４に記載の障害物検出装置。
6. 前記信号処理装置により前記障害物が検出されたときは、警報音を発生させる警報音発生装置を備えたことを特徴とする請求項１から５のうちいずれか１項に記載の障害物検出装置。
7. 前記信号処理装置は、前記カメラにより撮影して得られたカラー画像のうち、前記車両自体が写った領域を除いた領域についてのみ、色情報に基づいて前記障害物を検出するものであることを特徴とする請求項１から６のうちいずれか１項に記載の障害物検出装置。

Images