JP2008027138A - 車両用監視装置 - Google Patents

Abstract

【課題】認識しやすく、注意すべき対象の認知・判断が容易な車両用監視装置の提供。
【解決手段】映像処理部２において、取得されたフレーム間の変化に基づいて画像領域を移動体を含む分割画像領域と背景を含む分割画像領域とに分割し、分割された分割画像領域の内の、遠ざかる移動体を含む分割画像領域と背景を含む分割画像領域とにぼかし処理を施す。その結果、不要な情報量が減少し、認識しやすい表示画像を得ることができ、例えば、接近する移動体の認識を容易とする。
【選択図】図１

Description

本発明は、車両周囲の映像をモニタに表示する車両用監視装置に関する。

従来から、車両の後方や後側方を確認するために、カメラで撮影された周囲映像をモニタに表示する装置が知られている（例えば、特許文献１参照）。その装置では、モニタ上の注目すべき対象物に対して強調処理を施すことで、その対象物を観察者が認識しやすいようにしている。

特開平９−４８２８２号公報

しかしながら、モニタ上には、カメラで撮影された周囲映像が実際の視野範囲よりも狭い視野範囲に縮小されて表示されるので、狭い範囲により多くの映像情報が存在することになる。そのため、従来のように注意すべき対象物に強調処理を施しても情報量の多さは変わらず、情報量の多さが対象物の認知・判断に悪影響を与えてしまうという点で問題がある。

本発明は、撮像装置で撮像された車両後方の撮像画像を表示装置に表示する車両用監視装置に適用され、撮像画像をフレーム単位で取得し、フレーム間の変化に基づいて画像領域を移動体を含む分割画像領域と背景を含む分割画像領域とに分割する分割手段と、分割手段で分割された分割画像領域の内の、遠ざかる移動体を含む分割画像領域および背景を含む分割画像領域にぼかし処理を施す画像処理手段とを備えたことを特徴とする。

本発明によれば、表示された画像の不要な情報量が減少し、注意すべき対象の認知・判断が容易となり、例えば、接近する移動体が認識しやすくなる。

以下、図を参照して本発明を実施するための最良の形態について説明する。図１は本発明による車両用監視装置の一実施の形態を示すブロック図である。本実施の形態の監視装置は、カメラ１、映像処理部２、モニタ３を備えている。カメラ１はＣＣＤ撮像素子のような撮像デバイスを用いた撮像装置であり、例えば、自車両の後部ほぼ中央に設置されて、自車両の後方を連続的に撮影する。

カメラ１により連続的に撮影された画像は、所定時間毎に区切られた画像フレーム毎に映像処理部２に取り込まれる。映像処理部２は、画像処理等を行うＣＰＵ、制御プログラムや各種データが記憶されるＲＯＭやＲＡＭなどを備えている。ＲＡＭには、入力画像データやモニタ３に表示する出力画像データが一時的に格納される。映像処理部２に取り込まれた画像は所定の映像処理が施され、表示用のモニタ３に送られる。モニタ３には、映像処理後の後方映像が監視画像として表示される。映像処理部２には、自車両の状況に関する車両情報や、自車両の周囲状況に関する周囲情報が入力される。

車両情報としては、車速センサや加速度センサからの車速や横Ｇ、ナビゲーション装置からのナビゲーション情報（自車両の現在位置や周囲の道路の形状）などがある。周囲情報としては、車両に搭載しているレーダーやソナーからの周囲車両等に関する位置情報や速度情報がある。レーダーを用いることにより比較的離れている車両の位置や速度が得られ、一方、ソナーを用いることにより近接車両（例えば、側方を通過する駐車車両や後続するバイクなど）の位置や相対速度が得られる。

図２は、映像処理部２で行われる処理手順の概略を示したものであり、この処理は車両用監視装置の電源が投入されるとスタートする。ステップＳ１では、カメラ１から最新のフレームの画像データを取り込む。図３は、取り込まれた画像データの一例を示したものであり、後続車両、停車車両、道路面、建築物、空などが撮影されている。ステップＳ２では、エッジ検出、オプティックフローの検出、同じ色が連続している領域の検出などを行うことにより、映像領域を複数の領域に分割する。分割の際の領域抽出処理の詳細は後述する。

ステップＳ３では、分割領域毎にぼかし処理等の画像処理を行う。画像処理の詳細は後述するが、各分割領域毎にぼかすか否かの判定を行い、ぼかすと判定した分割領域に対してぼかし処理を施す。ステップＳ４では、各分割領域を統合して表示用の画像データを作成する。次いでステップＳ５では、統合された画像データをモニタに出力する。ステップＳ６では、電源スイッチがオフか否かを判定し、オンの場合にはステップＳ１ヘ進み、オフの場合には一連の処理を終了する。

［領域抽出処理の説明］
次に、分割処理の際の抽出処理について、その概略を図４〜６を参照して説明する。ここでは、説明を簡単にするために、図３に示す画像に代えて図４に示す画像を用いて説明する。抽出処理にあたって、映像処理部２は、最新のフレームＮの画像１（図４（ｂ））と直前のフレームＮ−１の画像２（図４（ａ））とを取り込む。

図４（ａ），（ｂ）に示すフレームＮ−１およびＮのいずれの画像にも、監視すべき対象の候補である対象物１０と、その他の背景とが映し出されている。背景には、建物２０や電柱２１や道路上の白線２２などが含まれている。図４（ｂ）の破線で示すように、時間経過によって、画像１の建物２０、電柱２１および白線２２は画像２と比較すると後方に移動している。また、対象物１０は自車両に接近しつつある車両であって、画面上では前方に移動している。

次いで、オプティックフローの検出を行う。オプティックフローとは、対象物体の動きをベクトルで表現するものであり、代表的な表現としては、対象物上のある一点の動きの方向とその速度の大きさを矢印の方向と長さで同時に表現するものである。オプティックフローの検出を行うためには、まず画像１および画像２の特徴点を抽出する。例えば、C.Harris and M.Stepehens. A combined corner and edge detector. In Proc. Alvey. Conf., pp189-162, 1987 で解説されているコーナー検出アルゴリズムを使用して、特徴点を抽出する。

画像１，２の特徴点を抽出したならば、画像１の特徴点と画像２の特徴点とのマッチング処理を行い、画像１の各特徴点に対してそれに対応する画像２の特徴点を検出する。例えば、画像１内の特徴点に対し、その近傍に存在する画像２内の複数の特徴点のうち色が最も近く、その差が所定の閾値よりも少ない特徴点を選択する。

図５（ａ）は、画像１上に画像１の特徴点（黒丸）と、対応する画像２の特徴点（黒三角）とを示したものであり、説明のため多数ある特徴点の一部のみを示した。画像１，２間で相対的に移動している対象物１０、建物２０および電柱２１に関する特徴点については、黒丸と黒三角とが離れているが、矢印Ｒで示した空の領域の特徴点については、黒丸と黒三角とがほぼ同一位置となっている。なお、分かりやすいように、図５（ａ）においても図４（ｂ）と同様の破線を示した。

そして、画像２の特徴点から画像１の対応する特徴点へと矢印を描くことにより、オプティックフローを得ることができる。図５（ｂ）は、オプティックフローの一部を示したものである。建物２０、電柱２１、道路上の白線２２などのオプティックフローOF1，OF2，OF3は後方へ向かう矢印となっているが、後方から自車両に近付いている対象物１０に関するオプティックフローOF4は前方へと向かうような（図面上は左斜め下方向）矢印となっている。また、図５（ａ）の空の領域のように画像１，２の特徴点の位置が同じ領域では、オプティックフローOF5は点で表される。この時点では、図５（ｂ）に示すように、画面領域上のオプティックフローが定まっただけで、各分割領域への分割はまだ行われていない。

次に、画像１に関してエッジ検出を行う。このエッジ検出は、例えば、微分処理によるエッジ強調などのような周知の画像処理方法を用いて行われる。図４（ａ）は映像を簡単にした模式的な画像なので、エッジ検出後のエッジ画像も図４（ａ）とほとんど同じになる。例えば、建物２０および電柱２１と地面との境界がエッジ検出により検出されなかった場合には、エッジ検出後のエッジ画像は図５（ｃ）に示すような画像となる。図５（ｃ）では、色変化が小さくなっている車両後部のピラー部分や遠方の白線についても、エッジ検出されていない。

このエッジ検出処理により、映像は複数の領域に分割される。そして、エッジにより分割されている領域に対し、その領域内の代表的なオプティックフロー（特徴点の動きとその方向）から、その領域の前フレームに対する移動の方向および量を求める。例えば、対象物１０についてはオプティックフローOF4からそれらの値が得られ、建物２０についてはオプティックフローOF1から得られる。

また、図５（ａ），（ｂ）に示すように、空の領域の特徴点は移動しておらず、このような移動しない特徴点が存在する連続した領域として空の領域が検出される。さらに、分割された領域内に特徴点がほとんど存在しない場合には、その領域を囲むエッジ上の特徴点の移動の方向と量に着目する。例えば、色の陰影がないような領域（道路上の白線２２など）の場合には、そのエッジ上に特徴点が集中する。なお、路面のように変化の少ない領域では、画像１，２間の特徴点のマッチング処理に失敗し、移動していないとみなされる特徴点が検出されることがあるが、この領域も背景の一部に含められる。

このようにして、エッジ検出とオプティックフロー検出により、監視すべき対象物として対象物１０が検出される。それ以外の領域の特徴点は、オプティックフローOF1〜OF3で示すように画面中央付近の消失点FOC（Focus Of Compression）に向かって移動しているものと、空の領域のように特徴点が移動しないものとに分けられる。対象物１０以外の領域については、背景を地平線より下の背景Ａと、地平線よりも上の背景Ｂとに分割する。空の領域は背景Ｂに含まれる。なお、オプティックフローOF1〜OF3の傾向から、走行中の背景の移動方向が全体的に図６のようになっているのが分かる。

［ぼかし処理の説明］
上述した抽出処理を行うことにより、図３に示す映像は図７，８に示すように５つの分割領域に分割される。図７（ａ）〜（ｃ）は３つの対象物１１，１２，１３のそれぞれに関する分割領域を示し、図８（ａ），（ｂ）は背景Ａ，Ｂの分割領域を示している。図２のステップＳ３の処理では、これらの分割領域の画像に対してぼかし処理を含む画像処理を施す。

図９は、各分割領域に対する画像処理の概略を説明する図であり、処理の流れを示したものである。先ず、対象物１１〜１３の画像に対する処理について説明する。本実施の形態で分割領域毎に画像処理を施すのは、後方から自車両に接近する車両（対象物）に対して注意を喚起するためである。そのため、対象物１１〜１３に画像処理を施す際には、対象物１１〜１３との距離および相対速度に基づいて処理を行う。これらの距離および相対速度は、車両に搭載されているレーダーやソナーからの情報に基づいても良いし、検出されたオプティックフローから推測される距離および相対速度を用いても良い。

対象物１１の場合には、自車両よりも速度が速く非常に接近している移動体なので、目に付きやすいように強調処理を施す。例えば、コントラストを高めるような画像処理を施す。対象物１１のオプティックフローは図５（ｂ）のオプティックフローOF4と同様に進行方向に向いており、オプティックフローから接近する移動体であると認識される。

対象物１２の場合には、道路脇に停車している車両であることが距離および相対速度から判定され、注意を払わなくても良い対象と推定されるのでぼかし処理を施す。停車している対象物１２のオプティックフローは、図５（ｂ）に示す建物２０や電柱２１のオプティックフローOF1，OF2ように背景のオプティックフローと同じになる。このように、停止している対象物１２や、走行車両であっても走行速度が遅くて自車両から遠ざかる移動体の場合には、ぼかし処理が施されることになる。

ぼかし処理を施す場合、ぼかしの方向は対象物１２のオプティックフローの方向とし、相対速度が大きいほどぼかし量（ぼかしの程度）を大きくする。オプティックフローの方向にぼかす場合、オプティックフローに沿った画素間で平均化してぼかし処理を行う。また、対象物の距離が近いものはぼかし量を大きくし、小さいものはぼかし量を小さくするようにしても良い。その結果、ぼかし処理された映像は、走行速度に応じた違和感のない映像となるとともに、ぼかし処理が施されていない領域の視認性が向上する。

ぼかし処理は、同一フレーム上において、対象としている領域の画素とその周辺の画素との間で平均化処理することにより行われる。また、ぼかし量の調整は、画像上において何ピクセル離れている画素を用いるかによって行われ、さらに、どの方向の画素と平均化する化によってぼかしの方向を変えることができる。平均化の際の重み付けを変えても良い。なお、ぼかし処理をフレームの異なる画像のデータを用いて行っても良いが、各フレーム単位での空間的な平均化を行うことで、見やすい映像と遅れのない映像の両立を図ることができる。

対象物１３の場合、距離が比較的に近く、徐々に近付いている移動体なので、注意すべき対象と推定しぼかし処理を施さない。このように、強調処理を施さない対象であっても、その周囲の領域にぼかし処理が施されることで注意を引きやすくなり、強調した場合と同様の効果が得られる。

地平線の下側の背景である背景Ａの画像に関しては、ほとんどの領域が路面で占められており、一様なテクスチュアの路面は情報量が少なく対象物認識の妨げとならないので、より自然は映像となるようにぼかし処理を行わない。ただし、路面上に白線２２がある場合、後方に移動しながら周期的に変化するので、不必要な変化を控えて観察者の認識負荷を軽減する意味から、白線２２が並んでいる方向にぼかし処理を施す。その結果、周期的に並んだ白線が、あたかも一本の連続した白線のようになり、周期的変化の煩わしさを低減することができる。ここでは路面上の白線について説明したが、例えば、トンネル内の照明なども同様な周期的な映像となるので、同様のぼかし処理を施すようにする。

地平線の上側の背景である背景Ｂの画像に関しては、以下のような手順でぼかし処理を施す。背景Ｂの映像では、自車両の走行によって建物やその他の風景が、図６に示した消失点FOCへと向かって移動しながら小さくなって行く。図６に示すオプティックフローは、自車両の走行に依存していて静止している背景全体の移動パターンを表しているので、特にグローバルフローと呼ばれている。背景Ｂに対しては、図６に示すグローバルフローパターンに基づいてぼかし処理を施す。

映像処理部２のメモリ（ＲＡＭやＲＯＭ）には走行パターンに応じた複数のグローバルフローパターンが予め記憶されており、現在の車両走行状態の車両情報に基づいていずれかのグローバルフローパターンを選択して用いる。図９に示すグローバルフローパターンは直進走行の場合のパターンであり、この他に、カーブ走行時（右カーブ、左カーブ）などのパターンがある。車両情報としては、車速、操舵角、加速度センサからの横Ｇなどがある。また、ナビゲーション装置が作動している場合には、ナビゲーションの地図情報から道路のカーブ状態を推測してグローバルフローパターンを選択しても良い。

グローバルフローパターンを選択したならば、検出されたオプティックフローに基づいてグローバルフローパターンを補正して現状に合わせ込み、その補正されたグローバルフローパターンを用いてぼかし処理を行う。なお、グローバルフローパターンの補正については、カメラ向きや車体姿勢に応じても行われる。このときのぼかしの方向は、グローバルフローパターンのフロー方向に行われる。また、ぼかし量に関しては、消失点FOCから遠ざかる程ぼかし量を大きくする。すなわち、図９に示すような同心円状のぼかしパターンに基づいてぼかし量を設定する。パターン内の数字はぼかし量の程度を表している。なお、自車両の速度に応じてぼかしパターンのぼかし量の大きさを変えるようにしても良く、例えば、車速が大きい場合には、数字１，２，３，４を、２，３，４，５のように大きくする。

このようにして全ての分割領域に対して画像処理を施したならば、上述したようにそれらを表示データとして統合し、モニタ３へと出力する。図１０は、統合された映像を示す図である。適度なぼかし処理を施したことにより、注すべき対象としての対象物１１および１３（図７参照）が目立っているのが一目でわかる。また、周囲背景や対象物１３の近くの停車車両（対象物１２）等がぼけているため、不要な情報量が少なくなり見やすい映像となっている。なお、自車両が停止している場合には、撮影画像に対する上述したようなぼかし処理は行われず、撮影画像がそのまま表示される。

上述したように、本実施の形態の車両用監視装置は、以下のような作用効果を奏することができる。
（１）撮像画像をフレーム単位で取得し、分割手段２で、フレーム間の変化に基づいて画像領域を移動体を含む分割画像領域１１〜１３と背景を含む分割画像領域Ａ，Ｂとに分割し、分割された分割画像領域の内の、遠ざかる移動体を含む分割画像領域１２と背景を含む分割画像領域Ｂとに画像処理手段によりぼかし処理を施すようにしたので、情報量が低減され視認性の高い表示画像を得ることができる。
（２）なお、同一フレーム内において、ぼかしの対象となる画素とその周辺の画素とを平均化処理することによりぼかし処理を施すことで、映像の遅延時間を最小限に抑えつつ、認識しやすい映像を得ることができる。
（３）また、遠ざかる移動体および背景との相対速度が大きいほどぼかしの程度を大きくしたり、遠ざかる移動体および背景との距離に応じてぼかしの程度を変えたりすることで、移動体の状況や車両走行状況に応じて変化する観察者の感覚に即した自然な映像を実現できる。さらに、自車両の速度が大きいほどぼかしの程度を大きくすることで、例えば、駐車車両や道端の看板などの映像の煩わしさを低減できる。
（４）オプティックフローに基づいて、移動体を含む分割画像領域と背景を含む分割画像領域とに分割することで、適切な分割処理をより簡単に行うことができるとともに、背景へのぼかし処理も簡単になる。
（５）なお、ぼかしの対象となる画素とその周辺のオプティックフローの方向にある画素とを平均化処理して、オプティックフローの方向にぼかし処理を行ったり、オプティックフローの消失点から遠ざかるほどぼかしの程度を大きくしたりすることで、少ない計算量で車両の移動によって発生する自然なぼけ具合を実現することができ、視認性が高く違和感の少ない映像が得られる。

以上説明した実施の形態と特許請求の範囲の要素との対応において、モニタ３は表示装置を、映像処理部２は分割手段、画像処理手段および演算手段を、背景Ｂの分割領域は第１の分割画像領域を、背景Ａの分割領域は第２の分割画像領域をそれぞれ構成する。なお、上述した実施の形態では、後方画像に関して説明したが、側方や後側方の画像に対しても本発明を適用することができる。さらに、以上の説明はあくまでも一例であり、発明を解釈する際、上記実施の形態の記載事項と特許請求の範囲の記載事項の対応関係に何ら限定も拘束もされない。

本発明による車両用監視装置の一実施の形態を示すブロック図である。 映像処理部２で行われる処理手順の概略を示すフローチャートである。 取り込まれた画像データの一例を示す図である。 領域抽出処理を説明する図であり、（ａ）は画像２を、（ｂ）は画像１をそれぞれ示す。 領域抽出処理を説明する図であり、（ａ）は特徴点を示す図、（ｂ）はオプティックフローを示す図、（ｃ）はエッジ画像を示す図である。 グローバルフローパターンを示す図である。 図３の映像に対する分割領域を示す図であり、（ａ）〜（ｃ）は対象物１１〜１３のそれぞれに関する分割領域を示す。 図３の映像に対する分割領域を示す図であり、（ａ）は背景Ｂに関する分割領域を、（ｂ）は背景Ａに関する分割領域をそれぞれ示す。 各分割領域に対する画像処理の概略を説明する図である。 統合された映像を示す図である。

符号の説明

１：カメラ、２：映像処理部、３：モニタ、１０：移動体、２０：建物、２１：電柱、２２：白線、OF1〜OF5：オプティックフロー、FOC：消失点

Claims (10)

1. 撮像装置で撮像された車両後方の撮像画像を表示装置に表示する車両用監視装置において、
   前記撮像画像をフレーム単位で取得し、フレーム間の変化に基づいて画像領域を移動体を含む分割画像領域と背景を含む分割画像領域とに分割する分割手段と、
   前記分割手段で分割された分割画像領域の内の、遠ざかる移動体を含む分割画像領域および背景を含む分割画像領域にぼかし処理を施す画像処理手段とを備えたことを特徴とする車両用監視装置。
2. 請求項１に記載の車両用監視装置において、
   前記画像処理手段は、同一フレーム内において、ぼかしの対象となる画素とその周辺の画素とを平均化処理することにより前記ぼかし処理を施すことを特徴とする車両用監視装置。
3. 請求項１または２に記載の車両用監視装置において、
   前記画像処理手段は、遠ざかる移動体および背景との相対速度が大きいほどぼかしの程度を大きくすることを特徴とする車両用監視装置。
4. 請求項１〜３のいずれか一項に記載の車両用監視装置において、
   前記画像処理手段は、遠ざかる移動体および背景との距離に応じてぼかしの程度を変えることを特徴とする車両用監視装置。
5. 請求項１〜４のいずれか一項に記載の車両用監視装置において、
   前記画像処理手段は、自車両の速度が大きいほどぼかしの程度を大きくし、自車両が停止している場合はぼかし処理を停止することを特徴とする車両用監視装置。
6. 請求項１〜５のいずれか一項に記載の車両用監視装置において、
   前記撮像画像に基づくオプティックフローを算出する演算手段を備え、
   前記分割手段は、前記オプティックフローに基づいて、移動体を含む分割画像領域と背景を含む分割画像領域とに分割することを特徴とする車両用監視装置。
7. 請求項６に記載の車両用監視装置において、
   前記画像処理手段は、ぼかしの対象となる画素とその周辺の前記オプティックフローの方向にある画素とを平均化処理し、前記オプティックフローの方向にぼかし処理を行うことを特徴とする車両用監視装置。
8. 請求項６または７に記載の車両用監視装置において、
   前記画像処理手段は、前記オプティックフローの消失点から遠ざかるほどぼかしの程度を大きくすることを特徴とする車両用監視装置。
9. 請求項１〜８のいずれか一項に記載の車両用監視装置において、
   前記分割手段は、前記背景を含む分割画像領域を、地平線よりも上の背景を含む第１の分割画像領域と、地平線よりも下の背景を含む第２の分割画像領域とに分割し、
   前記画像処理手段は、前記第１の分割画像領域の空映像領域を除く他の領域にぼかし処理施すことを特徴とする車両用監視装置。
10. 請求項９に記載の車両用監視装置において、
    前記画像処理手段は、前記第２の分割画像領域内の道路面の白線を、その延在方向に沿ってぼかすことを特徴とする車両用監視装置。

Images