JP2009083632A - 移動物体検出装置 - Google Patents

Abstract

【課題】自車影を移動物体として誤検出してしまうことを抑制できる移動物体検出装置を提供する。
【解決手段】車両の移動中にカメラ１２によって２枚の画像を撮像し、鳥瞰変換手段１８において、その２枚の画像を鳥瞰変換する。そして、鳥瞰変換後の２枚の画像の座標系を座標系統一手段２０において統一した後、画像差分手段２２において、２枚の画像を差分を計算する。その差分結果によって移動物体の候補として検出された検出領域を極座標変換手段２４にて極座標変換する。自車影判別手段２６では、極座標変換後の検出領域の形状に基づいて検出領域が自車影によるものであるか否かを判別する。移動物体検出手段２８は、画像差分手段２２の差分結果によって検出された検出領域のうち、自車影によるものでないと判別された領域を移動物体として検出する。
【選択図】図１

Description

本発明は、単眼カメラで撮像した画像を用いて車両周辺の移動物体を検出する移動物体検出装置に関する。

単眼カメラで撮像した画像を用いて車両周辺の障害物を検出する障害物検出装置が知られている。たとえば特許文献１に記載されている装置がそれである。特許文献１に記載の装置では、車両に備えた単眼カメラを用いて、車両の移動に伴って少しずつ異なった撮影位置で画像を撮影している。そして、それら複数の画像の路面上の特徴点が重なるように画像変換を行った後に、２つの画像から差分画像を生成している。この差分画像において閾値よりも高い領域を立体物として識別している。
特開２００３−４４９９６号公報

移動物体も立体物であるので、上記特許文献１の装置を用いれば、車両周辺に存在する移動物体も検出できることになる。しかし、画像中に自車影が含まれている場合、車両の移動に伴って撮影した複数の画像における自車影の領域は完全には重ならない。そのため、特許文献１の装置では、画像中の自車影の一部分を立体物として誤検出してしまう可能性があった。

本発明は、この事情に基づいて成されたものであり、その目的とするところは、自車影を移動物体として誤検出してしまうことを抑制できる移動物体検出装置を提供することにある。

その目的を達成するための請求項１記載の発明は、水平方向の位置が車両の隅部を除く部分とされて車両に取り付けられており、車両周辺の画像を撮像する単眼のカメラと、
互いに異なる車両位置において前記カメラによってそれぞれ撮像された２枚の画像を保持する画像保持手段と、
前記画像保持手段に保持されている一方の画像が撮像された時点から他方の画像が撮像された時点までの前記車両の移動量を計算する車両移動量計算手段と、
前記画像保持手段に保持されている２枚の画像を、前記カメラの直下を原点とする鳥瞰座標系の画像に変換する鳥瞰変換手段と、
前記車両移動量計算手段によって計算された車両の移動量に基づいて、前記鳥瞰変換手段によって変換された２枚の画像の座標系を統一する座標系統一手段と、
その座標系統一手段によって座標系が統一された２枚の画像の差分を計算する画像差分手段と、
その画像差分手段の差分結果に基づいて移動物体を検出する移動物体検出手段とを備えた移動物体検出装置であって、
前記画像差分手段の差分結果によって移動物体の候補として検出された検出領域を極座標変換する極座標変換手段と、
その極座標変換手段による極座標変換後の検出領域の形状に基づいて検出領域が自車影によるものであるか否かを判別する自車影判別手段とをさらに備え、
前記移動物体検出手段は、前記画像差分手段の差分結果によって検出された検出領域のうち、自車影によるものでないと判別された領域を移動物体として検出することを特徴とする。

カメラによって撮像した画像をカメラ直下を原点とする鳥瞰座標系に変換すると、立体物は原点を中心とした円の径方向に延びる形状となる。移動物体も立体物であるので、鳥瞰座標系に変換された画像では移動物体も原点を中心とした円の径方向に延びる形状となる。従って、画像差分手段における差分結果も移動物体に対応するものは、鳥瞰座標の原点を中心とした円の径方向に延びる形状となる。

一方、鳥瞰座標系の画像において自車影は、その輪郭が原点を取り囲むように現れる。そして、画像差分手段においては、自車影の輪郭部分が検出されることになるので、自車影に対応する差分結果は、鳥瞰座標の原点を囲むような形状となる。

このように、移動物体の差分結果は鳥瞰座標の原点を中心とした円の径方向に延びる形状となる一方、自車影の差分結果は鳥瞰座標の原点を囲む形状となることから、極座標系に変換すると両者の差が顕著となる。従って、極座標変換手段による変換後の検出領域の形状に基づいて、画像差分手段の差分結果によって検出された検出領域が自車影によるものであるか否かを判別できるのである。そして、移動物体検出手段は、画像差分手段の差分結果によって検出された検出領域のうち、自車影によるものでないと判別された領域を移動物体として検出することから、自車影を移動物体として誤検出してしまうことを抑制できる。

自車影判別手段は、請求項２のように、極座標変換手段による極座標変換後の検出領域の縦横比に基づいて検出領域が自車影によるものであるか否かを判別してもよいし、また、請求項３のように、前記極座標変換手段による極座標変換後の検出領域の傾きに基づいて検出領域が自車影によるものであるか否かを判別してもよい。

図１は本発明の実施形態となる移動物体検出装置１０の構成を示すブロック図である。カメラ１２は単眼カメラであり、ＣＣＤカメラ等のデジタルカメラを用いることができる。このカメラ１２は車両に固定されており、その固定位置は、水平方向の位置が車両の隅部を除く部分に取り付けられる。水平方向の位置が車両の隅部でなければ、カメラ１２は、車両前部、車両側部、車両後部のいずれの部分に固定してもよい。また、高さ方向の固定位置には特に制限はない。カメラ１２の画角も、移動物体を検出することが必要な領域が撮像可能であれば特に制限はない。本実施形態のカメラ１２は、図示しない制御装置によって制御されることにより、車両の移動中に、車両を基準として同じ範囲の画像を所定周期で連続的に撮像する。そして、カメラ１２は、撮像した画像を画像保持手段１４に逐次入力する。なお、カメラ１２を制御する制御装置は、カメラ１２内に備えられていてもよいし、カメラ１２とは別の場所に備えられていてもよい。

画像保持手段１４は、書き換え可能なメモリであり、カメラ１２から入力された画像を少なくとも２枚記憶することができる記憶容量を有している。この画像保持手段１４には、たとえばＲＡＭやＥＥＰＲＯＭを用いることができる。

車両移動量計算手段１６は、たとえば車速センサとステアリングセンサとを備えており、車両の移動量として、並進量と回転量とを算出する。なお、ステアリングセンサに代えてジャイロセンサを用いてもよい。この車両移動量計算手段１６は、上記センサを用いて、カメラ１２によって画像を撮像したときの前回撮影時に対する車両の移動量を算出する。

鳥瞰変換手段１８は、画像保持手段１４に保持されている画像を、カメラ直下を原点とする鳥瞰座標系の画像に逐次変換する。変換のタイミングとしては、たとえば、カメラ１２の撮像に同期して行い、画像保持手段１４に保持されている画像のうちの最新の画像を変換するようにする。

図２は、鳥瞰変換の原理を説明する図である。図２においてカメラ１２はｚ軸上に位置しており、見下ろし角ｔで地平面（ｘｙ座標面）を撮像している。このｘ軸、ｙ軸、ｚ軸によって表される座標系を地平面座標系（ｘ，ｙ，ｚ）という。この地平面座標系に対して、カメラ座標系（ｘ”，ｙ”，ｚ”）は、地平面座標系（ｘ，ｙ，ｚ）の原点Ｏをカメラ位置まで平行移動させ、ｘ軸を回転軸として、角度ｔだけ回転させた座標系である。従って、地平面座標系（ｘ，ｙ，ｚ）の点をカメラ座標系（ｘ”，ｙ”，ｚ”）に変換する式は、下記式１によって表すことができる。

次に、地平面座標系（ｘ，ｙ，ｚ）からディスプレイ座標系（Ｘｍ，Ｙｍ）への変換を説明する。このディスプレイ座標系（Ｘｍ，Ｙｍ）とは、カメラ１２からの焦点距離ｆにあるスクリーン平面上の座標系である。これは、地平面座標系（ｘ，ｙ，ｚ）の物体をｆ／ｙ”だけ縮小させてスクリーン平面上に投影することに相当する。また、地平面座標系においてはｚ＝０である。従って、カメラ座標系からディスプレイ座標系（Ｘｍ，Ｙｍ）への投影は下記式２で表すことができる。なお、式２において、Ｘ_ＭＡＸおよびＹ_ＭＡＸは、それぞれ、ディスプレイの画像サイズであり、Ｘ_ＭＡＸ／２およびＹ_ＭＡＸ／２は、処理の都合上、原点を画面中心に移動させるための移動量である。原点をＸｍ軸とＹｍ軸との交点とする場合にはこの移動量（Ｘ_ＭＡＸ／２およびＹ_ＭＡＸ／２）は不要である。

式２を式に１代入し、ｚ＝０とすることにより式３が得られる。この式３が地平面座標系をディスプレイ座標系へ変換するための式である。

この式３をｘとｙについて解いてやればディスプレイ座標系を地平面座標系（すなわち鳥瞰座標系）へ変換するための式が得られる。その式を用いて、画像保持手段１４に保持されている画像の座標変換を行なうことにより、カメラ直下を原点とする鳥瞰座標系の画像が得られる。

図３は、この鳥瞰変換手段１８による鳥瞰変換の例を示す図である。図３において、左図はカメラ１２によって撮像された元画像であり、右図が鳥瞰変換された画像である。この画像は、画角１２０°のカメラを用いて、車両後方４．８ｍ、幅６．４ｍの範囲を鳥瞰変換した例である。

座標系統一手段２０は、鳥瞰変換手段１８によって鳥瞰変換された２枚の画像の座標系を統一する。上記２枚の画像は、ともにカメラ直下を原点として鳥瞰変換した画像であるが、これらの画像は車両の移動中に撮像されている。従って、上記２枚の画像は座標系を互いに異にしている。そこで、カメラ１２によって２枚の画像を撮像した間に車両が移動した移動量（並進量および回転量）を車両移動量計算手段１６によって計算し、その計算した並進量および回転量を用いて、一方の鳥瞰変換された画像の座標系を他方の鳥瞰変換された画像の座標系に合わせるのである。

図４の（Ａ）図および（Ｂ）図は、それぞれ、時点ｔおよび時点ｔ−１においてカメラ１２が撮像した画像を鳥瞰変換した画像である。（Ｃ）図は、車両移動量計算手段１６が計算した並進量および回転量に応じて、（Ｂ）の画像を平行移動および回転移動させた画像である。なお、図４の例は、カメラ１２の設置位置は車両側面において前後方向の中央部である。

画像差分手段２２は、座標系統一手段２０によって座標系を統一した後の２枚の画像のフレーム間差分を行なう。ここで、時点ｔにおける鳥瞰画像をＩ_ｔ、時点ｔ−１における鳥瞰画像をＩ_ｔ−１、その鳥瞰画像Ｉ_ｔ−１を座標系統一手段２０にて平行移動および回転移動させた鳥瞰画像をＩ’_ｔ−１とすると、差分結果Ｄ_ｔ(i,j)は、次の式４で表すことができる。

さらに、画像差分手段２２は、差分結果に対して２値化処理を行い、且つ、基準面積以下の領域を除去する小領域除去処理を行なう。これにより、差分が大きい部分がある面積の領域を検出することになる。図４（Ｄ）は、図４の（Ａ）図と（Ｃ）図に対してフレーム間差分を行い、且つ、２値化処理と小領域除去を行なった結果の画像である。（Ｄ）図の例では、足に相当する部分が白色になっており、移動物体である人が適切に検出できている。

しかしながら、カメラ１２によって撮像された画像に自車影が写っている場合、自車影の一部を移動物体として誤検出してしまう可能性がある。このことを次に説明する。図５に示す例は、左図が鳥瞰変換手段１８によって変換した２枚の画像のうちの新しい側の画像である。この左図に示す画像には自車影が写っている。また、この画像には人の足も写っている。なお、この図５の例も、カメラ１２の設置位置は、車両側面において前後方向の中央部である。

図５の右図は、左図に画像差分手段２２によって検出された領域を重畳した画像である。この右図に示すように、足が写っている部分が検出領域１として検出されている。しかし、これ以外に、自車影の縁部分が検出領域２、３として検出されている。このように、カメラ１２によって撮像された画像に自車影が写っている場合、自車影の一部を移動物体として誤検出してしまう可能性があるのである。

そこで、本実施形態では、誤検出を防止するために極座標変換手段２４と自車影判別手段２６とを備えている。極座標変換手段２４は、画像差分手段２２によって検出された検出領域を、カメラ位置を原点とする極座標系（以下、鳥瞰極座標系という）に変換する。ここで、鳥瞰画像上の点をＰ_ＢＶ（ｘ，ｙ）とすると、鳥瞰極座標上の点Ｐ_{ＢＶＰＯＬＡＲ}（ｒ，θ）は次の式５で表すことができる。

図６は、この極座標系変換手段２４によって得られた画像である。なお、図６の例は、説明を分かりやすくするため、図５の右図（すなわち、鳥瞰画像に画像差分手段２２によって検出された領域を重畳した画像）を鳥瞰極座標系に変換した図であるが、実際には、画像差分手段２２によって検出された領域を鳥瞰極座標系に変換すればよい。

自車影判別手段２６は、極座標系変換手段２４によって鳥瞰極座標系に変換された後の検出領域の形状に基づいて各検出領域が自車影によるものであるか否かを判別する。本実施形態では、検出領域の形状を検出領域の縦横比Ｒで把握する。この縦横比Ｒとは、検出領域のｒ方向の長さをＬ_ｒとし、検出領域のθ方向の長さをＬ_θとしたとき、次式６で表すものである。
（式６） Ｒ＝Ｌ_ｒ／Ｌ_θ

ここで、図６から分かるように、移動物体である人の足に対応する検出領域１は縦長の形状（ｒ軸方向に長い形状）である一方で、自車影に対応する検出領域２、３は、横長（θ軸方向に長い形状）である。図６の例に限らず、移動物体に対応する検出領域は縦長になり、自車影に対応する検出領域は横長になる。この理由を次に説明する。

まず、移動物体に対応する検出領域が縦長になる理由を説明する。カメラ１２によって撮像した画像をカメラ直下を原点とする鳥瞰座標系に変換すると、本来は立体物であるものをカメラ直下を原点とする地平面座標系に透視変換することになる。従って、鳥瞰座標系に変換された画像では、立体物は、原点を中心とする円を仮定した場合の径方向に延びる形状となる。移動物体も立体物であるので、鳥瞰座標系に変換された画像では、移動物体は原点を中心とした円の径方向に延びる形状となる。移動物体が原点を中心とした円の径方向に延びる形状となるのは、車両に対する移動物体の位置によらないことから、差分結果の形状も、原点を中心とした円の径方向に延びる形状となる。従って、鳥瞰極座標系に変換した場合には、移動物体に起因する検出領域の形状は縦長の形状（ｒ軸方向に長い形状）となるのである。

次に、自車影に対応する検出領域が横長になる理由を説明する。画像差分手段２２において、自車影に起因して検出されるのは、その自車影の輪郭付近である。ここで、カメラ１２の取り付け位置を車両の隅部を除く部分としているので、カメラ直下を原点とする鳥瞰画像においては、自車影はその輪郭が原点を取り囲むように現れることになる。そのため、画像差分手段２２において自車影に起因して検出される形状は、原点を中心とする円弧状に近い形状となる。従って、鳥瞰極座標系に変換した場合には、自車影に起因する検出領域の形状は横長の形状（θ軸方向に長い形状）となるのである。

上述のように、鳥瞰極座標系に変換されると、移動物体に対応する検出領域は縦長になり、自車影に対応する検出領域は横長になることから、自車影判別手段２６は、縦横比Ｒが閾値Ｔ未満の検出領域を自車影であると判別する。上記閾値Ｔは、たとえば、１に設定される。

そして、移動物体検出手段２８では、画像差分手段２２によって検出された検出領域のうち、自車影判別手段２６によって自車影ではないと判別と判別された領域、すなわち、縦横比Ｒが閾値Ｔ以上の検出領域を移動物体として検出する。

次に、本実施形態の移動物体検出装置１０の処理を図７に示すフローチャートを用いて説明する。この図７に示す処理は、たとえば、ユーザの周辺監視開始指示操作に基づいて開始する。また、駐車操作を自動的に検出して開始するようになっていてもよい。

まず、カメラ１２が画像を撮像する（ステップＳ１）。続くステップＳ２では、カメラ１２が撮像した画像を画像保持手段１４に保存する。ステップＳ３では、ステップＳ２で保存した画像をカメラ直下を原点とする鳥瞰座標系に変換する。

ステップＳ４では、直前のステップＳ３で座標系を変換した画像の座標系と、前回のステップＳ３で座標系を変換した画像の座標系とを、２つの画像を撮像する間の車両の移動量に基づいて統一する。

ステップＳ５では、ステップＳ４で座標系を統一した２つの画像のフレーム間差分を行い、且つ、その差分後の画像に対して２値化処理と小領域除去を行う。そして、ステップＳ６では、差分による検出領域があるか否かを判断する。すなわち、ステップＳ５における２値化処理によって検出領域とされ、且つ、小領域除去によっても除去されなかった検出領域があるか否かを判断する。この判断が否定判断となった場合には、ステップＳ１２へ進む。一方、肯定判断の場合にはステップＳ７へ進む。

ステップＳ７では、ステップＳ５の画像差分処理によって検出された各検出領域を、鳥瞰極座標系に変換する。ステップＳ８では、ステップＳ７で座標系を変換した後の各検出領域に対して、縦横比Ｒを計算する。ステップＳ９では、ステップＳ８で計算した縦横比Ｒが閾値Ｔ以下であるか否かを判断する。この判断が肯定判断である場合には、ステップＳ１０において、その縦横比Ｒが閾値Ｔ以下である検出領域を自車影と判定する。一方、ステップＳ９が否定判断である場合には、ステップＳ１１において、その縦横比Ｒが閾値Ｔよりも大きい検出領域を移動物体として検出する。なお、ステップＳ９の判断は検出領域毎に行う。

ステップＳ１０またはステップＳ１１を実行後はステップＳ１２へ進む。ステップＳ１２では、移動物体検出を終了するか否かを判断する。この判断は、たとえば、ユーザの周辺監視終了指示操作が行われた場合に肯定判断する。また、駐車操作終了を自動的に検出してこのステップＳ１２を肯定判断するようにしてもよい。ステップＳ１２が肯定判断である場合には処理を終了する。一方、ステップＳ１２が否定判断である場合にはテップＳ１へ戻る。なお、ステップＳ１は、ステップＳ１２の判断後、直ちに実行してもよいし、所定の実行周期が来た時点で実行するようにしてもよい。

以上、説明したように、本実施形態の移動物体検出装置１０は、画像差分手段２２によって検出された検出領域が自車影によるものであるか否かを、その検出領域の形状を示す縦横比Ｒに基づいて判別することができる。従って、自車影を移動物体として誤検出してしまうことを抑制できる。

以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。

たとえば、前述の実施形態では、検出領域の形状を検出領域の縦横比Ｒで把握していたが、検出領域の傾きで把握してもよい。検出領域の傾きは、検出領域の重心周りのモーメントを用いて算出することができる。検出領域の画像Ｉ（θ，ｒ）の重心座標を（θ_ｇ，ｒｇ）とすると、検出領域の重心周りのモーメントＭ_ｐｑは次の式７で表すことができる。

さらに、θ軸とのなす角をαとすると、式７から下記式８が得られる。この式８によって図形（ここでは検出領域）の傾きを表すことができることが知られている。

従って、この式８によって求められるαがある閾値以下であれば自車影であると判別することになる。

本発明の実施形態となる移動物体検出装置１０の構成を示すブロック図である。 鳥瞰変換の原理を説明する図である。 図１の鳥瞰変換手段１８による鳥瞰変換の例を示す図である。 図１の座標系統一手段２０および画像差分手段２２によって得られる画像の例である。 自車影の一部を移動物体として誤検出してしまう可能性があることを説明する図である。 極座標系変換手段２４によって得られた画像の例である。 本実施形態の移動物体検出装置１０の処理を示すフローチャートである。

符号の説明

１０：移動物体検出装置
１２：カメラ
１４：画像保持手段
１６：車両移動量計算手段
１８：鳥瞰変換手段
２０：座標系統一手段
２２：画像差分手段
２４：極座標変換手段
２６：自車影判別手段
２８：移動物体検出手段

Claims (3)

1. 水平方向の位置が車両の隅部を除く部分とされて車両に取り付けられており、車両周辺の画像を撮像する単眼のカメラと、
   互いに異なる車両位置において前記カメラによってそれぞれ撮像された２枚の画像を保持する画像保持手段と、
   前記画像保持手段に保持されている一方の画像が撮像された時点から他方の画像が撮像された時点までの前記車両の移動量を計算する車両移動量計算手段と、
   前記画像保持手段に保持されている２枚の画像を、前記カメラの直下を原点とする鳥瞰座標系の画像に変換する鳥瞰変換手段と、
   前記車両移動量計算手段によって計算された車両の移動量に基づいて、前記鳥瞰変換手段によって変換された２枚の画像の座標系を統一する座標系統一手段と、
   その座標系統一手段によって座標系が統一された２枚の画像の差分を計算する画像差分手段と、
   その画像差分手段の差分結果に基づいて移動物体を検出する移動物体検出手段とを備えた移動物体検出装置であって、
   前記画像差分手段の差分結果によって移動物体の候補として検出された検出領域を極座標変換する極座標変換手段と、
   その極座標変換手段による極座標変換後の検出領域の形状に基づいて検出領域が自車影によるものであるか否かを判別する自車影判別手段とをさらに備え、
   前記移動物体検出手段は、前記画像差分手段の差分結果によって検出された検出領域のうち、自車影によるものでないと判別された領域を移動物体として検出することを特徴とする移動物体検出装置。
2. 請求項１において、
   前記自車影判別手段は、前記極座標変換手段による極座標変換後の検出領域の縦横比に基づいて検出領域が自車影によるものであるか否かを判別することを特徴とする請求項１記載の移動物体検出装置。
3. 請求項１において、
   前記自車影判別手段は、前記極座標変換手段による極座標変換後の検出領域の傾きに基づいて検出領域が自車影によるものであるか否かを判別することを特徴とする請求項１記載の移動物体検出装置。

Images