JP2008269073A - 車両用物体検出装置 - Google Patents

Abstract

【課題】処理負荷を低減し、かつ、情報の欠落の少ない変倍処理を実現する車両用物体検出装置を提供することにある。
【解決手段】車両５周辺の所定の領域にある物体までの距離及び方位を測定するミリ波レーダ１０、車両５周辺の所定の領域を含む範囲を撮影するカメラ２０及びミリ波レーダ１０で測定した物体までの距離及び方位に基づいてカメラ２０で撮影した画像から物体を検出する画像処理装置３０を備える。そして、画像処理装置３０では、第１変倍処理部３３で、検出した物体の画像の大きさを縮小率５０％で４段階に変化させた４つの画像を作成する変倍処理を行い、第２変倍処理部３５で、第１変倍処理部３３で作成した４つの画像を、ミリ波レーダ１０から得られた物体までの距離に応じて選択し、選択した画像から必要な縮小率まで補間して変化させることにより、物体の画像を得る。
【選択図】図１

Description

本発明は、車両の周囲の障害物等の物体を検出することができる車両用物体検出装置に関する

従来、レーダにカメラを用いた画像処理装置を組み合わせることで、レーダ単独では検出できない白線や物体の正確な中心位置及び幅を算出し、より検出精度を高める方法が提案されている。

このカメラで行う画像処理は処理負荷が高く、物体の検出のすべてを画像処理で行うことはコストの点で現実的ではないため、レーダの検出した物体の位置を利用して処理する画像の処理範囲を限定する方法も提案されている（例えば、特許文献１参照）。

このようにレーダで検出した物体の位置を利用して画像処理の負荷を低減する場合には、画像処理はレーダの検出結果を待つ必要があり、最終的な位置検出結果の出力が遅くなるといった問題がある。そこで、前回の検出結果と今回の検出結果の物体が一致するかの判断をするため、画像によるテンプレートマッチングをする方法が提案されている（例えば、特許文献２参照）。
特許３１２３３０３号公報 特開２００４−５３２７８号公報

ところがテンプレートマッチングをするためには、物体の画像上の大きさが変化するため、レーダの距離検出結果によって、画像上の物体の大きさをテンプレートサイズにする変倍処理が必要でとなる。

特に距離の近い物体は画像上のサイズが大きいので、画像を縮小するのに時間がかかるといった問題があった。また、処理負荷を低減するために処理時間の速い最近傍法などを用いて変倍処理を行うと情報が欠落してテンプレートマッチングでの相関値が低くなり誤検出をするといった問題があった。

本発明は、上記問題に鑑みて発明されたものであり、処理負荷を低減し、かつ、情報の欠落の少ない変倍処理を実現する車両用物体検出装置を提供することにある。

かかる問題を解決するためになされた請求項１に記載の車両用物体検出装置（１：この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための最良の形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。）は、測距手段（１０）、撮影手段（２０）、画像処理手段（３０）を備えている。

測距手段（１０）は、車両（５）周辺の所定の領域にある物体までの距離及び方位を測定し、撮影手段（２０）は、車両（５）周辺の所定の領域を含む範囲を撮影する。また、画像処理手段（３０）は、測距手段（１０）で測定した物体までの距離及び方位に基づいて撮影手段（２０）で撮影した画像から物体を検出するものであり、第１変倍処理手段（３２）と第２変倍処理手段（３４）とを有している。

第１変倍処理手段（３２）は、検出した物体の画像の大きさを段階的に変化さた複数の画像を作成する変倍処理を行い、第２変倍処理手段（３４）は、第１変倍処理手段（３２）で段階的に変化させた複数画像の大きさを補間して変化させることにより、物体の画像を得る。

このような車両用物体検出装置（１）は、必要とする大きさの画像を処理負荷を低減し、かつ、情報の欠落の少ない変倍処理を実現することができる。以下説明する。
車両用物体検出装置（１）では、画像処理手段（３０）が有する第１変倍処理手段（３２）において、撮影手段（２０）撮影した画像の大きさを段階的に変化させた複数の画像を作成する。そして、第２変倍処理手段（３４）では、作成した複数の画像を、物体までの距離に基づいて補間して変化させ、必要となる大きさの画像を得ている。

つまり、第１変倍処理手段（３２）では、物体までの距離に関係なく、物体の画像の大きさを段階的に変化させるので、測距手段（１０）の作動状態に関係なく処理を行うことができる。

また、第２変倍処理手段（３４）では、必要となる大きさの画像を得るために、物体までの距離に基づいた処理が必要となるが、第１変倍処理手段（３２）で作成された複数の大きさの画像を補間すればよいので、画像を作成するための負荷が軽くなる。

さらに、画像処理のための処理を前述のように第１変倍処理手段（３２）や第２変倍処理手段（３４）に配分することができるので、各変倍処理手段（３２，３４）の処理負担を最適化することができ、結果的に画像処理手段（３０）としての処理速度を速くすることができる。

例えば、第１変倍処理手段（３２）では、第２変倍処理手段（３４）の変倍処理における補間処理に適した大きさの複数の画像を作成するようにすれば、第２変倍処理手段（３４）の処理負荷が軽減されるので、全体として処理速度を速くすることができる。

また、第１変倍処理手段（３２）及び第２変倍処理手段（３４）において、画像の欠落が少ない処理方法に適した画像の拡大率又は縮小率とすれば、最終的に画像の欠落が少ない物体の画像を得ることができる。

ところで、第１変倍処理手段（３２）において段階的に変化させた複数の画像を作成する変倍処理方法としては、請求項２に記載のように、画像処理手段（３０）で検出した物体の画像の大きさを固定倍率で変倍処理することにより、複数の画像を作成するようにすると簡単な処理で複数の画像を得ることができるので、処理負荷が軽減される。

さらに、請求項３に記載のように、第１変倍処理手段（３２）は、画像処理手段（３０）で検出した物体の画像の大きさを固定倍率の縮小処理を行うことにより、階層的に複数の縮小画像を作成するようにするとよい。

このように画像を固定倍率で階層的に縮小処理することにより、変倍処理の際、元の画像に含まれる情報の欠落が少なくなるので、正確な画像を得ることができる。
例えば、請求項４に記載のように、固定倍率を５０％とすると、変倍処理の際、周辺４画素からの補間処理をすることにより元の画像に含まれる情報の欠落が非常に少なくなるので、正確な画像を得ることができ、また、変倍処理の負荷を軽減することができる。

ここで、「階層的」とは、複数の画像が固定倍率で縮小される結果、縮小された複数の画像が階層を成すことを示している。
ところで、車両用の物体検出においては、検出手段範囲は数ｍ〜数百ｍと検出範囲が広いので検出する物体の大きさが大きく変化する。したがって、請求項５に記載のように、第１変倍処理手段は、少なくとも２階層以上の画像を作成するようにすると、第２変倍処理手段（３４）に対して複数階層の画像を準備しておくことができるので、第２変倍処理手段（３４）における情報の欠落を少なくすることができる。

第１変倍処理手段（３２）における変倍処理には種々の方法が考えられるが、請求項６に記載のように、バイリニア法により変倍処理を行うようにすると、画像を縮小する場合には、周辺４画素から補間処理をするため、縮小率５０％までの情報の欠落が少なく、かつ、処理負荷の少ない変倍処理とすることができる。

また、請求項７に記載のように、第１変倍処理手段（３２）において、バイキュービック法により変倍処理を行うようにすると、周辺１６画素から補間処理をするのでバイリニアに比べより情報を多く使用する。したがって、画像を縮小する場合に情報の欠落がより少なく、かつ、処理負荷の少ない変倍処理とすることができる。

ところで、前述のように第２変倍処理手段（３４）では、第１変倍処理手段（３２）で得られた複数の画像を補間することにより最終的な画像を得る。そのとき、請求項８に記載のように、測距手段（１０）で測距した物体までの距離に基づき求める画像の拡大率又は縮小率を計算し、第１変倍処理手段（３２）により作成した複数の画像から計算した拡大率又は縮小率に近い縮尺率又は拡大率を有する画像を選択するようにするとよい。

このようにすると、第２変倍処理手段（３４）で得られる画像を得るときに、第１変倍処理手段（３２）で第１段階の変倍処理が施された複数の画像のうち、物体までの距離に対応して、最も拡大率又は縮尺率の近い画像を選択するので、処理負荷を少なくすることができる。

実際には、第２変倍処理手段（３４）においては、測距手段（１０）で測距した物体までの距離に応じた画像を得ることができればよい。そのためには、請求項９に記載のように第２変倍処理手段（３４）は、第１変倍処理手段（３２）が作成した複数の画像から選択した画像の拡大率又は縮小率と測距手段（１０）で測距した物体までの距離に基づき計算した拡大率又は縮小率の差を補正処理することにより、物体の画像を得るようにするとよい。

このようにすると、車両用物体検出装置（１）での処理負担が少なくなる。なぜなら、第１変倍処理手段（３２）で得られた複数の画像から選択した画像、つまり、既に拡大又は縮小された画像を、物体との距離に基づいて拡大又は縮小すればよいからである。

すなわち、第１変倍処理手段（３２）が作成した複数の画像から選択した画像の拡大率又は縮小率と測距手段（１０）で測距した物体までの距離に基づき計算した拡大率又は縮小率の差を補正するだけで、最終的な画像を得ることができるので、処理負担が少なくなる。

第２変倍処理手段（３４）における画像の補間処理には種々の方法が考えられるが、請求項１０に記載のように、バイリニア法により第１変倍処理手段（３２）で段階的に変化させた画像の大きさを補間することにより物体の画像を得るようにすると、画像を縮小する場合には、縮小率５０％までの情報の欠落が少なく、かつ、処理負荷の少ない変倍処理とすることができる。

また、請求項１１に記載のように、最近傍法により第１変倍処理手段（３２）で段階的に変化させた画像の大きさを補間して物体の画像を得るようにしても、画像を縮小する場合には、縮小率５０％までの情報の欠落が少なく、かつ、処理負荷の少ない変倍処理とすることができる。

さらに、請求項１２に記載のように、バイキュービック法により第１変倍処理手段（３２）で段階的に変化させた画像の大きさを補間して画像物体の画像を得るようにしても、請求項１０又は請求項１１と同じ効果を得ることができる。

ところで、第１変倍処理手段（３２）で複数の画像を作成する場合、すべての画像を作成すると画像のデータ量が増える。したがって、請求項１３に記載のように、画像処理手段（３０）は、撮影手段（２０）で撮影した画像のうち所定の指定領域を切り出して蓄積し、第１変倍処理手段（３２）は、画像処理手段（３０）により蓄積された画像に対して変倍処理を行うようにすると、蓄積する画像データは１つで済むので、大量の画像データを蓄積する必要がない。

車両用物体検出装置（１）において、撮影手段（２０）で車両（５）周辺の領域を含む範囲を撮影し、撮影した画像から画像処理手段（３０）で物体を検出する場合、物体までの距離が十分遠い場合であることが多い。

そのような場合、物体までの距離に比例して撮影した画像中の物体は小さくなり、距離が実質的に無限遠とみなしてよいほど大きければ物体は点になる（この点を「消失点」と呼ぶ）。そこで、請求項１４に記載のように、画像処理手段（３０）は、撮影手段（２０）で撮影する画像の消失点を基準として所定の領域を切り出し、蓄積するようにすると、容易に所定の領域を切り出すことができる。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

［第１実施形態］
車両用物体検出装置１のシステム構成を、図１及び図２に基づいて説明する。図１は、車両用物体検出装置１の概略のシステム構成を示すブロック図であり、図２は、車両用物体検出装置１を車両５に取り付けた状態を示す図である。

車両用物体検出装置１は、図１に示すように、ミリ波レーダ１０、カメラ２０、画像処理装置３０を備え、図２に示すように車両５の前部に取り付けられている。
ミリ波レーダ１０は、車両５周辺の所定の領域にある物体までの距離及び方位（横方向）を測定するものであり、図２に示すように車両５の最前部に取り付けられている。

図３にミリ波レーダ１０の概略の構成を示す。ミリ波レーダ１０は、図３に示すように、送信アンテナ１０８、送信器１０２、受信アンテナ１１６，１１８、受信器１０４、Ａ／Ｄ変換部１０６及びマイコン１３２を備えている。

送信器１０２は、マイコン１３２から出力される時間に対して周波数が漸増、漸減又は一定となるパターンの信号をデジタルアナログ（Ｄ／Ａ）変換するＤ／Ａ変換器１１４、Ｄ／Ａ変換器１１４から出力される信号を変調信号として入力し、この変調信号により変調されたミリ波帯の高周波信号を生成する電圧制御発振器１１２、電圧制御発振器１１２の出力を送信信号ｆｓとローカル信号Ｌとに電力分配する分配器１１０とを備えている。

分配器１１０から出力される送信信号ｆｓは、送信アンテナ１０８に供給され、ローカル信号Ｌは、受信器１０４へ供給される。
送信アンテナ１０８は、送信機１０２からのミリ波帯のレーダ波を車両５の前方へ送信する。

受信アンテナ１１６，１１８は、車両５の前方の先行車両等の物体から反射された反射波を受信するためのアンテナであり、所定の間隔を隔てて配置されている。受信アンテナ１１６，１１８は、反射波を受信すると、その反射波に応じた受信信号ｆｒ１，ｆｒ２を受信器１０４へ出力する。

受信器１０４は、各受信アンテナ１１６，１１８に対応して、受信信号ｆｒ１，ｆｒ２とローカル信号Ｌとをミキシングして、これらの信号の差の周波数に相当するビート信号Ｂ１，Ｂ２を生成する２個のミキサ１２０，１２２と、各ミキサ１２０，１２２で発生されたビート信号Ｂ１，Ｂ２をそれぞれ増幅する２個の増幅器１２４，１２６を備えている。

増幅器１２４，１２６は、ビート信号Ｂ１，Ｂ２を増幅するとともに、ビート信号Ｂ１，Ｂ２から不要な高周波成分を除去するフィルタ機能を有している。増幅器１２４，１２６によって増幅されたビート信号Ｂ１，Ｂ２は、Ａ／Ｄ変換部１０６へ出力される。

Ａ／Ｄ変換部１０６は、ビート信号Ｂ１，Ｂ２をそれぞれサンプリングしてデジタルデータＤ１，Ｄ２に変換する２個のＡ／Ｄ変換器１２８，１３０を備えている。Ａ／Ｄ変換器１２８，１３０によって変換された各ビート信号Ｂ１，Ｂ２のデジタルデータＤ１，Ｄ２は、マイコン１３２へ出力される。

マイコン１３２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏを備え、Ａ／Ｄ変換部から入力されるデジタルデータＤ１，Ｄ２に基づき、先行車両等の対象物との距離、相対速度、方位の検出を行う検出処理を実行し、画像処理装置３０へ出力する。

カメラ２０は、車両５周辺の所定の領域を含む範囲を撮影するものであり、ＣＣＤカメラである。カメラ２０は、運転者が視覚によって認識する状況と同じ状況の車両前方の画像を撮影できるように車両５の前部に取り付けられている（図２参照）。

画像処理装置３０は、ミリ波レーダ１０で測定した物体までの距離及び方位に基づいてカメラ２０で撮影した画像から物体を検出するものであり、前処理部３１、第１変倍処理部３２、画像メモリ３３、第２変倍処理部３４、物体横幅検出部３５、総合判断部３６及びテンプレートメモリ３７を備えている。

前処理部３１は、カメラ２０で撮影した物体の画像のノイズを除去するための空間フィルタ処理やエッジ強調処理を行うものである。前処理部３１で処理された画像データは画像メモリ３３に蓄積される。

第１変倍処理部３２は、前処理部３１で処理した物体の画像の大きさを段階的に変化させた複数の画像を作成する変倍処理を行うものである。本第１実施形態では、物体の画像の大きさを５０％の固定倍率の縮小処理を行うことにより、階層的に複数の物体の縮小画像を作成する。この処理は、ミリ波レーダ１０の処理にかかわらず実行される。

具体的には、縮小していない第１階層の画像、縮小率５０％の第２階層の画像、縮小率２５％（＝（５０％）²）の第３階層の画像、縮小率１２．５％（＝（５０％）³）の第４階層の画像を作成する。実際の画像の例を図４に示す。なお、各階層の画像は、前階層の画像の１辺が５０％縮小されているので、画面サイズ（画面面積）としては、１／４になっている。

また、第１変倍処理部３２では、ミリ波レーダ１０の処理に関係なく変倍処理ができるため、ミリ波レーダ１０が物体の距離及び位置情報を検出するタイミングと同時に行うことが可能となる（図７（ｂ）参照）。

また、第１変倍処理部３２では、５０％の縮小処理を繰り返して行うため、バイリニア法やバイキュービック法を用いて画像の縮小処理を行う。
画像メモリ３３は、第１変倍処理部３２で処理された縮小画像を蓄積するためのメモリであり、ＲＡＭなどの記憶素子やハードディスク装置などの記憶装置である。

テンプレートメモリ３７は、前回検出した物体の画像をテンプレートとして保存しておくためのものであり、ＲＡＭなどの記憶素子やハードディスク装置などである。
第２変倍処理部３４は、第１変倍処理部３２で段階的に変化させた複数の画像の大きさを補間して変化させることにより物体の画像を得るものである。

具体的には、ミリ波レーダ１０で測距した物体までの距離に基づいて、後述する式６から求める画像の拡大率又は縮小率Ｓ_Tを計算する。そして、計算した縮小率Ｓ_Tに応じて、第１変倍処理部３２で作成した階層的な縮小画像からある階層を選択する。例えば、計算の結果得られた縮小率Ｓ_Tが３２％であった場合、第２階層（２５〜５０％）を選択する。

そして、ミリ波レーダ１０で検出された位置情報を中心に、後述する式５で計算された画像切り出し幅の画像を画像メモリ３３から読み出す。
また、第１変倍処理部３２において作成した複数の画像から選択した画像の縮小率（５０％）とミリ波レーダ１０で測距した物体までの距離に基づき計算した縮小率（３２％）の差を補正処理する。

この場合、第２階層の画像を選択した段階で既に５０％の縮小がされているため、第２変倍処理部３４では、６４％の縮小処理を行うことで元画像に対して３２％の縮小処理を行うことができる。

第２変倍処理部３４では、バイリニア法を用いることで処理時間を低減することができる。また、最近傍法でも情報量の欠落を１／２に抑えることができるため第２変倍処理部３４では最近傍法を用いてもよい。

ここで、第２変倍処理部３４における縮小率の計算について説明する。通常、車両５の前方（距離ｚ）で撮影した物体は、その距離ｚが変化するため、その距離に応じて、画像上の大きさが変化する。そのため、第２変倍処理部３４において、ミリ波レーダ１０で検出した距離及び位置情報を元に計算された画像領域を拡大縮小処理することでテンプレート画像と同じ大きさになるようにする。

そのため、第２変倍処理部３４では、まず、画像領域の計算を行う。画像領域の計算は、ミリ波レーダ１０で検出した物体を中心とした領域にて行う。まず、ミリ波レーダ１０で物体を検出した位置、距離に応じて、その位置に存在すべき物体が撮影される画像領域の計算が行われる。この位置の定義は、次の方法で計算できる。

図５は、画像上の位置、実際の３次元上の位置及び大きさとの対応関係を示す図である。図５において、２０１はカメラレンズ、２０２はカメラの光軸、 ｘは実際の物体の中心、２０４は撮影面、ｚは物体までの距離、ｆはカメラレンズ２０１の焦点距離、ｘｃは画像上の車両５の中心、θは画像上の物体の中心ｘｃで検出された位置の物体の存在する方位、ｗは実際の車両５の幅、ｗｃは画像上の物体の幅である。

画像上の物体の中心ｘｃは、ミリ波レーダ１０より求められた物体までの距離ｚ及び物体の中心位置ｘによって下記の式１で求められる。
ｘｃ＝ｆ・ｘ／ｚ・・・式１
また、物体の実際の幅ｗが既知である場合は、画像上の物体の幅ｗｃは、下記の式２により計算することができる。

ｗｃ＝ｆ・ｗ／ｚ・・・式２
検出領域は、画像上での検出位置に式１、式２を適用することで計算することができる
そして、テンプレートメモリ３７に格納されたテンプレートとミリ波レーダ１０で検出した位置に相当する画像とのテンプレートマッチングにより物体検出を行う。

このようにして物体を検出した後、画像の処理間隔ごとに入力される画像での物体の画像上の位置は、検出対象である物体テンプレートとのテンプレートマッチングによる処理により検出する。

図６は、入力画像側の画像をテンプレートに合わせる処理を行う場合の処理の様子を表す図である。ここではテンプレートサイズをＩ×Ｊとする。
テンプレートはミリ波レーダ１０により検出した位置に対応する画像上の位置で作成する。ここでは、物体までの距離ｚはミリ波レーダ１０により測距されている。

テンプレート作成時（Ｔ₁)で物体までの距離ｚ_T1及び画像上の幅Ｉ_T1とした場合、実空間での物体の幅ｗは、下記の式３で表される。
ｗ = ｚ_T1×Ｉ_T1／ｆ・・・式３
また、テンプレートサイズに変換をするため縮小率はＳ_T1は、下記の式４で計算される。

Ｓ_T1＝Ｉ／Ｉ_T1・・・式４
縮小率Ｓ_T1に応じて切り出した画像に拡大縮小処理を行いテンプレートを作成する。
入力画像時刻Ｔにおいて物体までの距離がｚ_Tであった時、テンプレート画像の実空間上の物体の幅はｗで表されることから、画像から切り出す幅Ｉ_Tは、下記の式５で計算される。

Ｉ_T＝ｆ×ｗ／ｚ_T＝ｚ_T1×Ｉ_T1／ｚ_T・・・式５
切り出した画像は式６の縮小率Ｓ_Tは、下記の式６で計算される。
Ｓ_T = I／Ｉ_T・・・式６
そして、テンプレートとサイズを合わせた上でテンプレートマッチングを行えばよい。相関の評価にはSAD（Sum of Absolute Difference）を用いればよく、相関の最も高い位置が入力画像内での物体検出位置となる。相関の評価には、パターンマッチングで良く用いられる正規化相関やSSD（Sum of Squared Difference）などでもよい。

物体横幅検出部３５は、第２変倍処理部３４における処理結果から物体の中心位置及び横幅を補正する。具体的には、テンプレートマッチングによって切り出された領域に対し、縦エッジのヒストグラムから２点のピーク位置間距離が実空間換算で０．５〜２．５ｍであれば検出物体とし物体の幅を画像処理で横位置、物体幅を補正し検出結果として出力する。

また、検出した物体幅でテンプレートを作成しなおし、次の画像入力用テンプレートとテンプレートメモリ３７を更新する。
総合判断部３６は、ミリ波レーダ１０による距離及び位置情報結果と、カメラ２０で撮影した画像処理による位置情報とを統合判定し、最終的な車両５の位置を算出する。

（車両用物体検出装置１の特徴）
以上に説明した車両用物体検出装置１では、画像の縮小処理を第１変倍処理部３２及び第２変倍処理部３４で分割して実行している。このとき、第１変倍処理部３２及び第２変倍処理部３４の処理を図７（ｂ）に示すようなシーケンスで実行することにより、位置情報のスループットを早くすることができる。

また、前述のように、テンプレートマッチングにより物体の相関を評価する場合、物体の距離に応じて画像の大きさが変化することから拡大縮小処理によりテンプレートサイズに大きさを合わせることが必要である。

前方車両検出のように数m〜数百mを検出範囲とした場合、従来の方法によれば、物体の画像上の大きさは大きく異なる。特に、数mと近傍の場合では、対象物体の画像サイズが非常に大きい。このため平均画素法などの縮小処理負荷が大きく処理時間がかかり位置検出結果の出力が遅れるといった問題と処理時間が物体の距離に応じて変わるといった問題があった。

また処理時間を低減するため、縮小処理を最近傍法のような単純な間引き処理にすると情報量が欠落するためテンプレートマッチングでの相関値が悪くなるといった問題があった。

ところが、本車両用物体検出装置１では、第１変倍処理部３２において、カメラ２０で撮影した原画像とその原画像を５０％で４段階に縮小した４つの画像をあらかじめ作成しておく。そして、その画像の中からミリ波レーダ１０から得られた先行車両までの距離に基づいて計算した縮尺率に近い縮尺率を有する画像を選択し、選択した画像から必要な縮尺率の画像を生成している。

つまり、第１変倍処理部３２及び第２変倍処理部３４の双方において、５０％以下の縮尺をする必要がないので、１００〜５０％までの縮小処理に適した負荷が少なく、かつ、画像の欠落の少ない処理を用いることができる。

したがって、車両用物体検出装置１全体として、処理の負荷が少なく、かつ、画像の欠落の少ない画像を得ることができるのである。
さらに、従来の処理では、図７（ａ）に示すように、ミリ波レーダ１０で先行車両との距離が得られてから画像を得るための処理を開始するため、位置情報の出力が遅れるといった問題が発生したのに対し、車両用物体検出装置１では、第１変倍処理部３２での各階層の画像処理は、先行車両との距離に無関係に行われるので、距離を得るための処理と並列に実行することができる。

また、前述したように、第２変倍処理部３４における処理は、従来の画像処理に比べ処理負荷が少ないので、従来と同じハードウエア（例えば、ＬＳＩ）を使用した場合には、処理を早く行うことができる。

つまり、車両用物体検出装置１によれば、従来のものに比べ、画像を得るまでの処理時間が早くなるのである。
さらに、従来のものでは、特に距離の近い物体は画像上のサイズが大きく縮小するのに時間がかかるといった問題があった。また、処理負荷を低減するのに変倍処理を処理時間の速い最近傍法などを用いると情報が欠落してテンプレートマッチングでの相関値が低くなり誤検出をするといった問題があった。

これに対し、車両用物体検出装置１では、前述のように、１００〜５０％までの縮小処理に適した負荷が少なく、かつ、画像の欠落の少ない処理、例えば、バイリニア法、バイキュービック法を用いることができる。つまり、処理負荷を低減するために最近傍法を用いる必要がないので、情報が欠落してテンプレートマッチングでの相関値が低くなり誤検出をするといった問題も発生しない。

［第２実施形態］
また第１変倍処理部３２において、図４に示すような階層画像を生成すると画像メモリ３３に蓄積する画像データが増加してしまう。

ところが、第１実施形態における第１階層の高解像度画像は、遠方の物体の検出に用いられることが多い。その場合、車両５が走行している車線の消失点付近の画像だけが使われる。このことから第１階層の画像は消失点を基準に消失点から（ｘ,ｙ）だけずれたＰ点を起点に原画像の１／４の画像サイズを切り出すことで図８に示すように原画像１フレームを蓄積するよりも画像データを削減することができる。

［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。

例えば、上記実施形態では、ミリ波レーダ１０を用いて先行車両との距離を測定していたが、前方を走行する他車両との車間距離及び方位を検出できればよいので、スキャニング式のレーザレーダを用いてもよい。

車両用物体検出装置１の概略のシステム構成を示すブロック図である。 ミリ波レーダ１０、カメラ２０、画像処理装置３０の車両５への取り付状態を示す図である。 ミリ波レーダ１０の概略の構成を示す図である。 第１変倍処理部３２で作成される各階層の画像の例である。 画像上の位置、実際の３次元上の位置及び大きさとの対応関係を示す図である。 入力画像側の画像をテンプレートに合わせる処理を行う場合の処理の様子を表す図である。 画像処理装置３０での概略処理シーケンスを示す図である。 第２実施形態における画像の蓄積の様子を示す図である。

符号の説明

１…車両用物体検出装置、５…車両、１０…ミリ波レーダ、２０…カメラ、３０…画像処理装置、３１…前処理部、３２…第１変倍処理部、３３…画像メモリ、３４…第２変倍処理部、３５…物体横幅検出部、３６…総合判断部、３７…テンプレートメモリ、１０２…送信器、１０４…受信器、１０６…Ａ／Ｄ変換部、１０８…送信アンテナ、１１０…分配器、１１２…電圧制御発振器、１１４…Ｄ／Ａ変換器、１１６…受信アンテナ、１２０…ミキサ、１２４…増幅器、１２８…Ａ／Ｄ変換器、１３２…マイコン、２０１…カメラレンズ、２０１…カメラレンズ、２０２…カメラの光軸、２０４…撮影面。

Claims (14)

1. 車両周辺の所定の領域にある物体までの距離及び方位を測定する測距手段と、
   前記車両周辺の所定の領域を含む範囲を撮影する撮影手段と、
   前記測距手段で測定した前記物体までの距離及び方位に基づいて前記撮影手段で撮影した画像から前記物体を検出する画像処理手段と、
   を備え、
   前記画像処理手段は、前記検出した前記物体の画像の大きさを段階的に変化させた複数の画像を作成する変倍処理を行う第１変倍処理手段と、
   前記第１変倍処理手段で段階的に変化させた複数の画像の大きさを補間して変化させることにより、前記物体の画像を得る第２変倍処理手段と、
   を有することを特徴とする車両用物体検出装置。
2. 請求項１に記載の車両用物体検出装置において、
   前記第１変倍処理手段は、前記検出した前記物体の画像の大きさを固定倍率で変倍処理することにより、前記複数の画像を作成することを特徴とする車両用物体検出装置。
3. 請求項２に記載の車両用物体検出装置において、
   前記第１変倍処理手段は、前記検出した前記物体の画像の大きさを固定倍率の縮小処理を行うことにより、階層的に複数の縮小画像を作成することを特徴とする車両用物体検出装置。
4. 請求項２又は請求項３に記載の車両用物体検出装置において、
   前記固定倍率は５０％であることを特徴とする車両用物体検出装置。
5. 請求項２〜請求項４の何れかに記載の車両用物体検出装置において、
   前記第１変倍処理手段は、少なくとも２階層以上の画像を作成することを特徴とする車両用物体検出装置。
6. 請求項１〜請求項５の何れかに記載の車両用物体検出装置において、
   前記第１変倍処理手段は、バイリニア法により前記変倍処理を行うことを特徴とする車両用物体検出装置。
7. 請求項１〜請求項５の何れかに記載の車両用物体検出装置において、
   前記第１変倍処理手段は、バイキュービック法により前記変倍処理を行うことを特徴とする車両用物体検出装置。
8. 請求項１〜請求項７の何れかに記載の車両用物体検出装置において、
   前記第２変倍処理手段は、前記測距手段で測距した前記物体までの距離に基づいて、求める画像の拡大率又は縮小率を計算し、前記第１変倍処理手段により作成した前記複数の画像から前記計算した前記拡大率又は縮小率に近い縮尺率又は拡大率を有する画像を選択することを特徴とする車両用物体検出装置。
9. 請求項８に記載の車両用物体検出装置において、
   前記第２変倍処理手段は、前記第１変倍処理手段が作成した前記複数の画像から選択した画像の拡大率又は縮小率と前記測距手段で測距した前記物体までの距離に基づき計算した拡大率又は縮小率の差を補正処理することにより、前記物体の画像を得ることを特徴とする車両用物体検出装置。
10. 請求項１〜請求項９の何れかに記載の車両用物体検出装置において、
    前記第２変倍処理手段は、バイリニア法により前記第１変倍処理手段で段階的に変化させた画像の大きさを補間することにより、前記物体の画像を得ることを特徴とする車両用物体検出装置。
11. 請求項１〜請求項９の何れかに記載の車両用物体検出装置において、
    前記第２変倍処理手段は、最近傍法により前記第１変倍処理手段で段階的に変化させた画像の大きさを補間することにより、前記物体の画像を得ることを特徴とする車両用物体検出装置。
12. 請求項１〜請求項９の何れかに記載の車両用物体検出装置において、
    前記第２変倍処理手段は、バイキュービック法により前記第１変倍処理手段で段階的に変化させた画像の大きさを補間することにより、前記物体の画像を得ることを特徴とする車両用物体検出装置。
13. 請求項１〜請求項１２に記載の車両用物体検出装置において、
    前記第１変倍処理手段は、前記撮影手段で撮影した画像のうち所定の指定領域を切り出して蓄積し、蓄積された画像に対して前記変倍処理を行うことを特徴とする車両用物体検出装置。
14. 請求項１３に記載の車両用物体検出装置において、
    前記画像処理手段は、前記撮影手段で撮影する画像の消失点を基準として前記所定の領域を切り出し、蓄積することを特徴とする車両用物体検出装置。