JP2006318272A - 車両用物体検出装置、および方法 - Google Patents

Abstract

【課題】 画像を高解像度化して遠方に存在する物体を検出すること。
【解決手段】 制御装置１０３は、カメラ１０１によって撮像された撮像画像における各画素に存在する物体の複数フレーム間での移動量を算出し、撮像画像の各画素を１画素未満の領域に分割した画像データ上で、各画素を算出した移動量だけ移動させ、移動前の各画素の画素値と、移動後の領域の画素値とに基づいて画像を高解像度化し、高解像度化した画像内に存在する物体を検出する。
【選択図】 図１

Description

本発明は、車両に搭載され、車両周囲に存在する物体を検出する車両用物体検出装置、および方法に関する。

次のような画像処理装置が特許文献１によって知られている。この画像処理装置によれば、車両に搭載したステレオカメラで撮像した各画像に対してエッジを抽出し、抽出したエッジの相関をとることによって、画像内に存在する物体までの距離を検出する。

特開平７−８１４５６号公報

しかしながら、従来の画像処理装置によれば、遠方の分解能を上げるためにカメラの画角を小さくすると車両近傍の物体検出範囲が狭くなり、逆に車両近傍の物体検出範囲を広げるためにカメラの画角を大きくすると遠方の分解能が低くなるという問題が生じていた。

本発明は、撮像手段によって撮像された複数フレームの撮像画像に基づいて、各画素に存在する物体のフレーム間での移動量を算出し、撮像画像の各画素を１画素未満の微画素に分割し、分割した画像データ上で、各画素を算出した移動量だけ移動させ、移動前の各画素の画素値と、各画素が移動した先の領域の画素値とに基づいて、移動前の各画素の画像を高解像度化し、高解像度化した画像内に存在する物体を検出することを特徴とする。

本発明によれば、撮像画像における各画素に存在する物体の複数フレーム間での移動量を算出し、撮像した撮像画像の各画素を１画素未満の微画素に分割した画像データ上で、各画素を算出した移動量だけ移動させ、移動前の各画素の画素値と、各画素が移動した先の領域の画素値とに基づいて、移動前の各画素の画像を高解像度化して、物体を検出するようにした。これによって、カメラの画角を変化させることなく画像を高解像度化することができ、遠方に存在する物体を精度高く検出することができる。

図１は、本実施の形態における車載画像処理装置の一実施の形態の構成例を示すブロック図である。車載画像処理装置１００は車両に搭載され、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、ＣＰＵ、メモリ、およびその他周辺回路を含み、後述する画像処理を実行する制御装置１０３と、自車両の車速を検出する車速センサ１０４とを備えている。

カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有した高速カメラであり、自車両の走行中に極めて微小な一定時間Δｔ間隔、例えば２ｍｓ間隔で連続的に車両前方を撮像し、各フレームごとに画像メモリ１０２に出力する。

制御装置１０３は、カメラ１０１で撮像した画像（撮像画像）を次のように画像処理して、車両前方に存在する物体を検出する。まず、撮像画像を画像メモリ１０２から読み込んで、図２（ａ）に示すように、撮像画像内を例えば１２×１３の格子領域に分割する。この格子領域は、所定数の画素、例えば４×４画素で構成されている。なお、図２（ｂ）は、図２（ａ）における符号２ａに示す範囲を拡大して模式的に示した図である。図２（ｂ）に示すように、画像内に存在する遠方の人物は、数画素の塊で撮像されている。

そして、撮像画像上に設定した各格子領域ごとに、その格子領域内に存在する物体の移動量を算出する。移動量の算出は次のように行う。すなわち、格子領域内の任意の画素を対象画素とし、前フレームにおける対象画素と、現フレームで対象画素の周囲に存在する各画素との相関値を算出する。具体的には、現フレームにおいて、対象画素から１画素ずつ上下方向、および左右方向に１画素ずつずらしながら、前フレームの対象画素との相関値をそれぞれ算出し、算出した相関値を線形補間する。図３は、現フレームにおける周辺画素と、前フレームにおける任意の画素との相関値を算出し、線形補間を行った結果を模式的に表したグラフである。

図３に示すように、現フレームにおける周囲の画素３ａ〜３ｄと、前フレームにおける対象画素との相関値を線形補間して曲線３ｅを得て、相関値が最大値３ｆをとる現フレームにおける画素位置３ｇを算出する。この相関値が最大となる画素位置３ｇは、前フレームの対象画素と最も相関値が高い画素であることから、前フレームにおける対象画素に映っていた物体は、現フレームではこの画素位置３ｇに移動していると判断することができ、対象画素内に存在していた物体の移動量を１画素以下の精度で算出することができる。そして、この対象画素における物体の移動量を格子領域内に存在する物体の移動量とする。この処理を撮像画像内の全格子領域に対して実行することによって、撮像画像内の全ての格子領域内に存在する物体の移動量を算出することができる。

次に、制御装置１０３が有するメモリ空間（仮想空間）内に、撮像画像の１画素をさらに詳細な微画素に分割した画像データを生成する。具体的には、図４に示すように、撮像画像の１画素４ａを、例えば０．２画素単位の細分化領域（微画素）に分割した細分化画像データを生成する。ここでは、１画素４ａを２５個の微画素に分割し、各１微画素に画素４ａの画素値を代入しておく。その後、上述した処理で算出した格子領域内に存在する物体の移動量に基づいて、画像データを移動させる。例えば、当該画素４ａが含まれる格子領域の物体の移動量に基づいて、現フレームでは物体が左下に０．２画素移動している場合には、細分化画像データの画素４ａ内に、画素４ａを当該移動量だけ移動させた網掛けで示す移動後の領域４ｂを設定する。

そして、移動後の領域４ｂの画素値と、画素４ａの画素値との加算平均値を、移動後の領域４ｂの画素値、すなわち領域４ｂの４×４の微画素の画素値とする。また、移動によって空いた細分化領域、すなわち（４ａ−４ｂ）に相当する各細分化領域を構成する微画素には、移動後の撮像画像、すなわち現フレームにおける当該細分化領域の画素値を格納しておく。これによって、画像内で数画素の塊として撮像され、１画素単位の動きを捉えることができない遠方に位置する物体が存在する場合でも、移動後の領域４ｂには、その物体の１画素未満の動きを反映した画素値を格納することができるため、画像データを高解像度化することができる。

具体的には、次のような原理により高解像度化が可能となる。例えば、図５に示すように、前フレームにおいては、画素４ａ付近の細分化領域の画素値が符号５ａに示すグラフで表され、このときの画素４ａの画素値が符号５ｃに示す値であるものとする。そして、移動後の現フレームにおいては、画素４ａ付近の細分化領域の画素値が符号５ｂに示すグラフで表され、このときの領域４ｂの画素値が符号５ｄに示す値であるものとする。

このときに、上述したように、前フレームにおける１画素４ａの画素値と、移動後の領域４ｂの画素値の加算平均値５ｅを算出して、移動後の領域４ｂの画素値とすることによって、１画素未満の動きを加味した場合の領域４ｂの画素値を理想値に近づけることができる。そして、上述した高解像度化処理を撮像画像内の全画素に対して実行することによって、各画素内を高解像度化して、１画素未満の物体の動きを検出して、撮像画像内から遠方に存在する移動物体を検出することが可能となる。

なお、上述した説明では、前フレームと現フレームの２枚の画像を使用して高解像度化を行う例について説明したが、使用する画像の枚数を増やすことによって、さらに解像度を上げることができる。すなわち高解像度化のレベルを変化させることができる。例えば、現フレーム、前フレーム、前々フレームと３枚の画像を使用した場合には、まず、前々フレームから前フレームまでの移動量に基づいて、画素４ａを移動させて得た移動後の領域の画素値と、移動前の１画素４ａの画素値の加算平均を算出して、移動後の領域に格納する。

さらに、前フレームから現フレームまでの移動量に基づいて、画素４ａを移動させて得た移動後の領域の画素値と、移動前の領域の画素値の加算平均値を算出して、移動後の領域に格納する。これによって、画素４ａ内の画像データをさらに高解像度化することができる。本実施の形態では、カメラ１０１の画角、および画素数と、自車両の車速とに基づいて、次に説明するように、高解像度化に用いる画像枚数を決定する。

まず、車速センサ１０１で検出される自車両の車速Ｖと、運転者がブレーキを動作させて自車両を停止させる位置までの停止距離Ｌｂの関係は次式（１）で表され、図６（ａ）に示すグラフで表される。
Ｌｂ＝Ｔｄ＊Ｖ＋Ｖ^２／(２ａ) ・・・（１）
ただし、式（１）において、Ｔｄは、運転者が対象を認知しブレーキを動作させるまでの時間を表し、ａは、ブレーキ動作による減速加速度を表している。

式（１）より、撮像画像から周囲物体を検出して自車両の衝突を防止するシステムにおいては、自車両の車速に応じて、自車両からＬｂの距離に存在する物体を検出する必要がある。一方、解像度（単位長さ当りの画素数）Ｒは、次式（２）で算出されることから、対象までの距離Ｌに反比例することがわかる。
Ｒ＝Ｎ／(２＊Ｌ＊ｔａｎ(θ／２)) ・・・（２）
ただし、式（２）において、θはカメラ１０１の画角を表し、Ｎはカメラ１０１の画素数を表している。

したがって、式（１）および（２）に基づいて、自車両の車速Ｖに対する解像度Ｒは次式（３）により算出される。
Ｒ＝ａ＊Ｎ／((２＊ａ＊Ｔｄ＊Ｖ ＋Ｖ^２)＊ｔａｎ(θ／２)) ・・・（３）

一方、対象物を検出するためには、一定以上の解像度が必要であり、たとえば、対象物全体が１０画素程度で撮像できる解像度が必要である。したがって、対象物を検出するのに必要な解像度をＲｓとした場合、式（３）において速度を増加させていくと、速度に対する解像度の関係から、図６（ｂ）に示すように、一定の速度Ｖ１で必要な解像度以下となり、対象物が検出できなくなり、対象物を検出するためには高解像度化が必要となる。

上述したように、複数枚の撮像画像を使用して高解像度化処理を行う場合に、画像枚数を１枚増加することでα倍の解像度を得られるとすれば、対象物を検出するために必要な解像度が得られなくなる車速、例えば図６（ｂ）に示すＶ１、Ｖ２、およびＶ３において、高解像度化に用いる枚数を増加させればよいことがわかる。これによって、符号６ａ〜６ｃで示すような、常に対象物を検出するために必要な解像度Ｒｓ以上の解像度を得ることができる。

したがって、次式（４）の関係式に基づいて、画像枚数ｎと、画像枚数を１枚増加させる速度Ｖｎとを算出し、各速度Ｖｎで高解像度化処理に使用する画像枚数Ｇｎを決定する。
Ｒ＊α^{(Ｇｎ＋１)}＝ａ＊Ｎ／((２＊ａ＊Ｔｄ＊Ｖｎ＋Ｖｎ^２)＊ｔａｎ(θ／２)) ・・・（４）
式（４）より、自車両の速度がＶｎより大きく、Ｖｎ＋１以下の速度ではｎ＋１枚の画像による高解像度化をおこなうことで、検出に必要な解像度を得ることができる。

図７は、本実施の形態における車載画像処理装置１００の処理を示すフローチャートである。図７に示す処理は、車載画像処理装置１００を搭載した車両の不図示のイグニションスイッチがオンされ、車載画像処理装置１００の電源がオンされると起動するプログラムとして制御装置１０３により実行される。ステップＳ１０において、カメラ１０１によって連続して撮像される画像の読み込みを開始して、ステップＳ２０へ進む。ステップＳ２０では、上述したように、撮像画像内を一定単位、例えば４×４画素の格子領域に分割する。その後、ステップＳ３０へ進む。

ステップＳ３０では、上述したように、格子領域内の任意の画素を対象画素とし、前フレームにおける対象画素と、現フレームで対象画素の周囲に存在する各画素との相関値を算出することによって、各格子領域ごとに、その格子領域内に存在する物体の移動量を算出する。その後、ステップＳ４０へ進み、式（４）により撮像画像の高解像度化に必要な画像の枚数を算出して、ステップＳ５０へ進む。ステップＳ５０では、ステップＳ４０で算出した画像枚数の画像を使用して、上述した高解像度化処理を行い、撮像画像を高解像度化する。その後、ステップＳ６０へ進む。

ステップＳ６０では、高解像度化を行った結果として得られる画像に基づいて、１画素単位では検出が困難な遠方に存在する物体を含む移動物体の検出を行う。その後、ステップＳ７０へ進む。ステップＳ７０では、自車両のイグニションスイッチがオフされたか否かを判断する。イグニションスイッチがオフされていないと判断した場合には、ステップＳ２０へ戻って処理を繰り返す。これに対して、イグニションスイッチがオフされたと判断した場合には、処理を終了する。

以上説明した本実施の形態によれば、次のような作用効果を得ることができる。
（１）連続して撮像された複数枚の撮像画像を使用して画像を高解像度化した後に、画像内に存在する物体を検出するようにした。これによって、画像内で数画素の塊として撮像され、１画素単位の動きを捉えることができない遠方に位置する物体を検出することが可能となる。また、カメラ１０１の画角を変化させたり、画素数を上げることなく、撮像画像を高解像度化することができる。
（２）メモリ空間内に、撮像画像の１画素を細分化領域に分割した画像データを生成し、移動前の画素４ａの画素値と、移動後の領域４ｂの画素値との加算平均を算出し、この算出結果を移動後の領域４ｂの画素値として領域４ｂに格納するようにした。これによって、画像内で数画素の塊として撮像され、１画素単位の動きを捉えることができない遠方に位置する物体が存在する場合でも、移動後の領域４ｂには、その物体の１画素未満の動きを反映した画素値を格納することができるため、画像データを高解像度化することができる。

（３）カメラ１０１の画角、および画素数と、自車両の車速とに基づいて、高解像度化に用いる画像枚数を決定するようにした。これによって、特に自車両の車速によって、遠方の物体を検出するために必要となる解像度が変化することを加味して、最適な解像度の画像を得るために使用する画像の枚数を正確に算出することができる。
（４）撮像画像上に格子領域を設定し、格子領域内の任意の対象画素において、前フレームにおける対象画素との相関値の補間結果が最大となる現フレームにおける画素を、対象画素の移動先として特定し、対象画素に存在する物体の移動量を算出するようにした。これによって、対象画素内に存在する物体の移動量を１画素以下の精度で算出することができる。

―変形例―
なお、上述した実施の形態の車載画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、撮像画像全体に対して高解像度化処理を実行して、撮像画像全体を高解像度化する例について説明した。しかしこれに限定されず、車速に応じて高解像度化が必要な領域と不要な領域とを判定することで、高解像度化を行う領域を変化させてもよい。すなわち、車速が速くなるにつれて高解像度化を要する部分が広くなることを加味して、例えば、車速が所定値未満であれば画像の上部１／３の範囲に対して高解像度化処理を実行し、所定値以上であれば画像の上部１／２の範囲に対して高解像度化処理を実行するようにしてもよい。これによって、高解像度化処理を行う範囲を限定することができ、処理負荷を軽減することができる。

（２）上述した実施の形態では、車速に応じて高解像度化に必要な画像の枚数を算出して、算出した枚数の画像を使用して高解像度化処理を行う例について説明した。しかしこれに限定されず、解像度を徐々に上げながら物体の検出を行ってもよい。例えば、まずは現フレームのみを使用して画像内の物体検出を行う。そして、現フレームで物体が検出された場合には、その物体が検出された領域を除いた他の領域に対して、前フレームを使用した高解像度化処理を実行して、物体の検出を行う。さらに、この時点で物体が検出された領域を排除して、前々フレームを使用した高解像度化処理を行うようにする。このように、既に物体が検出された領域を排除しながら、徐々に過去フレームを使用して高解像度化処理を行うことによって、既に物体が検出された領域を高解像度化の処理から外して、処理負荷を軽減することができる。

（３）上述した実施の形態では、カメラ１０１によって車両前方を撮像し、撮像した車両前方画像に基づいて自車両の挙動を検出する例について説明した。しかしこれに限定されず、カメラ１０１を車両後方を撮像するように設置し、カメラ１０１で撮像した車両後方の画像に基づいて、車両後方に存在する物体を検出してもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、制御装置１０３は移動量算出手段、移動手段、高解像度化手段、および検出手段に相当する。車速センサ１０４は車速検出手段に相当する。なお、以上の説明はあくまでも一例であり、発明を解釈する際、上記の実施形態の記載事項と特許請求の範囲の記載事項の対応関係に何ら限定も拘束もされない。

本実施の形態における車載画像処理装置の一実施の形態の構成例を示すブロック図である。 撮像画像内を４×４画素の格子領域に分割した場合の具体例を示す図である。 現フレームにおける周辺画素と、前フレームにおける任意の画素との相関値を算出し、線形補間を行った結果を模式的に表したグラフを示す図である。 撮像画像の１画素を細分化領域に分割した場合の具体例を示す図である。 複数枚の画像を使用した高解像度化の原理を示す図である。 複数枚の画像を使用して高解像度化を行う場合の処理を説明する図である。 本実施の形態における車載画像処理装置１００の処理を示すフローチャート図である。

符号の説明

１００ 車載画像処理装置
１０１ カメラ
１０２ 画像メモリ
１０３ 制御装置
１０４ 車速センサ

Claims (6)

1. 撮像手段によって撮像された複数フレームの撮像画像に基づいて、各画素に存在する物体のフレーム間での移動量を算出する移動量算出手段と、
   前記撮像画像の各画素を１画素未満の微画素に分割する分割手段と、
   前記分割手段で分割した画像データ上で、各画素を前記移動量算出手段で算出した移動量だけ移動させる移動手段と、
   前記移動手段による移動前の各画素の画素値と、各画素が移動した先の領域の画素値とに基づいて、前記移動前の各画素の画像を高解像度化する高解像度化手段と、
   前記高解像度化手段で高解像度化した画像内に存在する物体を検出する検出手段とを備えることを特徴とする車両用物体検出装置。
2. 請求項１に記載の車両用物体検出装置において、
   自車両の車速を検出する車速検出手段をさらに備え、
   前記高解像度化手段は、前記車速検出手段で検出した自車両の車速に基づいて、画像内の高解像度化が必要な範囲と、不要な範囲とを判定して、高解像度化が必要な領域のみ高解像度化処理を行うことを特徴とする車両用物体検出装置。
3. 請求項１または２に記載の車両用物体検出装置において、
   前記高解像度化手段は、使用するフレーム数を変化させることによって、高解像度化のレベルを変化させることを特徴とする車両用物体検出装置。
4. 請求項３に記載の車両用物体検出装置において、
   前記検出手段は、前記高解像度化手段が複数レベルの高解像度化処理を行う場合には、低解像度の画像から順番に物体の検出を行うことを特徴とする車両用物体検出装置。
5. 請求項４に記載の車両用物体検出装置において、
   前記高解像度化手段は、複数レベルの高解像度化処理を行う場合には、前記検出手段によって低解像度の画像で物体が検出された領域は、高解像度化処理の対象から除外することを特徴とする車両用物体検出装置。
6. 撮像手段によって撮像された複数フレームの撮像画像に基づいて、各画素に存在する物体のフレーム間での移動量を算出し、
   前記撮像画像の各画素を１画素未満の微画素に分割し、
   分割した画像データ上で、各画素を算出した移動量だけ移動させ、
   移動前の各画素の画素値と、各画素が移動した先の領域の画素値とに基づいて、前記移動前の各画素の画像を高解像度化し、
   高解像度化した画像内に存在する物体を検出することを特徴とする車両用物体検出方法。

Images