JP2006107314A - 画像処理装置、および画像処理方法 - Google Patents

Abstract

【課題】 撮像画像内におけるワイパーで隠れた部分の画像を補間すること。
【解決手段】 制御装置１０３は、カメラ１０１で撮像した自車両前方の画像を画像メモリ１０２から読み込んで画像処理し、画像内に存在する物体の速度情報を算出し、算出した物体の速度情報に基づいて、画像内に存在するワイパーを検出する。画像内にワイパーが検出された場合には、画像上のワイパーによって自車両前方の画像が欠落した領域を、カメラ１０１で過去に撮像したフレームから補間画像を得て補間する。
【選択図】 図１

Description

本発明は、車両に搭載されたカメラによって撮像された画像を処理する画像処理装置、および画像処理方法に関する。

次のような画像処理方法が特許文献１によって知られている。自車両前方を撮像した撮像画像の前フレームと現在のフレームとの差分画像を得て、差分画像の平均濃度が所定値よりも大きく、差分画像の分散が所定値よりも小さい場合は、撮像画像内にワイパーが映っていると判断して、画像内からワイパーを除外する。

特開２０００−１２３１５１号公報

しかしながら、従来の方法においては、前フレームと現在のフレームとの間で背景が大きく変化した場合には、差分画像の平均濃度、および差分画像の分散も大きく変化するため、実際にはワイパーが映っていなくてもワイパーが映っていると誤って判断して、ワイパー以外の部分を誤って画像内から除外してしまう可能性があるという問題が生じていた。

本発明は、撮像手段で撮像した自車両前方の画像を画像処理して、画像内に存在する物体の速度情報を算出し、算出した物体の速度情報に基づいて、画像内に存在するワイパーを検出し、画像内にワイパーが検出された場合には、画像上のワイパーによって自車両前方の画像が欠落した領域を、過去に撮像したフレームから補間画像を得て補間することを特徴とする。

本発明によれば、画像内に存在する物体の速度情報に基づいて画像内に存在するワイパーを検出して、画像を補間することとした。これによって、画像内に存在するワイパーを正確に検出することができ、ワイパーによって欠落した画像の補間を的確に行うことができる。

図１は、本実施の形態における画像処理装置の一実施の形態の構成例を示すブロック図である。画像処理装置１００は、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、カメラ１０１で撮像されて画像メモリ１０２に記憶した画像に対して画像処理を実行する制御装置１０３と、後述する画素カウンタのカウント値を記憶するカウンタメモリ１０４とを備えている。カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有した高速カメラであり、極めて微小な一定時間Δｔ間隔、例えば２ｍｓ間隔で連続的に車両前方を撮像し、各フレームごとに画像メモリ１０２に出力する。

制御装置１０３は、画像メモリ１０２に格納された撮像画像を読み込んで、撮像画像内に自車両のワイパーが映り込んでいるか否かを判定する。自車両がフロントガラスのワイパーを動作させている場合には、ワイパーが撮像画像内に映っており、その部分の車両前方の画像は、ワイパーで隠れて欠落している。この欠落部分を後述する補間処理によって、過去に撮像した画像（過去のフレーム）を使用して補間して、ワイパーが映っていない状態の画像を生成する。また、後述する補正処理によって、補間結果の画像を検証して、補間箇所にずれが生じている場合には、その部分を補正して、ずれを修正する。

まず、撮像画像内からワイパーを検出することによって、撮像画像内に自車両のワイパーが映りこんでいるか否かを判定する。すなわち、ワイパー検出処理によって、画像内からワイパーが検出されるか否かを判定する。本実施の形態においては、画像内に存在する物体の画像上の移動速度を算出して、後述するように、画像内におけるワイパーの画像上の移動速度と、その他の車両前方に存在する物体の画像上の移動速度とは、それぞれのカメラ１０１からの距離との違いにより、大きく異なることを考慮して、画像内からワイパーを検出する。

本実施の形態においては、以下のように画像内に存在する物体の画像上の移動速度を算出して、撮像画像内における物体の移動方向と移動速度とをベクトルで表したオプティカルフローを以下のように算出する。すなわち、カメラ１０１で撮像された画像を画像メモリ１０２から読み込み、読み込んだ撮像画像に対して所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。抽出した画像内の各エッジに対して、細線化処理を行ってエッジの中心を正確に求める。そして、細線化されたエッジを、エッジ幅が一定の幅、例えば３画素分の幅になるように膨張させる。このように抽出したエッジを正規化することによって、各エッジが均一な幅を持ったエッジ画像を得ることができる。

なお、図２は、上述した抽出したエッジを正規化して、エッジ画像を得るために行う各処理の具体例を示す図である。すなわち、図２（ａ）に示す２値化して得たエッジに対して、細線化処理を行って図２（ｂ）に示す細線化後のエッジを得る。そして、細線化したエッジを膨張させ、図２（ｃ）に示すようにエッジに一定の幅を持たせる。

その後、カウンタメモリ１０４に保存された画素カウンタの内、現在エッジ画像内にエッジが存在している画素に対応した画素カウンタのカウント値を更新する。画素カウンタとは、エッジ画像の各画素に対応したカウンタであり、エッジが存在する画素に対応する画素カウンタのカウント値に１を加算し、エッジが存在しない画素に対応する画素カウンタのカウント値は０で初期化する。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像される毎フレームごとに行うことで、エッジ存在時間が長い画素はカウント値が大きく、エッジ存在時間が短い画素はカウント値が小さくなる。

そして、エッジ画像において、横方向に隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して、当該エッジが１画素移動するのに要する時間を得る。そして、この値の逆数を得ることで、各画素における画像空間内の横方向の速度を算出することができる。この各画素における画像空間内の横方向の速度は、各画素に含まれるエッジの横方向の速度に相当する。エッジの縦方向の速度についても、縦方向に隣接するそれぞれの画素に着目して同様の処理を行うことにより算出可能である。これによって、画像上の各画素におけるエッジの速度情報、すなわちエッジの移動方向と移動速度とを算出することができる。

以上の処理によって算出した、画像上の物体の移動方向、および移動速度をベクトルで表したオプティカルフローを算出し、当該オプティカルフローに基づいて、画像内からワイパーを検出する。すなわち、上述したように、画像内におけるワイパーの画像上の移動速度と、その他の車両前方に存在する物体の画像上の移動速度とは大きく異なることを考慮して、画像内からワイパーを検出する。

例えば、カメラ１０１の焦点距離を１、カメラ１０１の焦点位置から画像内に存在する物体までの距離をＺ、物体の実空間上での幅をｒ、物体の画像上での幅をｘとすると、次式（１）に示す関係式が成立する。
ｘ＝（１／Ｚ）・ｒ・・・（１）
そして、式（１）を時間ｔで微分すると、次式（２）により物体の画像上の移動速度が得られる。
ｄｘ／ｄｔ＝（１／Ｚ）・ｄｒ／ｄｔ・・・（２）

式（２）より、画像上の物体の速度は、カメラ１０１の焦点位置から画像内に存在する物体までの距離Ｚに反比例し、物体の実空間上における速度に比例することがわかる。例えば、図３に示すように、撮像画像内に壁３ａ、自車両前方に進行してくる他車両３ｂ、およびワイパー３ｃが存在するときについて考える。この場合、カメラ１０１の焦点位置から他車両３ｂまでの距離が１０ｍで、その実空間上の速度が１００ｋｍ／ｈ（≒２７ｍ／ｓ）、カメラ１０１の焦点位置からワイパー３ｃまでの距離が１０ｃｍで、その実空間上の速度が１ｍ／ｓとすると、式（２）より、他車両３ｂの画像上の移動速度ｖ１、およびワイパー３ｃの画像上の移動速度ｖ２は、次式（３）、および（４）によって算出される。
ｖ１＝２７／１０＝２．７・・・（３）
ｖ２＝１／０．１＝１０・・・（４）

式（３）、および（４）による算出結果より、上述した条件におけるワイパー３ｃの画像上の移動速度ｖ２は、他車両３ｂの画像上の移動速度ｖ１よりも約３倍速く検出されることがわかる。このように、自車両の前方１０ｍの地点を時速１００ｋｍで走行する他車両３ｂのように、実空間上で極めて近距離を高速で移動する物体であっても、画像上においてはワイパー速度の１／３程度の移動速度しか検出されないことを考慮すると、検出された物体の画像上の速度が、所定の閾値、例えば５ｍ／ｓ以上である物体は、ワイパーであると判定することができる。したがって、オプティカルフローにおいて、各画素に含まれるエッジの移動速度が所定の閾値以上である場合には、これらの画素に含まれるエッジはワイパーから検出されたエッジであると判定でき、撮像画像内にワイパーが存在すると判定できる。

上述した処理によって、画像内からワイパーが検出された場合には、図４（ａ）に示すように、そのワイパーが存在する範囲、すなわち、ある一定の閾値以上の移動速度を有するエッジが存在する画素を全て含む範囲に対して、長方形のワイパー領域４ａを設定する。この設定したワイパー領域に対して補間処理を実行し、過去のフレームを使用してワイパーによって欠落した画像を補間する。

このとき、画像上で検出されたワイパーは、図４（ａ）に示すように、ワイパーの位置によって算出される移動速度が異なる。すなわち、ワイパーは先端位置に近づくにつれて画面上の移動速度が増加し、付け根位置に近づくにつれて画面上の移動速度が減少する。したがって、過去のフレームを使用してワイパー領域４ａを補間するに当たっては、ワイパーの位置ごとに画像上の移動速度が異なることを考慮して、ワイパー領域４ａ内の各部分ごとに異なるフレームを使用して画像を補間する必要が生じる。

本実施の形態では、図４（ｂ）に示すように、画像上のワイパーの移動速度に基づいてワイパー領域４ａに対してクラスタリングを行い、ワイパー領域４ａを複数のクラスタに分割する。具体的には以下のようにクラスタリングを行う。ワイパー領域４ａの横幅をＰｗ、ワイパー領域４ａの長さをＰｌ、およびワイパーの根元からの距離がＰｉである任意の位置４ｂにおけるワイパーの画面上の移動速度ｖｉとする。このとき、任意の位置４ｂにおいてワイパー領域４ａ内をワイパーが通過するのに要する時間Ｔｉは、次式（５）によって算出される。
Ｔｉ＝Ｐｗ／ｖｉ・・・（５）

任意の位置４ｂにおいて、ワイパーによって欠落した画像が映っているフレームは、式（５）で算出した通過時間Ｔｉ前に撮像されたフレームであることから、通過時間Ｔｉの長さに応じて、ワイパー領域４ａを補間する際に使用する過去のフレームを決定することができる。すなわち、通過時間Ｔｉが短い場合には、ワイパーによる画像の欠落時間は短いため、現在のフレームに近い直近のフレームからの補間が可能となる。これに対して、通過時間Ｔｉが長い場合には、ワイパーによる画像の欠落時間も長いため、現在のフレームから少し前のフレームを使用して補間する必要が生じる。

そして、カメラ１０１のフレームレートにおける画像撮像間隔をΔｔ、算出されたワイパーの移動速度が最も遅い部分であるワイパーの根元部分の移動速度をｖｓとした場合には、分割するクラスタの数Ｃｎを次式（６）により算出して決定する。
Ｃｎ＝（Ｐｗ／ｖｓ）／Δｔ＝Ｔｓ／Δｔ・・・（６）

次に、次式（７）に示す条件式において、変数ｎを１から式（６）で算出したクラスタ数まで変化させて、クラスタリングを実行する。
０≦Ｐｗ／ｖｉ≦ｎ・Δｔ ｔｈｅｎ クラスタｎ（１≦ｎ≦Ｃｎ）に分類・・・（７）
例えば、Ｃｎが４の場合には、次式（８）〜（１１）によって、４つのクラスタ、すなわちクラスタ１〜クラスタ４に分類する。
０＜Ｐｗ／ｖｉ≦１・Δｔ ｔｈｅｎ クラスタ１に分類・・・（８）
１・Δｔ＜Ｐｗ／ｖｉ≦２・Δｔ ｔｈｅｎ クラスタ２に分類・・・（９）
２・Δｔ＜Ｐｗ／ｖｉ≦３・Δｔ ｔｈｅｎ クラスタ３に分類・・・（１０）
３・Δｔ＜Ｐｗ／ｖｉ≦４・Δｔ ｔｈｅｎ クラスタ４に分類・・・（１１）

これによって、図５に示すように、式（８）でクラスタ１に分類される領域は、ワイパー領域４ａの内、現在のフレームの１フレーム前にはワイパーが映っていなかった領域に相当し、現在のフレームの１つ前のフレームを使用してワイパーによって欠落した画像の補間が可能となる。同様に、式（９）でクラスタ２に分類される領域は、現在のフレームの２つ前のフレームを使用してワイパーによって欠落した画像の補間が可能となり、式（１０）でクラスタ３に分類される領域は、現在のフレームの３つ前のフレームを使用してワイパーによって欠落した画像の補間が可能となる。さらに式（１１）でクラスタ４に分類される領域は、現在のフレームの４つ前のフレームを使用してワイパーによって欠落した画像の補間が可能となる。

上述したように、クラスタリングを実行して、各クラスタごとに補間に使用する過去フレームを決定した後、各クラスタで分類された各領域を、過去フレームにおける各クラスタと同一の画像上の領域で置き換えて補間する。なお、カメラ１０１のフレームレートにおける画像撮像間隔Δｔは、上述したように極めて微小な時間間隔であるため、過去フレームの同一領域の画像をそのまま置き換えても、精度の高い補間が可能となる。これによって撮像画像において、ワイパーによって欠落した画像部分を高い精度で補間することが可能となる。

しかし、上述したように、補間処理では、各クラスタを過去フレームの同一領域の画像をそのまま置き換えていることから、特に古いフレームを用いて補間されたクラスタほど、その補間精度が悪くなり、画像にずれが生じる可能性がある。したがって、このように補間処理を行った結果、画像にずれが生じた場合には、以下のように補正処理を実行して、画像のずれを補正する。

補正を行うに当たっては、まず、補間結果の画像にずれが生じているか否かを判定する必要がある。上述した補間処理を行った結果、クラスタ内に存在する物体のエッジ位置Ａと、補間処理時に使用した過去フレームにおける同一エッジの位置、オプティカルフローから取得される移動方向、および移動速度Ｖから算出した予測エッジ位置Ｂとを比較して、ＡとＢとの差が所定距離Ｘ以上であれば、補間結果の画像にずれが生じていると判定する。ここで、所定距離Ｘは、式（７）で使用した各クラスタのクラスタ番号を表す変数ｎ、および過去フレーム上におけるエッジの移動速度Ｖを用いて、例えば次式（１２）により算出される。
Ｘ＝Δt×ｎ×Ｖ・・・（１２）

これによって、補間結果の画像にずれが生じていると判定した場合には、現在フレームにおいては、クラスタ内に存在する物体のエッジ位置Ａが、過去フレームにおける同一エッジの位置から式（１２）で算出した所定距離Ｘだけ移動した位置となるように、過去フレームから領域を抽出して、各クラスタ領域と置き換えて補正を行う。例えば、図６（ａ）に示すようにワイパーに隠れて画像が欠落した他車両８ａに対してワイパー領域４ａが補間された場合に、画像にずれが生じた場合には、上述した補正処理によって、図６（ｂ）に示す補正後の画像を得る。

図７は、本実施の形態における画像処理装置１００の処理を示すフローチャートである。図７に示す処理は、車両のイグニションスイッチがオンされて、画像処理装置１００の電源がオンされると制御装置１０３によって実行される。ステップＳ１０において、カメラ１０１で撮像された自車両前方の画像を画像メモリ１０２から取り込む。その後、ステップＳ２０へ進み、読み込んだ撮像画像に対してエッジ抽出処理を行って、正規化処理を行うことによって、画像上の物体の速度を算出し、オプティカルフローを算出する。その後、ステップＳ３０へ進む。

ステップＳ３０では、上述したように画像内におけるワイパーの画像上の移動速度は、その他の車両前方に存在する物体の画像上の移動速度よりも速いことを考慮して、画像内からワイパーを検出する。その後、ステップＳ４０へ進み、画像内でワイパーが検出されたか否かを判断する。ワイパーが検出されないと判断した場合には、後述するステップＳ８０へ進む。一方、ワイパーが検出されたと判断した場合には、ステップＳ５０へ進む。ステップＳ５０では、図８により後述する補間処理を実行して、ステップＳ６０へ進む。

ステップＳ６０では、上述した式（１２）により、補間処理の結果、画像にずれが生じたか否かを判断して、ずれが生じないと判断した場合には、後述するステップＳ８０へ進む。一方、ずれが生じたと判断した場合には、ステップＳ７０へ進む。ステップＳ７０では、上述したように画像のずれを補正して、ステップＳ８０へ進む。ステップＳ８０では、車両のイグニションスイッチがオフされたか否かを判断し、オフされないと判断した場合には、ステップＳ１０に戻って処理を繰り返す。これに対して、オフされたと判断した場合には、処理を終了する。

次に、ステップＳ５０における補間処理について説明する。図８は、補間処理の流れを示すフローチャート図である。ステップＳ１１０において、図４（ａ）にて上述したように、画像上のワイパーが存在する範囲にワイパー領域４ａを設定して、ステップＳ１２０へ進む。ステップＳ１２０では、ワイパー領域内の位置によって異なる画像上のワイパーの移動速度に基づいてクラスタリングを実行し、式（７）によりワイパー領域４ａを複数のクラスタに分割する。その後、ステップＳ１３０へ進む。ステップＳ１３０では、各クラスタの補間に使用する過去フレームを決定する。その後、ステップＳ１４０へ進み、決定した過去フレームを使用して、各クラスタを補間する。その後、図７に示す処理に復帰する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）画像内に存在する物体の移動速度が所定の閾値以上である場合に、当該物体はワイパーであると判定することとした。これによって、画像内におけるワイパーの画像上の移動速度は、その他の車両前方に存在する物体の画像上の移動速度よりも速く検出されることを考慮して、精度高く画像内に存在するワイパーを検出することができる。
（２）ワイパー領域４ａに対して、画像上のワイパーの移動速度がワイパーの位置によって異なることを考慮してクラスタリングを行い、各クラスタごとに補間時に使用する過去フレームを決定することとした。これによって、補間に使用する過去フレームを正確に決定することができる。さらに、クラスタごとにワイパーが映っていなかった最も直近の過去フレームを補間に使用することができ、補間精度を向上させることができる。

（３）過去フレームを使用して補間するに当たっては、各クラスタで分類された各領域を、過去フレームにおける各クラスタと同一の画像上の領域で置き換えて補間することとした。これによって、補間処理を簡略化でき、処理速度の向上を図ることができる。
（４）クラスタ内に存在する物体のエッジ位置Ａと、補間処理時に使用した過去フレームにおける同一エッジの位置、オプティカルフローから取得される移動方向、および移動速度Ｖから算出した予測エッジ位置Ｂとを比較して、補間処理を行った結果として得られる画像にずれが生じているかを判定することとした。これによって、ずれの発生の有無を正確に判定することができる。

（５）補間処理を行った結果、画像にずれが発生した場合には、過去フレームにおける同一物体の移動速度から移動距離を算出し、当該移動距離に基づいて画像の補正を行うこととした。これによって、古い過去フレームを使用して補間処理を実行した場合に、その補間精度が悪くなることを補うことができ、ずれのない画像を生成することができる。

なお、以下のように変形することもできる。
（１）上述した実施の形態では、撮像画像に対してエッジ抽出処理を行ってエッジ画像を得た後、エッジが存在する画素の画素カウンタを更新し、隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して、当該エッジが１画素移動するのに要する時間を得る例について説明した。しかし、これに限定されず、例えば一般的な手法である勾配法やブロックマッチングを用いてオプティカルフローを算出してもよい。

（２）上述した実施の形態では、カメラ１０１で車両前方を撮像する際に、撮像画像に映り込むフロントガラスのワイパーによって欠落した部分の画像を補間する例について説明したが、これに限定されず、カメラ１０１で車両後方を撮像する場合に、リアガラスのワイパーが撮像画像に映り込む場合についても同様に処理して、画像の欠落部分を補間できる。

（３）上述した実施の形態では、本発明による物体検出装置１００を車両に搭載する例について説明したが、これに限定されず、その他の移動体に搭載してもよい。

特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、制御装置１０３は速度情報算出手段、ワイパー検出手段、補間手段、ずれ判定手段、および補正手段に相当する。なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

画像処理装置の一実施の形態の構成例を示すブロック図である。 抽出したエッジを正規化してエッジ画像を得るために行う各処理の具体例を示す図である。 撮像画像内に存在する物体の具体例を示した図である。 ワイパー領域４ａに対して設定するクラスタの具体例を示す図である。 各クラスタの補間に使用する過去フレームの具体例を示した図である。 補正処理の具体例を示した図である。 画像処理装置１００による処理の流れを示すフローチャート図である。 補間処理の流れを示すフローチャート図である。

符号の説明

１００ 画像処理装置
１０１ カメラ
１０２ 画像メモリ
１０３ 制御装置
１０４ カウンタメモリ

Claims (5)

1. 自車両前方の画像を撮像する撮像手段と、
   前記撮像手段で撮像した画像を画像処理して、画像内に存在する物体の速度情報を算出する速度情報算出手段と、
   前記速度情報算出手段で算出した前記物体の速度情報に基づいて、画像内に存在するワイパーを検出するワイパー検出手段と、
   前記ワイパー検出手段によって画像内にワイパーが検出された場合には、画像上のワイパーによって自車両前方の画像が欠落した領域（以下、「ワイパー領域」と呼ぶ）を、過去に撮像したフレームから補間画像を得て補間する補間手段とを備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記ワイパー検出手段は、前記速度情報算出手段で算出した前記物体の速度情報に基づいて、前記物体の移動速度が所定値以上であれば、当該物体はワイパーであると検出することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記補間手段は、前記ワイパー領域を前記速度情報算出手段で算出したワイパーの速度情報に基づいて複数の分割領域に分割し、各分割領域におけるワイパーの速度情報に基づいて決定される各分割領域に応じた過去のフレームから補間画像を得て補間することを特徴とする画像処理装置。
4. 請求項１〜３のいずれか一項に記載の画像処理装置において、
   前記補間手段によって画像を補間した結果、補間部分に画像のずれが発生しているか否かを判定するずれ判定手段と、
   前記ずれ判定手段によって補間部分に画像のずれが発生していると判断された場合に、当該画像のずれを補正する補正手段とをさらに備えることを特徴とする画像処理装置。
5. 撮像手段で撮像した自車両前方の画像を画像処理して、画像内に存在する物体の速度情報を算出し、
   算出した前記物体の速度情報に基づいて、画像内に存在するワイパーを検出し、
   画像内にワイパーが検出された場合には、画像上のワイパーによって自車両前方の画像が欠落した領域を、過去に撮像したフレームから補間画像を得て補間することを特徴とする画像処理方法。

Images