JP2013200778A

JP2013200778A - 画像処理装置、画像処理方法

Info

Publication number: JP2013200778A
Application number: JP2012069558A
Authority: JP
Inventors: Yasutaka Okada; 康貴岡田; Masami Mizutani; 政美水谷
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2012-03-26
Filing date: 2012-03-26
Publication date: 2013-10-03
Anticipated expiration: 2032-03-26
Also published as: JP5935435B2; US9390336B2; US20130250107A1

Abstract

【課題】単眼のカメラで自車両の左右側方の撮像を可能とし、少ない演算量で接近物を検知することを可能とする。
【解決手段】画像処理装置１０は、車両の側方の情報を含む画像を撮像する撮像部１１と、画像を複数の領域に分割し、画像の側端の中心を含む第１の分割領域画像と、画像の側端の中心を含まない第２の分割領域画像とを規定する規定部１２と、第１の分割領域画像に対して第１のフィルタを用いて平滑化を行い、または第２の分割領域画像に対して第２のフィルタを用いて平滑化を行う平滑化部１３を備える。更に画像処理装置１０は、第１の分割領域画像または第２の分割領域画像から特徴点を抽出する抽出部１４と、取得時間が異なる複数の第１の分割領域画像または第２の分割領域画像の特徴点からオプティカルフローを算出する算出部１５と、オプティカルフローに基づいて車両に接近する接近物を判定する判定部１６を備える。
【選択図】図１

Description

本明細書で開示される実施様態は、接近物を検知することによる移動体の運転操作を支援する画像処理技術に関する。

近年、自動車の安全運転を支援する技術として、運転者から見難い範囲や、死角となる範囲の画像を運転者へ提示する技術が各種提案されている。特に、Ｔ字路等の道路においては、車両の左右側方の視野が著しく悪い為、支援技術の中でも重要視されている。この様な支援技術として、車両の前端に左右側方を撮像する複数のカメラを配置し、複数のカメラで撮像した画像を車載モニタ等の表示部に表示する技術が開示されている。また、他車両や歩行者等の自車両に対する接近物の早期検知を目的とした、接近物の検知技術についても提案されている。例えば、複数の画像を時系列順に撮像し、各画像の特徴点を抽出し、各画像間で特徴点を比較して特徴の相関が高い特徴点と対応付けを行い、オプティカルフローを生成して、接近物を検知するという技術が開示されている。なお、この様な接近物検知機能は、汎用的なナビゲーション機能と兼用される様になっている。これにより、一つの表示部で接近物検知機能とナビゲーション機能とを兼用出来る様になっている。

特開２００５−２７６０５６号公報

上述の通り、運転者の死角となる左右側方を撮像する為には、複数のカメラが必要となる。しかしながら、コストの観点からカメラを複数配置させることは現実的ではない。更に、オプティカルフローを用いた接近物検知においては、特徴点情報を格納するためのメモリ容量の制約や、演算量が大きなオプティカルフロー演算を実行するためのＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）のリソースの制約（以下、メモリ容量の制約とＣＰＵのリソースの制約を含めて演算量の制約と称する）により、十分な検知精度を確保することが難しい場合がある。よって、従来技術においては、単眼のカメラで自車両の左右側方の撮像が可能であり、かつ少ない演算量で接近物を検知することが可能となる接近物を検知する画像処理技術は提唱されていない状況である。

本発明は、単眼のカメラで自車両の左右側方の撮像を可能とし、かつ少ない演算量で接近物を検知することが可能となる画像処理装置を提供することを目的とする。

本発明が開示する一様態における画像処理装置は、車両の前端に配置され、車両の側方の情報を含む画像を撮像する撮像部と、画像を複数の領域に分割し、画像の側端の中心を含む第１の分割領域画像と、画像の側端の中心を含まない第２の分割領域画像とを規定する規定部を備える。更に画像処理装置は、第１の分割領域画像に対して第１のフィルタを用いて平滑化を行い、または第２の分割領域画像に対して第１のフィルタよりも大きい係数を有する第２のフィルタを用いて平滑化を行う平滑化部を備える。更に画像処理装置は、第１の分割領域画像または第２の分割領域画像から特徴点を抽出する抽出部と、取得時間が異なる複数の第１の分割領域画像または第２の分割領域画像の特徴点からオプティカルフローを算出する算出部を備えなる。更に画像処理装置は、オプティカルフローに基づいて車両に接近する接近物を判定する判定部を備える。

なお、本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

本明細書に開示される画像処理装置では、単眼のカメラで自車両の左右側方の撮像を可能とし、かつ少ない演算量で接近物を検知することが可能となる。

一つの実施形態による画像処理装置の構成の一例を示す図である。（ａ）は、画像処理装置が配置される自車両の上面図である。（ｂ）は画像処理装置が配置される自車両の側面図である。画像処理装置の撮像部による撮像領域の一例を示す図である。画像処理装置の撮像部による撮像画像と、第１の分割画像領域と第２の分割画像領域の一例を示す図である。（ａ）は、第１のフィルタの一例となる３×３画素の大きさの平均化フィルタを示す。（ｂ）は、第２のフィルタの一例となる５×５画素の大きさの平均化フィルタを示す。撮像画像の第１の分割画像領域と第２の分割画像領域から抽出された特徴点の一例を示す図である。（ａ）、（ｂ）は、抽出部が抽出した特徴点のデータ構造の一例である。（ａ）、（ｂ）は、算出部によるオプティカルフローの算出処理の一例となる概念図である。（ａ）は、オプティカルフローのグルーピング処理の概念図である。（ｂ）は、判定部が生成したオプティカルフローのグルーピング処理のデータ構造の一例である。特徴点の登録順序となる画像の走査順序を規定する概念図である。画像処理装置における接近物の検知処理の一例を示すフローチャートである画像処理装置の各機能ブロックとして動作させることのできるコンピュータのハードウェア構成の一例を示す図である。

以下に、一つの実施形態による画像処理装置、画像処理方法、画像処理用コンピュータプログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。

（実施例１）
図１は、一つの実施形態による画像処理装置の構成の一例を示す図である。画像処理装置１０は、撮像部１１、規定部１２、平滑化部１３、抽出部１４、算出部１５、判定部１６、提示部１７、記憶部１８、制御部１９、速度検出部２０、操蛇角検出部２１を含んでいる。

画像処理装置１０が有するこれらの各部は、例えば、それぞれ個別のワイヤードロジックによるハードウェア回路として形成される。あるいは画像処理装置１０が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として画像処理装置１０に実装されてもよい。さらに、画像処理装置１０が有するこれらの各部は、画像処理装置１０が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。

撮像部１１は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。撮像部１１は魚眼レンズを用いることで、単眼で自車両の両側方の情報を含む画像を撮像することが可能となる。なお撮像部１１は、例えば、自車両の前端の中心に配置される。また、画像処理装置１０は、撮像部１１から自車両の側方の情報を含む画像を取得する図示しない取得部を備えても良い。

規定部１２は、撮像部１１が撮像する画像を受け取り、当該画像を複数の領域に分割する。具体的には、画像の側端の中心を含む第１の分割領域画像と、画像の側端の中心を含まない第２の分割領域画像とを規定する。更に、規定部１２は、第１の分割領域画像を画像の側端から中心に向かって面積が小さくなる様に規定し、第２の分割領域画像を、画像の側端から中心に向かって面積が大きくなる様に規定する。なお、規定部１２による第１の分割領域画像と第２の分割領域画像の規定処理の詳細については後述する。

平滑化部１３は、規定部１２が規定した第１の分割領域画像に対して第１のフィルタを用いて平滑化を行う。また、平滑化部１３は、規定部１２が規定した第２の分割領域画像に対して第１のフィルタよりも大きい係数を有する第２のフィルタを用いて平滑化を行う。なお、平滑化部１３による第１のフィルタならびに第２のフィルタを用いた平滑化処理の詳細については後述する。

抽出部１４は、平滑化部１３が平滑化した第１の分割領域画像または第２の分割領域画像から特徴点を抽出する。なお、抽出部１４は、第２の分割領域画像よりも先に第１の分割領域画像に対して特徴点を抽出しても良い。なお、抽出部１４による特徴点の抽出処理の詳細については後述する。

算出部１５は、抽出部１１が取得する取得時間が異なる複数の第１の分割領域画像または第２の分割領域画像の特徴点からオプティカルフローを算出する。なお、算出部１５によるオプティカルフローの算出処理の詳細については後述する。

判定部１６は、算出部１５が算出したオプティカルフローに基づいて自車両に近接する他車両や歩行者等の接近物を判定する。なお、判定部１６による接近物の判定処理の詳細については後述する。

提示部１７は、例えば、ディスプレイなどの表示デバイス、または、スピーカー等の発音デバイスである。提示部１７は、判定部１６が判定した接近物の有無を運転者（ユーザ）に提示する。

記憶部１８は、例えば、フラッシュメモリ（ｆｌａｓｈｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。なお、記憶部１３は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）であってもよい。記憶部１８には、例えば判定部１６が判定した接近物に関する位置情報が記憶される。

制御部１９は、撮像部１１、速度検出部２０と、操舵角検出部２１に接続され、速度検出部２０により検出される自車両の速度が所定の閾値（例えば１０Ｋｍ／ｈ）以上の場合、必要に応じて撮像部１１による撮像を停止させる。また、制御部１９は、操舵角検出部２１により検出される自車両の操舵角が所定の閾値（例えば１０度）以上の場合に、必要に応じて撮像部１１による撮像を停止させる。

速度検出部２０は自車両の車輪の回転数等に基づいて、自車両の速度を検出する。速度検出部２０が検出した速度情報は、制御部１９に出力される。

操舵角検出部２１は、自車両のハンドルの操舵角等に基づいて、自車両の操舵角を検出する。操舵角検出部２１が検出した操舵角情報は、制御部１９に出力される。

図２（ａ）は、画像処理装置が配置される自車両の上面図である。図２（ｂ）は画像処理装置が配置される自車両の側面図である。図２（ａ）、（ｂ）に図示されている通り、撮像部１１は、例えば、自車両２２の前端の中央に配置されている。また、提示部１７は、例えば、自車両２２の内部に配置される。撮像部１１ならびに提示部１７以外の画像処理装置１０が有するその他の各部は、撮像部１１または提示部１７の近傍、または、任意の場所に配置することが可能である。また、図２（ｂ）に図示されている通り、撮像部１１は仰角φ_１と、俯角φ_２が付与される。仰角φ_１と、俯角φ_２は、自車両の車高等に応じて自車両の前方と側方が適切に撮像される様に適宜調整されれば良い。

図３は、画像処理装置の撮像部による撮像領域の一例を示す図である。図３に示す通り、撮像部１１に魚眼レンズを用いることで画角は、運転者の視野範囲を大きく超える１８０〜１９０度まで広がる為、単眼で自車両の側方の情報を含む画像を撮像することが可能となる。なお、図３にはＴ字路を例示として図示したが、十字路等の他の形状においても、本実施例に開示される画像処理装置１０を適用することが可能である。

（規定部１２による第１の分割領域画像と第２の分割領域画像の規定処理）
図４は、画像処理装置の撮像部による撮像画像と、第１の分割画像領域と第２の分割画像領域の一例を示す図である。規定部１２は、撮像部１１から撮像画像を受け取ると、画像を複数の領域に分割する。具体的には、図４に示す通り、上方分割線と下方分割線を用いて画像の側端の中心を含む第１の分割領域画像と、画像の側端の中心を含まない第２の分割領域画像とを規定する。

更に規定部１２は、第１の分割領域画像を画像の側端から中心に向かって面積が小さくなる様に規定し、第２の分割領域画像を、画像の側端から中心に向かって面積が大きくなる様に規定する。図４に示す例においては、上方分割線ならびに下方分割線は、例えば原点を画像中心とした任意の２次曲線で規定することが可能である。詳細は後述するが、第１の分割領域画像は、第２の分割領域画像よりも多くの特徴点が抽出される為、上方分割線の２次曲線における最小点ならび曲率は、画像処理装置１０が許容する演算量に基づいて規定すれば良い。下方分割線についても、最小点を最大点に置き換えて考えることが出来る為、詳細な説明は省略する。

なお、画像中心付近が運転者の視野範囲であることを考慮すると、上方分割線の最小点または、下側分割線の最大点は、画像中心（原点）に出来るだけ近接または接する様に規定し、曲率を大きく規定することで、第１の分割領域画像に対して接近物の早期検知に必要となる自車両の側方領域を多く含ませることが可能となる。なお、上側分割線ならびに下側分割線は、画像中心（原点）を通る一次関数を用いて規定しても良い。

また、規定部１２は、撮像部１１の図示しないレンズディストーションデータを用いて上方分割線ならびに下方分割線を規定することが可能である。例として上方分割線の規定方法の手順（１）〜（５）について記載する。

（１）上方分割線を表す光線ベクトルＶｉを、極座標表現で定義する。

Ｖｉ＝（θi、φ_１、１)；（但し、θは方位、φ_１は仰角、１は長さ）、(例：θｉ＝−９０、 −６７．５、 −４５、 −２２．５、０、２２．５、４５、６７．５、９０（ｄｅｇ）を９分割し、φ_１＝５ｄｅｇとする。)
（２）極座標表現の３ＤベクトルＶｉは、一意的にカーテジアン表現に変換可能であり、これをＵｉと規定する。

（３）撮像部１１の地面に対する姿勢がλ=(α、β、γ)のとき（但し、αはロール角、βはピッチ角、γはヨー角とする）、撮像部１１が撮像する画像における上方分割線は、Ｕ’ｉの様に観測される。

Ｕ’ｉ＝Ｒ−１（λ）Ｕｉ；（但し、Ｒ（λ）は回転行列）
（４）入射方向が任意の３ＤベクトルＵ’は、撮像部１１のレンズディスト―ションデータに従って、画像上の２次元座標ｐに変換可能である。ここで、Ｕ’ｉに対応する画像上の点をｐｉとする。

（５）点ｐｉを順序に従い、直線発生アルゴリズムもしくはスプライン発生アルゴリズムを適用させることで結線し、上方分割線の曲線を構成する点例を得ることができる。なお、下方分割線は、仰角φ_１を俯角φ₂に置き換えることで規定することが出来る為、詳細な説明は省略する。

（平滑化部１３による平滑化処理）
図５（ａ）は、第１のフィルタの一例となる３×３画素の大きさの平均化フィルタを示す。図５（ｂ）は、第２のフィルタの一例となる５×５画素の大きさの平均化フィルタを示す。図５（ａ）、（ｂ）に示される通り、各フィルタに格納される係数をすべて加算すると値が１となる。第２のフィルタは第１のフィルタよりも大きい係数を有している為、平滑化の効果が第１のフィルタに比較して大きくなる。なお、第１または第２のフィルタは平均化フィルタの他に、フィルタの原点（中央）に近いほど大きな重みが付加される加重平均化フィルタや、ガウシアンフィルタを用いることが可能である。

平滑化部１３は、第１の分割領域画像に対して第１のフィルタを用いて平滑化を行い、第２の分割領域画像に対しては、第１のフィルタよりも大きい係数を有する第２のフィルタを用いて平滑化を行う。なお、平滑部１３は、第１の分割領域画像または第２の分割領域画像のいずれかのみに対して平滑化を行っても良いし、第１の分割領域画像と第２の分割領域画像の双方に対して平滑化を行っても良い。これにより、接近物の早期検知に必要となる自車両の側方領域を含む第１の分割領域画像において多くの特徴点が含まれることになり、それ以外の第２の分割領域画像においては特徴点を少なくさせることが可能となる。

（抽出部１４による特徴点の抽出処理）
抽出部１４は、平滑化部１３により平滑化が行われた画像に対して特徴点を抽出する。特徴点の抽出においては、ハリスオペレータ等の公知の手段を用いて特徴点を抽出することが可能である。なお、メモリ容量を考慮して、抽出部１４は、第２の分割領域画像よりも先に第１の分割領域画像に対して特徴点を抽出しても良い。図６は、撮像画像の第１の分割画像領域と第２の分割画像領域から抽出された特徴点の一例を示す図である。平滑化部１３により、第１の分割領域画像に対しては、第１のフィルタを用いて平滑化が実施され、第２の分割領域画像に対しては、第１のフィルタよりも大きい係数を有する第２のフィルタを用いて平滑化をされている。これにより、図６に示される通り、接近物の早期検知に必要となる自車両の側方領域を含む第１の分割領域画像において多くの特徴点が抽出することが出来、それ以外の第２の分割領域画像においては特徴点を少なくさせることが可能となる。これにより演算量を削減させることが可能となる。

ところで、撮像部１１に魚眼レンズを用いた場合は、魚眼レンズの光学特性上、運転者の視野範囲となる自車両の前方の分解能が高くなり、自車両の側方の分解能が低くなる。このことは、自車両の前方においてはより多くの特徴点が抽出され、接近物の早期検知が必要となる自車両の側方においては抽出される特徴点が少なくなることを意味している。

しかしながら、本実施例においては、第１の分割領域画像を画像の側端から中心に向かって面積が小さくなる様に規定し、第２の分割領域画像を、画像の側端から中心に向かって面積が大きくなる様に規定している。この為、分解能が高くなる自車両の前方（運転者の視野範囲）では大きなフィルタ係数を有する第２のフィルタで平滑化が行われる為、特徴点の抽出を抑制させることが可能となっている。換言すると、本実施例においては、魚眼レンズを用いたことによる分解能の分布の影響について解消させることが可能となっている。

図７（ａ）、（ｂ）は、抽出部が抽出した特徴点のデータ構造の一例である。図７（ａ）は、撮像部１１が撮像を開始した時刻ｔ＝１．０の時の画像から抽出した特徴点のデータ構造の一例である。抽出部１４は図示しないキャッシュメモリ等を有しており、特徴点のデータをそれぞれ格納する。抽出部１４は、抽出した特徴点に対して任意のＩＤとファイル名を付与し、特徴点の画像上の座標（ｘ、ｙ）ならびに特徴量の一例となる輝度値Ｉを格納する。なお、画像上の座標（ｘ、ｙ）の単位は例えばピクセルであり、原点は、例えば、画像の左上に設定すれば良い。図７（ｂ）は、撮像部１１が撮像を開始した時刻ｔ＝２．０の画像から抽出した特徴点の時のデータ構造の一例である。抽出部１４は、時刻ｔ＝１．０の時と同様に特徴点のデータをそれぞれ図示しないキャッシュメモリ等に格納する。

（算出部１５によるオプティカルフローの算出処理）
算出部１５は、抽出部１４が抽出した特徴点のデータからオプティカルフローを算出する。図８（ａ）、（ｂ）は、算出部によるオプティカルフローの算出処理の一例となる概念図である。オプティカルフローは、例えばＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ；差分絶対値和）の相関演算法を用いることで算出することが出来る。ここで、ＳＡＤは、以下の数式で定義される。

（但し（ｘ、ｙ）は特徴点の画像上の座標値、Ｉ₁、Ｉ_２は連続する時刻の輝度値）
上述の（数１）は、同じ位置の画素の輝度値の差の絶対値の合計を計算し、合計値が小さいほど、類似度が高いことを意味し、完全一致するとＳＡＤの値は０になる。算出部１５は、所定の閾値ｔを用いて、オプティカルフローの算出の基準として、閾値ｔよりもＳＡＤ値が小さい、かつ、ＳＡＤが最小となる特徴点の組み合わせを対応付ける。

図８（ａ）の例では、時刻ｔ＝１．０の特徴点と、時刻ｔ＝２．０の特徴点の組み合わせの対応付けにおいて、時刻ｔ＝２．０におけるＩＤ_１とＩＤ_２の双方のＳＡＤ値が閾値ｔよりも小さい。この場合は、ＳＡＤが最小となるＩＤを組み合わせて対応付ける。この例示では、時刻ｔ＝１．０のＩＤ_１は、時刻ｔ＝２．０のＩＤ_１と組み合わせる。算出部１５は、組み合わせられた特徴点の座標値から、特徴点の移動方向と移動距離となるベクトル、すなわち、オプティカルフローを算出することが可能となる。

図８（ｂ）の例では、時刻ｔ＝１．０の特徴点と、時刻ｔ＝２．０の特徴点の組み合わせの対応付けにおいて、時刻ｔ＝２．０におけるＩＤ_１とＩＤ_２の双方のＳＡＤ値が閾値ｔよりも大きい。この場合は、特徴点の組み合わせの対応付けは行わない。また、算出部１５は、画像に含まれるすべての特徴点について、ＳＡＤ値を算出する必要はなく、特徴点の座標近傍の領域内（ｍ×ｎ（ｍ、ｎは自然数）画素の領域内）で特徴点の対応付けの処理を行えば良い。

また、ＳＡＤの他に、ＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄｉｎｔｅｎｓｉｔｙｄｉｆｆｅｒｅｎｃｅ）やＮＣＣ（ＮｏｒｍａｌｉｚｅｄＣｒｏｓｓＣｏｒｒｅｌａｔｉｏｎ）等の相関演算法を用いることも可能である。なお、算出部１５は、所定の閾値ｌを用いて、閾値ｌ以下のオプティカルフローをノイズとして削除しても良い。また、算出部１５は、オプティカルフローを算出するにあたり、ある特徴点が所定の閾値ｚ回以上にわたり、同じ位置に存在する場合は、静止物（背景）として特徴点を削除しても良い。更に、算出部１５は、算出したオプティカルフローの方向が前時刻のオプティカルフローと異なる場合が所定の閾値ａ回以上となる場合は、ノイズとして特徴点を削除しても良い。

（判定部１６による接近物の判定処理）
判定部１６は、算出部１５よりオプティカルフローを受け取り、接近物の有無を判定する。ここで、判定部１６は、必要に応じて、図６の画像中心より左側の領域においては、右方向のベクトル成分を有するオプティカルフローのみを抽出し、画像中心より右側の領域においては、左方向のベクトル成分を有するオプティカルフローのみを抽出しても良い。判定部１６は、算出部１５より受け取る複数のオプティカルフローに対してそれぞれ位置が近接しており、類似する方向を有するものをグルーピングしてフレームＩＤを付与する。なお、位置の近接度や方向の類似度は適宜設定すれば良い。

図９（ａ）は、オプティカルフローのグルーピング処理の概念図である。図９（ｂ）は、判定部が生成したオプティカルフローのグルーピング処理のデータ構造の一例である。図９（ａ）に示される様に、判定部１６は、オプティカルフローを任意の位置近接度や方向類似度を用いてグルーピングする。判定部１６は、グルーピングしたオプティカルフローを、例えば長方形で近似してフレームを生成し、生成したフレームの左上を基準座標（ｘ、ｙ）として、フレームの長さｗ、高さｈ、更に前時刻ｔ−１と対応するフレームＩＤを、判定部１６が有する図示しないキャッシュメモリ等に格納する。格納されたデータは、例えば、図９（ｂ）に示される様なデータ構造となる。また、判定部１６は、他車両や歩行者の扁平率や、面積を考慮し、フレームの扁平率（ｗ／ｈ）やフレームの面積（ｗ×ｈ）に基づいてグルーピングを行っても良い。

判定部１６は、任意の時刻にわたり、フレームが同一方向に向かっている場合や、フレームが任意の閾値の回数ｓ以上、互いに重畳している場合は、フレームを接近物と判定する。判定部１６は、接近物が有りと判定した場合は、判定結果を提示部１７に出力する。なお、判定部１６は、接近物と判定されたフレームの領域情報、具体的には図９（ｂ）に示す接近物検知領域情報等を提示部１７と記憶部１８に出力しても良い。

提示部１７は、運転者に対して、接近物の存在を早期に知らせる為に、フレームの領域情報に基づき赤枠等で、接近物の位置を提示部１７に表示する。また、一般的なカーナビゲーションの機能を提示部１７が備える場合は、地図情報に接近物の位置を重畳して表示しても良い。また、提示部１７は音声により、運転者に対して接近物の存在を通知しても良い。

実施例１に開示される画像処理装置によれば、単眼のカメラで自車両の左右側方の撮像を可能とし、かつ少ない演算量で接近物を検知することが可能となる。

（実施例２）
自車両へ接近する他車両等の接近物は、自車両へ接近するにつれて車両のフロント部分が画像に対して大きく撮像される。この特徴は撮像部１１に魚眼レンズを用いた場合には、より顕著なものとなる。一般的に、車両のフロント部は、車両の他の部分と比べて、グリル等の複雑な形状を有しているものが多く、特徴点が多く抽出されやすい傾向にある。このため、特徴点が過剰に抽出されてしまうことで、メモリ容量の制約上、画像の側方から新たに接近してくる他車両等の接近物に対して特徴点を十分に割り当てることが難しくなる場合も想定され得る。

この点を考慮し、実施例１の処理に加えて、画像処理装置１０の平滑化部１３は、第１のフィルタを用いて平滑化を行った第１の分割領域画像の一部に対して、第２フィルタを用いて平滑化を行う。平滑化部１３は、平滑化処理を実施する際に、記憶部１８を参照し、接近物と判定されたフレームの接近物検知領域情報を取得する。参照部は、接近物と判定されたフレームの接近物検知領域情報に基づいて接近物付近の領域に対して第２のフィルタを用いて平滑化を行う。なお、平滑化部１３は、第１の分割領域画像の一部に対して第２のフィルタ以外にも任意の係数を有するフィルタを用いて平滑化を行うことが可能である。

実施例２に開示される画像処理装置によれば、実施例１に開示される画像処理装置に比較して更に少ない演算量で接近物を検知することが可能となる。

（実施例３）
上述の実施例１または実施例２においては、例えば、第１の分割領域画像において、ビル群などの背景に複雑なテクスチャを有する物体が含まれる場合、多くの特徴点が当該物体から抽出されてしまう為、自車両と接触する可能性が高い接近物の特徴点を十分に抽出することが出来ない場合も想定され得る。

この点を考慮し、実施例１または実施例２の処理に加えて、画像処理装置１０の抽出部１４は、第１の分割領域画像を画像の側端の中心を起点として、画像を上端方向または下端方向に走査して特徴点を抽出する。また、抽出部１４は、第２の分割領域画像を、画像の側端の中心から離反する様に、画像を上端方向または下端方向に走査して特徴点を抽出する。更に、抽出部１４は、自車両の規定進行方向に基づき、接近物が車両に近接する近接方向を規定し、近接方向に基づいて上端方向または下端方向の走査の優先度を付与する。

換言すると、抽出部１４は、接近物の存在確率に基づき、特徴点を登録する順序となる画像の走査順序を規定する。特徴点の登録方向と走査順序を規定するにあたり、車両の規定進行方向を定める必要がある。例えば、日本においては、車両は左車線を走行する為、規定進行方向は左方向とする。この場合、接近物が自車両に近接する近接方向は、画像の側端中心より下端の領域においては左方向となる。また、画像の側端中心より上端の領域では、接近物が自車両に近接する近接方向は、右方向となる。

また、画像を画像の中心で左右に分割した場合においては、それぞれ側端中心より下端の領域と、画像の側端中心より上端の領域では接近物の存在確率は異なる。図１０は、特徴点の登録順序となる画像の走査順序を規定する概念図である。抽出部１４は画像を側端中心で上下に分割し、更に画像中心で左右に分割する。なお、画像の分割は規定部１２が実行しても良い。分割領域の大きさは許容される演算量に応じて適宜規定すれば良い。図１０において規定進行方向が左方向の場合、右側分割領域においては、画像中心より下側の方が、日本において規定進行方向が左となる左車線を検知する確率が高い為、画像の側端の中心を起点として画像の下端方向に走査して特徴点を抽出する。なお、走査順序の優先度は以下の（１）〜（４）の順序となる。
（１）右側分割領域画像＞左側分割領域画像
（２）第１の分割領域画像＞第２の分割領域画像
（３）画像側端＞画像中心
（４）下方向走査＞上方向走査（右側分割領域画像の場合）、上方向走査＞下方向走査（左側分割領域画像の場合）
実施例３に開示される画像処理装置によれば、メモリ容量の制約から抽出可能な特徴点数が制限されている場合においても、接近物を早期に検知することが出来る。

（近接物の検知処理）
次に、画像処理装置１０の動作について説明する。図１１は、画像処理装置における接近物の検知処理の一例を示すフローチャートである。

ステップＳ１１０１において、速度検出部２０は自車両の車輪の回転数等により、自車両の速度を検出し、自車両の速度が所定の閾値（例えば１０Ｋｍ／ｈ）以下か否かを判定する。

自車両の速度が所定の閾値以下の場合（ステップＳ１１０１−Ｙｅｓ）は、ステップＳ１１０２において、操舵角検出部２１は、自車両のハンドルの操舵角等により、自車両の操舵角を検出し、自車両の操舵角が所定の閾値（例えば１０度）以下か否かを判定する。

自車両の操舵角が所定の閾値以下の場合（ステップＳ１１０２−Ｙｅｓ）は、ステップＳ１１０３において、撮像部１１は自車両の側方の情報を含む画像を撮像する。なお、自車両の速度と操舵角が所定の閾値以上の場合（ステップＳ１１０１−Ｎｏ、ステップＳ１１０２−Ｎｏ）は、自車両の速度と操舵角が所定の閾値以下になるまで一連の処理を繰り返す。

ステップＳ１１０４において、規定部１２は、撮像部１１から受け取った画像を上方分割線と下方分割線を用いて画像の側端の中心を含む第１の分割領域画像と、画像の側端の中心を含まない第２の分割領域画像とを規定する。なお、ステップＳ１１０４において、規定部１２は、第１の分割領域画像を画像の側端から中心に向かって面積が小さくなる様に規定し、第２の分割領域画像を、画像の側端から中心に向かって面積が大きくなる様に規定しても良い。

ステップＳ１１０５において、平滑化部１３は、第１の分割領域画像に対して第１のフィルタを用いて平滑化を行う。また、平滑化部１３は第２の分割領域画像に対して第１のフィルタよりも大きい係数を有する第２のフィルタを用いて平滑化を行う。ここで、平滑化部１３は、後述する記憶部１８に格納される接近物の位置情報（接近物検知領域情報）を参照し、第１のフィルタを用いて平滑化を行った第１の分割領域画像の一部に対して、第２フィルタを用いて更に平滑化を行っても良い。

ステップＳ１１０６において、抽出部１４は、接近物の存在確率に基づき、特徴点を登録する順序となる画像の走査順序を規定する。具体的には、抽出部１４は、第１の分割領域画像を画像の側端の中心を起点として、画像を上端方向または下端方向に走査して特徴点を抽出する。また、抽出部１４は、第２の分割領域画像を、画像の側端の中心から離反する様に、画像を上端方向または下端方向に走査して特徴点を抽出する。なお、ステップＳ１１０６は必要に応じて実行されれば良く、必須のステップではない。

ステップＳ１１０７において、抽出部１４は、平滑化部１３により平滑化が行われた画像に対して特徴点を抽出する。なお、抽出部１４は、メモリ容量を考慮して、抽出部１４は、第２の分割領域画像よりも先に第１の分割領域画像に対して特徴点を抽出しても良い。

ステップＳ１１０８において、算出部１５は、抽出部１４が抽出した特徴点のデータからオプティカルフローを算出する。なお、ステップＳ１１０８において、なお、算出部１５は、所定の閾値１を用いて、閾値ｌ以下のオプティカルフローをノイズとして削除しても良い。また、算出部１５は、オプティカルフローを算出するにあたり、ある特徴点が所定の閾値ｚ回以上にわたり、同じ位置に存在する場合は、静止物（背景）として特徴点を削除しても良い。更に、算出部１５は、算出したオプティカルフローの方向が前時刻のフローと異なる場合が所定の閾値ａ回以上となる場合は、ノイズとして特徴点を削除しても良い。

ステップＳ１１０９において、判定部１６は、算出部１５よりオプティカルフローを受け取り、接近物の有無を判定する。なお、ステップＳ１１０９において、判定部１６は、オプティカルフローを任意の位置近接度や方向類似度を用いてグルーピングする。判定部１６は、グルーピングしたオプティカルフローを例えば、例えば長方形で近似してフレームを生成し、生成したフレームの左上を基準座標（ｘ、ｙ）として、フレームの長さｗ、高さｈ、更に前時刻ｔ−１と対応するフレームＩＤを、判定部１６が有する図示しないキャッシュメモリに格納する。

また、ステップＳ１１０９において、判定部１６は、他車両や歩行者の扁平率や、面積を考慮し、フレームの扁平率（ｗ／ｈ）やフレームの面積（ｗ×ｈ）に基づいてグルーピングを行っても良い。判定部１６は、任意の時刻にわたり、フレームが同一方向に向かっている場合や、フレームが任意の閾値の回数ｓ以上、互いに重畳している場合は、フレームを接近物と判定する。

ステップＳ１１１０において、判定部１６は、接近物が有りと判定した場合（ステップＳ１１１０−Ｙｅｓ）は、判定結果を提示部１７に出力する。なお、この時、判定部１６は、接近物と判定されたフレームの領域情報、具体的には、接近物検知領域情報を提示部１７と記憶部１８に出力しても良い。この場合は、ステップＳ１１１２において、接近物検知領域情報が記憶部１８に格納される。記憶部に格納された接近物検知領域情報は、上述の通り、ステップＳ１１０５において、平滑化部１３に参照される。

ステップＳ１１１０において、判定部１６は、接近物が無しと判定した場合（ステップＳ１１１０−Ｎｏ）は、処理をＳ１１０１に戻す。このとき、判定部１６が有する図示しないキャッシュメモリに格納されたオプティカルフロー等の各種データは削除しても良い。

ステップＳ１１１１において、提示部１７は、運転者に対して、接近物の存在を早期に知らせる為に、フレームの領域情報に基づき赤枠等で、接近物の位置を提示部１７に表示する。また、一般的なカーナビゲーションの機能を提示部１７が備える場合は、地図情報に接近物の位置を重畳して表示しても良い。また、提示部１７は音声により、運転者に対して接近物の存在を通知しても良い。

なお、前述した各実施例に係る画像処理装置の各機能ブロックを、コンピュータを用いて構成することも可能である。図１２は、画像処理装置の各機能ブロックとして動作させることのできるコンピュータのハードウェア構成の一例を示す図である。図１２に示す通り、コンピュータ３０は、ＭＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、入力装置３４、表示装置３５、インターフェース装置３６、及び記録媒体駆動装置３７を備えている。なお、これらの構成要素はバスライン３８を介して接続されており、ＭＰＵ３１の管理の下で各種のデータを相互に授受することができる。

ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３１は、このコンピュータ３０全体の動作を制御する演算処理装置である。ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）３２は、所定の制御プログラムや各種の定数値が予め記録されている読み出し専用半導体メモリである。ＭＰＵ３１は、この制御プログラムをコンピュータ３０の起動時に読み出して実行することにより、このコンピュータ３０の各構成要素の動作制御が可能となる。

ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３３は、ＭＰＵ３１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。なお、このＲＡＭ３３は、図１における記録部１８として機能する。

入力装置３４は、例えばキーボード装置であり、コンピュータ３０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ３１に送付する。

表示装置３５は例えば液晶ディスプレイであり、ＭＰＵ３１から送付される表示データに応じて各種のテキストや画像を表示する。インターフェース装置３６は、このコンピュータ３０に接続される各種機器との間での各種データの授受の管理を行う。より具体的には、インターフェース装置３６は、カメラ１１から送られてくる撮像画像信号のアナログ−デジタル変換や、例えば、制御部１９を駆動させるための駆動信号の出力などを行う。

このような構成を有するコンピュータ３０を、前述した各実施例に係る画像処理装置の各機能ブロックとして機能させることができる。例えば、図１１を用いて説明した各処理手順をＭＰＵ３１に行わせるための制御プログラムを作成する。作成した制御プログラムはＲＯＭ３２に予め格納しておく。そして、ＭＰＵ３１に所定の実行開始指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ３１が、図１における撮像部１１、規定部１２、平滑化部１３、抽出部１４、算出部１５、判定部１６、提示部１７、記憶部１８、制御部１９、速度検出部２０、操舵角検出部２１として機能するようになる。従って、コンピュータ３０のインターフェース装置３６に撮像部１１を接続することで、図１の画像処理装置を構成することができる。

なお、記録媒体駆動装置３７は、可搬型記録媒体３９に記録されている各種の制御プログラムやデータの読み出しを行う装置である。例えば、ＲＯＭ３２としてフラッシュメモリを使用し、ＭＰＵ３１が、可搬型記録媒体３９に記録されている前述の制御プログラムを、記録媒体駆動装置３８を介して読み出してＲＯＭ３２に格納するようにコンピュータ３０を構成してもよい。この場合には、ＭＰＵ３１は、所定の実行開始指示を受けた時には、ＭＰＵ３１がＲＯＭ３２に格納した制御プログラムを読み出して実行するようにする。

なお、可搬型記録媒体３９としては、例えば、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）などの非一時的（ｎｏｎ-ｔｒａｎｓｉｔｏｒｙ）な記録媒体が利用可能である。また、可搬型記録媒体３９として、例えばＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）規格のコネクタが備えられている半導体メモリも利用可能である。

また、接近物検知対象の画像は、動画でもよく、各フレーム毎に、上記の処理を行ってもよいし、所定間隔のフレーム毎に上記処理を行ってもよい。

また、上述の実施例において、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。

（付記１）
車両の側方の情報を含む画像を撮像する撮像部と、
前記画像を複数の領域に分割し、前記画像の側端の中心を含む第１の分割領域画像と、前記画像の側端の中心を含まない第２の分割領域画像とを規定する規定部と、
前記第１の分割領域画像に対して第１のフィルタを用いて平滑化を行い、または前記第２の分割領域画像に対して前記第１のフィルタよりも大きい係数を有する第２のフィルタを用いて平滑化を行う平滑化部と、
前記第１の分割領域画像または前記第２の分割領域画像から特徴点を抽出する抽出部と、
取得時間が異なる複数の前記第１の分割領域画像または前記第２の分割領域画像の特徴点からオプティカルフローを算出する算出部と、
前記オプティカルフローに基づいて前記車両に接近する接近物を判定する判定部と、
を備えることを特徴とする画像処理装置。

（付記２）
前記規定部は、前記第１の分割領域画像を前記画像の側端から中心に向かって面積が小さくなる様に規定し、前記第２の分割領域画像を、前記画像の側端から中心に向かって面積が大きくなる様に規定することを特徴とする付記１記載の画像処理装置。

（付記３）
前記抽出部は、前記第２の分割領域画像よりも先に前記第１の分割領域画像に対して特徴点を抽出することを特徴とする付記１または付記２記載の画像処理装置。

（付記４）
前記判定部が判定した接近物の位置情報を記憶する記憶部を更に有し、
前記平滑化部は、前記位置情報に基づき、前記第１のフィルタを用いて平滑化を行った前記第１の分割領域画像の一部に対して、前記第２フィルタを用いて平滑化を行うことを特徴とする付記１ないし付記３いずれか一つに記載の画像処理装置。

（付記５）
前記抽出部は、前記第１の分割領域画像を前記画像の側端の中心を起点として、画像を上端方向または下端方向に走査して特徴点を抽出することを特徴とする付記１ないし付記４いずれか一つに記載の画像処理装置。

（付記６）
前記抽出部は、前記第２の分割領域画像を、前記画像の側端の中心から離反する様に、前記画像を上端方向または下端方向に走査して特徴点を抽出することを特徴とする付記１ないし付記５いずれか一つに記載の画像処理装置。

（付記７）
前記抽出部は、前記車両の規定進行方向に基づき、前記接近物が前記車両に近接する近接方向を規定し、前記近接方向に基づいて前記上端方向または前記下端方向の走査の優先度を付与することを特徴とする付記５または付記６に記載の画像処理装置。

（付記８）
前記車両の車両速度を検出する速度検出部と、
前記車両速度に基づいて前記撮像部の撮像を停止させる制御部と、
を更に備えることを特徴とする付記１記載の画像処理装置。

（付記９）
前記車両の操蛇角を検出する操蛇角検出部と、
前記操蛇角に基づいて前記撮像部の撮像を停止させる制御部と、
を更に備えることを特徴とする付記１記載の画像処理装置。

（付記１０）
前記撮像部は魚眼レンズを有していることを特徴とする付記１記載の画像処置装置。

（付記１１）
車両の側方の情報を含む画像を取得し、
前記画像を複数の領域に分割し、前記画像の側端の中心を含む第１の分割領域画像と、前記画像の側端の中心を含まない第２の分割領域画像とを規定し、
前記第１の分割領域画像に対して第１のフィルタを用いて平滑化を行い、または前記第２の分割領域画像に対して前記第１のフィルタよりも大きい係数を有する第２のフィルタを用いて平滑化し、
前記第１の分割領域画像または前記第２の分割領域画像から特徴点を抽出し、
取得時間が異なる複数の前記第１の分割領域画像または前記第２の分割領域画像の特徴点からオプティカルフローを算出し、
前記オプティカルフローに基づいて前記車両に接近する接近物を判定する
処理をコンピュータが実行する画像処理方法。

（付記１２）
前記規定することは、前記第１の分割領域画像を前記画像の側端から中心に向かって面積が小さくなる様に規定し、前記第２の分割領域画像を、前記画像の側端から中心に向かって面積が大きくなる様に規定することを特徴とする付記１１記載の画像処理方法。

（付記１３）
前記抽出することは、前記第２の分割領域画像よりも先に前記第１の分割領域画像に対して特徴点を抽出することを特徴とする付記１１または付記１２記載の画像処理方法。

（付記１４）
前記判定することが判定した接近物の位置情報が記憶されている記憶部から前記位置情報を取得し、
前記平滑化することは、前記位置情報に基づき、前記第１のフィルタを用いて平滑化を行った前記第１の分割領域画像の一部に対して、前記第２フィルタを用いて平滑化を行うことを特徴とする付記１１ないし付記１３いずれか一つに記載の画像処理方法。

（付記１５）
前記抽出することは、前記第１の分割領域画像を前記画像の側端の中心を起点として、画像を上端方向または下端方向に走査して特徴点を抽出することを特徴とする付記１１ないし付記１４いずれか一つに記載の画像処理方法。

（付記１６）
前記抽出することは、前記第２の分割領域画像を、前記画像の側端の中心から離反する様に、前記画像を上端方向または下端方向に走査して特徴点を抽出することを特徴とする付記１１ないし付記１５いずれか一つに記載の画像処理方法。

（付記１７）
前記抽出することは、前記車両の規定進行方向に基づき、前記接近物が前記車両に近接する近接方向を規定し、前記近接方向に基づいて前記上端方向または前記下端方向の走査の優先度を付与することを特徴とする付記１５または付記１６に記載の画像処理方法。

（付記１８）
車両の側方の情報を含む画像を取得し、
前記画像を複数の領域に分割し、前記画像の側端の中心を含む第１の分割領域画像と、前記画像の側端の中心を含まない第２の分割領域画像とを規定し、
前記第１の分割領域画像に対して第１のフィルタを用いて平滑化を行い、または前記第２の分割領域画像に対して前記第１のフィルタよりも大きい係数を有する第２のフィルタを用いて平滑化を行い、
前記第１の分割領域画像または前記第２の分割領域画像から特徴点を抽出し、
取得時間が異なる複数の前記第１の分割領域画像または前記第２の分割領域画像の特徴点からオプティカルフローを算出し、
前記オプティカルフローに基づいて前記車両に接近する接近物を判定する
処理をコンピュータに実行させることを特徴とする画像処理プログラム。

（付記１９）
車両の側方の情報を含む画像を撮像部から取得する取得部と、
前記画像を複数の領域に分割し、前記画像の側端の中心を含む第１の分割領域画像と、前記画像の側端の中心を含まない第２の分割領域画像とを規定する規定部と、
前記第１の分割領域画像に対して第１のフィルタを用いて平滑化を行い、または前記第２の分割領域画像に対して前記第１のフィルタよりも大きい係数を有する第２のフィルタを用いて平滑化を行う平滑化部と、
前記第１の分割領域画像または前記第２の分割領域画像から特徴点を抽出する抽出部と、
取得時間が異なる複数の前記第１の分割領域画像または前記第２の分割領域画像の特徴点からオプティカルフローを算出する算出部と、
前記オプティカルフローに基づいて前記車両に接近する接近物を判定する判定部と、
を備えることを特徴とする画像処理装置。

撮像部１１
規定部１２
平滑化部１３
抽出部１４
算出部１５
判定部１６
提示部１７
記憶部１８
制御部１９
速度検出部２０
操舵角検出部２１

Claims

車両の側方の情報を含む画像を撮像する撮像部と、
前記画像を複数の領域に分割し、前記画像の側端の中心を含む第１の分割領域画像と、前記画像の側端の中心を含まない第２の分割領域画像とを規定する規定部と、
前記第１の分割領域画像に対して第１のフィルタを用いて平滑化を行い、または前記第２の分割領域画像に対して前記第１のフィルタよりも大きい係数を有する第２のフィルタを用いて平滑化を行う平滑化部と、
前記第１の分割領域画像または前記第２の分割領域画像から特徴点を抽出する抽出部と、
取得時間が異なる複数の前記第１の分割領域画像または前記第２の分割領域画像の特徴点からオプティカルフローを算出する算出部と、
前記オプティカルフローに基づいて前記車両に接近する接近物を判定する判定部と、
を備えることを特徴とする画像処理装置。
前記規定部は、前記第１の分割領域画像を前記画像の側端から中心に向かって面積が小さくなる様に規定し、前記第２の分割領域画像を、前記画像の側端から中心に向かって面積が大きくなる様に規定することを特徴とする請求項１記載の画像処理装置。
前記抽出部は、前記第２の分割領域画像よりも先に前記第１の分割領域画像に対して特徴点を抽出することを特徴とする請求項１または請求項２記載の画像処理装置。
前記判定部が判定した接近物の位置情報を記憶する記憶部を更に有し、
前記平滑化部は、前記位置情報に基づき、前記第１のフィルタを用いて平滑化を行った前記第１の分割領域画像の一部に対して、前記第２フィルタを用いて平滑化を行うことを特徴とする請求項１ないし請求項３いずれか一項に記載の画像処理装置。
前記抽出部は、前記第１の分割領域画像を前記画像の側端の中心を起点として、画像を上端方向または下端方向に走査して特徴点を抽出することを特徴とする請求項１ないし請求項４いずれか一項に記載の画像処理装置。
前記抽出部は、前記車両の規定進行方向に基づき、前記接近物が前記車両に近接する近接方向を規定し、前記近接方向に基づいて前記上端方向または前記下端方向の走査の優先度を付与することを特徴とする請求項５記載の画像処理装置。
車両の側方の情報を含む画像を取得し、
前記画像を複数の領域に分割し、前記画像の側端の中心を含む第１の分割領域画像と、前記画像の側端の中心を含まない第２の分割領域画像とを規定し、
前記第１の分割領域画像に対して第１のフィルタを用いて平滑化を行い、または前記第２の分割領域画像に対して前記第１のフィルタよりも大きい係数を有する第２のフィルタを用いて平滑化し、
前記第１の分割領域画像または前記第２の分割領域画像から特徴点を抽出し、
取得時間が異なる複数の前記第１の分割領域画像または前記第２の分割領域画像の特徴点からオプティカルフローを算出し、
前記オプティカルフローに基づいて前記車両に接近する接近物を判定する
処理をコンピュータが実行する画像処理方法。