JP2015184907A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】処理画像内の対象物の形状が変化しても柔軟に対象物を検出することができる画像処理装置および画像処理プログラムを提供する。【解決手段】本発明の一実施形態に係る画像処理装置１０は、辞書生成部２１、処理画像生成部２２および検出部２３を備える。辞書生成部２１は、車両に設けられ車両の周囲を広画角に撮像するカメラ１１の所定の視線軸と、検出対象物の検出対象面の法線方向と、が平行となるように検出対象物をカメラ１１の撮像範囲内の所定範囲の複数の位置に配置して、カメラ１１により複数の位置のそれぞれで事前に検出対象物を撮像した画像を用いてあらかじめ１つの辞書を生成しておく。処理画像生成部２２は、辞書の生成後にカメラ１１により撮像された画像から所定の視線軸を法線方向とする処理画像を生成する。検出部２３は、処理画像に含まれる検出対象物を、辞書を用いて所定の特徴量を求めることにより検出する。【選択図】 図１

Description

本発明の実施形態は、画像処理装置および画像処理プログラムに関する。

最近、車両の周囲状況を撮像するための車載カメラを搭載した自動車などの車両が増えてきている。車載カメラにより撮像された画像は、画像中の対象物を検出することにより車両と対象物との衝突可能性の判定や駐車時のハンドル操作の支援などに利用することができるため、大変便利である。

対象物の検出処理の対象となる画像（処理対象画像、以下処理画像という）上における対象物を検出するための画像処理技術は、検出精度を向上させつつ検出に要する時間を短縮させるべく近年めざましく発展している。この種の物体検出技術には、たとえばＨＯＧ（Histogram of Oriented Gradients）特徴量を用いた技術などのパターンマッチング技術があげられる。

特開平５−２７８５４１号公報 特開２０１０−１６０７５７号公報

しかし、パターンマッチングでは、処理画像内の対象物の左右対称性が崩れると、対象物を検出することが極めて難しくなってしまう。たとえば、特許文献１に記載の技術では、画角の狭いカメラを用いている。このため、処理画像の中心位置から離れた位置にある対象物、すなわち自車の近くで横方向にずれた位置にある対象物は、そもそも処理画像内に収まらないか、収まっていても対象物の検出対象面（たとえば自車に後方から接近してくる自動車の前面）が完全な平面でない場合には左右対称性が崩れてしまうため、検出できない。

また、特許文献２に記載のように、左右対称性の崩れに対応するべく複数の方向から対象物を撮像した画像により各方向のそれぞれの辞書をあらかじめ作成しておく場合には、辞書の数だけ大きなメモリが必要となってしまう。

本発明の一実施形態に係る画像処理装置は、上述した課題を解決するために、車両に設けられ前記車両の周囲を広画角に撮像するカメラの所定の視線軸と、検出対象物の検出対象面の法線方向と、が平行となるように前記検出対象物を前記カメラの撮像範囲内の所定範囲の複数の位置に配置して、前記カメラにより前記複数の位置のそれぞれで事前に前記検出対象物を撮像した画像を用いてあらかじめ１つの辞書を生成しておく辞書生成部と、前記辞書の生成後に前記カメラにより撮像された画像から前記所定の視線軸を法線方向とする処理画像を生成する処理画像生成部と、前記処理画像に含まれる前記検出対象物を、前記辞書を用いて所定の特徴量を求めることにより検出する検出部と、を備えたものである。

本発明の一実施形態に係る画像処理装置の一構成例を示すブロック図。 図１に示す制御部のＣＰＵにより、処理画像内の対象物の形状が変化しても柔軟に対象物を検出する際の手順の概略を示すフローチャート。 （ａ）は、通常画角のカメラを用い、視線軸が自車の進行方向に平行に真後ろを向いている場合に生成される処理画像の一例を示す説明図、（ｂ）は通常画角のカメラを用い、視線軸が自車の進行方向に対し斜め真後ろを向いている場合に生成される処理画像の一例を示す説明図。 広画角のカメラを用い、視線軸が自車の進行方向に対し斜め後ろを向いている場合に生成される処理画像の一例を示す説明図。 広画角のカメラを用い、視線軸が自車の進行方向に平行に真後ろを向いている場合に生成される本実施形態に係る処理画像の一例を示す説明図。 図２のステップＳ１で辞書生成部により実行される辞書生成処理の詳細な手順の一例を示すサブルーチンフローチャート。 辞書生成部による辞書の生成時に設定される所定の範囲の一例を示す説明図。 カメラが左右および後部に設けられ、自車に並走する他車の前面を検出する場合における各カメラの視線軸および投影面の一例を示す説明図。 カメラが左右および前部に設けられ、自車に並走する他車の後面を検出する場合における各カメラの視線軸および投影面の一例を示す説明図。 カメラが左右、前部および後部に設けられ、自車に並走する他車の側面を検出する場合における各カメラの視線軸および投影面の一例を示す説明図。 処理画像生成部により生成されるピラミッド画像の一例を示す説明図。 ＨＯＧ処理部によるＨＯＧ処理対象となる領域（検出対象面）について説明するための図。 処理画像の生成処理の第１変形例を説明するための図。 処理画像の生成処理の第２変形例を説明するための図。 処理画像の生成処理の第２変形例において、距離に応じて処理画像を湾曲させる場合の一例を示す説明図。 処理画像の生成処理の第３変形例を説明するための図。 処理画像の生成処理の第４変形例を説明するための図。

本発明に係る画像処理装置および画像処理プログラムの実施の形態について、添付図面を参照して説明する。

（全体構成）
図１は、本発明の一実施形態に係る画像処理装置１０の一構成例を示すブロック図である。

画像処理装置１０は、カメラ１１、制御部１２、記憶部１３、灯火装置１６、クラクション１７、スピーカ１８および表示装置１９を有する。

カメラ１１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成され、自家用自動車等の車両の周囲の映像を取り込んで画像データを生成して制御部１２に与える。

本実施形態において、カメラ１１には広画角撮像を可能とするよう広角レンズや魚眼レンズが取り付けられる。

たとえば後方を監視する場合、カメラ１１は車両後部のナンバープレート付近やリアウインドウの上部などに設けられる。また、広画角撮像が可能なカメラ１１をサイドミラー付近に配設する場合、車両の側方に加えて車両の前方および後方を同時に撮像することも可能である。また、車両前方を監視する場合、カメラ１１は車両前部のナンバープレート付近やフロントウインドウの上部などに設けられる。もちろん、複数のカメラ１１を用いることにより広範な車外周囲画像を取り込むようにしてもよい。

カメラ１１の広画角な撮像画像は、制御部１２により、任意の視線軸を有する画像（以下、処理画像という）に変換（視線軸変換）される。換言すると、制御部１２は、カメラ１１により撮像された広画角な撮像画像にもとづいて、任意の視線軸を法線方向にもつ仮想的なカメラ投影面（以下、単に投影面という）に透視投影された画像（処理画像）を生成する。カメラ１１の光軸は、地面と平行となるように、または地面と平行な線からやや下向きとなるように設定されるとよい。

制御部１２は、たとえばＣＰＵ、ＲＡＭ、ＲＯＭを備えたマイクロコントローラにより構成される。制御部１２のＣＰＵは、ＲＯＭなどの記憶媒体に記憶された画像処理プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って処理画像内の対象物の形状が変化しても柔軟に対象物を検出するための処理を実行する。

制御部１２のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。制御部１２のＲＯＭなどの記憶媒体は、画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。

なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は図示しないネットワーク接続部を介して電子ネットワークを介してダウンロードされるように構成してもよい。

なお、この場合、ネットワーク接続部は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装し、この各種プロトコルに従って制御部１２と他の車両のＥＣＵなどの電気機器とを電子ネットワークを介して接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。

記憶部１３は、制御部１２によるデータの読み書きが可能な不揮発性のメモリであり、検出対象物を撮像した画像を用いてあらかじめ生成された画像辞書（モデル）などの種々の情報を記憶している。これらの情報は、電子ネットワークを介してまたは光ディスクなどの可搬型記憶媒体を介して更新されてもよい。

灯火装置１６は、一般的なヘッドライトにより構成され、制御部１２により制御されて点滅（いわゆるパッシング）を行うことにより、たとえば自車両の外部に対して警告を行う。

クラクション１７は、制御部１２により制御されて自車両の外部に対して警告音を出力する。

スピーカ１８は、自車両の車内に設けられ、制御部１２により制御されて自車両の運転者に対してビープ音や危険が迫っていることを知らせるための情報などの各種情報に対応した音声を出力する。

表示装置１９は、運転者が視認可能な位置に設けられ、車載用の一般的なディスプレイやカーナビゲーションシステム、ＨＵＤ（ヘッドアップディスプレイ）などの表示出力装置を用いることができ、制御部１２の制御に従って、カメラ１１の撮像画像や検出対象物の検出位置を示す画像などの各種情報を表示する。

（制御部１２の構成および動作の概略）
続いて、制御部１２のＣＰＵによる機能実現部の構成および動作の概略について説明する。

図１に示すように、制御部１２のＣＰＵは、画像処理プログラムによって、少なくとも辞書生成部２１、処理画像生成部２２、検出部２３および警告部２４として機能する。検出部２３は、ＨＯＧ処理部３１およびＨＯＧ結果判定部３２を有する。

この各部２１−２４は、ＲＡＭの所要のワークエリアをデータの一時的な格納場所として利用する。なお、これらの機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。

図２は、図１に示す制御部１２のＣＰＵにより、処理画像内の対象物の形状が変化しても柔軟に対象物を検出する際の手順の概略を示すフローチャートである。図２において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。

ステップＳ１において、辞書生成部２１は、あらかじめ検出対象物を撮像した画像を用いて画像辞書（モデル）を生成し記憶部１３に記憶させておく。具体的には、カメラ１１の所定の視線軸と、検出対象物の検出対象面の法線方向と、が平行となるように検出対象物をカメラ１１の撮像範囲内の所定範囲の複数の位置に配置して、カメラ１１により複数の位置のそれぞれで事前に検出対象物を撮像した画像を用いてあらかじめ１つの辞書を生成しておく。

辞書生成部２１が生成する辞書は、特徴量にもとづいて画像から対象物を検出するための種々の技術に適用可能な内容を有する。以下の説明では、辞書生成部２１が生成する辞書がＨＯＧ特徴量にもとづく対象物検出処理（以下、ＨＯＧ処理という）に適した辞書（以下、ＨＯＧ辞書という）であり、検出部２３がＨＯＧ処理を行う場合の例について示す。

次に、ステップＳ２において、処理画像生成部２２は、カメラ１１から車両の周囲を広画角に撮像した撮像画像を取得する。

次に、ステップＳ３において、処理画像生成部２２は、カメラ１１による撮像画像にもとづいて、辞書生成に用いられた視線軸と同じ視線軸を法線方向とする投影面に透視投影された画像として処理画像を生成する。

次に、ステップＳ４において、検出部２３のＨＯＧ処理部３１は、ＨＯＧ処理（たとえば特開２０１０−４４４３８号公報、特開２０１０−５５１９５号公報など参照）を行って尤度を出力する。ＨＯＧ処理部３１は、具体的には、処理画像を勾配方向画像に変換して検出対象物に応じた所定サイズの枠を走査し、ＨＯＧ辞書を用いて走査位置ごとにＨＯＧ特徴量を求めることにより各走査位置に検出対象物が存在するもっともらしさを示す尤度を求める。ＨＯＧ処理部３１は、各走査位置の枠内画像を辞書にあてはめることで尤度（スコア）を求めることができる。尤度が高ければ高いほど、辞書にマッチングした画像であるといえる。

ＨＯＧ特徴量は、縦、横、斜め方向のエッジがブロック内にどの程度あるのかを定量化したものである。このため、明るさの変化などの影響を受けにくく、形状の変化に対しても頑健であることが知られている。なお、ＨＯＧ処理部３１によるＨＯＧ処理は、共起性を利用した処理（ｃｏＨＯＧ処理）であってもよい。

次に、ステップＳ５において、検出部２３のＨＯＧ結果判定部３２は、ＨＯＧ処理部３１により得られた尤度が閾値より大きい結果を有効な結果とし、この有効な結果に対応する枠の位置に検出対象物を検出した旨の情報を警告部２４に出力する。このとき、有効な結果が複数得られた場合は、ＨＯＧ結果判定部３２は、各結果のうち最も尤度の高い結果や各結果の単純な平均、尤度による加重平均などにより、最も有効な結果を１つ出力する。

次に、ステップＳ６において、警告部２４は、ＨＯＧ結果判定部３２により検出された検出対象物の位置などの情報を自車の運転者に通知するべきか否かを判定する。ＨＯＧ結果判定部３２の出力結果を通知すべき場合はステップＳ７に進む。一方、通知せずともよい場合はステップＳ８に進む。たとえば、検出対象物の位置が自車から所定の距離以内の位置である場合にはユーザに通知すべきと判定するとよい。なお、このステップＳ６は実行されずともよい。

次に、ステップＳ７において、警告部２４は、自車の運転者に対してスピーカ１８を介した音声出力およびブザー出力ならびに表示装置１９に対する警告表示の少なくとも１つにより、ＨＯＧ結果判定部３２により検出された検出対象物の情報を自車の運転者に通知してステップＳ８に進む。たとえば、警告部２４は、ＨＯＧ結果判定部３２により出力された最も有効な結果が得られた処理画像と枠とを重畳して表示装置１９に表示する。また、警告部２４は、灯火装置１６の点滅（いわゆるパッシング）やクラクション１７の警告音により、自車両の外部に対して警告通知してもよい。

次に、ステップＳ８において、制御部１２は一連の手順を終了するか否かを判定する。たとえば自車が所定時間以上停車している場合や運転者による入力指示があった場合には一連の手順は終了となる。手順を続行する場合はステップＳ２に戻り、カメラ１１から次のフレームの画像を取得してステップＳ３−Ｓ７の処理を繰り返す。

以上の手順により、処理画像内の対象物の形状が変化しても柔軟に対象物を検出することができる。

（辞書の生成）
ここで、本実施形態に係る辞書生成部２１により生成される辞書について説明する。

図３（ａ）は、通常画角のカメラを用い、視線軸４０が自車４１の進行方向に平行に真後ろを向いている場合に生成される処理画像の一例を示す説明図であり、（ｂ）は通常画角のカメラを用い、視線軸４０が自車４１の進行方向に対し斜め真後ろを向いている場合に生成される処理画像の一例を示す説明図である。また、図４は、広画角のカメラを用い、視線軸４０が自車４１の進行方向に対し斜め後ろを向いている場合に生成される処理画像の一例を示す説明図である。

なお、図３および図４にはサイドミラー付近に配置したカメラ（サイドカメラ）により自車４１の後方から接近する検出対象物４２を検出する場合の例について示した。

検出対象物４２の検出対象面が完全な平面の場合、検出対象面の法線方向と視線軸４０（投影面４３の法線方向）とが一致するように処理画像を生成すれば、処理画像上における検出対象物４２の写る位置によらず処理画像上の検出対象面の形状は同一となる。しかし、検出対象面が完全な平面ではないときは、検出対象物４２の写る位置に応じて処理画像上の検出対象面の形状が変化する。

たとえば、検出対象面が自動車の前面である場合を考える。自動車の前面は、ほぼ平面とみなせるものの完全な平面とはいえない。

この場合、通常画角のカメラを用い、自車４１の進行方向に平行に真後ろを向いた視線軸４０の処理画像を生成すると（図３（ａ）参照）、検出対象物４２が遠くにあると検出対象物４２の検出対象面（たとえば自動車の前面の全部または１部など）の全体が処理画像に写るとともに検出対象面が左右対称に見える。しかし、検出対象物４２が自車４１に近いと、検出対象物４２の一部しか処理画像に写らない。

一方、通常画角のカメラを用い、自車４１の進行方向に対し斜め真後ろを向いた視線軸４０の処理画像を生成すると（図３（ｂ）参照）、検出対象物４２が近くにある場合には検出対象面の全体が処理画像に写るが左右対称には見えない。また、検出対象物４２が遠いと、検出対象物４２の一部しか処理画像に写らない。

また、広画角のカメラを用い、自車４１の進行方向に対し斜め後ろを向いた視線軸４０の処理画像を生成すると（図４参照）、遠くの検出対象物４２は全体が処理画像に写るようになるものの、近くの検出対象物４２は図３（ｂ）に示す例と同様に左右対称には見えない。

図５は、広画角のカメラ１１を用い、視線軸４０が自車４１の進行方向に平行に真後ろを向いている場合に生成される本実施形態に係る処理画像の一例を示す説明図である。

本実施形態では、広画角のカメラ１１を用い、自車４１の進行方向に平行に真後ろを向いた視線軸４０の処理画像を生成する（図５参照）。

この場合、図３および図４に示す場合のように、左右対称性が大きく崩れてしまう場合やそもそも検出対象物４２の一部しか処理画像に写らない場合に比べると、処理画像上の検出対象物４２の写り具合は改善される。たとえば、検出対象物４２が遠くにあると、検出対象物４２の検出対象面の全体が処理画像に写るとともに検出対象面が左右対称に見える。一方、検出対象物４２が近くにある場合には、検出対象面の全体が処理画像に写るとともに検出対象面が少し左右対称に見えない。これは、完全な平面でない場合には、左右で相対的な奥行きが違って見えるためである。

従来の辞書は、処理画像上で検出対象物４２の形状が変化することを想定せず生成される。このため、従来の辞書を１つ用いるだけでは、図５に示す例で検出対象物４２が近くにある場合には処理画像から検出対象物４２を検出することができない。また、形状の変化に対応すべく複数の形状に応じた辞書を用いる場合、辞書の数だけ大きな記憶媒体が必要となってしまうとともに検出処理に大きな負荷がかかり処理時間もかかってしまう。

そこで、本実施形態に係る辞書生成部２１は、図５に示すような視線軸４０と検出対象面法線方向の位置関係で検出対象物４２を検出することができるよう、カメラ１１の所定の視線軸４０と、検出対象物４２の検出対象面の法線方向と、が平行となるように検出対象物４２をカメラ１１の撮像範囲内の所定範囲の複数の位置に配置して、カメラ１１により複数の位置のそれぞれで事前に検出対象物４２を撮像した画像を用いてあらかじめ１つの辞書を生成する。

図６は、図２のステップＳ１で辞書生成部２１により実行される辞書生成処理の詳細な手順の一例を示すサブルーチンフローチャートである。なお、辞書生成は図２のステップＳ２以降が実行される以前に行われていればよい。このため、辞書生成にあたって必要な撮像画像は、自車４１のカメラ１１を用いて取得されてもよいし、他の固定カメラ等を用いて取得されてもよい。

また、図７は、辞書生成部２１による辞書の生成時に設定される所定の範囲４４の一例を示す説明図である。

ステップＳ１１において、辞書生成部２１は、所定の範囲４４の複数の位置に配置された検出対象物４２をカメラ１１で撮像した撮像画像を取得する。各位置において、検出対象物４２は、自車４１の進行方向と検出対象面の法線方向とが一致するよう配置される。

検出対象面は、ある程度平面とみなせる面とするとよい。たとえば検出対象物４２が自動車である場合、自動車の前面、側面および後面を検出対象面とするとよい。また、自車４１がトラックやバスなどであってカメラ１１を高い位置に取り付けられる場合は、自動車の上面を検出対象面としてもよい。もちろん、検出対象面は、自動車の各面に限られず、バイク側面などであってもよい。

次に、ステップＳ１２において、辞書生成部２１は、検出対象面の法線方向と平行な視線軸４０を有するよう撮像画像を変換する。なお、カメラ１１のいわゆる光軸をあらかじめ自車４１の進行方向と一致するようにカメラ１１を設置してありレンズ歪が補正されている場合は、このステップＳ１２を実行せずともよい。

次に、ステップＳ１３において、辞書生成部２１は、視線軸４０の画像から検出対象面を切り出す。

次に、ステップＳ１４において、辞書生成部２１は、切り出した画像を用いて辞書を生成し記憶部１３に記憶させる。

所定の範囲４４は、検出部２３が検出対象とする範囲である。撮像画像の中心から大きくずれた位置では中心に比べて形状が大きく変化する。このため、所定の範囲４４は、形状変化があまり大きすぎることのない範囲とするとよく、たとえば自車４１の進行方向に平行な視線軸４０から、自車４１の外側に向かって３０度から６０度くらいまで（たとえば４５度まで）の範囲とする。また、検出対象物４２がトラックやバスなどの場合、検出対象面はより平行とみなせる。このため、所定の範囲４４は、自車４１の進行方向に平行な視線軸４０から、自車４１の外側に向かって８５度くらいまで範囲を広げてもよい。

また、たとえば視線軸４０から自車４１の外側に向かって４５度を超える範囲とする場合、検出対象物４２の側面も見えるようになる。このため、４５度を超える範囲とする場合は、検出対象物４２の側面を検出対象面とし、視線軸４０を側面の法線方向（自車４１の進行方向に垂直な方向）と平行にした辞書を別に生成しておいてもよい。このとき、検出対象面は車両前方の一部の側面やタイヤなどの小さな領域としてもよい。視線軸４０を側面の法線方向に平行とする場合の辞書において切り出す検出対象面を小さな領域とすれば、遠くほど解像度が少なくなる影響や遠くほど検出対象物４２の側面が（完全な平面でないと）歪んでしまう影響を低減することができる。

図７には、自車４１が走行する車線の隣の車線を走行して自車４１から接近する他車を検出することを想定し、カメラ１１から所定の距離以内までは視線軸４０から自車４１の外側に向かって４５度までの範囲を、カメラ１１から所定の距離より遠くでは視線軸４０から自車外側に向かって所定距離の範囲を、所定の範囲４４とする場合の例について示した。

以上の手順により、左右対称性がある程度損なわれた検出対象物４２の画像を盛り込んだ、所定の範囲４４に対応した１つの辞書を生成することができる。

辞書生成部２１が生成する辞書は、検出対象面が完全な平面ではなく処理画像内で左右対称性が崩れる場合を想定し、左右対称性が損なわれた画像をも学習した辞書である。このため、検出部２３は、この１つの辞書のみで処理画像中心から離れた位置に写り込んだ形状が少し歪んだ検出対象物４２でも検出することができる。したがって、検出部２３は、１つの辞書で広い範囲（所定の範囲４４）に位置する検出対象物４２を処理画像から検出することができるようになる。

（処理画像生成）
続いて、本実施形態に係る処理画像生成部２２により生成される処理画像について説明する。

図３−５にはサイドミラー付近に配置したカメラ（サイドカメラ）により自車４１の後方から接近する検出対象物４２を検出する場合の例について示したが、本実施形態に係る画像処理装置１０は、カメラ１１を複数箇所に備えてもよいし、側方や前方から接近する検出対象物４２を検出してもよい。

図８は、カメラ１１が左右および後部に設けられ、自車４１に並走する他車の前面を検出する場合における各カメラ１１の視線軸４０および投影面４３の一例を示す説明図である。自車４１に並走する他車の前面を検出する場合、処理画像生成部２２は、カメラ１１の撮像画像にもとづいて自車４１の進行方向に平行で後方に向かう視線軸４０をもつ投影面４３に透視投影された処理画像を生成する。

図９は、カメラ１１が左右および前部に設けられ、自車４１に並走する他車の後面を検出する場合における各カメラ１１の視線軸４０および投影面４３の一例を示す説明図である。自車４１に並走する他車の後面を検出する場合、処理画像生成部２２は、カメラ１１の撮像画像にもとづいて自車４１の進行方向に平行で前方に向かう視線軸４０をもつ投影面４３に透視投影された処理画像を生成する。

図１０は、カメラ１１が左右、前部および後部に設けられ、自車４１に並走する他車の側面を検出する場合における各カメラ１１の視線軸４０および投影面４３の一例を示す説明図である。自車４１に並走する他車の側面を検出する場合、処理画像生成部２２は、カメラ１１の撮像画像にもとづいて自車４１の進行方向に垂直な視線軸４０をもつ投影面４３に透視投影された処理画像を生成する。

図８−１０のそれぞれは、各視線軸４０に対応する個別の辞書を利用する。これらの辞書は辞書生成部２１によりあらかじめ生成される。もちろん、全てに対応する辞書を用意しておき図８−１０の全ての検出対象面（他車の前面、後面および側面）を検出対象としてもよい。

図１１は、処理画像生成部２２により生成されるピラミッド画像５０の一例を示す説明図である。なお、図１１には、最も縮小された画像（解像度が低い画像）から順に番号を０〜１６として示した。また、図１１には、複数の処理画像を拡大縮小率に応じて近距離用画像、中距離用画像、遠距離用画像にそれぞれ分類する場合の例について示した。また、図１１には、近距離用画像（０−８）が互いに１．３倍の拡大率、中距離用画像（９−１２）が互いに１．１９倍の拡大率、遠距離用画像（１３−１６）が互いに１．１９倍の拡大率である場合の例について示した。

辞書生成部２１により生成される辞書は、検出対象物４２に応じた所定サイズ（たとえば横×縦が２４×１２ピクセルなど）の画像に対応したものとしてもよい。この場合、検出部２３は、処理画像上で所定サイズの枠（たとえば２４×１２ピクセルなど）を走査することになる。一方、処理画像上での検出対象物４２の大きさは、自車４１からの距離に応じて異なる。たとえば検出対象物４２が自車４１から遠い場合は、近い場合に比べて検出対象物４２は処理画像上で小さく写ることになる。

このため、検出部２３が処理画像上で一定のサイズの枠を走査する場合には、処理画像生成部２２は、自車４１から設定される投影面４３の距離が互いに異なる複数の処理画像により構成される画像群（ピラミッド画像）５０を生成するとよい。このとき、処理画像生成部２２は、各処理画像が検出対象面の法線方向に平行な視線軸４０を有するように、すなわち辞書生成に用いられた視線軸４０と同一の視線軸４０を有するように、各処理画像を生成する。

処理画像上の検出対象物４２のサイズが枠のサイズと一致する場合における自車４１から検出対象物４２までの距離は、あらかじめ測定しておくことができる。このため、各処理画像は、あらかじめ自車４１から検出対象物４２までの距離と関連付けておくことができる。小さい処理画像ほど、関連付けられる自車４１からの距離が短い。

なお、各処理画像は、自車４１からの互いに異なる距離と関連付けることができればよく、カメラ１１の撮像画像を複数の倍率で拡大縮小することにより生成されてもよいし、自車４１から検出対象物４２までの距離（たとえば２ｍなど）ごとに生成されてもよい。

ピラミッド画像５０を生成する場合、処理画像生成部２２は、自車４１から所定の距離ごとに投影面４３を設定し、この各投影面４３を用いて撮像画像にもとづいて各処理画像を生成する。

各投影面４３が同一の視線軸４０を有する場合、検出部２３はピラミッド画像５０を構成する全ての処理画像に対して１つの辞書を適用することができる。ピラミッド画像５０が生成されると、検出部２３は、各処理画像上で所定サイズの枠を走査し、ＨＯＧ特徴量にもとづいてＨＯＧ辞書を用いて検出対象物４２の検出処理を行う。

（ＨＯＧ処理領域）
図１２は、ＨＯＧ処理部３１によるＨＯＧ処理対象となる領域（検出対象面）について説明するための図である。

検出対象面は、完全な平面でなくともある程度平面とみなせる領域であることが好ましい。このため、検出対象物４２が自動車であって視線軸４０が自車４１の進行方向に平行である場合は、検出部２３は自動車（他車）の前面のライトあたりを検出対象面（ＨＯＧ処理領域）とするとよい。フロントガラス部分はライトよりも自車４１から見て奥に位置するため、近くで自車４１の横に位置する場合にはフロントガラス部分とライトあたりでは横位置がずれて処理画像が作成されてしまうためである。

なお、自車４１から遠くの位置のみを所定の範囲４４とする場合は、フロントガラス部分とライトあたりの奥行きが相対的に同じぐらいになるため、フロントガラスを含む自動車全体を検出対象面（ＨＯＧ処理領域）としてもよい。

また、視線軸４０が自車４１の進行方向に垂直である場合は、他車の側面を検出対象面とすればよい。なお、検出対象面は車両前方の一部の側面やタイヤなどの小さな領域としてもよい。検出対象面を小さな領域とすれば、遠くほど解像度が少なくなる影響や遠くほど検出対象物４２の側面が（完全な平面でない場合に）歪んでしまう影響を低減することができる。

本実施形態に係る画像処理装置１０は、広範囲に位置する検出対象物４２を検出可能な辞書を用いることができる。この辞書は、１つのみで、広画角のカメラ１１により撮像される画像上に写った検出対象物４２が画像中心から離れた位置に写っており、かつ画像中心に写った場合に比べて形状が歪んでいる場合にも対応したものである。このため、広画角なカメラ１１を用いて広範囲を撮像した画像上において検出対象物４２の形状が歪んでいても、１つの辞書で誤検出を抑制しつつ柔軟に安定して検出対象物４２を検出することができる。

また、画像処理装置１０は、１つの辞書で広い範囲に位置する検出対象物４２を検出することができる。このため、複数の辞書を用いる場合に比べ、必要となる記憶容量を大幅に低減することができるとともに、検出処理にかかる負荷を低減し処理時間を削減することができる。

また、画像処理装置１０は、他車が自車４１に近い場合は、視線軸４０を自車４１の進行方向に垂直な方向とするとともに所定の範囲４４を自車４１の進行方向に沿った広い範囲とし、検出対象面を他車の側面や検出対象とすることもできる。このため、特にサイドミラー付近にカメラ１１を設けておく場合、自車４１を追い越す他車を自車４１の近くをも監視することができる。

（処理画像生成の第１変形例）
図１３は、処理画像の生成処理の第１変形例を説明するための図である。

他車が自車４１の近くを並走している場合、広画角のカメラ１１で撮像された撮像画像の画像データ上では、他車は横方向が圧縮されたデータとなっている。このため、正常な縦横比にするよう画像データにもとづいて横方向に伸張してしまうと、解像度が悪くなってしまう（図１３の右上参照）。そこで、辞書生成部２１は、正常な縦横比に対して横方向に圧縮した画像を用いて辞書を生成し、処理画像生成部２２は、正常な縦横比に対して横方向に圧縮した処理画像を生成してもよい（図１３の右下参照）。この場合、処理画像においてカメラ１１が出力する画像データの解像度の比率を維持することができるため、検出対象物４２の検出精度を向上させることができる。他車の側面を検出対象面とする場合も同様である。

また、撮像画像の画像データ上における検出対象物４２の圧縮率は、自車４１に対する検出対象物４２の位置に応じて異なるため、位置に応じて画像と辞書の比率を変えてもよい。

また、インターレースで取得するカメラ１１の場合は、検出対象物４２に動きがあると、短冊状に見えてしまう。このため、奇数行偶数行のどちらかを取得することになり、画像データそのままの画像は横長となってしまう。この事情を考慮し、処理画像生成部２２は処理画像として縦方向を圧縮した画像を生成してもよく、辞書生成部２１は辞書を作成する際に縦を圧縮した画像を用いてもよい。

また、カメラ１１のアスペクト比や魚眼カメラなどで、元画像の縦横比が違う状態がわかっていれば、それに合わせて縦横比を変えて処理画像を作成し、またそれに合わせて辞書を作成してもよい。たとえば、横長楕円の魚眼画像の場合、平面に変換するひずみ補正をする際に無理やり縦横を１：１にするように縦に伸ばすことをしないようにする。縦に伸ばさずに置くことで画像の縦方向の解像度の比率を維持することができ、画像中のエッジを鮮明なものとすることができる。

処理画像生成の第１変形例によれば、処理画像においてカメラ１１が出力する画像データの解像度の比率を維持することができるため、検出対象物４２の検出精度を向上させることができる。

（処理画像生成の第２変形例）
図１４は、処理画像の生成処理の第２変形例を説明するための図である。

他車は、自車４１に対して追い越すように接近する場合に限らず、様々な方向から自車４１に近づいてくることが想定される場合がある。この場合、広画角のカメラ１１が自車４１の後部に設けられる場合には、処理画像生成部２２は、カメラ１１により撮像された画像から複数の視線軸４０のそれぞれを法線方向とする複数の処理画像を生成するとよい。具体的には、処理画像生成部２２は、複数の方向に投影面４３を設定し、各投影面４３に対応する処理画像をそれぞれ作成する。このとき、各投影面４３で同じ検出対象面を検出対象とする場合には、全ての処理画像で１つの辞書を共用することができる。

複数の投影面４３にそれぞれ対応する処理画像を用いることにより、検出部２３は、カメラ１１からずれた位置を車両が交差する場合（処理画像上で画像中心から離れた位置で検出対象物４２が移動する場合）であっても、安定して検出対象物４２を検出することができる。

また、隣り合う投影面４３同士のなす角（ずらし角度）は、この角度の中間の角度で移動する検出対象物４２が、隣り合う投影面４３のいずれでも安定して検出できる角度（たとえば４５度など）とするとよい。また、辞書生成部２１が視線軸４０と検出対象面の法線方向とを平行からある程度傾けた状態の画像も学習させた辞書をあらかじめ作成しておけば、１つの処理画像でカバーできる範囲が広がるため、隣り合う投影面４３同士のなす角を広げることができる（たとえば７０度など）。

また、辞書生成部２１が視線軸４０と検出対象面の法線方向とを平行からあまり傾けない状態の画像のみを学習させた辞書をあらかじめ作成しておき、隣り合う投影面４３どうしのなす角を狭めておけば（たとえば３０度など）、１つの処理画像でカバーできる範囲は狭まるものの精度の高い検出を行うことができる。

また、検出対象物４２が自車４１に近づくにつれて処理画像から検出対象物４２がはみ出る可能性が高くなる。そこで、自車４１の近くに対応する処理画像ほど隣り合う処理画像同士の重複領域が増えるようにしてもよい。そして、検出部２３は、処理画像のそれぞれを処理画像としてあつかい、検出対象物４２の検出処理を行う。なお、この場合、複数の処理画像から同時に検出対象物４２が検出されることが考えられるため、ＨＯＧ結果判定部３２は、最も尤度が高い結果や最も自車４１に近い処理画像で検出された結果（すなわち最も危険度が高いといえる結果）を抽出して有効な結果としてもよい。

図１５は、処理画像の生成処理の第２変形例において、距離に応じて処理画像を湾曲させる場合の一例を示す説明図である。

カメラ１１に魚眼レンズが取り付けられている場合には、自車４１から遠い位置に対応する処理画像（拡大率が大きい処理画像）を球や円にしても処理画像上の物体の歪が少なくなる。このため、図１５に示すように、自車４１から遠い位置に対応する処理画像（拡大率が大きい処理画像）ほど球や円になるように湾曲させて処理画像数を少なくしてもよい。この場合、近くになるほど角度的にカメラ１１からずれた位置に向かうことが想定されるため、自車４１に近い位置に対応する処理画像ほど画像を平面とし処理画像数を増やしてもよい。

図１５には、ピラミッド画像５０の近距離用画像の投影面４３が５面、中距離用画像の投影面４３が４面、遠距離用画像の投影面４３が１面、それぞれ用意される場合の例について示した。

処理画像生成の第２変形例によれば、様々な方向から自車４１に近づいてくる検出対象物４２を安定して検出することができる。また、自車４１から遠い位置に対応する処理画像（拡大率が大きい処理画像）ほど球や円になるように湾曲させることにより、処理画像の必要生成枚数を減らすことができる。

（処理画像生成の第３変形例）
図１６は、処理画像の生成処理の第３変形例を説明するための図である。

検出対象面が平面ではない場合であって検出対象面の湾曲度合いがあらかじめわかっている場合は、検出対象物４２の検出対象面の形状に応じて投影面４３を湾曲させて処理画像を湾曲させてもよい。

たとえば、図１６に示すように検出対象面が自動車の前面である場合、検出対象面の左右端は検出対象面の中央付近よりも自車４１からみて奥に位置する。この場合、図１６に示すように投影面４３の両端を奥に湾曲させてもよい。この場合、自車４１から遠い側にある他車のライト部分が引き伸ばされるとともに近い側にあるライト部分が圧縮され、左右対称に見えやすくなり安定して検出しやすくなる（図１６右下参照）。また、検出対象面の縦方向も同様である。投影面４３を湾曲させる場合は、同様に湾曲させた画像を入れた辞書を作成しておくとよい。

また、自車４１から遠い位置にある検出対象物４２の湾曲は近い位置ほど目立たなくなる。このため、自車４１から遠い位置に対応する処理画像（拡大率が大きい処理画像）ほど、検出対象面に応じた湾曲を解いて平面画像、円や球などの平坦な画像としてもよい。また、検出対象物４２によっては、検出対象面（たとえば自動車の前面）が完全な平坦なものから湾曲したものまで種々な面を有する場合があるため、湾曲させず平面のままの処理画像と併用して処理してもよい。

また、自車４１からの距離に応じて処理画像の湾曲度合いを変更する場合には、前のフレームで得られた検出対象物４２の自車４１からの位置を考慮して今回のフレームにおいて生成する処理画像を湾曲させてもよい。また、湾曲具合は、たとえば世に出ている自動車の平均を用いるとよい。その状態で取得した画像を入れた辞書を作成してもよい。

処理画像生成の第３変形例によれば、検出対象物４２の検出対象面の形状に沿うように投影面４３を設定することができるため、検出対象物４２をより安定して正確に検出することができる。

（処理画像生成の第４変形例）
図１７は、処理画像の生成処理の第４変形例を説明するための図である。

サイドカメラ（サイドミラー付近に設けたカメラ１１）で車線数が複数ある場合に並走する車両を検出する場合には、車線のカーブや車線の位置を考慮し、作成する処理画像の投影面４３の傾きや位置を変えてもよい。また、車線をまたいだ車を検出しやすいように、投影面４３同士を少しずらしながら一部重複するように配置してもよい。

処理画像生成の第４変形例によれば、車線数が複数ある場合に並走する車両を検出することができる。また、自車４１から遠い位置の画像ほど相対的に奥行きの割合が小さくなるため、自車４１から遠い位置に対応する投影面４３ほど配置する数を減らしつつ投影面４３を広くしてもよい。この場合、処理画像の生成数を減らすことができるため全体の処理負荷を低減することができる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

たとえば、駐車場などで、リアカメラ（後部に設けたカメラ１１）で車両を検出する場合などで、車両が移動する向きや位置が決まっている場合は、それに合わせた投影面４３で処理画像を作成すればよい。この場合、決まった向きの投影面４３に対応する処理画像のみが処理対象となるため処理の負荷を大幅に低減することができ高速な検出が可能となる。

また、視線軸４０と検出対象面の法線方向を合わせた状態でも、検出対象面が完全に平面ではない場合、撮像画像の中心から離れるほど検出対象物４２が歪んで見えることになる。そこで、辞書生成部２１は、画像の中心から所定の距離ごと (たとえば焦点距離の半分ごと)と、その離れる方向ごと(たとえば４５度ごと)に分けて辞書を生成してもよい。これらの辞書を用いる場合、より精度よく検出対象物４２を検出することができる。

たとえば左右に分割する場合について説明する。並走する車両を検出する場合の左カメラと右カメラの違いや、リアカメラで右から横切るのと左から横切る違いなどのように、カメラ１１に対してずれた位置を横切り、その方向が決まっている場合には、車両の左右の圧縮拡大のひずみ方が一方に偏る。たとえば、車線数が複数あり、右側を追い越される場合と左側を追い越される場合では、車両のひずみ方が逆になる。また、リアカメラで後ろを横切る車両を検出する場合にも、左右どちらを横切るかでひずみ方が逆になる。この場合、それぞれのカメラ設置位置ごとに対応する辞書を生成しておくことで、検出精度をより向上させることができる。

また、横の距離が同じでも奥行きが異なる場合、検出対象物４２とカメラ１１焦点を結ぶ直線と視線軸４０とがなす角が変わるため歪み方の度合いが変わる。この場合、角度ごとに対応する辞書を作成しておくことで、検出精度をより向上させることができる。

また、画像処理装置１０が利用する撮像画像は、車両に設けられたカメラ１１の撮像画像でなくともよく、たとえば街灯に設置されたカメラなどの一般的な周辺監視カメラにより撮像された画像であってもよい。

１０ 画像処理装置
１１ カメラ
１８ スピーカ
１９ 表示装置
２１ 辞書生成部
２２ 処理画像生成部
２３ 検出部
２４ 警告部
４０ 視線軸
４１ 自車
４２ 検出対象物
４４ 所定の範囲

Claims (8)

1. 車両に設けられ前記車両の周囲を広画角に撮像するカメラの所定の視線軸と、検出対象物の検出対象面の法線方向と、が平行となるように前記検出対象物を前記カメラの撮像範囲内の所定範囲の複数の位置に配置して、前記カメラにより前記複数の位置のそれぞれで事前に前記検出対象物を撮像した画像を用いてあらかじめ１つの辞書を生成しておく辞書生成部と、
   前記辞書の生成後に前記カメラにより撮像された画像から前記所定の視線軸を法線方向とする処理画像を生成する処理画像生成部と、
   前記処理画像に含まれる前記検出対象物を、前記辞書を用いて所定の特徴量を求めることにより検出する検出部と、
   を備えた画像処理装置。
2. 前記検出部は、
   ＨＯＧ特徴量にもとづいて、前記辞書を用いて前記処理画像に含まれる前記検出対象物を検出する、
   請求項１記載の画像処理装置。
3. 前記処理画像生成部は、
   それぞれが前記所定の視線軸を法線方向にもちつつ互いに異なる倍率をもつよう前記カメラにより撮像された画像を拡大縮小することにより複数の処理画像を生成する、
   請求項２記載の画像処理装置。
4. 前記辞書生成部は、
   前記カメラの複数の視線軸のそれぞれに対応する辞書をあらかじめ生成し、
   前記処理画像生成部は、
   前記カメラにより撮像された画像から前記複数の視線軸のそれぞれを法線方向とする複数の処理画像を生成し、
   前記検出部は、
   前記複数の処理画像のそれぞれに含まれる前記検出対象物を、各処理画像に対応する辞書を用いて所定の特徴量を求めることにより検出する、
   請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記カメラには魚眼レンズが取り付けられ、
   前記処理画像生成部は、
   自車からの距離が遠い処理画像である拡大率が大きい処理画像ほど湾曲するよう前記複数の処理画像を生成する、
   請求項３または４に記載の画像処理装置。
6. 前記処理画像生成部は、
   前記検出対象物の前記検出対象面の形状に応じて前記処理画像を湾曲させる、
   請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記検出部により前記処理画像から前記検出対象物が検出されると、前記車両の運転者に対して、前記車両のスピーカを介した音声出力およびブザー出力ならびに前記車両の運転者が視認可能な位置に設けられた表示装置に対する警告表示の少なくとも１つにより、検出された前記検出対象物の情報を通知する警告部、
   をさらに備えた請求項１ないし６のいずれか１項に記載の画像処理装置。
8. コンピュータを、
   車両に設けられ前記車両の周囲を広画角に撮像するカメラの所定の視線軸と、検出対象物の検出対象面の法線方向と、が平行となるように前記検出対象物を前記カメラの撮像範囲内の所定範囲の複数の位置に配置して、前記カメラにより前記複数の位置のそれぞれで事前に前記検出対象物を撮像した画像を用いてあらかじめ１つの辞書を生成しておく辞書生成部、
   前記辞書の生成後に前記カメラにより撮像された画像から前記所定の視線軸を法線方向とする処理画像を生成する処理画像生成部、および
   前記処理画像に含まれる前記検出対象物を、前記辞書を用いて所定の特徴量を求めることにより検出する検出部、
   として機能させるための画像処理プログラム。

Images