JP2011210087A - 車両周囲監視装置および車両周囲監視方法 - Google Patents

Abstract

【課題】高精度の障害物検出を低コストで実現する事ができる車両周囲監視装置を提供する事。
【解決手段】車両周囲監視装置１００は、車両の車載カメラによる撮影画像に対して画像認識を行い、撮影画像とは別の基準カメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて車両の周囲の障害物の検出を行う装置であって、撮影画像を、基準カメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部１４０と、変換された撮影画像に対して基準画像に基づく画像認識を行い、障害物の検出を行う画像認識部１５０とを有する。
【選択図】図３

Description

本発明は、車両の周囲の障害物を車載カメラによる撮影画像から検出する車両周囲監視装置および車両周囲監視方法に関する。

車両運転中の安全および安心に対する社会ニーズの高まりの中、特に車両後退時の事故防止のために後方視界を確保する装置の搭載が急務とされている。このような装置として、従来、車両後方を撮影した映像をリアルタイムに運転者に提示する装置がある。ところが、単に撮影映像を提示するだけでは、運転者が映像中の内容を見落としたり、映像確認自体を行わないおそれがある。

そこで、車両周辺にいる歩行者等の障害物（以下単に「障害物」という）を撮影映像から検出して警告を発する車両周囲監視装置が存在する（例えば特許文献１参照）。

特許文献１記載の車両周囲監視装置（以下「従来装置」という）は、基準カメラで障害物を撮影したときの障害物の画像（以下「基準画像」という）を基準として、車載カメラの撮影画像に対し、パターンマッチングを行う。パターンマッチングは、あらかじめ認識対象とする対象物（ここでは、例えば子供）の画像データを収集して学習したデータベースを作成しておき、これらのデータベースと入力画像との比較を行う識別器によって、対象物を検出する画像認識手法である。従来装置は、このパターンマッチングにより、撮影映像から障害物を検出し、撮影映像の提示と併せて映像および音声等による警告を適宜行う。これにより、従来装置は、障害物が存在するとき、運転者に障害物の存在を知らせる事ができる。

特開２００９−７０３４４号公報

ところで、車載カメラの取付位置が異なる場合、同一の位置にある同一の障害物であっても、撮影映像における障害物の見え方は異なる。

図１は、車載カメラの取付位置の高さの違いによる見え方の違いを示す図である。図２は、車載カメラの取付位置の左右方向の位置（車両の左右方向中心を基準とする位置）の違いによる見え方の違いを示す図である。

図１（Ａ）および図２（Ａ）に示すように、車両１０の真後ろに、人間１１が車両１０に正面を向けて立っているものとする。そして、図１（Ａ）に示すように、人間１１の腰あたりの高さに位置する車載カメラ１２と、人間１１の頭よりも上の高さに位置する車載カメラ１３とを想定する。この場合、図１（Ｂ）に示すように、車載カメラ１２の撮影画像２１における人間１１の画像２２は、頭から足までの各部の大きさのバランスが、実際のバランスとほぼ同一となる。これに対し、図１（Ｃ）に示すように、車載カメラ１３の撮影画像２３における人間１１の画像２４は、実際のバランスよりも頭が大きくなる等、画像２２とは大きく異なったものとなる。

また、図２（Ａ）に示すように、車両１０の内部側から見て車両１０後部左側に位置する車載カメラ１４と、車両１０の内部側から見て車両１０後部右側に位置する車載カメラ１５とを想定する。この場合、図２（Ｂ）に示すように、車載カメラ１４の撮影画像２５における人間１１の画像２６は、人間１１を右側から見た状態となる。これに対し、図２（Ｃ）に示すように、車載カメラ１５の撮影画像２７における人間１１の画像２８は、人間を左側から見た状態となる。

このように、車両に対して同一の位置にある同一の障害物であっても、車載カメラの取付位置が異なると、その画像の撮影映像における状態は異なる。また、この違いは、車両により近い障害物ほど顕著となる。したがって、上述の従来装置を用いる場合、障害物に対して車載カメラの取付位置と同一の位置から撮影された基準画像の識別器を用意する必要がある。

ところが、従来装置を採用して車両運転の安全性確保を目的とする障害物検出を行うとすると、多大な労力およびコストが掛かるという課題がある。

理由は以下の通りである。障害物には、大人、子供、自転車、ポール等、複数の種類が存在する。また、車載カメラに対する障害物の向き（前向き、横向き等）や姿勢（立ち姿勢、座り姿勢等）は、通常、不特定である。したがって、障害物のあらゆる種類、向き、および姿勢等に対応した、多数の基準画像および識別器が必要である。

その上、車載カメラの取付位置は、車種の違い等により異なる。従来技術において高い認識精度を確保するためには、車載カメラの取付位置が異なる場合毎に、上述の多数の基準画像の撮影を行い、多数の識別器を生成しなければならない。特に、複数車種に共通の装置として従来装置を用意する場合には、膨大な工数が必要となるだけでなく、膨大な量の識別器を格納するための容量の大きいデータベースが必要となる。

本発明の目的は、高精度の障害物検出を低コストで実現する事ができる車両周囲監視装置および車両周囲監視方法を提供する事である。

本発明の車両周囲監視装置は、車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視装置であって、前記撮影画像を、前記別のカメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部と、変換された前記撮影画像に対して前記基準画像に基づく画像認識を行い、前記障害物の検出を行う画像認識部とを有する。

本発明の車両周囲監視装置は、車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視装置であって、前記基準画像を、前記車載カメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部と、前記撮影画像に対して前記変換された基準画像に基づく画像認識を行い、前記障害物の検出を行う画像認識部とを有する。

本発明の車両周囲監視方法は、車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視方法であって、前記撮影画像を、前記別のカメラの視点に対応する位置から見たときの見え方に近似した画像に変換するステップと、変換された前記撮影画像に対して前記基準画像に基づく画像認識を行い、前記障害物の検出を行うステップとを有する。

本発明によれば、必要な基準画像の数を最小限に抑える事ができ、高精度の障害物検出を低コストで実現する事ができる。

車載カメラの取付位置の高さの違いによる見え方の違いを示す図 車載カメラの取付位置の左右方向の違いによる見え方の違いを示す図 本発明の一実施の形態に係る車両周囲監視装置の構成を示すブロック図 本実施の形態におけるカメラパラメータの構成の一例を示す図 本実施の形態における基準カメラの取付位置の一例および基準カメラパラメータを説明するための図 本実施の形態における車載カメラの取付位置の一例および車載カメラパラメータを説明するための図 本実施の形態において用いられる画像認識システムの概要を示すフローチャート 本実施の形態において用いられるＨａａｒ−Ｌｉｋｅ特徴を示す図 本実施の形態において用いられるＨａａｒ−Ｌｉｋｅ特徴のパターンを示す図 本実施の形態に係る車両周囲監視装置の動作を示すフローチャート 本実施の形態における画像変換処理を示すフローチャート 本実施の形態における空間モデルの一例の模式図 本実施の形態における空間モデルの他の例の模式図 本実施の形態における各座標系の関係を説明する模式図 本実施の形態における座標変換に用いられるパラメータを示す図 本実施の形態における画像認識処理の一例の概要を示す模式図

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。

図３は、本発明の一実施の形態に係る車両周囲監視装置の構成を示すブロック図である。本実施の形態は、本発明を、車両内部に設置された車載カメラのＥＣＵ（electronic control unit：電子制御ユニット）に適用した例である。

図３において、車両周囲監視装置１００は、画像入力部１１０、画像認識データベース１２０、カメラパラメータ格納部１３０、画像変換部１４０、画像認識部１５０、および警告部１６０を有する。

画像入力部１１０は、例えば、図２（Ａ）に示すような位置および向きで車両に取り付けられた車載カメラと、ＥＣＵ内に配置された信号処理部とを有する（いずれも図示せず）。車載カメラは、車両の周囲の映像を撮影し、所定の方式（例えばＮＴＳＣ方式）の映像信号を信号処理部へ出力する。信号処理部は、入力された映像信号を、後段の各部での内部処理に適した所定のデータ形式（ＲＧＢ、ＹＵＶ等）のデータにデコードし、内部のメモリに格納する。デコード後のデータは、時系列の複数の画像フレームのデータから構成される。

画像認識データベース１２０は、車載カメラで撮影された画像から障害物の検出を行う際に用いられる識別器を予め格納する。この識別器は、後述の学習フェーズにおいて、基準カメラで障害物を撮影して得られた画像（以下「基準画像」という）から、障害物の画像（以下適宜「障害物」という）の画像特徴量に基づいて生成されるものである。ここで用いられる画像特徴量は、障害物の輪郭の特徴を表すＨａａｒ−Ｌｉｋｅ（ハールライク）特徴量とする。

カメラパラメータ格納部１３０は、車載カメラの取付位置に関する車載カメラパラメータと、前記基準カメラの取付位置に関する基準カメラパラメータとを含むカメラパラメータを、予め格納する。

図４は、カメラパラメータの構成の一例を示す図である。図５は、基準カメラの取付位置の一例および基準カメラパラメータを説明するための図である。図６は、車載カメラの取付位置の一例および車載カメラパラメータを説明するための図である。

図４に示すように、カメラパラメータ２１０には、基準カメラパラメータ２１１および車載カメラパラメータ２１２が含まれる。基準カメラパラメータ２１１および車載カメラパラメータ２１２は、それぞれ、Ｘ座標、Ｙ座標、Ｚ座標、角度α、および角度βの各パラメータを含む。

図５に示すように、基準カメラパラメータ２１１のＸＹＺ座標「ｘ０，ｙ０，ｚ０」は、車両２２１を基準とするＸＹＺ座標系における、基準カメラ２２２の位置の座標値である。この座標系は、車両２２１の中心真下の床面の点を原点Ｏとし、車両２２１の右方向、上方向、および後ろ方向を、順にＸ軸正方向、Ｙ軸正方向、およびＺ軸正方向とする。また、基準カメラパラメータ２１１の角度α「α０」は、基準カメラ２２２の光軸２２３のＺ軸に対する水平角（例えばＸ軸正方向側を正とする）である。また、基準カメラパラメータ２１１の角度β「β０」は、基準カメラ２２２の光軸２２３の仰俯角（例えばＹ軸正方向側を正とする）である。

同様に、図６に示すように、車載カメラパラメータ２１２のＸＹＺ座標「ｘ１，ｙ１，ｚ１」は、車両２３１を基準とするＸＹＺ座標系における、車載カメラ２３２の位置の座標値である。この座標系は、車両２３１の中心真下の床面の点を原点Ｏとし、車両２３１の右方向、上方向、および後ろ方向を、順にＸ軸正方向、Ｙ軸正方向、およびＺ軸正方向とする。また、車載カメラパラメータ２１２の角度α「α１」は、車載カメラ２３２の光軸２３３のＺ軸方向に対する水平角（例えばＸ軸方向側を正とする）である。また、車載カメラパラメータ２１２の角度β「β１」は、車載カメラ２３２の光軸２３３の仰俯角（例えばＹ軸方向側を正とする）である。

なお、カメラパラメータは、図示しないが、対応するカメラの画角や画素数等の情報も含む。各カメラパラメータは、後述の画像変換処理に用いられる。

画像変換部１４０は、画像入力部１１０に格納された静止画像の画像データ（以下「撮影画像」という）を読み出す。そして、画像変換部１４０は、読み出した撮影画像に対し、基準画像の視点（基準カメラの視点）に対応する位置から見たときの見え方に近似した画像に変換する幾何変換処理（以下「画像変換処理」という）を行い、変換後の画像（以下「視点変換画像」という）を、画像認識部１５０へ出力する。

具体的には、画像変換部１４０は、カメラパラメータ格納部１３０を参照し、車載カメラパラメータに基づいて撮影画像を所定の空間モデルにマッピングする。そして、画像変換部１４０は、マッピングされた撮影画像（以下「マッピング画像」という）を、基準カメラパラメータに基づいて、基準カメラから見たときの画像に変換する。マッピングおよび視点変換画像への変換の詳細については後述する。

画像認識部１５０は、画像変換部１４０から入力される視点変換画像を警告部１６０に転送すると共に、視点変換画像から、画像認識データベース１２０に格納された識別器を用いて、障害物の検出を行う。具体的には、画像認識部１５０は、視点変換画像を検出窓で走査しながら、識別器を用いて、検出窓内から検出される画像特徴量と、基準画像の画像特徴量との一致度を求める。そして、求めた一致度の高さに基づいて検出窓に障害物が含まれているか否かを判定する。そして、画像認識部１５０は、障害物を検出したとき、その旨および視点変換画像における障害物の位置を示す障害物検出信号を、警告部１６０へ出力する。

警告部１６０は、液晶ディスプレイ等の表示装置およびラウドスピーカ等の音声出力装置（いずれも図示せず）を有し、画像認識部１５０から入力される視点変換画像を表示する。また、警告部１６０は、画像認識部１５０から障害物検出信号が入力されたとき、つまり、視点変換画像に障害物が存在すると判定されたとき、表示画像上の障害物の位置において警告表示を行うと共に、音声またはビープ音による警告音を発生させる。

車両周囲監視装置１００は、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、ＲＡＭ（random access memory）等の作業用メモリ、各種データを格納するためのハードディスク等の記憶媒体等により実現する事ができる。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行する事により実現される。

このような構成を有する車両周囲監視装置１００は、基準画像の視点に対応する位置から見たときの見え方に近似した画像に撮影画像を変換し、変換後の視点変換画像に対して、基準画像とのパターンマッチングを行う。これにより、車両毎に車載カメラの取付位置が異なる場合でも、その差異を吸収し、同一の識別器に基づいてそれぞれ高精度の障害物検出を行う事が可能となる。したがって、用意すべき識別器の数を最小限に抑える事ができ、ひいては必要な基準画像の数を最小限に抑える事ができる。また、車載カメラの取付位置が異なる複数の車両で、同一内容の画像認識データベース１２０とする場合に、画像認識データベース１２０の容量を小さくする事ができる。すなわち、車両周囲監視装置１００は、高精度の障害物検出を、低コストで実現する事ができる。

また、車両周囲監視装置１００は、障害物が映っていると判定されたときに適切な警告を行うので、運転者に対して周辺の安全確認を行うよう注意喚起する事ができる。

ここで、車両周囲監視装置１００の動作についての説明に先立って、本実施の形態で用いられる画像認識システムの概要について説明する。

図７は、本実施の形態で用いられる画像認識システムの概要を示すフローチャートである。

本実施の形態で用いられる画像認識システムで行われる処理は、大きく分けて、識別器を学習する学習フェーズと、生成された識別器を使用して画像認識を行う認識フェーズとに分かれる。学習フェーズでは、認識させたい対象を学習する処理が行われ、認識フェーズでは、撮影画像が学習した対象であるか否かを判定する処理が行われる。

学習フェーズでは、正解画像（障害物を含む画像）と非正解画像（障害物を含まない画像）とを含む学習画像が準備され（Ｓ１１００）、学習画像から画像特徴量が抽出される（Ｓ１２００）。そして、抽出された画像特徴量に基づいて識別器が学習され（Ｓ１３００）、学習結果である識別器の学習データが記憶される（Ｓ１４００）。

そして、認識フェーズでは、撮影画像が入力され（Ｓ１５００）、撮影画像から画像特徴量が抽出される（Ｓ１６００）。そして、抽出された画像特徴量に対して学習データが適用されて画像認識が行われ（Ｓ１７００）、認識結果が出力される（Ｓ１８００）。

各処理の詳細について説明する。学習フェーズのステップＳ１１００では、基準画像のデータとしては、様々な向きの障害物（歩行者）の画像データが収集される。例えば、障害物の種類毎に、正面、斜め左前、左、斜め左後ろ、後ろ、斜め右後ろ、右、および斜め右前の８方向のそれぞれからその障害物を撮影した画像が、基準画像として収集される。この結果、後段のステップＳ１４００において、障害物毎に、８個の識別器が作成される事になる。そして、ステップＳ１７００において、撮影画像に映っている障害物が車載カメラに対してどの方向を向いていても、検出する事が可能となり、障害物の検出精度を高める事が可能となる。

ステップＳ１２００では、各学習画像に対して、画素データ列からより学習に適した特徴量データへと変換する変換処理が行われる。

図８は、Ｈａａｒ−Ｌｉｋｅ特徴を示す図である。また、図９は、Ｈａａｒ−Ｌｉｋｅ特徴のパターンを示す図である。

まず、図８に示すように、検出窓３１０の中の画像３１１に対して、白黒パターンであるＨａａｒ−Ｌｉｋｅ特徴３１２が置かれる。そして、Ｈａａｒ−Ｌｉｋｅ特徴３１２が置かれたときの、黒領域の画素値と白領域の画素値とが取得される。Ｈａａｒ−Ｌｉｋｅ特徴３１２は、図９（Ａ）に示すＥｄｇｅ特徴、図９（Ｂ）に示すＬｉｎｅ特徴、図９（Ｃ）に示すＣｅｎｔｅｒ−ｓｕｒｒｏｕｎｄ特徴という３つの種類に分かれる複数のパターンを有する。検出窓３１０内の位置とＨａａｒ−Ｌｉｋｅ特徴３１２との組み合わせは、約数万〜約１０万通りとなり、上述の画素値は、これらの組み合わせのそれぞれについて取得される。

そして、検出窓３１０内の全ての位置および全てのＨａａｒ−Ｌｉｋｅ特徴３１２についての、黒領域の画素値の合計値から白領域の画素値の合計値を引いた差分が、Ｈａａｒ−Ｌｉｋｅ特徴量として取得される。

そして、ステップＳ１３００において、Ｈａａｒ−Ｌｉｋｅ特徴量が正解画像と非正解画像との間で十分に区別される値となるように、Ｈａａｒ−Ｌｉｋｅ特徴３１２毎の画素値に対する重み付けが決定される。すなわち、正解画像に特徴的なパターンに該当するＨａａｒ−Ｌｉｋｅ特徴３１２の重みが高くなるように、重み付けが決定される。これにより、ステップＳ１４００において、重み付けされたＨａａｒ−Ｌｉｋｅ特徴３１２が、学習データとして生成される。重み付けされた個々のＨａａｒ−Ｌｉｋｅ特徴３１２は、ＡｄａＢｏｏｓｔの弱識別器の役割を果たす。

そして、認識フェーズのステップＳ１７００において、弱識別器をカスケード連結（複数連結）して得られるＡｄａＢｏｏｓｔの強識別器を、撮影画像から抽出された画像特徴量に適用して、障害物の有無を検出する画像認識が行われる。

本実施の形態では、以上説明した画像認識システムの処理のうち、学習フェーズの処理は、車両周囲監視装置１００の外部（例えばネットワーク上のサーバ）においてオフラインで予め実施される。そして、認識フェーズの処理は、車両周囲監視装置１００上で車両周囲の撮影映像に基づいてリアルタイムに実施される。

以下、車両周囲監視装置１００の動作について説明する。

図１０は、車両周囲監視装置１００の動作を示すフローチャートである。車両周囲監視装置１００は、例えば、車両のシフト（ギア）がリバースレンジに切り替わったとき、画像入力部１１０において車両後方の画像の撮影と、以下に説明する処理とを開始する。

まず、ステップＳ２１００において、画像変換部１４０は、画像入力部１１０から、１フレーム分の撮影画像を取得する。なお、画像入力部１１０が、１フレーム分の画像を撮影する毎に、直ちにその撮影画像を画像変換部１４０へ出力するようにしても良い。

そして、ステップＳ２２００において、画像変換部１４０は、入力された撮影画像に対して画像変換処理を行う。

図１１は、画像変換処理を示すフローチャートである。

まず、ステップＳ２２１０において、画像変換部１４０は、カメラパラメータ格納部１３０から、基準パラメータおよび車載カメラパラメータ（図４参照）を読み出す。

そして、ステップＳ２２２０において、画像変換部１４０は、車載カメラパラメータの座標系に対して、空間モデルを作成する。なお、基準カメラパラメータの座標系と車載カメラパラメータの座標系は、上述の通り、障害物の位置を基準としたときには同一の座標系といえる。このため、画像変換部１４０は、これらの座標系を同一座標系として扱う（以下「ワールド座標系」という）。

図１２は、空間モデルの一例の模式図である。また、図１３は、空間モデルの他の例の模式図である。

空間モデルは、例えば、図１２に示すような椀形状（球形状の部分）の仮想的な曲面（擬似円筒モデル）４１０、または、図１３に示すような床面に対して鉛直方向に立つ円筒形状の仮想的な曲面（円筒モデル）４２０である。空間モデルは、基準カメラの位置を曲率中心とする曲面であり、基準カメラの視界および車載カメラの視界の両方をカバーする範囲について少なくとも定められる事が望ましい。また、基準カメラの位置からの空間モデルの各点の距離は、その方向において認識精度を特に向上させたい障害物までの距離とする事が望ましい。以下、基準カメラの位置に相当する点を「仮想視点」といい、車載カメラの位置に相当する点を「カメラ視点」という。

なお、空間モデルの形状は上述の例に限定されず、例えば平面であっても良い。また、実際には、単純なモデルでは、複雑な３次元形状を持つ物体の歪が大きくなる等の問題がある。したがって、空間モデルは、複数の平面の組み合わせ、平面と曲面との組み合わせとしても良い。

そして、ステップ２２３０において、画像変換部１４０は、撮影画像を、カメラ視点を起点として、空間モデルにマッピングする。画像変換部１４０は、マッピングに際し、撮影画像の各点の座標系変換を行う。

図１４は、各座標系の関係を説明する模式図である。

ここで、カメラ視点Ｏｅの位置および向きを基準とする座標系を、「視点座標系」というものとする。また、カメラ視点Ｏｅのワールド座標系での座標を、位置ベクトルＴｖで示し、カメラ視点Ｏｅの向き（視線の向き）を、視点座標系の向きをワールド座標系の向きへ一致させる回転を表す３行３列の回転行列Ｒｖで表すものとする。

ある点の視点座標が（Ｖｘｅ，Ｖｙｅ，Ｖｚｅ）であるとき、その点のワールド座標（Ｘｗ，Ｙｗ，Ｚｗ）は、以下の式（１）を用いて求める事ができる。

但し、

図１５は、カメラ視点の位置および向き（車載カメラの位置および向き）を定義するパラメータを示す図である。

図１５に示すように、カメラ視点Ｏｅの視線の向き（車載カメラ４７０の向き）の、ワールド座標系Ｙ−Ｚ平面に対する水平回転の角度（方位角）を、αｖと置く。カメラ視点Ｏｅの視線の向きが、ワールド座標系Ｘ−Ｚ平面に対して成す傾きの角度（仰角）を、βｖと置く。車載カメラ４７０の光軸周りの回転（Ｔｗｉｓｔ）を、γｖと置く。このとき、回転行列Ｒｖは、以下の式（３）で表される。

一方、視点座標（Ｖｘｅ，Ｖｙｅ，Ｖｚｅ）のうち、パラメータＶｘｅ、Ｖｙｅと、カメラ視点Ｏｅを基準に投影面に透視投影したときの投影面上の２次元座標（以下「画像座標」という）Ｕｖ、Ｖｖとの関係は、車載カメラの焦点距離ｆｖを用いて、以下の式（４）および式（５）で表される。

焦点距離ｆｖは、投影面をフィルムやＣＣＤとしたときのフィルムまたはＣＣＤの大きさに対応する「ｍｍ」もしくは「インチ」、または、撮影画像のサイズに対応する「画素」を単位として表される。ここでは、投影面は、投影中心を中心として幅２、高さ２に正規化されているものとする。

撮影画像の右上から（Ｓｖ，Ｔｖ）の位置にある画素に対応する画像座標（Ｕｖ，Ｖｖ）は、撮影画像の横幅の画素数をＷｖ、撮影画像の縦幅の画素数をＨｖと置くと、以下の式（６）および式（７）で表される。

以上の式（１）〜式（７）より、撮影画像の任意の画素（Ｓｖ，Ｔｖ）に対応する点のワールド座標（Ｘｗ，Ｙｗ，Ｚｗ）は、以下の式（８）により求める事ができる。

但し、式（８）では、撮影画像の任意の画素（Ｓｖ，Ｔｖ）に対応する点の奥行き値Ｖｚｅが未定である。言い換えると、撮影画像に写る障害物までの、対応画素からの奥行き値を定める必要がある。カメラ視点Ｏｅから見える障害物の３次元形状が分かれば、この奥行き値を取得する事ができるが、一般には困難である。

そこで、画像変換部１４０は、図１２および図１３に示すような空間モデルを、カメラ視点Ｏｅから見える障害物の形状として仮定する事により、上記奥行き値Ｖｚｅを決定し、撮影画像の画素とワールド座標系の座標との関係を決定する。

図１２に示す擬似円筒モデルは、ワールド座標系において、椀形状の中心点の座標を（Ｘｃ，Ｙｃ，Ｚｃ）、Ｘ軸、Ｙ軸、およびＺ軸方向の半径をそれぞれａ、ｂ、ｃと置くと、例えば以下の式（９）で表わされる。

また、図１３に示す円筒モデルは、ワールド座標系において、円筒形状の中心点の座標を（Ｘｃ，Ｙｃ，Ｚｃ）、Ｘ軸およびＺ軸方向の半径をそれぞれａ、ｃと置くと、例えば以下の式（１０）で表わされる。なお、空間モデルの数式化は、ＸＺ平面上での回転を考える事により、Ｘ軸、Ｚ軸以外に軸を持つ空間モデルにも容易に拡張する事ができる。

例えば、式（９）または式（１０）を用いて上述の式（８）からＶｚｅを消去する事により、撮影画像の各画素（Ｓｖ，Ｔｖ）と空間モデルにおける対応位置との対応関係を求めることができる。画像変換部１４０は、例えば、上記の各式を用いて予め算出された撮影画像の各画素と空間モデルの位置との対応関係を用いて、撮影画像を空間モデルにマッピングし、マッピング画像を生成する。

そして、ステップＳ２２４０において、画像変換部１４０は、マッピング画像を仮想視点から（基準カメラから）見たときの画像に視点変換し、視点変換画像を生成する。具体的には、画像変換部１４０は、例えば、撮影画像をマッピング画像へ変換する演算と真逆の演算を基準カメラを基準として行うことにより予め算出された、空間モデルの位置と基準画像の各画素との対応関係を用いて、マッピング画像を視点変換画像に変換する。そして、画像変換部１４０は、生成した視点変換画像を画像認識部１５０へ出力し、処理を図１０へ戻す。

図１０のステップＳ２３００において、画像認識部１５０は、入力された視点変換画像に対して、画像認識処理を行い、障害物の検出を行う。

図１６は、画像認識部１５０が行う画像認識処理の一例の概要を示す模式図である。

図１６に示すように、画像認識データベース１２０には、学習フェーズにおいて、１つの基準カメラ（または、同一の取付位置および取付向きにあるとみなされる複数の基準カメラ）で撮影された複数の学習画像５１０から学習された複数の識別器のデータが、格納されている。ここでは、識別器を、対応する基準画像のパターンで模式的に図示している。

画像認識部１５０は、視点変換画像５３０を検出窓５４０で走査しながら、画像認識データベース１２０に格納された識別器を用いて、検出窓５４０内の画像特徴量５５０と、基準画像から検出される画像特徴量との一致度を求める。そして、画像認識部１５０は、一致度が高いとき、つまり、カスケード接続された全ての弱識別器において拒否されなかった場合には、該当する検出窓５４０に障害物５６０が含まれていると判定する。

なお、画像認識部１５０は、検出窓５４０を固定サイズとし、視点変換画像５３０をリサイズしながら、検出窓５４０の走査を行う。具体的には、例えば、画像認識部１５０は、横３２画素×縦６４画素の検出窓５４０で、視点変換画像５３０の左上から右下まで順に走査していき、それぞれの検出窓５４０の位置で、識別処理を行っていく。これは、元の撮影画像における障害物の大きさは、撮影カメラから障害物までの距離に応じて様々であるからである。障害物としての人間の全体画像が基準画像として用いられていた場合、図１６に示す例では３段階リサイズされた視点変換画像で初めて障害物５６０は検出窓５４０に収まるため、この段階で障害物５６０が検出される事になる。なお、リサイズ時の縮小率は縦横共に２０％ずつが望ましく、その場合は、８段階程度のリサイズが行われる事が望ましい。

そして、ステップＳ２４００において、画像認識部１５０は、画像認識の結果、障害物を検出したか否かを判断する。画像認識部１５０は、障害物を検出した場合には（Ｓ２４００：ＹＥＳ、）、障害物検出信号を、警告部１６０へ出力して、ステップＳ２５００へ進む。また、画像認識部１５０は、障害物を検出しなかった場合には（Ｓ２４００：ＮＯ）、その次のステップＳ２６００へ進む。

ステップＳ２５００において、警告部１６０は、障害物検出信号から視点変換画像における障害物の位置を取得し、表示する視点変換画像のその位置に警告表示を行うと共に、音声またはビープ音による警告音を発生させる。

そして、ステップＳ２６００において、画像変換部１４０は、ユーザの電源オフ操作や、車両のシフト（ギア）の切り替え信号等により、処理の終了を指示されたか否かを判断する。画像変換部１４０は、処理の終了を指示されていない場合には（Ｓ２６００：ＮＯ）、ステップＳ２１００へ戻り、次の１フレーム分の撮影画像に対する処理に移る。また、画像変換部１４０は、処理の終了を指示された場合には（Ｓ２６００：ＹＥＳ）、一連の処理を終了する。

このような処理により、車両周囲監視装置１００は、車両後方の映像の表示と、画像認識による障害物検出および警告とを、リアルタイムに行う事ができる。また、車両周囲監視装置１００は、撮影画像を、識別器の生成に用いられた基準画像の視点から見たときの画像に視点変換してから、障害物検出を行うので、視点の違いによる障害物画像の違いを吸収する事ができる。

以上説明したように、本実施の形態に係る車両周囲監視装置１００は、画像認識および基準画像との画像特徴量の一致度に基づく障害物検出を行う際に、基準画像の視点に対応する位置から見たときの見え方に近似した画像に撮影画像を変換してから、当該障害物検出を行う。これにより、車両周囲監視装置１００は、車両によって車載カメラの取付位置および取付向きが異なる場合でも、同一の識別器を使って高精度に障害物検出を行う事ができる。すなわち、車両周囲監視装置１００は、必要な基準画像の数および識別器の数をそれぞれ最小限に抑える事ができ、高精度の障害物検出を低コストで実現する事ができる。

また、車両周囲監視装置１００は、車載カメラパラメータに基づいて撮影画像を所定の空間モデルにマッピングし、基準カメラパラメータに基づいてマッピング画像を基準カメラから見たときの画像に変換する。これにより、簡易な処理で、近似的に、上述の視点変換を行う事ができる。

また、車両周囲監視装置１００は、マッピングを行う空間モデルとして、基準カメラの位置を曲率中心とする曲面を採用するので、精度の高い視点変換を行う事ができる。

なお、以上説明した本実施の形態では、車載カメラのＥＣＵに表示装置および音声出力装置を含む各装置部が配置されているものとして説明したが、これらの装置部は、当該ＥＣＵの外部に配置されてもよい。この場合には、ＥＣＵに、外部のデバイスや装置と通信可能に接続するインタフェースを設ける必要がある。

また、本実施の形態では、本発明を、Ｈａａｒ−Ｌｉｋｅ特徴量を用いた障害物検出に適用する例について説明したが、これに限定されない。本発明は、例えば、オブジェクトの輪郭を構成するエッジの傾きに基づいた画像特徴量であるＨＯＧ（histogram of oriented gradient）特徴量を用いた障害物検出に適用しても、同様の効果が得られる。すなわち、本発明は、形状の一致性に基づいて判定を行う各種の障害物検出に適用する事ができる。

また、車両周囲監視装置は、車両の周囲の障害物の立体モデルをリアルタイムに計測する事が可能であれば、必ずしも撮影映像を射影するための空間モデルを用いなくても良い。この場合、車両周囲監視装置は、例えば、ワールド座標系にその障害物の立体モデルを配置し、立体モデルの各点を、基準カメラの視平面に射影し、ワールド座標系から基準画像の画像座標系への変換を行えば良い。

また、本実施の形態に係る車両周囲監視装置と識別器を生成する装置とを含むシステムでは、撮影画像を基準カメラの位置に合わせて視点変換するとしたが、逆に、基準画像を車載カメラの位置に合わせて視点変換しても良い。この場合には、画像認識の判定基準となる識別器を生成する画像認識データ生成装置は、オフラインで、撮影した基準画像に対して、複数の車両の車載カメラのそれぞれの位置に合わせる視点変換を施し、視点変換後の基準画像に基づいて、車両毎の識別器を生成する。そして、車両周囲監視装置は、ネットワークを介して画像認識データ生成装置にアクセスし、自己が取り付けられた車両に対応する識別器を取得すれば良い。そして、車両周囲監視装置は、撮影画像に対する画像変換処理を行う事なく、取得した識別器を用いて、障害物検出を行えば良い。このような構成によっても、車載カメラの位置毎に撮影を行う必要がなくなるので、システム全体の低コスト化、特に車両周囲監視装置の低コスト化を図る事ができる。

なお、視点変換後の基準画像に基づく識別器の生成を、車両周囲監視装置側で行うようにしても良い。この場合、例えば、画像変換部は、基準画像を取得し、基準画像を、前記車載カメラの視点に対応する位置から見たときの見え方に近似した画像に変換する。そして、画像認識部は、視点変換されていない撮影画像に対して視点変換された基準画像に基づく画像認識を行い、障害物の検出を行う。

本発明に係る車両周囲監視装置および車両周囲監視方法は、高精度の障害物検出を低コストで実現する事ができる車両周囲監視装置および車両周囲監視方法として有用である。

１００ 車両周囲監視装置
１１０ 画像入力部
１２０ 画像認識データベース
１３０ カメラパラメータ格納部
１４０ 画像変換部
１５０ 画像認識部
１６０ 警告部

Claims (7)

1. 車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視装置であって、
   前記撮影画像を、前記別のカメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部と、
   変換された前記撮影画像に対して前記基準画像に基づく画像認識を行い、前記障害物の検出を行う画像認識部と、を有する、
   車両周囲監視装置。
2. 前記画像変換部は、
   前記車載カメラの取付位置に関する車載カメラパラメータと、前記基準画像を撮影した基準カメラの取付位置に関する基準カメラパラメータとを取得し、前記車載カメラパラメータに基づいて、前記撮影画像を所定の空間モデルにマッピングし、前記基準カメラパラメータに基づいて、マッピングされた前記撮影画像を前記基準カメラに対応する位置から見たときの画像に変換する、
   請求項１記載の車両周囲監視装置。
3. 前記所定の空間モデルは、前記障害物の位置を基準として配置された、前記基準カメラに対応する位置を曲率中心とする曲面である、
   請求項２記載の車両周囲監視装置。
4. 前記曲面は、球形状の部分または円筒形状の部分である、
   請求項３記載の車両周囲監視装置。
5. 前記曲面の前記曲率中心からの距離は、前記障害物の前記基準カメラに対応する位置からの距離に等しい、
   請求項３記載の車両周囲監視装置。
6. 車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視装置であって、
   前記基準画像を、前記車載カメラの視点に対応する位置から見たときの見え方に近似した画像に変換する画像変換部と、
   前記撮影画像に対して前記変換された基準画像に基づく画像認識を行い、前記障害物の検出を行う画像認識部と、を有する、
   車両周囲監視装置。
7. 車両の車載カメラによる撮影画像に対して画像認識を行い、前記撮影画像と別のカメラで障害物を撮影して得られた基準画像との間の形状の一致性に基づいて前記車両の周囲の障害物の検出を行う車両周囲監視方法であって、
   前記撮影画像を、前記別のカメラの視点に対応する位置から見たときの見え方に近似した画像に変換するステップと、
   変換された前記撮影画像に対して前記基準画像に基づく画像認識を行い、前記障害物の検出を行うステップと、を有する、
   車両周囲監視方法。
   

Images