JP2018113622A - 画像処理装置、画像処理システム、及び、画像処理方法 - Google Patents

Abstract

【課題】車載カメラによる撮影画像に対するマスク領域の設定を容易に行うことができる技術を提供する。【解決手段】車両において用いられる画像処理装置は、前記車両に搭載されるカメラによる撮影画像に基づいて、仮想視点から見た前記車両の周辺を示す仮想視点画像を生成する画像生成部と、前記仮想視点画像に基づいて、前記カメラの撮影画像中において所定の処理に使用しない領域であるマスク領域を設定する設定部と、を備える。【選択図】図１

Description

本発明は、画像処理装置、画像処理システム、及び、画像処理方法に関する。

従来、撮影された画像データから移動物体を検出するシステムが知られる。このようなシステムでは、移動物体の検出が行われない領域が、マスク領域として予め指定される。そして、当該マスク領域を除く領域に対して、移動物体の検出処理が行われる（例えば特許文献１参照）。

特開２００９−１２２９９０号公報

ところで、車載カメラを用いて、車両周辺の移動物体の検出や駐車枠の検出を行う画像処理システムが知られている。このような画像処理システムにおいて、カメラによる撮影画像内に映り込む車両のボディは、移動物体や駐車枠等の検出に不要な領域である。また、車両のボディに映り込んだ背景等によって、誤検出が生じるおそれがある。このために、撮影画像内における車両のボディが映り込む領域は、マスク領域とされ、検出処理に使用されないことが好ましい。

車両の形状は、車両の種類やグレードによって異なる。また、車両に対するカメラの取付けには、ばらつきがある。このために、撮影画像への車両のボディの映り込みは、車両ごとに異なる。したがって、撮影画像内のどの領域がマスク領域として設定されるべきかについては、車両ごとに決められることが好ましい。しかしながら、車両ごとにマスク領域を設定することは、作業負担が大きく、現実的ではない。

本発明は、上記の課題に鑑み、車載カメラによる撮影画像に対するマスク領域の設定を容易に行うことができる技術を提供することを目的とする。

本発明に係る画像処理装置は、車両において用いられる画像処理装置であって、前記車両に搭載されるカメラによる撮影画像に基づいて、仮想視点から見た前記車両の周辺を示す仮想視点画像を生成する画像生成部と、前記仮想視点画像に基づいて、前記カメラの撮影画像中において所定の処理に使用しない領域であるマスク領域を設定する設定部と、を備える構成（第１の構成）である。

また、上記第１の構成の画像処理装置において、前記仮想視点画像中には、前記車両の周辺を表示しない死角領域が設定され、前記設定部は、前記死角領域に基づいて前記マスク領域を設定する構成（第２の構成）であることが好ましい。

また、上記第２の構成の画像処理装置において、前記設定部は、前記死角領域の境界上の複数点のそれぞれについて、前記カメラの撮影画像における対応座標位置を抽出し、複数の前記対応座標位置から導出される近似曲線に基づいて前記マスク領域を設定する構成（第３の構成）であることが好ましい。

また、上記第３の構成の画像処理装置において、前記設定部は、前記死角領域の境界上の点に加えて、前記境界の延長線上の点についても前記対応座標位置を抽出して前記マスク領域を設定する構成（第４の構成）であってよい。

また、上記第１から第４のいずれかの構成の画像処理装置において、前記設定部は、前記仮想視点の視点位置が前記車両の真上、かつ、視線方向が真下である場合の前記仮想視点画像に基づいて前記マスク領域を設定する構成（第５の構成）であることが好ましい。

また、上記第１から第５のいずれかの構成の画像処理装置において、前記所定の処理は、前記カメラによる撮影画像に基づいて検出対象を検出する処理であり、前記カメラの撮影画像に前記マスク領域によるマスクを行って前記検出対象を検出する検出部を更に備える構成（第６の構成）であってよい。

本発明に係る画像処理システムは、上記第１から第６のいずれかの構成の画像処理装置と、前記カメラと、を備える構成（第７の構成）である。

本発明に係る画像処理方法は、処理装置による画像処理方法であって、車両に搭載されるカメラによる撮影画像に基づいて、仮想視点から見た前記車両の周辺を示す仮想視点画像を生成する画像生成工程と、前記仮想視点画像に基づいて、前記カメラの撮影画像中において所定の処理に使用しない領域であるマスク領域を設定するマスク領域設定工程と、を備える構成（第８の構成）である。

本発明によれば、車載カメラによる撮影画像に対するマスク領域の設定を容易に行える技術を提供することができる。

車両周辺監視システムの構成を示すブロック図 ４つのカメラが配置された車両を示す模式図 画像生成部が仮想視点画像を生成する手法を説明するための図 仮想視点画像における車両の像が配置される部分を拡大して示した図 マスク領域の設定手順を示すフローチャート 図５のステップＳ１を説明するための図 図５のステップＳ２を説明するための図 図５のステップＳ３を説明するための図 図５のステップＳ４を説明するための図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」とする。

＜１．システムの構成＞
図１は、本発明の実施の形態に係る車両周辺監視システムＳＹＳ１の構成を示すブロック図である。車両周辺監視システムＳＹＳ１は、車両ごとに搭載される。車両周辺監視システムＳＹＳ１は、当該システムを搭載する車両の周辺状況を監視する機能を有する。図１に示すように、車両監視システムＳＹＳ１は、画像処理システムＳＹＳ２と、表示装置３と、を備える。

画像処理システムＳＹＳ２は、車両の周辺を撮影して画像を生成し、生成した画像を表示装置３に出力する機能を有する。また、画像処理システムＳＹＳ２は、車両の周辺を撮影して得られた画像に基づいて、検出対象を検出する機能も有する。本実施の形態では、検出対象には駐車枠が含まれる。なお、これは例示であり、検出対象には、移動体等が含まれてよい。検出した駐車枠情報は、例えば駐車支援等を行う運転支援装置（不図示）によって使用される。画像処理システムＳＹＳ２は、車両の周囲を撮影する撮影部１と、画像処理装置２とを備える。

撮影部１は、車両に搭載される４つのカメラ１１〜１４を備える。すなわち、画像処理システムＳＹＳ２は、車両に搭載されるカメラ１１〜１４を備える。図２は、４つのカメラ１１〜１４が配置された車両４を示す模式図である。本実施の形態において、車両４は自動車である。撮影部１が備えるカメラの数は例示であり、カメラの数は適宜変更されてよい。各カメラ１１〜１４は、有線又は無線で画像処理装置２に接続されており、撮影画像を画像処理装置２に送信する。

図２に示すように、カメラ１１は車両４の前端に設けられる。このため、カメラ１１をフロントカメラ１１とも呼ぶ。フロントカメラ１１の光軸１１ａは平面視で車両４の前後方向に沿っている。フロントカメラ１１は車両４の前方向を撮影する。カメラ１４は車両４の後端に設けられる。このため、カメラ１４をバックカメラ１４とも呼ぶ。バックカメラ１４の光軸１４ａは平面視で車両４の前後方向に沿っている。バックカメラ１４は車両４の後方向を撮影する。フロントカメラ１１及びバックカメラ１４の取付け位置は、車両４の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

カメラ１２は車両４の左側ドアミラー４１に設けられる。このため、カメラ１２を左サイドカメラ１２とも呼ぶ。左サイドカメラ１２の光軸１２ａは平面視で車両４の左右方向に沿っている。左サイドカメラ１２は車両４の左方向を撮影する。カメラ１３は車両４の右側ドアミラー４２に設けられる。このため、カメラ１３を右サイドカメラ１３とも呼ぶ。右サイドカメラ１３の光軸１３ａは平面視で車両４の左右方向に沿っている。右サイドカメラ１３は車両４の右方向を撮影する。

各カメラ１１〜１４のレンズとしては、例えば魚眼レンズが使用される。各カメラ１１〜１４の水平方向の画角θは１８０度以上である。このため、４つのカメラ１１〜１４を利用することで、車両４の水平方向における全周囲を撮影することが可能になっている。

画像処理装置２は、撮影部１によって撮影された撮影画像を取得して、当該撮影画像の処理を行う。また、画像処理装置２は、撮影画像を処理して得られた処理画像を表示装置３に出力する。また、画像処理装置２は、撮影画像を処理して、撮影画像中から検出対象（例えば駐車枠）を検出する。画像処理装置２は、車両４の所定の位置に配置される。すなわち、画像処理装置２は、車両において用いられる。画像処理装置２の詳細については後述する。

表示装置３は、例えばタッチパネル等の操作機能を有する液晶等のディスプレイを備え、画像処理システムによる処理で得られた表示画像を表示する。表示装置３は、車両４の乗員（代表的には運転手）がディスプレイの表示画面を視認できる位置に設けられる。例えば、表示装置３は、車両４のインストルメントパネルに設置される。

＜２．画像処理装置の構成＞
画像処理装置２は、ＥＣＵ（Electronic Control Unit）として構成される。図１に示すように、画像処理装置２は、画像生成部２１と、制御部２２と、通信部２３と、記憶部２４と、を備える。

画像生成部２１は、撮影部１で取得された撮影画像を処理して表示用画像を生成する。本実施の形態では、画像生成部２１は、各種の画像処理が可能なハードウェア回路として構成されている。本実施の形態では、画像生成部２１は、車両４に搭載されるカメラ１１〜１４による撮影画像に基づいて、仮想視点から見た車両４の周辺を示す仮想視点画像を生成する。仮想視点画像を生成する手法の詳細については後述する。

画像生成部２１は、カメラ１１〜１４による撮影画像を表示用に調整する。詳細には、画像生成部２１は、撮影画像の明るさやコントラスト等の画質調整や、表示の際に自然となるように画像の歪み補正を行う。また、画像生成部２１は、表示用に調整された撮影画像、及び、上述の仮想視点画像に基づいて、運転者等に提供する表示用画像を生成する。生成された表示用画像は、通信部２３によって表示装置３に出力され、表示装置３の表示画面に表示される。

制御部２２は、画像処理装置２の全体を制御する。制御部２２は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータである。本実施の形態では、制御部２２は、画像制御部２２１と、表示制御部２２２と、設定部２２３と、検出部２２４と、を備える。制御部２２が備えるこれらの各部は、例えばＲＯＭに格納されるプログラムに従ってＣＰＵが演算処理を行うことによって実現される機能である。

画像制御部２２１は、画像生成部２１によって実行される画像処理を制御する。例えば、画像制御部２２１は、画像生成部２１に対して、仮想視点画像を生成するために必要となる各種のパラメータ等の指示を行う。

表示制御部２２２は、主に画像処理装置２の処理によって得られた画像情報を表示装置３で表示させるための制御を行う。例えば、表示制御部２２２は、画像生成部２１で生成された仮想視点画像を表示装置３に出力する際の制御を行う。

設定部２２３は、仮想視点画像に基づいて、カメラ１１〜１４の撮影画像中において所定の処理に使用しない領域であるマスク領域を設定する。本実施の形態では、所定の処理は、カメラ１１〜１４による撮影画像に基づいて検出対象を検出する処理である。上述のように、本実施の形態では、検出対象には、駐車枠が含まれる。

また、詳細には、マスク領域は、カメラ１１〜１４による撮影画像中において、車両４のボディが映り込むことが想定される領域である。車両４のボディが映り込む領域は、駐車枠や移動体等の検出には不要な領域であるためにマスク領域とされる。本実施の形態によれば、仮想視点画像に関する既存の技術を利用して、単一のカメラの撮影画像に対するマスク領域を設定することができる。このために、単一のカメラの撮影画像に対してマスク領域を設定する手法について新たなロジックの開発を行う必要がなく、開発コストの削減を図ることができる。

なお、本実施の形態では、４つのカメラ１１〜１４の全てに対してマスク領域の設定が行われるが、これは例示であり、一部のカメラに対してのみマスク領域の設定が行われてもよい。例えば、カメラで撮影した撮影画像から駐車枠を検出することのみが目的である場合、左右のサイドカメラ１２、１３及びバックカメラ１４に対してマスク領域が設定される構成としてよい。マスク領域の設定手法の詳細については後述する。

検出部２２４は、カメラ１１〜１４の撮影画像にマスク領域によるマスクを行って検出対象を検出する。 本実施の形態では、設定部２２３によって、各カメラ１１〜１４の撮影画像に対するマスク領域が設定される。このために、検出部２２４は、不要な領域を除外して検出対象の検出処理を行うことができる。また、撮影画像を用いて検出対象を検出する際に不要な部分が予め除外されているために、検出部２２４による誤検出の発生確率を低減することができる。

検出部２２４は、特に限定する趣旨ではないが、例えばサイドカメラ１２、１３で撮影される撮影画像に基づいて駐車枠の検出を行う。例えば、サイドカメラ１２、１３の代わりにバックカメラ１４が用いられてもよいし、サイドカメラ１２、１３とバックカメラ１４との両方が用いられてもよい。駐車枠の検出処理は、適宜実施される。

検出部２２４は、カメラ１２、１３等による撮影画像中の輝度変化に基づいて、車両の駐車領域を区画する駐車枠線の検出を行う。駐車枠線は、一般的に白色又は黄色等の明るい色彩が施されるために、画像中における輝度が高い。このために、駐車枠線の輝度と駐車場の路面表面の輝度との間に輝度差が発生する。当該輝度差に基づく輝度変化は一定範囲になるために、輝度変化が一定範囲となるエッジを検出することにより、駐車枠線の検出を行うことができる。なお、「エッジ」は、画像中において、画素間の輝度が所定以上の大きさで変化する部分を指す。

検出部２２４は、検出された２つの駐車枠線のエッジ間の距離が所定の距離であると判断される場合に、検出された２つの駐車枠線間の領域を駐車枠として認識する。所定の距離とは、例えば、駐車場に関する法令等で規定される一般公共用の標準的な駐車枠の幅であり、２．５ｍである。本実施の形態では、車両４のボディが映り込む可能性がある部分がマスクされた状態で駐車枠線の検出を行い、駐車枠の検出が行われる。このために、効率良く駐車枠の検出を行うことができる。また、車両４のボディに映り込んだ背景等によって駐車枠の誤検出を行う可能性を低減することができる。

通信部２３は、表示装置３との間で通信を行う。通信部２３は、例えば、画像生成部２１で生成された仮想視点画像を表示装置３に出力する。また、通信部２３は、運転者等が表示装置３の操作を行った場合に操作部（タッチパネル等）から送信される信号を受信する。

記憶部２４は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部２４は、例えば、ファームウェアとしてのプログラム、画像生成部２１が仮想視点画像を生成するための各種のデータを記憶する。また、記憶部２４は、設定部２２３及び検出部２２４が処理を実行するために必要となる各種のデータを記憶する。

＜３．仮想視点画像の生成処理＞
画像生成部２１が、仮想視点から見た車両４の周辺の様子を示す仮想視点画像を生成する手法について説明する。図３は、画像生成部２１が仮想視点画像を生成する手法を説明するための図である。画像生成部２１は、仮想視点画像の生成に仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある仮想視点画像を生成する。

フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３、及び、バックカメラ１４によって、車両４の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１１〜Ｐ１４が同時に取得される。これら４つの撮影画像Ｐ１１〜Ｐ１４には、車両４の全周囲のデータが含まれている。画像生成部２１は、これら４つの撮影画像Ｐ１１〜Ｐ１４を取得する。

画像生成部２１は、これら４つの撮影画像Ｐ１１〜Ｐ１４に含まれるデータ（画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心部（お椀の底部分）が車両４の位置として定められている。撮影画像Ｐ１１〜Ｐ１４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められている。この対応関係を示すテーブルデータは、記憶部２４に記憶されている。投影面ＴＳの各画素の値は、この対応関係と、撮影画像Ｐ１１〜Ｐ１４に含まれる各画素の値とに基づいて決定できる。

次に、画像生成部２１は、画像制御部２２１の制御により、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部２１は、任意の視点位置、かつ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。画像生成部２１は、設定された仮想視点ＶＰに応じて投影面ＴＳにおける必要な領域を切り出す。これにより、任意の仮想視点ＶＰから見た仮想視点画像が生成される。

例えば、図３に示すように、視点位置を車両４の真上、視線方向を直下とした仮想視点ＶＰａを想定した場合、車両４及び車両４の周辺を俯瞰する仮想視点画像（俯瞰画像）ＣＰａを生成できる。また、視点位置を車両４の左後方、視線方向を車両４の前方とした仮想視点ＶＰｂを想定した場合、車両４の左後方から見た車両４及び車両４の周辺を示す仮想視点画像ＣＰｂを生成できる。

なお、仮想視点画像ＣＰ中に示す車両４の像は、予めビットマップなどのデータとして用意され、記憶部２４に記憶されている。仮想視点画像の生成の際には、当該仮想視点画像の仮想視点ＶＰの視点位置と視線方向とに応じた形状の車両４の像のデータが読み出されて、仮想視点画像中に重畳される。

図４は、仮想視点画像における車両４の像が配置される部分を拡大して示した図である。なお、図４では、上述の仮想視点ＶＰａによる仮想視点画像を想定している。図４に示すように、仮想視点画像中には、車両４の周辺を表示しない死角領域５が設定されている。図４において、死角領域５は斜線を施した部分である。本実施の形態において、死角領域５は、車両４のボディが映り込む可能性がある領域である。詳細には、死角領域５の外縁（境界）は、図４に示すように矩形状である。死角領域５は、表示装置３においては、例えば黒色等で表示される。

死角領域５は、車両４のボディ形状及びカメラ１１〜１４の搭載位置によって決まる。このために、死角領域５は、例えば車種ごと、又は、グレードごとに設定することができる。本実施の形態では、死角領域５は、カメラ１１〜１４の取付誤差及びキャリブレーション誤差を考慮して設定されている。詳細には、死角領域５は、誤差によって車両４のボディが映り込む範囲が最大となる場合でも、車両４のボディ画像が仮想視点画像中に表示されないように設定されている。死角領域５に関するデータは、記憶部２４に記憶されている。死角領域５は、仮想視点画像の生成の際に、当該仮想視点画像の仮想視点ＶＰの視点位置と視線方向とに応じて仮想視点画像中に重畳される。

＜４．マスク領域の設定処理＞
本実施の形態においては、設定部２２３は、仮想視点画像中に設定される死角領域５に基づいてマスク領域を設定する。マスク領域は、各カメラ１１〜１４に対して設定される。マスク領域の設定は、車両４にカメラ１１〜１４を取り付けた後に行われる。マスク領域の設定は、例えば、車両の組み立て工場や、車両を販売するディーラ等で行われる。図５は、本実施の形態におけるマスク領域の設定手順を示すフローチャートである。図５を参照しながら、マスク領域の設定処理について説明する。

設定部２２３は、仮想視点画像中の死角領域５の境界上の複数点を抽出する（ステップＳ１）。本実施の形態において、死角領域５の境界上とは、死角領域５の外縁（外周）上のことである。本実施の形態では、設定部２２３は、仮想視点の視点位置が車両４の真上、かつ、視線方向が真下である場合の仮想視点画像に基づいてマスク領域を設定する。マスク領域を設定するために用いる仮想視点画像は、別の仮想視点を想定したものであってもよい。ただし、本実施の形態の構成の仮想視点画像を利用することにより、いずれのカメラ１１〜１４に対しても同じ仮想視点画像を利用することができる。このために、処理効率を向上することができる。

図６は、図５のステップＳ１を説明するための図である。図６は、バックカメラ１４用のマスク領域を設定する場合を想定した図である。バックカメラ１４用のマスク領域の設定を行うにあたって、設定部２２３は、死角領域５における車両後方側の短辺５Ｂ上の複数点ｇを抽出する。例えば、設定部２２３は、一定の間隔で短辺５Ｂ上の点ｇを抽出する。一定の間隔は、適宜設定すればよい。例えば１００ｍｍ間隔等であってよいが、間隔を細かく設定することによって、後述の近似曲線をより正確に取得することができる。本実施の形態では、死角領域５の境界上に加えて、境界の延長線上の点も抽出する。詳細には、図６に示すように、設定部２２３は、短辺５Ｂを左右方向に延長した延長線５Ｅ上の点ｇについても抽出する。ただし、これは例示であり、短辺５Ｂ上の点ｇだけでもよい。また、本実施の形態では、短辺５Ｂから左右に延びる延長線５Ｅ上の点が抽出されているが、左右いずれか一方に延びる延長線上の点だけが抽出されてもよい。

なお、フロントカメラ１１用のマスク領域を設定する場合には、設定部２２３は、死角領域５における車両前方側の短辺５Ｆ上の複数点を抽出する。短辺５Ｆの延長線上の点も抽出されてよい。左サイドカメラ１２用のマスク領域を設定する場合には、設定部２２３は、死角領域５における車両左方側の長辺５Ｌ上の複数点を抽出する。長辺５Ｌの延長線上の点も抽出されてよい。右サイドカメラ１３用のマスク領域を設定する場合には、設定部２２３は、死角領域５における車両右方側の長辺５Ｒ上の複数点を抽出する。長辺５Ｒの延長線上の点も抽出されてよい。

次に、設定部２２３は、死角領域５の境界上の複数点のそれぞれについて、カメラ１１〜１４の撮影画像における対応座標位置を抽出する（ステップＳ２）。本実施の形態では、死角領域５の境界上の点に加えて、境界の延長線上の点についても対応座標位置を抽出する。

図７は、図５のステップＳ２を説明するための図である。図７は、バックカメラ１４用のマスク領域を設定する場合を想定した図である。設定部２２３は、バックカメラ１４用のマスク領域を設定する場合には、短辺５Ｂ上の複数点ｇのそれぞれについて、バックカメラ１４の撮影画像における対応座標位置Ｇを抽出する。また、設定部２２３は、短辺５Ｂの延長線上の点ｇについても、バックカメラ１４の撮影画像における対応座標位置Ｇを抽出する。これにより、図７に示すように、複数の対応座標位置Ｇが得られる。なお、図６と図７は、いずれも模式図であり、抽出点の数は特に対応させていない。

詳細には、設定部２２３は、仮想視点ＶＰの視点位置及び視線方向に基づいて、仮想視点画像から抽出した複数点ｇの投影面ＴＳおける座標位置を求める。そして、設定部２２３は、投影面ＴＳの座標位置と、バックカメラ１４の撮影画像の座標位置との対応関係が示されたデータ（記憶部２４に記憶される）に基づいて、仮想視点画像から抽出した複数点ｇのそれぞれについて、バックカメラ１４の撮影画像における対応座標位置Ｇを求める。

なお、仮想視点画像から抽出した複数点のそれぞれに対して、上述の対応座標位置を求める処理は、フロントカメラ１１、左サイドカメラ１２、及び、右サイドカメラ１３の場合についても、バックカメラ１４の場合と同様である。このため、詳細な説明は省略する。

設定部２２３は、カメラ１１〜１４の撮影画像上において、複数の対応座標位置から近似曲線を導出する（ステップＳ３）。図８は、図５のステップＳ３を説明するための図である。図８は、バックカメラ１４用のマスク領域を設定する場合を想定した図である。図８に示すように、設定部２２３は、複数の対応座標位置Ｇに基づいて曲線近似を行って近似曲線Ｌを取得する。曲線近似の手法としては、特に限定する趣旨ではないが、例えば最小二乗法が用いられる。

本実施の形態では、死角領域５の境界上の点だけでなく、前述の境界の延長線上の点についても利用して、カメラ１１〜１４の撮影画像における対応座標位置が抽出される。このために、広い範囲に亘って存在する複数の座標位置を利用して曲線近似を行えるために、より正確な近似曲線を得ることができる。

なお、近似曲線を求める処理は、フロントカメラ１１、左サイドカメラ１２、及び、右サイドカメラ１３の場合についても、バックカメラ１４の場合と同様である。このため、詳細な説明は省略する。

設定部２２３は、近似曲線に基づいてマスク領域を設定する（ステップＳ４）。図９は、図５のステップＳ４を説明するための図である。図９は、バックカメラ１４用のマスク領域を設定する場合を想定した図である。バックカメラ１４の撮影画像において、車両４のボディが映り込む大体の位置は予め把握できている。本実施の形態では、撮影画像の下側に車両４が映り込む。このため、設定部２２３は、近似曲線Ｌの下側の領域をマスク領域Ｒとして設定する。

なお、設定部２２３は、マスク領域Ｒを設定すると、設定したマスク領域を記憶部２４に記憶する。すなわち、マスク領域Ｒを一度生成すれば、その後は、再度マスク領域Ｒの設定を行わずに、記憶部２４からマスク領域Ｒに関する情報を読み出して使用することができる。

なお、マスク領域を設定する処理は、フロントカメラ１１、左サイドカメラ１２、及び、右サイドカメラ１３の場合についても、バックカメラ１４の場合と同様である。このため、詳細な説明は省略する。これらのカメラ１１〜１３用のマスク領域についても記憶部２４に記憶される。

本実施の形態によれば、仮想視点画像において設定される死角領域５から、各カメラ１１〜１４の撮影画像において車両４のボディが映り込む領域を推定してマスク領域を設定することができる。車両４のボディが映り込む可能性がある領域として設定される死角領域５は、取付誤差及びキャリブレーション誤差を考慮して設定されている。このために、本実施の形態によれば、起り得るばらつきに適切に対応したマスク領域の設定を行うことができる。すなわち、本実施の形態によれば、マスク領域によってマスクした撮影画像に車両４のボディが映り込んだ領域が残ることを避けられる。また、本実施の形態によれば、車両一台、一台に対して、個別にカメラの取付誤差等を考慮しながらマスク領域の算出を行う必要がなく、作業負担を低減することができる。本実施の形態によれば、同一形状のボディを有する車両４に対しては、同じ処理でマスク領域の設定を行うことができる。

また、本実施の形態によれば、仮想視点画像における死角領域５に関する情報を単一のカメラ１１〜１４の画像上に落とし込み、曲線近似を利用してマスク領域を設定する。既存の技術を流用してマスク領域を設定することができるために、単一のカメラごとにマスク領域を設定するための新たなロジックを開発する必要がなく、開発コストの削減を図ることができる。

また、本実施の形態の画像処理システムでは、各カメラ１１〜１４用のマスク領域を設定した後は、その後、一々マスク領域の設定処理を行うことなく、先に設定したマスク領域情報を記憶部２４から読み出すことによって、検出部２２４による検出処理を行うことができる。検出部２２４は、記憶部２４に記憶されるマスク領域情報によってカメラ１１〜１４の撮影画像にマスク処理を行って、当該マスク処理が施された画像に基づいて検出対象（本実施の形態では駐車枠）の検出処理を行うことができる。なお、マスク処理では、例えば、マスク領域と設定された部分の画素値が０とされる。

＜＜３．留意点＞＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。

例えば、以上に示した実施形態では、画像処理装置２が検出部２２４を備える構成としたが、これは例示である。画像処理部装置は、検出部を備えなくてもよい。この場合には、画像処理装置とは別に、検出対象を検出する検出装置を設け、両装置が有線又は無線でつながれて情報のやり取りを行うシステムが採用されてよい。

また、以上に示した実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの少なくとも一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの少なくとも一部は、ソフトウェア的に実現されてもよい。

２・・・画像処理装置
４・・・車両
５・・・死角領域
１１・・・フロントカメラ
１２・・・左サイドカメラ
１３・・・右サイドカメラ
１４・・・バックカメラ
２１・・・画像生成部
２２３・・・設定部
２２４・・・検出部
Ｇ・・・対応座標位置
Ｌ・・・近似曲線
Ｒ・・・マスク領域
ＳＹＳ２・・・画像処理システム

Claims (8)

1. 車両において用いられる画像処理装置であって、
   前記車両に搭載されるカメラによる撮影画像に基づいて、仮想視点から見た前記車両の周辺を示す仮想視点画像を生成する画像生成部と、
   前記仮想視点画像に基づいて、前記カメラの撮影画像中において所定の処理に使用しない領域であるマスク領域を設定する設定部と、
   を備える画像処理装置。
2. 前記仮想視点画像中には、前記車両の周辺を表示しない死角領域が設定され、
   前記設定部は、前記死角領域に基づいて前記マスク領域を設定する、請求項１に記載の画像処理装置。
3. 前記設定部は、前記死角領域の境界上の複数点のそれぞれについて、前記カメラの撮影画像における対応座標位置を抽出し、複数の前記対応座標位置から導出される近似曲線に基づいて前記マスク領域を設定する、請求項２に記載の画像処理装置。
4. 前記設定部は、前記死角領域の境界上の点に加えて、前記境界の延長線上の点についても前記対応座標位置を抽出して前記マスク領域を設定する、請求項３に記載の画像処理装置。
5. 前記設定部は、前記仮想視点の視点位置が前記車両の真上、かつ、視線方向が真下である場合の前記仮想視点画像に基づいて前記マスク領域を設定する、請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記所定の処理は、前記カメラによる撮影画像に基づいて検出対象を検出する処理であり、
   前記カメラの撮影画像に前記マスク領域によるマスクを行って前記検出対象を検出する検出部を更に備える、請求項１から５のいずれか１項に記載の画像処理装置。
7. 請求項１から６のいずれか１項に記載の画像処理装置と、
   前記カメラと、
   を備える、画像処理システム。
8. 処理装置による画像処理方法であって、
   車両に搭載されるカメラによる撮影画像に基づいて、仮想視点から見た前記車両の周辺を示す仮想視点画像を生成する画像生成工程と、
   前記仮想視点画像に基づいて、前記カメラの撮影画像中において所定の処理に使用しない領域であるマスク領域を設定するマスク領域設定工程と、
   を備える画像処理方法。

Images