JP2010198422A - 画像処理装置、及び画像処理方法 - Google Patents

Abstract

【課題】撮像装置と画像処理装置との接続をどのような接続形態で行ったとしても適切な画像処理を行うことが可能な画像処理装置、及び画像処理方法を提供する。
【解決手段】本発明の画像処理装置は、所定の設置位置に設置される撮影装置を接続する接続部を備えている。また、所定位置の撮像装置の撮像領域に設けられることが予め取り決められている標識に関する情報である、標識情報を記録した記録部を備えている。また記録部は、所定の設置位置を示す設置位置情報を記録している。さらに画像処理装置は、接続部に接続された撮像装置で得られた撮像画像に、所定の標識を示す標識画像が含まれているか否かを判定する判別部を備えている。判別部は、標識画像が含まれている場合に、得られた標識画像と、標識情報と、設置位置情報とに基づいて、撮像を行った撮影装置の設置位置を判別し、判別結果を各種画像処理に用いる。
【選択図】図１

Description

本発明は、画像処理装置、及び画像処理方法に関するものであり、特に複数の撮像装置で撮像された画像を合成して合成画像を生成する画像処理装置、及び画像処理方法に関する。

近年、車両に搭載される各種装置の電子化に伴い、車両に搭載された複数のカメラ（＝撮像装置）で車両周辺を撮像し、その撮影画像をカーナビゲーション装置等の車載用装置の画面に表示するシステムが開発されている。これにより運転手は、例えば後退する場合や右左折する場合に、車両後方を映し出すバックカメラや、車両全体を映し出す複数の広角カメラにより、死角を確認することが可能である。

さらには、撮影した画像を座標変換することにより、地面の上方から眺めたような鳥瞰画像を生成して表示するものがある。この鳥瞰画像を表示することによって、運転手は車両周辺の状況を把握し易くなる。また、複数のカメラから得た鳥瞰画像を幾何変換によって全周鳥瞰画像（＝合成画像）に変換し、これを表示装置に表示させる視界支援システムが開発されている。

この視界支援システムでは、車両全周の状況を上空から見た画像として運転者に提示することができるため、車両の周辺３６０度を死角なくカバーできるという利点がある。上記のような視界支援システムに関連する技術として、特許文献１には、複数の撮像装置による撮影領域の共通撮像領域に映った画像が、三次元物体の画像であるか否かを判断できる監視システムが開示されている。

また特許文献２には、定量的及び統計的な評価に基づき色調整を可能とすることを目的とした調整装置が開示されている。この調整装置は、被調整色に最も近い格子点を基準にして色調整を行い、基準の格子点の色にユーザが指定する調整量を反映する。

特開２００４−２３５９８６号公報 特開２００３−１２５２２４号公報

従来の視界支援システムは、例えば図５及び図６に示すように、車両２００の前後左右にカメラ２１を取り付け、調整ボード４１（＝標識）を設置して、画像処理に関する各種調整を行っていた。図５は、視界支援システムが適用される車両２００を上方から見た平面図である。図６は、車両２００を左斜め前方から見た斜視図である。なお、車両２００及び調整ボード４１は地面、例えば路面上に配置されている。

図５に示すように、車両２００の前部、右側部、左側部及び後部には、カメラ２１が取り付けられている。また図６に示すように、前部のカメラ２１ａは、例えば車両２００のフロントミラー上部に設置される。また右側部のカメラ２１ｂは、例えば車両２００の右側面の最上部に設置される。また左側部のカメラ２１ｃは、例えば車両２００の左側面の最上部に設置される。また後部のカメラ２１ｄは、例えば車両２００の後部の最上部に設置される。

上記のように複数のカメラ２１を取り付ける車両２００が、トラックやバスのように全長の長い車両である場合、複数のカメラ２１と画像処理装置１００（図３）とを接続する配線長が必然的に長くなる。場合によっては、配線長が二十メートルを越す場合もある。そのため、部品の共通化と作業効率を図るため、カメラ２１に取り付ける配線は数十センチ程度とし、接続用の延長ケーブルを数種類用意するのが一般的である。

画像処理装置１００には、接続用ケーブルを接続するための接続端子が複数備えられている。各接続端子は、いずれのカメラ２１を接続するためのものであるかが、予め定められている。つまり、前部用のカメラ２１ａを接続する接続端子と、右側部用のカメラ２１ｂを接続する接続端子とが区別されており、それぞれ適切な接続用ケーブルを接続する必要がある。

適切な接続を行うために、例えば接続端子の色を数種類使用する、もしくは、接続端子そのものを数種類使用する方法がある。しかしこれらの方法はコストがかかるため、製品の単価上昇につながってしまう。

そこで、共通の延長ケーブルを、車両２００の長さに応じて加工する方法が用いられている。この場合、外見だけでは複数の延長ケーブルを判別するのが難しい。車両２００へ組み込む前であればその長さにより判別することも可能であるが、車両２００内部に組み込まれた後では、外見での判断は難しい。このため、設置時に作業者が手作業で印を付ける等により、外見で判断できるようにしなければならない。

以上のことから複数のカメラ用ケーブルを、それぞれ間違わず取り付けるのに手間がかかるという問題があった。もし接続を間違い、接続後に表示装置３１（図３）に画像が表示された時点で間違いに気づいた場合、接続をやり直す必要がある。車両２００の形状によっては、配線をボディに埋め込んでしまうため、配線のやり直しは非常に手間がかかる場合がある。

本発明は、上記の問題を鑑みてなされたものであり、複数の撮像装置がいずれの位置に取り付けられているかを画像処理装置が判別し、撮像装置と画像処理装置との接続をどのような接続形態で行ったとしても適切な画像処理を行うことが可能な画像処理装置、及び画像処理方法を提供することにある。

上記の目的を達成するために本発明の画像処理装置は、予め定められた複数の設置位置のいずれかに設置された撮影装置を接続する接続部と、前記設置位置における前記撮像装置の撮像領域に設けられ、且つ予め定められた形状をした標識に関する情報を含む標識情報、及び前記設置位置を示す設置位置情報を記録した記録部と、前記撮像装置で撮像された撮像画像に前記標識を示す標識画像が含まれているか否かを判定し、含まれている場合に、前記標識画像、前記標識情報、及び前記設置位置情報に基づいて、前記撮像を行った前記撮影装置の設置位置を判別する判別部とを備えることを特徴としている。

この構成によると、本発明の画像処理装置は、所定の設置位置に設置される撮影装置を接続する接続部を備えている。また、所定位置の撮像装置の撮像領域に設けられることが予め取り決められている標識（例えば幾何学図形）に関する情報である、標識情報を記録した記録部を備えている。また記録部は、所定の設置位置を示す設置位置情報を記録している。なお各標識は、設置位置毎にその形状が予め取り決められており、この取り決めに関する情報が標識情報に含まれている。さらに画像処理装置は、接続部に接続された撮像装置で得られた撮像画像に、所定の標識を示す標識画像が含まれているか否かを判定する判別部を備えている。判別部は、標識画像が含まれている場合に、得られた標識画像と、標識情報と、設置位置情報とに基づいて、撮像を行った撮影装置の設置位置を判別し、判別結果を各種画像処理に用いる。このため、接続部に含まれる複数の接続端子にいずれの設置位置の撮像装置を接続するかを、予め取り決めておく必要がない。

また上記の目的を達成するために本発明の画像処理装置は、前記判別部が、前記標識画像、前記設置位置情報、及び前記標識情報に基づいて、前記撮影を行った前記撮像装置の設置角度が予め定められた角度と一致するか否かを判別する。

この構成によると、判別部は、標識画像と、標識情報と、設置位置情報とに基づいて、撮像を行った撮影装置の設置角度が予め定められた正規の角度と一致するか否かを判別する。このため例えば、ユーザが撮像装置を設置する際にその上下を逆に設置してしまったとしても、設置後にそのことを検知することができる。

また上記の目的を達成するために本発明の画像処理装置は、前記判別部が、複数の前記撮像領域が重複する領域である共通撮像領域に設けられた前記標識を用いて、前記撮像を行った前記撮像装置の設置位置又は設置角度を判別する。

この構成によると、判別部は、撮像装置毎の撮像領域が重複する領域である共通撮像領域に設けられた標識を用いて、撮像装置の設置位置又は設置角度を判別する。なお各共通撮像領域に設けられる標識の形状は予め取り決めが行われており、この取り決めに関する情報が標識情報に含まれているものとする。

また上記の目的を達成するために本発明の画像処理装置は、前記撮影装置により撮像された撮像画像から鳥瞰画像を生成する画像変換部と、複数の前記鳥瞰画像を合成して合成画像を生成する画像合成部とを備え、前記画像合成部が、前記判別部により判別された前記撮影装置毎の設置位置又は設置角度に基づいて前記生成を行う。

この構成によると、本発明の画像処理装置は、撮影装置により得られた撮像画像から鳥瞰画像を生成する画像変換部を備えている。また、複数の鳥瞰画像を合成して合成画像、例えば全周鳥瞰画像を生成する画像合成部を備えている。画像合成部は、判別部により判別された撮影装置毎の設置位置、及び設置角度に基づいて、撮像画像の合成処理を行う。このため、例えば画像処理装置と撮像装置との接続形態が変化したとしても、好適な合成画像を生成することができる。

また上記の目的を達成するために本発明の画像処理装置は、前記画像合成部が、前記判別部により前記設置角度が上下反転していると判別された前記撮像装置により撮像された画像を、上下反転処理を施すとともに、前記合成画像の生成に用いる。

この構成によると、画像合成部は、判別部により設置角度が上下反転していると判定された撮像装置が存在する場合に、該当撮像装置で撮像された画像の上下を反転させるとともに、合成画像の生成に用いる。このため、誤った設置方法による設置が行われた場合であっても、好適な合成画像を生成することができる。

また上記の目的を達成するために本発明の画像処理方法は、予め定められた複数の設置位置のいずれかに設置された撮影装置を接続する接続部と、前記設置位置における前記撮像装置の撮像領域に設けられ、且つ予め定められた形状をした標識に関する情報を含む標識情報、及び前記設置位置を示す設置位置情報を記録した記録部とを備える画像処理装置を用いた画像処理方法において、前記撮像装置で撮像された撮像画像に前記標識を示す標識画像が含まれているか否かを判定し、含まれている場合に、前記標識画像、前記標識情報、及び前記設置位置情報に基づいて、前記撮像を行った前記撮影装置の設置位置を判別する判別ステップを含むことを特徴としている。

また上記の目的を達成するために本発明の画像処理方法は、前記判別ステップにおいて、前記標識画像、前記設置位置情報、及び前記標識情報に基づいて、前記撮影を行った前記撮像装置の設置角度が予め定められた角度と一致するか否かを判別する。

また上記の目的を達成するために本発明の画像処理方法は、前記判別ステップにおいて、複数の前記撮像領域が重複する領域である共通撮像領域に設けられた前記標識を用いて、前記撮像を行った前記撮像装置の設置位置又は設置角度を判別する。

以上の構成によると、上述の画像処理装置と同様の作用を得ることが可能である。

本発明の構成によれば、撮像装置の設置及び配線を行う作業者が、撮像装置の設置位置、設置角度、及び画像処理装置への接続先を意識することなく、作業を行うことができる。このため、作業の効率性が上がる。また、接続に共通のケーブルや接続端子を使用することができるため、コストの面で有利である。

本発明の一実施形態に係る画像処理装置の内部構成を示すブロック図である。 本発明の一実施形態に係る画像処理装置の接続形態を示す模式図である。 本発明の一実施形態に係る設置位置判別処理の処理フローを示すフロー図である。 本発明の一実施形態に係る調整ボードの一例を示す模式図である。 車両及び調整ボードの位置関係を示す鳥瞰図である。 カメラが設置された車両の外観を示す斜視図である。 車両周辺の鳥瞰画像及び全周鳥瞰画像の一例を示す模式図である。

以下に本発明の実施形態を、図面を参照しながら説明する。なお、ここで示す実施形態は一例であり、本発明はここに示す実施形態に限定されるものではない。
〈１．装置構成について〉

図１は、本発明の一実施形態に係る画像処理装置１００の内部構成を示したブロック図である。また図２は、画像処理装置１００と外部装置との接続形態を模式的に表した模式図である。本発明の画像処理装置１００は少なくとも、制御部１１、記録部１２、画像入力端子１３（＝接続部）、ビデオデコーダ１４、ビデオエンコーダ１５、及び画像出力端子１６を含むように構成されている。また画像処理装置１００に外部接続される装置として、カメラ２１（＝撮像装置）及びモニタ３１が存在する。

制御部１１は、画像処理装置１００の各部材の駆動を有機的に制御して、画像処理等を統括制御するものである。また制御部１１は、制御部１１が備える演算処理装置上でプログラムを実行することにより実現される機能部として、画像変換部１１ａ、画像合成部１１ｂ、及び判別部１１ｃを備えている。なお、各機能部が実施する処理の詳細については後述する。

記録部１２は、各種データを記録するための媒体であり、例えば不揮発性のフラッシュメモリや、磁気記録媒体であるハードディスク等が用いられる。記録部１２には、撮像装置を設置するための複数の設置位置を示した設置位置情報や、設置位置毎の撮像領域に設けられる調整ボード４１（＝図４）に関する標識情報が記録されている。標識情報には、例えば調整ボード４１に描かれた図形（＝標識）の形状を示す情報や、各形状の図形を含む調整ボード４１がいずれの撮像領域に設けられるかを取り決めた情報等が含まれている。

画像入力端子１３は、カメラ２１から映像信号を入力するための端子である。例えばコンポジット端子、Ｓ映像端子、又はＲＧＢ端子等が用いられる。ビデオデコーダ１４は、入力した映像信号をアナログ信号からデジタル信号に変換する。デジタル信号は制御部１１に渡され、カメラ２１の位置判別処理や画像合成処理等に用いられる。

ビデオエンコーダ１５は、制御部１１により画像処理されたデジタル信号を入力し、デジタル信号からアナログ信号に変換する。画像出力端子１６は、ビデオエンコーダ１５により生成されたアナログ信号を外部の装置、例えばモニタ３１へ出力する端子である。画像出力端子１６は、画像入力端子１３と同様、コンポジット端子、Ｓ映像端子、又はＲＧＢ端子等が用いられる。

カメラ２１は、画像撮像素子及び広角レンズを備えた小型の撮像装置であり、１８０度前後の画角を持つ。なお画像撮像素子としては、例えばＣＣＤ（Charge Coupled Device）を用いる。ＣＣＤは撮像レンズユニット（不図示）により結像された被写体の光像（光学情報）をＲ（赤）・Ｇ（緑）・Ｂ（青）の色成分の画像データに光電変換して出力する。この画像データを含む信号が、画像処理装置１００の画像入力端子１３へ送られる。

カメラ２１は、画像処理装置１００が備える画像入力端子１３の数だけ接続が可能である。本実施形態では、図５に示すように、車両２００の前後左右に計四台のカメラ２１が設置されている。この四台のカメラ２１を接続するため画像処理装置１００は、四つの画像入力端子１３を備えている。これにより、車両２００の四方で撮像された画像の画像処理が可能である。

なお従来は、カメラ２１と画像入力端子１３とは予め定められた接続形態による接続を行う必要があった。つまり、所定のカメラ２１と所定の画像入力端子１３とが一対一の関係にあり、カメラ２１毎に接続先の画像入力端子１３が定められていた。本発明では、後述する設置位置判定処理により、ユーザは接続先の画像入力端子１３を意識することなく、カメラ２１を接続可能とする。

モニタ３１は、画像処理装置より出力される画像を表示する表示装置である。例えばＬＣＤ（Liquid Crystal Display）等を用いた液晶モニタや、ブラウン管を用いたＣＲＴ（Cathode Ray Tube）モニタ等が用いられる。モニタ３１は車両２００の運転席又は助手席等に設置され、運転手等が車両２００周辺の風景を確認できるようになっている。
〈３．画像調整処理について〉

次に、画像処理装置１００が行う画像調整処理について、図４〜図７を用いて説明する。図４は、画像調整に用いる調整ボード４１の一例を示す模式図である。図５は、車両２００及び調整ボード４１を上方から見た鳥瞰図であり、車両２００へのカメラ２１の設置状態を表している。また図６は、車両２００を左斜め前方から見た斜視図である。また、図７は、各撮影領域で撮像された鳥瞰画像の合成結果を模式的に表した模式図である。

図５に示すように、車両２００の前部、右側部、左側部及び後部には、カメラ２１ａ、カメラ２１ｂ、カメラ２１ｃ、及びカメラ２１ｄがそれぞれ取り付けられている。なお本実施形態においては、カメラ２１ａ〜カメラ２１ｄを区別せずに、これらを単にカメラ２１と呼ぶ場合もあるものとする。

図６に示すように、車両２００の前面最上部に前方向のカメラ２１ａが設置される。同様に、車両の右側最上部に右方向のカメラ２１ｂ、左側最上部に左方向のカメラ２１ｃ、後部の最上部に後方向のカメラ２１ｄが設置される。カメラ２１の光軸は、図６に示すように、車両２００に対して斜め下向きの方向になるように調整されている。

画像変換部１１ａは、カメラ２１で撮像された画像より、鳥瞰画像（図７上方）を生成する。鳥瞰画像は、実際のカメラ２１の撮影画像を、仮想カメラの視点である仮想視点から見た画像に変換したものである。より具体的には、鳥瞰画像は、実際のカメラ２１の撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。画像変換部１１ａは、鳥瞰画像の基となる撮影画像に対してレンズ歪み補正などの画像処理を施し、その画像処理後の撮影画像を鳥瞰画像に変換する。

画像合成部１１ｂは、画像変換部１１ａにより生成された複数の鳥瞰画像から全周鳥瞰画像（＝合成画像、図７下方）を生成する。全周鳥瞰図画像を画像合成によって生成する場合、共通撮像領域に対応する画像は、合成する画像間の画素値を平均化することによって生成される。

或いは、予め定義した合成境界線を境に合成する画像を貼り合わせることによって生成される。なお、全周鳥瞰図画像の生成は、実際には各種変換パラメータの校正を行いつつ実施する必要がある。調整ボード４１はこの校正処理を行うための部材である。カメラ２１が撮像する画像に、調整ボード４１が二つずつ映るように、調整ボード４１を配置する。なお、調整ボード４１が映っていない場合は、調整ボード４１の設置位置を手動で移動させる。

調整ボード４１は、画像合成部１１ｂが画像合成処理を行う際に用いる座標を認識するための図形を含んでいる。図４の例では、各調整ボード４１の四隅に存在する白色又は黒色の正方形が座標認識用の図形である。

調整ボード４１は、複数のカメラ２１の共通撮像領域に設置される。例えばカメラ２１ａとカメラ２１ｂは、車両２００の右斜め前方の所定領域を共通して撮影する。つまり、車両１００の右斜め前方の所定領域にて、撮像領域が重なり合う。このように、複数のカメラ２１の撮影領域が重なり合う領域が、共通撮像領域である。

また本実施形態の調整ボード４１は、座標認識用の図形とは別に、特徴的な形状の図形をその中央に含んでいる。例えば図４に示すように、星形図形４２ａ、丸形図形４２ｂ、三角形図形４２ｃ、又は五角形図形４２ｄをそれぞれ含んでいる。また図５に示すように、星形図形４２ａを車両２００の左前方、丸形図形４２ｂを右前方、三角形図形４２ｃを左後方、五角形図形４２ｄを右後方の共通撮像領域に設置する標識とすることを、予め取り決めておく。この取り決めを示す標識情報は、記録部１２に記録され、次に説明する設置位置判別処理において参照される。
〈４．設置位置判別処理について〉

ここで、本発明の一実施形態に係る画像処理装置１００が実施するカメラ２１の設置位置判別処理の概要を、図３のフロー図を用いながら説明する。なお図３の処理フローはカメラ２１ａを例にした処理フローであるが、残りの三台のカメラ２１に関しても、同内容の処理フローで設置位置の判別を行うものとする。

図３に示す処理は、カメラ２１が接続された状態の画像処理装置１００の電源が起動され、且つカメラ２１の設置位置判別指示を検知した場合に開始される。なお設置位置判別指示は例えば、画像処理装置に備えられた操作部（不図示）により所定操作が行われた場合等に発行される。或いは、画像合成部１１ｂが合成画像生成のための各種調整処理を行う際に、あわせて実施する形態でもよい。

本処理の開始後、判別部１１ｃはステップＳ１１０において、カメラ２１に対して撮像指示を与える。次に判別部１１ｃはステップＳ１２０において、撮像により得られた撮像画像の解析を行い、撮像画像の左側及び右側の共通撮像領域に含まれる調整ボード４１に描かれた図形の形状を確認する。

次に判別部１１ｃはステップＳ１３０において、撮像画像左側の調整ボード４１に含まれる図形が、星形図形４２ａであるか否かを判定する。星形図形４２ａではない場合、後述するステップＳ１４０に移行する。星形図形４２ａである場合、判別部１１ｃはステップＳ１３１において、撮像画像右側の調整ボード４１に含まれる図形が、丸形図形４２ｂであるか否かを判定する。

丸形図形４２ｂである場合、判別部１１ｃはステップＳ１３２において、撮像を実施したカメラ２１が車両２００の前部に設置されたカメラ、つまりカメラ２１ａであると決定する。丸形図形４２ｂではなく、三角形図形４２ｃである場合、左側部に設置されたカメラ２１が１８０度回転しているとみなす。

この場合、判別部１１ｃはステップＳ１３３において、撮像を実施したカメラ２１が車両２００の左側部に設置されたカメラ、つまりカメラ２１ｃであると決定する。そして判別部１１ｃはステップＳ１３４において、撮像画像を１８０度回転させるように、画像変換部１１ａに指示する。この指示を受けた画像変換部１１ａは、この回転処理をカメラ２１ｃで撮像を行う度に実施することを、設定情報として記録部１２に記録する。

ステップＳ１４０に処理が移行した場合、判別部１１ｃはステップＳ１４０において、撮像画像左側の調整ボード４１に含まれる図形が、三角形図形４２ｃであるか否かを判定する。三角形図形４２ｃではない場合、後述するステップＳ１５０に移行する。三角形図形４２ｃである場合、判別部１１ｃはステップＳ１４１において、撮像画像右側の調整ボード４１に含まれる図形が、星形図形４２ａであるか否かを判定する。

星形図形４２ａである場合、判別部１１ｃはステップＳ１４２において、撮像を実施したカメラ２１が車両２００の左側部に設置されたカメラ、つまりカメラ２１ｃであると決定する。星形図形４２ａではなく、五角形図形４２ｄである場合、後部に設置されたカメラ２１が１８０度回転しているとみなす。

このため、判別部１１ｃはステップＳ１４３において、撮像を実施したカメラ２１が車両２００の後部に設置されたカメラ、つまりカメラ２１ｄであると決定する。そして判別部１１ｃはステップＳ１４４において、撮像画像を１８０度回転させるように、画像変換部１１ａに指示する。この指示を受けた画像変換部１１ａは、この回転処理をカメラ２１ｄで撮像を行う度に実施することを、設定情報として記録部１２に記録する。

ステップＳ１５０に処理が移行した場合、判別部１１ｃはステップＳ１５０において、撮像画像左側の調整ボード４１に含まれる図形が、五角形図形４２ｄであるか否かを判定する。五角形図形４２ｄではない場合、後述するステップＳ１６０に移行する。五角形図形４２ｄである場合、判別部１１ｃはステップＳ１５１において、撮像画像右側の調整ボード４１に含まれる図形が、三角形図形４２ｃであるか否かを判定する。

三角形図形４２ｃである場合、判別部１１ｃはステップＳ１５２において、撮像を実施したカメラ２１が車両２００の後部に設置されたカメラ、つまりカメラ２１ｄであると決定する。三角形図形４２ｃではなく、丸形図形４２ｂである場合、右側部に設置されたカメラ２１が１８０度回転しているとみなす。

このため、判別部１１ｃはステップＳ１５３において、撮像を実施したカメラ２１が車両２００の右側部に設置されたカメラ、つまりカメラ２１ｂであると決定する。そして判別部１１ｃはステップＳ１５４において、撮像画像を１８０度回転させるように、画像変換部１１ａに指示する。この指示を受けた画像変換部１１ａは、この回転処理をカメラ２１ｂで撮像を行う度に実施することを、設定情報として記録部１２に記録する。

ステップＳ１６０に処理が移行した場合、判別部１１ｃはステップＳ１６０において、撮像画像左側の調整ボード４１に含まれる図形が、丸形図形４２ｂであるか否かを判定する。丸形図形４２ｂではない場合、判別部１１ｃはステップＳ１７０において、カメラ２１による再撮影を行った後、再びステップＳ１２０に移行する。丸形図形４２ｂである場合、判別部１１ｃはステップＳ１６１において、撮像画像右側の調整ボード４１に含まれる図形が、五角形図形４２ｄであるか否かを判定する。

五角形図形４２ｄである場合、判別部１１ｃはステップＳ１６２において、撮像を実施したカメラ２１が車両２００の右側部に設置されたカメラ、つまりカメラ２１ｂであると決定する。五角形図形４２ｄではなく、星形図形４２ａである場合、前部に設置されたカメラ２１が１８０度回転しているとみなす。

このため、判別部１１ｃはステップＳ１６３において、撮像を実施したカメラ２１が車両２００の前部に設置されたカメラ、つまりカメラ２１ａであると決定する。そして判別部１１ｃはステップＳ１６４において、撮像画像を１８０度回転させるように、画像変換部１１ａに指示する。この指示を受けた画像変換部１１ａは、この回転処理をカメラ２１ａで撮像を行う度に実施することを、設定情報として記録部１２に記録する。

以上の処理をカメラ２１の台数分だけ行うことにより、それぞれのカメラ２１が車両のいずれの設置位置に設置されているか決定する。そして決定した内容を示す判別情報を、記録部１２に記録する。画像変換部１１ａ及び画像合成部１１ｂは、この判別情報に基づき、画像変換処理や画像合成処理等を行う。なお画像合成処理を行う場合、回転処理が必要なカメラ２１で撮像された画像については、上述の回転処理と合成処理とを同時に行うことも可能である。

以上に説明した本実施形態によれば、カメラ２１により撮像された画像から、そのカメラ２１がどの設置位置に設置されているかを判別することができる。また、以上の処理をユーザ操作を必要とすることなく行うことが可能であるため、カメラ２１の接続形態を自動認識し、適切な画像処理を行うことができる。

また上記の実施形態によれば、設置位置判別用の標識として調整ボード４１を使用することにより、画像合成に関連する各種調整処理と、設置位置判別処理とをあわせて行うことが可能である。
［その他の実施の形態］

以上、好ましい実施の形態及び実施例を挙げて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。

従って本発明は、以下の形態にも適用可能である。
（Ａ）上記実施形態では、画像処理装置１００を搭載する移動体として車両２００を例に説明を行っているが、これ以外の移動体に搭載される画像処理装置において、本発明の設置位置判別処理を適用する形態でもよい。例えば航空機、船舶、列車等の移動体に搭載する形態でもよい。またカメラ２１及び画像処理装置１００は、必ずしも移動体に搭載されている必要はなく、建造物の周辺を監視する監視システム等に適用する形態でもよい。

（Ｂ）上記実施形態では、カメラ２１の台数が四台である例で説明を行っているが、設置台数はこの数に限定されるものではない。例えば画角が広いカメラ２１を用いる場合、二台又は三台に台数を減らした形態でもよい。逆に画角が狭いカメラ２１を用いる場合、五台又は六台のように、台数を増やした形態でもよい。この場合、カメラの台数に応じて調整ボード４１の数を増減させて、各カメラ２１の設置位置を判別する。

（Ｃ）上記実施例では、調整ボード４１に含まれる特徴的な図形として、星形図形４２ａ〜五角形図形４２ｄのようなそれぞれ形状の異なる図形を用いているが、これ以外の図形を標識として用いる形態でもよい。例えば、形状は同じであるが色が異なる図形や、数字や文字等を含む記号を標識として用いる形態でもよい。

（Ｄ）上記実施形態では、画像合成部１１ｂが生成する合成画像として全周鳥瞰画像を例に説明を行っているが、この他の合成画像を生成する場合に、本発明の設置位置判別処理を用いる形態でもよい。例えば後部及び両側部の三つのカメラ２１で撮像された撮像画像を用いて、車両２００の後方画像を生成する場合に用いる形態でもよい。

（Ｅ）上記実施形態では、ビデオデコーダ１４が一つである構成を例に説明を行っているが、映像入力端子１３毎に個別のビデオデコーダ１４を備える形態でもよい。

（Ｆ）上記実施形態では、本発明の各処理に関わる画像処理装置１００の各種機能部が、マイクロプロセッサ等の演算処理装置上でプログラムを実行することにより実現されているが、各種機能部が複数の回路により実現される形態でもよい。

１００ 画像処理装置
１１ 制御部
１１ａ 画像変換部
１１ｂ 画像合成部
１１ｃ 判別部
１２ 記録部
１３ 画像入力端子（接続部）
１４ ビデオデコーダ
１５ ビデオエンコーダ
１６ 画像出力端子
２１ カメラ（撮像装置）
３１ モニタ
４１ 調整ボード（標識）

Claims (8)

1. 予め定められた複数の設置位置のいずれかに設置された撮影装置を接続する接続部と、
   前記設置位置における前記撮像装置の撮像領域に設けられ、且つ予め定められた形状をした標識に関する情報を含む標識情報、及び前記設置位置を示す設置位置情報を記録した記録部と、
   前記撮像装置で撮像された撮像画像に前記標識を示す標識画像が含まれているか否かを判定し、含まれている場合に、前記標識画像、前記標識情報、及び前記設置位置情報に基づいて、前記撮像を行った前記撮影装置の設置位置を判別する判別部とを備えること
   を特徴とする画像処理装置。
2. 前記判別部が、前記標識画像、前記設置位置情報、及び前記標識情報に基づいて、前記撮影を行った前記撮像装置の設置角度が予め定められた角度と一致するか否かを判別する、
   請求項１に記載の画像処理装置。
3. 前記判別部が、複数の前記撮像領域が重複する領域である共通撮像領域に設けられた前記標識を用いて、前記撮像を行った前記撮像装置の設置位置又は設置角度を判別する、
   請求項２に記載の画像処理装置。
4. 前記撮影装置により撮像された撮像画像から鳥瞰画像を生成する画像変換部と、
   複数の前記鳥瞰画像を合成して合成画像を生成する画像合成部とを備え、
   前記画像合成部が、前記判別部により判別された前記撮影装置毎の設置位置又は設置角度に基づいて前記生成を行う、
   請求項２又は請求項３に記載の画像処理装置。
5. 前記画像合成部が、前記判別部により前記設置角度が上下反転していると判別された前記撮像装置により撮像された画像を、上下反転処理を施すとともに、前記合成画像の生成に用いる、
   請求項４に記載の画像処理装置。
6. 予め定められた複数の設置位置のいずれかに設置された撮影装置を接続する接続部と、
   前記設置位置における前記撮像装置の撮像領域に設けられ、且つ予め定められた形状をした標識に関する情報を含む標識情報、及び前記設置位置を示す設置位置情報を記録した記録部とを備える画像処理装置を用いた画像処理方法において、
   前記撮像装置で撮像された撮像画像に前記標識を示す標識画像が含まれているか否かを判定し、含まれている場合に、前記標識画像、前記標識情報、及び前記設置位置情報に基づいて、前記撮像を行った前記撮影装置の設置位置を判別する判別ステップを含むこと
   を特徴とする画像処理方法。
7. 前記判別ステップにおいて、前記標識画像、前記設置位置情報、及び前記標識情報に基づいて、前記撮影を行った前記撮像装置の設置角度が予め定められた角度と一致するか否かを判別する、
   請求項６に記載の画像処理方法。
8. 前記判別ステップにおいて、複数の前記撮像領域が重複する領域である共通撮像領域に設けられた前記標識を用いて、前記撮像を行った前記撮像装置の設置位置又は設置角度を判別する、
   請求項６に記載の画像処理方法。

Images