JP2014086948A - 撮像装置 - Google Patents

Abstract

【課題】複数の画像の位置合わせの精度を向上させる。
【解決手段】第１及び第２入力画像（３１０、３２０）の位置合わせを行う際、各入力画像の撮影地点の近隣に位置するランドマーク（ＬＭ）を特定し、当該ランドマーク（ランドマークの画像データ）が第１及び第２入力画像上に存在しているとき、当該ランドマークを基準にして第１及び第２入力画像の位置合わせを行う。例えば、第１及び第２入力画像上のランドマークが重なり合うように、第１及び／又は第２入力画像に幾何学的変換を施す。
【選択図】図１２

Description

本発明は、デジタルカメラ等の撮像装置に関する。

視差を有する複数の入力画像をパノラマ合成する方法や、視差を有する複数の入力画像を合成することで三次元画像データを生成する方法が知られている。この種の合成を行うためには、別々に撮影された複数の入力画像の位置合わせが必要である。各入力画像から抽出した特徴量を元に複数の入力画像間で対応点を探索し、その探索結果を用いて位置合わせを実現することができる。より具体的には例えば、或る入力画像から特徴点を抽出して該特徴点に対応する点を他の入力画像の中から探索し、当該特徴点を基準に第１及び第２入力画像の位置合わせを行う。パノラマ合成を行う場合には、互いに対応しあう特徴点同士が重なるように複数の入力画像を位置合わせ（幾何学的変換）し、結合する。画像上のエッジ部分などが特徴点として利用される。

尚、ランドマークの部位毎に撮影した複数のランドマーク画像と各部位の位置情報とをそれぞれ関連付けて蓄積しておいて、撮影によって得られた風景画像と各ランドマーク画像を照合し、照合度が最も高いランドマーク画像に対応する部位の位置情報を表示する方法が提案されている（下記特許文献１参照）。

特開２０１２−９９２３号公報

上述の如く、位置合わせは、各入力画像から抽出された特徴量を元に複数の入力画像間で対応点を探索することで実現されるが、特徴量が類似した複数の物体が入力画像に存在していたり、多数の物体が入力画像に入り混じっていたりすると、位置合わせの基準となるべき特徴点に類似する点が１つの入力画像に存在することとなり、結果、対応点の探索を失敗する（対応点を誤検出する）ことがある。対応点の探索が正しく行われなければ、位置合わせを精度良く行えない。パノラマ合成や三次元画像データの生成等を適正に行うためにも位置合わせの精度向上は肝要である。尚、特許文献１の方法は、位置合わせの精度向上に寄与するものではない。

そこで本発明は、複数の画像の位置合わせの精度向上に寄与する撮像装置を提供することを目的とする。

本発明に係る撮像装置は、視差を有する複数回の撮影によって第１及び第２入力画像を含む複数の入力画像を取得する撮像部と、前記複数の入力画像の画像データに基づき前記複数の入力画像の位置合わせを行う画像処理部と、各入力画像の撮影地点を取得する撮影地点取得部と、を備えた撮像装置において、前記画像処理部は、各入力画像の撮影地点に対応した地点に位置する所定の参照物体が各入力画像上に存在しているか否かを検出し、前記第１及び第２入力画像上に前記参照物体が存在している場合、前記参照物体を基準にして前記第１及び第２入力画像の位置合わせを行うことを特徴とする。

各入力画像の撮影地点と何ら関わりを持たない物体（当該物体のエッジ等）を基準として位置合わせを行う場合、当該物体と当該物体に類似する物体が混同されて、位置合わせが正しく行われないことがある。各入力画像の撮影地点に対応した地点に位置する所定の参照物体（例えば予め登録された特徴物体）を基準にして位置合わせを行うことにより、このような混同が回避され、位置合わせの向上が期待される。

本発明によれば、複数の画像の位置合わせの精度向上に寄与する撮像装置を提供することが可能である。

本発明の実施形態に係るカメラの概略全体ブロック図である。 本発明の実施形態に係る撮像部の内部構成図である。 本発明の実施形態に係る特殊動作モードの動作に関与する部位のブロック図である ｎ枚の入力画像を示す図である。 入力画像に関する画像ファイルの構造を示す図（ａ）と、入力画像の付加情報の内容を示す図（ｂ）である。 過去画像保持部に複数の過去画像が保持されている様子を示す図である。 過去画像の付加情報の内容を示す図である。 ランドマークデータベースに複数のランドマークの画像が保持されている様子を示す図である。 参照過去画像を示す図（ａ）と、参照過去画像から参照ランドマーク画像が切り出される様子を示す図（ｂ）と、ランドマーク特徴データの内容を示す図（ｃ）である。 カメラ及びランドマーク間に遮蔽物が存在する様子を示す図（ａ）と、参照過去画像においてランドマークの一部が遮蔽されている様子を示す図（ｂ）である。 ランドマークの画像データを含んだ第１及び第２入力画像を示す図である。 第１及び第２入力画像についての位置合わせ用データの生成方法を説明するための図である。 ランドマークの所在地と各画像の撮影地点及び撮影方位を示す図である。 第１及び第２入力画像と、それらの推定画像が対比される様子を示す図である。 本発明の第４実施例に係るガイド処理部及び地図データベースを示す図である。 ガイド表示処理における表示画面の例を示す図である。 地図上における制限区域を示す図である。 ガイド表示処理における表示画面の他の例を示す図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。

図１は、本発明の実施形態に係るカメラ１の概略全体ブロック図である。撮像装置であるカメラ１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラ、又は、静止画像のみを撮影及び記録可能なデジタルスチルカメラである。また、カメラ１は、携帯電話機などの任意の情報機器に搭載されるものであっても良い。カメラ１は、符号１１〜１６によって参照される各部位を備える。表示部１３は、カメラ１に対して有線又は無線で接続された外部表示装置（即ちカメラ１の外部に設けられた表示装置）であっても良い。

撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、ドライバ３４と、を有している。光学系３５は、撮像部１１の光軸方向に移動可能な、撮像部１１の画角調整用のズームレンズ３０及び焦点合わせ用のフォーカスレンズ３１を含む。ドライバ３４は、主処理／制御部１２からの制御信号に基づき、レンズ３０及び３１の位置並びに絞り３２の開度（即ち絞り値）を制御する。撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成され、各受光画素は、光学系３５及び絞り３２を介して入射した被写体像（被写体の光学像）を光電変換することで、被写体像の信号を撮像部１１の出力信号として出力する。

主処理／制御部１２は、信号処理回路、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)及びＲＡＭ（Random Access Memory）等にて形成され、撮像部１１の出力信号に対して所定の信号処理を施すことで、撮像部１１による被写体の撮影画像の画像データを生成する。表示部１３は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主処理／制御部１２の制御の下、任意の画像を表示する。記録媒体１４は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主処理／制御部１２による制御の下、撮影画像の画像データ等を記録する。操作部１５は、ユーザからの各種操作を受け付ける。タッチパネルを用いて操作部１５が形成されうる。

ＧＰＳ測位部１６は、グローバルポジショニングシステム（ＧＰＳ）を形成する衛星より送信される信号を受信し、受信信号に基づきカメラ１の現在地（所在地）を求める測位処理を行うことで現在地データを取得する。現在地データは、カメラ１の経度、緯度及び高度を含む。但し、カメラ１の高度は、測位処理によって取得されないこともある。

以下では、撮影部１１にて撮影された二次元の静止画像（即ち、撮像素子３３の出力信号に基づく静止画像）を入力画像と呼ぶ。

カメラ１は、複数の動作モードの何れかにて動作することができ、以下では、複数の動作モードに含まれる特殊動作モードにおけるカメラ１の動作を説明する。図３は、特殊動作モードの動作に関与する部位のブロック図である。図３に示す画像処理部５０及びランドマーク検出部５４を主処理／制御部１２に設けておくことができる。画像処理部５０は、位置合わせ用データ生成部５１、位置合わせ処理部５２及び合成処理部５３を備える。

特殊撮影モードでは、互いに異なる時刻でのｎ回の撮影によって互いに視差を有するｎ枚の入力画像Ｉ［１］〜Ｉ［ｎ］が取得される（図４参照；ｎは２以上の任意の整数）。即ち、入力画像の撮影時におけるカメラ１の位置又はカメラ１の光軸の向きが入力画像Ｉ［１］〜Ｉ［ｎ］間で互いに異なる。ｉ及びｊを互いに異なる整数とした場合、入力画像の撮影時におけるカメラ１の位置とカメラ１の光軸の向きの双方が、入力画像Ｉ［ｉ］及びＩ［ｊ］間で互いに異なっていても良い。典型的には例えば、所謂スイングパノラマ撮影の如く、カメラ１を水平又は垂直方向に振りながらｎ枚の入力画像Ｉ［１］〜Ｉ［ｎ］が撮影される。

カメラ１は、各入力画像の画像データを、対応する画像ファイルに格納して記録媒体１４に保存することができる。図５（ａ）に、入力画像Ｉ［ｉ］に対応する、１つの画像ファイルＦＬ［ｉ］の構造を示す。入力画像ごとに画像ファイルを形成及び保存することができる。画像ファイルＦＬ［ｉ］は、入力画像Ｉ［ｉ］の画像データと入力画像Ｉ［ｉ］の付加情報ＩＮＦ_I［ｉ］を格納している。図５（ｂ）に示す如く、入力画像Ｉ［ｉ］の付加情報ＩＮＦ_I［ｉ］は、入力画像Ｉ［ｉ］の撮影地点（即ち、入力画像Ｉ［ｉ］の撮影時における現在地データ）を示す撮影地点情報と、入力画像Ｉ［ｉ］の撮影方位を示す撮影方位情報と、入力画像Ｉ［ｉ］の撮影時におけるカメラ内部パラメータと、を含んでいる。但し、撮影方位情報は付加情報ＩＮＦ_I［ｉ］に含まれないこともある。

入力画像Ｉ［ｉ］の撮影方位は、入力画像Ｉ［ｉ］の撮影時におけるカメラ１の撮影方向の方位（入力画像Ｉ［ｉ］の撮影時においてカメラ１の光軸が向いている方位）である。カメラ１は、電子コンパス等を用いて入力画像Ｉ［ｉ］の撮影方位を検出することができる。カメラ内部パラメータとは、撮像部１１の内部特性を規定するパラメータであり、焦点距離、レンズ歪みパラメータなどを含む。

以下の説明において、特に記述無き限り、入力画像は入力画像Ｉ［１］〜Ｉ［ｎ］の何れかを指し、ｎ枚の入力画像は入力画像Ｉ［１］〜Ｉ［ｎ］を指す。

画像処理部５０内の各部位は、ランドマーク検出部５４からのランドマーク特徴データを用いて特徴的な動作を行うが、まず、画像処理部５０の基本的な機能を説明する。位置合わせ用データ生成部５１及び位置合わせ処理部５２は、互いに協働して、ｎ枚の入力画像の画像データに基づきｎ枚の入力画像の位置合わせを行う。具体的には、位置合わせの条件を指定する位置合わせ用データが生成部５１にて生成され、処理部５２にて位置合わせ用データに基づき実際に位置合わせが行われる。合成処理部５３は、位置合わせされたｎ枚の入力画像を合成することで出力画像データを生成する。出力画像データは、例えば、パノラマ合成画像の画像データ、又は、出力三次元画像データである。パノラマ合成画像は、各入力画像よりも広い画角を有する広画角画像である。出力三次元画像データは、複数の入力画像に共通して含まれる物体の３次元情報を含むデータである。

ｎ枚の入力画像の位置合わせは、ｎ枚の入力画像に含まれる第１及び第２入力画像の位置合わせを含む。第１及び第２入力画像は、ｎ枚の入力画像に含まれる任意の２枚の入力画像であり、ｎ枚の入力画像の中で第１及び第２入力画像の組み合わせを変化させて、各組み合わせにおいて第１及び第２入力画像の位置合わせを行えば、ｎ枚の入力画像の位置合わせが実現される。以下では、説明の具体化のため、第１及び第２入力画像に対して特に注目する。ｎ＝３の場合には、１枚目及び２枚目の入力画像の組み合わせ、２枚目及び３枚目の入力画像の組み合わせ、３枚目及び１枚目の入力画像の組み合わせの夫々を、第１及び第２入力画像の組み合わせと捉えれば良い。ｎ≧４の場合も同様である。

第１及び第２入力画像の位置合わせ用の処理は、第１入力画像における各点と第２入力画像における各点との対応関係を特定する（換言すれば、第１入力画像における各点を第２入力画像における各点に対応付ける）対応付け処理を含む。対応付け処理では、第１入力画像を形成する画素の夫々を注目点として捉え、第１入力画像の注目点における物体の画像データが第２入力画像のどの点に存在しているのかを検出する。この検出結果を示すデータ（即ち、上記対応関係を示すデータ）を位置合わせ用データと呼ぶ。上記の対応付け処理は、一般的に、対応点探索又はステレオマッチングとも呼ばれる。

第１及び第２入力画像の位置合わせは、位置合わせ用データに基づき、第１及び第２入力画像の少なくとも一方に対して、幾何学的変換を含む画像処理を行うことを含む。例えば、上記幾何学的変換により、個別に撮影された第１及び第２入力画像を共通座標系上に定義することができる。一例として、第１入力画像の各画素を所定の共通座標系上に配置した状態で、上記対応付け処理の結果に応じた幾何学的変換を第２入力画像に施せば、第２入力画像の各画素を共通座標系上に配置することができる。

パノラマ合成画像を生成する場合には、上記共通座標系上において第１及び第２入力画像間の対応点同士が互いに重なり合うように上記幾何学的変換を行えば良く、位置合わせ後の第１及び第２入力画像を公知のイメージモザイキング法によって合成することでパノラマ合成画像を得ることができる。

第１及び第２入力画像に基づく出力三次元画像データは、第１及び第２入力画像内の共通物体（即ち第１及び第２入力画像内に共通して含まれる物体）の３次元情報を含むデータである。出力三次元画像データは、多視点画像データ（ＭＰＯ形式のデータやＭＰＥＧ−ＭＶＣ（Moving Picture Experts Group-Multiview Video Coding）のデータ）であっても良い。多視点画像データは、例えば左眼画像及び右眼画像の画像データを含む。左眼画像及び右眼画像の画像データを専用再生装置（不図示）に供給したとき、専用再生装置の観察者の左眼にのみ左眼画像が見えるように且つ当該観察者の右眼にのみ右眼画像が見えるように、専用再生装置は左眼画像及び右眼画像を表示する。これにより、専用再生装置の観察者は、第１及び第２入力画像内の共通物体を三次元的に観測することができる。専用再生装置としての機能をカメラ１が有していても良い。

出力三次元画像データは、第１及び第２入力画像内の共通物体の三次元形状を示すポリゴンデータ等であっても良い。即ち、ＯＢＪファイルフォーマット又は３Ｄ-ｓｔｕｄｉｏフォーマットなどのように、ポリゴンとテクスチャの画像形式で、出力三次元画像データが形成されていてもよい。

図３の過去画像保持部５５は、ｎ枚の入力画像の撮影より過去に撮影された画像（以下、過去画像という）を１以上保持している。各過去画像は、カメラ１によって撮影された画像でも良いし、カメラ１以外のカメラによって撮影された画像でも良い。これに関連して、保持部５５は、記録媒体１４及び外部記録媒体（不図示）の内の少なくとも一方にて形成される。外部記録媒体は、カメラ１の外部に設けられ且つカメラ１と有線又は無線にて接続された機器（例えばネットワーク上のサーバ機器）内の記録媒体である。図６に、保持部５５に保持されているｍ枚の過去画像ＰＩ［１］〜ＰＩ［ｍ］を示す。ここでは、ｍは２以上の整数であると考えるが、ｍ＝１でありうる。カメラ１内の任意の部位は保持部５５の保持内容を自由に参照できる。

過去画像ごとの付加情報も保持部５５に保持されている。過去画像ＰＩ［ｉ］に対応する付加情報を記号ＩＮＦ_PI［ｉ］にて表す。過去画像ＰＩ［ｉ］を撮影したカメラがカメラ１であるならば、過去画像ＰＩ［ｉ］の画像ファイルに格納された付加情報が付加情報ＩＮＦ_PI［ｉ］として機能する（図５（ａ）及び（ｂ）も参照）。図７に示す如く、付加情報ＩＮＦ_PI［ｉ］は、過去画像ＰＩ［ｉ］の撮影地点を示す撮影地点情報と、過去画像ＰＩ［ｉ］の撮影方位を示す撮影方位情報と、過去画像ＰＩ［ｉ］の撮影時におけるカメラ内部パラメータと、を含んでいる。但し、撮影方位情報は付加情報ＩＮＦ_PI［ｉ］に含まれないこともある。

過去画像ＰＩ［ｉ］を撮影したカメラ（即ちカメラ１又はカメラ１以外のカメラ）を、便宜上、カメラＣＭと呼ぶと、過去画像ＰＩ［ｉ］の撮影地点は、過去画像ＰＩ［ｉ］の撮影時におけるカメラＣＭの存在位置（カメラＣＭがカメラ１ならば、過去画像ＰＩ［ｉ］の撮影時における現在地データ）であり、過去画像ＰＩ［ｉ］の撮影方位は、過去画像ＰＩ［ｉ］の撮影時におけるカメラＣＭの撮影方向の方位であり、過去画像ＰＩ［ｉ］の撮影時におけるカメラ内部パラメータは、過去画像ＰＩ［ｉ］の撮影時におけるカメラＣＭの内部パラメータ（焦点距離等）である。

図３のランドマークデータベース５６は、図８に示す如く、様々なランドマークの画像と各ランドマークの所在地を示す所持地情報を保持している。データベース５６は、カメラ１の外部に設けられ且つカメラ１と有線又は無線にて接続された機器（例えばネットワーク上のサーバ機器）内に設けられていても良いし、カメラ１内に設けられていても良い。ランドマークは、データベース５６に予め登録され、且つ、実空間上で静止及び固定された、地図上の特徴物体（建造物、遺跡など）である。データベース５６には、複数のランドマークについての複数の画像が保持されているが、データベース５６に保持されるランドマークの画像は、１つのランドマークの画像でありうる。カメラ１内の任意の部位はデータベース５６の保持内容を自由に参照できる。

図３のランドマーク検出部（抽出部）５４は、保持部５５及びデータベース５６に接続され、各ランドマークの所在地情報及び各入力画像の撮影地点情報に基づき、データベース５６に画像が保持されている１以上のランドマーク（候補物体）の中から各入力画像の撮影地点に対応する地点に位置するランドマークを参照ランドマーク（参照物体）として抽出する。例えば、ｎ枚の入力画像の撮影地点の何れか又はｎ枚の入力画像の撮影地点の重心位置から所定距離以下に存在しているランドマークを、各入力画像の撮影地点情報及び各ランドマークの所在地情報に基づき、参照ランドマークとして抽出する。

更に、ランドマーク検出部（抽出部）５４は、データベース５６から取得される参照ランドマークの画像と各過去画像とのマッチングを行うことにより、過去画像ＰＩ［１］〜ＰＩ［ｍ］の中に参照ランドマークの撮影データ（参照ランドマークの画像）を含んだ過去画像が存在しているかを検出し、過去画像ＰＩ［１］〜ＰＩ［ｍ］（ｍ枚の候補画像）の中から参照ランドマークの撮影データを含んだ過去画像を参照過去画像として抽出する。この際、各過去画像の撮影地点情報と参照ランドマークの所在地情報とに基づき、マッチングを行う過去画像を限定すると良い（参照ランドマークの所在地に近い撮影地点にて撮影された過去画像に対してのみ上記マッチングを行うと良い）。

図９（ａ）の画像３００は、過去画像ＰＩ［１］〜ＰＩ［ｍ］から抽出された参照過去画像である。参照過去画像３００には、参照ランドマークであるランドマークＬＭの画像が含まれている。ランドマーク検出部５４は、参照過去画像３００からランドマークＬＭの画像部分を切り出すことで参照ランドマーク画像３０１を生成し（図９（ｂ）参照）、参照ランドマーク画像３０１を含むランドマーク特徴データを生成及び出力する。図９（ｃ）に示す如く、ランドマーク特徴データは、参照ランドマーク画像３０１に加えて、参照過去画像３００内における参照ランドマーク画像３０１の位置を示す画像内ランドマーク位置情報３０２、ランドマークＬＭの種類を示すランドマーク種類情報３０３、カメラ／ランドマーク位置関係情報３０４、及び、ランドマーク隠れ情報３０５を、更に含んでいる。ランドマーク種類情報３０３はデータベース５６から供給されても良い。

図１０（ａ）に示す如く、参照過去画像の撮影時において、カメラ及びランドマークＬＭ間に何らかの遮蔽物が存在していた場合、図１０（ｂ）のような参照過去画像３００’が得られることになる。参照過去画像３００’では、ランドマークＬＭの一部が遮蔽物で遮蔽されている結果、ランドマークＬＭの一部の画像データが欠落している。ランドマーク隠れ情報３０５は、参照過去画像上でランドマークＬＭが遮蔽されている部分を特定する。情報３０４については後述する。

［ランドマーク検出部と連動した画像処理部の動作］
ランドマーク特徴データに応じた画像処理部５０の動作について説明する。位置合わせ用データ生成部５１は、ランドマーク特徴データを用い、各入力画像上にランドマークＬＭが存在しているか否か（換言すれば、各入力画像内にランドマークＬＭの画像データが含まれているか否か）を検出する。具体的には例えば、入力画像ごとに、参照ランドマーク画像３０１及び入力画像間のマッチングを行うことで入力画像上にランドマークＬＭが存在しているか否かを検出すれば良い。この際、隠れ情報３０５を参照すればマッチングの精度が増す。或る入力画像上にランドマークＬＭが存在していると検出されたとき、当該入力画像上におけるランドマークＬＭの位置が定まり、その位置は位置合わせ用データに含められる。

今、図１１（ａ）及び（ｂ）の第１入力画像３１０及び第２入力画像３２０上にランドマークＬＭが存在している（換言すれば、入力画像３１０及び３２０内にランドマークＬＭの画像データが含まれている）と検出されたものとする。この場合、データ生成部５１は、ランドマーク特徴データ（特に参照ランドマーク画像３０１の画像データ）並びに入力画像３１０及び３２０の画像データに基づき、ランドマークＬＭを基準にして位置合わせ用データを生成し、位置合わせ処理部５２は、その位置合わせ用データを用いて入力画像３１０及び３２０の位置合わせを行う。即ち、生成部５１及び処理部５２は、ランドマークＬＭを基準にして入力画像３１０及び３２０の位置合わせを行う（つまり、入力画像３１０上のランドマークＬＭと入力画像３２０上のランドマークＬＭが共通物体であると認識した上で対応付け処理を行い、入力画像３１０及び３２０の位置合わせを行う）。この際にも、隠れ情報３０５を参照すれば良く、これによって位置合わせの精度向上が図られる。

複数の入力画像の合成等を行うための位置合わせでは、一般的に、各入力画像から抽出された特徴量を元に複数の入力画像間で対応点探索を行うが、特徴量が類似した複数の物体が入力画像に存在していたり、多数の物体が入力画像に入り混じったりしていると、位置合わせを精度良く行えない場合がある。これに対し、本実施形態では、地図上の特徴物体であるランドマークを基準にして位置合わせを行うため、他の物体の影響を受けにくい高精度の位置合わせが可能であり、結果、当該位置合わせ結果を利用した合成処理により適正な出力画像データ（図３参照）を得ることが可能となる。

尚、ｎ枚の入力画像の内、少なくとも２枚の入力画像に共通のランドマークが写っていれば、当該２枚の入力画像に対し、ランドマークを基準にした位置合わせ及び合成処理が可能であるが、共通のランドマークが写っていない入力画像に対しては、公知の位置合わせが適用される。即ち例えば、第１及び第２入力画像に共通のランドマークが写っているが、第１及び第２入力画像と異なる第３入力画像には当該ランドマークが写っていない場合、画像処理部５０は、第１及び第３入力画像の画像データに基づく公知の方法によって第１及び第３入力画像の位置合わせ及び合成を行う、又は、第２及び第３入力画像の画像データに基づく公知の方法によって第２及び第３入力画像の位置合わせ及び合成を行う。

上述の構成及び動作を基本とする、幾つかの実施例を以下に説明する。矛盾無き限り、以下に述べる第１〜第４実施例の内、任意の２以上の実施例を組み合わせることも可能である。

＜＜第１実施例＞＞
第１実施例を説明する。生成部５１及び処理部５２は、参照過去画像３００におけるランドマークＬＭの画像データ（即ち、参照ランドマーク画像３０１の画像データ）を用い、二次元座標系上で入力画像３１０及び３２０間の対応点探索（ステレオマッチング）を行うことにより、入力画像３１０及び３２０の位置合わせを行うことができる。図１２（ａ）及び（ｂ）を参照して、より具体的な動作について説明する。

生成部５１は、参照ランドマーク画像３０１及び入力画像３１０の画像データに基づく画像３０１及び３１０間の対応点探索を行う一方で、参照ランドマーク画像３０１及び入力画像３２０の画像データに基づく画像３０１及び３２０間の対応点探索を行い、それらの対応点探索の結果を用いて、画像３０１上のランドマークＬＭと画像３１０及び３２０上のランドマークＬＭとが重なり合うように、共通の二次元座標系上に入力画像３１０及び３２０を配置する。この際、画像上のランドマークＬＭの大きさを画像３０１、３１０及び３２０間で共通にするための幾何学的変換（拡大又は縮小処理）が画像３０１、３１０及び３２０の何れかに実行されうる。この配置の結果、図１２（ｂ）に示す如く、共通の二次元座標系上において、入力画像３２０は、入力画像３１０を基準として、画像の水平方向（右方向）にｐ画素だけずれ且つ画像の垂直方向（下方向）にｑ画素だけずれているものとする。生成部５１は、そのずれを示すデータ（ｐ，ｑ）を含んだ位置合わせ用データを生成及び出力する。

処理部５２は、位置合わせ用データ（ｐ，ｑ）を用いて、実際に入力画像３１０及び３２０の位置合わせを行う。具体的には、当該位置合わせにおいて、データ（ｐ，ｑ）に応じた画像処理（幾何学的変換を含む画像処理）を入力画像３１０及び３２０の少なくとも一方に行う。合成処理部５３は、位置合わせされた入力画像３１０及び３２０を合成することで出力画像データ（例えば、パノラマ合成画像の画像データ、又は、出力三次元画像データ）を生成する。

＜＜第２実施例＞＞
第２実施例を説明する。第２実施例では、三次元座標系上で位置合わせ用データを生成する。図１３等を参照して具体的に説明する。

図１３において、ＬＭ（ｘ，ｙ）は、データベース５６から取得されるランドマークＬＭの所在地情報に基づく、ランドマークＬＭの実空間上の所在地を表している。
Ｒ（ｘ，ｙ）及びθ_Rは、夫々、参照過去画像３００の付加情報（図７参照）から得られる参照過去画像３００の撮影地点及び撮影方位を表している。
Ａ（ｘ，ｙ）及びθ_Aは、夫々、入力画像３１０の付加情報（図５参照）から得られる入力画像３１０の撮影地点及び撮影方位を表している。
Ｂ（ｘ，ｙ）及びθ_Bは、夫々、入力画像３２０の付加情報（図５参照）から得られる入力画像３２０の撮影地点及び撮影方位を表している。
図１３では、撮影方位を、北との相違を示す方位角として考えている。方位角θ_Rは、参照過去画像３００の撮影方位に応じた０°以上３６０°未満の角度を持ち、参照過去画像３００の撮影方位が北、西、南、東向きであるとき、方位角θ_Rは、夫々、０°、９０°、１８０°、２７０°である。方位角θ_A及びθ_Bについても同様である。

生成部５１は、ランドマークＬＭの所在地ＬＭ（ｘ，ｙ）と、参照過去画像３００（特に参照ランドマーク画像３０１）の画像データ、撮影地点Ｒ（ｘ，ｙ）及び撮影方位θ_Rと、入力画像３１０の画像データ、撮影地点Ａ（ｘ，ｙ）及び撮影方位θ_Aと、入力画像３２０の画像データ、撮影地点Ｂ（ｘ，ｙ）及び撮影方位θ_Bと、に基づき、位置合わせ用データを生成することができる。実際には、参照過去画像３００、入力画像３１０及び入力画像３２０の付加情報から得られる参照過去画像３００、入力画像３１０及び入力画像３２０の撮影時のカメラ内部パラメータをも利用して、位置合わせ用データが生成される。ランドマーク特徴データに含まれるカメラ／ランドマーク位置関係情報３０４（図９（ｃ））は、ランドマークＬＭと参照過去画像３００の撮影時のカメラＣＭとの位置関係を規定しており、情報３０４に、ＬＭ（ｘ，ｙ）、Ｒ（ｘ，ｙ）及びθ_Rを含めておくことができる。

より具体的には例えば、生成部５１は、参照過去画像３００（特に参照ランドマーク画像３０１）の画像データと、ＬＭ（ｘ，ｙ）、Ｒ（ｘ，ｙ）、Ａ（ｘ，ｙ）、θ_R及びθ_Aと、参照過去画像３００及び入力画像３１０の撮影時のカメラ内部パラメータとに基づき、推定画像３１０_ESTを生成する。推定画像３１０_EST（図１４参照）は、カメラ１が入力画像３１０の撮影時のカメラ内部パラメータを用い方位角θ_Aの撮影方向にて撮影地点Ａ（ｘ，ｙ）からランドマークＬＭを撮影したならば得られるであろう入力画像を推定したものである。同様に、生成部５１は、参照過去画像３００（特に参照ランドマーク画像３０１）の画像データと、ＬＭ（ｘ，ｙ）、Ｒ（ｘ，ｙ）、Ｂ（ｘ，ｙ）、θ_R及びθ_Bと、参照過去画像３００及び入力画像３２０の撮影時のカメラ内部パラメータとに基づき、推定画像３２０_ESTを生成する。推定画像３２０_EST（図１４参照）は、カメラ１が入力画像３２０の撮影時のカメラ内部パラメータを用い方位角θ_Bの撮影方向にて撮影地点Ｂ（ｘ，ｙ）からランドマークＬＭを撮影したならば得られるであろう入力画像を推定したものである。

尚、ランドマークＬＭの所在地ＬＭ（ｘ，ｙ）と撮影地点Ｒ（ｘ，ｙ）又はＡ（ｘ，ｙ）との距離にも依存するが、方位角θ_R及びθ_A間の差が大きい場合には（例えば、その差が９０°である場合には）、二次元画像である参照過去画像３００から入力画像３１０を正しく推定することができない（推定画像３１０_ESTと入力画像３１０との差が大きくなる）。方位角θ_R及びθ_B間の差が大きい場合も同様である。従って例えば、方位角θ_R及びθ_A間の差が所定角度以上である場合には、ランドマークＬＭの三次元形状データをも用いて推定画像３１０_ESTを生成すると良く、方位角θ_R及びθ_B間の差が所定角度以上である場合には、ランドマークＬＭの三次元形状データをも用いて推定画像３２０_ESTを生成すると良い。ランドマークＬＭの三次元形状データは、ランドマークＬＭの三次元形状を特定するデータであって、データベース５６に保持され且つデータベース５６から画像処理部５０に供給されうる。ランドマークＬＭの三次元形状データは、ランドマークＬＭのポリゴンデータ等であっても良いし、ランドマークＬＭの三次元形状を特定するに足るランドマークＬＭについての複数の二次元画像であっても良い。

生成部５１は、推定画像３１０_EST及び入力画像３１０間の対比（マッチング）を行う一方で推定画像３２０_EST及び入力画像３２０間の対比（マッチング）を行い、それらの対比の結果から、位置合わせ用データを生成することができる。推定画像３１０_ESTは方位角θ_Aの方向に沿ってランドマークＬＭを撮影地点Ａ（ｘ，ｙ）に投影した像に相当し、推定画像３２０_ESTは方位角θ_Bの方向に沿ってランドマークＬＭを撮影地点Ｂ（ｘ，ｙ）に投影した像に相当するという事実に基づけば、上記の対比の結果から、入力画像３１０及び３２０上のランドマークＬＭの位置を特定できると共に、入力画像３１０の各点と入力画像３２０の各点との対応関係を特定できる。

処理部５２は、上記の対比結果に基づく位置合わせ用データを用いて、実際に入力画像３１０及び３２０の位置合わせを行う。具体的には、当該位置合わせにおいて、位置合わせ用データに応じた画像処理（幾何学的変換を含む画像処理）を入力画像３１０及び３２０の少なくとも一方に行う。合成処理部５３は、位置合わせされた入力画像３１０及び３２０を合成することで出力画像データ（例えば、パノラマ合成画像の画像データ、又は、出力三次元画像データ）を生成する。

尚、参照過去画像３００の撮影方位（方位角θ_R）又は撮影地点Ｒ（ｘ，ｙ）が参照過去画像３００の付加情報に含まれていない場合、生成部５１は、ランドマークＬＭの三次元形状データ、参照過去画像３００の画像データ及び参照過去画像３００の撮影時のカメラ内部パラメータに基づく画像解析により、参照過去画像３００の撮影方位（方位角θ_R）又は撮影地点Ｒ（ｘ，ｙ）を求めれば良い。

また、上述の記号ＬＭ（ｘ，ｙ）における“ｘ”及び“ｙ”は、ランドマークＬＭの所在地の経度及び緯度に対応している（Ｒ（ｘ，ｙ）、Ａ（ｘ，ｙ）及びＢ（ｘ，ｙ）についても同様）。上述の説明では、説明の簡略化のために、高度情報を無視し、且つ、画像３００、３１０及び３２０の撮影時におけるカメラＣＭ（カメラ１又はカメラ１以外のカメラ）の光軸が水平であると仮定している。高度情報をも考慮する場合には、ランドマークＬＭの所在地情報並びに画像３００、３１０及び３２０の撮影地点に高度情報をも含め、画像３００、３１０及び３２０の撮影時におけるカメラＣＭのチルト角（カメラＣＭの光軸の水平面からの傾き角）をも考慮して、位置合わせ用データの生成及び位置合わせを行うと良い。

＜＜第３実施例＞＞
第３実施例を説明する。生成部５１は、第１実施例の方法により求めた位置合わせ用データ（以下、２Ｄ位置合わせ用データという）と、第２実施例の方法により求めた位置合わせ用データ（以下、３Ｄ位置合わせ用データという）を、両方、出力するようにしても良い。この場合、処理部５２は、２Ｄ位置合わせ用データと３Ｄ位置合わせ用データを統合し、統合結果を用いて入力画像３１０及び３２０の位置合わせを行うことができる。これにより、２Ｄ位置合わせ用データ及び３Ｄ位置合わせ用データの何れか一方のみを用いる場合と比べて、位置合わせの精度向上が期待される。第１及び第２実施例でも同様であるが、処理部５２は、ランドマーク隠れ情報３０５を考慮して入力画像３１０及び３２０の位置合わせを行うと良い。

＜＜第４実施例＞＞
第４実施例を説明する。第４実施例では、カメラ１に設けておくことのできる、図１５のガイド処理部６０の機能を説明する。ガイド処理部６０は、第１入力画像の撮影後であって且つ第２入力画像の撮影前に、表示部１３を用いて第２入力画像の撮影推奨地点をユーザに提供する。地図データベース６１は、任意の地域における地図データ（地図の情報）を保持している。地図データベース６１は、記録媒体１４及び上記外部記録媒体（不図示）の内の少なくとも一方にて形成される。尚、特に記述無き限り、表示とは、表示部１３における表示を指す。

第１入力画像の撮影後であって且つ第２入力画像の撮影前において、ランドマーク検出部５４は、第１入力画像の撮影地点から所定距離以下に存在しているランドマークを、データベース５６における各ランドマークの所在地情報を用い、参照ランドマークとして抽出し、データベース５６における参照ランドマークの画像と第１入力画像とのマッチングを行うことにより、第１入力画像上に参照ランドマークが存在している否か（換言すれば、第１入力画像内に参照ランドマークの画像データが含まれているか否か）を検出する。

第４実施例でも、参照ランドマークがランドマークＬＭであるとし、第１入力画像がランドマークＬＭの画像データを含んだ入力画像３１０であるとする（図１１（ａ）参照）。そうすると、ガイド処理部６０は、第１入力画像３１０の撮影後であって且つ第２入力画像の撮影前に、入力画像３１０の画像データ、入力画像３１０の撮影地点及びランドマークＬＭの所在地情報に基づき、第２入力画像の撮影推奨地点を決定し、当該撮影推奨地点を表示部１３に出力する。撮影推奨地点の決定に当たり、入力画像３１０の撮影方位を更に考慮しても良い。

より具体的には例えば、ガイド処理部６０は、入力画像３１０の画像データに基づく入力画像３１０上のランドマークＬＭの位置及び大きさと入力画像３１０の撮影地点及びランドマークＬＭの所在地情報に基づき、所定のアルゴリズムに従って、望ましい出力画像データを得るために第２入力画像をどの地点から撮影すれば良いかを決定し、その決定した地点を第２入力画像の撮影推奨地点とする。例えば、入力画像３１０と入力画像３１０の撮影地点が定まれば、基本的に、ランドマークＬＭの三次元画像データ（左眼及び右眼画像の画像データ等）の生成に適した第２入力画像の撮影地点は自ずと定まる。以下、第２入力画像の撮影推奨地点を単に撮影推奨地点ともいう。

ガイド処理部６０は、地図データベース６１に保持されているランドマークＬＭ周辺の地図データを用い、ランドマークＬＭ周辺の地図と共に撮影推奨地点を表示部１３に出力する（即ち表示部１３に表示させる）ガイド表示処理を行う。

図１６に、ガイド表示処理の表示内容の例を示す。ガイド表示処理では、ランドマークＬＭ周辺の地図の表示と共に、ランドマークＬＭの位置４００、第１入力画像の撮影地点４０１及び第２入力画像の撮影推奨地点が当該地図上に重畳表示される。撮影推奨地点の個数は１つでありうるし、２以上でもありうる。図１６の例では、撮影推奨地点として２つのエリア４０２及び４０３が表示される。エリア４０２又は４０３の如く」各々の撮影推奨地点は或る程度の広がりを持っていても良い。このようなガイド表示処理を行うことで、望ましい出力画像データの取得が支援される。

また、地図データベース６１は、任意の地域の地図上おいて、特定の権限を有さない人間の立ち入りが制限される区域（私有地等；以下、制限区域という）を認識している。図１７に、制限区域の例を示す。ガイド表示処理において、ガイド処理部６０は、制限区域に関する情報（地図上における制限区域の位置、大きさ、形状）を地図データベース６１から取得し、制限区域を除外して撮影推奨地点を決定すると良い（即ち制限区域を除外した地図上のエリアから撮影推奨地点を決定すると良い）。例えば、エリア４０３全体が制限区域に内包されている場合には、図１８（ａ）に示す如くエリア４０２のみが撮影推奨地点として表示される。また例えば、エリア４０３の一部のみが制限区域に属しているならば、図１８（ｂ）に示す如く、制限区域を除外したエリア４０３ａが撮影推奨地点の１つとして表示される。制限区域を除外して撮影推奨地点を決定及び表示することにより、ユーザの利便性が増す（撮影推奨地点に向かったものの、立ち入ることができなかったという好ましくない状況が回避される）。

また、地図データベース６１は、任意の地域の地図上おいて、各地点に対応付けられた関連情報も保持している。或る地点の関連情報は、その地点が公共施設内の地点であるのか、何らかの事前準備（例えば事前に所定機関に連絡を入れるという準備）を行ってから当該地点に向かうべきであるのか、などを示す。ガイド表示処理において、撮影推奨地点を表示する際、ガイド処理部６０は、撮影推奨地点に対応付けられた関連情報を地図データベース６１から取得し、当該関連情報をカメラ１の外部（具体的にはユーザ）に報知すると良い。当該報知は、人間の五感に訴える任意の報知であって良いが、通常は視覚的又は聴覚的な報知である。即ち、ガイド処理部６０は、関連情報を表示部１３に表示させると良い、或いは、カメラ１に設けられたスピーカ（不図示）から関連情報を音として出力させても良い。関連情報の報知を行うことで、撮影推奨地点に向かう前の事前準備の必要性等をユーザに知らしめることができ、ユーザの利便性が増す。

尚、撮影推奨地点が複数存在する場合において、お勧めの撮影地点情報が存在する場合、お勧めの撮影地点情報に応じて複数の撮影推奨地点に優先順位を付け、優先順位に従って撮影推奨地点の表示を行っても良い（例えば、各撮影推奨地点と共に対応する優先順位を表示する、優先順位が比較的高い撮影推奨地点を強調表示する、又は、優先順位が比較的高い撮影推奨地点しか表示しない）。お勧めの撮影地点情報とは、ランドマークＬＭの撮影地点として、カメラ１の撮影者以外の人間が推奨している撮影地点の情報であり、地図データベース６１又はネットワークを介して任意の装置から得られうる。

＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
カメラ１又は主処理／制御部１２である対象装置を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。対象装置にて実現される機能の全部又は一部である任意の特定の機能をプログラムとして記述して、該プログラムを対象装置に搭載可能なフラッシュメモリに保存しておき、該プログラムをプログラム実行装置（例えば、対象装置に搭載可能なマイクロコンピュータ）上で実行することによって、その特定の機能を実現するようにしてもよい。上記プログラムは任意の記録媒体に記憶及び固定されうる。上記プログラムを記憶及び固定する記録媒体は対象装置と異なる機器（サーバ機器等）に搭載又は接続されても良い。

［注釈２］
例えば、以下のように考えることができる。ＧＰＳ測位部１６は、各入力画像の撮影地点を測定及び取得する撮影地点取得部としての機能を持つ。データベース５６に画像が保持される各ランドマークは候補物体の例であり、参照ランドマークは参照物体の例である。保持部５５に保持される各過去画像は候補画像の例であり、参照過去画像は参照画像の例である。撮影地点取得部は、各入力画像の撮影地点に応じた位置情報に基づき各入力画像の撮影地点を測定及び取得する。当該位置情報は、上述した衛星からの信号に限られない。例えば、カメラ１が所謂プレイスエンジン（登録商標）を利用する場合、当該位置情報は、カメラ１と通信可能なＷｉ-Ｆｉ（登録商標）機器から取得される情報であっても良い。或いは例えば、位置情報は、操作部１５を介してユーザが手動入力した情報であっても良い。

１ カメラ
１１ 撮像部
５０ 画像処理部
５４ ランドマーク検出部
６０ ガイド処理部

Claims (8)

1. 視差を有する複数回の撮影によって第１及び第２入力画像を含む複数の入力画像を取得する撮像部と、
   前記複数の入力画像の画像データに基づき前記複数の入力画像の位置合わせを行う画像処理部と、
   各入力画像の撮影地点を取得する撮影地点取得部と、を備えた撮像装置において、
   前記画像処理部は、各入力画像の撮影地点に対応した地点に位置する所定の参照物体が各入力画像上に存在しているか否かを検出し、前記第１及び第２入力画像上に前記参照物体が存在している場合、前記参照物体を基準にして前記第１及び第２入力画像の位置合わせを行う
   ことを特徴とする撮像装置。
2. 前記参照物体を含む１以上の候補物体の中から各入力画像の撮影地点に対応する地点に位置する候補物体を前記参照物体として抽出するとともに、前記複数の入力画像の撮影前に撮影された１以上の候補画像の中から前記参照物体の撮影データを含む候補画像を前記参照画像として抽出する抽出部を更に備え、
   前記画像処理部は、前記参照画像を用いて前記参照物体が各入力画像上に存在しているか否かを検出し、前記第１及び第２入力画像上に前記参照物体が存在している場合、前記参照画像、前記第１入力画像及び前記第２入力画像の画像データに基づき、前記第１及び第２入力画像の位置合わせを行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理部は、前記参照画像における前記参照物体の画像データを用いて前記第１及び第２入力画像間の対応点探索を行うことで前記第１及び第２入力画像の位置合わせを行う
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記画像処理部は、
   前記参照物体の所在地情報と、
   前記参照画像の画像データ、撮影地点及び撮影方位と、
   前記第１入力画像の画像データ、撮影地点及び撮影方位と、
   前記第２入力画像の画像データ、撮影地点及び撮影方位とに基づき、前記第１及び第２入力画像の位置合わせを行う
   ことを特徴とする請求項２に記載の撮像装置。
5. 前記第１入力画像の撮影後であって且つ前記第２入力画像の撮影前において、前記第１入力画像の画像データ、前記第１入力画像の撮影地点及び前記参照物体の所在地情報に基づき、前記第２入力画像の撮影推奨地点を決定し、当該撮影推奨地点を表示部に出力するガイド処理部を更に備えた
   ことを特徴とする請求項１乃至請求項４の何れかに記載の撮像装置。
6. 前記ガイド処理部は、立ち入りが制限される区域に関する情報を取得し、前記区域を除外して前記撮影推奨地点を決定する
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記ガイド処理部は、前記撮影推奨地点を前記表示部に出力する際、前記撮影推奨地点に対応づけられた関連情報を報知する
   ことを特徴とする請求項５又は請求項６に記載の撮像装置。
8. 前記画像処理部は、前記複数の入力画像の位置合わせを介して、前記複数の入力画像から、各入力画像の画角よりも広い画角を有する広画角画像の画像データを生成する又は三次元画像データを生成する
   ことを特徴とする請求項１乃至請求項７の何れかに記載の撮像装置。

Images