JP2015231101A - 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体 - Google Patents

Abstract

【課題】過去に撮影された画像についての撮影条件を推定する。【解決手段】撮影条件推定装置（１、２、３）は、第１画像に係る情報である第１画像情報を取得する第１画像取得手段（１１）と、該第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得手段（１１）と、一の撮影装置により対象物が撮影され第２画像情報が生成された時の該一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得手段（１２）と、第１画像情報、第２画像情報及び絶対位置情報に基づいて、一の撮影装置又は他の撮影装置により対象物が撮影され第１画像の元となる情報が生成された時の該一の撮影装置又は他の撮影装置の絶対位置を少なくとも推定する推定手段（１３、２０）と、を備える。【選択図】図１

Description

本発明は、撮影画像の、例えば撮影位置、撮影方向、焦点距離等の撮影条件を推定する撮影条件推定装置及び方法、端末装置、コンピュータプログラム、並びに、該コンピュータプログラムが記録された記録媒体の技術分野に関する。

例えば非特許文献１乃至３に挙げたウェブページのように、ある地点から撮影された過去の画像と現在の画像とを比較しながら観賞したいというニーズがある。或いは、例えば非特許文献４等の映像作品で採り上げられた風景、又は雑誌や本に掲載された写真の風景を撮影したいというニーズがある。この際、特に、著名なカメラマンにより撮影された写真に写っている場所を、該写真の撮影条件（例えば撮影位置、撮影方向、焦点距離等）と同じ条件で撮影したいというニーズがある。

上記ニーズに応えるものとして、例えば、カメラの現在位置、方位及び姿勢を計測すると共に現在のレンズの焦点距離を検出し、該計測又は検出された情報と、過去に撮影された画像について記録された撮影位置情報、撮影方位情報、撮影姿勢情報及び焦点距離情報とを比較して、両者の差を表示する装置が提案されている（特許文献１参照）。

特開２０１０−１８３１５０号公報

ＰＡＯＳ、"西新宿定点観測"、［online］、［平成２６年４月２１日検索］、インターネット＜URL: http://www.paos.net/study/Shinjuku.html＞ 株式会社内田洋行、"定点の杜"、［online］、［平成２６年４月２１日検索］、インターネット＜URL: http://teitennomori.uchida.co.jp/mori/＞ ウィキメディア財団、"定点観測"、［online］、［平成２６年４月２１日検索］、インターネット＜URL: http://ja.wikipedia.org/wiki/%E5%AE%9A%E7%82%B9%E8%A6%B3%E6%B8%AC＞ 中野裕之、「極富士 〜風景撮影のプロが教える絶景ポイント厳選５４〜」（Blu-ray（登録商標） Disc）、ポニーキャニオン、２０１２年１１月７日

しかしながら、上述の特許文献１に記載の技術では、過去に撮影された画像についての撮影条件が既知である必要がある。すると、撮影条件が不明な場合、ユーザが、過去に撮影された画像を見ながら、おおよその撮影位置及び撮影方向を推定し、更に、該画像と同様の画角となるように焦点距離を調整しなければならない、という技術的問題点がある。

本発明は、例えば上記問題点に鑑みてなされたものであり、過去に撮影された画像についての撮影条件を推定することができる撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体を提供することを課題とする。

本発明の請求項１に記載の撮影条件推定装置は、上記課題を解決するために、第１画像に係る情報である第１画像情報を取得する第１画像取得手段と、前記第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得手段と、一の撮影装置により前記対象物が撮影され前記第２画像情報が生成された時の前記一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得手段と、前記取得された第１画像情報、前記取得された第２画像情報及び前記取得された絶対位置情報に基づいて、前記一の撮影装置又は前記一の撮影装置とは異なる他の撮影装置により前記対象物が撮影され前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置を少なくとも推定する推定手段と、を備える。

本発明の請求項６に記載の端末装置は、上記課題を解決するために、第１画像に係る情報である第１画像情報を取得する第１画像取得手段と、前記第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得手段と、一の撮影装置により前記対象物が撮影され前記第２画像情報が生成された時の前記一の撮影装置の絶対位置に係る情報である第１絶対位置情報を取得する位置情報取得手段と、前記取得された第１画像情報、前記取得された第２画像情報及び前記取得された第１絶対位置情報を、外部装置へ送信する送信手段と、前記送信手段により送信された第１画像情報、第２画像情報及び第１絶対位置情報に基づいて、前記外部装置により推定された、前記一の撮影装置又は前記一の撮影装置とは異なる他の撮影装置により前記対象物が撮影され前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置に係る情報である第２絶対位置情報を前記外部装置から取得する推定結果取得手段と、前記取得された第２絶対位置情報を提示する提示手段と、を備える。

本発明の請求項７に記載の撮影条件推定方法は、上記課題を解決するために、撮影条件推定装置によって使用される撮影条件推定方法であって、第１画像に係る情報である第１画像情報を取得する第１画像取得工程と、前記第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得工程と、一の撮影装置により前記対象物が撮影され前記第２画像情報が生成された時の前記一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得工程と、前記取得された第１画像情報、前記取得された第２画像情報及び前記取得された絶対位置情報に基づいて、前記一の撮影装置又は前記一の撮影装置とは異なる他の撮影装置により前記対象物が撮影され前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置を少なくとも推定する推定工程と、を備える。

本発明の請求項８に記載のコンピュータプログラムは、上記課題を解決するために、コンピュータを、第１画像に係る情報である第１画像情報を取得する第１画像取得手段と、前記第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得手段と、一の撮影装置により前記対象物が撮影され前記第２画像情報が生成された時の前記一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得手段と、前記取得された第１画像情報、前記取得された第２画像情報及び前記取得された絶対位置情報に基づいて、前記一の撮影装置又は前記一の撮影装置とは異なる他の撮影装置により前記対象物が撮影され前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置を少なくとも推定する推定手段と、として機能させる。

本発明の請求項９に記載の記録媒体は、上記課題を解決するために、本発明のコンピュータプログラムが記録されている。

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。

第１実施例に係る撮影条件推定装置の構成を示すブロック図である。 第１実施例に係る撮影条件推定処理を示すフローチャートである。 ＳｆＭ技術を説明するためのフローチャートである。 第１実施例の第１変形例に係る撮影条件推定処理を示すフローチャートである。 第１実施例の第２変形例に係る撮影条件推定処理を示すフローチャートである。 第２実施例に係る撮影条件推定装置の構成を示すブロック図である。 第２実施例に係る撮影条件推定処理を示すフローチャートである。 第３実施例に係る撮影条件推定装置の構成を示すブロック図である。

本発明の撮影条件推定装置等に係る各実施形態について説明する。

（撮影推定装置）
実施形態に係る撮影条件推定装置は、第１画像取得手段、第２画像取得手段、位置情報取得手段及び推定手段を備えて構成されている。

第１画像取得手段は、第１画像に係る情報である第１画像情報を取得する。ここで、「第１画像」は、例えば国会議事堂、東京駅等の既知の撮影対象物を含む画像ではあるが、当該撮影条件推定装置のユーザが、その撮影地点を知らない画像である。

「第１画像情報」は、第１画像が、例えばデジタルカメラ等の電子撮影装置により対象物が撮影されたことにより生成されたデジタルデータが、例えばモニタ等の表示装置の画面上に表示された画像である場合の該デジタルデータに限らず、第１画像が、例えば印画紙等の紙に印刷された画像（例えば写真）である場合に、該画像が、例えばスキャナ等を介してデジタル化されたデータをも含む概念である。

第２画像取得手段は、第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する。尚、第１画像に複数の物体が含まれている場合、「対象物」は、当該撮影条件推定装置のユーザが所望する撮影対象物を意味する。つまり、第２画像情報は、典型的には、ユーザが対象物を撮影することにより生成された情報である。

位置情報取得手段は、例えばデジタルカメラ等である一の撮影装置により対象物が撮影され第２画像情報が生成された時の該一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する。

このような絶対位置情報は、撮影時に、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、例えばモバイルデータ通信等の通信機能を用いた位置情報サービス、等により取得すればよい。取得された絶対位置情報は、第２画像情報と対応付けられて又は該第２画像情報の一部として記録される。位置情報取得手段は、第２画像取得手段により第２画像情報が取得された際に、該取得された第２画像情報に対応付けられた絶対位置情報又は該取得された第２画像情報の一部としての絶対位置情報を取得する。

例えばメモリ、プロセッサ等を備えてなる推定手段は、取得された第１画像情報、取得された第２画像情報及び取得された絶対位置情報に基づいて、一の撮影装置又は該一の撮影装置とは異なる他の撮影装置により対象物が撮影され第１画像の元となる情報が生成された時の該一の撮影装置又は他の撮影装置の絶対位置を少なくとも推定する。

「第１画像の元となる情報」は、一の撮影装置又は他の撮影装置が、例えばフィルムカメラ等である場合の写真フィルムに記録された光情報、或いは、該一の撮影装置又は他の撮影装置が、例えばデジタルカメラ等の電子撮影装置である場合のデジタルデータ（例えば、ＲＡＷ画像、ＪＰＥＧ画像等）、等である。

推定手段は、具体的には例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）等の公知の技術を用いて、第１画像情報及び第２画像情報から、第１画像の元となる情報が生成された時の一の撮影装置又は他の撮影装置の、第２画像情報が生成された時の該一の撮影装置の位置に対する、相対的な位置を求める。その後、推定装置は、該求められた相対的な位置と、第２画像情報が生成された時の該一の撮影装置に係る絶対位置情報と、に基づいて、第１画像の元となる情報が生成された時の該一の撮影装置又は他の撮影装置の絶対位置を推定する。

例えばＳｆＭ等の公知技術では、複数の画像に夫々対応する複数の撮影地点間の相対的な位置関係等は推定可能であるが、スケールを復元することができないので、撮影地点の実際の位置を推定することが不可能である。しかるに本実施形態では、上述の如く、第２画像情報が生成された時の該一の撮影装置に係る絶対位置情報が用いられることにより、スケールが復元される。従って、本実施形態に係る撮影条件推定装置によれば、第１画像の元となる情報が生成された時の一の撮影装置又は他の撮影装置の絶対位置（即ち、撮影地点）を推定することができる。

第１画像に対応する撮影地点が少なくともわかれば、上述の如く、撮影対象物は既知であるので、例えば撮影方向や焦点距離等を調節することは比較的容易である。尚、ＳｆＭを用いれば、上記相対的な位置と共に、例えば撮影方向や焦点距離情報も求められる。

以上の結果、本実施形態に係る撮影条件推定装置によれば、過去に撮影され、撮影地点が未知な第１画像についての撮影条件を推定することができる。

実施形態に係る撮影条件推定装置の一態様では、推定手段は、取得された第１画像情報及び取得された第２画像情報に基づいて、第１画像及び第２画像各々の特徴点を取得する特徴点取得手段を有し、該取得された特徴点に基づいて、第１画像の元となる情報が生成された時及び第２画像情報が生成された時各々における一の撮影装置又は他の撮影装置の相対位置、撮影方向及び焦点距離を少なくとも含む撮影条件を算出し、該算出された撮影条件と、取得された絶対位置情報とに基づいて、第１画像の元となる情報が生成された時の絶対位置を推定する。

この態様によれば、比較的容易にして、第１画像の元となる情報が生成された時の絶対位置を含む撮影条件を推定することができ、実用上非常に有利である。

尚、特徴点の取得（検出）には、例えばＳＩＦＴ、Ｈａｒｒｉｓ Ｃｏｒｎｅｒ Ｄｅｔｅｃｔｉｏｎ、ＳＵＲＦ、ＦＡＳＴ等の公知の技術を適用可能であるので、その詳細についての説明は割愛する。

実施形態に係る撮影条件推定装置の他の態様では、第２画像取得手段は、対象物を夫々撮影した複数の第２画像に夫々対応する複数の第２画像情報を取得し、位置情報取得手段は、一の撮影装置により対象物が撮影され複数の第２画像情報が夫々生成された時の一の撮影装置の絶対位置に夫々対応する複数の絶対位置情報を取得する。

この態様によれば、第１画像の元となる情報が生成された時の絶対位置の推定精度を向上させることができ、実用上非常に有利である。

実施形態に係る撮影条件推定装置の他の態様では、推定された第１画像の元となる情報が生成された時の一の撮影装置又は他の撮影装置の絶対位置を少なくとも提示する提示手段を更に備える。

この態様によれば、当該撮影条件推定装置のユーザに対し、推定結果を、比較的容易に提示することができ、実用上非常に有利である。

実施形態に係る撮影条件推定装置の他の態様では、当該撮影条件推定装置の現在位置を計測する位置計測手段と、該計測された現在位置に基づいて、ユーザを、推定された第１画像の元となる情報が生成された時の一の撮影装置又は他の撮影装置の絶対位置まで誘導する誘導手段と、を更に備える。

この態様によれば、当該撮影条件推定装置のユーザを、推定結果に従って誘導することができ、実用上非常に有利である。

尚、誘導手段には、例えばナビゲーションサービス等の公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。

（端末装置）
実施形態に係る端末装置は、第１画像取得手段、第２画像取得手段、位置情報取得手段、送信手段、推定結果取得手段及び提示手段を備えて構成されている。

第１画像取得手段は、第１画像に係る情報である第１画像情報を取得する。第２画像取得手段は、第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する。位置情報取得手段は、一の撮影装置により対象物が撮影され第２画像情報が生成された時の該一の撮影装置の絶対位置に係る情報である第１絶対位置情報を取得する。

送信手段は、取得された第１画像情報、取得された第２画像情報及び取得された第１絶対位置情報を外部装置へ送信する。ここで、「外部装置」は、当該端末装置と異なる装置であればよく、例えば当該端末装置とフラットケーブル等により接続された装置、或いは、例えば当該端末装置とネットワークを介して接続されたサーバ装置、等である。

推定結果取得手段は、送信手段により送信された第１画像情報、第２画像情報及び第１絶対位置情報に基づいて、外部装置により推定された、一の撮影装置又は該一の撮影装置とは異なる他の撮影装置により対象物が撮影され第１画像の元となる情報が生成された時の該一の撮影装置又は他の撮影装置の絶対位置に係る情報である第２絶対位置情報を外部装置から取得する。

提示手段は、取得された第２絶対位置情報を提示する。

本実施形態に係る端末装置によれば、上述した実施形態に係る撮影条件推定装置と同様に、過去に撮影された第１画像についての撮影条件を推定することができる。尚、本実施形態に係る端末装置においても、上述した実施形態に係る撮影条件推定装置における各種態様と同様の各種態様を採ることができる。

（撮影条件推定方法）
実施形態に係る撮影条件推定方法は、撮影条件推定装置によって使用される撮影条件推定方法である。

当該撮影条件推定方法は、第１画像に係る情報である第１画像情報を取得する第１画像取得工程と、該第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得工程と、一の撮影装置により対象物が撮影され第２画像情報が生成された時の該一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得工程と、取得された第１画像情報、取得された第２画像情報及び取得された絶対位置情報に基づいて、一の撮影装置又は該一の撮影装置とは異なる他の撮影装置により対象物が撮影され第１画像の元となる情報が生成された時の該一の撮影装置又は他の撮影装置の絶対位置を少なくとも推定する推定工程と、を備える。

本実施形態に係る撮影条件推定方法によれば、上述した実施形態に係る撮影条件推定装置と同様に、過去に撮影された第１画像についての撮影条件を推定することができる。尚、本実施形態に係る撮影条件推定方法においても、上述した実施形態に係る撮影条件推定装置における各種態様と同様の各種態様を採ることができる。

（コンピュータプログラム）
実施形態に係るコンピュータプログラムは、コンピュータを、第１画像に係る情報である第１画像情報を取得する第１画像取得手段と、該第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得手段と、一の撮影装置により対象物が撮影され第２画像情報が生成された時の該一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得手段と、取得された第１画像情報、取得された第２画像情報及び取得された絶対位置情報に基づいて、一の撮影装置又は該一の撮影装置とは異なる他の撮影装置により対象物が撮影され第１画像の元となる情報が生成された時の該一の撮影装置又は他の撮影装置の絶対位置を少なくとも推定する推定手段と、として機能させる。

実施形態に係るコンピュータプログラムによれば、当該コンピュータプログラムを格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（ＤＶＤ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体から、当該コンピュータプログラムを、撮影条件推定装置に備えられたコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してダウンロードさせた後に実行させれば、上述した実施形態に係る撮影条件推定装置を比較的容易にして実現できる。これにより、上述した実施形態に係る撮影条件推定装置と同様に、過去に撮影された第１画像についての撮影条件を推定することができる。

上記、実施形態に係るコンピュータプログラムが格納されたＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等が、本発明の記録媒体に係る実施形態の一例である。

本発明の撮影条件推定装置に係る実施例を、図面に基づいて説明する。

＜第１実施例＞
実発明の撮影条件推定装置に係る第１実施例を、図１及び図２を参照して説明する。図１は、第１実施例に係る撮影条件推定装置の構成を示すブロック図である。図２は、第１実施例に係る撮影条件推定処理を示すフローチャートである。

図１において、撮影条件推定装置１は、過去に撮影された１枚の画像についての、撮影位置、撮影方向及び焦点距離を含む撮影条件を推定し、該画像と同一の撮影条件での撮影を支援する装置である。当該撮影条件推定装置１は、撮影画像取得手段１１、絶対位置取得手段１２、制御部１３及び記憶部１４を備えて構成されている。

本実施例では、当該撮影条件推定装置１は、例えばデジタルカメラ等の電子撮影装置に内蔵されている、又は該電子撮影装置に外付けされているものとする。

撮影画像取得手段１１は、電子撮影装置により撮影された撮影画像を取得する。該撮影画像取得手段１１は、更に、ネットワークを介して、或いは、例えばフラッシュメモリ等の外部機器を介して、画像を取得可能に構成されている。

絶対位置取得手段は、例えばＧＰＳ、通信機能等により、当該撮影条件推定装置１の絶対位置を取得する。尚、絶対位置の取得方法については、公知の各種態様を適用であるので、その詳細についての説明は割愛する。

制御部１３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を有しており、記憶部１４に記録されている所定のプログラムに応じて処理を行う。尚、処理の具体的内容については後述する。

記憶部１４は、例えばＲＯＭ、ＲＡＭ、ハードディスク等の各種メモリを有している。記憶部１４には、当該撮影条件推定装置１を制御するための各種制御プログラム等が格納されている。また、記憶部１４は、制御部１３に対してワーキングエリアを提供する。

本実施例に係る撮影条件推定装置１では、撮影画像取得手段１１により取得された撮影画像等の処理に、ＳｆＭを利用している。尚、ＳｆＭは、未知環境下で移動するロボット等の自己位置推定やマッピングに使用される場合には、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）やＶｉｓｕａｌ ＳＬＡＭと呼ばれることがある。

ここで、ＳｆＭの概要について、図３のフローチャートを参照して説明を加える。

図３において、先ず、複数の撮影画像が取り込まれた後（ステップＳ９０１）、取り込まれた複数の撮影画像各々の特徴点が検出される（ステップＳ９０２）。次に、２枚の画像ペアの各特徴点を比較することにより、該特徴点のうち一致する特徴点が対応点として検出される（このような処理を、適宜“マッチング”と称する）（ステップＳ９０３）。

尚、マッチングには、例えば近似最近傍探索（S. Arya et al. “An optimal algorithm for approximate nearest neighbor searching”, Journal of the AMC, 45, 6, pp.891-923 (1998)参照）等を適用可能である。

次に、検出された対応点から、２枚の画像ペアを撮影したカメラのカメラパラメータ（例えば基礎行列、基本行列、内部パラメータ等）が推定される（ステップＳ９０４）。尚、カメラパラメータの推定には、例えば８点アルゴリズム（“ディジタル画像処理” CG-ARTS協会、ISBN4-906665-47-0 p266参照）、ＤＬＴ法（Y.I. Abdel-Aziz et al. “Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry. In Proceedings of the Symposium on Close-Range Photogrammetry”, pp-1-18. American Society of Photogrammetry, Falls Church, 1971参照）等を適用可能である。

次に、推定されたカメラパラメータに基づいて、カメラの位置及び姿勢が求められると共に（ステップＳ９０５）、被写体の特徴点の３次元位置が求められる（ステップＳ９０６）。尚、カメラの位置及び姿勢は、例えばカメラパラメータの一つである基本行列が、特異値分解（R. Hartley et al. “Mutiview Geometry in computer vision”, 2nd Edition, Cambridge University Press, 2004参照）により、回転行列と並進ベクトルとに分解されることにより求められてよい。

ところで、このＳｆＭでは、カメラと被写体との間の相対位置やカメラ間（撮影地点間）の相対位置は推定可能であるが、スケールが復元されない。つまり、ＳｆＭでは、例えば被写体とカメラとの間の実際の距離が復元されない。

他方、本実施例に係る撮影条件推定装置１では、ＳｆＭ技術に、距離情報（絶対的な位置情報）を併せることにより、カメラの絶対位置が推定される。

撮影条件推定装置１における撮影条件推定処理について、図２のフローチャートを参照して具体的に説明する。尚、撮影条件が推定される過去に撮影された画像（以降、適宜“過去画像”と称する）に含まれる撮影対象物の少なくとも一部は既知であるとする。

図２において、先ず、撮影画像取得手段１１は、過去画像を取り込む（ステップＳ１０１）。この結果、過去画像に係るデジタル情報である過去画像情報が生成される。ここで、過去画像が、印画紙にプリントされた写真である場合には、該写真がデジタル化された後に取り込まれ、デジタル画像である場合には、そのまま取り込まれる。

尚、本実施例に係る「過去画像」及び「過去画像情報」は、夫々、本発明に係る「第１画像」及び「第１画像情報」の一例である。

次に、当該撮影条件推定装置１のユーザが、過去画像に含まれる撮影対象物と同一の撮影対象物を、該撮影対象物の周辺の複数個所において電子撮影装置を用いて撮影することにより、複数の画像情報（以降、適宜“周辺画像情報”と称する）が生成される（ステップＳ１０２）。この際、絶対位置取得手段１２は、例えばＧＰＳ情報や地図情報等から、各撮影地点の絶対位置を示す絶対位置情報を、対応する周辺画像情報と関連付けて記録する（ステップＳ１０３）。

尚、本実施例に係る「周辺画像情報」は、本発明に係る「第２画像情報」の一例である。周辺画像情報に基づいて、例えばモニタ上に映し出される画像が、本発明に係る「第２画像」の一例である。

次に、撮影画像取得手段１１は、生成された複数の周辺画像情報を取り込む（ステップＳ１０４）。次に、制御部１３は、過去画像情報に対応する過去画像、及び複数の周辺画像情報により夫々対応する複数の周辺画像各々の特徴点を検出する（ステップＳ１０５）。ここで、特徴点の検出には、例えばＳＩＦＴ、Ｈａｒｒｉｓ Ｃｏｒｎｅｒ Ｄｅｔｅｃｔｉｏｎ、ＳＵＲＦ、ＦＡＳＴ等の公知の技術を適用可能である。

次に、制御部１３は、検出された特徴点に基づいて、過去画像及び複数の周辺画像各々の間で、特徴点の対応点マッチングを実施し、対応点を検出する（ステップＳ１０６）。続いて、制御部１３は、検出された対応点に基づいて、例えば８点アルゴリズム、ＤＬＴ法等により、カメラパラメータを推定する（ステップＳ１０７）。

次に、制御部１３は、推定されたカメラパラメータのうち基本行列を特異値分解により、回転行列と並進ベクトルに分解し、当該撮影条件推定装置１が内蔵されている若しくは外付けされている電子撮影装置又は該電子撮影装置とは異なる他の撮影装置により撮影対象物が撮影され過去画像の元となる情報が生成された時の（以降、適宜“過去画像の撮影時”と称する）該電子撮影装置又は他の撮影装置の相対的なカメラ位置及び姿勢、並びに、該電子撮影装置により該撮影対象物が撮影され複数の周辺画像情報が夫々生成された時の（以降、適宜、“周辺画像の撮影時”又は“複数の周辺画像各々の撮影時”と称する）該電子撮影装置の相対的なカメラ位置及び姿勢を求める。

続いて、制御部１３は、各周辺画像情報に関連付けられた絶対位置情報と、求められた相対的なカメラ位置との関係から、スケールを復元し、過去画像の撮影時の絶対的なカメラ位置及び姿勢を求める（ステップＳ１０８）。

次に、制御部１３は、求められた過去画像の撮影時の絶対的なカメラ位置及び姿勢を、例えばモニタ（図示せず）上に表示して、ユーザに提示する（ステップＳ１０９）。この際、制御部１３は、例えばＧＰＳ情報、地図情報等を利用して、ユーザを、求められた過去画像の撮影時の絶対的なカメラ位置まで誘導する。

上記ステップＳ１０９の処理と並行して、制御部１３は、推定されたカメラパラメータのうち焦点距離（即ち、内部パラメータ）に基づいて、当該撮影条件推定装置１が内蔵されている若しくは外付けされている電子撮影装置に係る焦点距離（例えばズームレンズの焦点距離）を設定する（ステップＳ１１０）。

当該撮影条件推定装置１のユーザが、過去画像の撮影時の絶対的なカメラ位置に対応する地点に到達し、該ユーザが、提示された過去画像の撮影時のカメラ姿勢（カメラ方向）に従って、カメラを構えて又は三脚等の調整をして、撮影対象物を撮影した後（ステップＳ１１１）、制御部１３は、生成された新たな画像情報と過去画像情報とを比較する（ステップＳ１１２）。具体的には、制御部１３は、生成された新たな画像情報に対応する画像と、過去画像との対応する特徴点の位置の誤差の合計を算出する。

続いて、制御部１３は、算出された誤差の合計と誤差閾値とを比較する（ステップＳ１１３）。算出された誤差の合計が、誤差閾値以上であると判定された場合（ステップＳ１１３：非類似）、制御部１３は、生成された新たな画像情報に対応する画像が、過去画像と非類似であるとして、例えば再度の撮影を促すようなメッセージを提示する。この際、電子撮影装置の調整に係る情報（例えば、カメラの姿勢に係る情報等）が提示されてよい。

他方、算出された誤差の合計が、誤差閾値未満であると判定された場合（ステップＳ１１３：類似）、制御部１３は、生成された新たな画像情報に対応する画像を、過去画像の類似画像として、実際の撮影位置及び電子撮影装置の姿勢を決定すると共に（ステップＳ１１４）、生成された新たな画像情報を記録する（ステップＳ１１５）。

本実施例に係る「撮影画像取得手段１１」は、本発明に係る「第１画像取得手段」及び「第２画像取得手段」の一例である。本実施例に係る「絶対位置取得手段１２」及び「制御部１３」は、夫々、本発明に係る「位置情報取得手段」及び「推定手段」の一例である。

＜第１変形例＞
次に、本実施例の撮影条件推定装置の第１変形例について、図４のフローチャートを参照して説明する。

図４において、上述したステップＳ１１５の処理の後、制御部１３が、生成された新たな画像情報に対応する画像（類似画像）と過去画像との対応点に係る情報に基づいて、生成された新たな画像情報に対応する画像に、微小な誤差がなくなるような画像変換を、生成された新たな画像情報に施す（ステップＳ２０１）。尚、このような画像変換には、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。

当該撮影条件推定装置１により求められた過去画像の撮影時の絶対的なカメラ位置及び姿勢に係る誤差や、ユーザが操作することに起因するズレ、等により、類似と判定された場合であっても、生成された新たな画像情報に対応する画像と過去画像との間にズレが生じることが多い。本変形例のように構成すれば、画像変換により上記ズレを解消することができるので、実用上非常に有利である。

＜第２変形例＞
次に、本実施例の撮影条件推定装置の第２変形例について、図５のフローチャートを参照して説明する。

図５において、上述したステップＳ１１０の処理の後、過去画像の撮影時の絶対的なカメラ位置に対応する地点に到達したユーザが、提示された過去画像の撮影時のカメラ姿勢に従って、カメラを構えて又は三脚等の調整をして、撮影対象物を撮影する（ステップＳ３０１）。この際、所定期間（例えば数秒）分の連続した複数の画像情報が生成及び記録される（尚、電子撮影装置のシャッタは切られない）。

次に、制御部１３は、生成された複数の画像情報に夫々対応する複数の画像各々の対応点と、過去画像の対応点とを比較し（ステップＳ１１３）、誤差の合計が誤差閾値未満の画像であって、誤差の合計が最も小さい画像に対応する画像情報を選択する（ステップＳ３０２）。尚、誤差の合計が誤差閾値未満である画像に対応する画像情報がない場合（ステップＳ１１３：非類似）、制御部１３は、例えば再度の撮影を促すようなメッセージを提示する。

このように構成すれば、撮影対象物が１枚撮影される毎に類似度判定が実施される場合に比べ、時間を短縮することができる。特に、時間的に連続した複数の画像情報が生成されるので、例えばユーザが操作することに起因するわずかなズレ等の影響を抑制することができ、実用上非常に有利である。

＜第２実施例＞
本発明の撮影条件推定装置に係る第２実施例について、図６及び図７を参照して説明する。第２実施例では、周辺画像情報の取得方法が異なる以外は、上述した第１実施例と同様である。よって、第２実施例について、第１実施例と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図６及び図７を参照して説明する。図６は、第２実施例に係る撮影条件推定装置の構成を示すブロック図である。図７は、第２実施例に係る撮影条件推定処理を示すフローチャートである。

図６において、撮影条件推定装置２は、撮影画像取得手段１１、絶対位置取得手段１２、制御部１３、記憶部１４及び通信部１５を備えて構成されている。

通信部１５は、典型的には、無線通信により、例えばインターネット等の広域ネットワークに接続可能に構成されている。通信部１５には、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。

図７において、撮影画像取得手段１１により、過去画像が取り込まれ、該過去画像に係るデジタル情報である過去画像情報が生成された後（ステップＳ１０１）、制御部１３は、通信部１５を介して、広域ネットワーク上に存在する、過去画像に含まれる撮影対象物を撮影した複数の画像を検索する（ステップＳ４０１）。続いて、制御部１３は、検索された複数の画像に対応する画像情報を周辺画像情報として取り込む（ステップＳ１０４）。

ステップＳ１０５乃至Ｓ１０７の処理により、過去画像及び複数の周辺画像各々に係るカメラパラメータが推定された後、制御部１３は、過去画像に含まれる撮影対象物に係る３次元形状を取得する（ステップＳ４０２）。ここで、「３次元形状」は、上述したステップＳ１０５乃至Ｓ１０７の処理（即ち、ＳｆＭに係る処理）において生成された、複数の特徴点各々の３次元位置を意味する。「３次元形状の取得」は公知技術であるので、その詳細についての説明は割愛する。

続いて、制御部１３は、当該撮影条件推定装置２のユーザにより入力された、過去画像に含まれる撮影対象物のスケール情報（例えば大きさ、高さ等）を取得する（ステップＳ４０３）。

次に、制御部１３は、推定されたカメラパラメータ、取得された被写体の３次元形状及びスケール情報に基づいて、過去画像の撮影時の絶対的なカメラ位置と及び姿勢を求める（ステップＳ１０９）。

このように構成すれば、ユーザ自身が撮影対象物をその周辺において撮影することに伴う該ユーザの負担を軽減することができ、実用上非常に有利である。

＜第３実施例＞
本発明の撮影条件推定装置に係る第３実施例について、図８を参照して説明する。第３実施例では、撮影条件推定装置（システム）が、ネットワークを介して互いに接続された端末装置及びサーバ装置を備えて構成されている以外は、上述した第１実施例と同様である。よって、第３実施例について、第１実施例と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図８を参照して説明する。図８は、第３実施例に係る撮影条件推定装置の構成を示すブロック図である。

図８において、撮影条件推定システム３は、例えばインターネット等の広域ネットワーク及び／又は例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の挟域ネットワークである、ネットワーク３０を介して互いに接続された端末装置１０とサーバ装置２０とを備えて構成されている。

端末装置１０は、撮影画像取得手段１１、絶対位置取得手段１２、制御部１３、記憶部１４及び通信部１５を備えて構成されている。

当該撮影条件推定システム３における撮影条件推定処理は、基本的には、上述した図２のフローチャートより示される撮影条件推定処理と同様である。

具体的には、端末装置１０の撮影画像取得手段１１は、過去画像を取り込み、過去画像情報が生成される（ステップＳ１０１）。次に、撮影画像取得手段１１は、端末装置１０のユーザが、過去画像に含まれる撮影対象物と同一の撮影対象物を、該撮影対象物の周辺の複数個所において撮影することにより生成された複数の周辺画像情報を取り込む（ステップＳ１０４）。

次に、制御部１３は、取得された過去画像情報及び複数の周辺画像情報、並びに、該複数の周辺画像情報に夫々対応する絶対位置情報を、通信部１５及びネットワーク３０を介してサーバ装置２０に送信する。

次に、サーバ装置２０は、送信された過去画像情報及び複数の周辺画像情報、並びに、該複数の周辺画像情報に夫々対応する絶対位置情報から、過去画像の撮影時の絶対的なカメラ位置及び姿勢を求める（ステップＳ１０５〜Ｓ１０８）。サーバ装置２０は、該求められた絶対的なカメラ位置及び姿勢に係る情報を、ネットワーク３０を介して、端末装置１０に送信する。

次に、端末装置１０の制御部１３は、送信された絶対的なカメラ位置及び姿勢に係る情報に基づいて、過去画像の撮影時の絶対的なカメラ位置及び姿勢を、例えばモニタ（図示せず）上に表示して、ユーザに提示する（ステップＳ１０９）。

本実施例に係る「通信部１５」は、本発明に係る「送信手段」及び「推定結果取得手段」の一例である。本実施例に係る「サーバ装置２０」は、本発明に係る「外部装置」の一例である。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う撮影条件推定装置及び方法、コンピュータプログラム並びに記録媒体もまた本発明の技術的範囲に含まれるものである。

１、２…撮影条件推定装置、３…撮影条件推定システム、１０…端末装置、１１…撮影画像取得手段、１２…絶対位置取得手段、１３…制御部、１４…記憶部、１５…通信部、２０…サーバ装置、３０…ネットワーク

Claims (9)

1. 第１画像に係る情報である第１画像情報を取得する第１画像取得手段と、
   前記第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得手段と、
   一の撮影装置により前記対象物が撮影され前記第２画像情報が生成された時の前記一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得手段と、
   前記取得された第１画像情報、前記取得された第２画像情報及び前記取得された絶対位置情報に基づいて、前記一の撮影装置又は前記一の撮影装置とは異なる他の撮影装置により前記対象物が撮影され前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置を少なくとも推定する推定手段と、
   を備えることを特徴とする撮影条件推定装置。
2. 前記推定手段は、
   前記取得された第１画像情報及び前記取得された第２画像情報に基づいて、前記第１画像及び前記第２画像各々の特徴点を取得する特徴点取得手段を有し、
   前記取得された特徴点に基づいて、前記第１画像の元となる情報が生成された時及び前記第２画像情報が生成された時各々における前記一の撮影装置又は前記他の撮影装置の相対位置、撮影方向及び焦点距離を少なくとも含む撮影条件を算出し、
   前記算出された撮影条件と、前記取得された絶対位置情報とに基づいて、前記第１画像の元となる情報が生成された時の絶対位置を推定する
   ことを特徴とする請求項１に記載の撮影条件推定装置。
3. 前記第２画像取得手段は、前記対象物を夫々撮影した複数の第２画像に夫々対応する複数の第２画像情報を取得し、
   前記位置情報取得手段は、前記一の撮影装置により前記対象物が撮影され前記複数の第２画像情報が夫々生成された時の前記一の撮影装置の絶対位置に夫々対応する複数の絶対位置情報を取得する
   ことを特徴とする請求項１又は２に記載の撮影条件推定装置。
4. 前記推定された前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置を少なくとも提示する提示手段を更に備えることを特徴とする請求項１乃至３のいずれか一項に記載の撮影条件推定装置。
5. 当該撮影条件推定装置の現在位置を計測する位置計測手段と、
   前記計測された現在位置に基づいて、ユーザを、前記推定された前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置まで誘導する誘導手段と、
   を更に備える
   ことを特徴とする請求項１乃至４のいずれか一項に記載の撮影条件推定装置。
6. 第１画像に係る情報である第１画像情報を取得する第１画像取得手段と、
   前記第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得手段と、
   一の撮影装置により前記対象物が撮影され前記第２画像情報が生成された時の前記一の撮影装置の絶対位置に係る情報である第１絶対位置情報を取得する位置情報取得手段と、
   前記取得された第１画像情報、前記取得された第２画像情報及び前記取得された第１絶対位置情報を、外部装置へ送信する送信手段と、
   前記送信手段により送信された第１画像情報、第２画像情報及び第１絶対位置情報に基づいて、前記外部装置により推定された、前記一の撮影装置又は前記一の撮影装置とは異なる他の撮影装置により前記対象物が撮影され前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置に係る情報である第２絶対位置情報を前記外部装置から取得する推定結果取得手段と、
   前記取得された第２絶対位置情報を提示する提示手段と、
   を備えることを特徴とする端末装置。
7. 撮影条件推定装置によって使用される撮影条件推定方法であって、
   第１画像に係る情報である第１画像情報を取得する第１画像取得工程と、
   前記第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得工程と、
   一の撮影装置により前記対象物が撮影され前記第２画像情報が生成された時の前記一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得工程と、
   前記取得された第１画像情報、前記取得された第２画像情報及び前記取得された絶対位置情報に基づいて、前記一の撮影装置又は前記一の撮影装置とは異なる他の撮影装置により前記対象物が撮影され前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置を少なくとも推定する推定工程と、
   を備えることを特徴とする撮影条件推定方法。
8. コンピュータを、
   第１画像に係る情報である第１画像情報を取得する第１画像取得手段と、
   前記第１画像に含まれる対象物を撮影した第２画像に係る情報である第２画像情報を取得する第２画像取得手段と、
   一の撮影装置により前記対象物が撮影され前記第２画像情報が生成された時の前記一の撮影装置の絶対位置に係る情報である絶対位置情報を取得する位置情報取得手段と、
   前記取得された第１画像情報、前記取得された第２画像情報及び前記取得された絶対位置情報に基づいて、前記一の撮影装置又は前記一の撮影装置とは異なる他の撮影装置により前記対象物が撮影され前記第１画像の元となる情報が生成された時の前記一の撮影装置又は前記他の撮影装置の絶対位置を少なくとも推定する推定手段と、
   として機能させることを特徴とするコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムが記録されていることを特徴とする記録媒体。

Images