JP2016004466A - 情報生成装置及び方法、端末装置、コンピュータプログラム並びに記録媒体 - Google Patents

Abstract

【課題】ユーザの負担を低減しつつ、複数の２次元画像から３次元形状を生成する。【解決手段】ユーザにより指定された一又は複数のユーザ画像をデータベースから取得し、ユーザ画像に含まれる一の対象物を特定する対象物情報を取得し、通信部及びネットワークを介して、対象物情報に関連付けられた基本画像群を検索し、基本画像群を構成する複数の画像各々のカメラパラメータを推定し、ユーザ画像各々の撮影時のカメラ位置及び姿勢を推定し、ユーザ画像及び基本画像群を構成する複数の画像各々に含まれる対象物の特徴点の３次元座標位置を算出し、３次元座標における特徴点の集合である点群からパッチを生成することにより、対象物に係る３次元パッチモデルを生成し、ユーザ画像及び基本画像群を構成する複数の画像から生成したテクスチャを生成されたパッチにマッピングすることにより、対象物に係る色情報が付加された３次元形状モデルを生成する。【選択図】図２

Description

本発明は、例えば写真等の２次元画像から３次元形状を生成する情報生成装置及び方法、端末装置、コンピュータプログラム、並びに、該コンピュータプログラムが記録された記録媒体の技術分野に関する。

この種の装置として、例えば、対象物を撮影した動画像又は時系列的に連続的な画像列に基づいて撮影時のカメラ位置・姿勢情報を算出し、該算出されたカメラ位置・姿勢情報と対応する画像とを関連付け、予め登録されている上記対象物の３次元形状モデル上に、動画像又は画像列に含まれるテクスチャを投影する装置が提案されている（特許文献１参照）。

或いは、例えば非特許文献１として挙げたウェブページに記載されているように、対象物（一例としてローマ劇場）を撮影した複数の写真から、該対象物の３次元形状を復元する研究が進められている。或いは、対象物を撮影した複数の写真から該対象物の３次元形状を復元し、該復元された３次元形状から該対象物の３次元モデルを生成するソフトウェア及びサービスがウェブ上で提供されている（非特許文献２参照）。

特開２００５−６３０４１号公報

Sammeer et al.、"Building Rome in a Day"、［online］、［平成２６年４月２１日検索］、インターネット＜URL: http://grail.cs.washington.edu/rome/＞ Michal et al.、"CMPMVS"、［online］、［平成２６年４月２１日検索］、インターネット＜URL: http://ptak.felk.cvut.cz/sfmservice/?menu=cmpmvs＞

近年、３Ｄプリンタの販売価格が低下し、個人でも購入可能な価格となってきている。このため、個人が、複数の２次元画像に基づいて生成された３次元モデルを、例えばコンピュータにインストールされたビューワーソフトで観賞するだけでなく、３Ｄプリンタを用いて立体構造物として出力したいというニーズが生じる可能性がある。

しかしながら、上述の特許文献１に記載された技術では、対象物の３次元形状モデルを、３次元形状計測装置により予め計測してデータベースに登録しなければならないという技術的問題点がある。また、上述の非特許文献１及び２に記載された技術では、精度良く対象物の３次元形状を生成するためには、該対象物を撮影した２次元画像が大量に必要であるという技術的問題点がある（例えば非特許文献１によれば、ローマ劇場の３次元形状を生成するために、約２０００枚の写真が用いられている）。

本発明は、例えば上記問題点に鑑みてなされたものであり、比較的容易にして、複数の２次元画像から３次元形状を生成することができる情報生成装置及び方法、端末装置、コンピュータプログラム並びに記録媒体を提供することを課題とする。

本発明の請求項１に記載の情報生成装置は、上記課題を解決するために、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得手段と、前記ユーザ以外のものにより撮影され、前記対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得手段と、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記ユーザ画像、及び前記取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、前記推定された撮影条件、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記対象物の３次元形状に係る情報を生成する生成手段と、を備える。

本発明の請求項７に記載の端末装置は、上記課題を解決するために、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得して、前記取得されたユーザ画像情報を、外部装置へ送信する送信手段と、（ｉ）前記ユーザ以外のものにより撮影され、前記対象物を夫々含む複数の画像を含んでなる画像群情報をコンピュータネットワークを介して取得し、（ｉｉ）前記送信されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記ユーザ画像、及び前記画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、（ｉｉｉ）前記推定された撮影条件、前記送信されたユーザ画像情報及び前記取得された画像群情報に基づいて生成された前記対象物の３次元形状に係る情報を、前記外部装置から取得する情報取得手段と、前記取得された３次元形状に係る情報を提示する提示手段と、を備える。

本発明の請求項８に記載の情報生成方法は、上記課題を解決するために、情報生成装置によって使用される情報生成方法であって、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得工程と、前記ユーザ以外のものにより撮影され、前記対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得工程と、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記ユーザ画像、及び前記取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、前記推定された撮影条件、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記対象物の３次元形状に係る情報を生成する生成工程と、を備える。

本発明の請求項９に記載のコンピュータプログラムは、上記課題を解決するために、コンピュータを、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得手段と、前記ユーザ以外のものにより撮影され、前記対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得手段と、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記ユーザ画像、及び前記取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、前記推定された撮影条件、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記対象物の３次元形状に係る情報を生成する生成手段と、として機能させる。

本発明の請求項１０に記載の記録媒体は、上記課題を解決するために、本発明のコンピュータプログラムが記録されている。

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。

第１実施例に係る情報生成装置の構成を示すブロック図である。 第１実施例に係る情報生成処理の概要を示すフローチャートである。 第１実施例に係る情報生成処理を示すフローチャートである。 ＳｆＭ技術を説明するためのフローチャートである。 第１実施例の第１変形例に係る情報生成処理を示すフローチャートである。 第１実施例の第２変形例に係る情報生成処理を示すフローチャートである。 第２実施例に係る情報生成装置の構成を示すブロック図である。

本発明の情報生成装置等に係る実施形態について説明する。

（情報生成装置）
実施形態に係る情報生成装置は、第１取得手段、第２取得手段及び生成手段を備えて構成されている。

第１取得手段は、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する。

第２取得手段は、ユーザ以外のものにより撮影され、ユーザ画像に含まれる対象物を夫々含む複数の画像を含んでなる画像群情報を取得する。ここで、「ユーザ以外のもの」とは、ユーザ以外の人に限らず、例えば監視カメラ等の自動撮影装置も含む概念である。

例えばメモリ、プロセッサ等を備えてなる生成手段は、取得されたユーザ画像情報及び取得された画像群情報に基づいて、ユーザ画像、及び取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定する。生成手段は、更に、該推定された撮影条件、取得されたユーザ画像情報及び取得された画像群情報に基づいて、対象物の３次元形状に係る情報を生成する。

生成手段は、具体的には例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）等の公知の技術を用いて、ユーザ画像及び画像群情報に含まれる複数の画像から、該ユーザ画像及び複数の画像各々の撮影時の撮影条件を推定する。例えばＳｆＭでは、撮影条件が推定される過程で、画像を構成する画素の集合である点群（ポイントクラウド）の３次元座標位置が得られるの。生成手段は、例えば点群から一又は面を形成すると共に、該形成された一又は複数の面に、ユーザ画像情報及び画像群情報に基づいて色情報を付加することにより、対象物の３次元形状に係る情報を生成する。

上述の如く、本実施形態に係る情報生成装置では、対象物の３次元形状に係る情報を生成するために、ユーザ画像に加えて、ユーザ以外のものにより撮影された複数の画像が用いられている。つまり、対象部の３次元形状に係る情報を生成するために、個人であるユーザ自身が、対象物を含む画像を大量に撮影する必要がない。

従って、本実施形態に係る情報生成装置によれば、ユーザの撮影負担を抑制しつつ、比較的容易にして、複数の２次元画像から３次元形状に係る情報を生成することができる。

実施形態に係る情報生成装置の一態様では、生成手段は、取得された画像群情報に基づいて、該取得された画像群情報に含まれる複数の画像各々の撮影時の撮影条件である第１撮影条件を推定すると共に、取得された画像群情報、推定された第１撮影条件及び取得されたユーザ画像情報に基づいて、ユーザ画像の撮影時の撮影条件である第２撮影条件を推定する推定手段を有し、取得された画像群情報、取得されたユーザ画像情報、推定された第１撮影条件及び推定された第２撮影条件に基づいて、対象物の３次元形状に係る情報を生成する。

この態様によれば、例えば第１撮影条件を推定する処理と、第２撮影条件を推定する処理とを、別々の時間帯に実施することができる。このため、例えばコンピュータネットワークの負荷の少ない時間帯に、画像群情報を取得すると共に、該取得された画像群情報に基づいて第１撮影条件を推定し、ユーザの活動時間帯に、ユーザ画像等に基づいて第２撮影条件を推定する等により、ユーザが体感する処理時間を低減することができる。

実施形態に係る情報生成装置の他の態様では、第２取得手段は、画像群情報に含まれる複数の画像の少なくとも一部を、コンピュータネットワークを介して取得する。

この態様によれば、第２取得手段は、例えばインターネット等のコンピュータネットワーク上に散在する複数の画像のうち、ユーザ画像に含まれる対象物を含む画像を、画像群情報の少なくとも一部として取得する。このように構成すれば、比較的容易にして、蒸気対象物を含む画像を比較的多く収集することができ、実用上非常に有利である。

実施形態に係る情報生成装置の他の態様では、取得されたユーザ画像情報及び取得された画像群情報から、対象物に係るテクスチャを生成するテクスチャ生成手段を更に備え、該テクスチャ生成手段は、生成された３次元形状に係る情報により示される３次元形状の一の部分に対応するテクスチャが、取得されたユーザ画像情報及び取得された画像群情報のいずれからも生成可能な場合、取得されたユーザ画像情報から生成されたテクスチャを選択する。

この態様によれば、テクスチャが付加された３次元形状のモデルの外観に起因して、ユーザが違和感を覚える可能性を低減することができ、実用上非常に有利である。

この態様では、テクスチャ生成手段は、生成された３次元形状に係る情報により示される３次元形状の第１部分に対応するテクスチャが、取得されたユーザ画像情報から生成された第１テクスチャであり、該第１部分に隣接する第２部分に対応するテクスチャが、取得された画像群情報から生成された第２テクスチャである場合、生成された第２テクスチャに係る特徴を、生成された第１テクスチャに係る特徴に応じて変更してよい。

このように構成すれば、テクスチャが付加された３次元形状のモデルの外観を、より自然なものとすることができ、実用上非常に有利である。

実施形態に係る情報生成装置の他の態様では、取得された画像群情報と、推定された画像群情報に含まれる複数の画像各々の撮影時の撮影条件と、を記憶する記憶手段を更に備える。

この態様によれば、当該情報生成装置が、例えばウェブ上のサービスシステムに適用される場合、一のユーザが、他のユーザが過去に３次元形状に係る情報を生成した対象物と同一の対象物について、３次元形状に係る情報の生成を望む際に、過去に取得された画像群情報や推定された撮影条件を用いることができるので、例えば当該情報生成装置の処理負荷を低減することができ、実用上非常に有利である。

（端末装置）
実施形態に係る端末装置は、送信手段、情報取得手段及び提示手段を備えて構成されている。

送信手段は、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得して、該取得されたユーザ画像情報を、外部装置へ送信する。ここで、「外部装置」は、当該端末装置と異なる装置であればよく、例えば当該端末装置とフラットケーブル等により接続された装置、或いは、例えば当該端末装置とネットワークを介して接続されたサーバ装置、等である。

外部装置は、（ｉ）ユーザ以外のものにより撮影され、対象物を夫々含む複数の画像を含んでなる画像群情報をコンピュータネットワークを介して取得し、（ｉｉ）送信されたユーザ画像情報及び取得された画像群情報に基づいて、ユーザ画像、及び画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、（ｉｉｉ）該推定された撮影条件、送信されたユーザ画像情報及び取得された画像群情報に基づいて対象物の３次元形状に係る情報を生成する。

情報取得手段は、外部装置により生成された対象物の３次元形状に係る情報を、該外部装置から取得する。提示手段は、取得された３次元形状に係る情報を提示する。

本実施形態に係る端末装置によれば、上述した実施形態に係る情報生成装置と同様に、ユーザの撮影負担を抑制しつつ、比較的容易にして、複数の２次元画像から３次元形状に係る情報を生成することができる。尚、本実施形態に係る端末装置においても、上述した実施形態に係る情報生成装置の各種態様と同様の各種態様を採ることができる。

（情報生成方法）
実施形態に係る情報生成方法は、情報生成装置によって使用される情報生成方法である。当該情報生成方法は、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得工程と、ユーザ以外のものにより撮影され、対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得工程と、該取得されたユーザ画像情報及び取得された画像群情報に基づいて、ユーザ画像、及び取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、該推定された撮影条件、取得されたユーザ画像情報及び取得された画像群情報に基づいて、対象物の３次元形状に係る情報を生成する生成工程と、を備える。

本実施形態に係る情報生成方法によれば、上述した実施形態に係る情報生成装置と同様に、ユーザの撮影負担を抑制しつつ、比較的容易にして、複数の２次元画像から３次元形状に係る情報を生成することができる。尚、本実施形態に係る情報生成方法においても、上述した実施形態に係る情報生成装置の各種態様と同様の各種態様を採ることができる。

（コンピュータプログラム）
実施形態に係るコンピュータプログラムは、コンピュータを、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得手段と、ユーザ以外のものにより撮影され、対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得手段と、該取得されたユーザ画像情報及び取得された画像群情報に基づいて、ユーザ画像、及び取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、該推定された撮影条件、取得されたユーザ画像情報及び取得された画像群情報に基づいて、対象物の３次元形状に係る情報を生成する生成手段と、として機能させる。

実施形態に係るコンピュータプログラムによれば、当該コンピュータプログラムを格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（ＤＶＤ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体から、当該コンピュータプログラムを、情報生成装置に備えられたコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してダウンロードさせた後に実行させれば、上述した実施形態に係る情報生成装置を比較的容易にして実現できる。これにより、上述した実施形態に係る情報生成装置と同様に、過去に撮影された第１画像についての撮影条件を推定することができる。

上記、実施形態に係るコンピュータプログラムが格納されたＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等が、本発明の記録媒体に係る実施形態の一例である。

本発明の情報生成装置に係る実施例を、図面に基づいて説明する。

＜第１実施例＞
第１実施例に係る情報生成装置の構成について、図１を参照して説明する。図１は、第１実施例に係る情報生成装置の構成を示すブロック図である。

図１において、情報生成装置１は、例えばメモリ、プロセッサ等を備えてなるデータ処理部１１と、通信部１２と、表示部１３と、当該情報生成装置１のユーザが撮影した画像であるユーザ画像により構築されたユーザ画像群を含むデータベース２０と、を備えて構成されている。

尚、データベース２０には、ユーザ画像群に限らず、例えば、ユーザがネットワーク３を介してダウンロードした画像、ユーザが知人から譲り受けた画像、等も含まれていてよい。

情報生成装置１は、通信部１２を介して、例えばインターネット等の広域ネットワークや、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の挟域ネットワークを含んでなるネットワーク３に接続されている。そして、情報生成装置１は、ネットワーク３上に存在する画像群２にアクセス可能に構成されている。

画像群２に含まれる複数の画像各々は、典型的には、当該情報生成装置１がネットワーク３を介してアクセス可能な複数の装置の少なくとも一部に格納されているが、一つのサーバ装置に格納されていてもよい。

ここで、本実施例では、画像群２に含まれる複数の画像のうち、同一の対象物を夫々含む複数の画像を、「基本画像群」と称する。図１において、基本画像群に付与された符号Ａ、Ｂ、…、Ｘは、対象物が異なっていることを示している。具体的には例えば、「基本画像群Ａ」が、所謂三大ピラミッドを対象物としている基本画像群であり、「基本画像群Ｂ」が、富士山を対象物としている基本画像群であってよい。

次に、情報生成装置１における情報生成処理の概要について、図２のフローチャートを参照して説明する。

図２において、先ず、データ処理部１１は、ユーザにより指定された一又は複数のユーザ画像を、データベース２０から取得する（ステップＳ１０１）。ここで、ユーザにより複数のユーザ画像が指定された場合、該指定された複数の画像には同一の対象物が含まれているものとする。該対象物は、ユーザが３次元形状の復元を所望する対象物である。

次に、データ処理部１１は、取得された一又は複数のユーザ画像に含まれる一の対象物の、例えば名称、場所名及び位置情報等の該一の対象物を特定する対象物情報を取得する。ここで、データ処理部１１が一の対象物情報を自動的に取得できない場合、該データ処理部１１は、例えば一の対象物を特定できない旨のメッセージ等を、表示部１３上に提示すると共に、ユーザに該一の対象物に係る情報の入力を促す。データ処理部１１は、ユーザにより入力された情報から、対象物情報を取得する。

続いて、データ処理部１１は、通信部１２及びネットワーク３を介して、取得された対象物情報に関連付けられた基本画像群を検索する（ステップＳ１０２）。続いて、データ処理部１１は、検索された基本画像群を構成する複数の画像を取得し、該取得された複数の画像各々のカメラパラメータを推定し、該取得された複数の画像各々の撮影時のカメラ位置及び姿勢を推定する。（ステップＳ１０３）。

本実施例では、カメラパラメータの推定に、ＳｆＭを利用している。尚、ＳｆＭは、未知環境下で移動するロボット等の自己位置推定やマッピングに使用される場合には、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）やＶｉｓｕａｌ ＳＬＡＭと呼ばれることがある。

ここで、ＳｆＭの概要について、図４のフローチャートを参照して説明を加える。

図４において、先ず、複数の撮影画像が取り込まれた後（ステップＳ９０１）、取り込まれた複数の撮影画像各々の特徴点が検出される（ステップＳ９０２）。次に、２枚の画像ペアの各特徴点を比較することにより、該特徴点のうち一致する特徴点が対応点として検出される（このような処理を、適宜“マッチング”と称する）（ステップＳ９０３）。

尚、マッチングには、例えば近似最近傍探索（S. Arya et al. “An optimal algorithm for approximate nearest neighbor searching”, Journal of the AMC, 45, 6, pp.891-923 (1998)参照）等を適用可能である。

次に、検出された対応点から、２枚の画像ペアを撮影したカメラのカメラパラメータ（例えば基礎行列、基本行列、内部パラメータ等）が推定される（ステップＳ９０４）。尚、カメラパラメータの推定には、例えば８点アルゴリズム（“ディジタル画像処理” CG-ARTS協会、ISBN4-906665-47-0 p266参照）、ＤＬＴ法（Y.I. Abdel-Aziz et al. “Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry. In Proceedings of the Symposium on Close-Range Photogrammetry”, pp-1-18. American Society of Photogrammetry, Falls Church, 1971参照）等を適用可能である。

次に、推定されたカメラパラメータに基づいて、カメラの位置及び姿勢が求められると共に（ステップＳ９０５）、対象物の特徴点の３次元位置が求められる（ステップＳ９０６）。尚、カメラの位置及び姿勢は、例えばカメラパラメータの一つである基本行列が、特異値分解（R. Hartley et al. “Mutiview Geometry in computer vision”, 2nd Edition, Cambridge University Press, 2004参照）により、回転行列と並進ベクトルとに分解されることにより求められてよい。

再び図２に戻り、ステップＳ１０３の処理の後、データ処理部１１は、ステップＳ１０１の処理において取得された一又は複数のユーザ画像と、ステップＳ１０２の処理において取得された基本画像群を構成する複数の画像と、該複数の画像各々の撮影時のカメラ位置及び姿勢と、に基づいて、該取得された一又は複数のユーザ画像各々の撮影時のカメラ位置及び姿勢を推定する。

そして、データ処理部１１は、一又は複数のユーザ画像各々の撮影時のカメラ位置及び姿勢と、基本画像群を構成する複数の画像各々の撮影時のカメラ位置及び姿勢と、に基づいて、一又は複数のユーザ画像及び基本画像群を構成する複数の画像各々に含まれる一の対象物の特徴点の３次元座標位置を算出する（ステップＳ１０４）。

次に、データ処理部１１は、３次元座標における上記特徴点の集合である点群（ポイントクラウド）からパッチ（メッシュ）を生成することにより、一の対象物に係る３次元パッチモデルを生成する（ステップＳ１０５）。続いて、データ処理部１１は、生成されたパッチに、一又は複数のユーザ画像及び基本画像群を構成する複数の画像から生成したテクスチャをマッピングすることにより、一の対象物に係る色情報が付加された３次元形状モデルを生成する（ステップＳ１０６）。

上記ステップＳ１０５及びＳ１０６の処理には、例えば３次元ドロネー三角形分割等の公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。尚、テクスチャマッピングの際に、相互に隣接する二つのパッチに、夫々異なる画像から生成されたテクスチャがマッピングされると、該二つのパッチの境界の模様に不整合が生じることがある。この問題に対して、例えば、飯山 将晃他、「複数視点画像からのテクスチャマッピングにおける模様の整合性の保存」、電気情報通信学会論文誌 Ｄ Ｖｏｌ．Ｊ９３−Ｄ Ｎｏ．８ ｐｐ．１４３９−１４４９（２０１０）等の技術が提案されている。

以上説明したように、本実施例に係る情報生成装置１によれば、対象物の３次元形状を復元するために、ネットワーク３上に存在する該対象物を含む複数の画像が取得される。従って、ユーザ自身が、上記対象物を含む画像を、例えば数千枚等、大量に撮影する必要がない。このため、特に、個人であるユーザの負担を抑制しつつ、例えば所謂三大ピラミッド等の大規模な対象物の３次元形状の復元を比較的精度良く行うことができる。

次に、本実施例に係る情報生成装置１における情報生成処理の詳細について、図３のフローチャートを参照して説明を加える。

図３において、先ず、データ処理部１１は、ユーザにより指定された一又は複数のユーザ画像を、データベース２０から取得する（ステップＳ２０１）。続いて、データ処理部１１は、取得された一又は複数のユーザ画像に含まれる一の対象物に係る対象物情報を取得する（ステップＳ２０２）。

次に、データ処理部１１は、通信部１２及びネットワーク３を介して、取得された対象物情報に関連付けられた基本画像群を検索して取得する（ステップＳ２０３）。続いて、データ処理部１１は、取得された基本画像群を構成する複数の画像各々のカメラパラメータを推定する（ステップＳ２０４）。続いて、データ処理部１１は、推定されたカメラパラメータから、上記複数の画像各々の撮影時のカメラ位置及び姿勢を推定する（ステップＳ２０５）。

次に、データ処理部１１は、一又は複数のユーザ画像と、上記複数の画像と、該複数の画像各々のカメラパラメータと、に基づいて、一又は複数のユーザ画像各々のカメラパラメータを推定する（ステップＳ２０６）。

具体的には、データ処理部１１は、上記複数の画像及び一又は複数のユーザ画像各々の特徴点を抽出し、画像間の特徴点マッチングを行う。この際、既に推定されている複数の画像各々のカメラパラメータは固定値として扱い、一又は複数のユーザ画像各々のカメラパラメータのみを推定する。より具体的には、データ処理部１１は、一又は複数のユーザ画像各々の特徴点の再投影誤差が最小になるようなカメラパラメータを、該一又は複数のユーザ画像各々のカメラパラメータと推定する。

次に、データ処理部１１は、該推定されたカメラパラメータから、一又は複数のユーザ画像各々の撮影時のカメラ位置及び姿勢を推定する（ステップＳ２０７）。続いて、データ処理部１１は、上記複数の画像及び一又は複数のユーザ画像各々から抽出された特徴点を、上記ステップＳ２０４及びＳ２０６の処理において推定されたカメラパラメータに基づいて、３次元空間に投影し、該投影された各特徴点の３次元座標を算出する（ステップＳ２０８）。

次に、データ処理部１１は、算出された３次元座標に基づいてパッチを生成する（ステップＳ２０９）。続いて、データ処理部１１は、上記ステップＳ２０５及びＳ２０７の処理において推定された撮影時のカメラ位置及び姿勢に基づいて、生成された一のパッチが、ユーザ画像の撮影時にユーザのカメラから見えていた対象物の部分に対応するか否かを判定する（ステップＳ２１０）。

撮影時にユーザのカメラから見えていた対象物の部分に対応していると判定された場合（ステップＳ２１０：Ｙｅｓ）、データ処理部１１は、一又は複数のユーザ画像のうち、一のパッチに対応するユーザ画像に、該一のパッチの頂点を投影し、該投影された頂点により囲まれた領域をテクスチャとして生成して、該一のパッチに付加する（ステップＳ２１１）。

他方、撮影時にユーザのカメラから見えていた対象物の部分に対応していないと判定された場合（ステップＳ２１０：Ｎｏ）、データ処理部１１は、基本画像群を構成する複数の画像のうち、一のパッチに対応する画像からテクスチャを生成して、該一のパッチに付加する（ステップＳ２１２）。

次にデータ処理部１１は、全てのパッチにテクスチャが付加されたか否かを判定する（ステップＳ２１３）。全てのパッチにテクスチャが付加されたと判定された場合（ステップＳ２１３：Ｙｅｓ）、データ処理部１１は処理を終了する。他方、全てのパッチにテクスチャが付加されていないと判定された場合（ステップＳ２１３：Ｎｏ）、データ処理部１１は、上記ステップＳ２１０の処理を実施する。

＜第１変形例＞
次に、第１実施例に係る情報生成装置１の第１変形例について、図５のフローチャートを参照して説明する。

本変形例では、ユーザが３次元形状の復元を望む対象物を、対象物としている基本画像群を構成する複数の画像各々の特徴点、画像間の特徴点の対応関係、該複数の画像各々のカメラパラメータ並びに撮影時のカメラ位置及び姿勢が、予め対応付けられており、例えば、本発明に係る「記憶手段」の一例としての、データベース２０に格納されているものとする。

このため、本変形例に係る情報生成処理では、図３におけるステップＳ２０４及びＳ２０５の処理が省略される。つまり、基本画像群を構成する複数の画像各々のカメラパラメータの推定（図３におけるステップＳ２０４）、並びに撮影時のカメラ位置及び姿勢の推定（図３におけるステップＳ２０５）が、情報生成処理とは異なる他の処理として実施される。

このように構成すれば、情報生成処理の高速化を図ることができ、実用上非常に有利である。尚、データベース２０に予め格納された基本画像群に係るカメラパラメータ等は、例えばステップＳ２０３の処理において、基本画像群と一緒に取得されてよい。

＜第２変形例＞
次に、第１実施例に係る情報生成装置１の第２変形例について、図６のフローチャートを参照して説明する。

本変形例では、上述したステップＳ２１０の処理において、撮影時にユーザのカメラから見えていた対象物の部分に対応していないと判定された場合（ステップＳ２１０：Ｎｏ）、データ処理部１１は、一のパッチに隣接するパッチに付加されたテクスチャがユーザ画像から生成されたか否かを判定する（ステップＳ３０１）。

隣接するパッチに付加されたテクスチャがユーザ画像から生成されたと判定された場合（ステップＳ３０１：Ｙｅｓ）、データ処理部１１は、一のパッチのテクスチャ生成に用いられる画像の特徴を、隣接するパッチに付加されたテクスチャの生成に用いられたユーザ画像の特徴に合わせて変更する（ステップＳ３０２）。続いて、データ処理部１１は、変更された画像を用いて一のパッチに対応するテクスチャを生成して、該一のパッチに付加する（ステップＳ２１２）。

他方、隣接するパッチに付加されたテクスチャがユーザ画像から生成されていないと判定された場合（ステップＳ３０１：Ｎｏ）、データ処理部１１は、ステップＳ２１２の処理を実施する。

このように構成すれば、生成された３次元形状モデルの色の変化を自然なものとすることができ、実用上非常に有利である。

＜第２実施例＞
本発明の情報生成装置に係る第２実施例について、図７を参照して説明する。第２実施例では、情報生成装置（システム）が、ネットワークを介して互いに接続された端末装置及びサーバ装置を備えて構成されている以外は、上述した第１実施例と同様である。よって、第２実施例について、第１実施例と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図７を参照して説明する。図７は、第２実施例に係る情報生成装置の構成を示すブロック図である。

図７において、情報生成システム１００は、ネットワーク３を介して互いに接続された端末装置１０と、本発明に係る「外部装置」の一例としての、サーバ装置３０とを備えて構成されている。

端末装置１０は、通信部１２、表示部１３及びデータベース２０を備えて構成されている。ここで、本実施例に係る「通信部１２」は、本発明に係る「送信手段」及び「情報取得手段」の一例である。本実施例に係る「表示部１３」は、本発明に係る「提示手段」の一例である。

当該情報生成システム１００における情報生成処理は、基本的には、上述した図２及び図３のフローチャートにより示される情報生成処理と同様である。

具体的には、端末装置１０の通信部１２は、ユーザにより指定された一又は複数のユーザ画像をデータベース２０から取得し、ネットワーク３を介して、サーバ装置３０に送信する。この結果、サーバ装置３０は、一又は複数のユーザ画像を取得する（ステップＳ２０１）。

次に、サーバ装置３０は、取得された一又は複数のユーザ画像に含まれる一の対象物に係る対象物情報を取得する（ステップＳ２０２）。続いて、サーバ装置３０は、ネットワーク３を介して、取得された対象物情報に関連付けられた基本画像群を検索して取得する（ステップＳ２０３）。

次に、サーバ装置３０は、取得された基本画像群を構成する複数の画像各々のカメラパラメータを推定する（ステップＳ２０４）。続いて、サーバ装置３０は、推定されたカメラパラメータから、上記複数の画像各々の撮影時のカメラ位置及び姿勢を推定する（ステップＳ２０５）。

次に、サーバ装置３０は、一又は複数のユーザ画像と、上記複数の画像と、該複数の画像各々のカメラパラメータと、に基づいて、一又は複数のユーザ画像各々のカメラパラメータを推定する（ステップＳ２０６）。続いて、サーバ装置３０は、一又は複数のユーザ画像各々のカメラパラメータから、該一又は複数のユーザ画像各々の撮影時のカメラ位置及び姿勢を推定する（ステップＳ２０７）。

次に、サーバ装置３０は、上記複数の画像、及び一又は複数のユーザ画像各々から抽出された特徴点を、上記ステップＳ２０４及びＳ２０６の処理において推定されたカメラパラメータに基づいて、３次元空間に投影し、該投影された各特徴点の３次元座標を算出する（ステップＳ２０８）。

次に、サーバ装置３０は、算出された３次元座標に基づいてパッチを生成する（ステップＳ２０９）。続いて、サーバ装置３０は、図３におけるステップＳ２１０〜Ｓ２１３の処理を実施して、生成された各パッチにテクスチャを付加する。

その後、サーバ装置３０は、一の対象物に係る色情報（テクスチャ）が付加された３次元形状モデルに係る情報を、ネットワーク３を介して、端末装置１０に送信する。端末装置１０の通信部１２は、該送信された３次元形状モデルに係る情報を受信する。続いて、端末装置１０は、受信された３次元形状モデルに係る情報を、表示部１３上に表示することにより、該端末装置１０のユーザに提示する。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報生成装置及び方法、コンピュータプログラム並びに記録媒体もまた本発明の技術的範囲に含まれるものである。

１…情報生成装置、２…画像群、３…ネットワーク、１０…端末装置、１１…データ処理部、１２…通信部、１３…表示部、２０…データベース、３０…サーバ装置、１００…情報生成システム

Claims (10)

1. ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得手段と、
   前記ユーザ以外のものにより撮影され、前記対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得手段と、
   前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記ユーザ画像、及び前記取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、前記推定された撮影条件、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記対象物の３次元形状に係る情報を生成する生成手段と、
   を備えることを特徴とする情報生成装置。
2. 前記生成手段は、
   前記取得された画像群情報に基づいて、前記取得された画像群情報に含まれる複数の画像各々の撮影時の撮影条件である第１撮影条件を推定すると共に、前記取得された画像群情報、前記推定された第１撮影条件及び前記取得されたユーザ画像情報に基づいて、前記ユーザ画像の撮影時の撮影条件である第２撮影条件を推定する推定手段を有し、
   前記取得された画像群情報、前記取得されたユーザ画像情報、前記推定された第１撮影条件及び前記推定された第２撮影条件に基づいて、前記対象物の３次元形状に係る情報を生成する
   ことを特徴とする請求項１に記載の情報生成装置。
3. 前記第２取得手段は、前記画像群情報に含まれる複数の画像の少なくとも一部を、コンピュータネットワークを介して取得することを特徴とする請求項１又は２に記載の情報生成装置。
4. 前記取得されたユーザ画像情報及び前記取得された画像群情報から、前記対象物に係るテクスチャを生成するテクスチャ生成手段を更に備え、
   前記テクスチャ生成手段は、前記生成された情報により示される３次元形状の一の部分に対応するテクスチャが、前記取得されたユーザ画像情報及び前記取得された画像群情報のいずれからも生成可能な場合、前記取得されたユーザ画像情報から生成されたテクスチャを選択する
   ことを特徴とする請求項１乃至３のいずれか一項に記載の情報生成装置。
5. 前記テクスチャ生成手段は、前記生成された情報により示される３次元形状の第１部分に対応するテクスチャが、前記取得されたユーザ画像情報から生成された第１テクスチャであり、前記第１部分に隣接する第２部分に対応するテクスチャが、前記取得された画像群情報から生成された第２テクスチャである場合、前記生成された第２テクスチャに係る特徴を、前記生成された第１テクスチャに係る特徴に応じて変更することを特徴とする請求項４に記載の情報生成装置。
6. 前記取得された画像群情報と、前記推定された前記画像群情報に含まれる複数の画像各々の撮影時の撮影条件と、を記憶する記憶手段を更に備えることを特徴とする請求項１乃至５のいずれか一項に記載の情報生成装置。
7. ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得して、前記取得されたユーザ画像情報を、外部装置へ送信する送信手段と、
   （ｉ）前記ユーザ以外のものにより撮影され、前記対象物を夫々含む複数の画像を含んでなる画像群情報をコンピュータネットワークを介して取得し、（ｉｉ）前記送信されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記ユーザ画像、及び前記画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、（ｉｉｉ）前記推定された撮影条件、前記送信されたユーザ画像情報及び前記取得された画像群情報に基づいて生成された前記対象物の３次元形状に係る情報を、前記外部装置から取得する情報取得手段と、
   前記取得された３次元形状に係る情報を提示する提示手段と、
   を備えることを特徴とする端末装置。
8. 情報生成装置によって使用される情報生成方法であって、
   ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得工程と、
   前記ユーザ以外のものにより撮影され、前記対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得工程と、
   前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記ユーザ画像、及び前記取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、前記推定された撮影条件、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記対象物の３次元形状に係る情報を生成する生成工程と、
   を備えることを特徴とする情報生成方法。
9. コンピュータを、
   ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得手段と、
   前記ユーザ以外のものにより撮影され、前記対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得手段と、
   前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記ユーザ画像、及び前記取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、前記推定された撮影条件、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記対象物の３次元形状に係る情報を生成する生成手段と、
   として機能させる
   ことを特徴とするコンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムが記録されていることを特徴とする記録媒体。

Images