JP2006309722A - 三次元モデルを利用した写真検索・閲覧システム及び同プログラム、写真を利用した三次元モデル表示・操作システム及び同プログラム - Google Patents

Abstract

【課題】デジタルアーカイブに適用して有益な、三次元モデルを利用した写真検索・閲覧システムと、写真を利用した三次元モデル表示・操作システム、並びにこれらのプログラムを提供する。
【解決手段】対象物の三次元モデルを画面上で見るユーザの視点に該当する仮想カメラの位置及び向きに関する仮想カメラデータと、対象物を撮影した写真のカメラの位置及び向きに関するカメラデータとを比較することで、両者の位置及び向きに基づいて、ユーザが画面上で閲覧している三次元モデルに似た視点から撮影されたデジタル写真の表示・閲覧を可能とし、またユーザが画面上で閲覧している写真に似た視点から三次元モデルを表示し操作できるようにした。また、要約の作成・閲覧や、外部サーバの検索エンジンを利用した、広範な情報収集も可能とした。
【選択図】図２

Description

本発明は、コンピュータで作成され画面表示された仮想の三次元モデルに基づいてそれに対応する現実の対象物を撮影した写真を検索し又は閲覧できるようにするためのシステム、及び前記写真に基づいて対応する三次元モデルを表示し又は操作できるようにするシステムに関するものである。

近年、文化財等をデジタル化することへの関心が高まりつつあり、多数の機関がデジタルアーカイブ（保存電子資料，電子資料館）を作成し公開するようになってきている。デジタルアーカイブには、例えば博物館等の館蔵品を紹介するもの、地域団体が当該地域に存在する文化的資産を電子資料化して街作りに活用しようとするもの、遺跡や歴史的建造物を対象として調査・発掘・研究や閲覧に利用しようとするものなど、様々な目的に応じて作られたものが種々知られている。斯かるデジタルアーカイブで用いられることが多いデジタル資料には、デジタル写真（以下、単に「写真」という）や三次元コンピュータグラフィックス（３Ｄ-ＣＧ）モデル（以下、「三次元モデル」という）が代表例である。

一般に写真を検索する場合、キーワード検索、類似画像検索、感性検索等の画像検索手法が利用することができる。しかし、デジタルアーカイブに収蔵される歴史的資料等には、「暖かい」や「清々しい」等といった感性語を利用した感性検索は適さない。また、対象物の色や形状、テクスチャ等の写真データに付与された情報に基づく類似画像検索では、似た情報を有する写真が検索結果として数多くヒットしすぎたり、例えば経時的に対象物の形状が現れてくる遺跡の発掘現場で撮影された写真の検索には向いていないといえる。さらに、キーワード検索では、検索しようとする対象物の写真データに付与された情報に該当するキーワードを利用者が知らなければそもそも検索することができず、利用者がキーワードを知っている場合でも同一対象物を撮影した写真データが大量にある場合には閲覧の際の負担が大きくなりすぎる。一方、三次元モデルに関しては、対象物が大きくなればなるほど、或いは対象物を詳細に表現しようとすればするほど、データ量が膨大となり、一般的なパーソナルコンピュータ等の情報処理機器では取り扱い難いものとなる。

ところで、３Ｄ-ＣＧモデルから類似する写真を検索しようとする試みがなされている（例えば、非特許文献１参照）。同文献に記載の方法は、表示された３Ｄ-ＣＧモデルのうち特定のシーンを二次元である写真に撮影（変換）し、その写真に類似する画像を検索する、というものである。
アスファルグ，パーラ（J.Assfaig, P. Pala）著，「Querying by Photographs :A VR Metaphor for Image Retrieval」，アイトリプルイー マルチメディア（IEEE Multimedia），Vol.7，No.1，２０００年

ところが上記文献の検索手法では、３Ｄ-ＣＧモデルにより表現される三次元空間の特定のシーンを一旦、二次元の画像として処理してからそれに類似する画像を検索するものであるため、検索手法自体は冒頭に述べた二次元画像同士の類似画像検索と変わるところがなく、３Ｄ-ＣＧモデルから直接的に二次元画像（写真）を検索するものではない。また、そのような検索手法のみでは、直接的な検索結果しか得ることができず、広がりを持った知識を得ようとするユーザの要望を満足させられるものとは言い難い。

そこで本発明は、３Ｄ-ＣＧモデルのあるシーンの画像から直接二次元画像である写真を検索し、さらにはその検索結果を用いてより広範な情報を得ることができ、また逆に写真から３Ｄ-ＣＧモデルを検索してそれを閲覧し操作することができるプログラム、並びにシステムを提供しようとするものである。

すなわち本発明に係る写真検索・閲覧システムは、対象物に基づいて作成された三次元デジタルモデルである三次元モデルから当該対象物について撮影されたデジタル写真を検索及び表示する一以上の情報処理装置を備えてなるものである。本発明において情報処理装置は、三次元モデルのデータを格納する三次元モデルデータ格納部と、デジタル写真に係るデータである写真データをこの写真を撮影したカメラの位置及び向きに係る情報を含むカメラデータと共に格納する写真データ格納部とを具備し又はこれらと情報通信可能に接続されている。そして本発明は、情報処理装置に、前記三次元モデルを当該情報処理装置が有する表示装置又は他の表示装置の画面に表示させて当該画面上で動作させ得るように三次元モデルのデータを出力する三次元モデルデータ出力部と、前記何れかの表示装置の画面に表示され且つ操作されたことにより指定された三次元モデルについて、当該三次元モデルを前記画面上で見るユーザの視点に対応させた仮想カメラの位置及び向きに係る情報を含む仮想カメラデータの指定を取得して決定する仮想カメラデータ受付部と、この仮想カメラデータ取得部で決定された仮想カメラデータに基づいて写真データ格納部を検索し、当該仮想カメラデータに応じたカメラデータに対応する写真データを抽出する写真検索部と、この抽出された写真データに基づくデジタル写真を何れかの表示装置の画面に表示させるように出力する写真データ出力部と、を具備してなることを特徴としている。

斯かる写真検索・閲覧システムを実現するために適切な本発明の写真検索・閲覧プログラムは、三次元モデルを前記情報処理装置が有する表示装置又は他の表示装置の画面に表示させて当該画面上で動作させ得るように三次元モデルのデータを出力する三次元モデルデータ出力工程と、前記何れかの表示装置の画面に表示され且つ操作されたことにより指定された三次元モデルについて、当該三次元モデルを前記画面上で見るユーザの視点に対応させた仮想カメラの位置及び向きに係る情報を含む仮想カメラデータの指定を取得して決定する仮想カメラデータ取得工程と、この仮想カメラデータ取得工程で決定された仮想カメラデータに基づいて前記写真データ格納部を検索し、当該仮想カメラデータに応じたカメラデータに対応する写真データを抽出する写真検索工程と、この抽出された写真データに基づくデジタル写真を前記何れかの表示装置の画面に表示させるように出力する写真データ出力工程と、を有することを特徴としている。

ここで、「三次元モデル」とは、コンピュータグラフィックスで作成された仮想的な三次元空間で表現される対象物のモデルである。なお、三次元モデルが作成され及びデジタル写真で撮影される対象物は、動産又は不動産の何れであってもよく、特に三次元モデルについては現存する物以外の物、例えば遺跡や出土品、昔の町並みや建物等を仮想的に復元したものであってもよい。。「仮想カメラ」とは、３Ｄ-ＣＧにおいて、三次元世界を描画（レンダリング）するために使用される仮想的なカメラであり、そのカメラから見えるはずのもの（三次元モデル）が画面に表示される。「仮想カメラデータ」とは、このような「仮想カメラ」が描画に必要とするデータを含み、基本的には、三次元空間における位置と向きの情報が含まれる。仮想カメラデータは、この位置と向きの情報に加えて、視野角に相当する値を含めることも可能であるし、これらのデータの他に、ＣＧソフトによるデータの表現形式の違いを認識するために当該ＣＧソフトの種類等の情報も含めたデータとすることができる。また、本システムは、一又は複数の情報処理装置から構成することができ、特に複数の情報処理装置から構成する場合はそれらをネットワーク等で情報通信可能に接続すればよい。上述の三次元データ格納部や写真データ格納部は、本システムの内部構成要素としてもよいし、外部要素としてもよい。さらに、三次元モデルや写真を表示する表示装置も、本システムの内部構成要素としてもよいし、外部要素とすることもできる。

このような三次元モデルを利用した写真検索・閲覧システム並びにプログラムでは、三次元モデルを画面上で閲覧する際のユーザの視点に相当する仮想カメラの位置及び向きに基づいて、その位置及び向きに対応する視点から撮影された写真を検索するようにしているため、三次元モデルを二次元画像に変換してから検索するというような手間は必要なくなり、当該写真に付与されているはずのキーワードを知らなくても検索することが可能となる。したがって本発明は、三次元モデルとデジタル写真を収蔵するデジタルアーカイブにおいて写真を検索し閲覧するという利用方法に適しているといえる。また、閲覧する対象物に関する専門家でなくても、三次元モデルに基づいて現実の対象物を撮影した写真を閲覧することが可能となるので、デジタルアーカイブの利用者の裾野を広げることにもつながる。

また、三次元モデルからデジタル写真を検索し閲覧するために利用するだけでなく、検索の結果、画面表示される写真に付加された情報（例えば対象物の名称や紹介文等のテキスト、写真中の対象物の特徴的な一部を拡大した写真等の各種データ）も閲覧することができるようになれば、上述のようなデジタルアーカイブの利用価値をより向上することができると考えられる。そこで本発明の写真検索・閲覧システムは、写真データ格納部には、前記写真データと前記カメラの位置及び向きに係る情報の他に、当該デジタル写真に関連のある情報からなる関連データを格納しておき、写真データ出力部を、デジタル写真を出力する際にこの関連データをも前記表示装置又は他の表示装置の画面に表示させるように出力するように構成することが適切である。また、このようなシステムに対応して本発明の写真検索・閲覧プログラムは、写真データ出力工程において、デジタル写真を出力する際に、関連データをも何れかの表示装置の画面に表示させるように出力するように構成したものとするとよい。ここで「関連データ」とは、上述のデジタル写真に付与されたメタデータ（撮影日、撮影場所、撮影者、カメラ機種、いわゆるＥｘｉｆ情報にあるような焦点距離・露出・ＧＰＳ情報等）のみならず、当該写真自体若しくは写真に写されているコンテンツに何らかの関連がある情報（コンテンツに関するコメントのテキストデータ、コンテンツの一部の部分拡大写真データや画像データ、コンテンツに関連する情報が掲載されているＷｅｂサイトのＵＲＬリンクデータ、その他の文字データ、画像（写真を含む）データ等）を意味している。

同様に、画面表示される三次元モデルと併せて、それに関係のある情報も閲覧できるようにすれば、本システムの利便性は向上する。そのためには本発明のシステムでは、前記三次元モデルデータ格納部には、前記三次元モデルデータの他に、当該三次元モデルに関連のある情報からなる関連データを格納しておき、前記三次元モデルデータ出力部が、前記三次元モデルデータを出力する際に、前記三次元モデルの関連データをも前記表示装置又は他の表示装置の画面に表示させるように出力するとよい。また、このようなシステムに対応する本発明のプログラムは、前記三次元モデルデータ出力工程において、前記三次元モデルデータを出力する際に、前記三次元モデルの関連データをも前記表示装置又は他の表示装置の画面に表示させるように出力するように構成するとよい。ここで、三次元モデルの「関連データ」とは、本システム及びプログラムのコンテンツである三次元モデルに付与されたメタデータ（当該モデルの名称、コンテンツの名称、データ形式、スケール、作成者、元データの取得方法等）のみならず、デジタル写真の関連データと同様に、三次元モデルに何らかの関連がある情報を意味している。

このような写真検索・閲覧システム及びプログラムにおいて、具体的な写真の検索手段として好ましい構成には、写真検索部又は写真検索工程において、仮想カメラデータとカメラデータを変数として演算処理により得られたスコアを各写真データに付与し、仮想カメラデータに近いカメラデータを示すスコアに基づいて一以上の写真データを抽出するようにしたものを挙げることができる。

また、写真検索・閲覧システムが三次元モデルを表示するための表示装置を内部要素として有する場合には、本システムに、三次元モデルデータ出力部により出力された三次元モデルのデータに基づいてこの情報処理装置が有する表示装置の画面に三次元モデルを動作可能に表示させる三次元モデル表示・操作部と、画面に表示されている三次元モデルの位置及び向きを指定して仮想カメラデータ受付部へ出力する三次元モデル指定部とをさらに設けるとよい。この場合に対応するプログラムは、上述したプログラムの工程に、三次元モデルデータ出力工程で出力された三次元モデルのデータに基づいて表示装置の画面に三次元モデルを動作可能に表示させる三次元モデル表示・操作工程と、画面に表示されている三次元モデルの位置及び向きを指定して仮想カメラデータ受付工程へ出力する三次元モデル指定工程とを加えたものとするとよい。

また、写真検索・閲覧システムが検索結果であるデジタル写真を表示するための表示装置を内部要素として有する場合には、本システムに、写真データ出力部により出力された写真データをこの情報処理装置が有する表示装置の画面に表示させる写真表示部をさらに設けるとよい。この場合に対応するプログラムは、上述したプログラムの工程に、写真データ出力工程で出力された写真データを表示装置の画面に表示させる写真表示工程をさらに加えたものとするとよい。

上述のように、対象物の三次元モデルから写真を検索し閲覧するのとは反対に、対象物を撮影した写真から三次元モデルを閲覧したり操作するというような利用方法も、上述したデジタルアーカイブ等では極めて有益である。したがって本発明は、次のような三次元モデル表示・操作システム並びにプログラムとすることができる。

すなわち本発明に係る三次元モデル表示・操作システムは、対象物に基づいて作成された三次元デジタルモデルである三次元モデルを、当該対象物について撮影されたデジタル写真に対応して表示及び操作させる一以上の情報処理装置を備えてなるものである。情報処理装置には、先述の写真検索・閲覧システムと同様に、デジタル写真に係るデータである写真データを当該写真を撮影したカメラの位置及び向きに係る情報を含むカメラデータと共に格納する写真データ格納部と、三次元モデルのデータを格納する三次元モデルデータ格納部とを設け又はこれらと情報通信可能に接続することができる。そして本発明に係るシステムは、情報処理装置に、デジタル写真を当該情報処理装置が有する表示装置又は他の表示装置の画面に表示させるように当該写真データを出力する写真データ出力部と、前記何れかの表示装置の画面に表示され且つ指定されたデジタル写真に関する情報を受け付ける写真指定受付部と、写真指定受付部で受け付けたデジタル写真に関する情報に基づいて写真データ格納部から対応するカメラデータを取得するカメラデータ取得部と、カメラデータ取得部で取得したカメラデータにおける位置及び向きに係る情報に基づいて、三次元モデル格納部内の三次元モデルを画面表示させた場合にユーザの視点に対応する仮想カメラの位置及び向きに係る情報を含む仮想カメラデータを決定する仮想カメラデータ決定部と、この仮想カメラデータ決定部で決定された仮想カメラデータの位置及び向きに基づいて三次元モデルを描画し、当該三次元モデルのデータを前記何れかの表示装置の画面に表示させて当該画面上で動作させ得るように出力する三次元モデルデータ出力部とを具備してなることを特徴としている。

斯かる三次元モデル表示・操作システムを実現するために適切な本発明の三次元モデル表示・操作プログラムは、デジタル写真を当該情報処理装置が有する表示装置又は他の表示装置の画面に表示させるように当該写真データを出力する写真データ出力工程と、前記何れかの表示装置の画面に表示され且つ指定されたデジタル写真に関する情報を受け付ける写真指定受付工程と、この写真指定受付工程で受け付けたデジタル写真に関する情報に基づいて写真データ格納部から対応するカメラデータを取得するカメラデータ取得工程と、このカメラデータ取得工程で取得したカメラデータにおける位置及び向きに係る情報に基づいて、三次元モデル格納部内の三次元モデルを前記何れかの表示装置の画面に表示させた場合にユーザの視点に対応する仮想カメラの位置及び向きに係る情報を含む仮想カメラデータを決定する仮想カメラデータ決定工程と、この仮想カメラデータ決定部で決定された仮想カメラデータの位置及び向きに基づいて三次元モデルを描画し、当該三次元モデルのデータを前記何れかの表示装置の画面に表示させて当該画面上で動作させ得るように出力する三次元モデルデータ出力工程とを有していることを特徴としている。

また、このような三次元モデル表示・操作システムが写真データを表示するための表示装置を内部要素として有していてもよく、この場合は本システムに、写真データ出力部により出力された写真データを前記情報処理装置が有する表示装置の画面に表示させる写真表示部と、この画面に表示されたデジタル写真を指定する情報を前記写真指定受付部へ出力する写真指定部とをさらに設けるとよい。この場合に対応する本発明のプログラムは、上述したプログラムに、写真データ出力工程により出力された写真データを画面に表示させる写真表示工程と、この画面に表示されたデジタル写真を指定する情報を前記写真指定受付部へ出力する写真指定工程と、を加えたものとするとよい。

さらに、三次元モデルを表示させ又は動作させるための表示装置を、本システムの内部要素として設けることも可能であり、この場合は本システムに、三次元モデルデータ出力部により出力された三次元モデルのデータに基づいて表示装置の画面に三次元モデルを動作可能に表示させる三次元モデル表示・操作部を設けるとよい。この場合に対応する本発明のプログラムは、上述したプログラムに、三次元モデルデータ出力工程で出力された三次元モデルのデータに基づいて画面に三次元モデルを動作可能に表示させる三次元モデル表示・操作工程ををさらに加えたものとするとよい。

そして、前述の写真検索・閲覧システムと同様に、画面表示される三次元モデルと併せてそれに関連する情報をも同時に得られるようにするためには、前記三次元モデルデータ格納部には、前記三次元モデルデータの他に、当該三次元モデルに関連のある情報からなる関連データを格納しておき、前記三次元モデルデータ出力部が、前記三次元モデルデータを出力する際に、前記三次元モデルの関連データをも前記表示装置又は他の表示装置の画面に表示させるように出力するとよい。また、このようなシステムに対応する本発明のプログラムは、前記三次元モデルデータ出力工程において、前記三次元モデルデータを出力する際に、前記三次元モデルの関連データをも前記表示装置又は他の表示装置の画面に表示させるように出力するように構成するとよい。

もちろん、上述したような三次元モデル表示・操作システムやプログラムを、上述した写真検索・閲覧システムやプログラムと併用して、写真に基づいた対象物の三次元モデル表示・操作と、三次元モデルに基づいた写真の検索・閲覧とを双方向で行うようにすることも可能であり、このような態様はデジタルアーカイブの利便性を非常に向上させるものであるといえる。

さらには、この三次元モデル表示・操作システムにおいて、前記写真データ格納部に、前記写真データと前記カメラの位置及び向きに係る情報の他に、当該デジタル写真に関連のある情報からなる関連データが格納しておき、前記写真データ出力部が、前記デジタル写真を出力する際に、前記関連データをも前記表示装置又は他の表示装置の画面に表示させるように出力するものとすれば、ユーザがどのような情報を持った写真に基づいて三次元モデルを画面表示して操作しようとしているのかを容易に把握することができる。また、このようなシステムに対応して本発明の写真検索・閲覧プログラムは、写真データ出力工程において、デジタル写真を出力する際に、関連データをも何れかの表示装置の画面に表示させるように出力するように構成したものとするとよい。

本発明ではまた、上述した写真検索・閲覧システム及びプログラムと、三次元モデル表示・操作システム及びプログラムの双方に共通して、コンテンツである三次元モデルと写真に関係のある情報をまとめて簡便に得られるようにすることができる。すなわち、本発明の写真検索・閲覧システム、又は三次元モデル表示・操作システムにおいて、情報処理装置に、前記写真データ出力部で出力した写真データ、当該写真データに関連のある情報からなる関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、の何れか一つ又は複数の組合せに基づいて構成され前記対象物に関する情報の要約である要約データを作成する要約作成部と、前記要約作成部で作成された要約データを、前記いずれかの表示装置の画面に表示させるように出力する要約データ出力部と、をさらに設けることが好ましい。斯かる両システムに対応する本発明の写真検索・閲覧プログラム、又は三次元モデル表示・操作プログラムは、前記写真データ出力工程で出力した写真データ、当該写真データの関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなり当該三次元モデルに付与された関連データ、の何れか一つ又は複数の組合せに基づいて構成され前記対象物に関する情報の要約である要約データを作成する要約作成工程と、前記要約作成工程で作成された要約データを、前記いずれかの表示装置の画面に表示させるように出力する要約データ出力工程と、をさらに設けた構成とするとよい。ここで、「要約データ」は、本発明において利用される三次元モデルや写真の対象物、すなわちコンテンツに関する情報を要約して得られるデータを意味し、要約データは、写真データやその関連情報、三次元モデルデータやその関連情報に基づいて生成される。

このような両システムにおいて、前記要約データが、文字情報を含むものである場合、前記情報処理装置には、その要約データに含まれる文字情報からキーワードを抽出するキーワード抽出部と、前記キーワード抽出部で抽出したキーワードを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信するキーワード送信部と、前記外部サーバの検索エンジンにおいて実行されたキーワード検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形する検索結果整形部と、前記検索結果整形部で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する検索結果出力部と、をさらに設けることで、三次元モデル及び写真に共通する要約に含まれるキーワードを基にして、さらに三次元モデルや写真に関係のある情報を検索結果として外部から得ることができ、より広範な情報を必要とするユーザの要望に資することができるようになる。この場合における本発明に係る両プログラムは、前述の要約データに含まれる文字情報からキーワードを抽出するキーワード抽出工程と、前記キーワード抽出工程で抽出したキーワードを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信するキーワード送信工程と、前記外部サーバの検索エンジンにおいて実行されたキーワード検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形する検索結果整形工程と、前記検索結果整形工程で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する検索結果出力工程と、をさらに有するものとすることが有効である。

ここで、要約データからのキーワードの抽出は、例えば写真データにメタデータ等として付与されているキーワードや説明文を利用して実行することができる。すなわち、メタデータ等にキーワードとして登録されているものについてはそのまま検索に用いることができるし、メタデータに説明文が含まれていれば、形態素解析や字種（連続する幹事、カタカナ、全角英数字等）分類、タグ付文書（ＧＤＡ（大域文書修飾））等を利用して単語や語句をキーワードとして抜き出す方法を例示することができる。また、検索エンジンにおけるキーワード検索としては、例えばインターネット上で提供されている既知の検索サービス（文字列の単純一致検索、転置ファイルによるインデックスを作成した検索、連想検索による検索）等を利用することができる。さらに、検索結果の整形は、例えばインターネットでの検索サービスのようにランキング結果（キーワードの類似度）に基づいて上から順に配置したり、連想検索の場合はバネモデルなどを利用して関連する検索結果同士を線で結び二次元的に配置したりするなど、所定の表示形式に合わせた検索結果の配置により実行することができる。

一方、三次元モデルから検索された写真データや、その写真データの関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、若しくは前記要約データ出力部で出力した要約データの何れかに含まれる画像データ（写真データを含む）を、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信する画像送信部と、前記外部サーバの検索エンジンにおいて実行された類似画像検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形する検索結果整形部と、前記検索結果整形部で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する検索結果出力部と、をさらに備えた写真検索・閲覧システム又は三次元モデル表示・操作システムであれば、三次元モデルから検索された写真と類似する画像（写真を含む）を新たに得ることができ、コンテンツである三次元モデルに関係のある情報を画像として得られるようになる。このような両システムに対応する本発明に係るプログラムには、前記写真データ出力工程で出力した写真データ、又は写真データと前記関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、若しくは前記要約データ出力工程で出力した要約データの何れかに含まれる画像データを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信する画像送信工程と、前記外部サーバの検索エンジンにおいて実行された類似画像検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形する検索結果整形工程と、前記検索結果整形工程で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する検索結果出力工程とをさらに有するものとすればよい。

ここで、検索エンジンにおける類似画像検索としては、検索に用いる画像データ（写真データを含む）が有する色合いや色分布、構図、模様等の画像の特徴を利用して画像を検索するもの（例えば、ＩＢＭ社のＱＢＩＣ等）を利用することができる。また、検索結果の整形は、例えば類似画像検索によるランキング結果（類似度等）に基づいて、色合いでの類似度検索であれば赤みが強いものは上に配置し青みが強いものは下に配置したり、色分布での類似検索であれば特定の色の分布面積の大きいものから少ないものへ順に配置したり、これらの配置態様を組み合わせたりするなど、所定の表示形式に合わせた検索結果の配置により実行することができる。

なお、前述したキーワード検索を利用する上記システムにおいても、情報処理装置に前記写真データ出力部で出力した写真データ、当該写真データの関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、若しくは前記要約データ出力部で出力した要約データの何れかに含まれる画像データを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信する画像送信部をさらに設け、前記検索結果整形部を、前記外部サーバの検索エンジンにおいて実行された類似画像検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形するものとし、前記検索結果出力部を、前記検索結果整形部で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力するものとすることで、上述した類似画像検索を利用するシステムと同様に、新たな情報を画像として得ることが可能となる。この場合において本発明に係るプログラムは、前述のキーワード検索を利用するプログラムに加えて、前記写真データ出力工程で出力した写真データ、又は写真データと前記関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、若しくは前記要約データ出力部で出力した要約データの何れかに含まれる画像データを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信する画像送信工程をさらに設け、前記検索結果整形工程においては、前記外部サーバの検索エンジンにおいて実行された類似画像検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形し、前記検索結果出力工程においては、前記検索結果整形工程で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力するように構成するとよい。

さらに、以上のような外部サーバにおける検索結果を利用するシステムを応用して、本発明の写真検索・閲覧システム又は三次元モデル表示・操作システムにおいて、前記情報処理装置に、前記外部サーバから受信した検索結果データを保持する検索結果保持部から取得された一以上の検索結果データを追加検索データとして前記外部サーバ又は検索エンジンを備え当該情報処理装置と通信可能な他の外部サーバへ送信する追加検索データ送信部をさらに設け、前記検索結果整形部を、前記何れかの外部サーバの検索エンジンにおいて実行された追加検索に係る追加検索結果データを受信して、当該追加検索結果データを所定の表示形式に整形するものとし、前記検索結果出力部を、前記検索結果整形部で整形した追加検索結果データを、前記いずれかの表示装置の画面に表示させるように出力するものとすることもできる。この場合における本発明の両プログラムは、前記外部サーバから受信した検索結果データを保持する検索結果保持部から取得された複数の検索結果データを追加検索データとして前記外部サーバ又は検索エンジンを備え当該情報処理装置と通信可能な他の外部サーバへ送信する追加検索データ送信工程をさらに有するものとして、前記検索結果整形工程において、前記何れかの外部サーバの検索エンジンにおいて実行された追加検索に係る追加検索結果データを受信して、当該追加検索結果データを所定の表示形式に整形し、前記検索結果出力工程において、前記検索結果整形工程で整形した追加検索結果データを、前記いずれかの表示装置の画面に表示させるように出力するように構成するとよい。このように一又は複数の検索結果を利用して更に新たな情報を検索することで、元のコンテンツである三次元モデルとは直接的には関係がないものの、キーワードや画像をヒントにした広がりのある検索結果が得られるので、本システム及びプログラムを、例えば発想支援ツールとして利用することも可能となる。

このような場合に、さらに広範な知識が得られるようなシステムとするには、前記検索結果保持部を、前記追加検索結果データをも保持するものとして、前記追加検索データ送信部では、前記追加検索データに当該追加検索結果データも含み得るものとすることが望ましい。このようなシステムに対応する本発明に係るプログラムは、前記追加検索データ送信工程において、前記追加検索データに当該追加検索結果データも含み得るものとすればよい。

本発明は、画面上の三次元モデルをユーザが見ているのに相当する位置と向きに関する情報と、そのモデルの対象物を実際に撮影した写真の位置と向きに基づいて、ある対象物について三次元モデルから写真を検索・閲覧したり、その逆に写真から三次元モデルを表示・操作できるようにするものである。したがって、テキスト検索のように対象物についてある程度の知識がないと検索できない、というような問題は生じにくく、その対象物に関する知識が少ないユーザでも興味を覚えた三次元モデル又は写真から写真又は三次元モデルを画面に表示させることができる。また、類似画像検索のように情報処理が過大とならないという利点も有している。このような本発明の利点から、本発明は三次元モデルとデジタル写真を収蔵する有益なデジタルアーカイブの構築とその利用拡大に寄与するものである。さらに、三次元モデルから検索された写真をきっかけとして、その対象物に関係のある情報の要約を得たり、外部の検索エンジンを利用してさらなる情報検索を行うようにすれば、元のコンテンツである三次元モデルと直接、間接に関係のある情報を広範に収集してユーザの知的満足度を高めたり、発想支援に役立てたりすることも可能である。

以下、本発明の一実施形態を、図面を参照して説明する。

図１は、本発明に係る写真検索・閲覧システムを利用した「遺跡アーカイブシステムＡ」の概略的な機器構成図である。ここで「遺跡アーカイブ」とは、遺跡を対象としたデジタルアーカイブである。本遺跡アーカイブは、発掘作業の進展に伴い同じ対象物について多くの且つ異なる多数のデジタル写真を収蔵し、また遺跡の復元モデルを三次元モデルとして収蔵することで、これらを閲覧に供しようとするものである。同図に示すように、遺跡アーカイブシステムＡは、ユーザが使用する汎用のパーソナルコンピュータ（以下、「パソコン」と称する）ＰＣとサーバコンピュータ（以下、「サーバ」と称する）ＳＶとをインターネット等の情報通信可能なネットワークＮＷで接続させて構成している。

パソコンＰＣには、一般的なＷｅｂブラウザがインストールされており、パソコンＰＣが有する表示装置であるディスプレイＤＰに表示されるブラウザの画面上でユーザが遺跡アーカイブのコンテンツを閲覧し又は操作するようにしている。特に本実施形態では、遺跡アーカイブのコンテンツに遺跡の三次元モデルを含めており、この三次元モデルをブラウザで閲覧及び操作できるようにするために、パソコンＰＣには、例えばＶＲＭＬ ( virtual reality modeling language ) に対応した三次元画像ビューワ兼コントローラとして機能するプラグインソフトウェア等の適宜必要なプログラムをインストールしている。

サーバＳＶは、一般的なＷｅｂサーバとしての機能に加えて、本発明の写真検索・閲覧プログラム及び三次元モデル表示・操作プログラムをインストールしており、ユーザのパソコンＰＣからの要求に応じて後述するような種々の処理を行い遺跡アーカイブのコンテンツをパソコンＰＣへ提供する機能を備えている。また本実施形態では、遺跡アーカイブのコンテンツとして遺跡の三次元モデルと、遺跡の発掘現場のデジタル写真及びそれに関連する情報を採用しており、三次元モデルのデータはサーバＳＶに接続された三次元モデルデータ格納部である三次元モデルデータベースＤＢ１に格納しており、デジタル写真に関するデータは同じくサーバＳＶに接続された写真データ格納部たる写真データベースＤＢ２に格納している。なお、三次元モデルデータベースＤＢ１には、所定の仮想三次元空間の座標軸に従って作成された遺跡の三次元モデルデータが遺跡ごとのＩＤと共に格納されている。写真データベースＤＢ２に格納される遺跡のデジタル写真データ（以下、「写真データ」）には、当該写真を撮影したカメラの位置及び向きに関する情報であるカメラデータと、当該遺跡に関するコメントのテキストデータやその写真に写っている一部の部分拡大写真データやそれらに関連する情報が掲載されているＷｅｂサイトのＵＲＬリンクデータ、文字データ、画像データ等（これらは例示であって、コンテンツである遺跡に関係のある情報が少なくとも一つ以上含まれていればよい）からなる関連データがメタデータとして付与されている。なお、本実施形態の前提として、三次元モデルの座標軸と写真データの座標空間は、予め一致させる処理が施されているものとする。

この遺跡アーカイブシステムＡは、ユーザのパソコンＰＣのブラウザ画面における一フレームに遺跡の三次元モデルを表示させ且つ動作（ウォークスルー）させた際の任意の位置及び向きでユーザによる指定があった場合、その位置及び向きに似た位置及び向きから撮影した遺跡のデジタル写真を同じブラウザ画面の別のフレームに表示させる機能と、これとは逆に、ブラウザ画面における一フレームに遺跡のデジタル写真を表示させてユーザによる指定があった場合、そのデジタル写真を撮影した位置及び向きに対応した位置及び角度で三次元モデルをブラウザ画面の別のフレームに動作（ウォークスルー）可能に表示させる機能を有している。これらの機能を実現するために、サーバＳＶとパソコンＰＣには、図２に示すような機能要素を担わせている。以下、図２の機能ブロック図と、図３及び図５の各装置のデータ処理を示すフローチャートと、図４及び図６に示すパソコンＰＣのブラウザにおける画面例を参照して説明する。

まず、三次元モデルからデジタル写真を検索し画面表示する機能に関しては、サーバＳＶが、三次元モデルデータ出力部１、仮想カメラデータ取得部４、写真検索部５、写真データ出力部６、要約作成部９、要約データ出力部１０の各機能を有し、パソコンＰＣが、三次元モデル表示・操作部２、三次元モデル指定部３、写真表示部７、要約作成指示部８、要約表示部１１の各機能を有している。三次元モデルデータ出力部１は、パソコンＰＣからサーバＳＶにアクセスがあり、ある遺跡の三次元モデルを画面表示する要求があった場合、三次元モデルデータベースＤＢ１から該当する三次元モデルのデータを抽出し（図３；Ｓ１）、それをパソコンＰＣに対して送信する（図３；Ｓ２）。パソコンＰＣの三次元モデル表示・操作部２は、サーバＳＶから三次元モデルのデータを受信する（図３；Ｓ３）と、それをブラウザの画面（図４（ａ））に表示させてユーザによるマウスやトラックパッド等の入力デバイスの操作を通じて同画面上で三次元モデルを動作可能な状態とする（図３；Ｓ４）。さらにパソコンＰＣの三次元モデル指定部３は、ユーザの入力デバイス操作により動作する三次元モデルについて、好みの視点となった際に同画面に表示されている「写真検索」ボタンが入力デバイスのクリック操作等により押下されると、それを三次元モデルを見る位置及び向きであると判断し（図３；Ｓ５）、その位置及び向きに関する情報をサーバＳＶへ送信する（図３；Ｓ６）。これに対してサーバＳＶの仮想カメラ取得部４は、三次元モデルの位置及び向きに関する情報を受信することにより取得し（図３；Ｓ７）、ユーザが画面上で三次元モデルを見ている視点を仮想カメラの視点として、受信した三次元モデルの位置及び向きに関する情報を仮想カメラの位置及び向きに関する情報である仮想カメラデータとして解析する（図３；Ｓ８）。なお、仮想カメラデータは、位置及び向きのそれぞれについて、三次元空間の直交する３軸上の座標として（ｘ，ｙ，ｚ）の形式で表現することができる。またこの段階で、仮想カメラデータは、写真データベースＤＢ２に格納されている写真データの位置及び向きに関する情報であるカメラデータと比較可能なデータ形式に変換される（図３；Ｓ９）。なお、カメラデータも、位置及び向きのそれぞれについて、三次元空間の直交する３軸上の座標として（ｘ’，ｙ’，ｚ’）の形式で表現することができる。なお、仮想カメラデータとカメラデータのデータ形式統一は、カメラデータを仮想カメラデータの形式に一致させてもよいし、両データを共にある統一された形式に変換することにより一致させてもよい。次いで写真検索部５は、変換後の仮想カメラデータとカメラデータとを比較する（図３；Ｓ１０）。具体的な処理例としては、例えば位置と向きのそれぞれについて、上述のような座標を変数とする関数に代入してスコアを求め、位置のスコアと向きのスコアのそれぞれに重み付けしたうえで足し合わせるという演算式で総スコアを算出する方法を挙げることができる。そして、写真データをカメラデータの位置及び向きが仮想カメラデータの位置及び向きに近いもの（例えば前記スコアが高いもの）から順に並べ替える（図３；Ｓ１１）。次に写真データ出力部６は、写真データベースＤＢ２の並べ替えられた写真データについて所定数だけ抽出し（図３；Ｓ１２）、それをパソコンＰＣへ送信する（図３；Ｓ１３）。なお、この写真データの抽出に際しては、写真データにメタデータとして付加されたコメント等のテキストデータや、一部の拡大写真等の関連データも付随的に抽出・送信する。パソコンＰＣの写真表示部７は、サーバＳＶからの写真データ及び関連データを受信する（図３；Ｓ１４）と、図４（ｂ）に示すようにブラウザ画面上にデジタル写真とその関連データに基づく情報を表示する（図３；Ｓ１５）。さらに、ユーザが同画面上の「要約」ボタンを押下すると、パソコンＰＣの要約作成指示部８が要約作成要求をサーバＳＶへ送信する（図３；Ｓ１６）。これに対してサーバＳＶは、要約作成部９において、この要約作成要求を受信し、Ｓ１３の工程で送信した写真データと関連データの何れか一方又は両方に基づいて要約を作成する（図３；Ｓ１７）。ここで、要約の作成に際しては、写真データに付加されたメタデータに重要度数が付与されていればそれを用いたり、複数の関連データに繰り返し登場する言葉を抽出したり、その他の要約作成プログラムを適宜利用するなど、種々の手法を適用することができる。そしてサーバＳＶは、要約データ出力部１０により、作成した要約のデータをパソコンＰＣへ送信する（図３；Ｓ１８）。パソコンＰＣは、要約表示部１１により、この要約のデータを受信すると（図３；Ｓ１９）、例えば図４（ｃ）に示すように要約をブラウザの何れかのフレーム又は別のブラウザ画面に表示する（図３；Ｓ２０）。ただし、三次元モデルデータにも、写真データと同様に関連データ（例えばメタデータ等の形式で）として当該三次元モデルの名称、三次元モデルのコンテンツが遺跡であればその遺跡の名称、データ形式、スケール、作成者、三次元モデルの作成元データやその取得方法、当該元データが有していたメタデータ等が付与されていれば、要約作成部９において要約作成を実行する際に、三次元モデルデータの関連データを利用したり、三次元モデルの表示と共にその関連データを表示するようにしてもよい。

なお、このような要約作成及び表示機能は、三次元モデルを仮想的に見る位置及び向きに基づいた情報検索及び表示機能ということもできる。そこで、例えば図４（ａ）に示した上述の「写真検索」ボタンに代えて又はそれと並べて「情報検索」ボタンを画面表示させ、この「情報検索」ボタンがユーザによるクリック操作等で押下され、サーバＳＶがこの要求を受けた場合、当該サーバＳＶは、１）三次元モデルの位置及び向きに基づいてそれに対応する位置及び向きから撮影された写真データを検索し、２）検索の結果得られた一以上の写真データ及び／又は関連データや、三次元モデルのメタデータ等に基づいて上記要約作成部９のように要約データを作成し、３）パソコンＰＣへ出力する、という手順でデータ処理を行うようにプログラムすることができる。このようにすることで、パソコンＰＣの画面に表示されている三次元モデルに関する情報を、例えば図４（ｃ）のように表示することができるようになる。すなわち、三次元モデルの位置及び向きに基づく直接の検索結果である写真データをユーザに明示することなく、その写真に関する情報を直接提示することが可能となる。またこの場合、前述した直接の検索結果としての写真データに基づいて、デジタル写真を要約（又は情報）と共にパソコンＰＣの画面上に表示させてもよいし、デジタル写真を要約（又は情報）と共に表示させるか否かをユーザが選択できるようにしておいてもよい。

他方、デジタル写真から三次元モデルを画面表示し操作する機能に関しては、サーバＳＶが、写真データ出力部２１、写真指定受付部２４、カメラデータ取得部２５、仮想カメラデータ決定部２６、三次元モデルデータ出力部２７の各機能を有し、パソコンＰＣが、写真表示部２２、写真指定部２３、三次元モデル表示・操作部２８の各機能を有している。写真データ出力部２１は、パソコンＰＣからサーバＳＶにアクセスがあり、ある遺跡のデジタル写真を画面表示する要求があった場合、写真データベースＤＢ２から該当するデジタル写真のデータを抽出し（図５；Ｓ２１）、それをパソコンＰＣに対して送信する（図５；Ｓ２２）。パソコンＰＣの写真表示部２２は、サーバＳＶから写真データを受信する（図５；Ｓ２３）と、それをブラウザの画面（図６（ａ））に表示させる（図５；Ｓ２４）。このとき、ユーザのパソコンＰＣからの要求に対応して、複数のデジタル写真をブラウザ画面に表示させることは可能であるし、写真に付随して関連データを表示させることも可能である。同図の画面例は、この態様を表したものである。なお、関連データはユーザのパソコンＰＣを通じた要求があった場合のみ表示するようにすることも可能である。さらにパソコンＰＣの写真指定部２３は、ユーザの入力デバイス操作により好みの写真が入力デバイスのクリック操作等により押下されると（前記図示例における太枠部）、それをデジタル写真の指定であり三次元モデルの表示要求であると判断し（図５；Ｓ２５）、その情報をサーバＳＶへ送信する（図５；Ｓ２６）。これに対してサーバＳＶの写真指定受付部２４がデジタル写真の指定及び三次元モデルの表示要求を受信して受け付ける（図５；Ｓ２７）。さらにカメラデータ取得部２５が、写真データベースＤＢ２から該当する写真データを抽出しそのカメラデータを取得する（図５；Ｓ２８）。この段階で、カメラデータは、三次元モデルの仮想カメラデータと比較可能な形式に変換される（図５；Ｓ２９）。なお、先述と同様にカメラデータと仮想カメラデータのデータ形式統一は、仮想カメラデータをカメラデータの形式に一致させてもよいし、両データを共にある統一された形式に変換することにより一致させてもよい。そして、仮想カメラデータ決定部２６が、変換後のカメラデータの位置及び向きに対応して、三次元モデルデータベースＤＢ１内の仮想カメラデータの位置及び向きを決定する（図５；Ｓ３０）。さらにサーバＳＶは、この決定された仮想カメラの位置及び向きに基づいて三次元モデルのレンダリング等の描画処理を行い（図５；Ｓ３１）、三次元モデルデータ出力部２７が、この処理後の三次元モデルデータをユーザのパソコンＰＣへ送信する（図５；Ｓ３２）。パソコンＰＣの三次元モデル表示・操作部２８は、サーバＳＶからの三次元モデルデータを受信する（図５；Ｓ３３）と、図６（ｂ）に示すようにブラウザ画面上に三次元モデルを表示させてユーザによるマウスやトラックパッド等の入力デバイスの操作を通じて同画面上で三次元モデルを動作可能な状態とする（図５；Ｓ１５）。

なお、図５に示したＳ３４の工程を図３に示したＳ４の工程とみなしてＳ５の工程へ進めたり、図３に示したＳ１５の工程を図５に示したＳ２４の工程とみなしてＳ２５の工程へ進めるというように、三次元モデルからの写真検索・閲覧、写真からの三次元モデル表示・操作の双方向的な機能を本システムに持たせることも可能である。

以上の結果より、本実施形態では、ユーザのパソコンＰＣの画面に表示された遺跡の三次元モデルと似た位置及び向きで撮影されたデジタル写真を、ユーザが同じ画面上で閲覧することができるようになる。特に遺跡アーカイブの場合、発掘作業の進捗状況や写真撮影の環境により、同じ位置や角度から同一対象物を撮影した場合でも当該対象物の形状や見え方の異なる写真が得られることが多く、類似画像検索では適切な写真を選択することが困難であるが、上述したような本実施形態の手法によれば、ユーザが画面上で閲覧中の三次元モデルを見ているまさにその位置及び向きに近い位置及び向きで撮影されたデジタル写真を閲覧し、さらにはその写真に関連する情報をも閲覧することが可能である。また、この遺跡に関する専門家のみならず、この遺跡についての知識が乏しく適切にキーワード検索することができないユーザでも、興味を覚えた三次元モデルから実際の写真を見ることができるので、遺跡アーカイブの利用者拡大にも寄与することができる。

逆に、本実施形態では、ユーザのパソコンＰＣの画面に表示された遺跡の写真を撮影したカメラの位置と向きに似た位置と向きから見た状態の当該遺跡の三次元モデルを、ユーザが同じ画面上で閲覧し操作（ウォークスルー）することができるようになる。したがって、閲覧中の写真と同様の位置及び向きから見た三次元モデルを一旦表示させると、二次元の写真からでは得られない情報、例えば対象物である遺跡を反対側から見た状況を三次元モデルで知ることも可能である。

また、三次元モデルからの写真検索・閲覧、写真からの三次元モデル表示・操作の双方向的な機能を本システムに持たせることも可能であるので、三次元モデルに基づく写真検索・閲覧、写真に基づく三次元モデルの表示・操作を交互に行うことで、遺跡アーカイブのコンテンツを多面的に有効活用することができる。

さらに、上述した遺跡アーカイブシステムＡは、サーバＳＶを外部のサーバと通信可能に接続することで、遺跡の三次元モデルから検索された写真や関連データを基にして更なる情報収集の用に供することができる。図７は、外部のサーバとして、学術データベースＤＢ３を検索可能な外部サーバＥＸ-ＳＶ１や、インターネット上のＷｅｂコンテンツＷＣｏｎｔを検索可能な外部ＷｅｂサーバＥＸ-ＳＶ２を例として想定し、サーバＳＶがこれらの外部サーバＥＸ-ＳＶ１，２にインターネット等のネットワークＮＷを介してアクセスするようにした構成を示している。

この場合、図８に示すように本システムＡにおいてサーバＳＶは、上述した三次元モデルデータ出力部１、仮想カメラデータ取得部４、写真検索部５、写真データ出力部６、要約作成部９、要約データ出力部１０の各機能に加えてさらに、キーワード抽出部１３、キーワード送信部１４、画像送信部１５、検索結果整形部１６、検索結果出力部１７、追加検索データ送信部２０の各機能を有しており、パソコンＰＣは、上述した三次元モデル表示・操作部２、三次元モデル指定部３、写真表示部７、要約作成指示部８、要約表示部１１の各機能に加えてさらに、検索指示部１２、検索結果表示部１８、追加検索指示部１９の各機能を有している。なお、パソコンＰＣには、サーバＳＶの検索結果送信部１７から受信した検索結果を格納・保持しておくための検索結果保持部ＳＲを備えている。また、外部サーバＥＸ-ＳＶ１，２は、検索要求受信部３１、検索部３２、検索結果送信部３３の各機能を有している。なお、サーバＳＶは上述したとおり複数種の外部サーバを利用することができるが、ここではまとめて「外部サーバＥＸ-ＳＶ１，２」と呼ぶものとする。また、外部サーバＥＸ-ＳＶ１，２は、キーワード検索エンジンや類似画像検索エンジンを備えているものとする。以下では、要約表示部１１においてパソコンＰＣのディスプレイＤＰに要約を表示（図３；Ｓ２０）した後の各部の機能及びデータ処理の流れについて説明する。

ユーザの入力デバイス操作によりブラウザに表示された要約表示画面（図１０（ａ））の「キーワード検索」ボタン又は「類似画像検索」ボタンが押下されると、パソコンＰＣの検索指示部１２が検索要求をサーバＳＶへ送信する（図９；Ｓ４１）。なお、キーワード検索ボタンや類似画像検索ボタンの押下に代えて、要約が表示された段階で検索指示部１２が起動し、自動的にキーワード検索や類似画像検索の検索要求がパソコンＰＣからサーバＳＶへ送信されるように構成しておいてもよい。

そしてまず、キーワードに係る検索要求をサーバＳＶが受信した場合、サーバＳＶのキーワード抽出部１３が、要約データからキーワードを抽出する（図９；Ｓ４２）。このキーワード抽出は、要約データに含まれる語にキーワードであることを示すメタデータが付与されている場合はそれを用いたり、要約データに含まれる文章（テキスト）を形態素解析して名詞等の所定の品詞を抜き出すことによって実行することができる。このようにしてキーワードが抽出されると、キーワード送信部１４が外部サーバＥＸ-ＳＶ１，２にキーワードを送信する（図９；Ｓ４３）。一方、画像に係る検索要求をサーバＳＶが受信した場合は、サーバＳＶの画像送信部１５が、要約データに含まれる画像データ（写真データやその一部拡大写真のデータである場合もある）を抽出して外部サーバＥＸ-ＳＶ１，２へ送信する（図９；Ｓ４４）。外部サーバＥＸ-ＳＶ１，２がサーバＳＶからキーワード又は画像データを受信した場合（図９；Ｓ４５）すると、キーワード検索エンジン又は類似画像検索エンジンが起動して、学術データベースＤＢ３やＷｅｂコンテンツＷＣｏｎｔにアクセスしてキーワード又は類似画像の検索を実行して該当する情報を検索結果データとして受信し（図９；Ｓ４６）、その検索結果データをサーバＳＶに送信する（図９；Ｓ４７）。サーバＳＶは、その検索結果データを受信すると、検索結果整形部１６が、パソコンＰＣのブラウザでの表示形式に合わせて検索結果データを整形し（図９；Ｓ４８）、その整形された検索結果データを検索結果出力部１７がパソコンＰＣに送信する（図９；Ｓ４９）。パソコンＰＣでは、検索結果表示部１８が、整形後の検索結果データを受信してそれをディスプレイＤＰのブラウザに表示する（図９；Ｓ５０）。このブラウザに表示される検索結果の画面例を図１０に示す。同図（ｂ）はキーワード検索結果を示す画面例であり、同図（ｃ）は類似画像検索結果を示す画面例である。このように、三次元モデルから検索された写真やそれらに付随する関連情報に基づいて作成された要約をきっかけとして、この遺跡アーカイブシステムＡのコンテンツに関する情報を外部の情報源を利用して広範に収集することが可能となる。

また、パソコンＰＣでは、検索結果データを検索結果保持部ＳＲに格納する（図９；Ｓ５２）。検索結果保持部ＳＲは、例えばメモリ上の一時的な記憶領域（キャッシュ）又は格別に設定された記憶領域に設定することができる。ここで、得られた検索結果からユーザがさらに発展的な情報を取得することを希望する場合について説明する。例えばユーザによる入力デバイスの操作により、検索結果表示画面（図１０（ｂ）（ｃ））に表示された「追加検索」ボタンが押下されると、パソコンＰＣは、検索結果保持部ＳＲから検索結果データを取得して、全部又は所定数の検索結果をブラウザに表示させる（図９；Ｓ５３）。そしてさらに、ユーザによる入力デバイスの操作により、一以上の検索結果が指定されると、追加検索指示部１９が、指定された検索結果データを追加検索要求としてサーバＳＶに送信する（図９；Ｓ５４）。この情報を受信したサーバＳＶでは、追加検索データ送信部２０が、追加検索データを外部サーバＥＸ-ＳＶ１，２へ送信する（図９；Ｓ５５）。外部サーバＥＸ-ＳＶ１，２は、キーワードや画像のデータからなる追加検索データを受信すると（図９；Ｓ４５）、先ほどのキーワード検索や類似画像検索と同様にして学術データベースＤＢ３やＷｅｂコンテンツＷＣｏｎｔにアクセスし、キーワード又は類似画像の検索を実行して該当する情報を検索結果データ（追加検索結果データ）として受信し（図９；Ｓ４６）、その検索結果データをサーバＳＶに送信する（図９；Ｓ４７）。サーバＳＶは、その検索結果データを受信すると、検索結果整形部１６が、パソコンＰＣのブラウザでの表示形式に合わせて検索結果データを整形し（図９；Ｓ４８）、その整形された検索結果データを検索結果出力部１７がパソコンＰＣに送信する（図９；Ｓ４９）。パソコンＰＣでは、検索結果表示部１８が、整形後の検索結果データを受信してそれをディスプレイＤＰのブラウザに表示する（図９；Ｓ５０）。また、この検索結果データは、再び検索結果保持部ＳＲに格納されて（図９；Ｓ５２）、次回以降の追加検索に利用可能とされる。このように、検索結果を基にしてさらに情報検索を行う場合、例えば検索結果データに「青い花」という語句があれば、それに基づいて「青い」という語と「花」という語をキーワードにしてＷｅｂページの検索を行ったり、「花」というキーワードで画像検索を行ったりすることができ、また例えば検索結果データに「青い花」の写真があればその写真に類似する画像を検索するようなこともできる。この他、外部サーバＥＸ-ＳＶ１，２に例えば感性検索エンジンを設けておくと、例えば「青い花」という語句の検索結果データから「青い海」の画像を追加検索結果として得ることもできる。このような場合、遺跡アーカイブシステムＡのコンテンツである遺跡とは直接的には関係のない情報が得られることになるが、ユーザの発想支援の用に供することができる。

以上に説明したシステムでは要約データを利用してキーワード検索や類似画像検索を行う例を示したが、要約データを利用せずに元の写真データや三次元モデルデータに付与されたメタデータを利用してキーワード検索や類似画像検索、追加検索を行うようにシステム及びプログラムを構築することが可能である。また、デジタル写真から三次元モデルを画面表示し操作できるようにした後に、上述したような工程を経て当該写真や三次元モデルに関する要約を作成、閲覧することができるようにシステム及びプログラムを構成したり、その要約からさらにキーワード検索や類似画像検索、追加検索を外部サーバＥＸ-ＳＶ１，２に実行させて、パソコンＰＣで閲覧、利用できるように構成することも可能である。

なお、本発明は上述した実施形態に限定されるものではない。例えば上述のような遺跡アーカイブシステムを、ネットワークに依存しない単独のコンピュータで実現することは可能である。また本発明は、このような遺跡アーカイブに限らず、三次元モデルとデジタル写真をコンテンツとするデジタルアーカイブを含む様々なシステムに適用することが可能である。その他、システムの具体的な機器構成やプログラム構成など、各部の具体的構成についても上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。

本発明の一実施形態に係る遺跡アーカイブシステムの機器構成概観図。 同システムの機能ブロック図。 同システムのうち写真検索・閲覧システムのデータ処理フローチャート。 同写真検索・閲覧システムにおける画面例を示す図。 同システムのうち三次元モデル表示・操作システムのデータ処理フローチャート。 同三次元モデル表示・操作システムにおける画面例を示す図。 同遺跡アーカイブシステムの応用例を示す機器構成概観図。 同応用例の機能ブロック図。 同応用例のデータ処理フローチャート。 同応用例における画面例を示す図。

符号の説明

１…三次元モデルデータ出力部
２…三次元モデル表示・操作部
３…三次元モデル指定部
４…仮想カメラデータ取得部
５…写真検索部
６…写真データ出力部
７…写真表示部
８…要約作成指示部
９…要約作成部
１０…要約データ出力部
１１…要約表示部
１２…検索指示部
１３…キーワード抽出部
１４…キーワード送信部
１５…画像送信部
１６…検索結果整形部
１７…検索結果出力部
１８…検索結果表示部
１９…追加検索指示部
２０…追加検索データ送信部
２１…写真データ出力部
２２…写真表示部
２３…写真指定部
２４…写真指定受付部
２５…カメラデータ取得部
２６…仮想カメラデータ決定部
２７…三次元モデルデータ出力部
２８…三次元モデル表示・操作部
３１…検索要求受信部
３２…検索部
３３…検索結果送信部
Ａ…遺跡アーカイブシステム
ＤＢ１…三次元モデルデータ格納部（三次元モデルデータベース）
ＤＢ２…写真データ格納部（写真データベース）
ＥＸ-ＳＶ１，２…外部サーバ（学術サーバ、Ｗｅｂサーバ）
ＰＣ…情報処理装置（パソコン）
ＳＶ…情報処理装置（サーバ）
ＲＳ…検索結果保持部

Claims (46)

1. 対象物に基づいて作成された三次元デジタルモデルである三次元モデルから当該対象物について撮影されたデジタル写真を検索及び表示する一以上の情報処理装置を備えてなるものであって、
   当該情報処理装置が、
   前記三次元モデルのデータを格納する三次元モデルデータ格納部と、
   前記デジタル写真に係るデータである写真データを、当該写真を撮影したカメラの位置及び向きに係る情報を含むカメラデータと共に格納する写真データ格納部と、を具備し又はこれらと情報通信可能に接続されており、
   前記情報処理装置が、
   前記三次元モデルを当該情報処理装置が有する表示装置又は他の表示装置の画面に表示させて当該画面上で動作させ得るように三次元モデルのデータを出力する三次元モデルデータ出力部と、
   前記何れかの表示装置の画面に表示され且つ操作されたことにより指定された三次元モデルについて、当該三次元モデルを前記画面上で見るユーザの視点に対応させた仮想カメラの位置及び向きに係る情報を含む仮想カメラデータの指定を取得して決定する仮想カメラデータ取得部と、
   前記仮想カメラデータ取得部で決定された前記仮想カメラデータに基づいて前記写真データ格納部を検索し、当該仮想カメラデータに応じたカメラデータに対応する写真データを抽出する写真検索部と、
   前記写真検索部で抽出された写真データに基づくデジタル写真を前記何れかの表示装置の画面に表示させるように出力する写真データ出力部と、
   を具備してなることを特徴とする写真検索・閲覧システム。
2. 前記写真データ格納部には、前記写真データと前記カメラの位置及び向きに係る情報の他に、当該デジタル写真に関連のある情報からなる関連データが格納されており、
   前記写真データ出力部が、前記デジタル写真を出力する際に、前記デジタル写真の関連データをも前記表示装置又は他の表示装置の画面に表示させるように出力するものである請求項１に記載の写真検索・閲覧システム。
3. 前記三次元モデルデータ格納部には、前記三次元モデルデータの他に、当該三次元モデルに関連のある情報からなる関連データが格納されており、
   前記三次元モデルデータ出力部が、前記三次元モデルデータを出力する際に、前記三次元モデルの関連データをも前記表示装置又は他の表示装置の画面に表示させるように出力するものである請求項１又は２に記載の写真検索・閲覧システム。
4. 前記情報処理装置が、
   前記写真データ出力部で出力した写真データ、当該写真データに関連のある情報からなる関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、の何れか一つ又は複数の組合せに基づいて構成され前記対象物に関する情報の要約である要約データを作成する要約作成部と、
   前記要約作成部で作成された要約データを、前記いずれかの表示装置の画面に表示させるように出力する要約データ出力部と、
   をさらに具備している請求項１乃至３の何れかに記載の写真検索・閲覧システム。
5. 前記要約データが、文字情報を含むものであり、
   前記情報処理装置が、
   当該要約データに含まれる文字情報からキーワードを抽出するキーワード抽出部と、
   前記キーワード抽出部で抽出したキーワードを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信するキーワード送信部と、
   前記外部サーバの検索エンジンにおいて実行されたキーワード検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形する検索結果整形部と、
   前記検索結果整形部で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する検索結果出力部と、
   をさらに具備している請求項４に記載の写真検索・閲覧システム。
6. 前記情報処理装置が、
   前記写真データ出力部で出力した写真データ、当該写真データに関連のある情報からなる関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、若しくは前記要約データ出力部で出力した要約データの何れかに含まれる画像データを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信する画像送信部と、
   前記外部サーバの検索エンジンにおいて実行された類似画像検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形する検索結果整形部と、
   前記検索結果整形部で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する検索結果出力部と、
   をさらに具備している請求項１乃至４の何れかに記載の写真検索・閲覧システム。
7. 前記情報処理装置が、
   前記写真データ出力部で出力した写真データ、当該写真データの関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなり当該三次元モデルに付与された関連データ、若しくは前記要約データ出力部で出力した要約データの何れかに含まれる画像データを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信する画像送信部をさらに具備し、
   前記検索結果整形部が、前記外部サーバの検索エンジンにおいて実行された類似画像検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形するものであり、
   前記検索結果出力部が、前記検索結果整形部で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力するものである請求項５に記載の写真検索・閲覧システム。
8. 前記情報処理装置が、
   前記外部サーバから受信した検索結果データを保持する検索結果保持部から一以上の検索結果データを取得して、それらの検索結果データを追加検索データとして前記外部サーバ又は検索エンジンを備え当該情報処理装置と通信可能な他の外部サーバへ送信する追加検索データ送信部をさらに具備し、
   前記検索結果整形部が、前記何れかの外部サーバの検索エンジンにおいて実行された追加検索に係る追加検索結果データを受信して、当該追加検索結果データを所定の表示形式に整形するものであり、
   前記検索結果出力部が、前記検索結果整形部で整形した追加検索結果データを、前記いずれかの表示装置の画面に表示させるように出力するものである請求項５乃至７の何れかに記載の写真検索・閲覧システム。
9. 前記検索結果保持部は、前記追加検索結果データをも保持するものであり、
   前記追加検索データ送信部は、前記追加検索データに当該追加検索結果データも含み得るものとしている請求項８に記載の写真検索・閲覧システム。
10. 前記写真検索部は、前記仮想カメラデータと前記カメラデータを変数として演算処理により得られたスコアを各写真データに付与し、前記仮想カメラデータに近いカメラデータを示すスコアに基づいて一以上の写真データを抽出するものである請求項１乃至９の何れかに記載の写真検索・閲覧システム。
11. 前記情報処理装置が、
    前記三次元モデルデータ出力部により出力された三次元モデルのデータに基づいて前記情報処理装置が有する表示装置の画面に三次元モデルを動作可能に表示させる三次元モデル表示・操作部と、
    前記画面に表示されている三次元モデルの位置及び向きを指定して前記仮想カメラデータ受付部へ出力する三次元モデル指定部と、
    をさらに具備している請求項１乃至１０の何れかに記載の写真検索・閲覧システム。
12. 前記情報処理装置が、
    前記写真データ出力部により出力された写真データを前記情報処理装置が有する表示装置の画面に表示させる写真表示部をさらに具備している請求項１乃至１１の何れかに記載の写真検索・閲覧システム。
13. 対象物に基づいて作成された三次元デジタルモデルである三次元モデルから当該対象物について撮影されたデジタル写真を検索及び表示するために、一以上の情報処理装置を作動させるプログラムであって、
    前記情報処理装置は、前記三次元モデルのデータを格納する三次元モデルデータ格納部と、前記デジタル写真に係るデータである写真データを当該写真を撮影したカメラの位置及び向きに係る情報を含むカメラデータと共に格納する写真データ格納部と、を具備し又はこれらと情報通信可能に接続されており、
    前記プログラムに、
    前記三次元モデルを前記情報処理装置が有する表示装置又は他の表示装置の画面に表示させて当該画面上で動作させ得るように三次元モデルのデータを出力する三次元モデルデータ出力工程と、
    前記何れかの表示装置の画面に表示され且つ操作されたことにより指定された三次元モデルについて、当該三次元モデルを前記画面上で見るユーザの視点に対応させた仮想カメラの位置及び向きに係る情報を含む仮想カメラデータの指定を取得して決定する仮想カメラデータ取得工程と、
    前記仮想カメラデータ取得工程で決定された仮想カメラデータに基づいて前記写真データ格納部を検索し、当該仮想カメラデータに応じたカメラデータに対応する写真データを抽出する写真検索工程と、
    前記写真検索工程で抽出された写真データに基づくデジタル写真を前記何れかの表示装置の画面に表示させるように出力する写真データ出力工程と、
    を設けてなることを特徴とする写真検索・閲覧プログラム。
14. 前記写真データ格納部には、前記写真データと前記カメラの位置及び向きに係る情報の他に、当該デジタル写真に関連のある情報からなる関連データが格納されており、
    前記写真データ出力工程において、前記デジタル写真を出力する際に、前記関連データをも前記何れかの表示装置の画面に表示させるように出力する請求項１３に記載の写真検索・閲覧プログラム。
15. 前記三次元モデルデータ格納部には、前記三次元モデルデータの他に、当該三次元モデルに関連のある情報からなる関連データが格納されており、
    前記三次元モデルデータ出力工程において、前記三次元モデルデータを出力する際に、前記三次元モデルの関連データをも前記表示装置又は他の表示装置の画面に表示させるように出力する請求項１３又は１４に記載の写真検索・閲覧プログラム。
16. 前記写真データ出力工程で出力した写真データ、当該写真データに関連のある情報からなる関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、の何れか一つ又は複数の組合せに基づいて構成され前記対象物に関する情報の要約である要約データを作成する要約作成工程と、
    前記要約作成工程で作成された要約データを、前記いずれかの表示装置の画面に表示させるように出力する要約データ出力工程と、
    をさらに設けている請求項１３乃至１５の何れかに記載の写真検索・閲覧プログラム。
17. 前記要約データが、文字情報を含むものであり、
    当該要約データに含まれる文字情報からキーワードを抽出するキーワード抽出工程と、
    前記キーワード抽出工程で抽出したキーワードを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信するキーワード送信工程と、
    前記外部サーバの検索エンジンにおいて実行されたキーワード検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形する検索結果整形工程と、
    前記検索結果整形工程で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する検索結果出力工程と、
    をさらに設けている請求項１６に記載の写真検索・閲覧プログラム。
18. 前記写真データ出力工程で出力した写真データ、当該写真データに関連のある情報からなる関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、若しくは前記要約データ出力工程で出力した要約データの何れかに含まれる画像データを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信する画像送信工程と、
    前記外部サーバの検索エンジンにおいて実行された類似画像検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形する検索結果整形工程と、
    前記検索結果整形工程で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する検索結果出力工程と、
    をさらに設けている請求項１３乃至１６の何れかに記載の写真検索・閲覧プログラム。
19. 前記写真データ出力工程で出力した写真データ、当該写真データの関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、若しくは前記要約データ出力部で出力した要約データの何れかに含まれる画像データを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信する画像送信工程をさらに設け、
    前記検索結果整形工程において、前記外部サーバの検索エンジンにおいて実行された類似画像検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形し、
    前記検索結果出力工程において、前記検索結果整形工程で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する請求項１７に記載の写真検索・閲覧プログラム。
20. 前記外部サーバから受信した検索結果データを保持する検索結果保持部から一以上の検索結果データを取得して、それらの検索結果データを追加検索データとして前記外部サーバ又は検索エンジンを備え当該情報処理装置と通信可能な他の外部サーバへ送信する追加検索データ送信工程をさらに設け、
    前記検索結果整形工程において、前記何れかの外部サーバの検索エンジンにおいて実行された追加検索に係る追加検索結果データを受信して、当該追加検索結果データを所定の表示形式に整形し、
    前記検索結果出力工程において、前記検索結果整形工程で整形した追加検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する請求項１７乃至１９の何れかに記載の写真検索・閲覧プログラム。
21. 前記検索結果保持部は、前記追加検索結果データをも保持するものであり、
    前記追加検索データ送信工程において、前記追加検索データに当該追加検索結果データも含み得るものとしている請求項２０に記載の写真検索・閲覧プログラム。
22. 前記写真検索工程は、前記仮想カメラデータと前記カメラデータを変数として演算処理により得られたスコアを各写真データに付与し、前記仮想カメラデータに近いカメラデータを示すスコアに基づいて一以上の写真データを抽出するものである請求項１３乃至２１の何れかに記載の写真検索・閲覧プログラム。
23. 前記三次元モデルデータ出力工程で出力された三次元モデルのデータに基づいて前記情報処理装置が有する表示装置の画面に三次元モデルを動作可能に表示させる三次元モデル表示・操作工程と、
    前記画面に表示されている三次元モデルの位置及び向きを指定して前記仮想カメラデータ受付工程へ出力する三次元モデル指定工程と、
    をさらに設けている請求項１３乃至２２の何れかに記載の写真検索・閲覧プログラム。
24. 前記写真データ出力工程で出力された写真データを前記情報処理装置が有する表示装置の画面に表示させる写真表示工程をさらに設けている請求項１３乃至２３の何れかに記載の写真検索・閲覧プログラム。
25. 対象物に基づいて作成された三次元デジタルモデルである三次元モデルを、当該対象物について撮影されたデジタル写真に対応して表示及び操作させる一以上の情報処理装置を備えてなるものであって、
    当該情報処理装置が、
    前記デジタル写真に係るデータである写真データを、当該写真を撮影したカメラの位置及び向きに係る情報を含むカメラデータと共に格納する写真データ格納部と、
    前記三次元モデルのデータを格納する三次元モデルデータ格納部と、を具備し又はこれらと情報通信可能に接続されており、
    前記情報処理装置が、
    前記デジタル写真を当該情報処理装置が有する表示装置又は他の表示装置の画面に表示させるように当該写真データを出力する写真データ出力部と、
    前記何れかの表示装置の画面に表示され且つ指定されたデジタル写真に関する情報を受け付ける写真指定受付部と、
    前記写真指定受付部で受け付けたデジタル写真に関する情報に基づいて前記写真データ格納部から対応するカメラデータを取得するカメラデータ取得部と、
    前記カメラデータ取得部で取得したカメラデータにおける位置及び向きに係る情報に基づいて、前記三次元モデル格納部内の三次元モデルを前記何れかの表示装置の画面に表示させた場合にユーザの視点に対応する仮想カメラの位置及び向きに係る情報を含む仮想カメラデータを決定する仮想カメラデータ決定部と、
    前記仮想カメラデータ決定部で決定された仮想カメラデータの位置及び向きに基づいて三次元モデルを描画し、当該三次元モデルのデータを前記何れかの表示装置の画面に表示させて当該画面上で動作させ得るように出力する三次元モデルデータ出力部と、
    を具備してなることを特徴とする三次元モデル表示・操作システム。
26. 前記情報処理装置が、
    前記写真データ出力部により出力された写真データを前記情報処理装置が有する表示装置の画面に表示させる写真表示部と、
    前記画面に表示されたデジタル写真を指定する情報を前記写真指定受付部へ出力する写真指定部と、
    をさらに具備している請求項２５に記載の三次元モデル表示・操作システム。
27. 前記情報処理装置が、
    前記三次元モデルデータ出力部により出力された三次元モデルのデータに基づいて前記情報処理装置が有する表示装置の画面に三次元モデルを動作可能に表示させる三次元モデル表示・操作部をさらに具備している請求項２５又は２６に記載の三次元モデル表示・操作システム。
28. 前記三次元モデルデータ格納部には、前記三次元モデルデータの他に、当該三次元モデルに関連のある情報からなる関連データが格納されており、
    前記三次元モデルデータ出力部が、前記三次元モデルデータを出力する際に、前記三次元モデルの関連データをも前記表示装置又は他の表示装置の画面に表示させるように出力するものである請求項２５乃至２７の何れかに記載の三次元モデル表示・操作システム。
29. 前記写真データ格納部には、前記写真データと前記カメラの位置及び向きに係る情報の他に、当該デジタル写真に関連のある情報からなる関連データが格納されており、
    前記写真データ出力部が、前記デジタル写真を出力する際に、前記関連データをも前記表示装置又は他の表示装置の画面に表示させるように出力するものである請求項２５乃至２８の何れかに記載の三次元モデル表示・操作システム。
30. 前記情報処理装置が、
    前記写真データ出力部で出力した写真データ、当該写真データに関連のある情報からなる関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、の何れか一つ又は複数の組合せに基づいて構成され前記対象物に関する情報の要約である要約データを作成する要約作成部と、
    前記要約作成部で作成された要約データを、前記いずれかの表示装置の画面に表示させるように出力する要約データ出力部と、
    をさらに具備している請求項２５乃至２９の何れかに記載の三次元モデル表示・操作システム。
31. 前記要約データが、文字情報を含むものであり、
    前記情報処理装置が、
    当該要約データに含まれる文字情報からキーワードを抽出するキーワード抽出部と、
    前記キーワード抽出部で抽出したキーワードを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信するキーワード送信部と、
    前記外部サーバの検索エンジンにおいて実行されたキーワード検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形する検索結果整形部と、
    前記検索結果整形部で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する検索結果出力部と、
    をさらに具備している請求項３０に記載の三次元モデル表示・操作システム。
32. 前記情報処理装置が、
    前記写真データ出力部で出力した写真データ、当該写真データに関連のある情報からなる関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、若しくは前記要約データ出力部で出力した要約データの何れかに含まれる画像データを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信する画像送信部と、
    前記外部サーバの検索エンジンにおいて実行された類似画像検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形する検索結果整形部と、
    前記検索結果整形部で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する検索結果出力部と、
    をさらに具備している請求項２５乃至３０の何れかに記載の三次元モデル表示・操作システム。
33. 前記情報処理装置が、
    前記写真データ出力部で出力した写真データ、当該写真データの関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなり当該三次元モデルに付与された関連データ、若しくは前記要約データ出力部で出力した要約データの何れかに含まれる画像データを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信する画像送信部をさらに具備し、
    前記検索結果整形部が、前記外部サーバの検索エンジンにおいて実行された類似画像検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形するものであり、
    前記検索結果出力部が、前記検索結果整形部で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力するものである請求項３１に記載の三次元モデル表示・操作システム。
34. 前記情報処理装置が、
    前記外部サーバから受信した検索結果データを保持する検索結果保持部から一以上の検索結果データを取得して、それらの検索結果データを追加検索データとして前記外部サーバ又は検索エンジンを備え当該情報処理装置と通信可能な他の外部サーバへ送信する追加検索データ送信部をさらに具備し、
    前記検索結果整形部が、前記何れかの外部サーバの検索エンジンにおいて実行された追加検索に係る追加検索結果データを受信して、当該追加検索結果データを所定の表示形式に整形するものであり、
    前記検索結果出力部が、前記検索結果整形部で整形した追加検索結果データを、前記いずれかの表示装置の画面に表示させるように出力するものである請求項３１乃至３３の何れかに記載の三次元モデル表示・操作システム。
35. 前記検索結果保持部は、前記追加検索結果データをも保持するものであり、
    前記追加検索データ送信部は、前記追加検索データに当該追加検索結果データも含み得るものとしている請求項３４に記載の三次元モデル表示・操作システム。
36. 対象物に基づいて作成された三次元デジタルモデルである三次元モデルを、当該対象物について撮影されたデジタル写真に対応して表示及び操作させるために、一以上の情報処理装置を作動させるプログラムであって、
    前記情報処理装置は、前記デジタル写真に係るデータである写真データを当該写真を撮影したカメラの位置及び向きに係る情報を含むカメラデータと共に格納する写真データ格納部と、前記三次元モデルのデータを格納する三次元モデルデータ格納部と、を具備し又はこれらと情報通信可能に接続されており、
    前記プログラムに、
    前記デジタル写真を当該情報処理装置が有する表示装置又は他の表示装置の画面に表示させるように当該写真データを出力する写真データ出力工程と、
    前記何れかの表示装置の画面に表示され且つ指定されたデジタル写真に関する情報を受け付ける写真指定受付工程と、
    前記写真指定受付工程で受け付けたデジタル写真に関する情報に基づいて前記写真データ格納部から対応するカメラデータを取得するカメラデータ取得工程と、
    前記カメラデータ取得工程で取得したカメラデータにおける位置及び向きに係る情報に基づいて、前記三次元モデル格納部内の三次元モデルを前記何れかの表示装置の画面に表示させた場合にユーザの視点に対応する仮想カメラの位置及び向きに係る情報を含む仮想カメラデータを決定する仮想カメラデータ決定工程と、
    前記仮想カメラデータ決定部で決定された仮想カメラデータの位置及び向きに基づいて三次元モデルを描画し、当該三次元モデルのデータを前記何れかの表示装置の画面に表示させて当該画面上で動作させ得るように出力する三次元モデルデータ出力工程と、
    を設けてなることを特徴とする三次元モデル表示・操作プログラム。
37. 前記写真データ出力工程により出力された写真データを前記情報処理装置が有する表示装置の画面に表示させる写真表示工程と、
    前記画面に表示されたデジタル写真を指定する情報を前記写真指定受付部へ出力する写真指定工程と、
    をさらに設けている請求項３６に記載の三次元モデル表示・操作プログラム。
38. 前記三次元モデルデータ出力工程で出力された三次元モデルのデータに基づいて前記情報処理装置が有する表示装置の画面に三次元モデルを動作可能に表示させる三次元モデル表示・操作工程ををさらに設けている請求項３６又は３７に記載の三次元モデル表示・操作プログラム。
39. 前記三次元モデルデータ格納部には、前記三次元モデルデータの他に、当該三次元モデルに関連のある情報からなる関連データが格納されており、
    前記三次元モデルデータ出力工程において、前記三次元モデルデータを出力する際に、前記三次元モデルの関連データをも前記表示装置又は他の表示装置の画面に表示させるように出力する請求項３６乃至３８の何れかに記載の三次元モデル表示・操作プログラム。
40. 前記写真データ格納部には、前記写真データと前記カメラの位置及び向きに係る情報の他に、当該デジタル写真に関連のある情報からなる関連データが格納されており、
    前記写真データ出力工程において、前記デジタル写真を出力する際に、前記関連データをも前記何れかの表示装置の画面に表示させるように出力する請求項３６乃至３９の何れかに記載の三次元モデル表示・操作プログラム。
41. 前記写真データ出力工程で出力した写真データ、当該写真データに関連のある情報からなる関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、の何れか一つ又は複数の組合せに基づいて構成され前記対象物に関する情報の要約である要約データを作成する要約作成工程と、
    前記要約作成工程で作成された要約データを、前記いずれかの表示装置の画面に表示させるように出力する要約データ出力工程と、
    をさらに設けている請求項３６乃至４０に記載の三次元モデル表示・操作プログラム。
42. 前記要約データが、文字情報を含むものであり、
    当該要約データに含まれる文字情報からキーワードを抽出するキーワード抽出工程と、
    前記キーワード抽出工程で抽出したキーワードを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信するキーワード送信工程と、
    前記外部サーバの検索エンジンにおいて実行されたキーワード検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形する検索結果整形工程と、
    前記検索結果整形工程で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する検索結果出力工程と、
    をさらに設けている請求項４１に記載の三次元モデル表示・操作プログラム。
43. 前記写真データ出力工程で出力した写真データ、当該写真データに関連のある情報からなる関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、若しくは前記要約データ出力工程で出力した要約データの何れかに含まれる画像データを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信する画像送信工程と、
    前記外部サーバの検索エンジンにおいて実行された類似画像検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形する検索結果整形工程と、
    前記検索結果整形工程で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する検索結果出力工程と、
    をさらに設けている請求項３６乃至４１の何れかに記載の三次元モデル表示・操作プログラム。
44. 前記写真データ出力工程で出力した写真データ、当該写真データの関連データ、前記三次元モデルデータ出力部で出力した三次元モデルデータ、当該三次元モデルデータに関連のある情報からなる関連データ、若しくは前記要約データ出力部で出力した要約データの何れかに含まれる画像データを、検索エンジンを備え当該情報処理装置と通信可能な外部サーバへ送信する画像送信工程をさらに設け、
    前記検索結果整形工程において、前記外部サーバの検索エンジンにおいて実行された類似画像検索に係る検索結果データを受信して、当該検索結果データを所定の表示形式に整形し、
    前記検索結果出力工程において、前記検索結果整形工程で整形した検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する請求項４２に記載の三次元モデル表示・操作プログラム。
45. 前記外部サーバから受信した検索結果データを保持する検索結果保持部から一以上の検索結果データを取得して、それらの検索結果データを追加検索データとして前記外部サーバ又は検索エンジンを備え当該情報処理装置と通信可能な他の外部サーバへ送信する追加検索データ送信工程をさらに設け、
    前記検索結果整形工程において、前記何れかの外部サーバの検索エンジンにおいて実行された追加検索に係る追加検索結果データを受信して、当該追加検索結果データを所定の表示形式に整形し、
    前記検索結果出力工程において、前記検索結果整形工程で整形した追加検索結果データを、前記いずれかの表示装置の画面に表示させるように出力する請求項４２乃至４４の何れかに記載の三次元モデル表示・操作プログラム。
46. 前記検索結果保持部は、前記追加検索結果データをも保持するものであり、
    前記追加検索データ送信工程において、前記追加検索データに当該追加検索結果データも含み得るものとしている請求項４５に記載の三次元モデル表示・操作プログラム。
    

Images