JP2017068832A - 画像管理システム、画像通信システム、画像管理方法、及びプログラム - Google Patents

Abstract

【課題】撮影した全天球パノラマ画像の一部の所定領域画像に添付画像を添付する場合に、視点の位置を変更しても、利用者が困惑することのない画像管理システムを提供する。【解決手段】全天球パノラマ画像である撮影画像上に描画された描画像に基づいて、当該描画像を含み撮影画像に添付するための添付画像を作成する手段５３と、作成された添付画像を撮像画像に平面画像として、撮影画像の一部の所定領域が視野に入る視点と描画像の中心点とを通る直線の法線に沿って添付する手段５６とを有する。【選択図】図１２

Description

本発明は、画像管理システム、画像通信システム、画像管理方法、及びプログラムに関するものである。

近年、一度の撮影で、３６０°の全天球パノラマ画像を得る特殊なデジタルカメラが提供されている（特許文献１参照）。但し、この特殊なデジタルカメラは、全天球パノラマ画像を得るが、そのままでは画像が湾曲して利用者が見えづらい。そのため、スマートフォン等が、全天球パノラマ画像の一部であって、所定の視点からの視野に入る所定領域における所定領域画像を表示することで、利用者は従来のデジタルカメラで撮影された画像と同じ平面画像を閲覧する感覚で所定領域画像を閲覧することができる。

一方、従来から、利用者によって平面画像上に描画された描画像に基づいて、この描画像を含む添付画像を作成し、この添付画像を平面画像に添付することが知られている。

しかしながら、全天球パノラマ画像の一部である所定領域画像に添付画像を添付する場合、実際には添付画像を立体球表面に合わせて湾曲させた状態で添付することになる。そのため、上記視点の位置を変更すると、描画時の描画像の形状とは異なる形状の描画像が表示されることになるため、利用者が困惑するという課題が生じる。

請求項１に係る発明は、撮影画像を管理する画像管理システムであって、全天球パノラマ画像である前記撮影画像上に描画された描画像に基づいて、当該描画像を含み前記撮影画像に添付するための添付画像を作成する作成手段と、前記作成された添付画像を前記撮像画像に平面画像として添付する添付手段と、を有することを特徴とする画像管理システムである。

以上説明したように本発明によれば、添付画像を湾曲させないで平面画像として撮影画像に添付するため、利用者が困惑することを解消することができる。

（ａ）は撮影装置の左側面図であり、（ｂ）は撮影装置の正面図であり、（ｃ）は撮影装置の平面図である。 撮影装置の使用イメージ図である。 （ａ）は撮影装置で撮影された半球画像（前）、（ｂ）は撮影装置で撮影された半球画像（後）、（ｃ）はメルカトル図法により表された画像を示した図である。 （ａ）メルカトル画像で球を被う状態を示した概念図、（ｂ）全天球パノラマ画像を示した図である。 全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図５の立体斜視図、（ｂ）はディスプレイに所定領域の画像が表示された通信端末を示す図である。 所定領域情報と所定領域画像との関係を示した図である。 本発明の実施形態に係る画像通信システムの概略図である。 撮影装置のハードウェア構成図である。 通信端末３のハードウェア構成図である。 画像管理システム及び通信端末７のハードウェア構成図である。 画像データの登録及び取得の処理の概略を示した図である。 撮影画像管理テーブルを示す概念図である。 添付画像管理テーブルを示す概念図である。 撮影画像における添付画像の添付位置を導出する処理を示したフローチャートである。 添付画像を撮影画像に添付する処理を示したフローチャートである。 （ａ）は画像管理システム５及び通信端末７における二次元の描画領域を示した概念図、（ｂ）は画像管理システム５における三次元の仮想空間を示した概念図である。 （ａ）は画像管理システム５及び通信端末７における二次元の描画領域を示した概念図、（ｂ）は画像管理システム５における三次元の仮想空間を示した概念図である。 （ａ）は画像管理システム５及び通信端末７における二次元の描画領域を示した概念図、（ｂ）は画像管理システム５における三次元の仮想空間を示した概念図である。 （ａ）は画像管理システム５及び通信端末７における二次元の描画領域を示した概念図、（ｂ）は画像管理システム５における三次元の仮想空間を示した概念図である。 （ａ）は画像管理システム５及び通信端末７における二次元の描画領域を示した概念図、（ｂ）は画像管理システム５における三次元の仮想空間を示した概念図である。 （ａ）は画像管理システム５及び通信端末７における二次元の描画領域を示した概念図、（ｂ）は画像管理システム５における三次元の仮想空間を示した概念図である。 （ａ）は画像管理システム５及び通信端末７における二次元の描画領域を示した概念図、（ｂ）は画像管理システム５における三次元の仮想空間を示した概念図である。 （ａ）は画像管理システム５及び通信端末７における二次元の描画領域を示した概念図、（ｂ）は画像管理システム５における三次元の仮想空間を示した概念図である。 （ａ）は画像管理システム５及び通信端末７における二次元の描画領域を示した概念図、（ｂ）は画像管理システム５における三次元の仮想空間を示した概念図である。 （ａ）は透過処理ありで歪み補正ありの場合の所定領域画像における描画像ｇ１を示した概念図であり、（ｂ）は透過処理ありで歪み補正なしの場合の所定領域画像における描画像ｇ９を示した概念図である。 （ａ）は透過処理ありで歪み補正なしの場合の全天球パノラマ画像における描画像ｇ９を示した概念図であり、（ｂ）は透過処理なしで歪み補正なしの場合の全天球パノラマ画像における描画像ｇ９を示した概念図である。

以下、図面を用いて、本発明の実施形態について説明する。

＜＜実施形態の概略＞＞
＜全天球パノラマ画像の生成方法＞
図１乃至図７を用いて、全天球パノラマ画像の生成方法について説明する。

まず、図１を用いて、撮影装置１の外観を説明する。撮影装置１は、全天球パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は撮影装置の左側面図であり、図１（ｂ）は撮影装置の正面図であり、図１（ｃ）は撮影装置の平面図である。

図１（ａ）に示されているように、撮影装置１は、人間が片手で持つことができる大きさである。また、図１（ａ），（ｂ），（ｃ）に示されているように、撮影装置１の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。これら撮像素子１０３ａ，１０３ｂは、半球画像（画角１８０°以上）の撮影が可能な光学部材（例えば、後述する魚眼レンズ１０２ａ，１０２ｂ）と併せて用いられる。また、図１（ｂ）に示されているように、撮影装置１の背面側（後側）には、シャッターボタン等の操作部１１５が設けられている。

次に、図２を用いて、撮影装置１の使用状況を説明する。なお、図２は、撮影装置の使用イメージ図である。撮影装置１は、図２に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、撮影装置１で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図３（ａ）は撮影装置で撮影された半球画像（前側）、図３（ｂ）は撮影装置で撮影された半球画像（後側）、図３（ｃ）はメルカトル図法により表された画像（以下、「メルカトル画像」という）を示した図である。図４（ａ）はメルカトル画像で球を被う状態を示した概念図、図４（ｂ）は全天球パノラマ画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮影装置１によって合成され、図３（ｃ）に示されているように、メルカトル画像が作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。

以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、３次元の立体球として表示されている全天球パノラマ画像に対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球パノラマ画像が、３次元の立体球ＣＳで表わされている。このように生成された全天球パノラマ画像が、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球パノラマ画像の外部に位置している。全天球パノラマ画像における所定領域Ｔは、この全天球パノラマ画像における仮想カメラＩＣの位置の所定領域情報によって特定される。この所定領域情報は、例えば、座標（ｘ(rH)、ｙ(rV)、及び画角α(angle)）又は座標（Ｘ，Ｙ，Ｚ）によって示される。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球パノラマ画像に近づいたり、遠ざけたりすることで表現することもできる。

そして、図６（ａ）で示されているように、全天球パノラマ画像における所定領域Ｔの画像は、図６（ｂ）に示されているように、所定のディスプレイに、所定領域画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報（ｘ，ｙ，α）によって表された画像である。

ここで、図７を用いて、所定領域情報と所定領域画像の関係について説明する。なお、図７は、所定領域情報と所定領域画像の関係との関係を示した図である。図７に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角線画角２Ｌとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。そして、図７では、一般的に以下の式（１）で示される三角関数が成り立つ。

Ｌｆ＝ｔａｎ（α／２）・・・（式１）
＜画像通信システムの概略＞
続いて、図８を用いて、本実施形態の画像通信システムの構成の概略について説明する。図８は、本実施形態の画像通信システムの構成の概略図である。

図８に示されているように、本実施形態の画像通信システムは、撮影装置１、通信端末３、画像管理システム５、及び通信端末７によって構成されている。

このうち、撮影装置１は、上述のように、全天球パノラマ画像を得るためのデジタルカメラである。なお、この撮影装置１は、一般的なデジタルカメラであっても良く、通信端末３にカメラが付いている場合は、通信端末３がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために全天球パノラマ画像を得るためのデジタルカメラとして説明を行う。通信端末３は、ＷｉＦｉ等の無線通信技術を利用し、撮影装置１とデータ通信すると共に、通信ネットワーク９を介して画像管理システム５とデータ通信を行なうことができる。なお、通信ネットワーク９は、例えば、インターネットである。

また、画像管理システム５は、例えば、サーバコンピュータであり、通信ネットワーク９を介して、通信端末３，７とデータ通信を行なうことができる。画像管理システム５には、OpenGL ESがインストールされており、全天球パノラマ画像を作成する。また、画像管理システム５は、全天球パノラマ画像の一部の領域を示す所定領域情報（又は、この所定領域情報で示される画像である所定領域画像を作成し、通信端末７に撮影画像データ及び所定領域情報（又は所定領域画像）を提供する。

また、通信端末７は、例えば、ノートＰＣ(Personal Computer)であり、通信ネットワーク９を介して、画像管理システム５とデータ通信を行なうことができる。なお、画像管理システム５は、単一のサーバコンピュータによって構成されてもよいし、複数のサーバコンピュータによって構成されてもよい。

更に、撮影装置１及び通信端末３は、撮影者Ｘによって利用される。通信端末７は、閲覧者Ｙによって利用される。画像管理システム５は、各拠点の通信端末３から送られて来た撮影画像データを通信端末７に提供するサービスを行なうサービス会社等に設置されている。

＜実施形態のハードウェア構成＞
次に、図９乃至図１１を用いて、本実施形態の撮影装置１、通信端末３，７、及び画像管理システム５のハードウェア構成を詳細に説明する。

まず、図９を用いて、撮影装置１のハードウェア構成を説明する。なお、図９は、撮影装置のハードウェア構成図である。以下では、撮影装置１は、２つの撮像素子を使用した全方位撮影装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１と同じ機能を有するようにしてもよい。

図９に示されているように、撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているようなメルカトル画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮影装置によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置には表示部が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ１１６を介して通信端末３等の外部装置に送信されたりする。

通信部１１７は、撮影装置１に設けられたアンテナ１１７ａを介して、WiFi(wireless fidelity)やＮＦＣ等の短距離無線技術によって、通信端末３等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータを通信端末３の外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から撮影装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。

次に、図１０を用いて、通信端末３のハードウェア構成を説明する。図１０は、通信端末３のハードウェア構成図である。図１０に示されているように、通信端末３は、通信端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)３０３、ＣＰＵ３０１の制御にしたがってデータの読み出し又は書き込みを行うＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）３０４、ＣＰＵ３０１の制御に従って被写体を撮像し画像データを得る撮像素子としてのＣＭＯＳセンサ３０５、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種加速度・方位センサ３０６、フラッシュメモリ等の記録メディア３０７に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ３０８を備えている。そして、メディアドライブ３０８の制御に従って、既に記録されていたデータが読み出され、又は新たにデータが書き込まれて記憶する記録メディア３０７が着脱自在な構成となっている。

なお、ＥＥＰＲＯＭ３０４には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。また、ＣＭＯＳセンサ３０５の代わりにＣＣＤセンサを用いてもよい。

更に、通信端末３は、音声を音声信号に変換する音声入力部３１１、音声信号を音声に変換する音声出力部３１２、アンテナ３１３ａ、このアンテナ３１３ａを利用して無線通信信号により、最寄の基地局等と通信を行う通信部３１３、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって通信端末３の位置情報（緯度、経度、および高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部３１４、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどのディスプレイ３１５、このディスプレイ３１５上に載せられ、感圧式又は静電式のパネルによって構成され、指やタッチペン等によるタッチによってディスプレイ３１５上におけるタッチ位置を検出するタッチパネル３１６、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。

なお、音声入力部３１１は、音声を入力するマイクが含まれ、音声出力部３１２には、音声を出力するスピーカが含まれている。

次に、図１１を用いて、画像管理システム５及びノートＰＣの場合の通信端末７のハードウェア構成を説明する。なお、図１１は、画像管理システム５及び通信端末７のハードウェア構成図である。画像管理システム５、及び通信端末７は、ともにコンピュータであるため、以下では、画像管理システム５の構成について説明し、通信端末７の構成の説明は省略する。

画像管理システム５は、画像管理システム５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、画像管理システム５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、通信ネットワーク９を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４、及び、上記各構成要素を図１１に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

＜＜実施形態の機能構成＞＞
次に、図９乃至図１４を用いて、本実施形態の機能構成について説明する。図１２は、本実施形態の画像通信システムの一部を構成する、撮影装置１、通信端末３、画像管理システム５、及通信端末７の各機能ブロック図である。図１２では、画像管理システム５が、通信ネットワーク９を介して、通信端末３及び通信端末７とデータ通信することができる。

＜撮影装置１の機能構成＞
図１２に示されているように、撮影装置１は、受付部１２、撮像部１３、集音部１４、通信部１８、及び記憶・読出部１９を有している。これら各部は、図９に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影蔵置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、撮影装置１は、図９に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。

（撮影装置１の各機能構成）
次に、図９及び図１２を用いて、撮影装置１の各機能構成について更に詳細に説明する。

撮影装置１の受付部１２は、主に、図９に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、利用者（図８では、撮影者Ｘ）からの操作入力を受け付ける。

撮像部１３は、主に、図９に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、風景等を撮像し、撮影画像データを得る。

集音部１４は、図９に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、撮影装置１の周囲の音を収音する。

通信部１８は、主に、ＣＰＵ１１１の処理によって実現され、通信端末３の通信部３８と、ＮＦＣ（Near Field Communication）規格、ＢｌｕｅＴｏｏｔｈ（登録商標）、ＷｉＦｉ（Wireless Fidelity）等による短距離無線技術によって通信することができる。

記憶・読出部１９は、主に、図９に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。

＜通信端末３の機能構成＞
図１２にされているように、通信端末３は、送受信部３１、受付部３２、表示制御部３３、判断部３４、通信部３８、及び記憶・読出部３９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開された通信端末３用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末３は、図１０に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＥＥＰＲＯＭ３０４によって構築される記憶部３０００を有している。

（通信端末３の各機能構成）
次に、図１０及び図１２を用いて、通信端末３の各機能構成について更に詳細に説明する。

通信端末３の送受信部３１は、主に、図１０に示されている通信部３１３及びＣＰＵ３０１の処理によって実現され、通信ネットワーク９を介して、画像管理システム５と各種データ（または情報）の送受信を行う。

受付部３２は、主にタッチパネル３１６及びＣＰＵ３０１による処理によって実現され、ユーザから各種の選択又は入力を受け付ける。

表示制御部３３は、主にＣＰＵ３０１の処理によって実現され、ディスプレイ３１５に各種画像や文字等を表示させるための制御を行う。

判断部３４は、主にＣＰＵ３０１の処理によって実現され、各種判断を行なう。

通信部３８は、主に、ＣＰＵ３０１の処理によって実現され、撮影装置１通信部１８と、ＮＦＣ規格、ＢｌｕｅＴｏｏｔｈ、ＷｉＦｉ等による短距離無線技術によって通信することができる。

記憶・読出部３９は、主に、図１０に示されているＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

＜画像管理システムの機能構成＞
次に、図１１及び図１２を用いて、画像管理システム５の各機能構成について詳細に説明する。画像管理システム５は、送受信部５１、特定部５２、作成部５３、変換部５４、導出部５５、添付部５６、透過部５７及び記憶・読出部５９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された画像管理システム５用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、画像管理システム５は、図１１に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、撮影画像管理ＤＢ５００１、及び添付画像管理ＤＢ５００２が構築されている。このうち、撮影画像管理ＤＢ５００１は、図１３に示されている撮影画像管理テーブルによって構成されている。添付画像管理ＤＢ５００２は、図１４に示される添付画像管理テーブルによって構成されている。

（撮影画像管理テーブル）
図１３は、撮影画像管理テーブルを示す概念図である。この撮影画像管理テーブルでは、ユーザＩＤ、撮影画像ＩＤ、撮影画像データのファイル名、及び撮影日時が関連付けて記憶されて管理されている。このうち、ユーザＩＤは、各撮影者を識別するための利用者識別情報の一例である。撮影画像ＩＤは、各撮影画像（全天球パノラマ画像）を識別するための撮影画像識別情報の一例である。撮影日時は、撮影者が撮影して、撮影画像を得た日時を示す。

（添付画像管理テーブル）
図１４は、添付画像管理テーブルを示す概念図である。なお、以降、三次元の仮想空間における座標（Ｘ，Ｙ，Ｚ）を用いて説明する。この添付画像管理テーブルでは、撮影画像ＩＤ、添付画像ＩＤ、添付画像データのファイル名、添付位置、基準位置、及び添付画像のサイズが関連付けて記憶されて管理されている。このうち、添付画像ＩＤは、各添付画像を識別するための添付画像識別情報の一例である。添付位置は、三次元の仮想空間内の撮影画像（全天球パノラマ画像）における添付画像の添付位置を示す。基準位置は、三次元の仮想空間内における仮想カメラＩＣの初期位置（初期視点の位置）を示す。

（画像管理システムの各機能構成）
次に、図１１及び図１２を用いて、画像管理システム５の各機能構成について詳細に説明する。

画像管理システム５の送受信部５１は、主に、図１１に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して通信端末３、又は通信端末７と各種データ（または情報）の送受信を行う。

特定部５２は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、例えば、二次元の描画領域における描画像ｇ１の中心点ｐ１（ｘ１，ｙ１）を特定する。

作成部５３は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、例えば、特定部５２によって特定された二次元の描画領域における中心点をｐ１とする描画像ｇ１を包含する添付画像ａ１を作成する。

変換部５４は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、例えば、特定部５２によって特定された二次元の描画領域における中心点ｐ１を、三次元の仮想領域内の特定位置（例えば、点Ｐ２（Ｘ２，Ｙ２，Ｚ２））に変換する。

導出部５５は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、例えば、三次元の仮想空間内において、変換部５４によって変換された特定位置（例えば、点Ｐ２）と仮想カメラＩＣの位置Ｐ０１とを通る直線Ｄ１を導出する。

添付部５６は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、例えば、三次元の仮想空間内の直線上の特定の点において、この直線の法線に沿って添付画像を添付する。

透過部５７は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、例えば、所定の添付画像のうち、描画像以外の部分を透過させる。

記憶・読出部５９は、主に、図１１に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

＜通信端末７の機能構成＞
次に、図１１及び図１３を用いて、通信端末７の機能構成について詳細に説明する。通信端末７は、送受信部７１、受付部７２、判断部７４、表示制御部７３、及び、記憶・読出部７９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信端末７用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末７は、図１１に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部７０００を有している。

（通信端末７の各機能構成）
次に、図１３を用いて、通信端末７の各機能構成について詳細に説明する。

通信端末７の送受信部７１は、主に、図１１に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク９を介して画像管理システム５と各種データ（または情報）の送受信を行う。

受付部７２は、主に、図１１に示されているキーボード５１１及びマウス５１２、並びにＣＰＵ５０１の処理によって実現され、利用者（図８では、閲覧者Ｙ）からの操作入力を受け付ける。

表示制御部７３は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、通信端末７のディスプレイ５０８に各種画像を表示させるための制御を行なう。

判断部７４は、主に、図１１に示されているＣＰＵ５０１の処理によって実現され、各種判断を行なう。

記憶・読出部７９は、主に、図１１に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。

＜＜実施形態の処理又は動作＞＞
続いて、図１５乃至図２７を用いて、本実施形態の処理又は動作について説明する。図１５は、撮影画像における添付画像の添付位置を導出する処理を示したフローチャートである。図１６は、添付画像を撮影画像に添付する処理を示したフローチャートである。図１７乃至図２５は、それぞれ（ａ）が画像管理システム５及び通信端末７における二次元（ｘ，ｙ）の描画領域を示した概念図、（ｂ）が画像管理システム５における三次元（Ｘ，Ｙ，Ｚ）の仮想空間を示した概念図である。

なお、図１７乃至図２５の各（ａ）では、描画された添付画像ａ１を目立たせるため、図２６（ａ）に示されているビル等の所定領域画像を省略し、添付画像の描画領域のみを示す。また、通信端末７の表示制御部７３は、ブラウザ機能を有している。これにより、図１７乃至図２５の各（ａ）の図面において、画像管理システム５と通信端末７の両方における二次元の描画領域が実現する。即ち、通信端末７側の閲覧者Ｙによる描画領域への入力データが画像管理システム５側に送られると、画像管理システム５側で処理が行なわれ、処理後の画像データが通信端末７に送られることで、通信端末７はディスプレイ５０８上に図２６（ａ）に示されているような描画像ｇ１を描画及び表示させることができる。また、図１７乃至図２５の各（ｂ）では、仮想カメラＩＣは、撮影画像の外側にある場合について示している。

まずは、図１５、及び図１７乃至図２２を用い、閲覧者Ｙが図２６（ａ）に示されているように所定領域画像上に描画像ｇ１を描画する場合において、撮影画像（全天球パノラマ画像）における添付画像ａ１の添付位置Ｐ４’を導出する処理を説明する。

図１７（ａ）に示されているように、閲覧者Ｙが通信端末７における二次元の描画領域内に所定の描画像（ここでは、正三角形）ｇ１を描画すると、受付部７２が描画の入力を受け付け、送受信部７１から画像管理システム５の送受信部に描画を行う命令を送信する（ステップＳ１０１）。この時点で、画像管理システム５の特定部５２は、三次元の仮想空間内において、図１７（ｂ）に示されているように、全天球パノラマ画像である撮影画像Ａ１の位置、仮想カメラＩＣの基準位置Ｐ０１（Ｘ０１，Ｙ０１，Ｚ０１）、及び所定領域Ｔを特定している。なお、所定領域Ｔが視野に入る場合の視点が仮想カメラＩＣの位置Ｐ０１である。また、図１８以降は、図面が徐々に複雑になるため、所定領域Ｔの記載は省略する。

次に、画像管理システム５の作成部５３は、図１８（ａ）に示されているように、描画像ｇ１の中心点ｐ１（ｘ１，ｙ１）を特定する（ステップＳ１０２）。但し、中心点ｐ１は視覚的に表示されないで、描画像ｇ１のみが視覚的に表示される。更に、作成部５３は、中心点をｐ１とする描画像ｇ１を包含する添付画像ａ１を作成する（ステップＳ１０３）。但し、添付画像は視覚的に表示されないで、描画像ｇ１のみが視覚的に表示される。この時点では、図１８（ｂ）に示されているように、三次元の仮想空間内の状態は変わらない。

次に、変換部５４は、図１９（ａ）に示されている二次元の描画領域における中心点ｐ１を、図１９（ｂ）における三次元の仮想領域内の特定位置（ここでは、点Ｐ２（Ｘ２，Ｙ２，Ｚ２））に変換する（ステップＳ１０４）。

次に、導出部５５は、図２０（ｂ）に示されているように、点Ｐ２と仮想カメラＩＣの位置Ｐ０１とを通る直線Ｄ１を導出する（ステップＳ１０５）。この時点では、図２０（ａ）に示されているように、二次元の描画領域内の状態は変わらない。

次に、導出部５５は、図２１（ｂ）に示されているように、直線Ｄ１と撮影画像Ａ１との交点Ｐ４（Ｘ４，Ｙ４，Ｚ４），Ｐ５（Ｘ５，Ｙ５，Ｚ５）を導出する（ステップＳ１０６）。ここでは、交点Ｐ４が仮想カメラＩＣから遠い点で、交点Ｐ５が仮想カメラＩＣから近い点である。更に、特定部５２は、２つの交点Ｐ４，Ｐ５のうち、仮想カメラＩＣから遠い交点Ｐ４を特定する（ステップＳ１０７）。この時点では、図２１（ａ）に示されているように、二次元の描画領域内の状態は変わらない。

次に、導出部５５は、図２２（ｂ）に示されているように、交点Ｐ４から直線Ｄ１に沿って距離ｄ（＝βφ／ｑ）だけ、全天球パノラマ画像の立体球の内側に移動した位置である点Ｐ４’（Ｘ４’，Ｙ４’，Ｚ４’）を導出する（ステップＳ１０８）。なお、βは定数、φは立体球の半径、ｑは仮想カメラＩＣの位置Ｐ０１と交点Ｐ４との直線距離である。この時点では、図２２（ａ）に示されているように、二次元の描画領域内の状態は変わらない。このように、添付画像ａ１をｄだけ立体球の内側に添付するのは、実験によって、図２６（ａ）に示されているように、添付画像ａ１の描画像ｇ１１が、描画時の描画像ｇ１に近い鮮明な画像として表示させることが可能であることが判明したからである。即ち、図２６（ａ）に示されているように、一旦、描画像ｇ１が描画され、後述のステップＳ１０９によって添付画像ａ１に関する各データが記憶された後、後述のステップＳ２０１以降の処理で添付画像ａ１に関する各データが読み出されて、撮影画像Ａ１に添付画像ａ１が添付された場合に、添付画像ａ１の描画像ｇ１１が、描画時の描画像ｇ１に近い鮮明な画像として表示されるからである。

次に、記憶・読出部５９は、添付画像に関する各データを添付画像管理テーブル（図１４参照）に記憶する（ステップＳ１０９）。具体的には、記憶・読出部５９は、撮影画像ＩＤ、添付画像ＩＤ、及び添付画像データのファイル名に対して、添付位置のフィールドに点Ｐ４’のＸ，Ｙ，Ｚの各パラメータを関連付け、基準位置のフィールドに点Ｐ０１のＸ，Ｙ，Ｚの各パラメータを関連付け、添付画像のサイズのフィールドに添付画像ａ１の画像サイズのパラメータを関連付けて管理する。このように、添付位置だけでなく、基準位置も関連付けて管理するのは、図２６（ａ）に示されているように、一旦、描画像ｇ１が描画され、ステップＳ１０９によって添付画像ａ１に関する各データが記憶された後、後述のステップＳ２０１以降の処理で添付画像ａ１に関する各データが読み出されて、撮影画像Ａ１に添付画像ａ１が添付された場合に、描画時の描画像ｇ１と同じ形状の描画像ｇ１１が表示されるからである。逆に、添付位置を記憶して基準位置を記憶しない場合には、図２２（ｂ）における点Ｐ４’が明確になっても、直線Ｄ１の法線が不明確であるため、図２６（ａ）に示されている読み出し後の描画像ｇ１１は、描画時の描画像ｇ１と同じ形状としては表示されない状態が生じ得る。

なお、ステップＳ１０９の処理後、閲覧者Ｙは、図２６（ａ）に示されている、描画像ｇ１が描画された状態の所定領域画像（撮影画像）の表示を終了させる。

続いて、図１６及び図２３を用い、閲覧者Ｙが通信端末７を用いて、図２６（ａ）に示されているように、再び所定領域画像（撮影画像）を表示させる場合に、画像管理システム５が、添付画像ａ１を撮影画像Ａ１に添付した状態で表示させる処理を説明する。

まず、閲覧者Ｙが通信端末７で、撮影画像の再表示のための入力を行うと、受付部７２が撮影画像の再表示を受け付け、送受信部７１から画像管理システム５の送受信部に再表示を行う命令を送信する（ステップＳ２０１）。この場合、再表示の対象である撮影画像の撮影画像ＩＤも送信される。

次に、画像管理システム５の記憶・読出部５９は、撮影画像ＩＤを検索キーとして、添付画像管理テーブル（図１４参照）を検索することにより、対応する各データ（添付画像ＩＤ、添付画像データのファイル名、添付位置、基準位置、及び添付が画像のサイズ）を読み出す（ステップＳ２０２）。

次に、添付部５６は、ステップＳ２０２によって読み出された各データに基づき、図２３（ｂ）に示されているように、直線Ｄ１上の点Ｐ４’において、直線Ｄ１の法線に沿って添付画像ａ１を添付する（ステップＳ２０３）。これにより、図２３（ａ）に示されているように、描画像ｇ１１が図２２（ａ）に示されている描画時の描画像ｇ１と同じ形状となる添付画像ａ１が、撮影画像Ａ１に添付される。

次に、透過部５７は、添付画像ａ１のうち、描画像ｇ１１以外の部分を透過させる（ステップＳ２０４）。そして、送受信部５１が、通信端末７の送受信部７１に、ステップＳ２０１〜Ｓ２０４の処理によって添付画像ａ１を添付した状態の撮影画像Ａ１のデータを送信することで、通信端末７の表示制御部７３が通信端末７のディスプレイ５０８上に、図２６（ａ）に示されているような描画像ｇ１１を含む所定領域画像を表示させる(ステップＳ２０５)。

以上により、撮影画像を再表示する場合、描画時の描画像ｇ１と同じ形状の描画像ｇ１１を含んだ撮影画像を再表示することができる。

なお、図２６（ａ）は、ステップＳ２０３による歪み補正ありでステップＳ２０４による透過処理ありの場合の所定領域画像の例であるが、図２６（ｂ）は、歪み補正なしで透過処理ありの場合の所定領域画像の例である。また、図２７（ａ）は、歪み補正なしで透過処理ありの場合の全天球パノラマ画像の例である。更に、図２７（ｂ）は、歪み補正なしで透過処理なしの場合の全天球パノラマ画像の例である。

ところで、仮に、図２４（ａ）に示されているように、閲覧者Ｙが通信端末７側で所定領域画像を、矢印の方向（左側）に移動させると、図２４（ｂ）に示されているように、三次元の仮想空間内では、仮想カメラＩＣの位置がＰ０１からＰ０２（Ｘ０２，Ｙ０２，Ｚ０２）の位置に移動する。これにより、添付画像ａ１は、視点Ｐ０２から見た画像となるため、描画像ｇ１は、図２４（ａ）に示されているように、形状が変形した描画像ｇ１’となる。

更に、図２５（ａ）に示されているように、新たに描画像ｇ２が描かれると、図２５（ｂ）に示されているように、新たな直線Ｄ２上の点Ｐ１４’の位置で、直線Ｄ２の法線に沿って添付画像ａ２が添付される。なお、図２５（ｂ）において、直線Ｄ２、点Ｐ０２、点Ｐ１２、点Ｐ１４及び点Ｐ１４’は、それぞれ、図２２（ｂ）において、直線Ｄ１、点Ｐ０１、点Ｐ２、点Ｐ４及び点Ｐ４’に対応している。

＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、添付画像ａ１を湾曲させないで平面画像として撮影画像Ａ１に添付するため、閲覧者Ｙが、再度、撮影画像（所定領域画像）を閲覧する場合には、図２６（ａ）に示されているように、描画像ｇ１１が描画時の描画像ｇ１と同じ形状で表示される。即ち、図２６（ｂ）に示されている描画像ｇ９のように湾曲された状態では表示されない。これにより、閲覧者Ｙ（利用者）が、描画像ｇ１１を閲覧して困惑することを解消することができる。

〔実施形態の補足〕
上記実施形態における画像管理システム５は、単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

また、上記実施形態の各プログラムが記憶されたＣＤ−ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤ５０４は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。

１ 撮影装置
３ 通信端末
５ 画像管理システム
７ 通信端末
９ 通信ネットワーク
５１ 送受信部（送信手段の一例、受信手段の一例）
５２ 特定部（特定手段の一例）
５３ 作成部（作成手段の一例）
５４ 変換部（変換手段の一例）
５５ 導出部（導出手段の一例）
５６ 添付部（添付手段の一例）
５７ 透過部（透過手段の一例）

特開２０１４−１３１２１５号公報

Claims (7)

1. 撮影画像を管理する画像管理システムであって、
   全天球パノラマ画像である前記撮影画像上に描画された描画像に基づいて、当該描画像を含み前記撮影画像に添付するための添付画像を作成する作成手段と、
   前記作成された添付画像を前記撮像画像に平面画像として添付する添付手段と、
   を有することを特徴とする画像管理システム。
2. 前記添付画像のうち前記描画像以外の部分を透過させる透過手段を有することを特徴とする請求項１に記載の画像管理システム。
3. 前記添付手段は、前記撮影画像の一部の所定領域が視野に入る視点と前記描画像の中心点とを通る直線の法線に沿って前記添付画像を添付することを特徴とする画像管理システム。
4. 前記法線を、前記直線と前記撮影画像との交点のうち前記視点から遠い特定の交点から前記直線に沿って前記全天球パノラマ画像内に所定の距離移動した位置に特定する特定手段を有することを特徴とする請求項３に記載の画像管理システム。
5. 請求項１乃至４のいずれか一項に記載の画像管理システムと、
   前記添付手段によって前記添付画像が添付された前記撮影画像を表示する通信端末と、
   を有することを特徴とする画像通信システム。
6. 撮影画像を管理する画像管理システムが実行する画像管理方法であって、
   前記画像管理システムは、
   全天球パノラマ画像である前記撮影画像上に描画された描画像に基づいて、当該描画像を含み前記撮影画像に添付するための添付画像を作成する作成ステップと、
   前記作成された添付画像を前記撮像画像に平面画像として添付する添付ステップと、
   を実行することを特徴とする画像管理方法。
7. コンピュータに、請求項６に記載の方法を実行させるためのプログラム。

Images