JP2018109946A - 表示装置、プログラム、表示方法 - Google Patents

Abstract

【課題】複数の高画質の画像を適切に重畳できる表示装置を提供する。【解決手段】第一の画像よりも高画質な第二の画像が重畳された第一の画像を表示する表示装置であって、複数の第二の画像の大きさの順に重畳順を決定する重畳順決定手段と、重畳順決定手段が決定した重畳順で、複数の第二の画像のうち大きい方の第二の画像ほど第一の画像に近い側に重畳する重畳手段と、を有する。【選択図】図１５

Description

本発明は、表示装置、プログラム、及び表示方法に関する。

従来のデジタルカメラよりも広角な画像を撮像できる撮像装置が普及しはじめている。このような撮像装置の１つとして魚眼レンズ等を複数組み合わせ、１回の撮像で周囲３６０度が撮像された全天球画像を作成する全天球カメラが知られている。全天球画像に対しユーザは任意に視線方向を決定して全天球画像を様々な方向から閲覧することができる。

しかしながら、画像処理の負荷などを考慮すると撮像範囲が広い全天球画像の画像処理には制約が生じやすく、通常のデジタルカメラの画像と比較すると画質が低下（例えば解像度が低い、白飛びしやすい、色再現性が低い等）する傾向がある。このため、ユーザが全天球画像の一部を拡大して閲覧するような場合に、画質の低下が気になったり詳細な情報を得られにくかったりするという不都合がある。

このような不都合に対し、広角画像に望遠画像を嵌め込む技術が考案されている（例えば、特許文献１参照。）。

しかしながら、従来の技術では複数の高画質の画像が重畳されることが考慮されていないという問題がある。複数の高画質の画像があり、それらが全天球画像の同じ場所を撮像したものである場合、同じ場所に重畳される。しかし、複数の高画質の画像の画角が同じであることは少なく、重畳の順番によっては視線に対し後方に重畳された高画質の画像が閲覧者から見えなくなってしまう。

本発明は、上記課題に鑑み、複数の高画質の画像を適切に重畳できる表示装置を提供することを目的とする。

本発明は、第一の画像よりも高画質な第二の画像が重畳された前記第一の画像を表示する表示装置であって、複数の前記第二の画像の大きさの順に重畳順を決定する重畳順決定手段と、前記重畳順決定手段が決定した重畳順で、複数の前記第二の画像のうち大きい方の前記第二の画像ほど前記第一の画像に近い側に重畳する重畳手段と、を有する。

複数の高画質の画像を適切に重畳できる表示装置を提供することができる。

全天球画像について説明する図の一例である。 全天球画像の表示方法を説明する図の一例である。 全天球カメラと表示装置を有する画像処理システムのシステム構成例を示す図である。 撮像装置のハードウェア構成図の一例である。 表示装置のハードウェア構成図の一例である。 全天球カメラの使用イメージ図である。 全天球カメラで撮像された画像から全天球画像が作成されるまでの処理の概略を説明する図である。 全天球カメラで撮像された画像から全天球画像が作成されるまでの処理の概略を説明する図である。 平面画像が重畳された全天球画像の正距円筒図法と、立体球に貼り付けられた全天球画像を示す図の一例である。 ユーザの視線を説明する図の一例である。 全天球画像の閲覧領域の拡大と縮小を模式的に説明する図の一例である。 デジタルカメラ、全天球カメラ、及び表示装置が有する機能をブロック状に示す機能ブロック図の一例である。 平面画像の一致領域への射影方式変換及び平面画像と一致領域とを対応付ける位置パラメータの一例を示す図である。 射影方式変換部が作成する射影方式変換画像とマスクデータを説明する図の一例である。 画像重畳部の機能をブロック状に説明する画像重畳部の機能ブロック図の一例である。 全天球画像への平面画像の重畳を模式的に説明する図の一例である。 射影方式変換画像の重畳を模式的に説明する図の一例である。 平面画像Ｐ１，Ｐ２の関係を説明する図の一例である。 表示装置が全天球画像に平面画像を画角の大きい順に重畳する手順を示すフローチャート図の一例である。 同じ画角の平面画像が重なった場合の重畳順を説明する図の一例である。 閲覧される平面画像を説明する図の一例である。 焦点距離情報と共にディスプレイに表示された平面画像Ｐの一例を示す図である。 射影方式変換により得られた枠を説明する図の一例である。 枠の重畳を模式的に説明する図の一例である。 表示装置が全天球画像に平面画像を画角の大きい順に重畳する手順を示すフローチャート図の一例である。 位置パラメータＰＰｉｊを説明する図の一例である。 表示装置が全天球画像に平面画像を画角の大きい順に重畳する手順を示すフローチャート図の一例である。

以下、本発明を実施するための形態について図面を参照しながら説明する。

＜全天球画像の概略＞
図１は、全天球画像ＣＥについて説明する図の一例である。図１（ａ）は、三次元の立体球ＣＳで表わされた全天球画像ＣＥを示し、図１（ｂ）は正距円筒図法で表された全天球画像ＣＥを示す。全天球カメラで生成された全天球画像ＣＥは図１（ｂ）のような画像が立体球ＣＳに張り合わされた三次元の構造を有している。仮想カメラＩＣはユーザの視点に対応し、図１では全天球画像ＣＥの中心に視点がある。ユーザＵは仮想カメラＩＣを通るＸ軸、Ｙ軸、Ｚ軸を中心とする３軸の回転を行わせて、全天球画像ＣＥの任意の閲覧領域Ｔ（ディスプレイ又は表示用のソフトウェアに表示される範囲）を表示させることができる。また、ユーザは閲覧領域Ｔを拡大又は縮小することもできる。

＜本実施形態の表示装置の概略＞
図２は、本実施形態の全天球画像の表示方法を説明する図の一例である。図２は全天球画像ＣＥに重畳された２つの平面画像Ｐ１，Ｐ２を示している。視線より遠い側に画角が大きい平面画像Ｐ１が重畳され、視線に近い側に画角が小さい平面画像Ｐ２が重畳されている。閲覧者から見ると、中心に平面画像Ｐ２が見え、その周囲に平面画像Ｐ１が見え、更にその周囲に全天球画像ＣＥが見える。

平面画像Ｐ１と平面画像Ｐ２が同じ解像度で撮像されている場合、画素数は同じだが平面画像Ｐ２の画角の方が狭いので、画角当たりの画素数は平面画像Ｐ２の方が多い。閲覧者が全天球画像ＣＥを徐々に拡大する状況を想定すると、平面画像Ｐ１でより広い範囲を高解像度で閲覧でき、更に、大きく拡大するとより狭い範囲を高解像度で閲覧できる。

図２とは逆に、平面画像Ｐ１が平面画像Ｐ２よりも視線側に重畳された場合、閲覧者は平面画像Ｐ２を閲覧できない。

このように、本実施形態の表示装置は画角の大きい平面画像Ｐ１を平面画像Ｐ２よりも先に全天球画像ＣＥに重畳する（画角の小さい平面画像Ｐほど視線側に重畳する）ことで、全ての平面画像Ｐを閲覧者が閲覧できる。また、複数の平面画像Ｐが重畳されているので、閲覧者が拡大しても高解像度の画像を表示できる。

＜用語について＞
重畳とは、２つ以上のものを合わせて１つのものにすることをいう。また、本実施形態では、重畳に、貼り付け、嵌め込み、合成、重ね合わせという意味が含まれてよい。

特許請求の範囲の第一の画像は重畳先の画像であり、第二の画像は重畳される画像である。第一の画像には、第二の画像よりも広範囲の光景が写っている。本実施形態では、第一の画像の一例として全天球画像を用い、第二の画像の一例として平面画像を用いる。また、画像が大きいとは、広範囲の光景が写っていることをいう。

また、高画質の定義は画像によっても異なるため、閲覧者の閲覧目的によって種々でよいが、一般に画像が忠実に光景を表すことをいう。例えば、解像度が高い、ダイナミックレンジが広い、色再現性が高い、ノイズが少ない、画像をいう。

＜システム構成例＞
図３は、全天球カメラ２０と表示装置３０を有する画像処理システム１００のシステム構成例を示す図である。図３（ａ）は全天球カメラ２０と通常のデジタルカメラ９を有する画像処理システム１００を示す。通常のデジタルカメラ９とは、一般に３５ｍｍフィルムに換算した場合に焦点距離３５ｍｍ以上で撮像する撮像装置（カメラ）であるが、２４ｍｍ〜３５ｍｍ程度の広角画像を撮像できる撮像装置が含まれてよい。簡単には、全天球カメラ２０ではなく平面画像Ｐを撮像する撮像装置ということができる。換言すると、閲覧領域Ｔに全体を表示可能な画像を撮像する撮像装置である。

デジタルカメラ９は、全天球画像ＣＥよりも少なくとも解像度が高い（撮像する画角に対する画素数が多い）撮像素子を有している。また、全天球カメラ２０よりも狭い撮像範囲で撮像条件（露出時間、シャッター速度、ホワイトバランス等）を最適化するため、白飛びしにくく、色再現性も高い場合が多い。このようにデジタルカメラ９はいわゆる高画質の平面画像を生成する。

これにより、全天球画像ＣＥでは拡大時に粗くなる画像を、平面画像Ｐの高い画質の画像で補うことができる。図３（ａ）の構成では、デジタルカメラ９が表示装置３０を兼ねている。デジタルカメラ９の具体例は、例えばデジタルスチルカメラ、又はデジタルビデオカメラであるが、撮像装置を備えたその他の装置であってもよい。例えば、スマートフォン、タブレット端末、ＰＤＡ(Personal Digital Assistant)、ウェアラブルＰＣ（Personal Computer）等でもよい。この場合、スマートフォン等に全天球カメラ２０が外付けされてよい。

全天球カメラ２０とデジタルカメラ９はＵＳＢ，Bluetooth（登録商標）、無線ＬＡＮなどで通信することができる。全天球カメラ２０が撮像した全天球画像ＣＥはデジタルカメラ９に送信される。デジタルカメラ９も同様に平面画像Ｐを撮像する。全天球画像ＣＥには周囲３６０度の風景が写っているので平面画像Ｐは全天球画像ＣＥの一部になる。

デジタルカメラ９は表示装置３０として、全天球画像ＣＥに平面画像Ｐを重畳する。具体的には、例えばユーザＵが平面画像Ｐと全天球画像ＣＥを選択して、重畳を指示する。あるいは、デジタルカメラ９を重畳モードに設定して平面画像Ｐを撮像すると、平面画像Ｐがマッチングする全天球画像ＣＥに自動的に重畳する。画像の一致度が低ければ重畳されないので不都合は少ない。このように、デジタルカメラ９が表示装置３０である場合は、全天球カメラ２０とデジタルカメラ９という構成で、全天球画像ＣＥと平面画像Ｐを重畳できる。

図３（ｂ）は、全天球カメラ２０、通常のデジタルカメラ９、及び表示装置３０を有する画像処理システム１００を示す。全天球カメラ２０と表示装置３０、及び、デジタルカメラ９と表示装置３０はＵＳＢ、Bluetooth（登録商標）、無線ＬＡＮなどで通信することができる。全天球カメラ２０が撮像した全天球画像ＣＥは表示装置３０に送信される。デジタルカメラ９が撮像した平面画像Ｐも表示装置３０に送信される。送信の他、記憶媒体に格納された全天球画像ＣＥ又は平面画像Ｐを表示装置３０が記憶媒体から読み取ってもよい。

表示装置３０は、例えばＰＣ、スマートフォン、タブレット端末、ＰＤＡなどの情報処理装置である。この他、情報処理装置としての機能を有する複合機、プロジェクタ、テレビ会議端末などでもよい。

図３（ｂ）の構成では、表示装置３０が全天球画像ＣＥに平面画像Ｐを重畳する。より具体的には、ユーザＵは、平面画像Ｐと全天球画像ＣＥを見比べることなどで、どの平面画像Ｐがどの全天球画像ＣＥの一部か分かるので、全天球画像ＣＥとこれに貼り付ける平面画像Ｐを選択し、表示装置３０に貼り付けを行わせる。デジタルカメラ９のように自動的に重畳させてもよい。このように、表示装置３０は全天球画像ＣＥと平面画像Ｐを取得して、全天球画像ＣＥに平面画像Ｐを重畳できる。図４以下の説明では、特に言及しない限り、図３（ｂ）の構成を念頭に説明する。

図３（ｃ）は、全天球カメラ２０、通常のデジタルカメラ９、表示装置３０、及び画像重畳サーバ７０がネットワークＮを介して接続された画像処理システム１００を示す。ネットワークＮは、ユーザ環境に構築されているＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークＮが複数のＬＡＮを有する場合、ネットワークＮはＷＡＮやインターネットと呼ばれる。ネットワークＮは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、全天球カメラ２０及びデジタルカメラ９が直接、公衆回線網に接続する場合は、ＬＡＮを介さずにプロバイダネットワークに接続することができる。

画像重畳サーバ７０は一般的な情報処理装置又はサーバ装置でよいし、表示装置３０の具体例は図３（ｂ）と同様でよい。しかしながら、画像重畳サーバ７０はクラウドコンピューティングに対応していることが好ましい。クラウドコンピューティングとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される利用形態をいう。

全天球カメラ２０が撮像した全天球画像ＣＥは画像重畳サーバ７０に送信される。デジタルカメラ９が撮像した平面画像Ｐも画像重畳サーバ７０に送信される。図３（ｃ）の構成では、画像重畳サーバ７０が全天球画像ＣＥに平面画像Ｐを重畳する。より具体的には、表示装置３０はユーザＵの操作を受け付けて画像重畳サーバ７０にアクセスして、全天球画像ＣＥ及び平面画像Ｐのリスト（サムネイル画像など）を表示する。ユーザＵは、平面画像Ｐと全天球画像ＣＥを見比べることなどで、どの平面画像Ｐがどの全天球画像ＣＥの一部か分かるので、全天球画像ＣＥとこれに貼り付ける平面画像Ｐを選択し、画像重畳サーバ７０に通知する。画像重畳サーバ７０が自動的に重畳してもよい。

画像重畳サーバ７０は、全天球画像ＣＥに平面画像Ｐを重畳すると共に、閲覧領域Ｔの画像データを表示装置３０に送信する。初期状態の視線方向と画角は予め決まっているものとする。画像重畳サーバ７０はＷｅｂサーバとして閲覧領域Ｔの画像データとユーザの操作を受け付けるための表示プログラム（スクリプト言語で記述されている）を表示装置３０に送信する。表示装置３０は表示プログラムを実行しユーザＵの操作を受け付け、視線方向と画角を画像重畳サーバ７０に送信する。画像重畳サーバ７０は視線方向と画角に応じて閲覧領域Ｔを更新し、閲覧領域Ｔの画像データを表示装置３０に送信する。

全天球画像ＣＥ、平面画像Ｐ及び表示プログラムを画像重畳サーバ７０が表示装置３０に送信してもよい。この場合、表示装置３０がユーザの操作に応じて閲覧領域Ｔを決定し、全天球画像ＣＥに平面画像Ｐを重畳する。

また、全天球画像ＣＥと平面画像Ｐから画像重畳サーバ７０が位置パラメータ（後述する）を算出し、全天球画像ＣＥと平面画像Ｐ及び位置パラメータを表示装置３０がダウンロードしてもよい。ユーザは任意に視線方向を変えるが、表示装置３０は同じ位置パラメータを使って全天球画像ＣＥに平面画像Ｐを重畳できる。後述する図１３の位置パラメータ作成部８が画像重畳サーバ７０にあり、変換表示部７を表示装置３０が有する形態となる。

＜ハードウェア構成＞
<<全天球カメラのハードウェア構成>>
図４は、全天球カメラのハードウェア構成図である。以下では、全天球カメラ２０は、２つの撮像素子を使用した全方位撮像装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラ９やスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に全天球カメラ２０と同じ機能を有するようにしてもよい。

図４に示されているように、全天球カメラ２０は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、及び、加速度センサ１２０を有する。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、電子コンパス１１８、ジャイロセンサ１１９、及び、加速度センサ１２０なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを重畳処理して、図１（ｂ）に示されているような正距円筒図法による画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮像装置によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置には表示部が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、全天球カメラ２０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒図法による画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザＵは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶された正距円筒図法による画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ１１６を介して表示装置３０等の外部装置に送信されたりする。

通信部１１７は、全天球カメラ２０に設けられたアンテナ１１７ａを介して、WiFi(wireless fidelity)やＮＦＣ等の短距離無線技術によって、表示装置３０等の外部装置と通信を行う。この通信部１１７によっても、正距円筒図法による画像のデータを表示装置３０等の外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から全天球カメラ２０の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。

ジャイロセンサ１１９は、全天球カメラ２０の移動に伴う角度の変化（ロール角、ピッチング角、ヨー角）を検出する。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。

加速度センサ１２０は３軸方向の加速度を検出する。検出した加速度に基づいて全天球カメラ２０の姿勢（重力方向に対する角度）を検出する。ジャイロセンサ１１９と加速度センサ１２０は両方を有することで画像補正の精度が向上する。

なお、一眼レフのハードウェア構成は図４と同様であるか又は相違があるとしても本実施形態の説明には支障がないものとする。

<<表示装置のハードウェア構成>>
図５は、表示装置のハードウェア構成図である。表示装置３０は、表示装置全体の動作を制御するＣＰＵ５０１、ＩＰＬ（Initial Program Loader）等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、表示装置用のプログラム等の各種データを記憶するＨＤ（Hard Disk）５０４を有する。また、ＣＰＵ５０１の制御に従ってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７を有する。また、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、ネットワークＮを利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、を有する。また、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する光メディアドライブ５１４、及び、上記各構成要素を図５に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

なお、画像重畳サーバ７０のハードウェア構成は図５と同様であるか又は相違があるとしても本実施形態の説明には支障がないものとする。

＜全天球画像ＣＥの作成＞
図６〜図１０を用いて全天球画像ＣＥについて説明する。図６は、全天球カメラ２０の使用イメージ図である。全天球カメラ２０は、図６に示されているように、ユーザＵが手に持ってユーザＵの周りの被写体を撮像するために用いられる。全天球カメラ２０は、２つの撮像素子の背面同士が対向させられた構造を有しており、それぞれユーザＵの周りの被写体を撮像することで、２つの半球画像を得る。

次に、図７〜図９を用いて、全天球カメラ２０で撮像された画像から全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図７（ａ）は全天球カメラ２０で撮像された半球画像（前側）、図７（ｂ）は全天球カメラ２０で撮像された半球画像（後側）、図７（ｃ）は正距円筒図法による全天球画像を示した図である。図８（ａ）は正距円筒図法による画像で球を被う状態を示した概念図、図８（ｂ）は全天球画像ＣＥを示した図である。

図７（ａ）に示されているように、全天球カメラ２０によって得られた画像は、魚眼レンズによって湾曲した半球画像（前側）となる。また、図７（ｂ）に示されているように、全天球カメラ２０によって得られた画像は、魚眼レンズによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、全天球カメラ２０によってつなぎ合わされ、図７（ｃ）に示されているように、正距円筒図法による画像が作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図８（ａ）に示されているように、正距円筒図法による画像が球面を覆うように貼り付けられ、図８（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒図法による画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)及び３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。全天球画像ＣＥは、静止画であっても動画であってもよい。具体的には図８（ａ）の正距円筒図法による画像から図８（ｂ）の三次元の全天球画像へ変換は図９にて説明される式（１）が利用される。

図９（ａ）は、全天球画像ＣＥを正距円筒図法により示す図であり、図９（ｂ）は正距円筒図法の全天球画像ＣＥが全天球に貼り付けられた全天球画像ＣＥを示す。図９（ａ）の画像から図９（ｂ）の画像への変換が、図１で説明した全天球カメラ２０の撮像時に全天球カメラ２０で行われている処理である。

正距円筒図法の任意の点(λ,φ)に対応する三次元上の点(x,y,z)の座標は、球の半径を1.0とすると下記の式で求めることができる。
Ｘ = cos(φ)*cos(λ)
Ｙ = sin(φ) …（１）
Ｚ = cos(φ)*sin(λ)
このように、正距円筒図法の全天球画像ＣＥから三次元の全天球画像ＣＥが得られる。

本実施形態の平面画像Ｐ１，Ｐ２は平面のまま表示画像３０４と重畳されるため、図９（ｂ）に示すような全天球に変換されることはない。つまり、図１で説明のために示したが、平面画像Ｐ１，Ｐ２が立体球ＣＳに貼り付けられることはない。しかし、ユーザから見ると、図１に示すように、全天球画像ＣＥと同じ中心位置、同じ半径の球体の一部に複数の平面画像Ｐ１，Ｐ２が重畳されたように見える。

なお、図１のように、三次元の全天球画像ＣＥに平面画像Ｐ１，Ｐ２が重畳されてもよい。マッチングにより（位置パラメータＰＰにより）平面画像Ｐが対応する経度と緯度が分かるので式（１）により表示装置３０は全天球に平面画像Ｐを貼り付けられる。この場合、奥行き情報を使った陰面消去法(いわゆるZバッファ法)等は用いず、後優先でレンダリングするとよい。

全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため湾曲しており、人間が見ると違和感を持ってしまう。そこで、表示装置３０は、全天球画像ＣＥの一部の閲覧領域Ｔを湾曲の少ない平面画像Ｐとして表示することで、人間に違和感を与えないように表示する。閲覧領域Ｔは、三次元の仮想空間における座標（Ｘ，Ｙ，Ｚ）によって示される。一方、ディスプレイ５０８は二次元平面なので閲覧領域Ｔのままでは表示装置３０が表示できない。

そこで、３Ｄコンピュータグラフィックの技法を用いて三次元の物体を二次元平面に投影する透視投影変換により、表示装置３０は湾曲の少ない画像を得る。以上のようにして、全天球画像ＣＥの閲覧領域Ｔがディスプレイ５０８に表示される。

図１０は、ユーザＵの視線を説明する図の一例である。全天球画像ＣＥは三次元の座標を有しているので、視線方向は三次元の座標や緯度・経度などの球体の座標を特定する情報で特定される。本実施形態では、閲覧領域Ｔの中心ｃｐを視線方向とする。

ユーザＵはキーボード５１１又はマウス５１２により視線方向を変えることができるが、仮想カメラＩＣが平行移動しないと仮定すると、仮想カメラＩＣは剛体としてロール（Ｚ軸を中心とする回転）、ヨー（Ｙ軸を中心とする回転）、及びピッチ（Ｘ軸を中心とする回転）の３つの回転が可能である。このうちヨーとピッチの回転のいずれが生じても視線方向が変化する（ロールの変化ではカメラのアッパーベクトルが変わるだけで、カメラの視線ベクトルは変化しない）。

例えば、ユーザＵが全天球画像ＣＥを水平方向に回転させるとヨー角が変化し、上下方向に回転させるとピッチ角が変化し、ディスプレイ５０８の中心を軸に全天球画像ＣＥを回転させるとロール角が変化する。本実施形態では、ユーザＵのＷｅｂページに対する操作が、視線方向（ロール角、ヨー角、ピッチ角）等に反映される。どのように反映されるかは表示装置３０が実行するプログラムに予め記述されている。

図１１は、全天球画像ＣＥの閲覧領域Ｔの拡大と縮小を模式的に説明する図の一例である。図１１（ａ）は初期の閲覧領域Ｔを示す。仮想カメラＩＣが立体球ＣＳの中央に存在する場合、閲覧領域Ｔは画角αにより決定される。画角αは、例えば閲覧領域Ｔの対角頂点を立体球ＣＳの中央から臨む角度である。

初期状態の画角αをα_０とする。図１１（ｂ）に示すように画角を小さくすれば（α_１＜α_０）閲覧領域Ｔが狭くなるのでディスプレイ５０８上では画像が拡大され、図１１（ｃ）に示すように、画角を大きくすれば（α_２＞α_０）閲覧領域Ｔが広くなるのでディスプレイ５０８上では画像が縮小される。ユーザＵが全天球画像ＣＥを拡大する操作又は縮小の操作を行うと、表示装置３０は操作量に応じて画角を小さくしたり大きくしたりする。

図１１（ｃ）のように画角が大きくなったとしても、仮想カメラＩＣが中央にある限り、仮想カメラＩＣの後方にある画像を表示装置３０が表示することができない。このため、ユーザＵが図１１（ｃ）の状態から更に縮小する操作を行うと、表示装置３０は仮想カメラＩＣを後方に移動する。図１１（ｄ）では画角α_２は図１１（ｃ）と変わっていないが、仮想カメラＩＣが後方に移動することで、閲覧領域Ｔが更に広くなっている。このため、図１１（ｃ）よりも更に画像を縮小することが可能である。

＜全天球画像ＣＥへの平面画像Ｐの重畳に関する機能＞
図１２〜図１７を用いて、全天球画像ＣＥへの平面画像Ｐの重畳に関する機能について説明する。上記のように、図３（ｂ）の構成を念頭に説明する。

図１２は、デジタルカメラ９、全天球カメラ２０、及び表示装置３０が有する機能をブロック状に示す機能ブロック図の一例である。デジタルカメラ９は平面画像取得部１１を有している。平面画像取得部１１はデジタルカメラ９の撮像機能により実現され、所定の解像度の画素がそれぞれ濃淡を表す画像データ（平面画像Ｐ）を作成する。平面画像Ｐは１つの静止画、複数の静止画、又は動画のいずれでもよい。

全天球カメラ２０は全天球画像取得部１２を有している。全天球画像取得部１２は全天球カメラ２０の撮像機能により実現され、全天球カメラ２０の周囲３６０度の画像データ（全天球画像ＣＥ）を作成する。全天球画像ＣＥは、１つの静止画、複数の静止画、又は動画のいずれでもよい。

表示装置３０は、主に、位置パラメータ作成部８、及び変換表示部７を有している。表示装置３０が有するこれらの機能は、図５に示した表示装置３０のＣＰＵ５０１がＨＤ５０４からＲＡＭ５０３に展開されたプログラムを実行することで実現される機能又は手段である。

位置パラメータ作成部８は、更に全天球画像読込部２１、平面画像読込部２２、位置パラメータ算出部２３、及び位置パラメータ書出部２４を有する。全天球画像読込部２１は、全天球画像取得部１２から全天球画像ＣＥを読み込む。平面画像読込部２２は、平面画像取得部１１から平面画像Ｐを読み込む。読み込むとは、取得する、受信する、記憶媒体から読み出す、又は、入力を受け付けるという意味である。

位置パラメータ算出部２３は、平面画像Ｐと一致する全天球画像ＣＥの一致領域を特定し、一致領域を特定するための位置パラメータＰＰを求める。位置パラメータＰＰの詳細は図１３にて説明される。正距円筒図法により全天球画像ＣＥは歪んだ状態になるため、平面画像Ｐにも同じ変換を施し、歪んだ状態にすることが好ましい。そして、両方の特徴点を抽出しマッチングを行うことで、位置パラメータＰＰを求めることができる。特徴点の検出については、エッジ検出、コーナ検出、SIFT特徴量とSURF特徴量、連続した同一色の中心点など様々な検出方法が知られている。あるいは、全天球画像ＣＥと平面画像Ｐの画素値の差の絶対値の合計又は差の二乗和を１画素ずつずらして算出し、絶対値の合計又は二乗和が最も小さくなった時の平面画像Ｐの位置を一致領域としてもよい。

また、平面画像Ｐをメッシュ状に領域分割してそれぞれで全天球画像ＣＥとマッチングをすれば、レンズ歪等によるずれ補正も加味することができる。

全天球画像ＣＥと平面画像Ｐの対応は一意に定まるので位置パラメータＰＰは、一度、求めるだけでよい。平面画像読込部２２が複数の平面画像Ｐを読み込んだ場合、平面画像Ｐごとに位置パラメータＰＰを算出する。平面画像Ｐ１の位置パラメータＰＰを位置パラメータＰＰ１、平面画像Ｐ２の位置パラメータＰＰを位置パラメータＰＰ２と称する。位置パラメータ書出部２４は位置パラメータＰＰ１，ＰＰ２を位置パラメータ書出部２４に送出する。

変換表示部７は、更に平面画像読込部２５、視線方向画角指示部２６、全天球画像読込部２７、射影方式変換部１（符号は２８）、射影方式変換部２（符号は２９）、画像重畳部３３、位置パラメータ読込部３２、及び画像表示部３１を有する。平面画像読込部２５と全天球画像読込部２７の機能は位置パラメータ作成部８と同様である。また、位置パラメータ読込部３２は位置パラメータ作成部８から位置パラメータＰＰ１，ＰＰ２を取得する。

視線方向画角指示部２６は、ユーザＵが操作した視線方向と画角（拡大・縮小）を受け付ける。視線方向と画角が操作により入力されるため閲覧領域Ｔが定まる。

また、ユーザＵが任意に視線方向と画角（拡大・縮小）を操作するため、射影方式変換された平面画像Ｐの一部のみしか閲覧領域Ｔに入らない場合、又は、射影方式変換された平面画像Ｐが全く閲覧領域Ｔに入らない場合がある。このため、射影方式変換部１は、射影方式変換画像のうち閲覧領域Ｔに含まれている領域を示すマスクデータを生成する。詳細は図１４にて説明される。射影方式変換とは、射影方式を変換することをいう。本実施形態では、一般の射影方式（中心射影：y=f・tanθ）と魚眼レンズ（例えば、等距離射影方式：y = fθ）とを相互に変換する。

射影方式変換部２は、視線方向画角指示部２６が受け付けた視線方向及び画角に対応する閲覧領域Ｔを決定し、読み込まれた全天球画像ＣＥの閲覧領域Ｔに対し画像表示部３１の表示サイズに合わせた透視投影変換を行い、表示画像を作成する。従って、表示画像は二次元平面の画像である。

画像重畳部３３は、マスクデータを用いて表示画像に射影方式変換画像を重畳して重畳画像を生成する。詳細は図１５にて説明される。また、画像表示部３１は重畳画像をディスプレイ５０８に表示する。

＜位置パラメータ＞
図１３は平面画像Ｐの一致領域への射影方式変換及び平面画像Ｐと一致領域とを対応付ける位置パラメータＰＰの一例を示す図である。マッチングによりすでに平面画像Ｐと全天球画像ＣＥの対応は得られているものとする。位置パラメータＰＰは、特徴点が最も一致した時に平面画像Ｐが存在する全天球画像ＣＥの緯度と経度である。

図１３(ａ)は平面画像Ｐを示し、図１３（ｂ）は正距円筒図法の全天球画像ＣＥを示す。図１３（ｂ）には一致領域３０１が示されている。位置パラメータ算出部２３は、平面画像Ｐを格子状に分割して、それぞれ格子の交点部分の座標(x,y)に対応する全天球画像ＣＥの一致領域３０１の点(λ,φ)を位置パラメータＰＰとする。なお、λは経度、φは緯度である。図１３（ｃ）は位置パラメータＰＰの一例を示す。平面画像Ｐの格子の座標と、全天球画像ＣＥの一致領域３０１の緯度と経度が格子ごとに対応付けられている。

＜射影方式変換部１の処理＞
図１４は、射影方式変換部１が作成する射影方式変換画像３０２とマスクデータ３０３を説明する図の一例である。図１４（ａ）は射影方式変換画像３０２を示す。射影方式変換画像３０２は正距円筒図法で表された全天球画像の閲覧領域Ｔと同じサイズの領域を有し、一致領域３０１に射影方式変換後の平面画像Ｐが貼り付けられる。一致領域３０１に平面画像Ｐが射影方式変換されることで、平面画像Ｐは台形歪みの状態になっている。射影方式変換画像３０２のうち平面画像Ｐがない部分はグレーの均一画像３０７である。均一画像３０７は重畳に使用されないのでどのような画素値でもよい。

図１４（ｂ）は図１４（ａ）の平面画像Ｐに対応するマスクデータ３０３を示す。マスクデータ３０３は図１４（ａ）から閲覧領域Ｔに含まれる平面画像Ｐを取り出すためのデータである。マスクデータの白画素の領域は、閲覧領域Ｔかつ平面画像Ｐの領域を示す。従って、マスクデータの白画素の領域は平面画像Ｐの領域以下となる。図１４（ｂ）のマスクデータは、閲覧領域Ｔが平面画像Ｐより大きい場合であるため、図１４（ａ）の例では一致領域３０１がマスクデータ３０３の白画素の領域とほぼ等しくなっている。閲覧領域Ｔが平面画像Ｐと全く重ならない場合、マスクデータ３０３は全面が黒画素になる。閲覧領域Ｔが平面画像Ｐより小さい場合、マスクデータ３０３は白画素のみになる。このようにマスクデータ３０３の白画素と一致領域３０１は常に同じサイズ及び同じ位置になる。

画像重畳部３３は射影方式変換画像３０２とマスクデータ３０３でマスク処理を行う。このマスク処理は、マスクデータ３０３の白画素に対応する画素を射影方式変換画像３０２から取り出す処理である。画像重畳部３３は、射影方式変換画像３０２から白画素の位置の画素値を取り出して、表示画像の射影方式変換画像３０２と同じ位置に重畳する。

なお、マスクデータ３０３の黒画素と白画素の境界は、白画素から黒画素に向けて徐々に白から黒に変化する傾斜が設けられることが好適である。これにより、低解像度の全天球画像ＣＥと高解像度の平面画像Ｐとの境界を目立たなくすることができる。

＜画像重畳部の処理＞
図１５は画像重畳部３３の機能をブロック状に説明する画像重畳部３３の機能ブロック図の一例である。画像重畳部３３は、重畳順判断部３５と重畳処理部３６を有している。

重畳順判断部３５は、複数の平面画像Ｐ１，Ｐ２のそれぞれの位置パラメータＰＰ１，ＰＰ２を用いて重畳順を判断する。位置パラメータＰＰ１，ＰＰ２は平面画像Ｐ１、平面画像Ｐ２の正距円筒図法における一致領域３０１を示すので、一致領域３０１の対角線の長さ（又は幅と高さでもよい）を比較することで画角の大小を判断できる。重畳順判断部３５は画角が狭い方の平面画像Ｐが視線側に重畳されるように重畳順を決定する。つまり、画角が大きい平面画像Ｐが先に重畳される重畳順を決定する。複数の平面画像Ｐが全く重ならない場合には重畳順を決定する必要はない。また、一部のみが重なる場合は、重畳順を決定してもよいししなくてもよいが、画角が大きい方を先に重畳する重畳順を決定することが好適である。

重なるかどうかは、２つの位置パラメータＰＰを比較することで判断される。一方の位置パラメータＰＰの４つの頂点のうち１つでも他方の位置パラメータＰＰの４つの頂点の内側に入っている場合は少なくとも一部が重なっていると判断される。更に、一方の位置パラメータＰＰの４つの頂点の全てが他方の位置パラメータＰＰの４つの頂点の内側に入っている場合は全体が重なっていると判断される。

重畳処理部３６は、重畳順に従ってマスクデータ３０３を用いて表示画像に射影方式変換画像３０２−１、及び射影方式変換画像３０２−２を重畳する。射影方式変換画像３０２−１は平面画像Ｐ１が射影方式変換された画像であり、射影方式変換画像３０２−２は平面画像Ｐ２が射影方式変換された画像である。

＜画像の重畳＞
図１６を用いて画像の重畳について説明する。図１６は、全天球画像ＣＥへの平面画像Ｐ１の重畳を模式的に説明する図の一例である。図１６に示すように、射影方式変換部２が閲覧領域Ｔを透視投影変換した表示画像３０４、射影方式変換画像３０２−１、及びマスクデータ３０３が画像重畳部３３に入力される。

まず、重畳処理部３６はより画角が広い射影方式変換画像３０２−１を表示画像３０４に重畳する。マスクデータ３０３を使ったマスク処理により、マスクデータ３０３の白画素の画素位置の射影方式変換画像３０２−１を取り出して表示画像３０４に上書きする（この場合は、この時点で表示画像３０４の画素が損失される。）。このようにして重畳画像３０５には、低解像度の全天球画像ＣＥに高解像度の平面画像Ｐ１が配置される。図１６の重畳画像３０５には平面画像Ｐ１が矩形で明示されているが、これは説明のためのものであり、後述する枠４０を表示しなければ実際には矩形は表示されない。

あるいは、透明なレイヤを用意して、マスクデータ３０３の白画素の画素位置の射影方式変換画像３０２−１を取り出して透明なレイヤに配置してもよい。この場合、表示画像３０４に損失はなく、例えば閲覧者が平面画像Ｐ１の表示と非表示を切り替えることができる。

次に、重畳処理部３６はより画角が狭い射影方式変換画像３０２−２を重畳画像３０５に重畳する。図１７は、射影方式変換画像３０２−２の重畳を模式的に説明する図の一例である。図１６との違いは、表示画像３０４が重畳画像３０５に置き換わる点である。重畳方法は射影方式変換画像３０２−１の場合と同じでよい。重畳処理部３６はマスク処理により射影方式変換画像３０２−２から画素を取りだし、重畳画像３０５に上書きする。射影方式変換画像３０２−２に対しても透明なレイヤを用いることができる。この結果、図１７の重畳画像３０５には、低解像度の全天球画像ＣＥに平面画像Ｐ１が重畳され、更に平面画像Ｐ２が重畳される。

従って、画角の広い平面画像Ｐ１から先に全天球画像ＣＥに重畳することができる。換言すると、画角の狭い平面画像Ｐ２が視線側になるように全天球画像ＣＥに重畳することができる。

なお、本実施形態では重畳の方法にも特徴がある。説明したように表示装置３０は全天球画像ＣＥの透視投影変換と平面画像Ｐの重畳を並行に行う。仮に、全天球画像ＣＥに平面画像Ｐを貼り付けてから透視投影変換を行うと、全天球画像ＣＥの解像度を平面画像Ｐと同じにする必要があり、データ量が大きくなってしまう。本実施形態では表示画像３０４が作成されてから平面画像Ｐが重畳されているので、データ量が大きくなることを抑制できる。

表示装置３０は、全天球画像ＣＥと平面画像Ｐの重畳を、ディスプレイ５０８の表示サイクル（例えば、１秒間に３０〜６０回）で繰り返す。こうすることで、表示装置３０は平面画像Ｐ１，Ｐ２と全天球画像ＣＥを１つずつ保持しておき、ユーザの操作に応じた視点でリアルタイムに重畳画像３０５を生成できる。

＜平面画像Ｐ１，Ｐ２の関係＞
図１８は、平面画像Ｐ１，Ｐ２の関係を説明する図の一例である。図１８（ａ）は平面画像Ｐ１を、図１８（ｂ）は平面画像Ｐ２をそれぞれ示す。平面画像Ｐ１，Ｐ２は同じ画素数なので画像のサイズは同じである。一方、平面画像Ｐ２の焦点距離の方が平面画像Ｐ１の焦点距離よりも長いので、平面画像Ｐ２は平面画像Ｐ１よりも拡大して写っている。なお、焦点距離が異なることは、画角が異なる、又は倍率が異なると称してもよい。

これらの平面画像Ｐ１，Ｐ２が全天球画像ＣＥとマッチングされると、平面画像Ｐ２の方が平面画像Ｐ１よりも狭い画角で一致する。このため、図１８（ｃ）に示すように、平面画像Ｐ２は平面画像Ｐ１よりも画角が狭いと判断され、平面画像Ｐ１→平面画像Ｐ２の順に重畳される。

＜重畳手順＞
図１９は、表示装置３０が全天球画像ＣＥに平面画像Ｐを画角の大きい順に重畳する手順を示すフローチャート図の一例である。図１９の処理は、ユーザが重畳を指示すること等によりスタートされる。ステップＳ１０〜Ｓ３０とＳ５０〜Ｓ８０は並行的に実行されるが、順番に実行されてもよい。

平面画像読込部２２は平面画像Ｐを読み込む（Ｓ１０）。全天球画像読込部２１は全天球画像ＣＥを読み込む（Ｓ２０）。そして、位置パラメータ算出部２３は位置パラメータＰＰを算出する（Ｓ３０）。

位置パラメータ算出部２３は全ての平面画像Ｐの位置パラメータＰＰを算出するまで、ステップＳ３０の処理を繰り返す（Ｓ４０）。

平面画像読込部２５は平面画像Ｐを読み込む（Ｓ５０）。重畳順判断部３５は各平面画像Ｐの位置パラメータＰＰ又は焦点距離を比較して、射影方式変換画像の重畳順を画角の大きい順に決定する（Ｓ６０）。位置パラメータＰＰで比較することで全天球画像における画角を比較できる。焦点距離は例えばExifなどのメタデータに含まれているが、焦点距離が大きいほど画角が小さいので重畳順を決定できる。仮想カメラの位置が変化しても、平面画像同士の相対的な画角の大きさは変更がない。なお、平面画像Ｐが１つしかない場合は、重畳順を決定しない。

全天球画像読込部２７は全天球画像ＣＥを読み込む（Ｓ７０）。また、視線方向画角指示部２６は視線方向と画角を受け付ける（Ｓ８０）。ステップＳ８０は随時行われる。

次に、射影方式変換部２は、閲覧領域Ｔに応じて全天球画像ＣＥを透視投影変換し、表示画像３０４を生成する（Ｓ９０）。

次に、重畳順判断部３５は閲覧領域Ｔに含まれる１つ以上の各平面画像Ｐがあるか否かを判断する（Ｓ１００）。ステップＳ１００の判断がＮｏの場合、平面画像Ｐは重畳されないので処理は終了する。

ステップＳ１００の判断がＹｅｓの場合、重畳順判断部３５は同じ画角でかつ重なっている平面画像があるか否かを判断する（Ｓ１０１）。ステップＳ１０１の判断がＮｏの場合、処理はステップＳ１１０に進む。

ステップＳ１０１の判断がＹｅｓの場合、重畳順判断部３５は同じ画角同士の平面画像の順番を、図２０に示すように、閲覧領域Ｔの中心ｃｐからの距離が遠い順に並べ替える（Ｓ１０２）。つまり、閲覧領域Ｔの中心ｃｐからの距離が遠い平面画像が先に重畳される。こうすることで、同じ画角の平面画像が重なっている場合は、閲覧領域Ｔの中心ｃｐからの距離が近いものを手前に表示できる。

次に、射影方式変換部１は位置パラメータＰＰで平面画像Ｐに射影方式変換を施し、射影方式変換画像３０２を生成する（Ｓ１１０）。

次に、射影方式変換部１は視線方向と画角で定まる閲覧領域Ｔ及び射影方式変換された平面画像Ｐ（一致領域）に応じてマスクデータ３０３を生成する（Ｓ１２０）。

次に、画像重畳部３３はマスクデータを用いて射影方式変換画像３０２と表示画像３０４を重畳し、重畳画像３０５を生成する（Ｓ１３０）。二つめ以降の射影方式変換画像３０２については、重畳画像３０５に射影方式変換画像３０２を重畳する。

画像重畳部３３は全ての平面画像Ｐの重畳が終了したか否かを判断し（Ｓ１４０）、終了していない場合は、ステップＳ１１０以降の処理を繰り返す（Ｓ１４０のＮｏ）。

全ての平面画像Ｐの重畳が終了すると（Ｓ１４０のＹｅｓ）、画像表示部３１は重畳画像３０５を表示する（Ｓ１５０）。表示装置３０は図１９のステップＳ８０〜Ｓ１５０の処理を繰り返す。

図２０は、同じ画角の平面画像Ｐ１，Ｐ２が重なった場合の閲覧領域Ｔの中心ｃｐと平面画像Ｐ１，Ｐ２との距離を説明する図である。まず、平面画像Ｐ１とＰ２は閲覧領域Ｔの領域内で重なっている。この場合、閲覧領域の中心ｃｐに近い平面画像を閲覧者が注目していると考えられる。そこで、重畳順判断部３５は、閲覧領域の中心ｃｐから近い各平面画像の中心Ｏまでの距離を比較し、中心ｃｐに近い平面画像を手前に重畳する。

閲覧領域Ｔの中心ｃｐと平面画像Ｐ１の中心Ｏとの距離Ｌ１と閲覧領域Ｔの中心ｃｐと平面画像Ｐ２の中心Ｏとの距離Ｌ２とを比較すると、距離Ｌ１の方が短いので、重畳順判断部３５は平面画像Ｐ１を平面画像Ｐ２よりも手前に重畳すると判断する。

＜全天球画像の表示の一例＞
図２１は、閲覧される平面画像Ｐ１，Ｐ２を説明する図の一例である。図２１（ａ）は平面画像Ｐ１、Ｐ２が重畳された全天球画像ＣＥを示す。なお、図２１（ａ）では平面画像Ｐ１、Ｐ２が重畳された部分だけを示している。

閲覧者が表示装置３０を操作して平面画像Ｐ１をディスプレイ５０８に表示させると、図２１（ｂ）に示すようにディスプレイ５０８には平面画像Ｐ１が拡大して表示される。閲覧者が更に全天球画像ＣＥを拡大させると、図２１（ｃ）に示すようにディスプレイ５０８には平面画像Ｐ２が拡大して表示される。

平面画像Ｐ１，Ｐ２はいずれも高解像度なので、閲覧者は拡大しても高解像度の画像を閲覧できる。

＜焦点距離情報と枠の表示例＞
図２１のように重畳された平面画像を表示するだけではどのような平面画像が重畳されているかを閲覧者が気づきにくい。そこで、平面画像Ｐの焦点距離情報を平面画像Ｐの近くに表示することが好適である。

図２２は、焦点距離情報と共にディスプレイ５０８に表示された平面画像Ｐの一例を示す図である。図２２では、３つの平面画像Ｐ１〜Ｐ３が重畳されており、それぞれの焦点距離は７０ｍｍ、１００ｍｍ、２００ｍｍである。表示装置３０は平面画像Ｐ１〜Ｐ３を囲む枠４０と共に焦点距離情報３１１を表示する。これにより、閲覧者は、焦点距離がいくつの平面画像Ｐが全天球画像ＣＥに重畳されているかを把握できる。また、平面画像Ｐの数、サイズ及び位置を把握できる。

なお、焦点距離は平面画像Ｐのメタデータに記載されている。メタデータは例えばＥｘｉｆフォーマットで平面画像Ｐに添付されており、画像重畳部３３はメタデータから焦点距離を読み出す。

＜焦点距離情報と枠の表示方法＞
枠４０は、平面画像Ｐの射影方式変換と同様に表示することができる。射影方式変換部１が平面画像Ｐの外縁の矩形を射影方式変換すれば枠４０が得られる。射影方式変換部１は、位置パラメータＰＰで平面画像Ｐを射影方式変換する場合と同様に外縁の矩形を射影方式変換する。

図２３は、射影方式変換により得られた枠４０を模式的に説明する図の一例である。射影方式変換部１は、正距円筒図法の全天球画像ＣＥと同じサイズ（画素数）の透明レイヤ３０８を用意しておく。このレイヤに平面画像Ｐの外縁の矩形３２１を射影方式変換する。なお、射影方式変換画像３０２−１が、位置パラメータＰＰでｘ＝０．５、−０．５又はｙ＝０．５、−０．５の値を持つ格子の緯度と経度に枠４０となる点線を描画してもよい。

図２４は、枠４０の重畳を模式的に説明する図の一例である。表示画像３０４、射影方式変換画像３０２、マスクデータ３０３に加え、透明レイヤ３０８が画像重畳部３３に入力される。表示画像３０４への射影方式変換画像３０２の重畳方法は図１６で説明した。

重畳処理部３６はマスクデータ３０３を使って、透明レイヤ３０８からマスクデータ３０３の白画素に対応する領域を取り出す。そして、取り出した透明レイヤ３０８を重畳画像３０５に重ね合わせることで、平面画像Ｐの外縁を表す枠４０を表示する。

また、重畳処理部３６は更に、枠４０の上辺に焦点距離情報を配置する。これにより、枠４０と焦点距離情報３１１が平面画像Ｐの近くに表示される。焦点距離情報３１１は右辺、左辺又は下辺に表示されてもよい。また、マウスカーソルが平面画像Ｐ１〜Ｐ３と重なった場合に、重なった平面画像Ｐの焦点距離情報３１１が表示されてもよい。

なお、例えば閲覧者の操作によって、枠４０の表示と非表示が切り替えられてもよい。この場合、重畳処理部３６は透明なレイヤの表示と非表示をユーザの操作に応じて切り替える。

＜重畳手順＞
図２５は、表示装置３０が全天球画像ＣＥに平面画像Ｐを画角の大きい順に重畳する手順を示すフローチャート図の一例である。図２５の説明では主に図１９との相違を説明する。ステップＳ１０〜Ｓ１２０の処理は図１９と同様である。

ステップＳ１２０に続いて、射影方式変換部１は、位置パラメータＰＰで平面画像Ｐの外縁の矩形３２１を透明レイヤ３０８に射影方式変換する（Ｓ１２２）。これにより、透明レイヤ３０８に枠４０が得られる。

次に、重畳処理部３６は重畳画像３０５を生成し（Ｓ１３０）、マスクデータ３０３を用いて透明レイヤ３０８から枠４０を抽出する（Ｓ１３２）。また、重畳処理部３６は焦点距離情報３１１を描画する。

以上のようにして、表示装置３０は全天球画像ＣＥに平面画像Ｐ１，Ｐ２を重畳すると共に、焦点距離情報３１１を表示できる。

＜段階的なマッチング処理＞
位置パラメータ算出部２３は、平面画像Ｐ１と全天球画像ＣＥをマッチングし、平面画像Ｐ２と全天球画像ＣＥをマッチングすると説明した。しかし、平面画像Ｐ１及び平面画像Ｐ２と全天球画像ＣＥとは焦点距離、レンズ、画素数などの撮像条件が異なるため、平面画像Ｐ１が全天球画像ＣＥとマッチングし、平面画像Ｐ２が全天球画像ＣＥとマッチングしても、平面画像Ｐ１と平面画像Ｐ２がマッチングしない場合がある。この場合、閲覧者が全天球画像ＣＥを閲覧すると平面画像Ｐ１に対し平面画像Ｐ２がずれているように見えるおそれがある。

そこで、平面画像Ｐ２のマッチングは平面画像Ｐ１に対して行うことが好適である。位置パラメータ算出部２３は上記と同様に位置パラメータＰＰ１，ＰＰ２を算出して、全体が重なるかどうかを判断する。一部のみが重なる場合は、ずれが目立たないのとマッチングが困難になるため、平面画像Ｐ同士のマッチングは行わなくてよい。しかし、一部のみが重なる場合でも、マッチングすることは可能である。

平面画像Ｐ１，Ｐ２の全体が重なる場合、位置パラメータ算出部２３は画角の大きい順を判断する。位置パラメータ算出部２３は、画角の大きい順（重畳順）に平面画像Ｐ１と平面画像Ｐ２のマッチングを行い、平面画像Ｐ１に対する平面画像Ｐ２の位置パラメータ（区別するため位置パラメータＰＰ１２とする）を算出する。

＜位置パラメータＰｉｊについて＞
位置パラメータＰＰｉｊは、平面画像Ｐｉを利用した平面画像Ｐｊの位置パラメータである（ｊ＝ｉ＋１）。画角が大きい順に平面画像Ｐが並べられた場合、１つ前の平面画像Ｐｉと次に画角が小さい平面画像Ｐｊの位置パラメータＰＰが位置パラメータＰＰｉｊである。位置パラメータＰＰｉｊは平面画像Ｐｉにおいて平面画像Ｐｊが一致した位置により、位置パラメータＰＰ１から求められる。

図２６は位置パラメータＰＰｉｊを説明する図の一例である。最も画角が大きい平面画像Ｐ１はマッチングにより、位置パラメータＰＰ１が分かっており、平面画像Ｐ１の座標(x,y)と全天球画像ＣＥの一致領域３０１の点(λ,φ)が対応付けられている。

このため、平面画像Ｐ１とＰ２をマッチングすると、平面画像Ｐ１に対する平面画像Ｐ２の相対位置が分かる。従って、相対位置で特定される平面画像Ｐ２の座標(x,y)と全天球画像ＣＥの点(λ,φ)を対応付けることで位置パラメータＰＰ１２が得られる。

射影方式変換部１は、平面画像Ｐ１については上記のように位置パラメータＰＰ１で射影方式変換を行えばよい。平面画像Ｐ２については、位置パラメータＰＰ１２を使って射影方式変換する。従って、平面画像Ｐ２の射影方式変換に使用される位置パラメータがＰ２でなくＰ１２になるだけで、重畳方法は図１７と同様である。

このように、位置パラメータ算出部２３が、段階的に平面画像Ｐをマッチングすることで、閲覧者が全天球画像ＣＥを閲覧した際に、平面画像Ｐ１に対し平面画像Ｐ２がずれているように見えることを抑制できる。

＜重畳手順＞
図２７は、表示装置３０が全天球画像ＣＥに平面画像Ｐを画角の大きい順に重畳する手順を示すフローチャート図の一例である。図２７の説明では主に図１９との相違を説明する。ステップＳ１０〜Ｓ４０の処理は図１９と同様である。

ステップＳ４０に続いて、位置パラメータ算出部２３は位置パラメータＰＰを参照して、少なくとも一部が重なる平面画像Ｐのペアを検出する（Ｓ４２）。そして、ペアとなった２つの平面画像Ｐについて位置パラメータＰＰｉｊを算出する（Ｓ４４）。平面画像Ｐのペアは、画角が小さい方の平面画像Ｐが次のペアの大きい方になる。例えば、重なる平面画像Ｐが４つある場合、平面画像Ｐ１と平面画像Ｐ２がペアになり、平面画像Ｐ２と平面画像Ｐ３がペアになり、平面画像Ｐ３と平面画像Ｐ４がペアになる。位置パラメータＰＰ１２は平面画像Ｐ１と平面画像Ｐ２のマッチングで求められ、位置パラメータＰＰ２３は平面画像Ｐ２と平面画像Ｐ３のマッチングで求められ、位置パラメータＰＰ３４は平面画像Ｐ３と平面画像Ｐ４のマッチングで求められる。

また、ステップＳ１１０の処理では、平面画像Ｐ１に対しては位置パラメータＰＰ１で射影方式変換部１が射影方式変換し、二番目以降に画角が大きい平面画像Ｐ２は位置パラメータＰＰ１２を用いて図１７で説明したように射影方式変換する。平面画像Ｐ３は位置パラメータＰＰ２３を用いて図１７で説明したように射影方式変換する。平面画像Ｐ４は位置パラメータＰＰ３４を用いて図１７で説明したように射影方式変換する。

以上のようにして、表示装置３０は全天球画像に平面画像Ｐ１，Ｐ２を重畳すると共に、ずれが少ないように平面画像Ｐ２を重畳できる。

＜まとめ＞
以上のように、本実施形態の画像処理システム１００は、全天球画像ＣＥに平面画像Ｐを重畳することで、画質が低い全天球画像ＣＥを平面画像Ｐで補うことができる。複数の平面画像Ｐを画角が大きい順に重畳するので、閲覧者が画角の小さい平面画像Ｐを閲覧できる。閲覧者が全天球画像ＣＥを拡大すると、高画質の平面画像Ｐを次々に拡大して閲覧できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、表示装置３０は画角の異なる平面画像を自動的にＬＣＤ２０６の全面に表示してもよい。ユーザが全天球画像ＣＥを拡大し、最も画角が大きい平面画像Ｐの全天球画像ＣＥに対する比率が所定以上になると、表示装置は所定時間ごとに平面画像Ｐを自動で拡大する。

また、全天球画像の表示はブラウザソフトウェアで行ってもよいし、全天球画像ＣＥを表示するためのアプリケーションソフトで行ってもよい。

また、本実施形態の全天球画像は閲覧領域Ｔに表示しきない画角の画像データであればよい。例えば、水平方向にだけ１８０度〜３６０度の画角を有する画像でもよい。

また、図１２、図１５などの構成例は、全天球カメラ２０、表示装置３０、及びデジタルカメラ９による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。全天球カメラ２０、表示装置３０、及びデジタルカメラ９の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

なお、重畳順判断部３５は重畳順決定手段の一例であり、重畳処理部３６は重畳手段の一例であり、位置パラメータ算出部２３は位置決定手段の一例である。

７ 変換表示部
８ 位置パラメータ作成部
９ デジタルカメラ
２０ 全天球カメラ
２３ 位置パラメータ算出部
２４ 位置パラメータ書出部
２６ 視線方向画角指示部
３０ 表示装置
３２ 画像重畳部
３３ 画像重畳部
３５ 重畳順判断部
３６ 重畳処理部
１００ 画像処理システム

特開２０１６−９６４８７号公報

Claims (12)

1. 第一の画像よりも高画質な第二の画像が重畳された前記第一の画像を表示する表示装置であって、
   複数の前記第二の画像の大きさの順に重畳順を決定する重畳順決定手段と、
   前記重畳順決定手段が決定した重畳順で、複数の前記第二の画像のうち大きい方の前記第二の画像ほど前記第一の画像に近い側に重畳する重畳手段と、
   を有する表示装置。
2. 前記重畳順決定手段は、複数の前記第二の画像の画角を比較して、画角が大きい順に重畳順を決定し、
   前記重畳手段は、前記重畳順に複数の前記第二の画像を重畳する請求項１に記載の表示装置。
3. 前記第一の画像に対し複数の前記第二の画像をマッチングして重畳する位置を決定する位置決定手段を有し、
   前記重畳順決定手段は、前記第一の画像にマッチングされた複数の前記第二の画像を所定の視点から見た際の画角を比較して、画角が大きい順に重畳順を決定する請求項２に記載の表示装置。
4. 前記第一の画像は撮像装置の周囲３６０度が撮像された全天球画像であり、前記第二の画像は前記第一の画像の一部の平面画像であり、
   前記位置決定手段は、前記全天球画像に対し複数の前記平面画像をマッチングして重畳する位置を決定し、
   前記重畳順決定手段は、前記全天球画像にマッチングされた複数の前記平面画像を所定の視点から見た際の画角を比較して、画角が大きい順に重畳順を決定する請求項３に記載の表示装置。
5. 前記位置決定手段は、前記第一の画像と前記第二の画像のマッチングにより、前記第一の画像において前記第二の画像が一致する一致領域を算出し、
   前記重畳手段は、前記第二の画像を前記一致領域に射影方式変換することで前記第一の画像に前記第二の画像を重畳する請求項３又は４に記載の表示装置。
6. 前記重畳手段は、前記第二の画像を囲む枠を前記一致領域に射影方式変換して前記第二の画像と共に表示する請求項５に記載の表示装置。
7. 前記位置決定手段は、複数の前記第二の画像から重なる前記第二の画像のペアを検出し、
   前記ペアのうち画角の大きい一方の前記第二の画像と他方の前記第二の画像のマッチングを行い、一方の前記第二の画像に対する他方の前記第二の画像の相対位置に対応する前記一致領域を特定し、
   前記重畳手段は、画角が最も大きい前記第二の画像を前記一致領域に射影方式変換して重畳すると共に、
   二番目以降に画角が大きい前記第二の画像を前記相対位置で特定した前記一致領域に射影方式変換することで重畳する請求項５に記載の表示装置。
8. 前記重畳手段は、前記第二の画像の画角に関する情報を前記第二の画像と共に表示する請求項１〜７のいずれか１項に記載の表示装置。
9. 前記第二の画像の画角に関する情報は前記第二の画像の焦点距離情報である請求項８に記載の表示装置。
10. 前記重畳順決定手段は、複数の前記第二の画像の画角が同じでかつ重なっている場合、
    前記第一の画像が前記表示装置にて閲覧される閲覧領域の中心と、前記第二の画像の中心との距離に基づいて複数の前記第二の画像の重畳順を決定する請求項１に記載の表示装置。
11. 第一の画像よりも高画質な第二の画像が重畳された前記第一の画像を表示する表示装置を、
    複数の前記第二の画像の大きさの順に重畳順を決定する重畳順決定手段と、
    前記重畳順決定手段が決定した重畳順で、複数の前記第二の画像のうち大きい方の前記第二の画像ほど前記第一の画像に近い側に重畳する重畳手段、
    として機能させるためのプログラム。
12. 第一の画像よりも高画質な第二の画像が重畳された前記第一の画像を表示する表示装置が行う表示方法であって、
    重畳順決定手段が、複数の前記第二の画像の大きさの順に重畳順を決定するステップと、
    重畳手段が、前記重畳順決定手段が決定した重畳順で、複数の前記第二の画像のうち大きい方の前記第二の画像ほど前記第一の画像に近い側に重畳するステップと、
    を有する表示方法。