JP2015046171A - 画像を生成する装置および方法 - Google Patents

Abstract

【課題】 画像を生成する装置および方法を提供すること。【解決手段】本画像処理システム１００は、出力範囲を規定する入力値を受け付ける受付手段２５８と、対象画像を三次元形状に貼り付けた三次元モデルを生成する生成手段（２６０，２６６）と、入力値に基づき、視点の位置および視野角を決定する決定手段（２６０，２６４）と、視点から三次元モデルを射影する射影手段（２６０，２６８）とを含む。上記決定手段（２６０，２６４）は、入力値が、第１の範囲にある場合は、視野角を優先的に変化させることで対象画像の視野内に入る範囲を変化させ、入力値が、第１の範囲より広視野側にある第２の範囲にある場合は、視点の位置を優先的に変化させることで視野内に入る範囲を変化させる。【選択図】 図２

Description

本発明は、画像処理技術に関し、より詳細には、画像を生成する装置および方法に関する。

従来、カメラなどにより撮影された画像を平面ディスプレイ上で表示するシステムとして、パノラマ画像ビューワが知られている。パノラマ画像ビューワは、撮影方向が異なり、かつ一部被写体を重複して撮影した複数枚の画像をつなぎ合わせ、つなぎ合わせた合成画像をディスプレイ上に表示するシステムである。

従来のパノラマ画像ビューワは、つなぎ合わせたパノラマ画像について、パン(視野の左右移動)、チルト(視野の上下移動)、ズーム(拡大縮小)といった各種の表示範囲変更操作を可能とする機能を備えている。パノラマ画像ビューワは、円筒の側面上または球面上に貼り付けられた画像を円筒もしくは球の重心から見た場合の画像を平面上に射影して表示させる手法を利用することが多い。この場合、平面ディスプレイ上には、ユーザによって設定された、パン、チルト、ズームの各設定値に対応して、円筒の側面上もしくは球面上に沿って焦点を形成した三次元面上の画像を平面画像に射影して表示が行われる。

しかしながら、従来技術のパノラマ画像ビューワでは、表示範囲変更操作のうちの特にズーム機能によって一定以上に視野が広くなった場合に、視野の端部で画像に違和感を生じさせたり、歪みを感じさせてしまうことがあるという問題があった。

パノラマ画像のような広画角な画像を違和感なく表示することを目的とした技術として、非特許文献１が知られている。非特許文献１は、パノラマ画像を求められる視野で表示するビューワを開示する。非特許文献１のビューワは、狭視野では、透視投影を行い、広視野では、円筒投影または球面投影を行うように、射影方式を連続的に調整している。

しかしながら、上記非特許文献１の従来技術は、ズームに応じて射影方式を切り替えているため、処理が複雑になり、リアルタイム処理を実現するためには、高い演算性能を必要とする。一方で、近年、パノラマ画像ビューワは、パーソナル・コンピュータのみならず、スマートフォン端末、タブレット端末など、ＣＰＵ（Central Processing Unit）の演算能力が比較的低い情報端末上で実行されることも多くなっている。このような低演算能力の情報端末では、上記非特許文献１のような複雑な処理では、例えば３０ｆｐｓ（Frame per Second）程度のリアルタイム表示を行うことが困難になる。

近年の情報端末は、ＣＰＵに加えて、グラフィックス演算を担当するＧＰＵ（Graphics Processing Unit）を搭載するものも多い。ＧＰＵは、典型的には、ＯｐｅｎＧＬなどのＡＰＩ（Application Programming Interface）に対応した演算機能を有し、高速な画像処理演算を実現可能としている。しなしながら、スマートフォンなどが備えるＧＰＵは、ＯｐｅｎＧＬのサブセット版に対応するものであり、比較的単純なモデルでの演算を余儀なくされる。

上述した背景から、演算能力に制約のあるような情報端末でも、パノラマ画像表示する際に、広画角領域での表示において、上下左右の端部の被写体が引き伸ばされることによる違和感を低減しつつ、高速表示が可能な技術の開発が望まれていた。

本発明は、上記従来技術の不充分な点に鑑みてなされたものであり、本発明は、画像表示する際に、広視野領域での表示において、上下左右の端部の被写体が引き伸ばされることによる違和感を低減しつつ高速表示を可能とする、演算能力に対する要件が緩和された装置および方法を提供することを目的とする。

本発明では、上記課題を解決するために、下記特徴を有する装置を提供する。本装置は、画像を生成し、当該画像をディスプレイに入力するプロセッサを備え、上記プロセッサは、上記画像について視野角を変化させた画像を生成する処理と、上記画像について視点の位置を変化させた画像を生成する処理と、を実行することを特徴とする。

上記構成によれば、画像表示する際に、広視野側の領域での表示において、上下左右の端部の被写体が引き伸ばされることによる違和感を低減しつつ高速表示を行う際の、演算能力に対する要件を緩和することができる。

本実施形態による全天球画像表示システムを示す概略図。 本実施形態における全天球画像表示システムにおける全天球画像出力処理に関する機能ブロック図。 全天球画像出力処理における画像データフロー図。 魚眼レンズで採用される射影方式を例示する図。 本実施形態で用いられる全天球画像フォーマットの画像データのデータ構造を示す図。 三次元グラフィックス表示で行われる透視投影（Perspective Projection）を説明する図。 本実施形態の画像処理装置が実行する全天球画像表示処理を示すフローチャート。 全天球画像を所定範囲で表示する画像ビューワ画面を例示する図。 本実施形態における画像処理装置上の平面画像生成部の機能ブロック図。 モデル座標系と、カメラの位置（ｄ）および視野角（Θ）と、画角（Φ）との関係を説明する図。 ズーム指定値に応じてどのように画像生成パラメータを決定するかを説明する図（１／２）。 ズーム指定値に応じてどのように画像生成パラメータを決定するかを説明する図（２／２）。 本実施形態における画像処理装置のハードウェア構成図。

以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、説明する実施形態では、画像処理システムとして、全天球撮像装置と、該全天球撮像装置により撮像された画像を受け取り、ディスプレイ装置等に出力するための出力画像を生成する画像処理装置とを含む全天球画像表示システムを一例に説明する。

図１は、本実施形態による全天球画像表示システム１００の概略構成を説明する図である。図１に示す全天球画像表示システム１００は、全天球を撮像する全天球撮像装置１１０と、スマートフォン１２０と、タブレット端末１２２と、パーソナル・コンピュータ１２４とを含み構成されている。スマートフォン１２０、タブレット端末１２２およびパーソナル・コンピュータ１２４は、それぞれ、全天球撮像装置１１０で撮像された画像をディスプレイ等に表示する画像ビューワ機能を備えた、本実施形態における画像処理装置を構成する。

図１に示す実施形態において、全天球撮像装置１１０と、画像処理装置１２０〜１２４とは、特に限定されるものではないが、無線ＬＡＮ（Local Area Network）、ワイヤレスＵＳＢ（Universal Serial Bus）またはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線接続により接続されている。全天球撮像装置１１０で撮像された所定のフォーマットの画像は、無線通信を介して、画像処理装置１２０〜１２４に送信され、所定の画像処理が施されて、画像処理装置１２０〜１２４が備えるディスプレイ装置上に表示される。なお、上記接続形態は、一例であり、有線ＬＡＮや有線ＵＳＢなどにより有線接続されていてもよい。

説明する実施形態において、全天球撮像装置１１０は、それぞれ結像光学系および固体撮像素子から構成される２つの撮像光学系を備え、撮像光学系毎に各方向から撮影し撮像画像を生成する。結像光学系は、それぞれ、例えば６群７枚で魚眼レンズとして構成することができる。上記魚眼レンズは、１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の全画角を有し、より好適には、１９０度以上の全画角を有する。なお、説明する実施形態では、魚眼レンズは、広角レンズや、超広角レンズと呼ばれるものを含むものとする。

全天球撮像装置１１０は、複数の固体撮像素子でそれぞれ撮像された撮像画像をつなぎ合わせて合成し、立体角４πラジアンの画像（以下「全天球画像」と参照する。）を生成する。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。上述したように、魚眼レンズが１８０度を超える全画角を有するため、各撮像光学系で撮像した撮影画像において、１８０度を超えた部分で撮影範囲が重複する。画像をつなぎ合わせる際には、この重複領域が同一像を表す基準データとして参照されて、全天球画像が生成される。

ここで、説明する実施形態では、立体角４πラジアンの全天球画像を生成するものとしているが、他の実施形態では、水平面のみ３６０度を撮影した、いわゆるパノラマ画像であってもよい。また、説明する実施形態では、２つの撮像光学系を含み構成されるものとして説明するが、撮像光学系の数は、特に限定されるものではない。他の実施形態では、全天球撮像装置１１０は、３つ以上の魚眼レンズを光学系に含む撮像体を備えるとともに、３つ以上の魚眼レンズで撮像された複数の撮像画像に基づいて全天球画像を生成する機能を備えていてもよい。さらに他の実施形態では、全天球撮像装置１１０は、単一の魚眼レンズを光学系に含む撮像体を備え、単一の魚眼レンズで異なる方位で撮像された複数の撮像画像に基づいて全天球画像を生成する機能を備えていてもよい。

生成された全天球画像は、所定のフォーマットで、通信により外部の画像処理装置１２０〜１２４に送信され、あるいはＳＤ（登録商標）カード、コンパクトフラッシュ（登録商標）などの外部記憶媒体などに出力される。

上記画像処理装置１２０〜１２４は、接続を介して全天球画像を受信し、または、全天球画像が記録された外部記録媒体を経由して全天球画像を取得し、一旦自身の記録装置上に全天球画像を保存する。上記画像処理装置１２０〜１２４は、取得された全天球画像から、自身が備えるディスプレイ、自身に接続されるプロジェクタなどの平面表示デバイスに表示出力するための出力画像を生成し、平面表示デバイスから出力画像を表示させることができる。上記画像処理装置１２０〜１２４は、さらに、生成された出力画像を、自身に接続された画像形成装置から紙媒体へ印刷出力することもできる。全天球画像から出力画像を生成する処理ついては、詳細を後述する。

図１に示す実施形態では、さらに、全天球撮像装置１１０および画像処理装置１２０〜１２４は、アクセスポイント、モバイル・ルータ、ブロードバンドルータなどの通信機器１０４を介して、インターネット１０２に接続されている。そして、インターネット１０２上には、画像表示サーバ１３０が設けられている。

図１に示す画像表示サーバ１３０は、全天球撮像装置１１０または画像処理装置１２０〜１２４から送付された全天球画像を受信し、受信した全天球画像を蓄積し、管理する。画像表示サーバ１３０は、また、画像処理装置１２０〜１２４や他の情報処理端末からの全天球画像の表示要求に応答して、全天球画像に基づき出力画像を生成し、生成した出力画像を要求元装置へ送信する。これにより、要求元装置の平面表示デバイス上に該出力画像を表示させることができる。

画像表示サーバ１３０は、特定の実施形態では、ｗｅｂサーバとして構成することができ、ＨＴＴＰ（HyperText Transfer Protocol）に従い、全天球画像を含む画像登録要求にかかるリクエストを受信し、全天球画像を蓄積することができる。画像表示サーバ１３０は、さらに、出力対象の全天球画像が指定された画像表示要求にかかるリクエストを受信し、対象となる全天球画像を読み出し、画像処理を施し出力画像を生成して、出力画像を含むレスポンスを応答することができる。レスポンスを受信した要求元装置では、ウェブブラウザにより、受信した出力画像が平面表示デバイス上に表示される。そして、ウェブブラウザにより、適宜、出力画像の印刷出力が行われる。なお、画像表示サーバ１３０も、本実施形態において、出力画像を生成する画像処理装置として構成される。

以下、図２〜図１２を参照しながら、本実施形態における、全天球画像から出力画像を生成する全天球画像出力処理について、より詳細に説明する。図２は、本実施形態における全天球画像表示システムにおける全天球画像出力処理に関する機能ブロック２００を示す図である。図２に示す機能ブロック２００は、全天球撮像装置１１０上の機能ブロック２１０と、画像処理装置１２０〜１２４，１３０上の機能ブロック２５０とを含み構成される。

全天球撮像装置１１０の機能ブロック２１０は、それぞれ各方向を撮像する２つの撮像光学系２１２Ａ，２１２Ｂと、各撮像光学系２１２で撮影された各撮像画像の入力を受けて、全天球画像を生成し、出力する合成処理ブロック２１４とを含む。

画像処理装置の機能ブロック２５０は、入力部２５２と、出力部２５４と、全天球画像蓄積部２５６と、ユーザ入力受付部２５８と、平面画像生成部２６０と、画像出力部２６２とを含み構成される。入力部２５２は、タッチパネル、マウス、キーボードなどの入力装置である。出力部２５４は、入力部２５２に行われたユーザ操作の入力に応じた画像処理結果を表示する平面表示デバイス、画像処理結果を印刷出力する画像形成装置などの出力装置である。入力部２５２および出力部２５４は、画像処理装置自身に備えられてもよいし、画像処理装置が接続される外部装置に備えられてもよい。

全天球画像蓄積部２５６は、全天球撮像装置１１０で撮像され、上記接続または外部記録媒体などを介して画像処理装置１２０〜１２４に入力された全天球画像を蓄積する手段である。ユーザ入力受付部２５８は、入力部２５２を介して行われた出力範囲変更操作に基づき、操作に応じた全天球画像の出力範囲を規定する入力値を受け付け、入力値を平面画像生成部２６０に渡す。

出力範囲変更操作としては、視野を左右に移動させるパン操作、視野を上下に移動させるチルト操作および、出力する画像の範囲を拡大または縮小するズーム操作などを挙げることができる。上記出力範囲変更操作による変更の結果として、または直接入力された結果として、パン指定値、チルト指定値およびズーム指定値が、全天球画像の出力範囲を規定する入力値として取得される。

平面画像生成部２６０は、受け付けられた上記入力値に基づき、画像生成する際のパラメータ（以下、画像生成パラメータと参照する。）を決定し、決定された画像生成パラメータに基づき、全天球画像から出力画像を生成する。画像出力部２６２は、生成された出力画像を、出力部２５４に出力させる。出力画像は、平面表示デバイス上での適切な表示を行うため平面画像となる。

なお、画像処理装置が、画像表示サーバ１３０などのｗｅｂサーバとして動作する場合は、入力部２５２および出力部２５４の構成は、以下のようになる。すなわち、入力部２５２は、画像登録にかかるＨＴＴＰリクエストを受信するＨＴＴＰ受信部として構成される。出力部２５４は、画像表示にかかるＨＴＴＰリクエストに応答して、生成された出力画像を、レスポンスとして要求元に返すＨＴＴＰ送信部として構成される。

図３は、全天球画像出力処理における各画像のデータ構造および画像のデータフローを説明する図である。本実施形態による撮像光学系２１２は、撮像処理により、２つの撮像画像を生成する。本実施形態において、レンズ光学系に入射した光は、所定の射影方式に従って、対応する固体撮像素子の受光領域に結像される。上記撮像画像は、受光領域が平面エリアを成す２次元の固体撮像素子で撮像されたものであり、平面座標系で表現された画像データとなる。また本実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成が採用される。したがって、得られる撮像画像は、図３において「撮像画像Ａ」および「撮像画像Ｂ」で示されるように、各撮影範囲が投影されたイメージサークル全体を含む平面画像として構成される。

図４は、魚眼レンズで採用され得る射影方式を例示する図である。魚眼レンズとしては、種々の設計が考えられるが、その射影方式としては、図４に示すような、正射影方式（図４（Ａ））、等距離射影方式（図４（Ｂ））、立体射影方式（図４（Ｃ））および等立体角射影方式（図４（Ｄ））を挙げることができる。また、説明する実施形態において、１つの魚眼レンズで撮影された撮像画像は、撮影地点から概ね半球分（全画角が１８０度を超える部分で半球からはみ出している。）の方位を撮影したものとなる。そして、図４に示すように、画像は、光軸に対する入射角度βに対応した像高ｒで生成される。入射角βからの光を受光する受光領域上の画素位置（像高：レンズ焦点からの放射方向の距離）ｒは、焦点距離をｆとして、所定の投影モデルに応じた下記射影関数を用いて決定することができる。

魚眼レンズが採用する射影方式に対応した上記式により、方位（入射角および光軸周りの回転角）と、平面画像上の画素位置の座標とが対応付けられる。好ましい実施形態では、魚眼レンズは、図４（Ｃ）で示す立体射影方式を用いることができる。

合成処理ブロック２１４は、２つの撮像光学系２１２Ａ，２１２Ｂから得られた２つの撮影画像に対し、図示しない３軸加速度センサからの情報を利用し、歪曲補正とともに天地補正を施し、画像合成する。画像合成処理では、平面画像として構成される各撮像画像から、まず、相補的な各半休部分を含む各全天球画像が生成される。そして、各半球部分を含む２つの全天球画像が、重複領域のマッチングに基づいて位置合わせされ、画像合成され、全天球全体を含む全天球画像が生成される。

図５は、本実施形態で用いられる全天球画像フォーマットの画像データのデータ構造を説明する図である。図５（Ａ）に示すように、全天球画像フォーマットの画像データは、所定の軸に対してなされる垂直角度φと、上記所定の軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。ここで、全天球画像は、図３に示すように、撮影されたシーンの天頂方向を軸とした垂直角度（緯度経度座標における緯度）および、天頂方向の軸周りの水平角度（緯度経度座標における経度）で構成される座標系で表現されるものとする。垂直角度φは、−９０度〜＋９０度の範囲となり、水平角度θは、−１８０度〜＋１８０度の範囲となる。

全天球フォーマットの各座標値（θ，φ）は、図５（Ｂ）に示すように、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上に対応付けられる。魚眼レンズで撮影された撮像画像の平面座標と、全天球画像フォーマットの球面上の座標とは、上述した射影関数、適宜座標変換を施すことによって対応付けされる。

なお、以下の説明では、全天球画像フォーマットの図５（Ａ）に示す２次元座標は、図５（Ａ）において灰色の軸で示すように、左下原点の座標系である。そして、以下の説明では、２次元座標は、０〜水平方向の画素数に応じた範囲の水平角度値ｘと、０〜垂直方向の画素数に応じた範囲の垂直角度値ｙに変換して取り扱うものとする。例えば１／１０度刻みで画素を構成すると、水平角度値ｘは、０〜３７９９の範囲となり、垂直角度値ｙは、０〜１８００の範囲となる。水平角度値ｘと水平角度θとの関係および垂直角度値ｙと垂直角度φとの関係は、下記（１）および（２）で表される。下記式（１）および（２）中、ｗおよびｈは、それぞれ、全天球画像フォーマットの画像幅（例えば３６００画素）および画像高さ（例えば１８０１画素）に対応する。

そして、図５（Ａ）に示す全天球画像の２次元座標（ｘ，ｙ）と、図５（Ｂ）に示す全天球の表面の三次元座標（ｘｓ，ｙｓ，ｚｓ）との間の関係は、下記式（３）および（４）で計算される。図５（Ｂ）に示す三次元座標は、右手系であり、球体の中心を原点とし、ｒは半径を表す。

２つの撮像光学系２１２Ａ，２１２Ｂで撮影された２つの画像（撮像画像Ａおよび撮像画像Ｂ）と、全天球画像上の画像領域との関係は、説明する実施形態では、図３に「全天球画像」で示す対応関係となる。画像合成された全天球画像は、所定のフォーマットで、内蔵メモリまたは外部記録媒体に保存される。全天球画像が保存されるファイル・フォーマットは、ビットマップなどの無圧縮の静止画像であってもよいし、ＪＰＥＧ（Joint Photographic Experts Group）、ＧＩＦ（Graphics Interchange Format）、ＰＮＧ（Portable Network Graphics）などの圧縮形式の静止画像としてもよい。全天球画像は、さらに他の実施形態では、ＭＰＥＧ（Moving Picture Experts Group）やＡＶＩ（Audio Video Interleave）などの動画像におけるフレーム画像として含まれてもよい。なお、以下に説明する実施形態では、全天球画像は、静止画像であるとして説明する。

画像処理装置の機能ブロック２５０では、全天球画像蓄積部２５６により、全天球画像が保存され、平面画像生成部２６０により、引き続き、全天球画像を入力として、全天球画像から出力画像に変換する画像処理が行われる。なお、説明する実施形態では、入力される全天球画像は、好適な実施形態では、全天球撮像装置１１０により撮像されたものとして説明するが、全天球画像の由来は、必ずしも限定されるものではない。例えば、撮像された画像に対して所定の画像加工が施されてもよいし、コンピュータ・グラフィックスにより生成された画像が含まれてもよい。

平面画像生成部２６０は、ユーザ入力受付部２５８から、上記出力範囲変更操作による変更等の結果として、決定された上記パン指定値、チルト指定値およびズーム指定値を含む入力値を受け取る。平面画像生成部２６０は、受け取った入力値に基づき、後述するように画像生成パラメータを決定し、決定された画像生成パラメータに基づき、出力画像の画像生成処理を実行する。

上述したように、全天球画像は、上記式（３）および（４）により三次元座標に対応付けることができる。上記画像生成処理では、入力された全天球画像を、所定の三次元形状の内面に貼り付けた三次元モデルを構築し、所定条件の下、仮想的なカメラ（以下、単にカメラと参照する。）から射影表示させて出力画像Ｓを得る。

図６は、三次元グラフィックス表示で行われる透視投影（Perspective Projection）を説明する図である。図６に示すように、平面画像生成部２６０は、全天球画像を球体の内面に貼り付けた三次元モデルを、透視投影処理することによって平面画像の出力画像を生成する。透視投影する際の画像生成パラメータは、上記入力値に応じて決定される。画像生成パラメータとしては、特定の実施形態では、カメラの視点の位置（ｄ）、方向(ｖ)、視野角（Θ）および投影範囲（ｚＮｅａｒ，ｚＦａｒ）を挙げることができる。

出力画像Ｓは、球体の中心から特定の緯度経度方向（ｖ）を向いて三次元モデルを見たときに、特定の視野角（Θ）内で観察される画像を、表示領域の形状に応じて切り取った画像となる。上記投影範囲（ｚＮｅａｒ，ｚＦａｒ）のパラメータは、透視投影される範囲を指定するものであるが、適切な値が決定されるものとする。なお、画像生成パラメータの決定方法および射影処理の詳細については、図７〜図１２を参照して後述する。

なお、図２に示した実施形態では、撮像光学系２１２および合成処理ブロック２１４を全天球撮像装置上のコンポーネントとしている。そして、入力部２５２、出力部２５４、全天球画像蓄積部２５６、ユーザ入力受付部２５８、平面画像生成部２６０および画像出力部２６２を画像処理装置上のコンポーネントとして、分散実装している。しかしながら、実装の態様は特に限定されるものではない。

他の実施形態では、すべてのコンポーネントを単一の装置上に配置して全天球画像表示システムを構成してもよい。さらに他の実施形態では、コンポーネントの任意の一部を、それぞれ、全天球画像表示システムを構成している複数の装置のいずれか上に配置して、複数の装置の組み合わせとして全天球画像表示システムを構成してもよい。例えば、特定の実施形態では、画像処理装置が合成処理ブロックを備え、全天球撮像装置から２つの撮像画像を受信して、全天球画像を準備する構成とすることができる。

以下、図７および図８を参照しながら、本実施形態における全天球画像出力処理の流れについて、より詳細に説明する。なお、以下、出力処理として、全天球画像を表示する画像ビューワにおける表示処理について説明する。図７は、本実施形態の画像処理装置が実行する全天球画像表示処理を示すフローチャートである。図８は、全天球画像を所定範囲で表示する画像ビューワ画面を例示する図である。

図７に示す処理は、例えば、画像処理装置２５０のオペレータにより、所定の全天球画像を特定した表示指示が行われたことに応答して、ステップＳ１００から開始される。ステップＳ１０１では、画像処理装置２５０は、平面画像生成部２６０により、予め設定されたデフォルトのパン指定値、チルト指定値およびズーム指定値に基づき、初期の画像処理パラメータを決定する。ステップＳ１０２では、画像処理装置２５０は、平面画像生成部２６０により、決定された画像処理パラメータに基づき、全天球画像から平面画像を生成する。

ステップＳ１０３では、画像処理装置２５０は、画像出力部２６２により、生成された平面画像を画像ビューワ画面の所定位置に表示させる。図８に示す画像ビューワ画面３００は、画像表示領域３１０と、画像表示領域３１０に表示させる画像の表示範囲を変更するためのＧＵＩ（Graphical User Interface）部品３２２，３２４とを含み構成される。画像表示領域３１０には、上記平面画像生成部２６０により生成された、入力値に応じた範囲の出力画像が、画像出力部２６２により表示される。

ステップＳ１０４では、画像処理装置２５０は、ユーザ入力受付部２５８により表示範囲変更操作が受け付けられたか否かを判定する。ここで、表示範囲変更操作は、各操作に対応するＧＵＩ部品３２２，３２４に対して行われた、クリック、フリックなど操作イベントの発生により検出される。図８に例示する画像ビューワ画面３００は、ズーム指定値を変更するものとして、ズームインの指示を待ち受けるＧＵＩ部品３２２Ｉと、ズームアウトの指示を待ち受けるＧＵＩ部品３２２Ｏとを含む。画像ビューワ画面３００は、さらに、パン指定値およびチルト指定値を変更するものとして、左および右方向へパンの指示を待ち受ける左ボタン３２４Ｌおよび右ボタン３２４Ｒと、上および下方向へチルトの指示を待ち受ける上ボタン３２４Ｕおよび下ボタン３２４Ｄとを含む。

表示範囲変更操作は、ＧＵＩ部品に対する操作の他、各表示範囲変更操作に関連付けられたショートカット・キー、ジェスチャ、マルチタッチ操作など操作イベントの発生により検出することができる。例えば、ショートカット・キーとしては、キーボードにおけるズームインおよびズームアウトを指示する「＋」ボタンおよび「−」ボタンを挙げることができる。さらに、左右のパンおよび上下のチルトを指示する左右の矢印ボタンおよび上下の矢印ボタンに対するキー操作をショートカット・キーとしてもよい。マルチタッチ操作としては、ズーム操作に関連付けられたピンチインおよびピンチアウトを挙げることができる。

ステップＳ１０４では、表示範囲変更操作を受け付けるまでの間（ステップＳ１０４でＮＯの間）、ステップＳ１０４内をループさせて、表示範囲変更操作が待ち受けられる。ステップＳ１０４で表示変更操作が受け付けられたと判定された場合（ＹＥＳ）は、ステップＳ１０５へと処理が分岐される。

ステップＳ１０５では、上記表示変更操作が行われた結果として決定されるパン指定値、チルト指定値およびズーム指定値に基づき、変更された画像処理パラメータを決定し、ステップＳ１０２へ処理を分岐させる。この場合、続くステップＳ１０２では、平面画像生成部２６０により、変更後の画像処理パラメータに基づき、平面画像の生成処理が行われる。ステップＳ１０３では、画像出力部２６２により、ユーザ操作に応じて新たに生成された平面画像で、画像ビューワ画面３００の画像表示領域３１０が更新される。

以下、図９〜図１２を参照しながら、本実施形態による全天球画像出力処理について、より詳細に説明する。図９は、本実施形態における画像処理装置上の平面画像生成部２６０の詳細な機能ブロックを示す図である。図９に示す平面画像生成部２６０は、パラメータ決定部２６４と、テクスチャマッピング部２６６と、射影部２６８とを含み構成される。

パラメータ決定部２６４は、ユーザ入力受付部２５８から渡された各種入力値（パン指定値、チルト指定値およびズーム指定値）に応じて、カメラの視点の位置（ｄ）および視野角（Θ）を含む画像生成パラメータを決定する決定手段である。

テクスチャマッピング部２６６は、表示対象画像である全天球画像を所定の三次元形状に貼り付けた三次元モデルを生成する生成手段である。三次元モデルの生成は、いわゆるテクスチャマッピングの手法により行うことができる。テクスチャマッピングは、スマートフォンやタブレットなどの演算能力に制約がある情報処理端末が搭載するＧＰＵが対応するＯｐｅｎＧＬなどでも一般的なグラフィックス処理であり、三次元形状の表面にテクスチャ画像を貼り付ける処理をいう。テクスチャマッピング部２６６は、指定された全天球画像を読み出し、テクスチャを格納するテクスチャバッファに転送し、三次元モデルに割り付ける。

説明する実施形態において、三次元形状は、球体、円筒、その他鑑賞者にとって違和感ない出力画像を射影できる如何なる三次元形状を用いることができる。鑑賞者に対し違和感を感じさせず、かつ、演算処理を簡略化する観点からは、好適には、球体を用いることができる。３次元形状は、全天球画像が貼り付けられる少なくとも１つの内面を有し、球体を採用した場合は、全天球画像が貼り付けられる球面を含む。

射影部２６８は、パラメータ決定部２６４により決定された画像生成パラメータに応じて、所定位置に視点が設定されたカメラから、全天球画像が貼り付けられた三次元モデルを、所定の投影方式で射影し、出力画像を生成する射影手段である。テクスチャマッピングした三次元モデルを任意カメラ視点から、所定の条件で観測した場合の画像をレンダリングすることで、出力画像を生成することができる。

非特許文献１によれば、広視野表示時と狭視野表示時とでは、射影方式を異ならしめることが有効であることが知られている。しかしながら、複数の射影方式を連続的に適用すると、画像処理装置に対する性能要件が厳しくなる。

そこで、本実施形態では、画像処理装置のハードウェア要件を緩和するべく、平面画像生成部２６０は、単一の射影方式で、表示モデルの画像生成パラメータを変化させることで、鑑賞者による観賞に適した表示効果を得る構成を採用する。以下、入力値に応じた画像生成パラメータの決定処理について、図１０〜図１２を参照して説明する。なお、説明する実施形態では、投影方式として、透視投影方式（遠近法投影）を用いるが、他の実施形態では、正射影方式など他の投影方式を採用してもよい。

上述したように画像生成パラメータは、投影方式として透視投影を採用する特定の実施形態では、カメラの視点の位置（ｄ）、方向(ｖ)、視野角（Θ）および投影範囲（ｚＮｅａｒ，ｚＦａｒ）を含む。三次元コンピュータ・グラフィックスでは、典型的には、世界座標系、モデル座標系およびカメラ座標系の３種の座標系が定義される。世界座標系は、絶対的な三次元空間を定義し、世界座標系により定義される三次元空間にカメラおよびオブジェクトが配置される。モデル座標系は、所定のオブジェクトを中心とした座標系である。説明する実施形態では、球体モデルを構築し、この球体モデルを世界座標系の原点に配置する。したがって、世界座標系と、球体モデルのモデル座標系とは、原点が一致し、軸のみが異なり得る。カメラ座標系は、カメラの視点を中心とした視野の方向（ｖ）などを表す。

そして、射影部２６８は、全天球画像が内面に貼り付けられた球体モデルを、カメラの視点から２次元スクリーンに投影し、得られた投影画像を表示画像とする。スクリーンは、カメラ座標の原点を通る平面に配置され、透視投影によりスクリーンに全天球画像が投影される。

図１０は、モデル座標系と、カメラの位置（ｄ）および視野角（Θ）と、その視野内に写り込む画像の範囲を表す画角（Φ）との関係を説明する図である。カメラの視点が球体モデルの中心に位置すると、その視野内に写り込む画像の範囲を表す画角（Φ）と、カメラの視野角（Θ）とは一致する。しかしながら、図１０において二重丸で示されているように、カメラの視点の位置（ｄ）が、三次元モデルの中心から離れると、画角（Φ）と、カメラの視野角（Θ）とは異なる値をとることになる。ズームインおよびズームアウトは、画角（Φ）を変更する操作に対応する。説明する実施形態では、ズーム指定値の範囲に応じてカメラの視点の位置（ｄ）および視野角（Θ）のいずれかを変更することで、画角（Φ）の変化を生み出す。

本実施形態におけるパン、チルトおよびズームの表示範囲の操作に応じた画像生成パラメータの変更については、下記表１にまとめる。

なお、表１では、上記チルトおよびパンによる画像の表示位置の移動は、視野の方向（ｖ）を固定し、世界座標系において球体モデルを回転変換することにより、実現されている。しかしながら、他の実施形態では、球体モデルを世界座標系に対して固定し、カメラの視野の方向（ｖ）を変更することにより、画像表示位置の移動を実現してもよい。

以下、図１１および図１２を参照して、本実施形態におけるズーム指定値に応じた画像生成パラメータの決定処理について、より詳細に説明する。図１１および図１２は、ズーム指定値に応じて、どのように画像生成パラメータを決定するかを説明する図であり、その際の出力画像および球体モデルの表示される範囲を併せて示す。図１１および図１２には、Ａ〜Ｅで示す特定のズーム指定値（ｚ）が与えられた場合の画像生成パラメータの決定方法が示されている。

また、ズーム指定値（ｚ）に応じて決定される画像生成パラメータ、その際の表示倍率および画角（Φ）を下記表２としてまとめて示す。下記表２中、ｖｉｅｗＷＨは、出力画像の表示領域の幅または高さを表し、表示領域が横長の場合は、表示領域の幅となり、表示領域が縦長の場合は、表示領域の高さとなる。下記表２中、ｉｍｇＷＨは、画像の幅または高さを表し、表示領域が横長の場合は、画像幅となり、表示領域が縦長の場合は、画像高さとなる。ｉｍｇＤｅｇは、画像の表示範囲の角度を表し、画像幅の場合は、３６０度、画像高さの場合は、１８０度となる。

本実施形態において、ズーム指定値（ｚ）の範囲は、表２に示したように、Ａ〜Ｂの範囲、Ｂ〜Ｃの範囲、Ｃ〜Ｄの範囲およびＤ〜Ｅの範囲を含む４つの範囲に区分される。ズーム指定値（ｚ）は、表示させたい画角に対応した値であり、説明する実施形態では、最小画角６０度から最大画角３００度までの範囲でユーザから指定される。

ズームアウトを考えると、ズーム指定値（ｚ）が、Ａ〜Ｂの範囲にある場合は、カメラの視野角（Θ）が６０度に固定され、カメラ位置（ｄ）が中心から離れて行くことで、図１１のＡおよび図１１のＢで示すように、画角（Φ）が広げられる。Ａ〜Ｂの範囲にある場合のカメラ位置（ｄ）は、図１１のＡで示す原点０から、図１１のＢで示す球体モデルの外縁に対応する１まで、表２中の計算式で表されるように画角（Φ）およびズーム指定値（ｚ）に応じた値に決定される。

ズーム指定値（ｚ）が、Ａ〜Ｂより広視野側にあるＢ〜Ｃの範囲にある場合は、図１１のＢおよび図１１のＣで示すように、カメラ位置（ｄ）が球体モデルの外縁に固定され（ｄ＝１）、カメラの視野角（Θ）を広げて行くことで、画角（Φ）が広げられる。カメラの視野角（Θ）は、Ａ〜Ｂの範囲で固定されていた６０度から１２０度まで、計算式Θ＝Φ／２にしたがって増加する。視野内に写り込む画像の範囲を表す画角（Φ）は、Ａ〜Ｂの範囲およびＢ〜Ｃの範囲では、ズーム指定値（ｚ）に一致し、単調増加することになる。

ズーム指定値（ｚ）が、Ｂ〜Ｃの範囲より広視野側にあるＣ〜Ｄの範囲およびＤ〜Ｅの範囲にある場合は、図１１のＣ、図１２のＤおよび図１２のＥで示すようになる。すなわち、カメラの視野角（Θ）が１２０度に固定されたまま、カメラの視点の位置（ｄ）が再び中心から離れる方向に移動されることで、画角（Φ）が広げられる。カメラ視点の位置（ｄ）は、表２に記載された計算式に従い、ズーム指定値（ｚ）に応じて決定される。また、Ｃ〜Ｄの範囲およびＤ〜Ｅの範囲では、画角（Φ）は、ズーム指定値（ｚ）とは一致しなくなる。

図１２のＤで示された位置に対応する表２中のｄｍａｘ１は、図１２においてＤに併せて示したような、表示領域の矩形いっぱいに最大の画角で球体モデルが表示される距離に対応し、特定の実施形態では、下記式（５）で計算することができる。図１２のＥで示された位置（Ｄ）に対応する表２中のｄｍａｘ２は、図１２においてＥに併せて示したような、表示領域の矩形内に球体モデルが内接する最大の画角で球体モデルが表示される距離に対応し、特定の実施形態では、下記式（６）で計算される。

上記式（５）および（６）中、ｖｉｅｗＷおよびｖｉｅｗＨは、表示領域の幅および高さを表す。したがって、ｄｍａｘ１およびｄｍａｘ２は、表示画面の大きさ（幅および高さ、対角）に依存する値となる。ｄｍａｘ２は、カメラの視点が取りうる最遠位置に対応し、ズーム指定値（ｚ）は、表示領域の大きさに応じて制限されることになる。表２に示した範囲（〜ｄｍａｘ２）にカメラの視点の位置が収まるようにズーム指定値（ｚ）を制限することで、表示画面上にフィットし、または所定の倍率で全天球画像が球形状に表示された状態で、ズームアウトを終了させることができる。これにより、鑑賞者に、表示されている画像が全天球画像であることを視覚的に認識させることができるとともに、違和感のない状態でズームアウトを終了させることができる。

また、表２および図１１を参照すると明らかなように、上述した各範囲間では、画角（Φ）は、連続しているが、広角側へのズームアウトによって画角（Φ）は、一様に増加していない。すなわち、カメラの視点位置が変更されるＣ〜Ｄ〜Ｅの範囲のうちの、Ｃ〜Ｄの範囲では、カメラの視点の位置（ｄ）が球体モデルの中心から距離が離れるにつれて、画角（Φ）が増大するが、Ｄ〜Ｅの範囲では、距離が離れるにつれて画角（Φ）が減少して行く。これは、球体モデルの外側の領域が視野内に写り込むことによる。そして、ズーム指定値が２４０度以上の広視野域において、カメラの視点位置（ｄ）を移動させることで、違和感の少ない表示を行いながら、画角（Φ）を変化させることが可能となる。

したがって、ズーム指定値の広角方向への変更を考えると、基本的には、画角（Φ）が広くなって行く方向となる。このとき、カメラの視野角（Θ）の増加が押さえられ、モデル座標系からカメラが遠ざかることによって広角表示時の開放感が表現されるので、画像の歪みが軽減される。また、カメラが遠ざかる動きは、実際に人間が広い範囲を確認しようとする場合の行動に類似した動きであるため、違和感の少ないズームアウトとなると考えられる。そして、画角（Φ）は、Ｄ〜Ｅの範囲では、ズーム指定値が広視野側へ行くにつれ減少して行くが、これにより、鑑賞者は、球体から遠ざかって行くように感じられ、違和感の少ないズームアウトとなる。

なお、上述した説明では、各範囲では、カメラ視点の位置（ｄ）および視野角（Θ）のいずれか一方のみが変更され、他方が固定されるものとして説明した。しかしながらが、他の実施形態では、カメラ視点の位置（ｄ）および視野角（Θ）のいずれか一方を優先的に変更し、他方を比較的小さな変化量で変更する態様も妨げられない。また、上記説明では、ズームアウトする方向に変更される文脈で、画像生成パラメータの決定方法について説明したが、ズームインの際も同様に画像生成パラメータを決定することができる。

以下、図１３を参照しながら、本実施形態による画像処理装置のハードウェア構成について説明する。図１３は、本実施形態による画像処理装置のハードウェア構成を示す図である。本実施形態による画像処理装置は、タブレット端末１２２といった携帯情報端末として構成されている。図１３に示すタブレット端末１２２は、シングルコアまたはマルチコアのＣＰＵ（Central Processing Unit）、ＧＰＵ、ベースバンドプロセッサおよびメモリコントローラなどがＳｏＣ（System on Chip）として統合されたモバイルプロセッサ１０と、モバイルプロセッサ１０に接続され、ＣＰＵなどの作業領域を提供するＬＰＤＤＲ（Low-Power Double DataRate）ＳＤＲＡＭといったメモリ１２と、フラッシュメモリ１４と、ＳＤカードなどの外部記録媒体スロット１６とを含む。

フラッシュメモリ１４は、タブレット端末１２２を制御するためのＯＳ、上述した機能部を実現するための制御プログラム、各種システム情報や各種設定情報、さらに上記全天球画像などを含むユーザデータを格納する。外部記録媒体スロット１６には、全天球画像などのユーザデータが格納された記録媒体が装着される。

モバイルプロセッサ１０には、さらに、タッチ・スクリーン・コントローラ１８およびディスプレイ・インタフェース２０を介して、タッチ・スクリーン・センサが搭載されたディスプレイ２２と接続されている。ディスプレイ２２は、各種設定画面およびアプリケーション画面を表示し、本実施形態においては、全天球画像から生成された出力画像を含む画像ビューワの画面を表示することができる。タブレット端末１２２は、さらに、モバイルプロセッサ１０に接続されたＨＤＭＩ（High-Definition Multimedia Interface，ＨＤＭＩは登録商標である。）などの映像出力インタフェース２４を備え、外部のディスプレイやプロジェクタと接続可能とされている。

タブレット端末１２２は、さらに、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを含むカメラ２８を備える。カメラ２８は、カメラインタフェース２６を介してモバイルプロセッサ１０と接続されている。タブレット端末１２２は、さらに、音声のエンコードおよびデコード処理を行う音声コーデック３０と、ヘッドフォンやスピーカの音声を切り替える音声スイッチ３２とを備える。

モバイルプロセッサ１０には、さらに、無線ＬＡＮポート３４と、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線ポート３６が接続されており、無線通信により外部の機器と接続可能とされている。説明する実施形態では、タブレット端末１２２は、無線ＬＡＮポート３４または近距離無線ポート３６を介して、外部の全天球撮像装置１１０と接続されている。タブレット端末１２２は、電源管理ユニット３８を備え、電源管理ユニット３８により、タブレット端末１２２の外部電源およびバッテリの電源管理が行われる。

本実施形態によるタブレット端末１２２は、フラッシュメモリ１４から制御プログラムを読み出し、メモリ１２が提供する作業空間に展開することにより、モバイルプロセッサ１０内に統合されたＣＰＵの制御の下、上述した各機能部および各処理を実現する。その際には、ＯｐｅｎＧＬなどのグラフィック処理用のＡＰＩを介して、モバイルプロセッサ１０内に統合されたＧＰＵの演算機能が呼び出され、上述したテクスチャマッピング処理および射影処理などの画像演算が実行される。

以上説明した実施形態によれば、画像表示する際に、広視野領域での表示において、上下左右の端部の被写体が引き伸ばされることによる違和感を低減しつつ高速表示を可能とする、演算能力に対する要件が緩和された画像処理システム、画像処理方法およびプログラムを提供することができる。

上述した実施形態によれば、表示モデルが単一の射影方式として構築されるので、制限された画像演算機能を有する画像処理装置であっても、リアルタイムかつスムーズなズーム表示を行うことが可能となる。そして、カメラの視点位置を三次元モデルから遠ざけることでズームアウトを表現しているので、視野角の増大が押さえられ、広がり感を出しながらも、画像の歪みを抑えることが可能となる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（VHSIC（Very High Speed Integrated Circuits） Hardware Description Language））、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

（付記）
（付記１）
出力範囲を規定する入力値を受け付ける受付手段と、
対象画像を三次元形状に貼り付けた三次元モデルを生成する生成手段と、
前記入力値に基づき、視点の位置および視野角を決定する決定手段と、
前記視点から前記三次元モデルを射影する射影手段と
を含み、前記決定手段は、前記入力値が、第１の範囲にある場合は、前記視野角を優先的に変化させることで前記対象画像の視野内に入る範囲を変化させ、前記入力値が、前記第１の範囲より広視野側にある第２の範囲にある場合は、前記視点の位置を優先的に変化させることで前記視野内に入る範囲を変化させる、画像処理システム。
（付記２）
前記第２の範囲は、前記視点の位置が前記三次元形状の中心から距離が離れるにつれて、前記視野内に入る範囲が増大する範囲と、離れるにつれ前記視野内に入る範囲が減少する範囲とを含む、付記１に記載の画像処理システム。
（付記３）
前記視点の位置は、出力領域の大きさに応じて制限される、付記２に記載の画像処理システム。
（付記４）
前記決定手段は、前記入力値が第１の範囲にある場合は、前記三次元形状の中心から離れた位置に前記視点を決定する、付記１〜３のいずれか１つに記載の画像処理システム。
（付記５）
前記決定手段は、前記入力値が前記第１の範囲よりも狭視野側にある第３の範囲にある場合は、前記視点の位置を優先的に変化させることで前記視野内に入る範囲を変化させる、付記１〜４のいずれか１つに記載の画像処理システム。
（付記６）
前記入力値は、ズームの程度を指定するズーム指定値であり、前記受付手段は、さらに、出力範囲を上下に振るチルト指定値、および出力範囲を左右に振るパン指定値、またはこれらの少なくとも１つを受け付け、
前記チルト指定値およびパン指定値またはこれらの少なくとも１つに応じて、世界座標系に対して前記三次元モデルを回転するか、視野方向を変更する手段をさらに含む、付記１〜５のいずれか１つに記載の画像処理システム。
（付記７）
前記三次元形状は、前記対象画像が貼り付けられる少なくとも１つの内面を有する立体であり、前記対象画像は、少なくとも１つの角度座標を含む座標系で表現される画像であり、前記射影手段は、単一の射影方式で射影する、付記１〜６のいずれか１つに記載の画像処理システム。
（付記８）
出力画像を生成する画像処理方法であって、コンピュータが、
出力範囲を規定する入力値を受け付けるステップと、
前記入力値に基づき、視点の位置および視野角を決定するステップと、
対象画像を三次元形状に貼り付けた三次元モデルを生成するステップと、
前記視点から前記三次元モデルを射影するステップと
を実行し、前記決定するステップでは、前記コンピュータが、
前記入力値が、第１の範囲にある場合に、前記視野角を優先的に変化させることで前記対象画像の視野内に入る範囲を変化させるサブステップ、または、
前記入力値が、前記第１の範囲より広視野側にある第２の範囲にある場合に、前記視点の位置を優先的に変化させることで前記視野内に入る範囲を変化させるサブステップ
を実行する、画像処理方法。
（付記９）
コンピュータを、
出力範囲を規定する入力値を受け付ける受付手段、
対象画像を三次元形状に貼り付けた三次元モデルを生成する生成手段、
前記入力値に基づき、視点の位置および視野角を決定する決定手段、および
前記視点から前記三次元モデルを射影する射影手段
として機能させるためのプログラムであって、
前記決定手段は、前記入力値が、第１の範囲にある場合は、前記視野角を優先的に変化させることで前記対象画像の視野内に入る範囲を変化させ、前記入力値が、前記第１の範囲より広視野側にある第２の範囲にある場合は、前記視点の位置を優先的に変化させることで前記視野内に入る範囲を変化させる、プログラム。

１００…全天球画像表示システム、１０２…インターネット、１０４…通信機器、１１０…全天球撮像装置、１２０〜１２４…画像処理装置、１３０…画像表示サーバ、２００…機能ブロック、２１０…機能ブロック、２１２…撮像光学系、２１４…合成処理ブロック、２５０…機能ブロック、２５２…入力部、２５４…出力部、２５６…全天球画像蓄積部、２５８…ユーザ入力受付部、２６０…平面画像生成部、２６２…画像出力部、２６４…パラメータ決定部、２６４…テクスチャマッピング部、２６６…射影部、３００…画像ビューワ画面、３１０…画像表示領域、３１２，３１４…ＧＵＩ部品、１０…モバイルプロセッサ、１２…メモリ、１４…フラッシュメモリ、１６…外部記録媒体スロット、１８…タッチ・スクリーン・コントローラ、２０…ディスプレイ・インタフェース、２２…ディスプレイ、２４…外部映像インタフェース、２６…カメラインタフェース、２８…カメラ、３０…音声コーデック、３２…音声スイッチ、３４…無線ＬＡＮポート、３６…近距離無線ポート、３８…電源管理ユニット

J. Kopf, et. al、"Capturing and Viewing Gigapixel Images"、ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2007、Volume 26、Issue 3、July 2007、Article No. 93、ACM New York, NY, USA

本発明では、上記課題を解決するために、下記特徴を有する装置を提供する。本装置は、画像を所定の三次元形状に貼り付けた三次元モデルに対して所定位置の視点から射影させた画像を生成し、当該画像を出力するプロセッサを備え、上記プロセッサは、上記三次元モデルに対し、上記視点における視野角を変化させて、画像を生成する処理と、上記三次元モデルの中心からの上記視点の距離を変化させて、画像を生成する処理と、を実行し、表示倍率に応じて、画角が連続的に変化するように上記視野角および上記視点の距離を決定することを特徴とする。

Claims (17)

1. 画像を生成し、当該画像をディスプレイに入力するプロセッサを備え、
   前記プロセッサは、
   前記画像について視野角を変化させた画像を生成する処理と、
   前記画像について視点の位置を変化させた画像を生成する処理と、
   を実行することを特徴とする装置。
2. 前記プロセッサは、
   前記画像を拡大または縮小する場合に、
   所定の倍率の範囲において前記視野角を変化させた画像を生成する処理を行い、
   前記所定の倍率の範囲外において前記視点の位置を変化させた画像を生成する処理を行うこと
   を特徴とする請求項１に記載の装置。
3. 前記プロセッサは、撮影された画像を三次元形状に貼り付けた三次元モデルの画像を生成する
   ことを特徴とする請求項１に記載の装置。
4. 前記プロセッサは、
   全倍率の範囲で画角を連続的に変化させることを特徴とする請求項２に記載の装置。
5. 前記プロセッサは、
   前記倍率が所定の倍率より小さい範囲において、球体の画像を生成すること特徴とする請求項２に記載の装置。
6. プロセッサを備え、当該プロセッサは、
   撮影された画像を使って、所定の位置にある視点から所定の視野角で平面に投影して得られる画像に対応する平面画像データを生成する処理と、
   前記視点における視野角を変化させて前記平面画像データを生成する処理と、
   前記視点の位置を変化させて前記平面画像データを生成する処理と、
   を実行することを特徴とする装置。
7. 前記プロセッサは、
   前記撮影された画像から三次元形状モデルを生成する処理と、
   前記三次元形状モデルに対して、所定の位置にある視点から所定の視野角で平面に投影して得られる画像に対応する平面画像データを生成する処理と、
   を行うことを特徴とする請求項６に記載の装置。
8. 前記プロセッサは、
   前記平面画像を拡大または縮小する場合に、
   所定の倍率の範囲において前記視点における視野角を変化させて前記平面画像データを生成する処理を行い、
   前記所定の倍率の範囲外において前記視点の位置を変化させて前記平面画像データを生成する処理を行うことを特徴とする請求項６に記載の装置。
9. 前記撮影された画像は全天球画像であることを特徴とする請求項６に記載の装置。
10. 前記プロセッサは、
    全倍率の範囲で画角を連続的に変化させることを特徴とする請求項６に記載の装置。
11. 前記プロセッサは、
    所定の画角の範囲において前記視点における視野角を変化させて前記平面画像データを生成する処理を行い、
    前記所定の画角の範囲外において前記視点の位置を変化させて前記平面画像データを生成する処理を行うことを特徴とする請求項１０に記載の装置。
12. 撮影された画像を使って、所定の位置にある視点から所定の視野角で平面に投影して得られる画像に対応する平面画像データを生成するステップと、
    前記視点における視野角を変化させて前記平面画像データを生成するステップと、
    前記視点の位置を変化させて前記平面画像データを生成するステップと、
    を有することを特徴とする方法。
13. 前記撮影された画像から三次元形状モデルを生成するステップと、
    前記三次元形状モデルに対して、所定の位置にある視点から所定の視野角で平面に投影して得られる画像に対応する平面画像データを生成するステップと、
    を有することを特徴とする請求項１２に記載の方法。
14. 前記平面画像を拡大または縮小する場合に、
    所定の倍率の範囲において前記視点における視野角を変化させて前記平面画像データを生成するステップと、
    前記所定の倍率の範囲外において前記視点の位置を変化させて前記平面画像データを生成するステップと、を有することを特徴とする請求項１２に記載の方法。
15. 前記撮影された画像は全天球画像であることを特徴とする請求項１２に記載の方法。
16. 全倍率の範囲で画角を連続的に変化させることを特徴とする請求項１２に記載の方法。
17. 所定の画角の範囲において前記視点における視野角を変化させて前記平面画像データを生成するステップと、
    前記所定の画角の範囲外において前記視点の位置を変化させて前記平面画像データを生成するステップと、を有すること特徴とする請求項１６に記載の方法。