JP2018124952A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】撮影画像を印刷した紙等を組み立てた多面体における最上部と、撮影画像の天頂とを一致させることを目的とする。【解決手段】全周を撮影して撮影画像を生成する撮影装置に接続され、かつ、出力画像を画像形成装置に出力する画像処理装置が、媒体上に前記出力画像に基づいて形成された展開図を組み立てると形成される多面体の種類を設定し、前記媒体を組み立てると最上部となる箇所に、前記撮影画像における天頂が画像形成されるように、前記撮影画像における座標を、組み立てると前記多面体となり、前記展開図における座標に変換し、前記変換された座標に基づいて、前記出力画像を生成することで上記課題を解決する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、３次元の立体の模型等を紙等で作るため、３次元の立体形状から２次元の紙等に展開図を印刷し、展開図を切り抜いて組み立てることによって、立体の模型を作る方法が知られている。

例えば、まず、コンピュータが、立体を構成する頂点の座標を抽出する。次に、コンピュータが、３個以上の頂点で構成され、かつ、頂点と関連付けされる面を抽出する。続いて、コンピュータが、隣接する２つの面において各面の端縁を形成し、かつ、隣接する２面と関連付けされている稜線を抽出する。そして、コンピュータが、抽出される隣接する２つの面のうち、展開を行う面を構成する頂点の座標を２次元座標に変換することによって、面を展開し、展開される面を形成する稜線に基づいて、次に展開する面を決定する。このようにして、立体の展開図を作成する方法が知られている（例えば、特許文献１等）。

しかしながら、全天球カメラ等の撮影装置で撮影された画像（以下「撮影画像」という。）を紙等に印刷して、画像が印刷された紙等を多面体形状に組み立てる場合がある。このような場合に、従来の方法では、多面体における最上部と、撮影画像の天頂とが一致しない場合があるのが課題となる。

本発明は、撮影画像を印刷した紙等を組み立てた多面体における最上部と、撮影画像の天頂とを一致させることができる画像処理装置を提供することを目的とする。

上述した課題を解決するために、本発明の一態様における、全周を撮影して撮影画像を生成する撮影装置に接続され、かつ、出力画像を画像形成装置に出力する画像処理装置は、
媒体上に前記出力画像に基づいて形成された展開図を組み立てると形成される多面体の種類を設定する設定部と、
前記媒体を組み立てると最上部となる箇所に、前記撮影画像における天頂が画像形成されるように、前記撮影画像における座標を、組み立てると前記多面体となり、前記展開図における座標に変換する変換部と、
前記変換された座標に基づいて、前記出力画像を生成する出力画像生成部と
を備えることを特徴とする。

撮影画像を印刷した紙等を組み立てた多面体における最上部と、撮影画像の天頂とを一致させることができる画像処理装置を提供できる。

本発明の一実施形態に係る画像処理装置の使用例を説明する図である。 本発明の一実施形態に係る撮影装置の一例を説明する図である。 本発明の一実施形態に係る撮影装置による撮影の一例を説明する図である。 本発明の一実施形態に係る撮影装置によって撮影された画像の一例を説明する図である。 本発明の一実施形態に係る撮影装置のハードウェア構成の一例を説明するブロック図である。 本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を説明するブロック図である。 本発明の一実施形態に係る撮影画像の一例を説明する図である。 本発明の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。 本発明の一実施形態に係る画像処理装置によって表示される多面体の種類の設定画面例を示す図である。 本発明の一実施形態に係る画像処理装置によって表示される多面体の置き方の設定画面例を示す図である。 本発明の一実施形態に係る画像処理装置によって表示される多面体の置き方の一例を示す図である。 本発明の一実施形態に係る多面体における最上部の一例を示す図である。 本発明の一実施形態に係る画像処理装置による変換処理の一例を示すフローチャートである。 本発明の一実施形態に係る出力画像の表示画面例を示す図である。 本発明の一実施形態に係る展開図の選択画面例を示す図である。 本発明の一実施形態に係る所定の画像の設定画面例を示す図である。 本発明の一実施形態に係る出力画像の一例を示す図である。 本発明の一実施形態に係る撮影画像の縮小例を示す図である。 本発明の一実施形態に係る撮影画像の平行移動例を示す図である。 本発明の一実施形態に係る画像処理装置による天頂となる座標を変更する処理の一例を示すフローチャートである。 本発明の一実施形態に係る撮影画像における天頂となる座標の指定例を示す図である。 本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。

以下、本発明の実施の形態について説明する。

＜画像処理装置の使用例＞
図１は、本発明の一実施形態に係る画像処理システムの全体構成の一例を説明する図である。図示する例では、画像処理システムでは、撮影装置の例である全天球カメラ１と、画像処理装置の例であるＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２とが接続される。また、ＰＣ２は、画像形成装置の例であるプリンタ３に接続される。

全天球カメラ１は、複数の光学系を有するカメラ等である。例えば、全天球カメラ１は、複数の光学系を用いて撮影した画像に基づいて、全天球カメラ１の全周等の広い範囲を示す撮影画像（例えば、水平３６０°を写す画像である。）を生成する。

なお、撮影画像は、全周をすべて示す画像に限られない。例えば、撮影画像は、３６０°のうち、一部の範囲が欠けた画像であったり、半球分を示す画像であったり又は一部の範囲が除去された画像等でもよい。

次に、全天球カメラ１は、撮影画像をＰＣ２に入力する。そして、ＰＣ２は、撮影画像を画像処理して出力画像を生成する。続いて、ＰＣ２が出力画像をプリンタ３に出力すると、プリンタ３は、出力画像に基づいて、紙又はプラスチックシート等の媒体に画像形成を行う。

このようにして、画像形成が行われた紙等は、画像形成が行われた箇所が切り抜かれる。そして、切り抜かれた箇所が組み立てられると、４面体、６面体、８面体、１２面体、２０面体、円筒体、錐又は柱等の多面体となる。なお、多面体は、これらに限られず、他の形状でもよい。

また、この例では、全天球カメラ１、ＰＣ２及びプリンタ３は、有線又は無線で接続される。例えば、ＰＣ２は、全天球カメラ１が生成する全天球画像等の撮影画像を示すデータを全天球カメラ１からダウンロードして入力する。なお、接続は、ネットワーク又はサーバ等を介してもよい。

なお、画像処理装置の使用する構成は、図示する構成に限られない。例えば、全天球カメラ１及びＰＣ２は、一体の装置であってもよい。また、画像処理装置は、ＰＣに限られず、他の種類の情報処理装置でもよい。

各装置は、例えば、以下のような装置である。

＜撮影装置例＞
図２は、本発明の一実施形態に係る撮影装置の一例を説明する図である。なお、図２は、全天球カメラ１の外観の一例を示す図である。具体的には、図２（ａ）は、全天球カメラ１の正面図の一例である。一方で、図２（ｂ）は、全天球カメラ１の左側面図の一例である。さらに、図２（ｃ）は、全天球カメラ１の平面図の一例である。

そして、全天球カメラ１は、前面撮影素子１Ｈ１と、後面撮影素子１Ｈ２と、スイッチ１Ｈ３とを有する。この例では、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２等の光学系が撮影に用いられる。そして、それぞれの光学系を用いて撮影されたそれぞれの画像に基づいて、全天球カメラ１は、全天球画像等の撮影画像を生成する。

また、スイッチ１Ｈ３は、いわゆるシャッタボタンであり、ユーザが全天球カメラ１に対して撮影の指示を行うための入力装置の例である。

例えば、図２（ａ）に示すように、ユーザが全天球カメラ１を手で持ち、全天球カメラ１が有するスイッチ１Ｈ３がユーザによって押されると、全天球カメラ１は、撮影を行う。具体的には、全天球カメラ１は、図３のようにして撮影に用いられる。

図３は、本発明の一実施形態に係る撮影装置による撮影の一例を説明する図である。ユーザは、全天球カメラ１を手で持ち、図２に示すスイッチ１Ｈ３を押すことによって撮影を行う。このようにすると、全天球カメラ１は、図示するように、前面撮影素子１Ｈ１（図２）と、後面撮影素子１Ｈ２（図２）とによって、全天球カメラ１の全周等の広範囲を撮影することができる。このようにして撮影される画像は、例えば、以下のような画像である。

図４は、本発明の一実施形態に係る撮影装置によって撮影された画像の一例を説明する図である。具体的には、図４（ａ）は、前面撮影素子１Ｈ１（図２）によって撮影される画像の一例である。一方で、図４（ｂ）は、後面撮影素子１Ｈ２（図２）によって撮影される画像の一例である。そして、図４（ｃ）は、前面撮影素子１Ｈ１によって撮影される画像、すなわち、図４（ａ）に示す画像と、後面撮影素子１Ｈ２によって撮影される画像、すなわち、図４（ｂ）に示す画像とに基づいて生成される画像の一例である。

まず、前面撮影素子１Ｈ１によって撮影される画像は、図４（ａ）に示すように、全天球カメラ１の前方側の広い範囲、例えば、画角で１８０°の範囲を撮影範囲とする画像である。また、図示するように、前面撮影素子１Ｈ１によって撮影される画像は、前面撮影素子１Ｈ１が広い範囲を撮影するための光学系、例えば、いわゆる魚眼レンズを用いる場合には、歪曲収差を有する。すなわち、図４（ａ）に示す画像は、全天球カメラ１の一方の広い範囲を示し、かつ、歪曲収差を有する、いわゆる半球画像（以下「半球画像」という。）である。

なお、各光学系のそれぞれの画角は、１８０°以上かつ２００°以下の範囲が望ましい。特に、画角が１８０°以上を超える場合には、図４（ａ）に示す半球画像と、図４（ｂ）に示す半球画像とを合成する際、重畳する画像領域があるため、撮影装置は、重畳する画像領域を利用してつなぎ合わせ等を行うことができるので、全天球画像を生成しやすい。

一方で、後面撮影素子１Ｈ２によって撮影される画像は、図４（ｂ）に示すように、全天球カメラ１の後方側の広い範囲、例えば、画角で１８０°の範囲を撮影範囲とする画像である。このように、後面撮影素子１Ｈ２によって撮影される画像は、図４（ａ）と同様の半球画像である。

次に、全天球カメラ１は、歪補正処理及び合成処理等の処理を行い、図４（ａ）に示す前方側の半球画像と、図４（ｂ）に示す後方側の半球画像とに基づいて、図４（ｃ）に示す撮影画像を生成する。すなわち、図４（ｃ）に示す画像は、いわゆるメルカトル（Ｍｅｒｃａｔｏｒ）図法又は正距円筒図法等の方法で生成される画像、すなわち、撮影画像の例である。このように、撮影画像は、図４（ｃ）に示すような、いわゆる全方位カメラ又はいわゆる広角レンズのカメラ等によって、広い視野角の範囲を撮影した画像であるのが望ましい。

さらに、スイッチ１Ｈ３がユーザによって押されることでシャッタボタンを制御するものとしているが、ＰＣ２等の表示装置から遠隔でシャッタボタンを制御するように構成してもよい。

＜撮影装置のハードウェア構成例＞
図５は、本発明の一実施形態に係る撮影装置のハードウェア構成の一例を説明するブロック図である。図示するように、全天球カメラ１は、撮影ユニット１Ｈ４と、画像処理ユニット１Ｈ７、撮影制御ユニット１Ｈ８と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１Ｈ９と、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１Ｈ１０とを有する。また、全天球カメラ１は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１Ｈ１１と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１Ｈ１２と、操作Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１Ｈ１３とを有する。さらに、全天球カメラ１は、ネットワークＩ／Ｆ１Ｈ１４と、無線Ｉ／Ｆ１Ｈ１５と、アンテナ１Ｈ１６とを有する。また、全天球カメラ１が有するハードウェアは、バス１Ｈ１７で接続され、バス１Ｈ１７を介してデータ又は信号を入出力する。

撮影ユニット１Ｈ４は、前面撮影素子１Ｈ１と、後面撮影素子１Ｈ２とを有する。また、前面撮影素子１Ｈ１に対応してレンズ１Ｈ５、後面撮影素子１Ｈ２に対応してレンズ１Ｈ６がそれぞれ設置される。

前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２は、いわゆるカメラユニットである。具体的には、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の光学センサをそれぞれ有する。そして、前面撮影素子１Ｈ１は、レンズ１Ｈ５を通して入射する光を変換し、半球画像等を示す画像データを生成する。同様に、後面撮影素子１Ｈ２は、レンズ１Ｈ６を通して入射する光を変換し、半球画像等を示す画像データを生成する。

次に、撮影ユニット１Ｈ４は、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２が生成するそれぞれの画像データを画像処理ユニット１Ｈ７へ出力する。なお、出力される画像データは、例えば、図４（ａ）に示す前方の半球画像及び図４（ｂ）に示す後方の半球画像等である。

さらに、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２は、高画質の撮影を行うため、レンズ以外に、絞り又はローパスフィルタ等の他の光学要素を更に有してもよい。また、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２は、高画質の撮影を行うために、いわゆる欠陥画素補正又はいわゆる手振れ補正等を行ってもよい。

画像処理ユニット１Ｈ７は、撮影ユニット１Ｈ４から入力される画像データに基づいて、図４（ｃ）に示す全天球画像を生成する。なお、全天球画像を生成する処理の詳細は、後述する。

撮影制御ユニット１Ｈ８は、全天球カメラ１が有するハードウェアを制御する制御装置である。

ＣＰＵ１Ｈ９は、各処理を実現するための演算及びデータの加工を行う演算装置並びにハードウェアの制御を行う制御装置である。例えば、ＣＰＵ１Ｈ９は、あらかじめインストールされるプログラムに基づいて、各処理を実行する。

ＲＯＭ１Ｈ１０、ＳＲＡＭ１Ｈ１１及びＤＲＡＭ１Ｈ１２は、記憶装置の例である。具体的には、ＲＯＭ１Ｈ１０は、例えば、ＣＰＵ１Ｈ９に処理を実行させるためのプログラム、データ又はパラメータ等を記憶する。また、ＳＲＡＭ１Ｈ１１及びＤＲＡＭ１Ｈ１２は、例えば、ＣＰＵ１Ｈ９がプログラムに基づいて処理を実行するのに用いられるプログラム、プログラムが使用するデータ、プログラムが生成するデータ等を記憶する。なお、全天球カメラ１は、ハードディスク等の補助記憶装置を更に有してもよい。

操作Ｉ／Ｆ１Ｈ１３は、スイッチ１Ｈ３等の入力装置と接続され、全天球カメラ１に対するユーザの操作を入力する処理を行うインタフェースである。例えば、操作Ｉ／Ｆ１Ｈ１３は、スイッチ等の入力装置、入力装置を接続するためのコネクタ、ケーブル、入力装置から入力される信号を処理する回路、ドライバ及び制御装置等である。なお、操作Ｉ／Ｆ１Ｈ１３は、ディスプレイ等の出力装置を更に有してもよい。また、操作Ｉ／Ｆ１Ｈ１３は、入力装置と、出力装置とが一体となったいわゆるタッチパネル等でもよい。さらに、操作Ｉ／Ｆ１Ｈ１３は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを有し、フラッシュメモリ等の記録媒体を全天球カメラ１に接続してもよい。これによって、操作Ｉ／Ｆ１Ｈ１３は、全天球カメラ１から記録媒体にデータを入出力してもよい。

なお、スイッチ１Ｈ３は、シャッタに係る操作以外の操作を行うための電源スイッチ及びパラメータ入力スイッチ等でもよい。

ネットワークＩ／Ｆ１Ｈ１４、無線Ｉ／Ｆ１Ｈ１５及びアンテナ１Ｈ１６は、無線又は有線で、外部装置と全天球カメラ１を接続させる。例えば、全天球カメラ１は、ネットワークＩ／Ｆ１Ｈ１４によって、ネットワークに接続し、ＰＣ２（図１）へデータを送信する。なお、ネットワークＩ／Ｆ１Ｈ１４、無線Ｉ／Ｆ１Ｈ１５及びアンテナ１Ｈ１６は、ＵＳＢ等の有線で他の外部装置と接続するハードウェアでもよい。すなわち、ネットワークＩ／Ｆ１Ｈ１４、無線Ｉ／Ｆ１Ｈ１５及びアンテナ１Ｈ１６は、コネクタ及びケーブル等でもよい。

バス１Ｈ１７は、全天球カメラ１が有するハードウェア間で、データ等を入出力するのに用いられる。すなわち、バス１Ｈ１７は、いわゆる内部バスである。具体的には、バス１Ｈ１７は、例えば、ＰＣＩ Ｅｘｐｒｅｓｓ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｂｕｓ Ｅｘｐｒｅｓｓ）等である。

なお、全天球カメラ１は、撮影素子が２つである場合に限られない。例えば、３つ以上の撮影素子を有してもよい。さらに、全天球カメラ１は、１つの撮影素子の撮影角度を変えて、複数の部分画像を撮影してもよい。また、全天球カメラ１は、魚眼レンズを用いる光学系に限られない。例えば、広角レンズを用いてもよい。

なお、全天球カメラ１が行う処理は、他の装置が行ってもよい。例えば、処理の一部又は全部は、全天球カメラ１がデータ及びパラメータ等を送信し、ＰＣ２又はネットワークで接続される他の情報処理装置が行ってもよい。このようにして、画像処理システムは、複数の情報処理装置を有し、処理を分散、冗長又は並列に行ってもよい。

＜画像処理装置のハードウェア構成例＞
図６は、本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を説明するブロック図である。図示するように、画像処理装置の一例であるＰＣ２は、補助記憶装置２Ｈ１と、主記憶装置２Ｈ２と、入力装置２Ｈ３と、出力装置２Ｈ４と、ＣＰＵ２Ｈ５と、ネットワークＩ／Ｆ２Ｈ６とを有する。また、ＰＣ２が有するハードウェアは、バス２Ｈ７で接続され、バス２Ｈ７を介してデータ又は信号を入出力する。

補助記憶装置２Ｈ１は、データ、パラメータ又はプログラム等を記憶する。具体的には、補助記憶装置２Ｈ１は、例えば、ハードディスク、フラッシュＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。なお、補助記憶装置２Ｈ１が記憶するデータは、ネットワークＩ／Ｆ２Ｈ６で接続されるファイルサーバ等が一部又は全部を冗長又は代わりに記憶してもよい。

主記憶装置２Ｈ２は、処理を実行するためのプログラムが使用する記憶領域となる、いわゆるワークメモリ等である。すなわち、主記憶装置２Ｈ２は、データ、プログラム又はパラメータ等を記憶する。具体的には、主記憶装置２Ｈ２は、例えば、ＳＲＡＭ又はＤＲＡＭ等である。なお、主記憶装置２Ｈ２は、記憶及び取出を行う制御装置を更に有してもよい。

入力装置２Ｈ３は、画像又は処理結果等を表示する出力装置及びユーザによる操作を入力する入力装置である。具体的には、入力装置２Ｈ３は、キーボード又はマウス等の入力装置である。そして、入力装置２Ｈ３は、例えば、表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等に対するユーザによる操作を入力する。

出力装置２Ｈ４は、ＰＣ２による処理結果又は画像等をユーザに表示するディスプレイ等である。なお、入力装置２Ｈ３及び出力装置２Ｈ４は、いわゆるタッチパネル等のように、一体の装置でもよい。

ＣＰＵ２Ｈ５は、各処理を実現するための演算及びデータの加工を行う演算装置並びにハードウェアの制御を行う制御装置である。なお、ＣＰＵ２Ｈ５は、並列、冗長又は分散して処理するために、複数のＣＰＵ、デバイス又は複数のコア（ｃｏｒｅ）から構成されてもよい。また、ＰＣ２は、処理を行うため、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の補助装置を内部又は外部に更に有してもよい。

ネットワークＩ／Ｆ２Ｈ６は、無線又は有線で、ネットワークを介して外部装置と接続する。具体的には、ネットワークＩ／Ｆ２Ｈ６は、データ等を入出力するためのアンテナ、周辺回路及びドライバ等である。例えば、ＰＣ２は、ＣＰＵ２Ｈ５及びネットワークＩ／Ｆ２Ｈ６によって、全天球カメラ１（図１）等から画像データを入力する。一方で、ＰＣ２は、ＣＰＵ２Ｈ５及びネットワークＩ／Ｆ２Ｈ６によって、全天球カメラ１等へデータ等を出力する。

なお、画像処理装置は、ＰＣに限られない。すなわち、画像処理装置は、ＰＣ以外のコンピュータでもよい。例えば、画像処理装置は、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）、タブレット、携帯電話器又はこれらの組み合わせ等でもよい。また、画像処理装置は、１つの装置に限られず、複数の装置で構成されてもよい。

＜撮影画像の例＞
図７は、本発明の一実施形態に係る撮影画像の一例を説明する図である。図は、図７（ａ）及び図７（ｂ）に示す半球画像から、撮影画像を生成する例を示す。なお、図７（ａ）は、図４（ａ）に示す半球画像を光軸に対して水平方向及び垂直方向の入射角が等位となる箇所を線で結んで示す図である。以下、光軸に対して水平方向の入射角を「θ」、光軸に対して垂直方向の入射角を「φ」という。さらに、図７（ｂ）は、図７（ａ）と同様に、図４（ｂ）に示す半球画像を光軸に対して水平方向及び垂直方向の入射角が等位となる箇所を線で結んで示す図である。

また、図７（ｃ）は、メルカトル図法によって処理された画像の一例を説明する図である。具体的には、図７（ｃ）に示す画像は、例えば、図７（ａ）及び図７（ｂ）に示す画像をあらかじめ生成されるＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）等で対応させ、正距円筒図法によって処理されると、生成される画像である。そして、画像が図７（ｃ）に示す状態となった後、それぞれの画像を図７（ｄ）に示すように合成すると、全天球画像が、撮影装置によって生成される。このように、合成処理は、例えば、図７（ｃ）に示す状態の半球画像を２つ以上用いて、全天球画像を生成する処理である。なお、合成処理は、図７（ｄ）に示すように、図７（ｃ）に示す状態の半球画像を単に連続して配置する処理に限られない。例えば、全天球画像の水平方向中心がθ＝１８０°以外の角度であると、合成処理において、撮影装置は、まず、図４（ａ）に示す半球画像を前処理し、前処理された画像を全天球画像の中心に配置する。次に、撮影装置は、生成する画像の左右部分に、図４（ｂ）に示す半球画像を前処理した画像を左右部分に配置できる大きさに分割し、半球画像を合成して図４（ｃ）に示す全天球画像を生成してもよい。

なお、全天球画像を生成する処理は、正距円筒図法による処理に限られない。例えば、φ方向において、図７（ｂ）に示す半球画像が有する画素の並びと、図７（ａ）に示す半球画像が有する画素並びとが、上下が逆であり、かつ、θ方向においてそれぞれの画素の並びが左右逆である、いわゆる天地逆転となる場合がある。このように、天地逆転の状態であると、撮影装置は、前処理において、図７（ｂ）に示す半球画像を図７（ａ）のφ方向及びθ方向の画素の並びと揃えるために、１８０°Ｒｏｌｌ回転させる処理等を行ってもよい。

また、全天球画像を生成する処理は、図７（ａ）及び図７（ｂ）に示す半球画像が有するそれぞれの歪曲収差を補正する歪補正処理等が行われてもよい。さらに、全天球画像を生成する処理は、例えば、シェーディング補正、ガンマ補正、ホワイトバランス、手振れ補正、オプティカル・ブラック補正処理、欠陥画素補正処理、エッジ強調処理又はリニア補正処理等が行われてもよい。なお、合成処理は、例えば、半球画像の撮影範囲と、他方の半球画像の撮影範囲とが重複する場合には、重複する撮影範囲に撮影される被写体の画素を利用して補正を行うと、精度良く半球画像を合成することができる。

このような全天球画像を生成する処理によって、全天球カメラ１は、撮影される複数の半球画像から全天球画像を生成する。なお、全天球画像は、別の処理によって生成されてもよい。

＜画像処理装置による全体処理例＞
図８は、本発明の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。例えば、図１に示すＰＣ２は、図示するような処理を行う。

＜撮影画像の入力例＞
ステップＳ１０１では、ＰＣ２は、撮影画像を入力する。例えば、まず、全天球カメラによる図７に示すような処理によって、全天球画像等の撮影画像が生成される。そして、図１に示すように、全天球カメラ１から、ＰＣ２に撮影画像が送信されると、ＰＣ２に、撮影画像が入力される。

＜多面体の種類の設定例＞
ステップＳ１０２では、ＰＣ２は、多面体の種類を設定する。例えば、ＰＣ２は、以下のような設定画面をユーザに表示して、多面体の種類をユーザに選択させる操作を入力する。

図９は、本発明の一実施形態に係る画像処理装置によって表示される多面体の種類の設定画面例を示す図である。例えば、ステップＳ１０２では、ＰＣ２は、図示するような第１設定画面ＰＮ１を表示する。

図示する例では、第１設定画面ＰＮ１は、多面体を選択する操作を入力するためのＧＵＩを表示する。具体的には、ＧＵＩは、例えば、第１ボタンＢＴ１、第２ボタンＢＴ２、第３ボタンＢＴ３、第４ボタンＢＴ４及び第５ボタンＢＴ５である。より具体的には、ユーザは、第１ボタンＢＴ１を押す操作を行うと、「４面体」の種類を選択することができる。同様に、ユーザは、第２ボタンＢＴ２を押す操作を行うと、「６面体」の種類を選択することができる。このようにして、第１ボタンＢＴ１、第２ボタンＢＴ２、第３ボタンＢＴ３、第４ボタンＢＴ４及び第５ボタンＢＴ５等のＧＵＩを用いて、多面体の種類を設定するユーザの操作がＰＣに入力される。

図８に戻り、ステップＳ１０３では、ＰＣ２は、多面体の種類が設定されたか否かを判断する。そして、多面体の種類が設定されたとＰＣ２が判断すると（ステップＳ１０３でＹＥＳ）、ＰＣ２は、Ｓ１０４に進む。一方で、多面体の種類が設定されてないとＰＣ２が判断すると（ステップＳ１０３でＮＯ）、ＰＣ２は、Ｓ１０２に進む。

＜置き方の設定例＞
ステップＳ１０４では、ＰＣ２は、多面体の置き方を設定する。例えば、ＰＣ２は、以下のような設定画面をユーザに表示して、多面体の置き方をユーザに選択させる操作を入力する。

図１０は、本発明の一実施形態に係る画像処理装置によって表示される多面体の置き方の設定画面例を示す図である。例えば、ステップＳ１０４では、ＰＣ２は、図示するような第２設定画面ＰＮ２を表示する。図示する第２設定画面ＰＮ２は、３種類の置き方を表示する画面の例である。置き方は、例えば、以下の３種類である。なお、以下の説明では、多面体の種類に「６面体」が設定された例で説明する。

図１１は、本発明の一実施形態に係る画像処理装置によって表示される多面体の置き方の一例を示す図である。図１１（ａ）は、多面体ＰＯＬが有する複数の面のうち、１面が接地する置き方の例を示す。なお、図１１（ａ）に図示するような置き方を以下の説明では「床置き」という。図示するように、「床置き」は、多面体ＰＯＬを床ＦＲに置く場合に、床ＦＲと接地する範囲が「面」となる場合である。なお、多面体ＰＯＬを床ＦＲに置くと、底になる面を以下の説明では「底面ＢＦ」という。また、底面ＢＦは、多面体ＰＯＬが床ＦＲに置かれると、面に画像形成された画像が隠れる面である。

図１１（ｂ）は、多面体ＰＯＬが有する複数の頂点のうち、１点が接地する置き方の例を示す。なお、図１１（ｂ）に図示するような置き方を以下の説明では「ぶら下げ」という。例えば、図１１（ｂ）に図示するように、多面体ＰＯＬが有する複数の頂点のうち、１点（以下「支点ＳＰ」という。）が接地する置き方である。なお、支点ＳＰには、棒等が支えとして設置され、多面体ＰＯＬが支えられてもよい。図示するように、「ぶら下げ」は、多面体ＰＯＬを床ＦＲに置く場合に、床ＦＲ等と接地する範囲が「点」となる場合である。

図１１（ｃ）は、多面体ＰＯＬが有する複数の辺のうち、１辺が接地する置き方の例を示す。なお、図１１（ｃ）に図示するような置き方を以下の説明では「ケース置き」という。図示するように、「ケース置き」は、多面体ＰＯＬを床ＦＲに置く場合に、床ＦＲと接地する範囲が「辺」となる場合である。なお、多面体ＰＯＬを床ＦＲに置くと、底になる辺を以下の説明では「底辺ＳＳＩ」という。図示するように、「ケース置き」では、底辺ＳＳＩが接地する。

このように、置き方が変わると、同じ多面体であっても、最上部となる箇所が異なる。例えば、最上部は、置き方によって、以下のようになる。

図１２は、本発明の一実施形態に係る多面体における最上部の一例を示す図である。例えば、図１１（ａ）に示すように、多面体ＰＯＬが「床置き」にされると、多面体ＰＯＬの最上部は、図１２（ａ）に示すように、面ＳＤの中心となる。また、図１１（ｂ）に示すように、多面体ＰＯＬが「ぶら下げ」にされると、多面体ＰＯＬの最上部は、図１２（ｂ）に示すように、点ＰＴとなる。さらに、図１１（ｃ）に示すように、多面体ＰＯＬが「ケース置き」にされると、多面体ＰＯＬの最上部は、図１２（ｃ）に示すように、辺ＳＩの中心となる。

図１０に戻り、図示する第２設定画面ＰＮ２では、第６ボタンＢＴ６が押されると、「床置き」が設定され、第７ボタンＢＴ７が押されると、「ぶら下げ」が設定される。また、第８ボタンＢＴ８が押されると、「ケース置き」が設定される。

図８に戻り、ステップＳ１０５では、ＰＣ２は、置き方が設定されたか否かを判断する。そして、置き方が設定されたとＰＣ２が判断すると（ステップＳ１０５でＹＥＳ）、ＰＣ２は、Ｓ１０６に進む。一方で、置き方が設定されてないとＰＣ２が判断すると（ステップＳ１０５でＮＯ）、ＰＣ２は、Ｓ１０４に進む。

＜座標の変換例＞
ステップＳ１０６では、ＰＣ２は、座標を変換する。例えば、以下のように、ＰＣ２は、３次元座標に対応する撮影画像上の２次元座標を計算する。以下、３次元座標を（Ｘ，Ｙ，Ｚ）とし、撮影画像における２次元座標を（ｘ，ｙ）とする。なお、Ｚ軸は、垂直方向、すなわち、重力方向を示す軸である。また、Ｙ軸は、奥行き方向を示す軸である。さらに、Ｘ軸は、奥行き方向に対して直交方向を示す軸である。

図１３のステップＳ２０１では、ＰＣ２は、３次元座標を正規化する。例えば、ＰＣ２は、下記（１）式を用いて３次元座標（Ｘ，Ｙ，Ｚ）を正規化する。

上記（１）式では、正規化した「Ｘ」、「Ｙ」、「Ｚ」をそれぞれ「ｔｍｐｘ」、「ｔｍｐｙ」、「ｔｍｐｚ」とする。

続いて、ＰＣ２は、正規化された３次元座標のうち、Ｘ座標成分及びＹ座標成分、すなわち、（ｔｍｐｘ，ｔｍｐｙ）に基づいて、ステップＳ２０２を行う。

ステップＳ２０２では、ＰＣ２は、「ｔｍｐｘ＝０」かつ「ｔｍｐｙ＝０」であるか否かを判断する。そして、「ｔｍｐｘ＝０」かつ「ｔｍｐｙ＝０」であるとＰＣ２が判断すると（ステップＳ２０２でＹＥＳ）、ＰＣ２は、ステップＳ２０６に進む。一方で、「ｔｍｐｘ＝０」かつ「ｔｍｐｙ＝０」でないとＰＣ２が判断すると（ステップＳ２０２でＮＯ）、ＰＣ２は、ステップＳ２０３に進む。

ステップＳ２０３では、ＰＣ２は、下記（２）式に基づく計算を行う。

ステップＳ２０４では、ＰＣ２は、「ｔｍｐｙ２」が「０」より大きいか否かを判断する。そして、「ｔｍｐｙ２」が「０」より大きいとＰＣ２が判断すると（ステップＳ２０４でＹＥＳ）、ＰＣ２は、ステップＳ２０５に進む。一方で、「ｔｍｐｙ２」が「０」より大きくないとＰＣ２が判断すると（ステップＳ２０４でＮＯ）、ＰＣ２は、ステップＳ２０６に進む。

ステップＳ２０５では、ＰＣ２は、下記（３）式に基づく計算を行う。

一方で、ステップＳ２０６では、ＰＣ２は、下記（４）式に基づく計算を行う。このとき、ステップＳ２０２でＹＥＳと判断されてステップＳ２０６に進む場合には、上記（２）式によって、「ｔｍｐｘ２」が計算されていない。そのため、ＰＣ２は、「ｔｍｐｘ」を「ｔｍｐｘ２」として（すなわち、ｔｍｐｘ２＝ｔｍｐｘとして）、下記（４）式に基づく計算を行う。

以上のように、ＰＣ２は、上記（３）式又は上記（４）式に基づいて、２次元座標のうち、「ｘ」を計算する。

ステップＳ２０７では、ＰＣ２は、下記（５）式に基づく計算を行う。

なお、上記（３）式、（４）式及び（５）式において、「ｗｉｄｔｈ」は、撮影画像の幅方向、すなわち、ｘ軸方向の撮影画像の大きさを示す。また、「ｈｅｉｇｈｔ」は、撮影画像の高さ方向、すなわち、ｙ軸方向の撮影画像の大きさを示す。

以上のように計算すると、ＰＣ２は、３次元座標（Ｘ，Ｙ，Ｚ）を２次元座標（ｘ，ｙ）に変換することができる。そのため、ＰＣ２は、多面体における各３次元座標（Ｘ，Ｙ，Ｚ）に画像形成させる撮影画像における２次元座標（ｘ，ｙ）を特定できる。

図８に戻り、ステップＳ１０７では、ＰＣ２は、出力画像に基づいて画像形成を行う。例えば、生成される出力画像は、以下のような画像である。

図１４は、本発明の一実施形態に係る出力画像の表示画面例を示す図である。図示する表示画面ＰＮ３は、いわゆる印刷プレビュー画面等である。

図示するように、出力画像は、いわゆる展開図の形式で生成される。図示する展開図は、画像形成された画像を紙から切り抜いて組み立てると、「６面体」が形成される図の例を示す。このように、表示画面ＰＮ３に表示される出力画像が、プリンタ３（図１）に送られると、図示する展開図と同様の画像が紙等に画像形成される。

ＰＣ２は、以下のようなデータを用いて展開図を示す出力画像を生成する。

＜データ例＞
まず、ＰＣ２には、あらかじめ下記（表１）に示すようなテーブルデータが入力される。

上記（表１）に示すテーブルデータは、ＰＣ２に登録される多面体の種類を定める。つまり、上記（表１）に登録されている形状が、図９に示す第１設定画面ＰＮ１において設定できる多面体の種類となる。上記（表１）において、「面の形」は、多面体が有する各面の形状を示し、例えば、「３」は、「三角形」であり、同様に、「４」は、「四角形」を示す。また、「面数」は、展開図において形成される面の数を示す。さらに、「形状ＩＤ」は、上記（表１）に示す各形状を特定する番号等である。さらにまた、「形状名」は、各形状の一般名称を示す。また、「形状画像」は、各形状を示す画像のファイル名を示す。

そして、上記（表１）に示す各形状には、例えば、下記（表２）に示す頂点が対応付けされる。

上記（表２）は、上記（表１）に示す各形状の多面体が有する頂点と、各頂点の３次元座標とを対応付けさせるテーブルである。なお、上記（表２）に示すテーブルデータは、あらかじめＰＣ２に入力される。上記（表２）において、「頂点ＩＤ」は、各頂点を特定する番号等である。また、「頂点Ｎｏ．」は、各形状において各頂点を特定する番号である。さらに、「形状ＩＤ」は、上記（表１）に示す各形状を特定する番号等である。さらにまた、「座標」は、各頂点の３次元座標を示す。上記（表２）に示す例では、「形状ＩＤ」が「００１」である行は、上記（表１）における「形状ＩＤ」が「００１」に対応する。すなわち、上記（表２）において、「頂点ＩＤ」が「００１」乃至「００４」の行は、「４面体」についての頂点を示す。したがって、頂点に係るデータは、４つである。

次に、置き方は、例えば、下記（表３）に示すテーブルデータに基づいて定まる。

上記（表３）は、上記（表１）に示す各形状と、置き方とを対応付けさせるテーブルである。なお、上記（表３）に示すテーブルデータは、あらかじめＰＣ２に入力される。上記（表３）において、「形状ＩＤ」は、上記（表１）に示す各形状を特定する番号等である。また、「置き方ＩＤ」は、置き方の種類を特定する番号である。さらに、「置き方の名称」は、各置き方の名称を示す。さらにまた、「最上部となる箇所の座標」は、多面体が「置き方ＩＤ」に示す置き方となると、最上部となる箇所の座標を示す。また、「置き方画像」は、置き方を示す画像のファイル名を示す。上記（表３）に基づいて、図１０に示す第２設定画面ＰＮ２が表示される。この例では、置き方は、「床置き」、「ぶら下げ」及び「ケース置き」の３種類が上記（表３）に入力されているため、第２設定画面ＰＮ２では、３種類の置き方が設定できる。また、上記（表３）に示す「最上部となる箇所の座標」が、撮影画像の２次元座標に、図１３による処理によって変換される。

次に、形状ごとに、各展開図が有する面と、各面が有する頂点とは、例えば、下記（表４）に示すテーブルデータに基づいて定まる。なお、上記（表４）に示すテーブルデータは、あらかじめＰＣ２に入力される。

上記（表４）に示すテーブルデータは、まず、上記（表１）で定まる形状と、各形状において多面体が有する面とを対応付けさせる。具体的には、「形状ＩＤ」が「００１」となる場合は、上記（表１）に示すように、多面体の種類が「４面体」となる場合である。「４面体」である場合には、多面体が有する面は、「４つ」である。そこで、上記（表４）では、「面Ｎｏ．」は、「１」乃至「４」の番号によって、「４面体」が有する各面を特定する。つまり、上記（表４）では、「４面体」が有する「４つ」の面に、それぞれ異なる「面Ｎｏ．」が設定される。

このように、上記（表４）において、「形状ＩＤ」は、上記（表１）に示す「形状ＩＤ」と対応する。また、「面Ｎｏ．」は、多面体が有する各面を特定する番号等である。さらに、「面頂点Ｎｏ．」は、各面が有する頂点を特定する番号等である。具体的には、「４面体」である場合には、各面は、「三角形」であるため、各面は、３つずつ頂点を有する。したがって、上記（表４）において、各面には、３つずつ「面頂点Ｎｏ．」が設定される。さらにまた、「座標」は、各頂点の展開図における２次元座標を示す。

また、各多面体が有する各頂点は、２次元座標と、３次元座標とが下記（表５）に示すテーブルデータによって対応付けされる。

上記（表５）に示すテーブルデータは、まず、上記（表４）で定まる各頂点と、上記（表２）で定まる各頂点とを対応付けさせる。具体的には、上記（表５）は、「面頂点Ｎｏ．」で示す頂点と、「頂点Ｎｏ．」とをリンクさせる。「面頂点Ｎｏ．」は、上記（表４）によって、２次元座標、すなわち、展開図における座標が特定できる番号等である。一方で、「頂点Ｎｏ．」は、上記（表２）によって、３次元座標、すなわち、多面体を組み立てた場合における３次元座標が特定できる番号等である。

さらに、画像処理装置は、以下のような補正処理を更に行うのが望ましい。

画像処理装置は、まず、展開図における２次元面上で、注目点が、展開図の境界線上に位置するか否かを判断する。具体的には、画像処理装置は、上記（表４）によって、展開図を構成する各面の頂点となる座標が分かる。したがって、画像処理装置は、注目点が、展開図において、どの面の境界の内側となるかが判断できる。

次に、画像処理装置は、展開図の境界の内側にある各点が、展開図を組み立てると形成される多面体上において、どこの３次元座標となるかを計算する必要がある。そこで、まず、画像処理装置は、展開図における２次元面上で、注目点が、どの面に位置するかを特定する。そして、画像処理装置は、特定された面の中で補完を行う。例えば、展開図における２次元面上の注目点（以下「スタート頂点」という。）は、特定される面の頂点から、特定される面に対して隣接する２つの頂点（以下「終了頂点」という。）に向かう２つのベクトルの重み付け加算で表現される。

なお、展開図における２次元面上で、１つのスタート頂点及び２つの終了頂点は、多面体上の３次元座標における３つの頂点と、各頂点のそれぞれの３次元座標とを上記（表２）、上記（表４）及び上記（表５）を用いると特定できる。このようにして、画像処理装置は、２次元面上の２つのベクトルに対応する３次元空間上の２つのベクトルを特定できる。そして、画像処理装置は、スタート頂点から展開する２つのベクトルの重み付け加算の終了点として、注目点の３次元座標を特定する。

さらに、撮影画像の天頂の３次元座標が、置き方に基づいて定まる最上部となる箇所の３次元座標（０，０，Ｚ１）（Ｚ１は、任意の値となる。）と異なる場合には、画像処理装置は、３次元での回転変換等によって、注目点の３次元座標を補正する。この回転変換は、原点から頂点までのベクトルと、原点から（０，０，Ｚ１）、つまり、頂点を（０，０，Ｚ１）とする場合のベクトルとの両方のベクトルに対して、垂直となる軸を中心にした回転となる。なお、原点は、多面体の中心であるとする。

このような回転変換を行うため、まず、画像処理装置は、原点から頂点までのベクトルと、原点から（０，０，Ｚ１）までのベクトルとの外積を計算する。このような外積が計算できると、画像処理装置は、回転変換の回転軸を特定できる。

また、原点から頂点までのベクトルと、原点から（０，０，Ｚ１）までのベクトルとの内積を計算すると、画像処理装置は、回転変換の回転角度を特定できる。このようにして特定された回転変換によって補正すると、画像処理装置は、撮像画像上の天頂に、最上部となる箇所を配置させる天頂補正を行うことができる。次に、図１３に示す変換等を行うと、画像処理装置は、最上部となる箇所に、撮影画像における天頂が配置される展開図を画像形成できる。

以上のようなデータを用いると、画像処理装置は、多面体を組み立てた場合の３次元座標と、展開図における２次元座標とを対応させることができる。そして、図１３に示す変換処理によって、各３次元座標と、撮影画像における座標とが対応付けされると、画像処理装置は、展開図の各座標に画像形成させる撮影画像の座標を特定することができる。

＜変形例１＞
展開図の形状は、ユーザが以下のように選択できてもよい。

図１５は、本発明の一実施形態に係る展開図の選択画面例を示す図である。例えば、ＰＣ２は、図示するような選択画面ＰＮ４を表示してもよい。具体的には、この例では、選択画面ＰＮ４は、「６面体」の展開図をユーザに選択させる選択画面の例を示す。

図１５（ａ）に図示するように、選択画面ＰＮ４は、第１選択肢ＳＥＬ１と、第２選択肢ＳＥＬ２との展開図を選ぶことができる選択画面である。例えば、選択画面ＰＮ４において、ユーザの操作によって、第１選択肢ＳＥＬ１が選択されると、印刷プレビュー画面となる表示画面ＰＮ３は、図１５（ｂ）に示すようになる。一方で、選択画面ＰＮ４において、ユーザの操作によって、第２選択肢ＳＥＬ２が選択されると、印刷プレビュー画面となる表示画面ＰＮ３は、図１５（ｃ）に示すようになる。このように、ユーザは、同じ種類の多面体を画像形成させる場合であっても、展開図の種類を選択することができる。

＜変形例２＞
他にも、ＰＣ２には、ユーザの設定によって、所定の面に撮影画像と異なる所定の画像が画像形成されるように設定できてもよい。以下、所定の画像の例としてＱＲコード（登録商標）が画像形成される場合の例で説明する。

図１６は、本発明の一実施形態に係る所定の画像の設定画面例を示す図である。例えば、ＰＣ２は、図１６（ａ）に図示するような画像設定画面ＰＮ５を表示する。この例では、ユーザの操作によって、「あり」が選択されると、入力するファイル名の画像が、展開図において所定の面に画像形成される。一方で、ユーザの操作によって、「なし」が選択されると、展開図のすべての面には、撮影画像が示す画像が画像形成される。

なお、所定の面は、底面ＢＦであるのが望ましい。すなわち、ＱＲコード（登録商標）等の所定の画像は、図１６（ｂ）に示すように、底面ＢＦに画像形成されるのが望ましい。底面ＢＦは、床に置かれている場合には、画像が隠れてしまう面である。そのため、ＱＲコード（登録商標）のような画像は、底面ＢＦに画像形成され、床に置かれている間では、見えない状態であるのが望ましい。なお、所定の面は、ユーザが設定できてもよい。

一方で、図１６（ａ）に示す画像設定画面ＰＮ５において、「なし」が選択されると、図１６（ｃ）に示すように、底面ＢＦには、他の面と同様に、撮影画像が画像形成される。なお、所定の画像は、ＱＲコード（登録商標）に限られず、他の画像又はコード等でもよい。

＜変形例３＞
展開図には、組み立てにおいて糊付けに用いられる余白、いわゆる糊代が作成されてもよい。

図１７は、本発明の一実施形態に係る出力画像の一例を示す図である。なお、図示する展開図は、撮影画像に図４（ｃ）に示す画像が用いられる例である。また、図示する展開図は、組み立てると「１２面体」の多面体になる展開図である。

図１７（ａ）に示す出力画像は、糊代となる余白ＢＬが各面の辺に形成される例を示す。ユーザは、展開図を紙等から切り抜いて、多面体を組み立てるのに、各面を貼り合わせる。このように、各面を貼り合わせるのに、図示するような余白ＢＬがあると、貼り合わせに用いる接着剤又は糊等を付着させるスペースを確保することができる。

また、図１７（ｂ）に示す出力画像は、貼り合わせるための面の例である第１面ＢＳ１が形成される例を示す。この例では、第１面ＢＳ１は、第２面ＢＳ２と同様の画像が画像形成された面である。第１面ＢＳ１は、組み立てると、第２面ＢＳ２に重なる面である。すなわち、組み立てにおいて、第１面ＢＳ１が第２面ＢＳ２に重ねられると、多面体が完成する。第１面ＢＳ１のような面があると貼り合わせが容易となる。なお、第１面ＢＳ１は、図示する形状に限られず、例えば、１面の半分の大きさでもよい。

このようにして、貼り合わせるための余白又は面が形成されると、画像処理装置は、組み立てやすい展開図を示す出力画像を生成することができる。また、多面体に持ち手となるスペースができるように、余白又は面等が展開図に形成されてもよい。

＜変形例４＞
画像処理装置は、例えば、以下のように、撮影画像を縮小又は平行移動させてもよい。

図１８は、本発明の一実施形態に係る撮影画像の縮小例を示す図である。以下、図４（ｃ）に示す画像をＰＣ２に入力する例で説明する。したがって、この例では、入力画像ＩＭＧ１は、図４（ｃ）に示す画像と同様である。そして、画像処理装置は、入力画像ＩＭＧ１を図示するように縮小して縮小画像ＩＭＧ２を生成する。

図示するように、縮小画像ＩＭＧ２は、入力画像ＩＭＧ１を縦方向（ｙ軸）について縮小した画像である。このように、撮影画像の天頂方向（図では、上方向である。）に画像が縮小された縮小画像ＩＭＧ２が用いられると、撮影画像には、空白ＢＬＳが発生する。例えば、図１１（ａ）に示すように、「４面体」の「床置き」である場合には、空白ＢＬＳが、底面ＢＦに相当するようになる。したがって、このように、縮小がされると、撮影画像に写る被写体等が底面ＢＦ以外の面に画像形成されるため、画像処理装置は、撮影画像に写る被写体等を組み立てた多面体において見える位置に画像形成する出力画像を生成することができる。

なお、画像処理装置は、以下のように、撮影画像を平行移動させてもよい。

図１９は、本発明の一実施形態に係る撮影画像の平行移動例を示す図である。以下、図１８と同様に、図４（ｃ）に示す画像をＰＣ２に入力する例で説明する。そして、画像処理装置は、入力画像ＩＭＧ１を図示するように平行移動させて平行移動画像ＩＭＧ３を生成する。例えば、入力画像ＩＭＧ１において天頂に近い上部分（図では、入力画像ＩＭＧ１の上部分である。）に、被写体がなく、空等の風景が写る場合には、上部分は、多面体に画像形成される画像から省略されてもよい場合がある。

そこで、図示するように、画像処理装置は、入力画像ＩＭＧ１を天頂方向に向かって平行移動させて平行移動画像ＩＭＧ３を生成する。このように、平行移動が行われると、平行移動画像ＩＭＧ３は、入力画像ＩＭＧ１の上部分が省略され、平行移動画像ＩＭＧ３の下部分に、図１８と同様に空白ＢＬＳが発生する。

このようにして、画像処理装置は、撮影画像に写る被写体等を組み立てた多面体において見える位置に画像形成する出力画像を生成することができる。

他にも、入力画像の下部分に所定の被写体が写る場合がある。例えば、全天球カメラを用いて撮影する場合には、シャッタボタンを押すユーザの指等が所定の被写体となって写る場合がある。なお、画像処理装置は、例えば、肌色が所定の範囲以上あるか否か等を判定することによって、指等の所定の被写体を認識することができる。このように、所定の被写体が入力画像の下部分に写る場合には、画像処理装置は、所定の被写体が底面に画像形成されるように、画像を縮小又は平行移動させてもよい。

＜変形例５＞
撮影画像において天頂となる座標は、指定できてもよい。以下、図４（ｃ）に示す画像をＰＣ２に入力する例で説明する。例えば、画像処理装置は、以下のような処理を行う。

図２０は、本発明の一実施形態に係る画像処理装置による天頂となる座標を変更する処理の一例を示すフローチャートである。

ステップＳ３０１では、ＰＣ２は、新しく天頂となる座標を指定する。以下、図を用いて座標の指定方法を説明する。

図２１は、本発明の一実施形態に係る撮影画像における天頂となる座標の指定例を示す図である。図示するように、入力画像ＩＭＧ１において、例えば、天頂となる座標が第１座標Ｐ１であるとする。すなわち、第１座標Ｐ１が、初期値である。そして、ユーザの操作等による指定によって、天頂とする座標は、変更されてもよい。具体的には、ユーザは、例えば、第２座標Ｐ２を指定する。このようにすると、指定された第２座標Ｐ２が、天頂となるように変更される。具体的には、ＰＣ２は、以下のように処理する。

図２０に戻り、ステップＳ３０２では、ＰＣ２は、指定された座標の３次元座標を計算する。例えば、ＰＣ２は、下記（６）式に基づいて、指定された座標の３次元座標を計算する。

上記（６）式では、上記（３）式、（４）式及び（５）式と同様に、「ｗｉｄｔｈ」は、撮影画像の幅方向、すなわち、ｘ軸方向の撮影画像の大きさを示す。また、「ｈｅｉｇｈｔ」は、撮影画像の高さ方向、すなわち、ｙ軸方向の撮影画像の大きさを示す。さらに、（ｘ，ｙ）は、指定された撮影画像における２次元座標である。そして、上記（６）式によって計算される３次元座標（Ｘ，Ｙ，Ｚ）が、（ｘ，ｙ）によって指定された新たな天頂に対応した座標となる。

以上のように、処理が行われると、ＰＣ２は、ユーザが指定する撮影画像における座標を撮影画像の天頂とすることができる。

＜機能構成例＞
図２２は、本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。例えば、ＰＣ２は、設定部２Ｆ１と、変換部２Ｆ２と、出力画像生成部２Ｆ３とを備える。また、図示するように、ＰＣ２は、指定部２Ｆ４を更に備える機能構成であるのが望ましい。

設定部２Ｆ１は、多面体の種類を設定する。なお、設定部２Ｆ１は、例えば、入力装置２Ｈ３（図６）等によって実現される。

変換部２Ｆ２は、展開図が画像形成された媒体を組み立てると最上部となる箇所に、撮影画像における天頂が画像形成されるように、撮影画像における座標を、組み立てると多面体となり、媒体に画像形成される展開図における座標に変換する。なお、変換部２Ｆ２は、例えば、ＣＰＵ２Ｈ５（図６）等によって実現される。

出力画像生成部２Ｆ３は、変換部２Ｆ２によって変換された座標に基づいて、出力画像ＩＭＧＯＵＴを生成する。なお、出力画像生成部２Ｆ３は、例えば、ＣＰＵ２Ｈ５（図６）等によって実現される。

指定部２Ｆ４は、頂点となる座標を指定する。例えば、指定部２Ｆ４は、入力装置２Ｈ３（図６）等によって実現される。

展開図は、組み立てると、多面体となる図である。そして、多面体は、様々な種類があり、さらに、多面体は、様々な置き方がされる。そこで、ＰＣ２は、設定部２Ｆ１によって、例えば、図９及び図１０のように、多面体の種類及び多面体の置き方等をユーザに設定させる設定画面を表示する。このような、設定画面があると、ユーザは、多面体の種類及び多面体の置き方等をＰＣ２に設定することができる。

そして、例えば、図１２に示すように、多面体は、種類及び置き方によって、最上部となる箇所が異なる。そこで、ＰＣ２は、例えば、上記（表３）のように、多面体の種類及び置き方ごとに、最上部となる座標をあらかじめ記憶する。このようにすると、ＰＣ２は、各多面体の種類及び置き方において、最上部となる箇所の３次元座標を把握できる。

さらに、ＰＣ２は、変換部２Ｆ２による処理、例えば、図１３に示す処理によって、最上部となる箇所の３次元座標を撮影画像上の２次元座標に変換することができる。すなわち、図１３に示す処理によって、ＰＣ２は、撮影画像が有する所定の画素を多面体において配置することができる。そのため、ＰＣ２は、撮影画像の天頂となる点を多面体の最上部となるように出力画像ＩＭＧＯＵＴを生成できる。

出力画像ＩＭＧＯＵＴは、展開図を媒体に画像形成するための画像である。そして、例えば、上記（表５）等によって、展開図における２次元座標と、３次元座標とが対応できると、ＰＣ２は、出力画像ＩＭＧＯＵＴを生成できる。このようにして、ＰＣ２は、撮影画像を印刷した紙等を組み立てた多面体における最上部と、撮影画像の天頂とを一致させて出力画像を生成することができる。

また、指定部２Ｆ４を備える機能構成であると、例えば、図２０及び図２１に示すように頂点となる座標が、指定できる。
（その他の実施形態）
なお、本発明に係る実施形態は、プログラミング言語等で記述されるプログラムによって実現されてもよい。すなわち、本発明に係る実施形態は、画像処理装置等のコンピュータに画像処理方法を実行させるためのプログラムによって実現されてもよい。なお、プログラムは、フラッシュメモリ、ＳＤ（登録商標）カード又は光学ディスク等のコンピュータが読み取り可能な記録媒体に記憶して頒布することができる。また、プログラムは、インターネット等の電気通信回線を通じて頒布することができる。

また、本発明に係る実施形態において、処理の一部又は全部は、例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）等のプログラマブル・デバイス（ＰＤ）で処理され、実現されてもよい。さらに、本発明に係る実施形態において、処理の一部又は全部は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）で処理され、実現されてもよい。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されない。すなわち、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１ 全天球カメラ
２ ＰＣ
３ プリンタ
ＩＭＧＯＵＴ 出力画像
ＰＯＬ 多面体
ＢＦ 底面

特開２００２−３２８９５９号公報

Claims (12)

1. 全周を撮影して撮影画像を生成する撮影装置に接続され、かつ、出力画像を画像形成装置に出力する画像処理装置であって、
   媒体上に前記出力画像に基づいて形成された展開図を組み立てると形成される多面体の種類を設定する設定部と、
   前記媒体を組み立てると最上部となる箇所に、前記撮影画像における天頂が画像形成されるように、前記撮影画像における座標を、組み立てると前記多面体となり、前記展開図における座標に変換する変換部と、
   前記変換された座標に基づいて、前記出力画像を生成する出力画像生成部と
   を備える画像処理装置。
2. 前記多面体の置き方が更に設定され、
   前記変換部は、前記置き方に基づいて変換する請求項１に記載の画像処理装置。
3. 前記置き方には、少なくとも、前記多面体が有する複数の面のうち、１面が接地する置き方と、前記多面体が有する複数の頂点のうち、１点が接地する置き方と、前記多面体が有する複数の辺のうち、１辺が接地する置き方とが含まれる請求項２に記載の画像処理装置。
4. 前記多面体が有する頂点を示す３次元座標と、前記頂点となる前記展開図における２次元座標とを対応させるデータを用いる請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記多面体が有する複数の面のうち、所定の面に、前記撮影画像とは異なる所定の画像が画像形成されるようにする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記多面体が有する各面を貼り合わせるのに用いる余白又は面を形成する請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記多面体が有する複数の面のうち、底面以外の面に、前記撮影画像が画像形成されるように、前記撮影画像を縮小させて前記出力画像を生成する請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記多面体が有する複数の面のうち、底面に、前記撮影画像に写る所定の被写体が画像形成されるように、前記撮影画像を縮小させて前記出力画像を生成する請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 前記多面体が有する複数の面のうち、底面以外の面に、前記撮影画像が画像形成されるように、前記撮影画像を平行移動させて前記出力画像を生成する請求項１乃至６のいずれか１項に記載の画像処理装置。
10. 前記天頂となる座標を指定する指定部を更に備える請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 全周を撮影して撮影画像を生成する撮影装置に接続され、かつ、出力画像を画像形成装置に出力する画像処理装置が行う画像処理方法であって、
    前記画像処理装置が、媒体上に前記出力画像に基づいて形成された展開図を組み立てると形成される多面体の種類を設定する設定手順と、
    前記画像処理装置が、前記媒体を組み立てると最上部となる箇所に、前記撮影画像における天頂が画像形成されるように、前記撮影画像における座標を、組み立てると前記多面体となり、前記展開図における座標に変換する変換手順と、
    前記画像処理装置が、前記変換された座標に基づいて、前記出力画像を生成する出力画像生成手順と
    を含む画像処理方法。
12. 全周を撮影して撮影画像を生成する撮影装置に接続され、かつ、出力画像を画像形成装置に出力するコンピュータに画像処理方法を実行させるためのプログラムであって、
    前記コンピュータが、媒体上に前記出力画像に基づいて形成された展開図を組み立てると形成される多面体の種類を設定する設定手順と、
    前記コンピュータが、前記媒体を組み立てると最上部となる箇所に、前記撮影画像における天頂が画像形成されるように、前記撮影画像における座標を、組み立てると前記多面体となり、前記展開図における座標に変換する変換手順と、
    前記コンピュータが、前記変換された座標に基づいて、前記出力画像を生成する出力画像生成手順と
    を実行させるためのプログラム。

Images