JP2015122686A - 情報処理装置、撮影装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】撮影者が、装置を用いて３次元空間の撮影を行うに当たり、簡易な方法で撮影を行うことができる、情報処理装置、撮影装置、制御方法、及びプログラムを提供することを目的とする
【解決手段】撮影者３０１が撮影装置１００を用いて天球撮影モードを選択すると、撮影装置１００を回転移動させて撮影した後、撮影して得られた画像データを合成を行いやすくするために、既に撮影して得られた画像データと、これから撮影して得る画像データと、の重なりが適切にするため、現在、撮影を行っている付近の既に撮影した画像データを、ディスプレイ２１７の撮影済み範囲１００６へ表示する。
【選択図】図５

Description

本発明は、連続的な撮影を行う装置において、特に装置を移動させながら連続して撮影を行う装置に関する。

現状のデジタルカメラやスマートフォンには、パノラマ撮影機能が用意されているものがあり、このパノラマ撮影機能は、一定方向に沿ってカメラを連続的に動かすことで、幅広い範囲を一枚の写真として作成できる機能である。

しかしながら、その地点に立つ撮影者から見渡せるすべての範囲を一度に撮影するためには、専用のカメラまたはレンズを別途使用する必要がある。

その一方で、複数の写真の撮影後に合成することも可能だが、撮影時に撮影方向やカメラの傾き等を調整する必要があるため、特別な機材を用意せずに複数のパノラマ合成用画像を撮影するのは難しい。

その例として、複数のカメラで３次元空間を構成する風景をそれぞれ分割して撮影した後、各撮影装置の配置を考慮したポリゴンパッチを生成し、当該ポリゴンパッチに対応するテスクチャ画像の生成する方法が開示されている（例えば、特許文献１参照）。

特開平９−１９０５５０

しかしながら、特許文献１に記載の方法では、複数のカメラを準備する必要があり、一般ユーザが、このような方法を用いて撮影を行うには、不適切とも言え、可能な限り、少ないカメラの数で撮影を行うことが好ましく、１台のカメラで撮影することが最適といえる。

そこで、本発明では、撮影者が、装置を用いて３次元空間の撮影を行うに当たり、簡易な方法で撮影を行うことができる、情報処理装置、撮影装置、制御方法、及びプログラムを提供することを目的とする。

上記目的を達成するための第１の発明は、連続して撮影を行うことで画像データを得る撮影装置であって、撮影対象物を表示部へ表示する表示手段と、撮影方向を取得する撮影方向取得手段と、前記撮影方向手段によって取得した撮影方向と前記撮影方向で撮影した撮影対象物とを記憶部へ記憶する記憶手段と、を備え、前記表示手段は、前記撮影方向取得手段によって取得した撮影方向で撮影を行う場合、前記記憶手段に記憶した前記撮影方向で撮影した撮影対象物を、撮影を行う撮影対象物とは異ならせて前記表示部へ表示することを特徴とする。

上記目的を達成するための第２の発明は、連続して撮影を行うことで画像データを得る情報処理装置であって、撮影対象物を表示部へ表示する表示手段と、撮影方向を取得する撮影方向取得手段と、前記撮影方向手段によって取得した撮影方向と前記撮影方向で撮影した撮影対象物とを記憶部へ記憶する記憶手段と、を備え、前記表示手段は、前記撮影方向取得手段によって取得した撮影方向で撮影を行う場合、前記記憶手段に記憶した前記撮影方向で撮影した撮影対象物を、撮影を行う撮影対象物とは異ならせて前記表示部へ表示することを特徴とする。

上記目的を達成するための第３の発明は、連続して撮影を行うことで画像データを得る撮影装置の制御方法であって、前記撮影装置は、撮影対象物を表示部へ表示する表示手段と、撮影方向を取得する撮影方向取得手段と、前記撮影方向手段によって取得した撮影方向と前記撮影方向で撮影した撮影対象物とを記憶部へ記憶する記憶手段と、を実行し、前記表示手段は、前記撮影方向取得手段によって取得した撮影方向で撮影を行う場合、前記記憶手段に記憶した前記撮影方向で撮影した撮影対象物を、撮影を行う撮影対象物とは異ならせて前記表示部へ表示することを実行する。

上記目的を達成するための第４の発明は、連続して撮影を行うことで画像データを得る撮影装置で読み取り実行可能なプログラムあって、前記撮影装置を、撮影対象物を表示部へ表示する表示手段と、撮影方向を取得する撮影方向取得手段と、前記撮影方向手段によって取得した撮影方向と前記撮影方向で撮影した撮影対象物とを記憶部へ記憶する記憶手段と、して機能させ、前記表示手段は、前記撮影方向取得手段によって取得した撮影方向で撮影を行う場合、前記記憶手段に記憶した前記撮影方向で撮影した撮影対象物を、撮影を行う撮影対象物とは異ならせて前記表示部へ表示する、として機能させることを特徴とする。

上記目的を達成するための第５の発明は、連続して撮影を行うことで画像データを得る情報処理装置の制御方法であって、前記情報処理装置は、撮影対象物を表示部へ表示する表示手段と、撮影方向を取得する撮影方向取得手段と、前記撮影方向手段によって取得した撮影方向と前記撮影方向で撮影した撮影対象物とを記憶部へ記憶する記憶手段と、を実行し、前記表示手段は、前記撮影方向取得手段によって取得した撮影方向で撮影を行う場合、前記記憶手段に記憶した前記撮影方向で撮影した撮影対象物を、撮影を行う撮影対象物とは異ならせて前記表示部へ表示することを実行する。

上記目的を達成するための第６の発明は、連続して撮影を行うことで画像データを得る情報処理装置で読み取り実行可能なプログラムあって、前記情報処理装置を、撮影対象物を表示部へ表示する表示手段と、撮影方向を取得する撮影方向取得手段と、前記撮影方向手段によって取得した撮影方向と前記撮影方向で撮影した撮影対象物とを記憶部へ記憶する記憶手段と、して機能させ、前記表示手段は、前記撮影方向取得手段によって取得した撮影方向で撮影を行う場合、前記記憶手段に記憶した前記撮影方向で撮影した撮影対象物を、撮影を行う撮影対象物とは異ならせて前記表示部へ表示する、として機能させることを特徴とする。

本発明によれば、撮影者が、装置を用いて３次元空間の撮影を行うに当たり、当該装置を移動させながら撮影した後、撮影して得られた画像データの合成を行うことで、簡易な方法で撮影を行うことができる、という効果を奏する。

本発明の実施形態に係る撮影装置の構成を示す構成図である。 本発明の実施形態に係る撮影装置のハードウェアの構成を示すハードウェア構成図である。 本発明の実施形態において、撮影装置を用いて天球を撮影する方法を説明するための説明図である。 本発明の実施形態において、撮影装置を用いて撮影して得られた画像データの一例を説明するための説明図である。 本発明の実施形態に係る撮影装置における天球撮影の処理を示すフローチャートである。 本発明の実施形態に係る撮影装置における天球撮影をガイドするための基準線を決定する処理を示すフローチャートである。 本発明の実施形態に係る撮影装置における撮影処理を示すフローチャートである。 本発明の実施形態に係る撮影装置における撮影済み範囲アシスト設定の処理を示すフローチャートである。 本発明の実施形態において、天球撮影モード選択画面の構成を示す構成図である。 本発明の実施形態において、天球撮影モード画面の構成を示す構成図である。 本発明の実施形態において、画像生成中画面の構成を示す構成図である。 本発明の実施形態において、生成画像表示画面の構成を示す構成図である。 本発明の実施形態に係る撮影装置において実行される処理で用いられるデータを格納するための撮影画像テーブルの構成を示す構成図である。 本発明の実施形態において、撮影装置の撮影方向を説明するための説明図である。 本発明の実施形態において、基準線の決定方法を説明するための説明図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１には、本発明の実施形態に係る撮影装置１００が示されており、この撮影装置１００については、デジタルスチルカメラやカメラ機能を備えた携帯端末等の情報処理装置等でも良い。

次に、図２を参照して、本発明を実施する撮影装置１００のハードウェア構成について説明する。

撮影装置１００は、撮影用のレンズ２０１、撮像素子（以下、「ＣＣＤ」と称する）２０２、カメラ信号処理部（以下、「ＡＤＣ」と称する）２０３、画像処理部２０４、システムコントローラ２１０、バッファメモリ２１１、フラッシュＲＯＭ２１２、インターフェース回路（以下、「Ｉ／Ｆ回路」と称する）２１３、カードホルダ２１４、メモリカード２１５、ディスプレイドライバ２１６、および操作部２２０を備える。

レンズ２０１は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。撮像素子２０２は、レンズ２０１から入射した撮像光を結像し、電気信号（アナログ信号）に変換して出力するＣＣＤイメージセンサで構成される。

カメラ信号処理部（ＡＤＣ）２０３は、撮像素子２０２から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。システムコントローラ２１０は、画像処理部２０４、バッファメモリ２１１、フラッシュＲＯＭ２１２、Ｉ／Ｆ回路２１３、ディスプレイドライバ２１６、サウンドドライバ２１８、ＬＥＤドライバ２２８、操作部２２０、磁気センサ２３１、加速度センサ２３２、および角速度センサ２３３に接続されている

画像処理部２０４は、前処理部２０５、ＹＣ処理部２０６、電子ズーム処理部２０７、圧縮部２０８、および伸長部２０９を備え、カメラ信号処理部２０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。

前処理部２０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部２０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。

ＹＣ処理部２０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部２０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。

電子ズーム処理部２０７は、例えば、撮影された１６００×１２００ドットの画像から中央の１０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×１２００ドットのサイズに拡大することができる。

圧縮部２０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部２０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。

具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部２０８および伸長部２０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。

バッファメモリ２１１には、画像処理部２０４で画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ２１２には、撮影装置１００の各種設定情報や、後述するユーザ認証情報が保存される。Ｉ／Ｆ回路２１３は、システムコントローラ２１０から出力される画像データを、メモリカード２１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路２１３は、メモリカード２１５から読み出された画像データ等を、システムコントローラ２１０で処理可能なデータ形式に変換する。

カードホルダ２１４は、記録媒体であるメモリカード２１５を撮影装置１００に着脱可能にする機構を備えると共に、メモリカード２１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ２１４は、撮影装置１００で利用される記録媒体の種類に応じた構造を有する。メモリカード２１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ２１４に着脱可能なカード型の記録媒体である。メモリカード２１５には、撮影装置１００で撮影された画像データを記録することができる。

ディスプレイドライバ２１６は、システムコントローラ１１０から出力される画像データを液晶ディスプレイ２１７で表示可能な信号に変換する。具体的には、ディスプレイドライバ２１６は、システムコントローラ２１０から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズを液晶ディスプレイ２１７の表示可能エリアのサイズに適したサイズに変換する処理を行う。

サウンドドライバ２１８は、システムコントローラ２１０から出力される音声データをスピーカ２１９で鳴動可能な信号に変換する処理を行う。ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ドライバ２２８は、システムコントローラ２１０から出力される命令に従いランプ２２９の制御を行う。

操作部２２０は、電源スイッチ２２１、モードダイヤル２２２、撮影ボタン２２３、カーソルキー２２４、ズームボタン２２５、および閲覧（再生）ボタン２２６を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をシステムコントローラ２１０に出力する。なお、操作部２２０には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。

モードダイヤル（選択ボタン）２２２は、撮影動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル２２２を操作することで、複数の撮影動作モードを選択することが可能である。なお、本発明の実施形態で、モードダイヤルは、ダイヤル式機構として記載をするが、例えば、ダイヤルではなくスライド式のボタンであってもよい。つまり、モードダイヤル２２２について、その機構はダイヤルに限定されず、カメラのモードを切り替えられるための機構を備えていることが本質である。

閲覧ボタン２２６は、撮影した画像データを閲覧する閲覧モード（再生モード）に切り替えるためのボタンである。閲覧ボタン２２６が押下されると、撮影モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、閲覧ボタン２２６の押下に限定されず、液晶ディスプレイ２１７上のタッチパネル（不図示）などによる移行方法であってもよい。

閲覧モードでは、システムコントローラ２１０が、Ｉ／Ｆ回路２１３を介して、カードホルダ１１４に装着されているメモリカード２１５から設定情報と画像データを読み出す。設定情報は、現在装着されているメモリカード２１５に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像１枚分の画像データまたはサムネイルデータである。なお、メモリカード２１５から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。

メモリカード２１５から読み出された画像データは、Ｉ／Ｆ回路２１３およびシステムコントローラ２１０を介して、ディスプレイドライバ２１６へ入力される。ディスプレイドライバ２１６は、入力された画像データを液晶ディスプレイ２１７に表示させる。

カーソルキー２２４は、ユーザが撮影装置１００に対する所定の指示や機能選択を行うためのキーである。ユーザは、カーソルキー２２４により、撮影装置１００に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。

また、カーソルキー２２４により、液晶ディスプレイ２１７にメニュー画面や撮影装置１００に対して各種設定情報を設定するための画面を表示したり、撮影装置１００が有する所定の機能を選択することができる。

さらに、カーソルキー２２４により、撮影装置１００で撮影された画像データを液晶ディスプレイ２１７上にプレビュー表示させることができる。プレビュー表示とは、撮影装置１００で撮影した画像を、その直後に液晶ディスプレイ２１７に表示させる機能である。

なお、プレビュー表示については、液晶ディスプレイ２１７上に撮影した画像を１枚のみ表示する構成に限定されず、サムネイル画像を含む複数の画像を表示するように構成してもよい。また、プレビュー表示の切り替えについては、カーソルキー２２４の押下に限らず、他のボタンの押下などの一般的な方法を利用して切り替えられる構成にしてもよい。また、プレビュー表示画面で、プレビュー表示画像の削除や編集などが行えるように構成してもよい。

レンズ制御部２２７は、レンズ２０１のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮影装置１００は、被写体を撮像して画像データを得る撮影モードと当該撮影モードで得た画像データを表示する閲覧（再生）モードとを備える。

なお、音声についてはマイクやスピーカを用いることで、撮影装置１００と同様に記録、及び再生が可能である。また、映像（動画）記録時には、通常音声記録も同時に行われ、圧縮部２０８および伸長部２０９で、映像と音声が多重化される。

また、撮影装置１００における撮影動作について図１を用いて説明する。まず、ユーザが電源スイッチ２２１を操作し、撮影装置１００の電源をＯＮにする。すると、撮影装置１００に内蔵されているバッテリー（不図示）から各回路へ電源供給されて、撮影装置１００の起動処理（レンズバリアを開く動作制御およびマイクロコンピューターのリセット処理など）が行われる。

撮影装置１００は、電源ＯＦＦ時に電源スイッチ２２１が押下されると電源ＯＮとなり、自動的に撮影モードとなるように構成されている。また、電源ＯＦＦ時に閲覧ボタンが押下されると電源ＯＮとなり、自動的に閲覧モードとなるように構成されている。

撮影装置１００が撮影モードに移行すると、光学画像がレンズ２０１を介して撮影装置１００内へ入射し、撮像素子（ＣＣＤ）２０２に結像される。ＣＣＤ２０２は、入射される光学画像を電気信号に変換して、カメラ信号処理部（ＡＤＣ）２０３へ出力する。ＡＤＣ２０３は、入力される電気信号（アナログ信号）をデジタル信号に変換する。ＡＤＣ２０３から出力されるデジタル信号は画像処理部２０４に入力される。

画像処理部２０４内の前処理部２０５では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部２０４内のＹＣ処理部２０６では、画像データが輝度信号Ｙと色差信号ＣｒおよびＣｂとに分離され、色差信号ＣｒおよびＣｂの情報量を減らす処理が行われる。

色差信号ＣｒおよびＣｂの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「４：２：２ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「４：１：１ダウンサンプリング処理」などがある。なお、前処理部２０５およびＹＣ処理部２０６で画像処理を行う際は、画像データを一時的にバッファメモリ２１１に保存し、随時バッファメモリ２１１に保存されている画像データを読み出しながら画像処理が行われる。

画像処理部２０４から出力される画像データ（非圧縮）はシステムコントローラ２１０に入力される。システムコントローラ２１０は、画像処理部２０４から出力される画像データを、ディスプレイドライバ２１６へ出力する。

ディスプレイドライバ２１６は、入力される画像データ（デジタル信号）をアナログ画像信号に変換すると共に、アナログ画像信号に基づく画像のサイズを液晶ディスプレイ２１７で表示可能なサイズに調整する。

また、ディスプレイドライバ２１６は、液晶ディスプレイ２１７に画像を表示させるよう制御する。このとき、液晶ディスプレイ２１７に表示される画像は、ＣＣＤ２０２、ＡＤＣ２０３、および画像処理部２０４で、連続的に信号処理されて生成される画像（スルー画像）である。

液晶ディスプレイ２１７にスルー画像が表示されている状態で、ユーザが希望のタイミングで撮影ボタン２２３を操作すると、システムコントローラ２１０は画像処理部２０４に制御信号を出力する。画像処理部１０４に制御信号が入力されると、圧縮部１０８は、前処理部１０５およびＹＣ処理部１０６で画像処理された画像データをバッファメモリ１１１へ保存し、圧縮処理を行う。

具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理（ＤＣＴ処理）や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、システムコントローラ２１０およびディスプレイドライバ２１６を介して液晶ディスプレイ２１７に表示される。また、圧縮された画像データは、カードホルダ２１４を介してメモリカード２１５に記録される。

撮影ボタン２２３が操作される前にズームボタン２２５が操作されると、システムコントローラ２１０は光学ズーム処理や電子ズーム処理を実行し、画像の大きさを拡大または縮小させることができる。そして、ズームボタン２２５の操作後、撮影ボタン２２３が操作されると、拡大または縮小された画像の画像データがメモリカード２１５へ記録される。

書込み部２３０は、カーソルキー２２４により指示入力された設定情報を用いて、画像データに対して、書込みを行う。例えば、デジタルカメラの機種名や、撮影年月日、露出情報、撮影位置等が入力されたＥｘｉｆ（Exchangeable Image File Format）に対して、書込み編集を行う。

磁気センサ２３１は、磁場の大きさ・方向を計測するセンサであり、結果をシステムコントローラ２１０に出力する。撮影装置１００の方位角（後述）を計測するために用いる。

加速度センサ２３２は、撮影装置１００の加速度を計測するセンサであり、結果をシステムコントローラ２１０に出力する。撮影装置１００の水平線（地面に対する水平線、以下、同じ）に対する傾き、高度を計測し、角速度等で示される移動速度を補正するために用いる（後述）。

角速度センサ２３３は、撮影装置１００の角速度を計測するセンサであり、結果をシステムコントローラ２１０に出力する。撮影装置１００の移動速度を計測し、傾き、高度を補正するために用いる。

次に、図３を用いて、この撮影装置１００を用いて、本発明における撮影方法の概略を説明する。

撮影者３０１は、自身が立っている位置を中心に、手にした撮影装置１００を撮影対象物へと向けて撮影を開始する。

しかしながら、この撮影対象物が、天球のような３次元空間の場合、１つの撮影方向３０２を撮影しただけでは、天球すべてを撮影することは難しい。

そこで、本発明では、撮影者３０１が、自身が立っている位置を中心として、撮影方向３０２を回転移動させながら、天井方向への移動を行いつつ、連続的に撮影装置１００によって撮影を行うことで、半球体をなした撮影領域３０４における撮影対象物の撮影を行うことが可能となる。図３に示す点線が、撮影方向３０２を移動させたときの軌跡の例である。

図４には、図３で説明した撮影方法を用いて撮影して得られた写真（画像データ）４０１が示されている。

この画像データ４０１の左下端を原点とすると、この原点の位置から撮影者３０１によって撮影装置１００を使って撮影が開始されており、この原点に対して、垂直上方を縦軸正とし、水平右方を横軸正とすると、この縦軸は、撮影者３０１にとっては、撮影空間において高度４０２を示し、横軸は、方位角４０３を示している。

つまり、図３で説明した撮影方法と照らし合わせると、撮影者３０１は、撮影方向３０２を、水平線に沿って撮影装置１００を回転移動させながら連続的に撮影を行うと、方位角４０３の方向の新たな画像データ４０１が得られ、撮影装置１００を天井方向に垂直に移動させながら連続的に撮影を行うと、高度４０２の方向の新たな画像データ４０１が得られる。

次に、図５を参照して、撮影装置１００における天球撮影の処理について説明する。本処理では、撮影者３０１が、天球撮影モードを開始させ、天球の画像データを生成するまでの一連の処理の流れを記載している。

ステップＳ５０１では、図９に示す天球撮影モード選択画面９０１を表示する。天球撮影モード選択画面９０１は、種々の撮影モードを選択するためのボタンを備えており、本発明に係る天球を撮影するモードを開始するための天球撮影モードボタン９０２を備えている。他のボタンについては、説明を省略する。

ステップＳ５０２では、天球撮影モードボタン９０２が押下されたか否かを判定し、押下されたと判定した場合、ステップＳ５０３へ処理を進め、押下されたと判定しない場合は、処理を終了する。

ステップＳ５０３では、天球撮影をガイドするための基準線の決定を行う。詳細については、図６に示すフローチャートを用いて後述する。ステップＳ５０４では、図１０に示す天球撮影モード画面１００１を表示する。

天球撮影モード画面１００１は、天球撮影モードで撮影する際に表示される画面であり、撮影装置１００における撮影範囲１００２、天球撮影をガイドするための基準線１００３、撮影者３０１に対して撮影方向を案内するための撮影方向ガイド１００４を備えている。

また、天球撮影モード画面１００１は、撮影装置１００の移動速度を設定することで、撮影者３０１が、適切な移動速度で撮影を行えているかをガイドするために、予め、適切な移動速度を設定しておくことで、撮影時に、設定した移動速度で撮影をガイドすることが可能である。

尚、移動速度表示欄１００５には、移動速度を速い、普通、遅い、の３段階の移動速度のうち何れの１つの移動速度を表示することが可能であるが、特に３段階に限らず、適宜、段階数を設定できても良い。

更に、天球撮影モード画面１００１は、撮影装置１００を回転移動させながら撮影を行った場合、再度、同じ方位に戻ることがあるが、その際に、すでに撮影して得られた画像データを撮影済み範囲１００６に表示することで、新たに撮影を行う撮影対象物との重なり具合を視覚的に認識することができるので、最終的な写真（画像データ）として生成を行う際に、適切に撮影済みの画像データと新たに撮影する画像データとの合成を行うことが可能となる。

ステップＳ５０５では、ループ処理にて、ステップＳ５０６からステップＳ５１７までの処理を、撮影終了まで繰り返すことを示している。

ステップＳ５０６では、撮影処理を行う。詳細については、図７に示すフローチャートを用いて後述する。

ステップＳ５０７では、撮影装置１００の回転方向に対して、撮影者３０１へガイドを行うため、撮影装置１００における水平線からの傾きを検出する。

ステップＳ５０８では、ステップＳ５０７において取得した傾き（つまり、基準線の傾きに対する撮影装置１００の傾き）が既定範囲を超えたかを判定し、超えていると判定した場合は、ステップＳ５０９へ処理を進め、越えていると判定しない場合は、ステップＳ５１０へ処理を進める。

ステップＳ５０９では、指示したい傾き方向および回転方向を表す基準線１００３及び撮影方向ガイド１００４の表示方法を決定する。

ステップＳ５１０では、現在、連続撮影している中で、直近に撮影した画像データに関する情報の取得を行う。

対象となる画像データは、図１３に示す撮影画像テーブル１３０１から取得することが可能である。この撮影画像テーブル１３０１は、撮影画像テーブル１３０１に記憶したレコードを一意に識別するためのＮＯ１３０２（新たにレコードを登録する時に１つインクリメントして登録）、撮影して得られた画像データを示す撮影画像データ１３０３、当該画像データの撮影を行った時の撮影装置１００の方位角１３０４、高度１３０５、及びステップＳ５０７で取得した傾きを示す水平線からの傾き１３０６を含む撮影済情報から構成されている。方位角１３０４、高度１３０５の具体例については、後述する。

本ステップでは、この撮影済情報のうち、直近に撮影した画像データに関する撮影済情報を取得する。つまり、ＮＯが最大のレコードを取得する。

ステップＳ５１１では、現時点での撮影装置１００の撮影方向３０２の位置情報として方位角および高度を検出する。
この方位角と高度についての具体例を図１４に示す。

撮影領域３０４である天球１４０１は、撮影方向３０２が撮影方向１４０２である場合、その撮影方向１４０２の先にある撮影対象物の方位角１４０３、及び高度１４０４に関しては、撮影者３０１を天球１４０１の中心として、撮影者３０１に対する天井方向を軸として撮影開始位置１４０５（方位角が０°）から回転した角度を方位角１４０３、撮影者３０１の水平方向から撮影者３０１に対する上向きの角度を高度１４０４として求める。

ステップＳ５１２では、ステップＳ５１０で取得した直近の撮影済情報の高度１３０５と、ステップＳ５１１で取得した現撮影方向の高度１４０４と、の差を求め（つまり、基準線の傾き（高度）に対する撮影装置１００の撮影方向の傾き（高度））、求めた差が既定範囲を超えたかを判定し、超えていると判定した場合は、ステップＳ５１３へ処理を進め、超えていると判定しない場合は、ステップＳ５１４へ処理を進める。

ステップＳ５１３では、指示したい傾き方向および回転方向を表す基準線１００３及び撮影方向ガイド１００４の表示方法を決定する。

ステップＳ５１４では、ステップＳ５１０で取得した直近の撮影済情報の方位角１３０４と、ステップＳ５１１で取得した現撮影方向の方位角１４０３と、の差を求め、求めた差が、既定範囲を超えたか否かを判定し、超えたと判定した場合は、ステップＳ５１５へ処理を進め、超えたと判定しない場合は、ステップＳ５１６へ処理を進める。

ステップＳ５１５では、指示したい移動速度を表す速度表示欄１００５の表示方法を決定する。

ステップＳ５１６では、撮影済み範囲アシスト設定を行う。詳細については、図８に示すフローチャートを用いて後述する。

ステップＳ５１７では、アシストに必要な撮影方向ガイド１００４、速度表示欄１００５および基準線１００３の表示方法を更新し、天球撮影モード画面１００１に表示する。

天球撮影モードによる撮影終了後、ステップＳ５１８では、図１１に示す画像生成中画面１１０１に、画像データを生成中（撮影して得られた画像データを合成することで１枚の画像データを生成する）であることを示すメッセージ１１０２を表示する。

ステップＳ５１９では、全方位のパノラマ画像を生成する。具体的には、撮影画像テーブル１３０１にあるすべての画像データの合成を行い、既存技術である正角円筒図法に基づいて、長方形状の１枚の画像を生成する。

図１３に示す撮影画像テーブル１３０１は、撮影画像テーブル１３０１に記憶したレコードを一意に識別し、撮影順に連番を登録するためのＮＯ１３０２、撮影装置１００で撮影して得られた画像データを示す撮影画像データ１３０３、当該画像データを撮影した際の撮影装置１００の方向のうち水平線方向を示す方位角１３０４、及び水平線方向に対する垂直方向を示す高度１３０５、撮影装置１００の水平線からの傾き１３０６を含んだ構成を備えている。

ステップＳ５２０にて、ステップＳ５１９において生成した画像データ１２０２を生成画像表示画面１２０１（図１２参照）に表示する。
次に図６に示す基準線の決定処理について説明する。

ステップＳ６０１では、現在の撮影方向である方位角１４０３を取得し、ステップＳ６０２では、基準線の開始点の位置を決定する。開始点の方位角は、ステップＳ６０１で取得した方位角１４０３を設定し、開始点の高度は、０°を設定する。
この設定例を図１５に示す。

点線で示される基準線１５０１の開始点としては、１５０２が示され、この開始点から撮影が開始され、撮影を完了する終了点として、１５０３が示される。

図１５には、図１４で説明したものと同様に、高度４０２、方位角４０３の記載順に、高度１５０４、方位角１５０５が該当し、方位角１５０５の横軸と基準線１５０１との挟角を基準線の水平線に対する傾き１５０６、撮影装置１００で撮影可能な撮影範囲１５０７（実線で囲まれた矩形領域）、撮影装置１００の水平線に対する垂直方向の画角を示す垂直画角１５０８を示している。

この基準線も設けた理由として、撮影者３０１が、撮影装置１００を回転移動しながら撮影を行うが、自分が立っている位置を中心に、１回転した後、今までに撮影した画像データと、これから新たに撮影を行うことで得られる画像データと、を撮影後、合成を行うが、重複部分が多ければ、画像データの無駄や、何度も回転移動して撮影しなければならないといった撮影時間、労力等の無駄が生じ、一方、重複部分が存在しない場合、合成したときに、画像データの欠けが生じることも生じうる。

そこで、今までに撮影した画像データと、新たに撮影する画像データとの重複部分を適度に保てるように、撮影者３０１に対して撮影を行う際の支援を行うものである。つまり、基準線を中心にすえて撮影を行うことで、適度な合成を行うことが可能な画像データを得ることができる。

ステップＳ６０３では、水平線に対する傾き１５０６を算出するために、撮影装置１００の垂直画角１５０８を、既存技術を適用して取得する。尚、垂直画角１５０８は、天球撮影モードでの撮影中は、常に一定に保たれている。

ステップＳ６０４では、基準線の水平線に対する傾き１５０６を決定する。ここで、基準線の水平線に対する傾き１５０６は、垂直画角１５０８を３６０°で除算し、規定値を引いて求める。この傾きは、天球上で基準線が一周したときの高度の増分を表している。

ステップＳ６０５では、基準線の開始点の位置１５０２、および水平線に対する傾き１５０６から、天球上の基準線の配置を決定する。
次に、図７に示すフローチャートを用いて撮影処理について説明する。

ステップＳ７０１では、撮影画像テーブル１３０１から、直近に撮影した撮影情報の撮影方向である、方位角１３０４、及び高度１３０５を取得する。

ステップＳ７０２では、ステップＳ７０１で取得した撮影方向と現在の撮影方向とを比較し、方位角差と高度差とが規定範囲内か否かを判定し（例えば、撮影範囲１５０７以内にあるか否かを判定し）、既定範囲内と判定しない場合、ステップＳ７０３へ処理を進め、既定範囲内と判定した場合、本処理を終了する。

尚、本ステップでは、最も直近に撮影したタイミングから、撮影装置１００が一定の回転移動を行った場合、撮影を行い、一定の回転移動を行わない場合は、撮影を行わないことを示している。

ステップＳ７０３では、撮影対象物の撮影を行い、ステップＳ７０４では、新しく撮影した画像データを撮影画像テーブル１３０１に登録するため、撮影画像テーブル１３０１に既に登録されたＮＯのうち最大のＮＯに対して１つインクリメントを行うことで、新規のＮＯを取得する。

続けて、ステップＳ７０５では、現在の撮影方向である方位角１４０３および高度１４０４を検出し、ステップＳ７０６では、撮影装置１００の水平線からの傾きを検出し、ステップＳ６０７では、撮影画像テーブル１３０１に、ステップＳ７０３からステップＳ７０６における撮影済情報を登録する。

図８に示すフローチャートを用いて、撮影済み範囲アシスト設定の処理について説明する。

ステップＳ８０１では、ループ処理は、ステップＳ７０２からステップＳ７０４の処理を、撮影画像テーブル１３０１に登録されたレコード数分、処理を繰り返すことを示す。

ステップＳ８０２では、撮影画像テーブル１３０１の撮影済情報から撮影方向である方位角１３０４および高度１３０５を取得する。

ステップＳ８０３では、この撮影方向が、現在、撮影を行っている撮影方向の付近にあるか否かを判定し（あるいは、方向角が一致するか否かを判定し）、付近にあると判定した場合（一致すると判定した場合）、ステップＳ８０４へ処理を進め、付近にあると判定しない場合（一致すると判定しない場合）、ステップＳ８０１へ処理を戻す。

ステップＳ８０４では、現在の撮影方向の付近にある（あるいは、方向角が一致する場合）場合は、予め定めた撮影済み範囲１００６に対して、取得した撮影済情報に含まれる画像データを表示する。

以上、本発明によれば、撮影者が、装置を用いて３次元空間の撮影を行うに当たり、当該装置を移動させながら撮影した後、撮影して得られた画像データの合成を行うことで、簡易な方法で撮影を行うことができる。

また、本発明は、撮影装置を用いた態様を説明したが、本願発明をパーソナルコンピュータ等の情報処理装置に適用可能な事は言うまでもない。

また、本発明におけるプログラムは、各処理方法をコンピュータが実行可能（読取可能）なプログラムであり、本発明の記憶媒体は、各処理方法をコンピュータが実行可能なプログラムが記憶されている。

なお、本発明におけるプログラムは、各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読取り実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータで稼働しているＯＳ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。

この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステム、あるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ 撮影装置
２０１ レンズ
２０２ 撮像素子
２０３ カメラ信号処理部
２０４ 画像処理部
２０５ 前処理部
２０６ ＹＣ処理部
２０７ 電子ズーム処理部
２０８ 圧縮部
２０９ 伸長部
２１０ システムコントローラ
２１１ バッファメモリ
２１２ フラッシュメモリ
２１３ Ｉ／Ｆ回路
２１４ カードホルダ
２１５ メモリカード
２１６ ディスプレイドライバ
２１７ ディスプレイ
２１８ サウンドドライバ
２１９ スピーカ
２２０ 操作部
２２１ 電源スイッチ
２２２ モードダイヤル
２２３ 撮影ボタン
２２４ カーソルキー
２２５ ズームボタン
２２６ 閲覧ボタン
２２７ レンズ制御部
２２８ ＬＥＤドライバ
２２９ ランプ
２３０ 書込み部
２３１ 磁気センサ
２３２ 加速度センサ
２３３ 角速度センサ

Claims (9)

1. 連続して撮影を行うことで画像データを得る撮影装置であって、
   撮影対象物を表示部へ表示する表示手段と、
   撮影方向を取得する撮影方向取得手段と、
   前記撮影方向手段によって取得した撮影方向と前記撮影方向で撮影した撮影対象物とを記憶部へ記憶する記憶手段と、
   を備え、
   前記表示手段は、前記撮影方向取得手段によって取得した撮影方向で撮影を行う場合、前記記憶手段に記憶した前記撮影方向で撮影した撮影対象物を、撮影を行う撮影対象物とは異ならせて前記表示部へ表示することを特徴とする撮影装置。
2. 前記表示手段は、前記撮影方向取得手段によって取得した撮影方向が、回転移動によって、水平方向に対して同じ方向で撮影を行う場合、前記記憶手段に記憶した前記撮影方向で撮影した撮影対象物を、撮影を行う撮影対象物とは異ならせて前記表示部へ表示することを特徴とする請求項１に記載の撮影装置。
3. 撮影装置の垂直方向に対する画角を用いて、水平方向に対する所定の傾きで撮影を行うことを促すためのガイドを表示するガイド表示手段を備えたことを特徴とする請求項１または２に記載の撮影装置。
4. 前記ガイド表示手段は、前記表示手段によって表示する前記記憶手段に記憶した前記撮影方向で撮影した撮影対象物と、撮影を行う撮影対象物と、の重なりを考慮して、撮影装置の垂直方向に対する画角を用いた水平方向に対する所定の傾きから所定値を減算して得られた角度を用いて、前記ガイドを表示することを特徴とする請求項３に記載の撮影装置。
5. 連続して撮影を行うことで画像データを得る情報処理装置であって、
   撮影対象物を表示部へ表示する表示手段と、
   撮影方向を取得する撮影方向取得手段と、
   前記撮影方向手段によって取得した撮影方向と前記撮影方向で撮影した撮影対象物とを記憶部へ記憶する記憶手段と、
   を備え、
   前記表示手段は、前記撮影方向取得手段によって取得した撮影方向で撮影を行う場合、前記記憶手段に記憶した前記撮影方向で撮影した撮影対象物を、撮影を行う撮影対象物とは異ならせて前記表示部へ表示することを特徴とする情報処理装置。
6. 連続して撮影を行うことで画像データを得る撮影装置の制御方法であって、
   前記撮影装置は、
   撮影対象物を表示部へ表示する表示手段と、
   撮影方向を取得する撮影方向取得手段と、
   前記撮影方向手段によって取得した撮影方向と前記撮影方向で撮影した撮影対象物とを記憶部へ記憶する記憶手段と、
   を実行し、
   前記表示手段は、前記撮影方向取得手段によって取得した撮影方向で撮影を行う場合、前記記憶手段に記憶した前記撮影方向で撮影した撮影対象物を、撮影を行う撮影対象物とは異ならせて前記表示部へ表示することを実行する撮影装置の制御方法。
7. 連続して撮影を行うことで画像データを得る撮影装置で読み取り実行可能なプログラムあって、
   前記撮影装置を、
   撮影対象物を表示部へ表示する表示手段と、
   撮影方向を取得する撮影方向取得手段と、
   前記撮影方向手段によって取得した撮影方向と前記撮影方向で撮影した撮影対象物とを記憶部へ記憶する記憶手段と、
   して機能させ、
   前記表示手段は、前記撮影方向取得手段によって取得した撮影方向で撮影を行う場合、前記記憶手段に記憶した前記撮影方向で撮影した撮影対象物を、撮影を行う撮影対象物とは異ならせて前記表示部へ表示する、として機能させることを特徴とするプログラム。
8. 連続して撮影を行うことで画像データを得る情報処理装置の制御方法であって、
   前記情報処理装置は、
   撮影対象物を表示部へ表示する表示手段と、
   撮影方向を取得する撮影方向取得手段と、
   前記撮影方向手段によって取得した撮影方向と前記撮影方向で撮影した撮影対象物とを記憶部へ記憶する記憶手段と、
   を実行し、
   前記表示手段は、前記撮影方向取得手段によって取得した撮影方向で撮影を行う場合、前記記憶手段に記憶した前記撮影方向で撮影した撮影対象物を、撮影を行う撮影対象物とは異ならせて前記表示部へ表示することを実行する情報処理装置の制御方法。
9. 連続して撮影を行うことで画像データを得る情報処理装置で読み取り実行可能なプログラムあって、
   前記情報処理装置を、
   撮影対象物を表示部へ表示する表示手段と、
   撮影方向を取得する撮影方向取得手段と、
   前記撮影方向手段によって取得した撮影方向と前記撮影方向で撮影した撮影対象物とを記憶部へ記憶する記憶手段と、
   して機能させ、
   前記表示手段は、前記撮影方向取得手段によって取得した撮影方向で撮影を行う場合、前記記憶手段に記憶した前記撮影方向で撮影した撮影対象物を、撮影を行う撮影対象物とは異ならせて前記表示部へ表示する、として機能させることを特徴とするプログラム。

Images