JP2016105534A - 撮像装置、及び撮像装置システム - Google Patents

Abstract

【課題】再生動画の安定感を向上させることが可能となる撮像装置を提供する。【解決手段】被写体を撮像する撮像部と、自機の姿勢を検出する姿勢検出部と、前記撮像部による撮像の繰り返しによって動画像が得られる際に前記姿勢検出部によって検出される姿勢情報を前記動画像と関連付ける情報関連付け部と、前記動画像と関連付けられた前記姿勢情報と前記動画像に基づいて表示用の画像を出力する画像出力部と、を備える撮像装置としている。【選択図】図２

Description

本発明は、撮像装置に関する。

従来から、３６０度範囲（円環状）や全天球などの広範囲を撮像する撮像装置が知られている。

例えば、特許文献１には、３６０度範囲の動画撮影を行うことができる撮像装置が開示されている。この撮像装置では、撮像動作の開始操作が行われると、撮像部が撮像処理を行い、全方位画像（環状画像）が生成される。そして、画像処理部が、生成された全方位画像における略扇形状の対象領域を特定し、この対象領域の画像を略矩形状の画像（変換画像）に変換する。ここで、上記対象領域は、撮像装置の姿勢に基づいて特定される特定方向（例えば撮像部の光軸方向、表示部における表示面の垂直方向）を基準として特定される。次に、表示制御部が、上記変換画像を表示部に表示させる。このような動作が撮像動作の終了操作がされるまで繰り返される。

このように、上記特許文献１の撮像装置では、動画撮影時に所謂スルー画像として変換画像が表示されることになる。また、動画の再生時においても同様に、変換画像を表示させることができるとしている。

特開２０１２−１３４８３４号公報（第１３頁、第１９頁−第２０頁等）

しかしながら、上記特許文献１の撮像装置は、撮像装置の姿勢が静的に固定されていることが前提となっており、撮像装置の姿勢が動的に変化するような状況では、変換画像の対象領域が撮像装置の姿勢に基づいて特定される特定方向を基準として特定されるので、表示される変換画像による再生動画は安定感に欠ける。撮像装置が例えば左右に回転するように姿勢が変化すると、再生動画も左右に視点が変化し、ユーザにとって非常に見づらいものとなってしまう。

上記問題点に鑑み、本発明は、再生動画の安定感を向上させることが可能となる撮像装置を提供することを目的とする。

上記目的を達成するために本発明の一態様に係る撮像装置は、被写体を撮像する撮像部と、自機の姿勢を検出する姿勢検出部と、前記撮像部による撮像の繰り返しによって動画像が得られる際に前記姿勢検出部によって検出される姿勢情報を前記動画像と関連付ける情報関連付け部と、前記動画像と関連付けられた前記姿勢情報と前記動画像に基づいて表示用の画像を出力する画像出力部と、を備える構成としている。なお、上記撮像部は、一つであっても、複数であってもよい。

このような構成によれば、動画撮像中に撮像装置の姿勢が変化する場合であっても、それに応じて姿勢情報が動画像と関連付けされるので、姿勢情報に基づいて実空間における一方向を基準とした画像を出力することができる。従って、出力された画像を表示させることで、安定感の向上した動画像を表示させることができ、ユーザにとって見やすいものとなる。

また、上記構成において、前記画像出力部は、基準姿勢と前記姿勢情報との関係に基づいて表示用の画像を出力することとしてもよい。

このような構成によれば、基準姿勢と前記姿勢情報との関係に基づいて基準姿勢において定められる所定方向を基準とした画像を出力することが可能となる。即ち、常に実空間における一方向を基準とした画像を出力することができる。

また、上記構成において、前記基準姿勢は、動画撮像開始指示があったときの前記撮像装置の姿勢であることとしてもよい。

また、上記いずれかの構成において、前記情報関連付け部は、前記基準姿勢の情報と前記姿勢情報との差分情報を前記動画像と関連付けることとしてもよい。

また、上記いずれかの構成において、前記画像出力部は、前記動画像から一部の画像を切り出す画像切り出し部であることとしてもよい。

また、本発明の他の態様に係る撮像装置システムは、
被写体を撮像する撮像部と、
自機の姿勢を検出する姿勢検出部と、
前記撮像部による撮像の繰り返しによって動画像が得られる際に前記姿勢検出部によって検出される姿勢情報を前記動画像と関連付ける情報関連付け部と、を備える撮像装置と、
外部装置と、を備える撮像装置システムであって、
前記動画像と関連付けられた前記姿勢情報と前記動画像に基づいて表示用の画像を出力する画像出力部を前記撮像装置又は前記外部装置が備え、
前記外部装置は、前記画像出力部によって出力された画像を表示するための表示出力を行う表示出力部を備える構成としている。なお、上記撮像部は、一つであっても、複数であってもよい。

このような構成によれば、安定感の向上した動画像を再生表示させることが可能となる。

また、上記構成において、前記画像出力部は、基準姿勢と前記姿勢情報との関係に基づいて表示用の画像を出力することとしてもよい。

また、上記構成において、前記外部装置は、前記画像出力部が画像を出力する前記基準姿勢における方向を変更するための指示を入力する入力部を更に備えることとしてもよい。

このような構成によれば、ユーザが入力部から指示を入力することで、視点を変えた安定感の高い動画像を再生表示させることができる。

また、上記いずれかの構成において、前記動画像に関連付けられた前記姿勢情報は、前記撮像装置、又は前記外部装置の記憶部に記憶されることとしてもよい。

また、上記いずれかの構成において、前記撮像装置は、前記動画像と関連付けられた前記姿勢情報を前記外部装置に送出する送出部を備えることとしてもよい。

また、上記いずれかの構成において、前記画像出力部は、前記動画像から一部の画像を切り出す画像切り出し部であることとしてもよい。

また、本発明の更に他の態様に係る撮像装置システムは、撮像装置と再生装置とを備える撮像装置システムであって、第１の時刻における撮像方向と、第２の時刻における撮像方向が互いに異なるように撮像された動画像を再生する際に、前記第１の時刻の再生画像と前記第２の時刻の再生画像は実空間における略同方向の画像であることとしている。

本発明の撮像装置によると、再生動画の安定感を向上させることが可能となる。

本発明の一実施形態に係る撮像装置システムの概略全体図である。 本発明の一実施形態に係る撮像装置のブロック構成図である。 本発明の一実施形態に係るスマートフォンのブロック構成図である。 本発明の一実施形態に係る動画撮像処理に関するフローチャートである。 本発明の一実施形態に係る画像切り出しを説明するための図である。 本発明の一実施形態に係る動画撮像時に記憶部に記憶されるファイルを示す模式図である。 本発明の一実施形態に係る動画再生処理に関するフローチャートである。

以下に本発明の一実施形態について図面を参照して説明する。本発明の一実施形態に係る撮像装置システムの概略全体図を図１に示す。図１に示す撮像装置１は、無線又は有線によってスマートフォン２、又はパーソナルコンピュータ３などの情報端末（外部装置の一例）に接続可能となっている。図１で一例として図示しているスマートフォン２、又はパーソナルコンピュータ３は、撮像装置１との通信によって、撮像装置１によって撮像されて記憶された画像を取得して表示することが可能となっている。特に撮像装置１が動画像を撮像して記憶した場合は、スマートフォン２、又はパーソナルコンピュータ３において動画像を再生して表示させることができる。

上記のようにスマートフォン２及びパーソナルコンピュータ３などの情報端末は、撮像装置１と無線又は有線接続による通信を行う。無線接続の形態に関しては特に限定しないが、例えば、無線ＬＡＮ（Local Area Network）やBluetooth（登録商標）などが挙げられる。また、有線接続の形態に関しても特に限定しないが、例えば、ＵＳＢ（Universal Serial Bus）などが挙げられる。

撮像装置１は、一例として、全天球の撮像範囲での撮像を可能とするデジタルカメラとしている。撮像装置１は、光学レンズ系と固体撮像素子からなる撮像部を複数含んでなる構成としており、ここでは具体例として、撮像部を二つ含んでなる構成であるとして説明する。

図１に示す撮像装置１は、互いに対向する正面側、背面側にそれぞれ配された、画角が１８０度より大きな広角レンズの一例である魚眼レンズ１Ａ、１Ｂを備えている。魚眼レンズ１Ａを含む光学レンズ系と対応する固体撮像素子からなる撮像部によって撮像された画像と、魚眼レンズ１Ｂを含む光学レンズ系と対応する固体撮像素子からなる撮像部によって撮像された画像が合成されることにより、全天球画像データが生成される。生成された全天球画像データは、撮像装置１内部に記憶される。

ここで、撮像装置１の機能的構成を示すブロック図を図２に示す。図２に示すように撮像装置１は、撮像部１１Ａと、撮像部１１Ｂと、撮像画像処理部１２と、画像切り出し部１３と、制御部１４と、記憶部１５と、操作部１６と、姿勢検出部１７と、無線通信部１８と、有線通信部１９と、圧縮伸長処理部２０を備えている。

撮像部１１Ａは、魚眼レンズ１Ａ（図１）を含んだレンズ光学系１１１Ａと、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等から構成される固体撮像素子１１２Ａとを含んでなる。同様に、撮像部１１Ｂは、魚眼レンズ１Ｂ（図１）を含んだレンズ光学系１１１Ｂと、固体撮像素子１１２Ｂとを含んでなる。

レンズ光学系１１１Ａによって結像された被写体は、固体撮像素子１１２Ａによって光電変換され、撮像画像信号が出力される。同様に、レンズ光学系１１１Ｂによって結像された被写体は、固体撮像素子１１２Ｂによって光電変換され、撮像画像信号が出力される。

撮像画像処理部１２は、撮像部１１Ａ、１１Ｂがそれぞれ出力する撮像画像信号に基づいて合成処理を行い、全天球画像データを生成する。動画撮像時には、撮像部１１Ａ、１１Ｂから逐次出力される撮像画像信号に基づき、全天球画像データが逐次生成されることになる。全天球画像データをフレームデータとして、複数のフレームデータより動画像データが構成されることになる。

なお、全天球画像データは、例えば、全天球を地球儀と見立てた場合の緯度座標及び経度座標に対応した画像データから構成されるフォーマットによって生成される。そして、各座標位置における画像データは、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色の強度値を所定ビット（例えば８ビット）の階調にて有する。

制御部１４は、例えばマイクロプロセッサ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを含んで構成され、撮像装置１を統括的に制御する。なお、撮像画像処理部１２は、例えば、制御部１４を機能させるマイクロプロセッサが処理を行うものとしてもよいし、当該マイクロプロセッサとは別のハードウェアによって処理を行うものとしてもよい。

記憶部１５は、撮像画像処理部１２により生成された全天球画像データなどの各種情報が記憶される。記憶部１５は、例えば、撮像装置１に内蔵された不揮発性メモリや、撮像装置１が備えるスロットに装着されたメモリカード等の外部記憶媒体として構成される。

操作部１６は、撮像装置１に入力指示を行うためのものであり、例えば電源をオンオフさせるための電源ボタン、撮像開始・停止を操作するための撮像操作ボタンなどから構成される。

姿勢検出部１７は、撮像装置１の姿勢を一定期間ごとに検出するものであり、例えば加速度センサ、方位センサ、ジャイロセンサなどを含んで構成される。

無線通信部１８は、外部の情報端末（スマートフォン２やパーソナルコンピュータ３など）と無線接続にて通信を行うためのインタフェースであり、先述したように無線接続の形態については特に限定されない。

有線通信部１９は、外部の情報端末（スマートフォン２やパーソナルコンピュータ３など）と有線接続にて通信を行うためのインタフェースであり、先述したように有線接続の形態については特に限定されない。

圧縮伸長処理部２０は、例えばH.264エンコーダ／デコーダから構成され、生成された全天球画像データを圧縮したり、記憶部１５から読み出された全天球画像データを伸長したりする。なお、圧縮伸長処理は必須ではない。

画像切り出し部１３（画像出力部の一例）は、外部の情報端末（スマートフォン２やパーソナルコンピュータ３など）と連携した動画像の再生動作時に、撮像されて記憶部１５に記憶された動画像データから表示用の画像を切り出すものであり、動作の詳細については後述する。なお、画像切り出し部１３は、例えば、制御部１４を機能させるマイクロプロセッサが処理を行うものとしてもよいし、当該マイクロプロセッサとは別のハードウェアによって処理を行うものとしてもよい。

また、撮像装置１と連携して動画像の再生表示動作を行う外部の情報端末として、スマートフォン２を一例に挙げて具体的に説明するため、スマートフォン２の構成を示すブロック図を図３に示す。

図３に示すようにスマートフォン２は、通信部２１と、スピーカ２２と、マイク２３と、カメラ部２４と、キー入力部２５と、タッチパネルディスプレイ２６と、コントローラ２７を備えている。

通信部２１は、Ｇ３方式等の携帯電話通信回線に接続するための通信インタフェースに加えて、先述したように撮像装置１と無線又は有線にて接続するための通信インタフェースを含んで構成される。

スピーカ２２は、通信部２１によって受信された通話相手の音声、通信部２１によってダウンロードされたコンテンツデータの音声、ユーザへの報知音等の各種音声を出力する。マイク２３は、通話時にユーザが発した音声を集音したり、録音時に周辺音声を集音等する。

カメラ部２４は、レンズ光学系と固体撮像素子を含んで構成され、スマートフォン２に撮像機能を与えるものである。

キー入力部２５は、スマートフォン２に入力指示を与えるためのものであり、例えば電源をオンオフするための電源キーや、アプリケーション等における操作を行うための操作キーを含んでなる。

タッチパネルディスプレイ２６は、液晶ディスプレイ等の表示部と、当該表示部の表面に配されたタッチパネルを含んで構成される。タッチパネルは、ユーザの指やタッチペンの接触を検知するセンサであり、スマートフォン２に入力指示を与えることができる。

コントローラ２７は、例えばＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリを含んで構成され、ＲＯＭや不揮発メモリに記憶された各種プログラムを実行処理する。当該プログラムには、オペレーティングシステムやアプリケーションが含まれる。

次に、撮像装置１による動画撮像動作について、図４に示したフローチャート、及び図５に基づいて説明する。図５は、後述する画像切り出し部１３による画像切り出しを説明するための図である。また、図４に示す処理のプログラムは、制御部１４の有するＲＯＭ（不図示）に保持され、当該プログラムを制御部１４が実行する。

撮像装置１の操作部１６において動画撮像開始指示がされると、図４に示したフローチャートが開始される。まずステップＳ１で、制御部１４は、姿勢検出部１７によって検出された撮像装置１の現在の姿勢角を基準姿勢情報として取得する。

図５に示すように、実空間上の絶対的な座標系Ｃ０（Ｘ，Ｙ，Ｚ）を基準とした実線で示す撮像装置１に固定された座標系Ｃ１（ｘ，ｙ，ｚ）の姿勢角度（３軸の各軸周りの姿勢角度）が上記基準姿勢情報として記憶される。なお、座標系Ｃ１のｘ軸が、例えば撮像装置１の魚眼レンズ１Ａの光軸方向となる。

次に、ステップＳ２で、撮像部１１Ａ、１１Ｂによって撮像されて出力された各撮像画像信号に基づいて撮像画像処理部１２によりフレームデータ（全天球画像データ）が生成され、生成されたフレームデータが圧縮伸長処理部２０により圧縮されて記憶部１５に記憶されることが開始される。

また、ステップＳ２では同時に、制御部１４は、上記基準姿勢情報と、一定期間ごとに姿勢検出部１７によって検出される撮像装置１の姿勢情報との差分情報を記憶部１５に記憶させることを開始する。一定期間ごとに検出される上記姿勢情報は、図５に示す実空間上の絶対的な座標系Ｃ０を基準とした破線で示す撮像装置１に固定された座標系Ｃ１の姿勢角度を示す。撮像装置１の姿勢が変化すると、それに応じて座標系Ｃ１の姿勢角が変化することになる。従って、上記差分情報（オフセット分の情報）は、動画撮像開始指示時の基準姿勢と一定期間ごとに検出される撮像装置１の姿勢との関係情報（以下、姿勢関係情報）として記憶部１５に記憶される。

操作部１６において撮像停止指示が行われない限り（ステップＳ３のＮ）、制御部１４によってフレームデータ及び姿勢関係情報の記憶部１５への記憶の継続制御がされる。そして、撮像停止指示があると（ステップＳ３のＹ）、制御部１４によって撮像が停止され、フレームデータ及び姿勢関係情報の記憶が停止される。

ここで図６に、記憶部１５に記憶されるデータ構成を模式的に示す。複数のフレームデータからなる動画像データ、及び姿勢関係情報は、一つのファイル１５１として記憶部１５に記憶される。このとき、姿勢検出部１７による姿勢情報の検出の時間間隔に応じて、姿勢関係情報はフレームデータに一対一で対応するよう記憶されてもよいし、一つの姿勢関係情報が複数の時系列順に並んだフレームデータに対応するよう記憶されてもよい。即ち、姿勢関係情報が動画像データと関連付けて記憶される。

次に、上記のように撮像装置１によって撮像されて記憶された動画像データの再生表示動作について、図７に示したフローチャート、及び図５も参照して説明する。なお、ここでは、図３を用いて先に説明したスマートフォン２との連携で再生を行う場合を一例に挙げて説明する。また、スマートフォン２と撮像装置１の通信については、一例として無線通信であるとして説明する。

ここで、スマートフォン２において再生表示用のアプリケーションが起動しており、タッチパネルディスプレイ２６に表示されたアプリケーション画面において、タッチパネルにより再生表示開始操作（例えば画面上の再生表示キーをタッチ）が行われると、コントローラ２７は、通信部２１を介して撮像装置１の無線通信部１８に動画再生指示を送出する。制御部１４が、無線通信部１８から上記動画再生指示を受けると、図７に示したフローチャートが開始される。なお、動画再生指示はこれに限らず、例えば撮像装置１の操作部１６によって行ってもよい。

すると、ステップＳ１１で、画像切り出し部１３は、画像切り出し処理を開始する。具体的には、記憶部１５に記憶された動画像データを構成するフレームデータを圧縮伸長処理部２０により伸長した後のフレームデータ、及び当該フレームデータに対応する姿勢関係情報を用いて画像切り出しが行われる。

差分情報である姿勢関係情報は、図５で破線で示す座標系Ｃ１の実線で示す座標系Ｃ１（基準姿勢）からのオフセット分を示すので、このオフセット分だけ破線の座標系Ｃ１の姿勢を変化させて基準姿勢である実線の座標系Ｃ１に戻し、その実線の座標系Ｃ１で定められる所定方向Ｄ１の全天球における所定範囲Ｓ１の画像をフレームデータから切り出す。所定方向Ｄ１については、初期には所定の初期方向が定められる。

画像切り出し部１３は、上記のような切り出し処理をフレームデータごとに順次行い、切り出された画像は、順次無線通信部１８を介してスマートフォン２へ送出される。スマートフォン２では、撮像装置１から送られた画像を通信部２１が受信し、タッチパネルディスプレイ２６に表示されたアプリケーション画面に重畳されて上記画像が順次表示される。即ち、動画像が表示されることになる。

動画像撮像時に撮像装置１の姿勢が変化した場合でも、その変化に応じた姿勢関係情報が記憶されるので、上記画像の切り出し処理によって常に所定方向Ｄ１の画像、即ち実空間における一方向の画像を切り出すことができる。従って、スマートフォン２に表示される動画像は安定感が向上したものとなり、ユーザにとって見やすいものとなる。

そして、動画像表示中に例えばタッチパネルディスプレイ２６のタッチパネルにおいてスワイプ等のタッチ操作が行われると、コントローラ２７は検出された操作に応じた切り出し方向変更指示を通信部２１を介して撮像装置１へ送出する。

撮像装置１では、無線通信部１８が受け取った切り出し方向変更指示に応じて（ステップＳ１２のＹ）、画像切り出し部１３が切り出し方向である上記所定方向Ｄ１を現在のものより変更する（ステップＳ１３）。これにより、変更後の所定方向Ｄ１による画像切り出しが行われ、切り出された画像がスマートフォン２に送られて表示される。従って、ユーザは、タッチパネル操作によって視点を変えた動画像を見ることができる。特に全天球上のあらゆる方向の動画像を安定した状態で見ることができるので、利便性の高いものとなる。

このように本実施形態によれば、例えば撮像装置１を不安定な支持台により支持したり、人が撮像装置１を支えたりすることにより、動画撮像時に撮像装置１の姿勢が変化した場合でも、スマートフォン２と連携した動画再生時には安定的な動画像を表示させることができるので、ユーザにとって見やすいものとなる。特に、例えば撮像装置１を宙に投げたり、ダイビング時にワイヤ等で撮像装置１を腕につなげる等の姿勢変化の激しいアクション用途で動画撮像された場合であっても、動画再生時に安定的な動画像を表示させることができる。

以上、本発明の実施形態について説明したが、本発明の趣旨の範囲内であれば、実施形態は種々の変更が可能である。

例えば、上記実施形態では、基準姿勢情報と、一定期間ごとに姿勢検出部１７によって検出される撮像装置１の姿勢情報との差分情報を姿勢関係情報として記憶したが、差分を取る前の基準姿勢情報と一定期間ごとに検出される姿勢情報を記憶してもよい（即ち、これらの情報が姿勢関係情報に相当）。この場合、動画再生時に上記記憶された情報の差分を算出しつつ画像切り出しを行う。

また、基準姿勢情報は、動画撮像開始指示時に限らず、例えば撮像装置１の電源投入時などのタイミングでの姿勢を示すものとしてもよい。

また、例えば、図５で示す実空間における絶対的な座標系Ｃ０を基準姿勢とすれば、一定期間ごとに検出される撮像装置１の姿勢情報自体を姿勢関係情報として記憶してもよい。この場合、動画再生時の画像切り出しにおいては、座標系Ｃ０において定められる所定方向の全天球における所定範囲の画像を切り出すことになる。

また、例えば、動画撮像開始指示時の基準姿勢において姿勢検出部１７をリセットし、その状態からの相対的な姿勢角を姿勢検出部１７が一定期間ごとに検出するような形態の場合は、その検出される姿勢角を姿勢関係情報として記憶してもよい。

また、姿勢関係情報を必ずしも動画像データと関連付けて記憶させる必要はなく、例えば、制御部１４のＲＯＭ（不図示）にデフォルトとして基準姿勢の情報を保持しておき、動画撮像時は姿勢検出部１７が一定期間ごとに検出する撮像装置１の姿勢情報を動画像データと関連付けて記憶部１５に記憶させ、動画再生時に上記基準姿勢の情報と上記記憶部１５に記憶された姿勢情報とに基づき画像を切り出してもよい。

また、動画像の再生時に、記憶部１５から読み出して圧縮伸長処理部２０によって伸長されたフレームデータ、及び姿勢関係情報をスマートフォン２側に送り、スマートフォン２に設けた画像切り出し部によって画像を切り出してもよい。

また、動画像の撮像時に、制御部１４により、生成されたフレームデータに姿勢関係情報を関連付け、圧縮伸長処理部２０による圧縮後のフレームデータ、及び姿勢関係情報をスマートフォン２側に送り、スマートフォン２に設けられた記憶部（フラッシュメモリ等）に記憶させるようにしてもよい（即ち、当該記憶部に動画像データが記憶される）。この場合、動画像再生時には、スマートフォン２に設けられた画像切り出し部によって画像の切り出しを行えばよい。

また、動画像の撮像時に、制御部１４により、生成されたフレームデータに姿勢関係情報を関連付け、上記フレームデータ及び姿勢関係情報をスマートフォン２側に送り、スマートフォン２側の画像切り出し部によって画像を切り出し、切り出された画像をタッチパネルディスプレイ２６に表示させてもよい。即ち、動画像の撮像時にリアルタイムに動画像の再生を行うようにしてもよい。

また、上記では切り出し方向指示を行う入力インタフェースとしてスマートフォン２のタッチパネルを例として説明したが、例えばパーソナルコンピュータ３を用いる場合は、上記入力インタフェースとしてはタッチパッドやマウス等を用いることができる。

また、上記入力インタフェースとしてユーザの頭部に装着する表示装置であるヘッドマウントディスプレイを採用してもよい。この形態の場合、撮像装置１とヘッドマウントディスプレイを無線又は有線にて接続し、動画再生時には撮像装置１からヘッドマウントディスプレイへ切り出された画像データを送出し、ヘッドマウントディスプレイを装着したユーザの眼前に配される表示部に画像を表示させる。このとき、ヘッドマウントディスプレイの姿勢を検出するセンサをヘッドマウントディスプレイに設ければ、画像を見ているユーザが頭部を動かせば、その動きが検出され、検出に応じた切り出し方向変更指示をヘッドマウントディスプレイから撮像装置１へ送出することが可能となる。これにより、ユーザは、頭部を動かすことで視点を変えた動画像を見ることができ、あたかも仮想空間にいるような感覚を得ることができる。なお、ヘッドマウントディスプレイの形状は特に限定せず、例えばメガネ型のものを採用できる。

また、上記入力インタフェースとしては、その他にも、ユーザの目の動きを検出するものであったり、音声入力によるものであってもよい。

また、上記では画像出力部の一例として画像切り出し部を用いるものとしたが、例えば、記憶部１５から読み出されて圧縮伸長処理部２０によって伸長されたフレームデータ（全天球画像データ）と、姿勢関係情報に基づき、基準姿勢における所定方向を基準としてフレームデータの座標位置を変換し、変換後のフレームデータを出力するような画像出力部としてもよい。この場合、変換後のフレームデータをスマートフォン２側に送り、スマートフォン側２においてフレームデータによる画像を再生表示させる。これにより、安定化した全天球画像による動画を表示させることができる。

また、撮像装置と連携するスマートフォンやパーソナルコンピュータ（外部装置の一例）に更に表示手段としてテレビ装置やプロジェクタを接続し、スマートフォンやパーソナルコンピュータから動画再生に基づく表示出力信号を上記表示手段に送信して、表示手段に動画を表示させるようにしてもよい。

また、撮像装置の撮像範囲としては、全天球に限らず、例えば全天球のうち一部の球面を除いた範囲としてもよい。

１ 撮像装置
１Ａ、１Ｂ 魚眼レンズ
１１Ａ、１１Ｂ 撮像部
１１１Ａ、１１１Ｂ レンズ光学系
１１２Ａ、１１２Ｂ 固体撮像素子
１２ 撮像画像処理部
１３ 画像切り出し部
１４ 制御部
１５ 記憶部
１６ 操作部
１７ 姿勢検出部
１８ 無線通信部
１９ 有線通信部
２０ 圧縮伸長処理部
２ スマートフォン
２１ 通信部
２２ スピーカ
２３ マイク
２４ カメラ部
２５ キー入力部
２６ タッチパネルディスプレイ
２７ コントローラ
３ パーソナルコンピュータ

Claims (10)

1. 被写体を撮像する撮像部と、
   自機の姿勢を検出する姿勢検出部と、
   前記撮像部による撮像の繰り返しによって動画像が得られる際に前記姿勢検出部によって検出される姿勢情報を前記動画像と関連付ける情報関連付け部と、
   前記動画像と関連付けられた前記姿勢情報と前記動画像に基づいて表示用の画像を出力する画像出力部と、
   を備えることを特徴とする撮像装置。
2. 前記画像出力部は、基準姿勢と前記姿勢情報との関係に基づいて表示用の画像を出力することを特徴とする請求項１に記載の撮像装置。
3. 前記基準姿勢は、動画撮像開始指示があったときの前記撮像装置の姿勢であることを特徴とする請求項２に記載の撮像装置。
4. 前記情報関連付け部は、前記基準姿勢の情報と前記姿勢情報との差分情報を前記動画像と関連付けることを特徴とする請求項２又は請求項３に記載の撮像装置。
5. 前記画像出力部は、前記動画像から一部の画像を切り出す画像切り出し部であることを特徴とする請求項１〜請求項４のいずれか１項に記載の撮像装置。
6. 被写体を撮像する撮像部と、
   自機の姿勢を検出する姿勢検出部と、
   前記撮像部による撮像の繰り返しによって動画像が得られる際に前記姿勢検出部によって検出される姿勢情報を前記動画像と関連付ける情報関連付け部と、を備える撮像装置と、
   外部装置と、を備える撮像装置システムであって、
   前記動画像と関連付けられた前記姿勢情報と前記動画像に基づいて表示用の画像を出力する画像出力部を前記撮像装置又は前記外部装置が備え、
   前記外部装置は、前記画像出力部によって出力された画像を表示するための表示出力を行う表示出力部を備えることを特徴とする撮像装置システム。
7. 前記画像出力部は、基準姿勢と前記姿勢情報との関係に基づいて表示用の画像を出力するものであり、
   前記外部装置は、前記画像出力部が画像を出力する前記基準姿勢における方向を変更するための指示を入力する入力部を更に備えることを特徴とする請求項６に記載の撮像装置システム。
8. 前記動画像に関連付けられた前記姿勢情報は、前記撮像装置、又は前記外部装置の記憶部に記憶されることを特徴とする請求項６又は請求項７に記載の撮像装置システム。
9. 前記撮像装置は、前記動画像と関連付けられた前記姿勢情報を前記外部装置に送出する送出部を備えることを特徴とする請求項６〜請求項８のいずれか１項に記載の撮像装置システム。
10. 撮像装置と再生装置とを備える撮像装置システムであって、
    第１の時刻における撮像方向と、第２の時刻における撮像方向が互いに異なるように撮像された動画像を再生する際に、前記第１の時刻の再生画像と前記第２の時刻の再生画像は実空間における略同方向の画像であることを特徴とする撮像装置システム。