JP2020188358A - 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 - Google Patents

Abstract

【課題】ＶＲ画像と通常画角の画像との両方の撮影を可能にする電子機器を提供する。【解決手段】本発明の電子機器は、撮像された画像を取得する取得手段と、前記取得手段によって取得された画像から一部の範囲を抽出して、ＶＲ画像でない動画を記憶部に記録するように制御し、前記取得された画像に基づいて、ＶＲ画像である静止画を前記記憶部に記録するように制御する制御手段と、を有することを特徴とする。【選択図】図４

Description

本発明は、電子機器、電子機器の制御方法、プログラム、及び、記憶媒体に関し、特に動画と静止画の撮影方法に関する。

通常画角よりも広い、例えば１８０°や３６０°等の広角の視野を有するＶＲ画像を撮影できる撮像装置が知られている（特許文献１）。静止画と動画を様々なタイミングで撮影できる撮像装置も知られている（特許文献２）。

特開２０１５−１１５７７８号公報 特開２０１２−１８２７３０号公報

ここで、ユーザーがＶＲ画像と通常画角の画像との両方を撮影したい場合がある。しかしながら、そのような場合には、ユーザーは、ＶＲ画像を撮影できる撮像装置と、通常画角の画像を撮影できる撮像装置との両方を使用しなければならず、利便性が悪い。ユーザーが２台の撮像装置の使い分けに手間取ってシャッターチャンスを逃す可能性もある。

本発明は、ＶＲ画像と通常画角の画像との両方の撮影を可能にする電子機器を提供することを目的とする。

本発明の電子機器は、撮像された画像を取得する取得手段と、前記取得手段によって取得された画像から一部の範囲を抽出して、ＶＲ画像でない動画を記憶部に記録するように制御し、前記取得された画像に基づいて、ＶＲ画像である静止画を前記記憶部に記録するように制御する制御手段と、を有することを特徴とする。

本発明によれば、ＶＲ画像と通常画角の画像との両方の撮影が可能となる。

本実施形態に係る撮像装置の外観図である。 本実施形態に係る撮像装置の内部構成を示すブロック図である。 本実施形態に係る撮像装置の内部構成を示すブロック図である。 本実施形態に係る撮影処理の一例を示すフローチャートである。 本実施形態に係る撮影の一例を示す図である。

以下、図面を参照して本発明の好適な実施形態を説明する。図１（Ａ），１（Ｂ）に、本発明を適用可能な電子機器の一例としての撮像装置１００の外観を示す。撮像装置１００は、レンズ一体型のデジタルカメラである。なお、撮像装置１００は、一眼レフカメラやミラーレス一眼カメラなどであってもよい。

図１（Ａ）は、撮像装置１００の前面の外観を示す。表示部１４１は、各種画像や各種
情報を表示する。撮像装置１００は、ライブビュー表示（被写体をほぼリアルタイムで表すライブビュー画像の表示）を表示部１４１に行わせることができる（表示制御）。そして、ユーザーは、表示部１４１のライブビュー表示で被写体を確認しながら、撮影に関する各種指示（撮影に関する各種操作）を行うことができる。表示部１４１の表示面上に設けられたタッチパネル１３は、タッチ操作を受け付け可能である。レリーズボタン１１は半押しおよび全押しが可能なスイッチであり、ユーザーは、レリーズボタン１１の半押しや全押しによって、撮影準備指示、動画の撮影開始指示、動画の撮影終了指示、静止画の撮影指示などの少なくともいずれかを行うことができる。レンズ１０１は広角レンズであり、レンズ１０１に入射した光束を撮像素子１０２（図１（Ａ）では不図示）に結像させる。

図１（Ｂ）は、撮像装置１００の背面の外観を示す。ユーザーは、ボタン１２の押下や、ボタン１２を押下していた指をボタン１２から離す操作などによって、撮影準備指示、動画の撮影開始指示、動画の撮影終了指示、静止画の撮影指示などの少なくともいずれかを行うことができる。レンズ１１１はレンズ１０１と同様の広角レンズであり、レンズ１１１に入射した光束を撮像素子１１２（図１（Ｂ）では不図示）に結像させる。

なお、表示部１４１は、撮像装置１００とは別体の装置（撮像装置１００に有線または無線で接続されたスマートフォンやタブレット端末などの外部装置）であってもよい。例えば、表示部１４１は、撮像装置１００とは別体のスマートフォンなどに設けられてもよい。この場合に、撮像装置１００は、ライブビュー表示を外部装置に行わせることができ、ユーザーは、外部装置のライブビュー表示で被写体を確認しながら、撮影に関する各種指示を行うことができる。また、撮影に関する各種指示のための操作は、撮像装置１００とは別体の装置に対して行われてもよい。例えば、撮像装置１００とは別体のスマートフォンに対して操作が行われ、当該操作に応じた指示をスマートフォンが撮像装置１００に対して行ってもよい。

図２に撮像装置１００の内部構成を示す。なお、図２では、各機能を構成要素として分けて示しているが、各機能は１つまたは複数のＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）等のハードウェアによって実現されてもよい。また、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって各機能が実現されてもよい。

レンズ１０１は絞り機構を含む単焦点レンズであり、レンズ１０１の焦点位置はパンフォーカスとなっている。なお、レンズ１０１は単焦点レンズでなくてもよい。

撮像素子１０２は、ＣＣＤやＣＭＯＳ素子などで構成される撮像センサー（イメージセンサー）であり、光電変換素子を含む複数の画素が２次元配列された構成を有する。撮像素子１０２は、レンズ１０１を含む撮影光学系により形成された被写体像（光学像）を画素ごとに光電変換、つまりは撮像してアナログ信号を生成し、これをＡ／Ｄ変換回路によりデジタル信号に変換して画素単位の画像データを出力する。

メモリＩ／Ｆ部１０６は、撮像素子１０２から出力された全画素分の画像データをメモリ１０７へ書き込む。また、メモリＩ／Ｆ部１０６は、メモリ１０７に保持された画像データを読み出して画像処理部１０８に出力する。メモリ１０７は、数フレーム分の画像データ（いずれのフレームも全画素分の画像データ）を格納する揮発性の記憶媒体である。

画像処理部１０８は、メモリＩ／Ｆ部１１６からの画像データ（全画素分の画像データ）に対してガンマ補正、色分離、色差マトリクス等の処理を施し、同期信号を加えて記録用または表示用の映像データとして出力する。また、画像処理部１０８は、画像処理部１
０８に入力された画像データの各画素の輝度値から測光値を得て、バス１２１を経由してカメラ制御部１２０へ提供する。

レンズ１１１、撮像素子１１２、メモリＩ／Ｆ部１１６、メモリ１１７、及び、画像処理部１１８は、レンズ１０１、撮像素子１０２、メモリＩ／Ｆ部１０６、メモリ１０７、及び、画像処理部１０８と同様の機能を有する。レンズ１１１、撮像素子１１２、メモリＩ／Ｆ部１１６、メモリ１１７、及び、画像処理部１１８によって、レンズ１０１、撮像素子１０２、メモリＩ／Ｆ部１０６、メモリ１０７、及び、画像処理部１０８と同様の処理が行われる。

カメラ制御部１２０は、ＣＰＵなどで構成され、撮像装置１００の動作全体を制御する。ＲＡＭ１６０は、カメラ制御部１２０の作業領域（ワークメモリ）として使用される。ＲＡＭ１６０には、カメラ制御部１２０の動作用の定数や変数が記録されたり、プログラム等が展開されたりする。ＲＯＭ１８０は、カメラ制御部１２０が動作するためのコンピュータプログラム等を記憶する。例えば、カメラ制御部１２０は、ＲＯＭ１８０に格納されたコンピュータプログラムをＲＡＭ１６０に展開して実行することにより、撮像装置１００の動作全体を制御する。

ゲイン制御部１０３、シャッター制御部１０４、及び、絞り制御部１０５は、露出制御のために使用される。カメラ制御部１２０は、画像処理部１０８および画像処理部１１８から提供される測光値、あるいはユーザーがマニュアル設定した動作パラメータに基づき、上記制御部１０３〜１０５を制御する。ゲイン制御部１０３は、撮像素子１０２および撮像素子１１２のゲインを制御する。シャッター制御部１０４は、撮像素子１０２および撮像素子１１２のシャッタースピードを制御する。絞り制御部１０５は、レンズ１０１の絞り機構やレンズ１１１の絞り機構を制御する。

記憶媒体Ｉ／Ｆ部１３０は、記憶媒体１３１を撮像装置１００に接続するためのインタフェースである。記憶媒体Ｉ／Ｆ部１３０は、画像処理部１０８や画像処理部１１８やＧＰＵ１４２から入力された映像データを記憶媒体１３１に記録したり、記録された映像データを記憶媒体１３１から読み出したりする。記憶媒体１３１は、半導体メモリ等で構成された記憶部である。

表示用Ｉ／Ｆ部１４０は、画像処理部１０８および画像処理部１１８からの映像データや、ＧＰＵ１４２によってＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）１４３に描画された画像データを表示部１４１に出力する。

ＧＰＵ１４２は、カメラ制御部１２０からの指示にもとづき、画像処理部１０８および画像処理部１１８から出力された映像データを画像変換処理および画像切り出し処理、拡大処理、歪み補正等を行いＶＲＡＭ１４３へ描画するレンダリングエンジンである。また、ＧＰＵ１４２は、撮像装置１００の各種情報やメニュー画面をＶＲＡＭ１４３に重畳描画する処理も行う。例えば、ユーザーからの各種指示を受け付けるためのタッチパネルボタンがＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）としてＧＰＵ１４２によって描画され表示用Ｉ／Ｆ部１４０を経由して表示部１４１に表示される。

通信用Ｉ／Ｆ部１５０は、通信部１５１を経由して撮像装置１００の外部にある不図示のスマートフォンやＰＣなどと接続し、表示部１４１で表示される画像データをそれらに転送する。また、通信用Ｉ／Ｆ部１５０は、スマートフォンやＰＣなどから撮像装置１００に対する制御指令などを受信し、カメラ制御部１２０へ通知する。通信部１５１は無線通信を行う無線ＬＡＮインタフェースであり、通信用Ｉ／Ｆ部１５０が行う通信のハードウェア処理を行う。

レリーズボタン１１、ボタン１２、及び、タッチパネル１３は前述の機能を備え、操作に応じた操作情報（撮影準備指示、動画の撮影開始指示、動画の撮影終了指示、静止画の撮影指示、等）をＩＯコントローラ１７０へ出力する。ＩＯコントローラ１７０は、各種操作部からの操作情報をカメラ制御部１２０へ出力し、カメラ制御部１２０は、ＩＯコントローラ１７０からの操作情報に応じた処理を行う。例えば、タッチパネル１３は、表示部１４１に重ねられており、タッチ操作が行われた位置や領域の座標情報などを含む操作情報を出力する。

図３に、撮像装置１００の内部構成を示す。図３では、本実施形態の特徴的な処理が示されるように、構成を簡略化して示している。切り出し処理部３０１とＶＲ処理部３０２の処理は、例えば、図２のカメラ制御部１２０を含む１つ以上の構成要素により実現される。

切り出し処理部３０１は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像でない動画（非ＶＲ動画）の生成に使用される。ＶＲ画像については後述する。切り出し処理部３０１は、撮像素子１０２によって撮像された画像（撮像素子１０２から出力された画像データ）を取得する。そして、切り出し処理部３０１は、取得した画像の少なくとも一部の範囲を抽出する切り出し処理を行う。切り出し処理部３０１は、抽出した範囲の動画（非ＶＲ動画；動画データ）がメモリ１０７に一時的に蓄えられるように、抽出した範囲の画像（画像データ）をメモリ１０７に格納する（動画バッファリング）。画像処理部１０８は、メモリ１０７に蓄えられた動画の圧縮符号化処理を行い、圧縮符号化処理により得られた動画（非ＶＲ動画）を記憶媒体１３１に記録する。

なお、切り出し処理で抽出する範囲は、撮像素子１０２によって撮像される範囲の中央部（中心部）などの所定の範囲であってもよいし、そうでなくてもよい。撮像素子１０２で撮像された画像は歪みを持っていることがあるため、切り出し処理は、画像の歪みを低減する歪曲補正などを含んでもよい。そうすることで、歪みの少ない画像を表示したり記録したりすることができる。また、撮像素子１１２によって撮像された画像の一部の範囲を抽出して、非ＶＲ動画を記憶媒体１３１に記録してもよい。

ＶＲ処理部３０２は、ＶＲ画像である静止画（ＶＲ静止画）の撮影に使用される。ＶＲ処理部３０２は、撮像素子１０２によって撮像された画像と、撮像素子１１２によって撮像された画像とを取得し、それら２つの画像を用いてＶＲ処理を行う。なお、非ＶＲ動画の撮影ではＶＲ処理は行われない。

ＶＲ処理は、撮像された画像をＶＲ画像（ＶＲ形式の画像）として扱うことのできるようにする画像処理であり、例えば全天球形式（全天球イメージ形式）の画像を得るための画像処理である。本実施形態では、ＶＲ処理部３０２はＶＲ処理において以下の処理を行う。まず、ＶＲ処理部３０２は、２つの画像の一方を基準画像、他方を比較画像として用いて、パターンマッチング処理によりエリア毎に基準画像と比較画像のずれ量を算出し、エリア毎のずれ量に基づいて、２つの画像を繋ぐ繋ぎ位置を検出する。そして、ＶＲ処理部３０２は、検出した繋ぎ位置と各光学系のレンズ特性とを考慮して、幾何学変換により各画像の歪みを補正する。これにより、各画像が全天球形式の画像に変換される。その後、ＶＲ処理部３０２は、全天球形式の２つの画像を合成（ブレンド）することで、全天球形式の１つの画像を生成する。ＶＲ処理により得た画像（ＶＲ画像）は、例えば正距円筒図法を用いた画像であり、撮像を行った位置（撮像位置）からの各方向を画像における各位置（各画素）に対応づけることができる。本実施形態では、撮像素子１０２，１１２のそれぞれにおいて、１８０°の画角に対応する画像が撮像される。そして、ＶＲ処理により、２つの撮像素子１０２，１１２で撮像された２つの画像から、３６０°の画角に対応
する３６０°画像（全方位画像；全天球画像）が得られる。なお、上述した合成はＶＲ処理に含まれず、ＶＲ画像のＶＲ表示（後述）の際に行われてもよい。また、３６０°画像から１８０°の画角に対応する任意の範囲を切り出して１８０°画像（半天球画像）を生成してもよい。

ＶＲ処理部３０２は、ＶＲ処理により得たＶＲ画像（ＶＲ静止画）をメモリ１１７に格納する（静止画バッファリング）。画像処理部１１８は、メモリ１１７に蓄えられた静止画の圧縮符号化処理を行い、圧縮符号化処理により得られた静止画（ＶＲ静止画）を記憶媒体１３１に記録する。例えば、画像処理部１１８は、ＶＲ静止画の画像ファイルを、ＶＲ情報を含めて記憶媒体１３１に記録する。ＶＲ情報は、撮像位置からの各方向を画像における各位置に対応付けるための情報であり、例えば天頂方向に対応する位置（画素）を示す情報、天底方向に対応する位置（画素）を示す情報、及び、ＶＲ画像であることを示す情報のうち少なくともいずれかを含む。画像処理部１１８は、ＶＲ静止画の画像ファイルを、ＶＲ画像であることを示す文字列をファイル名に含めて記憶媒体１３１に記録してもよい。例えば、ＶＲ静止画のファイル名では、「１２３４５６．ｖｒ．ｊｐｇ」のように拡張子「．ｊｐｇ」の手前に３文字の文字列「．ｖｒ」を記述してもよい。なお、非ＶＲ動画の撮影では、ＶＲ情報の付加や、ＶＲ画像であることを示す文字列の付加などは行われない。

ＶＲ画像について説明する。ＶＲ画像は、ＶＲ表示（表示モード「ＶＲビュー」で表示）をすることのできる画像であり、例えば、撮像位置からの各方向を画像における各位置（各画素）に対応づけることができる全天球形式の画像である。ＶＲ表示では、ＶＲ画像の一部が表示範囲として表示される。表示範囲は、ユーザーからの指示（操作）や、ＶＲ表示を行う表示装置の姿勢変化などによって自由に変えることができる。ＶＲ表示では、ユーザーが撮影場所の仮想空間（ＶＲ空間）にいるような感覚（臨場感や没入感）を得ることのできるような表示（表示範囲の決定や変更）が行われる。換言すれば、ユーザーが撮像位置から各方向を見渡せるような感覚を得ることができるように、撮像位置から見た見え方を再現した表示が行われる。

図４は、撮像装置１００の撮影処理の一例を示すフローチャートである。図４の撮影処理は、カメラ制御部１２０がＲＯＭ１８０に記録されたプログラムをＲＡＭ１６０に展開して実行するにより実現される。図４の撮影処理は、例えば、撮像装置１００に動画撮影モードが設定されたことに応じて開始する。図４の複数の処理のうち、カメラ制御部１２０とは異なる構成要素により行われる処理は、カメラ制御部１２０からの指示に従って行われる。

ステップＳ４０１にて、撮像素子１０２，１１２は撮像を行う。ステップＳ４０２にて、切り出し処理部３０１は、撮像素子１０２によって撮像された画像を取得する。ステップＳ４０３にて、切り出し処理部３０１は、ステップＳ４０２で取得した画像の一部の範囲を抽出する（切り出し処理）。ステップＳ４０４にて、表示部１４１は、ステップＳ４０３で抽出された画像を表示する（ライブビュー表示）。

なお、ステップＳ４０１〜Ｓ４０４はライブビュー表示のためのステップであり、省略してもよい。但し、ライブビュー表示を行えば、ユーザーは、ライブビュー表示（被写体）を確認しながら所望のタイミングで撮影を行えるようになる。また、ユーザーは、ライブビュー表示の明暗度などを確認しながら所望の撮像パラメータへの調整を行って、所望の明暗度などの画像を撮影できるようになる。上述したように、ライブビュー表示は、撮像装置１００とは別体の装置（撮像装置１００に接続されたスマートフォンやタブレット端末などの外部装置）で行われてもよい。

ステップＳ４０５にて、カメラ制御部１２０は、動画の撮影開始指示（動画撮影を開始する指示）がユーザーからあったか否かを判定する。撮影開始指示があった場合はステップＳ４０６に進み、そうでない場合はステップＳ４２４に進む。

ステップＳ４０６にて、撮像素子１０２，１１２は撮像を行う。ステップＳ４０７にて、切り出し処理部３０１は、撮像素子１０２によって撮像された画像を取得する。ステップＳ４０８にて、切り出し処理部３０１は、ステップＳ４０２で取得した画像の一部の範囲を抽出する（切り出し処理）。ステップＳ４０９にて、表示部１４１は、ステップＳ４０８で抽出された画像を表示する（ライブビュー表示）。

ステップＳ４１０にて、切り出し処理部３０１は、ステップＳ４０８で抽出した範囲の画像を非ＶＲ動画の一部としてメモリ１０７に格納する（動画バッファリング）。動画バッファリング中は、抽出した範囲の動画がメモリ１０７に一時的に蓄えられる。ステップＳ４１１にて、画像処理部１０８は、メモリ１０７に蓄えられた画像を順次読み出し、読み出した画像の圧縮符号化処理を行う（動画の圧縮符号化処理）。ステップＳ４１２にて、画像処理部１０８は、ステップＳ４１１の圧縮符号化処理により得られた画像を、非ＶＲ動画の一部（フレーム）として記憶媒体１３１に記録する。ステップＳ４１０〜Ｓ４１２は、動画の撮影終了指示があるまで繰り返される。１回目のステップＳ４１２では、圧縮符号化処理により得られた画像を含む非ＶＲ動画のファイルが記憶媒体１３１に生成される（ファイルの新規作成；動画生成）。２回目以降のステップＳ４１２では、圧縮符号化により得られた画像が既存のファイルに順次格納される（ファイルの更新）。

なお、本実施形態では記憶媒体１３１に記録する範囲（撮像された画像の一部の範囲）がライブビュー表示の範囲と同じとなるが、それらの範囲は異なっていてもよい。但し、それらの範囲が同じであれば、ユーザーは、ライブビュー表示で確認した所望の範囲の動画を撮影できるようになり、より快適に動画撮影を行えるようになる。また、本実施形態では、記憶媒体１３１に記録する範囲、すなわち、動画の画角は複数の撮像素子１０２、１１２のうち１つで撮像される画像に収まるものとする。撮影者は撮像装置１００の向きを変えることによって、動画として記録したい範囲を撮像素子１０２、１１２のうち１つで撮像されるように調整することができる。

ステップＳ４１３にて、カメラ制御部１２０は、静止画の撮影指示（静止画撮影を行う指示）がユーザーからあったか否かを判定する。撮影指示があった場合はステップＳ４１４に進み、そうでない場合はステップＳ４１９に進む。

ステップＳ４１４にて、ＶＲ処理部３０２は、撮像素子１０２によって撮像された画像と、撮像素子１１２によって撮像された画像とを取得する。ステップＳ４１５にて、ＶＲ処理部３０２は、ステップＳ４１４で取得した２つの画像を用いてＶＲ処理を行うことにより、１つのＶＲ画像（３６０°画像）を生成する。ステップＳ４１６にて、ＶＲ処理部３０２は、ステップＳ４１５で得たＶＲ画像をＶＲ静止画としてメモリ１１７に格納する（静止画バッファリング）。ステップＳ４１７にて、画像処理部１１８は、メモリ１１７に蓄えられたＶＲ静止画の圧縮符号化処理を行う。ステップＳ４１８にて、画像処理部１１８は、ステップＳ４１７の圧縮符号化処理により得られたＶＲ静止画のファイルを生成し（静止画生成）、記憶媒体１３１に記録する。ステップＳ４１８では、ＶＲ静止画のファイルにＶＲ情報が格納されたり、ＶＲ画像であることを示す文字列がＶＲ静止画のファイル名に記述されたりする。

なお、ステップＳ４１５とステップＳ４１６の順番を入れ替えてもよい。具体的には、撮像素子１０２，１１２によって撮像された２つの画像をそのまま（ＶＲ処理を施さずに）メモリ１０７に格納してもよい。そして、メモリ１１７に蓄えた２つの画像を読み出し
てＶＲ処理を行うことで、ＶＲ静止画を生成してもよい。

ステップＳ４１９にて、カメラ制御部１２０は、動画の撮影終了指示（動画撮影を終了する指示）がユーザーからあったか否かを判定する。撮影終了指示があった場合はステップＳ４２０に進み、そうでない場合はステップＳ４０６に進む。

ステップＳ４２０にて、切り出し処理部３０１は、ステップＳ４１０の動画バッファリングを停止する。ステップＳ４２１にて、画像処理部１０８は、ステップＳ４１１と同様に動画の圧縮符号化処理を行う。ステップＳ４２２にて、画像処理部１０８は、ステップＳ４１２と同様に、ステップＳ４２１の圧縮符号化処理により得られた画像を、非ＶＲ動画の一部（フレーム）として記憶媒体１３１に記録する。

ステップＳ４２３にて、カメラ制御部１２０は、記憶媒体１３１への非ＶＲ動画の記録が完了したか否か、つまり動画バッファリングでメモリ１０７に蓄えられた非ＶＲ動画の全体が記憶媒体１３１に記録されたか否かを判定する。完了した場合は（撮影待機状態となって）ステップＳ４２４に進む。そうでない場合はステップＳ４２１に進み、動画バッファリングでメモリ１０７に蓄えられた非ＶＲ動画の全体が記憶媒体１３１に記録されるまで、ステップＳ４２１〜Ｓ４２３を繰り返す。

ステップＳ４２４にて、カメラ制御部１２０は、動画撮影モードを終了（解除）する指示がユーザーから入力されたか否かを判定する。指示があった場合は図４の撮影処理が終了し、そうでない場合はステップＳ４０１に進む。

図５に、図４の撮影処理での撮影（非ＶＲ動画とＶＲ静止画の撮影）の一例を示す。図５の横軸は時間の経過を表す。図５に示すように、図４の撮影処理では、非ＶＲ動画５０１の撮影期間に、ＶＲ静止画５０２，５０３を撮影することができる。非ＶＲ動画５０１の撮影期間には静止画の撮影指示を複数回行うことが可能であり、静止画の撮影指示がある度にＶＲ静止画が撮影される。このとき、複数のＶＲ静止画は個別のファイルとして記憶媒体１３１に記録される。図５では、非ＶＲ動画５０１の撮影期間には静止画の撮影指示が２回あり、ＶＲ静止画５０２のファイルと、ＶＲ静止画５０３のファイルとが個別に記憶媒体１３１に記録される。このとき、非ＶＲ動画５０１とＶＲ静止画５０２，５０３とを、互いに関連付けて記憶媒体１３１に記録してもよい。そうすることで、同じ被写体を撮影した非ＶＲ動画やＶＲ静止画を簡単に切り替えて表示できたり、管理しやすくなったりするため、利便性が向上する。なお、ＶＲ静止画５０３の撮影を行うタイミングは、非ＶＲ動画の撮影期間外であってもよい。

以上述べたように、本実施形態によれば、ＶＲ静止画と非ＶＲ動画（通常画角の動画）との両方の撮影が可能となる。なお、本実施形態ではＶＲ静止画が３６０°画像である例を説明したが、ＶＲ静止画の画角は３６０°より狭くてもよく、１８０°より狭くてもよい。ただし、ＶＲ静止画の画角は、非ＶＲ動画の画角よりも広いものとする。

また、本実施形態では、２つの撮像素子１０２，１１２を用いてＶＲ静止画を得る例を説明したが、１つの撮像素子で撮像された画像からＶＲ静止画を生成してもよく、撮像装置１００が有する撮像素子の数は１つであってもよい。あるいは、３つ以上の複数の撮像素子を用いて複数の撮像画像を取得し、ＶＲ処理を実行してＶＲ静止画を生成するようにしてもよい。すなわち、本実施形態では、静止画は、動画に比べて広い画角の範囲の撮像画像を用いて生成される。

なお、カメラ制御部１２０が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が
処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、本発明はこの例に限定されず撮像された画像を取得できる装置（電子機器）であれば適用可能である。例えば、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、プリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、映像プレーヤーなどに適用可能である。また、本発明は、テレビジョン装置、投影装置、タブレット端末、スマートフォン、ＡＩスピーカー、家電装置、車載装置、医療機器などにも適用可能である。

また、撮像装置本体に限らず、有線または無線通信を介して撮像装置（ネットワークカメラを含む）と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置 １０２，１１２：撮像素子 １０８，１１８：画像処理部
１２０：カメラ制御部 ３０１：切り出し処理部 ３０２：ＶＲ処理部

Claims (24)

1. 撮像された画像を取得する取得手段と、
   前記取得手段によって取得された画像から一部の範囲を抽出して、ＶＲ画像でない動画を記憶部に記録するように制御し、前記取得された画像に基づいて、ＶＲ画像である静止画を前記記憶部に記録するように制御する制御手段と、
   を有することを特徴とする電子機器。
2. 前記取得手段は、複数の撮像手段でそれぞれ撮像された複数の画像を取得し、
   前記制御手段は、前記複数の画像のうちのいずれかから一部の範囲を抽出して前記動画を前記記憶部に記録するように制御し、前記複数の画像に基づいて前記静止画を前記記憶部に記録するように制御する
   ことを特徴とする請求項１に記載の電子機器。
3. 前記制御手段は、前記取得手段によって取得された画像に対して全天球形式の画像を得るための画像処理を行って前記静止画を前記記憶部に記録するように記録し、前記画像処理を行わずに前記動画を前記記憶部に記録するように制御する
   ことを特徴とする請求項１または２に記載の電子機器。
4. 前記制御手段は、前記静止画の画像ファイルを、撮像を行った位置からの各方向を画像における各位置に対応付けるためのＶＲ情報を含めて前記記憶部に記録するように制御し、前記動画の画像ファイルを、前記ＶＲ情報を含めずに前記記憶部に記録するように制御する
   ことを特徴とする請求項１〜３のいずれか１項に記載の電子機器。
5. 前記ＶＲ画像は全天球画像または半天球画像であり、
   前記制御手段は、前記静止画を、天頂方向に対応する位置を示す情報、天底方向に対応する位置を示す情報、及び、ＶＲ画像であることを示す情報のうち少なくともいずれかと関連付けて前記記憶部に記録するように制御する
   こと特徴とする請求項１〜４のいずれか１項に記載の電子機器。
6. 前記制御手段は、前記静止画の画像ファイルを、ＶＲ画像であることを示す文字列をファイル名に含めて前記記憶部に記録するように制御し、前記動画の画像ファイルを、前記文字列をファイル名に含めずに前記記憶部に記録するように制御する
   ことを特徴とする請求項１〜５のいずれか１項に記載の電子機器。
7. 前記制御手段は、前記動画の撮影期間に撮影された前記静止画を前記記憶部に記録するように制御する
   ことを特徴とする請求項１〜６のいずれか１項に記載の電子機器。
8. 前記制御手段は、前記動画と、当該動画の撮影期間に撮影された前記静止画とを、互いに関連付けて前記記憶部に記録するように制御する
   ことを特徴とする請求項１〜７のいずれか１項に記載の電子機器。
9. 前記静止画は３６０°画像または１８０°画像である
   ことを特徴とする請求項１〜８のいずれか１項に記載の電子機器。
10. 前記取得された画像の一部の範囲を表示部に表示するように制御する表示制御手段、をさらに有し、
    前記制御手段は、前記表示部に表示された範囲の前記動画を記憶部に記録するように制
    御する
    ことを特徴とする請求項１〜９のいずれか１項に記載の電子機器。
11. ユーザーからの指示を受け付ける受け付け手段、をさらに有し
    前記制御手段は、
    動画撮影を開始する指示がユーザーからあったことに応じて前記動画の記録を開始し、前記動画撮影を終了する指示が前記ユーザーからあったことに応じて前記動画の記録を終了するように制御し、
    静止画撮影を行う指示が前記ユーザーからあったことに応じて前記静止画を前記記憶部に記録するように制御する
    ことを特徴とする請求項１〜１０のいずれか１項に記載の電子機器。
12. 複数の撮像手段でそれぞれ撮像された複数の画像を取得する取得手段と、
    前記複数の撮像手段のうち１つで撮像された画像に基づいて動画を生成する動画生成手段と、
    前記複数の撮像手段で撮像された複数の画像に基づいて前記動画よりも画角の広い静止画を生成する静止画生成手段と、
    前記動画および前記静止画をそれぞれ記憶部に記録するように制御する制御手段と、
    を有することを特徴とする電子機器。
13. 動画の撮影開始指示、前記動画の撮影終了指示および静止画の撮影指示をそれぞれ受け付ける受け付け手段、をさらに有し、
    前記動画は、前記動画の撮影開始指示を受け付けてから前記動画の撮影終了指示を受け付けるまでの間に前記複数の撮像手段のうち１つで撮像された画像に基づいて生成され、
    前記静止画は、前記動画の撮影開始指示を受け付けてから前記動画の撮影終了指示を受け付けるまでの間に受け付けられた撮影指示に対応して前記複数の撮像手段で撮像された複数の画像に基づいて生成される
    ことを特徴とする請求項１２に記載の電子機器。
14. 前記制御手段は、前記動画と、前記動画の撮影開始指示を受け付けてから前記動画の撮影終了指示を受け付けるまでの間に受け付けられた撮影指示に対応して前記複数の撮像手段で撮像された複数の画像に基づいて生成された静止画とを、互いに関連付けて前記記憶部に記録するように制御する
    ことを特徴とする請求項１３に記載の電子機器。
15. 前記静止画生成手段は、前記複数の撮像手段で撮像された複数の画像に対して、ＶＲ形式の画像を得るための画像処理を行って前記静止画を生成し、
    前記動画生成手段は、前記複数の撮像手段のうち１つで撮像された画像に対して、前記画像処理を行わずに前記動画を生成する
    ことを特徴とする請求項１２〜１４のいずれか１項に記載の電子機器。
16. 前記制御手段は、前記静止画の画像ファイルを、撮像を行った位置からの各方向を画像における各位置に対応付けるためのＶＲ情報を含めて前記記憶部に記録するように制御し、前記動画の画像ファイルを、前記ＶＲ情報を含めずに前記記憶部に記録するように制御する
    ことを特徴とする請求項１５に記載の電子機器。
17. 前記静止画は全天球画像または半天球画像であり、
    前記制御手段は、前記静止画を、天頂方向に対応する位置を示す情報、天底方向に対応する位置を示す情報、及び、全天球画像または半天球画像であることを示す情報のうち少
    なくともいずれかと関連付けて前記記憶部に記録するように制御する
    こと特徴とする請求項１２〜１６のいずれか１項に記載の電子機器。
18. 前記制御手段は、前記静止画の画像ファイルを、ＶＲ画像であることを示す文字列をファイル名に含めて前記記憶部に記録するように制御し、前記動画の画像ファイルを、前記文字列をファイル名に含めずに前記記憶部に記録するように制御する
    ことを特徴とする請求項１５〜１７のいずれか１項に記載の電子機器。
19. 前記静止画は３６０°画像または１８０°画像である
    ことを特徴とする請求項１２〜１８のいずれか１項に記載の電子機器。
20. 前記取得手段によって取得された画像の一部の範囲を表示部に表示するように制御する表示制御手段、をさらに有し、
    前記動画生成手段は、前記取得手段によって取得された画像のうち前記表示部に表示された範囲に基づいて前記動画を生成する
    ことを特徴とする請求項１２〜１９のいずれか１項に記載の電子機器。
21. 撮像された画像を取得するステップと、
    前記取得された画像から一部の範囲を抽出して、ＶＲ画像でない動画を記憶部に記録するように制御するステップと、
    前記取得された画像に基づいて、ＶＲ画像である静止画を前記記憶部に記録するように制御するステップと、
    を有することを特徴とする電子機器の制御方法。
22. 複数の撮像手段でそれぞれ撮像された複数の画像を取得するステップと、
    前記複数の撮像手段のうち１つで撮像された画像に基づいて動画を生成するステップと、
    前記複数の撮像手段で撮像された複数の画像に基づいて前記動画よりも画角の広い静止画を生成するステップと、
    前記動画および前記静止画をそれぞれ記憶部に記録するように制御するステップと、
    を有することを特徴とする電子機器の制御方法。
23. コンピュータを、請求項１〜２０のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
24. コンピュータを、請求項１〜２０のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images