JP2019012881A - 撮像制御装置及びその制御方法 - Google Patents

Abstract

【課題】撮影者がより好適に画像を確認でき、シャッターチャンスを逃さずに好適なタイミングでの撮影を可能にする技術を提供する。
【解決手段】本発明の撮像制御装置は、ユーザ操作に応じて、撮像手段を用いた撮影の準備指示を行う指示手段と、前記撮像手段によって撮像されたＶＲ画像を表示手段に表示するように制御する制御手段と、を有し、前記制御手段は、前記ユーザ操作が行われていない場合に、前記ＶＲ画像の第１の範囲である第１画像と、前記ＶＲ画像の前記第１の範囲よりも狭い第２の範囲を変形して拡大した第２画像との一方を、前記表示手段に表示するように制御し、前記ユーザ操作に応じて、前記第１画像と前記第２画像の一方の表示から、前記第１画像と前記第２画像の他方の表示、または、前記第１画像と前記第２画像の両方の表示へ、前記表示手段の表示が切り替わるように制御する。
【選択図】図５

Description

本発明は、撮像制御装置、電子機器の制御方法、プログラム、及び、記憶媒体に関し、特に、広範囲の映像範囲を有する画像を表示する制御方法に関するものである。

近年、魚眼レンズをはじめとする広角レンズを前後二つ備えた一体型の全方位撮影可能なカメラや、これらカメラで撮影された画像をもとに作成されたＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）コンテンツが普及してきた。また、スマートフォンの拡張コネクタに接続可能で、広角レンズを備えたカメラモジュールもあり、スマートフォン上で動作するアプリケーションと組み合わせて使用することで全方位画像を撮影することができる。

上記撮像装置の撮影中および撮影後における画像の確認にはカメラやスマートフォンに備わった二次元ディスプレイが一般的に用いられている。ディスプレイへの画像表示形式として、全方位画像の全体をディスプレイに表示する全方位画像形式や、全方位画像から一部領域を切り出してディスプレイに表示する形式がある。

全方位画像形式としては、３６０度画像を球型の領域にマッピングするドームマスター形式や、正距円筒図法を用いた全天球イメージ形式、所謂パノラマ形式などがある。また、前述の全方位撮影可能なカメラが備える前後二つの光学系により撮影された魚眼画像をそのまま二つ表示する形式（以下、魚眼画像形式という）もある。

一方で、全方位画像から一部領域を切り出してディスプレイに表示する形式では、一般的に、ディスプレイを保持する方角に基づいて切り出した一部領域が表示される。

特許文献１には、広角映像を撮影し、撮影した映像から動体が存在する領域を優先度をつけて切り出し、優先度の高い画像のアスペクト比を表示用アスペクト比に変換する技術が開示されている。特許文献１によれば、監視対象とする被写体を動体とした場合に、監視対象を自動で選択して撮影することができるとしている。

特開２０１４−２２２８２５号公報

しかしながら、全方位画像から切り出された一部領域を表示する形式では、全体および撮影者の死角方角の画像の確認が困難である。全体および撮影者の死角方角の画像を確認する場合には、いちいちその方向を向いたり、タッチパネルを操作したりして表示範囲を変更する必要があり、確認のために手間がかかってしまう。一方で、全方位画像の全体をディスプレイに表示する形式では、画像の詳細を確認することが困難となり、シャッターチャンスを逃してしまう虞がある。また、特許文献１には、被写体が静止している場合における領域抽出について開示されていない。被写体が常に移動しているとは限らない。

そこで、本発明は、撮影者がより好適に画像を確認でき、シャッターチャンスを逃さずに好適なタイミングでの撮影を可能にする技術を提供することを目的とする。

本発明の撮像制御装置は、ユーザ操作に応じて、撮像手段を用いた撮影の準備指示を行う指示手段と、前記撮像手段によって撮像されたＶＲ画像を表示手段に表示するように制御する制御手段と、を有し、前記制御手段は、前記ユーザ操作が行われていない場合に、前記ＶＲ画像の第１の範囲である第１画像と、前記ＶＲ画像の前記第１の範囲よりも狭い第２の範囲を変形して拡大した第２画像との一方を、前記表示手段に表示するように制御し、前記ユーザ操作に応じて、前記第１画像と前記第２画像の一方の表示から、前記第１画像と前記第２画像の他方の表示、または、前記第１画像と前記第２画像の両方の表示へ、前記表示手段の表示が切り替わるように制御することを特徴とする。

本発明によれば、撮影者がより好適に画像を確認でき、シャッターチャンスを逃さずに好適なタイミングでの撮影が可能となる。

カメラ１００の外観図 カメラ１００の内部構成図 カメラ制御部１２０が実行するフローチャート カメラ制御部１２０が実行する表示・記録処理のフローチャート 表示部１４１の表示例 表示部１４１の他の表示例 表示部１４１の他の表示例

図１（Ａ）〜１（Ｄ）に、本発明を適用可能な撮像制御装置の一例としてのカメラ１００の外観を示す。カメラ１００は、レンズ一体型のデジタルカメラである。なお、カメラ１００は、一眼レフカメラやミラーレス一眼カメラなどであってもよい。本発明は、広角レンズが取り付けられた各種撮像装置に適用可能である。

図１（Ａ）は、カメラ１００の前面の外観を示す。表示部１４１は、撮影画像や各種情報を表示する。表示部１４１へ表示する画像は撮影準備指示に応じて切り替えられる。表示部１４１の表示面上に設けられたタッチパネル１３は、撮影者によるタッチ操作を受け付ける。レリーズボタン１１は半押しおよび全押しが可能なスイッチであり、レリーズボタン１１の半押しによってカメラ１００への撮影準備指示が行われ、レリーズボタン１１の全押しによってカメラ１００への撮影指示が行われる。レンズ１１１は広角レンズであり、レンズ１１１に入射した光束を撮像素子１１２（図１（Ａ）では不図示）に結像させる。

図１（Ｂ）は、カメラ１００の背面の外観を示す。ボタン１２の押下によってカメラ１００への撮影準備指示が行われ、ボタン１２を押下していた指などをボタン１２から離す操作によってカメラ１００への撮影指示が行われる。レンズ１０１はレンズ１１１と同様の広角レンズであり、レンズ１０１に入射した光束を撮像素子１０２（図１（Ｂ）では不図示）に結像させる。

撮像素子１０２，１１２により、ＶＲ画像が撮像される。ＶＲ画像とは、ＶＲ表示をすることのできる画像であるものとする。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示手段に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像などが含まれるものとする。ＶＲ画像には、静止画だけでなく、動画やライブビュー画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で上下方向（垂直角度、天頂からの角度、仰角、俯角、高度角）３６０度、左右方向（水平角度、方位角度）３６０度の視野分の映像範囲（有
効映像範囲）を持つ。また、ＶＲ画像は、上下３６０度未満、左右３６０度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角（視野範囲）、あるいは、表示手段に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つ画像も含むものとする。例えば、左右方向（水平角度、方位角度）３６０度、天頂（ｚｅｎｉｔｈ）を中心とした垂直角度２１０度の視野分（画角分）の被写体を撮影可能な全天球カメラで撮影された画像はＶＲ画像の一種である。また、例えば、左右方向（水平角度、方位角度）１８０度、水平方向を中心とした垂直角度１８０度の視野分（画角分）の被写体を撮影可能なカメラで撮影された画像はＶＲ画像の一種である。すなわち、上下方向と左右方向にそれぞれ１６０度（±８０度）以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はＶＲ画像の一種である。このＶＲ画像をＶＲ表示すると、左右回転方向に表示手段の姿勢を変化させることで、左右方向（水平回転方向）には継ぎ目のない全方位の映像を視聴することができる。上下方向（垂直回転方向）には、真上（天頂）から見て±１０５度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から１０５度を超える範囲は映像が存在しないブランク領域となる。ＶＲ画像は、「映像範囲が仮想空間（ＶＲ空間）の少なくとも一部である画像」とも言える。

ＶＲ表示とは、ＶＲ画像のうち、表示手段の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法である。表示手段であるヘッドマウントディスプレイ（ＨＭＤ）を装着して視聴する場合には、ユーザの顔の向きに応じた視野範囲の映像を表示することになる。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野角（画角）の映像を表示しているものとする。この状態から、表示手段の姿勢を表裏反転させると（例えば、表示面を南向きから北向きに変更すると）、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度（水平）を中心とした視野角の映像に、表示範囲が変更される。ユーザがＨＭＤを視聴している場合で言えば、ユーザが顔を北から南に向ければ（すなわち後ろを向けば）、ＨＭＤに表示される映像も北の映像から南の映像に変わるということである。このようなＶＲ表示によって、ユーザに、視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚を提供することができる。ＶＲゴーグル（ヘッドマウントアダプター）に装着されたスマートフォンは、ＨＭＤの一種と言える。姿勢の変化ではなく、タッチパネルや方向ボタンなどに対するユーザ操作に応じて、表示範囲を移動（スクロール）させてもよい。

図１（Ｃ）はカメラ１００の側面の外観を示す。レンズ１０１とレンズ１１１はカメラ１００の前後に対に配置されており、レンズ１０１とレンズ１１１のそれぞれの画角は１８０度である。すなわち、レンズ１０１とレンズ１１１により３６０度の画角が満たされる。従って、撮像素子１０２の撮像素子１１２のそれぞれにおいて、１８０度の画角に対応する画像が撮像される。そして、２つの撮像素子１０２，１１２で撮像された２つの画像により、３６０度の画角に対応するＶＲ画像が構成される。

図１（Ｄ）は、表示部１４１に表示された画面の例を示す。ここでは、撮像素子１０２または撮像素子１１２で撮像された魚眼画像が表示されている。また、タッチパネルボタン１４が表示されている。タッチパネルボタン１４は、撮影準備指示および撮影指示のためのアイテムである。タッチパネルボタン１４、具体的にはタッチパネルボタン１４に対応するタッチパネル１３上の位置へタッチするタッチ操作によって、カメラ１００への撮影準備指示が行われる。タッチパネルボタン１４へタッチしていた指やペンをタッチパネルボタン１４（タッチパネル１３）から離すタッチ操作によって、カメラ１００への撮影指示が行われる。また、表示された魚眼画像内の位置、具体的には当該位置に対応するタッチパネル上の位置へタッチするタッチ操作によって、撮影準備指示時における表示範囲の選択指示が行われる。

なお、表示部１４１は、カメラ１００とは別体の装置であってもよい。例えば、表示部１４１は、カメラ１００とは別体のスマートフォンなどに設けられてもよい。また、撮影準備指示や撮影指示のためのユーザ操作は、カメラ１００とは別体の装置に対して行われてもよい。例えば、カメラ１００とは別体のスマートフォンに対してユーザ操作が行われ、当該ユーザ操作に応じた指示をスマートフォンがカメラ１００に対して行ってもよい。

図２にカメラ１００の内部構成を示す。なお、図２では、各機能を構成要素として分けて示しているが、各機能は１つまたは複数のＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）等のハードウェアによって実現されてもよい。また、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって各機能が実現されてもよい。

レンズ１０１は絞り機構を含む単焦点レンズであり、レンズ１０１の焦点位置はパンフォーカスとなっている。

撮像素子１０２は、光電変換素子を含む複数の画素が２次元配列された構成を有する。撮像素子１０２は、レンズ１０１を含む撮影光学系により形成された被写体像（光学像）を画素ごとに光電変換、つまりは撮像してアナログ信号を生成し、これをＡ／Ｄ変換回路によりデジタル信号に変換して画素単位のＲＡＷ画像データを出力する。

メモリＩ／Ｆ部１０６は、撮像素子１０２から出力された全画素分のＲＡＷ画像データをメモリ１０７へ書き込む。また、メモリＩ／Ｆ部１０６は、メモリ１０７に保持されたＲＡＷ画像データを読み出して画像処理部１０８に出力する。メモリ１０７は、数フレーム分の全画素ＲＡＷ画像データを格納する揮発性の記憶媒体である。

画像処理部１０８は、メモリＩ／Ｆ部１１６からの全画素分のＲＡＷ画像データに対してガンマ補正、色分離、色差マトリクス等の処理を施し、同期信号を加えて記録用または表示用の映像データとして出力する。また、画像処理部１０８は、画像処理部１０８に入力されたＲＡＷ画像データの各画素の輝度値から測光値を得て、バス１２１を経由してカメラ制御部１２０へ提供する。

レンズ１１１、撮像素子１１２、メモリＩ／Ｆ部１１６、メモリ１１７、及び、画像処理部１１８は、レンズ１０１、撮像素子１０２、メモリＩ／Ｆ部１０６、メモリ１０７、及び、画像処理部１０８と同様の機能を有する。レンズ１１１、撮像素子１１２、メモリＩ／Ｆ部１１６、メモリ１１７、及び、画像処理部１１８によって、レンズ１０１、撮像素子１０２、メモリＩ／Ｆ部１０６、メモリ１０７、及び、画像処理部１０８と同様の処理が行われる。

カメラ制御部１２０は、ＣＰＵなどで構成され、カメラ１００の動作全体を制御する。ＲＡＭ１６０は、カメラ制御部１２０の作業領域（ワークメモリ）として使用される。ＲＡＭ１６０には、カメラ制御部１２０の動作用の定数や変数が記録されたり、プログラム等が展開されたりする。ＲＯＭ１８０は、カメラ制御部１２０が動作するためのコンピュータプログラム等を記憶する。例えば、カメラ制御部１２０は、ＲＯＭ１８０に格納されたコンピュータプログラムをＲＡＭ１６０に展開して実行することにより、カメラ１００の動作全体を制御する。

ゲイン制御部１０３、シャッタ制御部１０４、及び、絞り制御部１０５は、露出制御のために使用される。カメラ制御部１２０は、画像処理部１０８および画像処理部１１８から提供される測光値、あるいはユーザがマニュアル設定した動作パラメータに基づき、上記制御部１０３〜１０５を制御する。ゲイン制御部１０３は、撮像素子１０２および撮像
素子１１２のゲインを制御する。シャッタ制御部１０４は、撮像素子１０２および撮像素子１１２のシャッタスピードを制御する。絞り制御部１０５は、レンズ１０１の絞り機構やレンズ１１１の絞り機構を制御する。

記憶媒体Ｉ／Ｆ部１３０は、記憶媒体１３１をカメラ１００に接続するためのインタフェースである。記憶媒体Ｉ／Ｆ部１３０は、画像処理部１０８や画像処理部１１８やＧＰＵ１４２から入力された映像データを記憶媒体１３１に記録したり、記録された映像データを記憶媒体１３１から読み出したりする。記憶媒体１３１は、半導体メモリ等で構成されている。

表示用Ｉ／Ｆ部１４０は、画像処理部１０８および画像処理部１１８からの映像データや、ＧＰＵ１４２によってＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）１４３に描画された画像データを表示部１４１に出力する。表示部１４１に表示される画像は、おもに撮影者による撮影画像確認に用いられる。

ＧＰＵ１４２は、カメラ制御部１２０からの指示にもとづき、画像処理部１０８および画像処理部１１８から出力された映像データを画像変換処理および画像切り出し処理、拡大処理、歪み補正等を行いＶＲＡＭ１４３へ描画するレンダリングエンジンである。また、ＧＰＵ１４２は、カメラ１００の各種情報表示やメニュー画面をＶＲＡＭ１４３に重畳描画する処理も行う。前述したタッチパネルボタン１４はＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）としてＧＰＵ１４２によって描画され表示用Ｉ／Ｆ部１４０を経由して表示部１４１に表示される。

通信用Ｉ／Ｆ部１５０は、通信部１５１を経由してカメラ１００の外部にある不図示のスマートフォンおよびＰＣなどと接続し、表示部１４１で表示される画像データをそれらに転送する。また、通信用Ｉ／Ｆ部１５０は、スマートフォンやＰＣなどからカメラ１００に対する制御指令などを受信し、カメラ制御部１２０へ通知する。通信部１５１は無線通信を行う無線ＬＡＮインタフェースであり、通信用Ｉ／Ｆ部１５０が行う通信のハードウェア処理を行う。

レリーズボタン１１、ボタン１２、及び、タッチパネル１３は前述の機能を備え、操作に応じた操作情報（撮影準備指示、撮影指示、表示範囲の選択指示、等）をＩＯコントローラ１７０へ出力する。ＩＯコントローラ１７０は、各種操作部からの操作情報をカメラ制御部１２０へ出力し、カメラ制御部１２０は、ＩＯコントローラ１７０からの操作情報に応じた処理を行う。例えば、タッチパネル１３は、表示部１４１に重ねられており、タッチ操作が行われた位置や領域の座標情報などを含む操作情報を出力する。

図３に、カメラ１００で行われる全体処理のフローチャートを示す。このフローチャートにおける各処理は、カメラ制御部１２０がＲＯＭ１８０に記録されたプログラムをＲＡＭ１６０に展開して実行するにより実現される。図３のフローチャートは、例えば、カメラ１００に電源が投入されたことに応じて開始され、Ｓ３０２からＳ３０７までの処理は所定のフレームレート（所定周期）で繰り返される。

Ｓ３０１では、カメラ制御部１２０は、表示部１４１とタッチパネル１３の座標キャリブレーションを行う（タッチパネル初期化）。これにより、タッチパネル１３上の座標と表示部１４１で表示された画像上の座標との相互変換が可能となり、タッチパネルボタン１４に対するタッチ操作、撮影画像に対するタッチ操作、等が検出可能となる。

Ｓ３０２では、カメラ制御部１２０は、絞り制御部１０５に対して絞り値を設定する（絞り設定）。１回目の絞り設定では、カメラ制御部１２０は、絞り値の初期値である開放
絞り値を、絞り制御部１０５に対して設定する。２回目以降の絞り設定では、カメラ制御部１２０は、Ｓ３０６の露出設定処理によって決定された絞り値を、絞り制御部１０５に対して設定する。

Ｓ３０３では、カメラ制御部１２０は、ゲイン制御部１０３に対してゲインを設定する（ゲイン設定）。１回目のゲイン設定では、カメラ制御部１２０は、ゲインの初期値である０ｄＢを、ゲイン制御部１０３に対して設定する。２回目以降のゲイン設定では、カメラ制御部１２０は、Ｓ３０６の露出設定処理によって決定されたゲインを、ゲイン制御部１０３に対して設定する。

Ｓ３０４では、カメラ制御部１２０は、シャッタ制御部１０４に対してシャッタ速度を設定する（シャッタ設定）。１回目のシャッタ設定では、カメラ制御部１２０は、シャッタ速度の初期値である１／６０秒を、シャッタ制御部１０４に対して設定する。２回目以降のシャッタ設定では、カメラ制御部１２０は、Ｓ３０６の露出設定処理によって決定されたシャッタ速度を、ゲイン制御部１０３に対して設定する。

Ｓ３０５では、カメラ制御部１２０は、ライブビュー撮影としての撮像・読み出し処理を行う。具体的には、絞り制御部１０５は、Ｓ３０２で設定された絞り値に基づいてレンズ１０１，１１１の絞り機構を制御する処理を、カメラ制御部１２０からの指示に応じて行う。ゲイン制御部１０３は、Ｓ３０３で設定された絞り値に基づいて撮像素子１０２，１１２のゲインを制御する処理を、カメラ制御部１２０からの指示に応じて行う。シャッタ制御部１０４は、Ｓ３０４で設定されたシャッタ速度に基づいて撮像素子１０２，１１２のシャッタ速度を制御する処理を、カメラ制御部１２０からの指示に応じて行う。そして、撮像素子１０２，１１２は、カメラ制御部１２０からの指示に応じて、Ｓ３０２〜３０４の設定値に基づく撮像を行う。その後、メモリＩ／Ｆ部１０６は、撮像素子１０２によって撮像された画像（ＲＡＷ画像）をメモリ１０７へ記録するとともに画像処理部１０８へ出力する処理を、カメラ制御部１２０からの指示に応じて行う。同様に、メモリＩ／Ｆ部１０６は、撮像素子１１２によって撮像された画像（ＲＡＷ画像）をメモリ１１７へ記録するとともに画像処理部１１８へ出力する処理を、カメラ制御部１２０からの指示に応じて行う。

Ｓ３０６では、カメラ制御部１２０は、Ｓ３０５で撮像された画像の露出が適正露出であるかを判定し、次回撮像時における露出値（絞り値、ゲイン、及び、シャッタ速度）を決定する（露出設定処理）。具体的には、カメラ制御部１２０は、Ｓ３０５で撮像された画像に基づいて得られた測光値を画像処理部１０８，１１８から取得し、得られた測光値に基づいて露出評価値を算出する。そして、カメラ制御部１２０は、算出された露出評価値と予め決められた露出目標値とを比較し、撮像された画像の露出が適正露出であるかを判定する。適正露出でない場合は、カメラ制御部１２０は、最適露出により近い画像が撮像されるように、次回撮像時における露出値を決定する。

Ｓ３０７では、カメラ制御部１２０は、表示・記録処理を行う。図４に、表示・記録処理のフローチャートを示す。

Ｓ４０１では、カメラ制御部１２０は、レリーズボタン１１の操作状態を取得してＲＡＭ１６０に記録する。ＲＡＭ１６０は、最低二周期分のレリーズボタン１１の操作状態を配列データとして記憶する。これにより、レリーズボタン１１の操作状態変化が検知可能となる。レリーズボタン１１の操作状態には、レリーズボタン１１が押されていない非押下状態、レリーズボタン１１が半分押されている半押し状態、レリーズボタン１１が全部押されている全押し状態の三状態がある。Ｓ４０１の度に、カメラ制御部１２０は、レリーズボタン１１の上記配列データを更新する。

Ｓ４０２では、カメラ制御部１２０は、タッチパネルボタン１４の操作状態を取得してＲＡＭ１６０に記録する。ＲＡＭ１６０は、最低二周期分のタッチパネルボタン１４の操作状態を配列データとして記憶する。これにより、タッチパネルボタン１４の操作状態変化が検知可能となる。タッチパネルボタン１４の操作状態には、タッチパネルボタン１４がタッチされているタッチ状態と、タッチパネルボタン１４がタッチされていない非タッチ状態との二状態がある。Ｓ４０２の度に、カメラ制御部１２０は、タッチパネルボタン１４の上記配列データを更新する。

Ｓ４０３では、カメラ制御部１２０は、ボタン１２の操作状態を取得してＲＡＭ１６０に記録する。ＲＡＭ１６０は、最低二周期分のボタン１２の操作状態を配列データとして記憶する。これにより、ボタン１２の操作状態変化が検知可能となる。ボタン１２の操作状態には、ボタン１２が押下されている押下状態と、ボタン１２が押下されていない非押下状態との二状態がある。Ｓ４０３の度に、カメラ制御部１２０は、ボタン１２の上記配列データを更新する。

Ｓ４０４では、カメラ制御部１２０は、Ｓ４０１〜４０３で取得した操作状態に基づいて、撮影準備指示が行われている否かを判定する。具体的には、レリーズボタン１１の操作状態が半押し状態である場合に、カメラ制御部１２０は、撮影準備指示が行われていると判定し、Ｓ４０６に処理を進める。タッチパネルボタン１４の操作状態がタッチ状態である場合、及び、ボタン１２の操作状態が押下状態である場合にも、カメラ制御部１２０は、撮影準備指示が行われていると判定し、Ｓ４０６に処理を進める。それら以外の場合には、カメラ制御部１２０は、撮影準備指示が行われていないと判定し、Ｓ４０５に処理を進める。

Ｓ４０５では、カメラ制御部１２０は、Ｓ４０１〜４０３で取得した操作状態に基づいて、撮影指示があったか否かを判定する。具体的には、レリーズボタン１１の操作状態が半押し状態から全押し状態に変化した場合には、カメラ制御部１２０は、撮影指示があったと判定し、Ｓ４０７に処理を進める。タッチパネルボタン１４の操作状態がタッチ状態から非タッチ状態に変化した場合、及び、ボタン１２の操作状態が押下状態から非押下状態に変化した場合にも、カメラ制御部１２０は、撮影指示があったと判定し、Ｓ４０７に処理を進める。それら以外の場合には、カメラ制御部１２０は、撮影指示も撮影準備指示も無いと判定し、Ｓ４０８に処理を進める。

Ｓ４０６では、カメラ制御部１２０は、ズームビュー処理を行う。そして、カメラ制御部１２０は、表示・記録処理を終了する。ズームビュー処理では、カメラ制御部１２０は、撮像素子１０２，１１２によって撮像されたＶＲ画像の一部の範囲を変形して拡大したズームビュー画像がＶＲＡＭ１４３に描画されて表示部１４１に表示されるように、ＧＰＵ１４２等の処理を制御する。ズームビュー画像は逐次更新されるライブビュー画像の一種である。ズームビューの表示例は図５（Ｄ）を用いて後述する。

Ｓ４０７では、カメラ制御部１２０は、記録処理を行う。そして、カメラ制御部１２０は、表示・記録処理を終了する。記録処理では、カメラ制御部１２０は、撮像されたＶＲ画像を記憶媒体１３１に記録する制御を行う。記録処理は、撮影とも言える。動画記録モードが設定されている場合には、カメラ制御部１２０は、動画（ＶＲ動画等）の記録を開始する記録処理を行う。ライブビュー画像の撮像では、１回の撮像の時間が限られているため、露出設定処理で設定された露出値よりも露出値が小さいことがある。また、ライブビュー画像の撮像として、比較的低い解像度（画素数）での撮像が行われることがある。記録処理では、露出設定処理で設定された露出値での撮像が行われたり、ライブビュー画像の撮像に比べ高い解像度での撮像が行われたりする。基本的に、Ｓ４０６で表示された
ズームビュー画像の確認後に撮影指示が行われ、Ｓ４０７の記録処理が行われる。

Ｓ４０８では、カメラ制御部１２０は、広角ビュー処理を行う。広角ビュー処理では、カメラ制御部１２０は、撮像されたＶＲ画像の少なくとも一部の範囲である広角ビュー画像がＶＲＡＭ１４３に描画されて表示部１４１に表示されるように、ＧＰＵ１４２等の処理を制御する。広角ビュー画像はライブビュー画像の一種である。広角ビューの表示例は図５（Ｄ）を用いて後述する。ズームビュー画像の範囲は、広角ビュー画像の範囲よりも狭い。Ｓ４０９では、カメラ制御部１２０は、表示範囲の選択指示に応じて、ズームビュー画像の範囲を設定する。そして、カメラ制御部１２０は、表示・記録処理を終了する。

図５（Ａ）〜５（Ｄ）は、本実施形態に係る表示例を示す。撮影準備指示や撮影指示のためのユーザ操作が行われていない場合には、撮影者の周囲の広い範囲が確認できるように広角の画像を表示することが好ましい。本実施形態では、そのような場合に、Ｓ４０８の広角ビュー処理により、撮像素子１０２により撮像された図５（Ａ）の魚眼画像５０１、または、撮像素子１１２により撮像された図５（Ｂ）の魚眼画像５０３が、広角ビュー画像として表示される。

図５（Ａ）の魚眼画像５０１では、被写体５０２が撮像されている。撮影者が被写体５０２付近をタッチすると、タッチパネル１３は、タッチされた位置に対応する座標情報をカメラ制御部１２０に出力する。そして、カメラ制御部１２０は、タッチパネル１３からの座標情報に基づいて、タッチされた位置を含む範囲５０４（図５（Ｃ））を、ズームビュー画像の範囲として認識する。図５（Ｃ）に示すように、範囲５０４は、レンズ１０１の光軸に対応するＶＲ画像内の位置、すなわち魚眼画像５０１の中心位置から放射状に広がった範囲である。

図５（Ｃ）の状態から、撮影準備指示のためのユーザ操作が行われると、Ｓ４０６のズーム処理により、魚眼画像５０１の表示から、範囲５０４を変形して拡大したズームビュー画像５０５の表示へ、表示部１４１の表示が切り替えられる。具体的には、ＧＰＵ１４２は、カメラ制御部１２０からの指示に応じて、魚眼画像５０１から範囲５０４を抽出し、範囲５０４の画像に拡大処理や歪み補正を施すことによりズームビュー画像５０５を生成し、ＶＲＡＭ１４３に描画する。それにより、ＶＲＡＭ１４３に描画された画像が魚眼画像５０１からズームビュー画像５０５に更新され、魚眼画像５０１の表示からズームビュー画像５０５の表示へ、表示部１４１の表示が切り替えられる。

カメラ制御部１２０は、ズームビュー画像５０５を得るための拡大処理や歪み補正の強度を、魚眼画像５０１の中心位置と範囲５０４の位置との間の距離に基づいて決定する。そして、ＧＰＵ１４２は、カメラ制御部１２０により決定された強度で、拡大処理や歪み補正を行う。例えば、カメラ制御部１２０は、上記距離が短いほど弱く、上記距離が長いほど強い強度を、歪み補正の強度として決定する。上記距離が閾値以下である場合には、カメラ制御部１２０の制御により、歪み補正が省略される、または、ＶＲ画像の歪みを変えない強度で歪み補正が行われる。上記強度でＶＲ画像の歪みを変える歪み補正により、中心部で歪みが略無いズームビュー画像５０５が得られる。ここで、歪みは、被写体の実像に対する歪みである。

撮影準備指示のためのユーザ操作の継続中は、ズームビュー画像５０５の表示が継続する。そして、撮影準備指示のためのユーザ操作が終了すると、カメラ制御部１２０は、ズームビュー画像５０５の表示から魚眼画像５０１や魚眼画像５０３の表示へ表示部１４１の表示が戻るように制御する。

以上述べたように、本実施形態によれば、撮影準備指示のためのユーザ操作が行われる
までは、魚眼画像のような広角画像を表示しておくことで、カメラ１００の周囲の広い範囲が確認可能となる。そして、撮影準備指示のためのユーザ操作に応じてズームビュー表示への切り替えを行うことで、魚眼画像の一部を詳細に確認することが可能となる。具体的には、広角画像の表示時に、撮影者は、タッチ操作によって注目被写体を指定することができ、撮影準備指示のためのユーザ操作に応じて、注目被写体のズームビュー表示への切り替えが行われる。それにより、注目被写体の詳細が確認可能となる。このようにすれば、例えば、撮影準備指示の前までは広角ビュー表示でカメラ１００の周囲の状況を大雑把に確認し、撮影準備指示に伴ってズームビュー表示で拡大された注目被写体の顔の表情を確認し、笑顔になった瞬間に撮影を行うといった操作が可能である。このように、本実施形態によれば、撮影者がより好適に画像を確認できる。ひいては、シャッターチャンスを逃さずに好適なタイミングでの撮影が可能となる。

なお、本発明の好ましい実施形態について説明したが、本発明はこの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。以下で述べる各種変形例を適宜組み合わせることも可能である。

例えば、カメラ１００が二つの撮像系を備える構成例について説明したが、一つの撮像系や三つ以上の撮像系を備えるカメラに対しても、本発明を適用することができる。

また、広角ビュー表示においてＶＲ画像の一部（１つの魚眼画像）が変形されずに表示される例を説明したが、これに限られない。カメラ制御部１２０の制御により、変形された画像やＶＲ画像の全範囲の表示が、広角ビュー表示として行われてもよい。例えば、図６（Ａ）に示すように、２つの撮像素子１０２，１１２で撮像された２つの魚眼画像６０１，６０２の両方の表示が、広角ビュー表示として行われてもよい。図６（Ｂ）に示すように、ＶＲ画像の全範囲に対応するパノラマ画像６０３の表示が、広角ビュー表示として行われてもよい。図６（Ｃ）に示すように、ＶＲ画像の全範囲に対応するドームマスター画像６０４の表示が、広角ビュー表示として行われてもよい。他の形式の画像の表示が、広角ビュー表示として行われてもよい。

パノラマ画像６０３は、魚眼画像６０１，６０２の各部分を周辺部や中心部に幾何学変換して展開、合成することにより得られる。図６（Ｂ）からわかるように、パノラマ画像６０３は、魚眼画像６０１を幾何学変換して合成することにより得られる矩形画像である。ドームマスター画像６０４も、魚眼画像６０１，６０２を幾何学変換して合成することにより得られる。ドームマスター画像６０４は、被写体上空からの視点での被写体の見えを表す。ドームマスター画像６０４の上半分は魚眼画像６０１に対応し、ドームマスター画像６０４の下半分は魚眼画像６０２に対応する。これらの幾何学変換は、変換前の画像内の座標と変換後の画像内の座標との対応関係を表す所定の情報（テーブルや関数）を用いることで実現できる。

また、記録処理（撮影）で記録されるＶＲ画像は、魚眼画像であってもよいし、パノラマ画像であってもよいし、ドームマスター画像であってもよいし、他の形式の画像であってもよい。

また、ズームビュー画像の範囲がタッチ操作に応じて決定される例を説明したが、ズームビュー画像の範囲は他の方法で決定されてもよい。例えば、カメラ制御部１２０は、ＶＲ画像（全方位画像）から所定の被写体（人物、顔、乗り物、建物、植物、等）を自動で検出し、所定の被写体が存在する部分をズームビュー画像の範囲として自動で決定してもよい。所定の被写体は、公知の画像認識機能により検出することができる。また、複数の被写体が検出された場合、自動的に主被写体となる被写体を選択し、選択された主被写体が含まれるようにズームビュー画像の範囲を決定しても良い。主被写体の決定の方法とし
ては例えば、コントラストが高い、顔、撮影画像におけるサイズが大きい、カメラ１００に近い、カメラ１００に登録された人物の顔（個人認証で検出された顔）である、等が優先されるように重みづけして決定される。複数の画像を合成して得られたＶＲ画像（パノラマ画像やドームマスター画像）では、複数の画像の間の境界が存在する。図６（Ｃ）の破線６０５は、魚眼画像６０１と魚眼画像６０２の境界を示す。カメラ制御部１２０は、ＶＲ画像から上記境界を自動で検出し、当該境界の少なくとも一部を含む部分（例えば、図６（Ｃ）の範囲６０６）をズームビュー画像の範囲として自動で決定してもよい。ズームビュー画像の範囲の決定方法（ズームビュー画像の取得方法）が互いに異なる複数の動作モードをカメラ１００が有していてもよい。

ここで、複数の所定の被写体がＶＲ画像に存在することがある。所定の被写体が存在する部分のズームビュー表示を行う構成では、カメラ制御部１２０の制御により、複数の所定の被写体のいずれかに対応する１つのズームビュー画像の表示がズームビュー表示として行われてもよいし、そうでなくてもよい。カメラ制御部１２０は、複数の所定の被写体にそれぞれ対応する複数のズームビュー画像を順番に表示部１４１に表示するための制御を、ズームビュー表示の制御として行ってもよい。この制御において、カメラ制御部１２０は、表示するズームビュー画像を複数のズームビュー画像の間で自動で切り替えてもよいし、ユーザ操作に応じて切り替えてもよい。

また、撮影準備指示のためのユーザ操作に応じて広角ビュー表示からズームビュー表示への切り替えが行われる例を説明したが、これに限られない。カメラ制御部１２０の制御により、撮影準備指示のためのユーザ操作が行われるまでズームビュー表示が行われ、撮影準備指示のためのユーザ操作に応じてズームビュー表示から広角ビュー表示への切り替えが行われてもよい。このようにすれば、例えば、撮影準備指示の前まではズームビュー表示で拡大された、カメラ１００から見た特定の方向の映像を歪みが無く違和感の無い状態で確認することができる。そして、撮影準備指示が行われたことに伴って広角ビュー表示になるため、カメラ１００の周囲で起きた撮影に好適なイベントの瞬間（例えば打ち上げ花火が数多く開いた瞬間）に撮影を行うといった操作が可能である。

また、ズームビュー表示と広角ビュー表示の一方から他方への切り替えでなくてもよい。図７に示すように、撮影準備指示の前（撮影待機状態）では、ズームビュー画像と広角ビュー画像のいずれか一方の表示を行う。そして、カメラ制御部１２０の制御により、撮影準備指示のためのユーザ操作に応じて、ズームビュー画像と広角ビュー画像の一方の表示から、両方の表示への切り替えが行われてもよい。ズームビュー画像と広角ビュー画像の双方の表示を行えば、広角ビュー画像を見てカメラ１００の周囲で起きた撮影に好適なイベントの瞬間を逃さずに撮影を行うことができる。また、ズームビュー画像を見て表情変化などの狭い範囲でおきる撮影機会も逃さずに撮影を行うことができる。なお、撮影待機中（撮影準備指示）は、ズームビュー画像と広角ビュー画像の両方ではなく片方を表示する。これは、撮影待機中にずっと両方を表示すると画像処理の負荷が高くなり、消費電力が大きくなってしまうためである（省電のためである）。

更に、撮影待機中と撮影準備指示が行われている期間に、ズームビュー画像と広角ビュー画像のいずれを表示するかを、動作モードによって自動的に切り替えもよい。例えば、複数の撮影モードのうちの１つである人物撮影モード（第１の動作モード）に設定されている場合は、撮影待機中には広角ビュー画像が表示され、撮影準備指示が行われるとズームビュー表示または双方の表示に切り替えるようにする。このようにすることで、前述のように、人物の表情といった狭い範囲で起こる変化の小さいシャッターチャンスを逃すことなく撮影を行うことができる。一方、複数の撮影モードのうちの１つである打ち上げ花火撮影モードや、スポーツ撮影モード、風景撮影モード（第２の動作モード）では、撮影待機中にはズームビュー画像が表示され、撮影準備指示が行われると広角ビュー表示また
は双方の表示に切り替えるようにする。このようにすることで、前述のように、カメラの周囲の広い範囲で起こるイベント、あるいは、どの位置で起こるか予測が難しいイベントも逃さずに撮影することができる。

また、カメラ制御部１２０が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、上述した実施形態においては、本発明をカメラ１００に適用した場合を例にして説明したが、これはこの例に限定されずＶＲ画像の少なくとも一部分を表示するように制御することが可能である電子機器であれば適用可能である。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレームなどに適用可能である。また、本発明は音楽プレーヤー、ゲーム機、電子ブックリーダー、タブレット端末、スマートフォン、投影装置、ディスプレイを備える家電装置や車載装置などに適用可能である。

また、撮像装置本体に限らず、有線または無線通信を介して撮像装置（ネットワークカメラを含む）と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：カメラ １２０：カメラ制御部 １７０：ＩＯコントローラ

Claims (24)

1. 第１のユーザ操作に応じて、撮像手段を用いた撮影の準備指示を行う指示手段と、
   前記撮像手段によって撮像されたＶＲ画像を表示手段に表示するように制御する制御手段と、
   を有し、
   前記制御手段は、
   前記第１のユーザ操作が行われていない場合に、前記ＶＲ画像の第１の範囲である第１画像と、前記ＶＲ画像の前記第１の範囲よりも狭い第２の範囲を変形して拡大した第２画像との一方を、前記表示手段に表示するように制御し、
   前記第１のユーザ操作に応じて、前記第１画像と前記第２画像の一方の表示から、前記第１画像と前記第２画像の他方の表示、または、前記第１画像と前記第２画像の両方の表示へ、前記表示手段の表示が切り替わるように制御する
   ことを特徴とする撮像制御装置。
2. 前記制御手段は、前記第１のユーザ操作が行われていない場合に、前記第１画像を前記表示手段に表示するように制御する
   ことを特徴とする請求項１に記載の撮像制御装置。
3. 前記制御手段は、前記第１のユーザ操作が行われていない場合に、前記第２画像を前記表示手段に表示するように制御する
   ことを特徴とする請求項１に記載の撮像制御装置。
4. 前記制御手段は、
   第１の動作モードに設定されており、前記第１のユーザ操作が行われていない場合に、前記第１画像を前記表示手段に表示するように制御し、
   第２の動作モードに設定されており、前記第１のユーザ操作が行われていない場合に、前記第２画像を前記表示手段に表示するように制御する
   ことを特徴とする請求項１に記載の撮像制御装置。
5. 前記制御手段は、前記第１のユーザ操作に応じて、前記第１画像と前記第２画像の前記他方の表示へ前記表示手段の表示が切り替わるように制御する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像制御装置。
6. 前記制御手段は、前記第１のユーザ操作に応じて、前記第１画像と前記第２画像の両方の表示へ前記表示手段の表示が切り替わるように制御する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像制御装置。
7. 前記制御手段は、前記第１のユーザ操作の終了に応じて、前記第１画像と前記第２画像の前記一方の表示へ前記表示手段の表示が戻るように制御する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像制御装置。
8. 前記第１の範囲は、前記ＶＲ画像の全範囲である
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像制御装置。
9. 前記第１画像は、変形されていない画像である
   ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像制御装置。
10. 前記第１のユーザ操作は、特定の操作部に対する第１の操作であり、
    前記指示手段は、前記特定の操作部に対する第２の操作に応じて、前記撮像手段を用い
    たＶＲ画像の撮影を指示する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像制御装置。
11. 前記表示手段の表示面に対するタッチ操作を検知可能なタッチパネルが設けられており、
    前記制御手段は、前記第１のユーザ操作のためのアイテムを前記表示手段に表示するようにさらに制御し、
    前記第１のユーザ操作は、前記表示手段に表示された前記アイテムに対応する位置へのタッチである
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像制御装置。
12. 前記ＶＲ画像は被写体の実像に対して歪みをもっており、
    前記変形は、中心部で歪みが略無い前記第２画像が得られるように、前記ＶＲ画像の歪みを変える歪み補正による変形である
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像制御装置。
13. 前記歪み補正を実行する画像処理手段、をさらに有する
    ことを特徴とする請求項１２に記載の撮像制御装置。
14. 前記画像処理手段は、前記撮像に用いられたレンズの光軸に対応する前記ＶＲ画像内の位置と、前記第２画像に対応する前記ＶＲ画像内の位置との間の距離に基づく強度で、前記歪み補正を行う
    ことを特徴とする請求項１３に記載の撮像制御装置。
15. 前記画像処理手段は、前記距離が閾値以下である場合に、前記歪み補正を省略する、または、前記ＶＲ画像の歪みを変えない強度で前記歪み補正を行う
    ことを特徴とする請求項１４に記載の撮像制御装置。
16. 前記撮像手段は、前記ＶＲ画像を構成する複数の画像をそれぞれ撮像する複数の撮像素子を有する
    ことを特徴とする請求項１乃至１５のいずれか１項に記載の撮像制御装置。
17. 前記ＶＲ画像は、前記複数の画像からなる１つの画像であり、
    前記制御手段は、前記第１のユーザ操作が行われている場合に、前記複数の画像の間の境界を含む部分の前記第２画像を前記表示手段に表示するための制御を行う
    ことを特徴とする請求項１６に記載の撮像制御装置。
18. 前記表示手段の表示面に対するタッチ操作を検知可能なタッチパネルが設けられており、
    前記表示手段に表示された前記第１画像内の位置に対応する位置へのタッチが行われ、且つ、前記第１のユーザ操作が行われている場合に、前記制御手段は、前記第１画像内の前記位置を含む部分の前記第２画像を前記表示手段に表示するための制御を行う
    ことを特徴とする請求項１乃至１７のいずれか１項に記載の撮像制御装置。
19. 前記制御手段は、前記第１のユーザ操作が行われている場合に、所定の被写体が存在する部分の前記第２画像を前記表示手段に表示するための制御を行う
    ことを特徴とする請求項１乃至１８のいずれか１項に記載の撮像制御装置。
20. 前記ＶＲ画像に複数の所定の被写体が存在し、且つ、前記第１のユーザ操作が行われている場合に、前記制御手段は、前記複数の所定の被写体にそれぞれ対応する複数の第２画
    像を順番に前記表示手段に表示するための制御を行う
    ことを特徴とする請求項１９に記載の撮像制御装置。
21. 前記制御手段は、前記複数の第２画像を順番に前記表示手段に表示するための制御において、第２のユーザ操作に応じて、前記表示手段に表示される前記第２画像を、前記複数の第２画像の間で切り替える
    ことを特徴とする請求項２０に記載の撮像制御装置。
22. ユーザ操作に応じて、撮像手段を用いた撮影の準備指示を行う指示ステップと、
    前記撮像手段によって撮像されたＶＲ画像を表示手段に表示するように制御する制御ステップと、
    を有し、
    前記制御ステップは、
    前記ユーザ操作が行われていない場合に、前記ＶＲ画像の第１の範囲である第１画像と、前記ＶＲ画像の前記第１の範囲よりも狭い第２の範囲を変形して拡大した第２画像との一方を、前記表示手段に表示するように制御し、
    前記ユーザ操作に応じて、前記第１画像と前記第２画像の一方の表示から、前記第１画像と前記第２画像の他方の表示、または、前記第１画像と前記第２画像の両方の表示へ、前記表示手段の表示が切り替わるように制御する
    ことを特徴とする撮像制御装置の制御方法。
23. コンピュータを、請求項１乃至２１のいずれか１項に記載の撮像制御装置の各手段として機能させるためのプログラム。
24. コンピュータを、請求項１乃至２１のいずれか１項に記載の撮像制御装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images