JP2022183656A - 電子機器、制御方法、プログラム、および記憶媒体 - Google Patents

Abstract

【課題】ライブビュー表示時に、再生表示時に表示される範囲を把握可能にする技術を提供する。【解決手段】本発明の電子機器は、第１の光学系を介して入力された第１の光学像に対応する第１のライブビュー画像を取得する取得手段と、前記第１のライブビュー画像を表示する際に、前記第１の光学系の画角のうち、再生表示時に表示される部分を示すインジケータを、前記第１のライブビュー画像に重畳して表示するように制御する制御手段とを有することを特徴とする。【選択図】図７

Description

本発明は、電子機器、制御方法、プログラム、及び、記憶媒体に関し、特に、広い映像範囲（広い視野角）を有する画像を表示する制御方法に関するものである。

２つの光学系を用いて視差のある２つの画像（広視野角画像）を取得して、当該２つの画像を立体視可能に表示する技術が知られている。視差のある２つの画像を撮影するための２眼カメラは、同じ方向を向いた２つの光学系を有しており、視差のある２つの画像を一度に撮影できる。

特許文献１には、左右に視差をもって並べられた２つの撮像部を使って同一被写体を左右の視点から撮影し、左眼用の画像と右眼用の画像とをそれぞれ取得する立体撮像装置が開示されている。

特許文献２には、監視カメラが撮影した全方位画像と、全方位画像から切り出した画像とを並べて表示する際に、全方位画像のどこが切り取られて表示されているかを示す枠を全方位画像に重畳して表示する情報処理装置が開示されている。

国際公開第２０１１／１２１８４０号 特開２０１７－１７４４６号公報

ここで、ライブビュー表示時には、２眼カメラなどで撮像された画像の全体を表示し、再生表示時には、撮像した２つの画像を用いてＶＲ表示することが考えられる。しかしながら、ライブビュー表示時には、２眼カメラを用いてどこまでの範囲を撮像できるかは把握できるものの、再生表示時にどの範囲が表示されるのかを把握できない。

本発明は、ライブビュー表示時に、再生表示時に表示される範囲を把握可能にする技術を提供することを目的とする。

本発明の電子機器は、第１の光学系を介して入力された第１の光学像に対応する第１のライブビュー画像を取得する取得手段と、前記第１のライブビュー画像を表示する際に、前記第１の光学系の画角のうち、再生表示時に表示される部分を示すインジケータを、前記第１のライブビュー画像に重畳して表示するように制御する制御手段とを有することを特徴とする。

本発明によれば、ライブビュー表示時に、再生表示時に表示される範囲が把握可能になる。

システムの全体構成を示す模式図である。 カメラの外観図である。 カメラの構成を示すブロック図である。 レンズユニットの構成を示す模式図である。 ＰＣの構成を示すブロック図である。 カメラの動作を示すフローチャートである。 各種表示モードでの表示などを示す模式図である。 カメラの動作を示すフローチャートである。 ＰＣの動作を示すフローチャートである。 左右入れ替えの模式図である。 レンズ情報とカメラ情報を示す模式図である。 マジックウィンドウの生成方法を示す模式図である。 表示画面の模式図である。 ライブビュー表示と再生表示を示す模式図である。

以下、本発明にかかる実施形態を、図面を参照して詳細に説明する。図１（ａ），（ｂ）は、本実施形態に係るシステムの全体構成の一例を示す模式図である。本実施形態に係るシステムはデジタルカメラ（カメラ）１００とパーソナルコンピュータ（ＰＣ）５００とを含む。カメラ１００にはレンズユニット３００が装着（接続）されている。レンズユニット３００の詳細は後述するが、レンズユニット３００を装着することで、カメラ１００は、所定の視差を有する２つの画像（静止画または動画）を一度に撮像できるようになる。ＰＣ５００は、カメラ１００などの撮像装置で撮像された画像を扱う情報処理装置である。図１（ａ）は、無線や有線などでカメラ１００とＰＣ５００が互いに通信可能に接続された構成を示す。図１（ｂ）は、カメラ１００で撮影した画像などを、ファイルベースで、外部記憶装置を介してＰＣ５００に入力する構成を示す。外部記憶装置はカメラ１００とＰＣ５００の両方に接続されていてもよいし、そうでなくてもよい。例えば、外部記憶装置をカメラ１００に接続して、カメラ１００で撮影した画像のファイルを外部記憶装置に格納してもよい。その後、外部記憶装置をカメラ１００から取り外してＰＣ５００に接続し、外部記憶装置に格納されたファイルをＰＣ５００が取り込んでもよい。

図２（ａ），（ｂ）は、カメラ１００の外観の一例を示す外観図である。図２（ａ）はカメラ１００を前面側から見た斜視図であり、図２（ｂ）はカメラ１００を背面側から見た斜視図である。

カメラ１００は、上面に、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、ファインダ外表示部１０７を有する。シャッターボタン１０１は、撮影準備指示あるいは撮影指示を行うための操作部材である。電源スイッチ１０２は、カメラ１００の電源のオンとオフとを切り替える操作部材である。モード切替スイッチ１０３は、各種モードを切り替えるための操作部材である。メイン電子ダイヤル１０４は、シャッター速度や絞り等の設定値を変更するための回転式の操作部材である。サブ電子ダイヤル１０５は、選択枠（カーソル）の移動や画像送り等を行うための回転式の操作部材である。動画ボタン１０６は、動画撮影（記録）の開始や停止の指示を行うための操作部材である。ファインダ外表示部１０７は、シャッター速度や絞り等の様々な設定値を表示する。

カメラ１００は、背面に、表示部１０８、タッチパネル１０９、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５を有する。また、接眼部１１６、接眼検知部１１８、タッチバー１１９、表示モード切替ボタン１２５を有する。表示部１０８は、画像や各種情報を表示する。タッチパネル１０９は、表示部１０８の表示面（タッチ操作面）に対するタッチ操作を検出する操作部材である。方向キー１１０は、上下左右にそれぞれ押下可能なキー（４方向
キー）から構成される操作部である。方向キー１１０の押下した位置に応じた処理が可能である。ＳＥＴボタン１１１は、主に選択項目を決定するときに押下される操作部材である。ＡＥロックボタン１１２は、撮影待機状態で露出状態を固定するときに押下される操作部材である。拡大ボタン１１３は、撮影モードのライブビュー表示（ＬＶ表示）において拡大モードのオンとオフとを切り替えるための操作部材である。拡大モードがオンである場合にはメイン電子ダイヤル１０４を操作することにより、ライブビュー画像（ＬＶ画像）が拡大または縮小する。また、拡大ボタン１１３は、再生モードにおいて再生画像を拡大したり、拡大率を大きくしたりするときに用いられる。再生ボタン１１４は、撮影モードと再生モードとを切り替えるための操作部材である。撮影モードの場合に再生ボタン１１４を押下することで再生モードに移行し、後述する記録媒体２２７に記録された画像のうち最新の画像を表示部１０８に表示することができる。

メニューボタン１１５は、各種設定が可能なメニュー画面を表示部１０８に表示するために押下される操作部材である。ユーザは、表示部１０８に表示されたメニュー画面と、方向キー１１０やＳＥＴボタン１１１とを用いて、直感的に各種設定を行うことができる。接眼部１１６は、接眼ファインダ（覗き込み型のファインダ）１１７に対して接眼して覗き込む部位である。ユーザは接眼部１１６を介して、カメラ１００内部の後述するＥＶＦ２１７（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）に表示された映像を視認することができる。接眼検知部１１８は、接眼部１１６（接眼ファインダ１１７）にユーザが接眼しているか否かを検知するセンサである。

タッチバー１１９は、タッチ操作を受け付けることが可能なライン状のタッチ操作部材（ラインタッチセンサ）である。タッチバー１１９は、右手の人差し指でシャッターボタン１０１を押下可能なようにグリップ部１２０を右手で握った状態（右手の小指、薬指、中指で握った状態）で、右手の親指でタッチ操作可能（タッチ可能）な位置に配置される。すなわち、タッチバー１１９は、接眼ファインダ１１７に接眼して接眼部１１６を覗き、いつでもシャッターボタン１０１を押下できるように構えた状態（撮影姿勢）で操作可能である。タッチバー１１９は、タッチバー１１９に対するタップ操作（タッチして所定期間以内にタッチ位置を移動せずに離す操作）、左右へのスライド操作（タッチした後、タッチしたままタッチ位置を移動する操作）等を受け付け可能である。タッチバー１１９は、タッチパネル１０９とは異なる操作部材であり、表示機能を備えていない。タッチバー１１９は、例えば各種機能を割当可能なマルチファンクションバー（Ｍ－Ｆｎバー）として機能する。

表示モード切替ボタン１２５は、表示モードを切り替えるための操作部材である。表示モード切替ボタン１２５が押下されると、表示モードが切り替えられ、表示部１０８に表示するライブビュー画像や、ライブビュー画像などに重畳するＯＳＤ画像（例えばヒストグラムや水準器）などが切り替えられる。ユーザは、表示モード切替ボタン１２５を操作して、自身の撮影に必要な表示が行われるように表示モードを切り替える。

また、カメラ１００は、グリップ部１２０、サムレスト部１２１、端子カバー１２２、蓋１２３、通信端子１２４等を有する。グリップ部１２０は、ユーザがカメラ１００を構える際に右手で握りやすい形状に形成された保持部である。グリップ部１２０を右手の小指、薬指、中指で握ってカメラ１００を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン１０１とメイン電子ダイヤル１０４が配置される。また、同様な状態で、右手の親指で操作可能な位置にサブ電子ダイヤル１０５とタッチバー１１９が配置される。サムレスト部１２１（親指待機位置）は、カメラ１００の背面側の、どの操作部材も操作しない状態でグリップ部１２０を握った右手の親指を置きやすい箇所に設けられたグリップ部である。サムレスト部１２１は、保持力（グリップ感）を高めるためのラバー部材等で構成される。端子カバー１２２は、カメラ１００を外部機器（外部装置）に接続
する接続ケーブル等のコネクタを保護する。蓋１２３は、後述する記録媒体２２７を格納するためのスロットを閉塞することで記録媒体２２７およびスロットを保護する。通信端子１２４は、カメラ１００に対して着脱可能なレンズユニット（後述するレンズユニット２００や、レンズユニット３００など）側と通信を行うための端子である。

図３は、カメラ１００の構成の一例を示すブロック図である。なお、図２と同一の構成要素には図２と同一の符号を付し、その構成要素の説明は適宜、省略する。図３では、カメラ１００にレンズユニット２００が装着されている。

まず、レンズユニット２００について説明する。レンズユニット２００は、カメラ１００に対して着脱可能な交換レンズの一種である。レンズユニット２００は、１眼レンズであり、通常のレンズの一例である。レンズユニット２００は、絞り２０１、レンズ２０２、絞り駆動回路２０３、ＡＦ（オートフォーカス）駆動回路２０４、レンズシステム制御回路２０５、通信端子２０６等を有する。

絞り２０１は、開口径が調整可能に構成される。レンズ２０２は、複数枚のレンズから構成される。絞り駆動回路２０３は、絞り２０１の開口径を制御することで光量を調整する。ＡＦ駆動回路２０４は、レンズ２０２を駆動して焦点を合わせる。レンズシステム制御回路２０５は、後述するシステム制御部５０の指示に基づいて、絞り駆動回路２０３、ＡＦ駆動回路２０４等を制御する。レンズシステム制御回路２０５は、絞り駆動回路２０３を介して絞り２０１の制御を行い、ＡＦ駆動回路２０４を介してレンズ２０２の位置を変えることで焦点を合わせる。レンズシステム制御回路２０５は、カメラ１００との間で通信可能である。具体的には、レンズユニット２００の通信端子２０６と、カメラ１００の通信端子１２４とを介して通信が行われる。通信端子２０６は、レンズユニット２００がカメラ１００側と通信を行うための端子である。

次に、カメラ１００について説明する。カメラ１００は、シャッター２１０、撮像部２１１、Ａ／Ｄ変換器２１２、メモリ制御部２１３、画像処理部２１４、メモリ２１５、Ｄ／Ａ変換器２１６、ＥＶＦ２１７、表示部１０８、システム制御部５０を有する。

シャッター２１０は、システム制御部５０の指示に基づいて撮像部２１１の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部２１１は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（イメージセンサ）である。撮像部２１１は、システム制御部５０にデフォーカス量情報を出力する撮像面位相差センサを有していてもよい。Ａ／Ｄ変換器２１２は、撮像部２１１から出力されるアナログ信号をデジタル信号に変換する。画像処理部２１４は、Ａ／Ｄ変換器２１２からのデータまたはメモリ制御部２１３からのデータに対し所定の処理（画素補間、縮小等のリサイズ処理、色変換処理等）を行う。また、画像処理部２１４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御や測距制御を行う。この処理により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等が行われる。更に、画像処理部２１４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０がＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４およびメモリ制御部２１３を介してメモリ２１５に書き込まれる。あるいは、Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４を介さずにメモリ制御部２１３を介してメモリ２１５に書き込まれる。メモリ２１５は、撮像部２１１によって得られＡ／Ｄ変換器２１２によりデジタルデータに変換された画像データや、表示部１０８やＥＶＦ２１７に表示するための画像データを格納する。メモリ２１５は、所定枚数の静止画像や所定時間の動画像および音声を格
納するのに十分な記憶容量を備えている。また、メモリ２１５は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器２１６は、メモリ２１５に格納されている表示用の画像データをアナログ信号に変換して表示部１０８やＥＶＦ２１７に供給する。したがって、メモリ２１５に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１６を介して表示部１０８やＥＶＦ２１７に表示される。表示部１０８やＥＶＦ２１７は、Ｄ／Ａ変換器２１６からのアナログ信号に応じた表示を行う。表示部１０８やＥＶＦ２１７は、例えば、ＬＣＤや有機ＥＬ等のディスプレイである。Ａ／Ｄ変換器２１２によってＡ／Ｄ変換されメモリ２１５に蓄積されたデジタル信号をＤ／Ａ変換器２１６でアナログ信号に変換し、表示部１０８やＥＶＦ２１７に逐次転送して表示することで、ライブビュー表示が行われる。

システム制御部５０は、少なくとも１つのプロセッサおよび／または少なくとも１つの回路からなる制御部である。すなわち、システム制御部５０は、プロセッサであってもよく、回路であってもよく、プロセッサと回路の組み合わせであってもよい。システム制御部５０は、カメラ１００全体を制御する。システム制御部５０は、不揮発性メモリ２１９に記録されたプログラムを実行することで、後述するフローチャートの各処理を実現する。また、システム制御部５０は、メモリ２１５、Ｄ／Ａ変換器２１６、表示部１０８、ＥＶＦ２１７等を制御することにより表示制御も行う。

また、カメラ１００は、システムメモリ２１８、不揮発性メモリ２１９、システムタイマ２２０、通信部２２１、姿勢検知部２２２、接眼検知部１１８を有する。

システムメモリ２１８として、例えばＲＡＭが用いられる。システムメモリ２１８には、システム制御部５０の動作用の定数、変数、不揮発性メモリ２１９から読み出したプログラム等が展開される。不揮発性メモリ２１９は電気的に消去・記録可能なメモリであり、不揮発性メモリ２１９として、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ２１９には、システム制御部５０の動作用の定数、プログラム等が記録される。ここでのプログラムとは、後述するフローチャートを実行するためのプログラムである。システムタイマ２２０は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。通信部２２１は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部２２１は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部２２１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部２２１は撮像部２１１で撮像した画像（ライブ画像を含む）や、記録媒体２２７に記録された画像を送信可能であり、外部機器から画像やその他の各種情報を受信することができる。姿勢検知部２２２は、重力方向に対するカメラ１００の姿勢を検知する。姿勢検知部２２２で検知された姿勢に基づいて、撮像部２１１で撮影された画像が、カメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部２２２で検知された姿勢に応じた向き情報を撮像部２１１で撮影された画像の画像ファイルに付加したり、検知された姿勢に応じて画像を回転したりすることが可能である。姿勢検知部２２２には、例えば、加速度センサやジャイロセンサ等を用いることができる。姿勢検知部２２２を用いて、カメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

接眼検知部１１８は、接眼部１１６（接眼ファインダ１１７）に対する何らかの物体の接近を検知することができる。接眼検知部１１８には、例えば、赤外線近接センサを用いることができる。物体が接近した場合、接眼検知部１１８の投光部から投光した赤外線が物体で反射して赤外線近接センサの受光部で受光される。受光された赤外線の量によって
接眼部１１６から物体までの距離を判別することができる。このように、接眼検知部１１８は、接眼部１１６に対する物体の近接距離を検知する接眼検知を行う。接眼検知部１１８は、接眼部１１６に対する眼（物体）の接近（接眼）および離反（離眼）を検知する接眼検知センサである。非接眼状態（非接近状態）から、接眼部１１６に対して所定距離以内に近づく物体が検知された場合に、接眼されたと検知する。一方、接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検知する。接眼を検知する閾値と、離眼を検知する閾値とは例えばヒステリシスを設ける等して異なっていてもよい。また、接眼を検知した後は、離眼を検知するまでは接眼状態であるものとする。離眼を検知した後は、接眼を検知するまでは非接眼状態であるものとする。システム制御部５０は、接眼検知部１１８で検知された状態に応じて、表示部１０８とＥＶＦ２１７の表示（表示状態）／非表示（非表示状態）を切り替える。具体的には、少なくとも撮影待機状態であって、かつ、表示先の切替設定が自動切替である場合、非接眼中は表示先を表示部１０８として表示をオンとし、ＥＶＦ２１７は非表示とする。また、接眼中は表示先をＥＶＦ２１７として表示をオンとし、表示部１０８は非表示とする。なお、接眼検知部１１８は赤外線近接センサに限られず、接眼検知部１１８には、接眼とみなせる状態を検知できるものであれば他のセンサを用いてもよい。

また、カメラ１００は、ファインダ外表示部１０７、ファインダ外表示駆動回路２２３、電源制御部２２４、電源部２２５、記録媒体Ｉ／Ｆ２２６、操作部２２８等を有する。

ファインダ外表示部１０７は、ファインダ外表示駆動回路２２３によって駆動され、シャッター速度や絞り等のカメラ１００の様々な設定値を表示する。電源制御部２２４は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出等を行う。また、電源制御部２２４は、その検出結果およびシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２２７を含む各部へ供給する。電源部２２５は、アルカリ電池およびリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池およびＬｉ電池等の二次電池、ＡＣアダプター等である。記録媒体Ｉ／Ｆ２２６は、メモリカードやハードディスク等の記録媒体２２７とのインターフェースである。記録媒体２２７は、撮影された画像を記録するためのメモリカード等であり、半導体メモリや磁気ディスク等から構成される。記録媒体２２７は、カメラ１００に対して着脱可能であってもよいし、カメラ１００に内蔵されていてもよい。

操作部２２８は、ユーザからの操作（ユーザ操作）を受け付ける入力部であり、システム制御部５０に各種の指示を入力するために用いられる。操作部２２８は、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、タッチパネル１０９、他の操作部２２９等が含まれる。他の操作部２２９には、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２が含まれる。また、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５、タッチバー１１９、表示モード切替ボタン１２５等が含まれる。

シャッターボタン１０１は、第１シャッタースイッチ２３０と第２シャッタースイッチ２３１を有する。第１シャッタースイッチ２３０は、シャッターボタン１０１の操作途中、いわゆる半押し（撮影準備指示）でオンとなり、第１シャッタースイッチ信号ＳＷ１を出力する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１に応じて、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の撮影準備処理を開始する。第２シャッタースイッチ２３１は、シャッターボタン１０１の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を出力する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２に応じて、撮像部２１１からの信号読み出しから、撮影された画像を含む画像ファイルを生成して記録媒体２２７に書き込むまでの一連の撮影処理を
開始する。

モード切替スイッチ１０３は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等の何れかに切り替える。静止画撮影モードに含まれるモードには、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。ユーザは、モード切替スイッチ１０３により、上述した撮影モードの何れかに直接、切り替えることができる。あるいは、ユーザは、モード切替スイッチ１０３により撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードの何れかに操作部２２８を用いて選択的に切り替えることができる。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

タッチパネル１０９は、表示部１０８の表示面（タッチパネル１０９の操作面）への各種タッチ操作を検出するタッチセンサである。タッチパネル１０９と表示部１０８とは一体的に構成することができる。例えば、タッチパネル１０９は、光の透過率が表示部１０８の表示を妨げないように、表示部１０８の表示面の上層に取り付けられる。そして、タッチパネル１０９における入力座標と、表示部１０８の表示面上の表示座標とを対応付けることで、あたかもユーザが表示部１０８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザインターフェース）を構成できる。タッチパネル１０９には、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等の様々な方式のうち何れかの方式を用いることができる。方式によって、タッチパネル１０９に対する接触があったことでタッチがあったと検知する方式や、タッチパネル１０９に対する指やペンの接近があったことでタッチがあったと検知する方式があるが、何れの方式であってもよい。

システム制御部５０は、タッチパネル１０９に対する以下の操作あるいは状態を検出できる。
・タッチパネル１０９にタッチしていなかった指やペンが新たにタッチパネル１０９にタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）という）。
・タッチパネル１０９を指やペンでタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）という）。
・タッチパネル１０９を指やペンがタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）という）。
・タッチパネル１０９へタッチしていた指やペンがタッチパネル１０９から離れた（リリースされた）こと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）という）。
・タッチパネル１０９に何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）という）。

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル１０９上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。システム制御部５０は通知された情報に基づいてタッチパネル１０９上にどのような操作（タッチ操作）が行われたかを判定
する。タッチムーブについてはタッチパネル１０９上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０９上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定される。タッチパネル１０９上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックという。フリックは、言い換えればタッチパネル１０９上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定される（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を共にタッチして（マルチタッチして）、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトという。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）という。

図４は、レンズユニット３００の構成の一例を示す模式図である。図４では、レンズユニット３００をカメラ１００に装着した状態を示している。なお、図４に示すカメラ１００のうち、図３で説明した構成要素と同一の構成要素には、図３と同一の符号を付し、その構成要素の説明は適宜、省略する。

レンズユニット３００は、カメラ１００に対して着脱可能な交換レンズの一種である。レンズユニット３００は、視差のある右像および左像を撮像可能な２眼レンズである。本実施形態では、レンズユニット３００は２つの光学系を有し、２つの光学系それぞれで、略１８０度の広視野角の範囲を撮像できる。具体的に、レンズユニット３００の２つの光学系それぞれで、左右方向（水平角度、方位角、ヨー角）１８０度、上下方向（垂直角度、仰俯角、ピッチ角）１８０度の視野分（画角分）の被写体を撮像できる。つまり、２つの光学系それぞれで、前方半球の範囲を撮像できる。

レンズユニット３００は、複数のレンズと反射ミラー等を有する右眼光学系３０１Ｒ、複数のレンズと反射ミラー等を有する左眼光学系３０１Ｌ、レンズシステム制御回路３０３を有する。右眼光学系３０１Ｒは第１の光学系の一例であり、左眼光学系３０１Ｌは第２の光学系の一例である。右眼光学系３０１Ｒは被写体側に配置されるレンズ３０２Ｒを有し、左眼光学系３０１Ｌは被写体側に配置されるレンズ３０２Ｌを有する。レンズ３０２Ｒとレンズ３０２Ｌは同じ方向を向いており、それらの光軸は略平行である。

レンズユニット３００は、２眼立体視が可能なＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像のフォーマットの１つであるＶＲ１８０の画像を得るための２眼レンズ（ＶＲ１８０レンズ）である。本実施形態では、レンズユニット３００は、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのそれぞれに、略１８０度の範囲を捉えることが可能な魚眼レンズを有する。なお、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのそれぞれが有するレンズで捉えることが可能な範囲は、１８０度の範囲よりも狭い１６０度程度であってもよい。レンズユニット３００は、右眼光学系３０１Ｒを介して形成される右像（第１画像）と、左眼光学系３０１Ｌを介して形成される左像（第２画像）とを、レンズユニット３００が装着されたカメラの１つまたは２つの撮像素子上に結像することができる。

レンズユニット３００は、レンズマウント部３０４と、カメラ１００のカメラマウント部３０５とを介して、カメラ１００に装着される。こうすることで、カメラ１００の通信端子１２４と、レンズユニット３００の通信端子３０６とを介して、カメラ１００のシステム制御部５０とレンズユニット３００のレンズシステム制御回路３０３とが電気的に接続される。

本実施形態では、右眼光学系３０１Ｒを介して形成される右像と、左眼光学系３０１Ｌ
を介して形成される左像とが、同時に（セットで）カメラ１００の撮像部２１１に結像される。すなわち、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌにより形成される２つの光学像が１つの撮像素子上に形成される。撮像部２１１は、結像された被写体像（光信号）をアナログ電気信号に変換する。このようにレンズユニット３００を用いることで、右眼光学系３０１Ｒと左眼光学系３０１Ｌとの２つの箇所（光学系）から、視差がある２つの画像を同時に（セットで）取得することができる。取得された画像を左眼用の画像と右眼用の画像とに分けてＶＲ表示することで、ユーザは略１８０度の範囲の立体的なＶＲ画像を視聴することができる。つまり、ユーザは、ＶＲ１８０の画像を立体視することができる。

ここで、ＶＲ画像とは、後述するＶＲ表示することができる画像である。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示部に一度で表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像等が含まれる。また、ＶＲ画像は、静止画に限られず、動画、ライブ画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で、左右方向３６０度、上下方向３６０度の視野分の映像範囲（有効映像範囲）を持つ。また、ＶＲ画像には、左右方向３６０度未満、上下方向３６０度未満であっても、通常のカメラで撮像可能な画角よりも広範な画角、あるいは、表示部に一度で表示できる表示範囲より広い映像範囲を持つ画像も含まれる。上述したレンズユニット３００を用いてカメラ１００で撮像される画像は、ＶＲ画像の一種である。ＶＲ画像は、例えば、表示装置（ＶＲ画像を表示できる表示装置）の表示モードを「ＶＲビュー」に設定することでＶＲ表示することができる。３６０度の画角を有するＶＲ画像をＶＲ表示して、ユーザが表示装置の姿勢を左右方向（水平回転方向）に変化させることで、左右方向に継ぎ目のない全方位の映像を観賞することができる。

ＶＲ表示（ＶＲビュー）とは、ＶＲ画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法（表示モード）である。ＶＲ表示には、ＶＲ画像を仮想球体にマッピングする変形（歪曲補正）を行って１つの画像を表示する「１眼ＶＲ表示（１眼ＶＲビュー）」がある。１眼ＶＲ表示は、例えば、ＶＲ１８０の動画をＰＣで再生表示する場合に行われる。また、ＶＲ表示には、左眼用のＶＲ画像と右眼用のＶＲ画像とをそれぞれ仮想球体にマッピングする変形を行って左右の領域に並べて表示する「２眼ＶＲ表示（２眼ＶＲビュー）」がある。２眼ＶＲ表示は、例えば、ＶＲ１８０の動画をＨＭＤ（ヘッドマウントディスプレイ）で再生表示する場合に行われる。互いに視差のある左眼用のＶＲ画像と右眼用のＶＲ画像を用いて「２眼ＶＲ表示」を行うことで、それらＶＲ画像を立体視することが可能である。何れのＶＲ表示であっても、例えば、ユーザがＨＭＤ等の表示装置を装着した場合、ユーザの顔の向きに応じた視野範囲の映像が表示される。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野範囲の映像を表示しているとする。この状態から表示装置の姿勢を表裏反転させる（例えば、表示面を南向きから北向きに変更する）と、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度を中心とした視野範囲の映像に、表示範囲が変更される。すなわち、ユーザがＨＭＤを装着した状態で、顔を北から南に向く（すなわち後ろを向く）ことで、ＨＭＤに表示される映像も北の映像から南の映像に変更される。なお、本実施形態のレンズユニット３００を用いて撮像したＶＲ画像は、前方略１８０度の範囲を撮像した画像（１８０°画像）であり、後方略１８０度の範囲の映像は存在しない。このような画像をＶＲ表示して、映像が存在しない側に表示装置の姿勢を変更した場合にはブランク領域が表示される。

このようにＶＲ画像をＶＲ表示することによって、ユーザは視覚的にあたかもＶＲ画像内（ＶＲ空間内）にいるような感覚（没入感）を得ることができる。なお、ＶＲ画像の表示方法は表示装置の姿勢を変更する方法に限られない。例えば、タッチパネルや方向ボタ
ン等を介したユーザ操作に応じて、表示範囲を移動（スクロール）させてもよい。また、ＶＲ表示時（表示モード「ＶＲビュー」時）において、姿勢変化による表示範囲の変更に加え、タッチパネルでのタッチムーブ、マウス等でのドラッグ操作、方向ボタンの押下等に応じて表示範囲を変更してもよい。なお、ＶＲゴーグル（ヘッドマウントアダプタ）に装着されたスマートフォンはＨＭＤの一種である。

図５は、ＰＣ５００の構成の一例を示すブロック図である。制御部５０１は、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）であり、ＰＣ５００全体を制御する。Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）５０２は、プログラムやパラメータを非一時的に記憶する。Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）５０３は、外部機器などから供給されるプログラムやデータを一時的に記憶する。記録媒体５０４は、ＰＣ５００に固定して設置されたハードディスクやフラッシュメモリ、あるいはＰＣ５００に対して着脱可能な光ディスク、磁気カード、光カード、ＩＣカード、メモリーカードなどである。カメラ１００が撮影した画像のファイルは、記録媒体５０４から読み出される。操作部５０５は、ＰＣ５００に対するユーザの操作を受け付ける。ユーザが操作を行う際に用いる操作部材は、ＰＣ５００に設けられたボタンやタッチパネルなどであってもよいし、ＰＣ５００に対して着脱可能なキーボードやマウスなどであってもよい。表示部５０６は、ＰＣ５００が保持するデータや外部から供給されたデータなどを表示する。表示部５０６はＰＣ５００の一部であってもよいし、ＰＣ５００とは別体の表示装置であってもよい。通信部５０７は、カメラ１００などの外部機器との通信を行う。システムバス５０８はＰＣ５００の構成要素間を通信可能に接続する。

ここで、ライブビュー表示時には、レンズユニット３００（２眼レンズ）などで撮像されたＶＲ画像の全体を表示し、再生表示時には、ＶＲ画像の一部を表示することが考えられる。再生表示は、例えばＶＲ表示であり、ＰＣやＨＭＤなどで行われる。図１４（ａ），（ｂ）は、ライブビュー表示の一例を示し、図１４（ｃ）は再生表示の一例を示す。図１４（ａ）では、ＶＲ画像である円周魚眼画像（等距離射影画像）の全体が表示されており、図１４（ｂ）では、ＶＲ画像である正距円筒画像の全体が表示されている。図１４（ｂ）の正距円筒画像の画角は、図１４（ａ）の円周魚眼画像の画角と同じである。そして、図１４（ｃ）では、図１４（ａ），（ｂ）に示すＶＲ画像の一部が表示されている。例えば、円周魚眼画像を正距円筒変換した後に、透視投影変換し、透視投影変換後の画像の一部を切り出して表示することで、図１４（ｃ）のような表示が実現される。透視投影変換は、画像の見えを人間による実際（実物）の見えに近づける補正であり、画像の歪みを低減する処理である。正距円筒変換は省略してもよい。２眼ＶＲ表示では、それぞれ透視投影変換後の画像の一部である２つの画像を左右に並べて表示する。例えば、視差のある左像（左眼用のＶＲ画像）と右像（右眼用のＶＲ画像）をＨＭＤなどで２眼ＶＲ表示する場合には、左像と右像それぞれの透視投影変換を行い、左像の一部と右像の一部とを左右に並べて表示する。

しかしながら、図１４（ａ），（ｂ）のようなライブビュー表示からでは、どこまでの画角が撮像されたかは把握できるものの、再生表示時に表示される画角は把握できない。そこで、本実施形態では、ライブビュー表示時に、再生表示時に表示される画角を把握可能にする。なお、以下では右像と左像を撮像してライブビュー表示する例を説明するが、右像と左像の一方をライブビュー表示してもよい。また、１眼レンズで撮像された１つのＶＲ画像をライブビュー表示してもよい。ライブビュー表示するＶＲ画像は、異なる方向を撮像した複数の画像を合成して得られる３６０°画像（全方位画像；全天球画像）であってもよい。

図６は、撮影モード時におけるカメラ１００の動作（撮影モード処理）の一例を示すフローチャートである。この動作は、システム制御部５０が不揮発性メモリ２１９に記録さ
れたプログラムをシステムメモリ２１８に展開して実行することにより実現される。例えば、撮影モードでカメラ１００が起動したり、カメラ１００のモードが撮影モードに切り替えられたりすると、図６の動作が開始する。撮影モード処理では、以下で述べる処理の他に、静止画撮影や動画撮影なども行われる。つまり、以下で述べる処理は、撮影待機中や撮影中に行われる。

ステップＳ６０１では、システム制御部５０は、不揮発性メモリ２１９から前回使用していた表示モードの情報を取得し、前回の表示モードで表示部１０８に画像（ライブビュー画像やＯＳＤ画像など）を表示する。表示モードの情報は、表示モードを識別することのできる情報であれば特に限定されないが、本実施形態では番号であるとする。

ステップＳ６０２では、システム制御部５０は、カメラ１００のユーザによって表示モード切替指示が行われたか否かを判定する。表示モード切替指示が行われたと判定した場合はステップＳ６０３へ進み、そうでない場合はステップＳ６１０へ進む。表示モード切替指示は、例えば表示モード切替ボタン１２５の押下である。

ステップＳ６０３では、システム制御部５０は、現在の表示モード（ステップＳ６０２の表示モード切替指示に応じた切り替え前の表示モード）の番号Ｎが５であるか否かを判定する。番号Ｎが５であると判定した場合はステップＳ６０６へ進み、そうでないと判定した場合はステップＳ６０４へ進む。

ステップＳ６０４では、システム制御部５０は、表示モードが順番に切り替わるように、番号Ｎを１インクリメントさせる。本実施形態では、番号１～６の６つの表示モードが存在するとする。

ステップＳ６０５では、システム制御部５０は、番号Ｎの表示モードで表示部１０８に画像を表示するように、表示部１０８の表示を更新する。

ステップＳ６０６では、システム制御部５０は、レンズユニット３００などのＶＲレンズ（魚眼レンズなど、ＶＲ画像を撮像可能にするレンズ）がカメラ１００に装着されているか否かを判定する。ＶＲレンズが装着されていると判定した場合はステップＳ６０８へ進み、そうでない場合はステップＳ６０７へ進む。

ステップＳ６０７では、システム制御部５０は、番号６の表示モードを飛ばして番号１の表示モードに遷移するように、番号Ｎを１に設定する。

このように、ＶＲレンズが装着されていない場合には、表示モード切替指示が行われる度に表示モードの番号が１つずつ増加するように、番号１～５の５つの表示モードの間で表示モードが切り替えられる。そして、番号５の表示モードで表示モード切替指示が行われると、番号１の表示モードに戻される。

図７（ａ）は番号１の表示モードでの表示の一例を示し、図７（ｂ）は番号２の表示モードでの表示の一例を示し、図７（ｃ）は番号３の表示モードでの表示の一例を示す。図７（ｄ）は番号４の表示モードでの表示の一例を示し、図７（ｅ）は番号５の表示モードでの表示の一例を示す。図７（ａ）～（ｃ）ではライブビュー画像と表示アイテム（ＯＳＤ画像）が表示されており、図７（ｄ）ではライブビュー画像のみが表示されており、図７（ｅ）ではメニュー画面が表示されている。図７（ａ）～（ｃ）の間で、表示アイテムの種類が異なる。図７（ａ）～（ｅ）の表示は、従来の表示と同様であるため、詳細な説明は省略する。

ステップＳ６０８では、システム制御部５０は、番号６の表示モードに遷移するように、番号Ｎを６に設定する。番号６の表示モードは、ＶＲレンズ専用の表示モードである。

ステップＳ６０９では、番号６の表示モードで表示部１０８に画面を表示するように、表示部１０８の表示を更新する。

このように、ＶＲレンズが装着されている場合には、表示モード切替指示が行われる度に表示モードの番号が１つずつ増加するように、番号１～６の６つの表示モードの間で表示モードが切り替えられる。そして、番号６の表示モードで表示モード切替指示が行われると、番号１の表示モードに戻される。

図７（ｆ）は番号６の表示モードでの表示の一例を示す。図７（ｆ）では、右画像と左画像が並んだライブビュー画像が表示されており、右画像に重畳してインジケータ７０１が表示されており、左画像に重畳してインジケータ７０２が表示されている。本実施形態では、右画像と左画像を含んだ１つの画像をライブビュー画像と呼ぶが、右画像と左画像それぞれをライブビュー画像と呼んでもよい。インジケータ７０１は、右眼光学系３０１Ｒの画角のうち、再生表示時（２眼ＶＲ表示時）に表示される部分を示す表示アイテム（枠）である。インジケータ７０２は、左眼光学系３０１Ｌの画角のうち、再生表示時（２眼ＶＲ表示時）に表示される部分を示す表示アイテム（枠）である。より具体的には、インジケータ７０１，７０２は、ＶＲ表示（２眼ＶＲ表示）において最初に表示される部分であって、ユーザが見る方向（視点）を変えない限り表示され続ける部分を示す。以後、インジケータ７０１，７０２のような表示アイテムをマジックウィンドウと呼ぶ。マジックウィンドウは、ＶＲ画像の画角のうち、ユーザが所定の方向（例えば正面方向）を見た場合に表示される部分とも言える。本実施形態では、マジックウィンドウは、番号６の表示モード（特定の表示モード）でのみ表示される。

このようなマジックウィンドウを表示することにより、ユーザは、再生表示時に表示される画角を把握することができる。さらには、ブラウザやヘッドマウントディスプレイ（ＨＭＤ）で再生した際に、視聴者が一番初めに目にする範囲を撮影時に視認することができるため、ユーザ所望の構図や最も見せたい被写体などを、より効果的に撮影することができる。また、右画像と左画像を並べて表示することにより、ユーザは、右画像と左画像の違いや、右画像と左画像の撮像が問題無く行えているか否か等も把握することができる。さらに、右画像のマジックウィンドウと左画像のマジックウィンドウとを表示することにより、ユーザは、ＶＲ表示において右眼で見る映像と左眼で見る映像との違いなども把握することができる。

なお、図７（ｆ）では、インジケータ７０１が右画像の中心部分を示しており、インジケータ７０２が左画像の中心部分を示しているが、マジックウィンドウが示す領域の位置は特に限定されない。マジックウィンドウが示す領域の位置は変更可能であってもよい。インジケータ７０１とインジケータ７０２のうち、一方のみが表示されてもよい。ユーザーがマジックウィンドウが示す領域を視認できればよいため、以降の撮影時に常に表示されることは必ずしも必要ではない。

また、マジックウィンドウの領域の求め方は、特に限定されない。例えば、図７（ｇ）に示すように、透視投影変換後の画像の一部を示す矩形領域が、ＶＲ表示において最初に表示される領域（画角）として、予め定められる。そして、この矩形領域に対して、透視投影変換の逆変換や、正距円筒変換の逆変換などを適用することにより、透視投影変換前のライブビュー画像に重畳されるマジックウィンドウの領域が求められる。

ステップＳ６１０では、システム制御部５０は、ＶＲレンズがカメラ１００から取り外
されたか否かを判定する。ＶＲレンズが取り外されたと判定した場合はステップＳ６１１へ進み、そうでない場合はステップＳ６１３へ進む。

ステップＳ６１１では、システム制御部５０は、現在の表示モードの番号Ｎが６であるか否かを判定する。番号Ｎが６であると判定した場合はステップＳ６１２へ進み、そうでないと判定した場合はステップＳ６１３へ進む。

ステップＳ６１２では、システム制御部５０は、番号１の表示モードに遷移するように、番号Ｎを１に設定する。上述したように、番号６の表示モードは、ＶＲレンズ専用の表示モードである。ＶＲレンズが取り外された場合に、番号６の表示モードを継続するのは適切でないため、表示モードの切り替え順で番号６の次の表示モードである番号１の表示モードに遷移させる。

ステップＳ６１３では、番号１の表示モードで表示部１０８に画面を表示するように、表示部１０８の表示を更新する。

ステップＳ６１４では、システム制御部５０は、カメラ１００のユーザによって終了指示が行われたか否かを判定する。終了指示が行われたと判定した場合は図６の動作を終了し、そうでない場合はステップＳ６０２へ進む。終了指示は、カメラ１００の電源を切る指示や、カメラ１００のモードを撮影モードから別のモードに切り替える指示などである。つまり、終了指示は、電源スイッチ１０２の押下や、モード切替スイッチ１０３の押下などである。

なお、表示モード切替指示で切り替え可能な表示モードの種類や数などは特に限定されない。表示モード切替指示で切り替え可能な表示モードは、メニュー画面などからカスタマイズできてもよい。

図８は、カメラ１００の別の動作の一例を示すフローチャートである。この動作は、システム制御部５０が不揮発性メモリ２１９に記録されたプログラムをシステムメモリ２１８に展開して実行することにより実現される。例えば、カメラ１００が起動すると、図８の動作が開始する。図８の動作は、カメラで撮像したライブビュー画像をＰＣの表示部に表示する機能（ＰＣライブビュー）のための動作である。図８の動作は、カメラ１００が撮影待機状態である場合において実行される。ＰＣライブビューの動作中に、ＰＣ５００から記録開始指示が入力された場合、静止画撮影もしくは動画撮影が実行される。このとき、ＰＣライブビューは継続してよい。

ステップＳ８０１では、システム制御部５０は、カメラ１００が２眼レンズ（例えばレンズユニット３００）に対応しているか否かを判定する。図８の動作では、２眼レンズとして、２眼のＶＲレンズを想定している。例えば、システム制御部５０は、システム制御部５０のファームウェアのバージョンが２眼レンズに対応したバージョンであるか否かを判定する。２眼レンズに対応していると判定した場合はステップＳ８０２へ進み、そうでない場合はステップＳ８１１へ進む。

ステップＳ８０２では、システム制御部５０は、２眼レンズがカメラ１００に装着されているか否かを判定する。２眼レンズが装着されていると判定した場合はステップＳ８０３へ進み、そうでない場合はステップＳ８１１へ進む。なお、２眼レンズが装着されていない状態から２眼レンズが装着された場合も、ステップＳ８０３へ進む。２眼レンズが装着されている状態から２眼レンズが取り外され、１眼レンズが装着された場合は、ステップＳ８１１へ進む。図８の動作では、１眼レンズとして、通常の１眼レンズ（ＶＲレンズでない１眼レンズ）を想定している。

ステップＳ８０３では、システム制御部５０は、装着（接続）されている２眼レンズから、当該２眼レンズの設計値を取得する。設計値は設計上のパラメータであり、後述の左右入れ替えや正距円筒変換に利用される。例えば、図１１（ｂ）に示すイメージサークル位置、イメージサークル直径、画角および歪曲補正係数が取得される。

ステップＳ８０４では、システム制御部５０は、装着（接続）されている２眼レンズから、当該２眼レンズの個体値を取得する。個体値はレンズユニット固有のパラメータであり、例えば製造時の誤差などである。例えば、図１１（ｂ）に示すイメージサークル位置ずれ、光軸傾き、および像倍率ずれが取得される。個体値を利用することにより、設計値のみを利用する場合よりも画像処理を高精度に行うことができる。

ステップＳ８０５では、カメラ１００がＰＣ５００に接続され、システム制御部５０は、カメラ１００がＰＣ５００に接続されたことを検知する。ステップＳ８０６では、システム制御部５０は、ＰＣ５００からＰＣライブビュー開始要求を受信する。ステップＳ８０７では、システム制御部５０は、ＰＣ５００からライブビュー画像要求を受信する。ライブビュー画像要求は、後述するようにライブビュー画像の解像度を指定する情報（解像度情報）を含む。システム制御部５０は、指定された解像度のライブビュー画像をＰＣ５００に送信するようにステップＳ８０９の処理を実行する。

ステップＳ８０８では、システム制御部５０は、ステップＳ８０３，Ｓ８０４で取得した情報（２眼レンズのレンズ情報；２眼レンズの２つの光学系に関する情報）を、送信するライブビュー画像の座標系に合うように変換する。ステップＳ８０３，Ｓ８０４で取得した情報は、そのままでは、ライブビュー画像の画像処理に用いることができないため、本実施形態では、レンズ情報を、ライブビュー画像の座標系に合った情報に変換する。なお、レンズ情報には、ステップＳ８０３，Ｓ８０４で取得した情報とは別の情報が含まれてもよい。例えば、本実施形態では、マジックウィンドウの領域（画角）に関する情報が、レンズ情報に含まれる。レンズ情報には、右画像に重畳するマジックウィンドウの情報と、左画像に重畳するマジックウィンドウの情報とが含まれる。

ステップＳ８０９では、システム制御部５０は、ステップＳ８０８で変換されたレンズ情報と、ライブビュー画像とを、ＰＣ５００に送信する。システム制御部５０は、ステップＳ８０７で取得した解像度情報に基づいて、ライブビュー画像の解像度を変換して、ＰＣ５００に送信する。なお、本実施形態ではカメラ１００のシステム制御部５０がレンズ情報の変換を行っているが、ＰＣ５００の制御部５０１がレンズ情報の変換を行ってもよい。その際には、変換前のレンズ情報と、レンズ情報の変換に必要なパラメータとをＰＣ５００に送信する。

ステップＳ８１０では、システム制御部５０は、ＰＣライブビューを終了するか否かを判定する。例えば、カメラ１００とＰＣ５００の接続が解除されたり、ユーザがカメラ１００またはＰＣ５００に対してＰＣライブビューの終了を指示した場合に、ＰＣライブビューを終了すると判定する。ＰＣライブビューを終了すると判定した場合は図８の動作を終了し、そうでない場合はステップＳ８０７へ進む。

カメラ１００に１眼レンズ（通常の１眼レンズ；ＶＲレンズでない１眼レンズ）が装着されている場合にはステップＳ８１１の処理が行われる。ステップＳ８１１では、システム制御部５０は、１眼レンズで撮像したライブビュー画像をＰＣ５００に送信する。ステップＳ８１１の処理は、１眼レンズで撮像したライブビュー画像を外部機器に送信する従来の処理と同様であるため、詳細な説明は省略する。本実施形態では、システム制御部５０は、１眼レンズで撮像したライブビュー画像をＰＣ５００に送信する際には、装着され
ている１眼レンズの情報（設計値や個体値など）を当該１眼レンズから取得することも、ＰＣ５００に送信することもしないとする。

図９は、ＰＣ５００の動作の一例を示すフローチャートである。この動作は、制御部５０１がＲＯＭ５０２に記録されたプログラム（アプリケーションプログラム）をＲＡＭ５０３に展開して実行することにより実現される。例えば、ユーザがＰＣ５００に対して特定のアプリケーションの起動を指示すると、図９の動作が開始する。図９の動作は、カメラで撮像したライブビュー画像をＰＣの表示部に表示する機能（ＰＣライブビュー）のための動作である。

ステップＳ９０１では、ＰＣ５００にカメラ（例えばカメラ１００）が接続され、制御部５０１は、ＰＣ５００にカメラが接続されたことを検知する。

ステップＳ９０２では、制御部５０１は、ステップＳ９０１で接続されたカメラが２眼レンズ（例えばレンズユニット３００）に対応可能なカメラか否かを判定する。図９の動作では、２眼レンズとして、２眼のＶＲレンズを想定している。例えば、制御部５０１は、接続されたカメラから当該カメラの機種情報を取得し、取得した機種情報に基づいて、２眼レンズに対応可能なカメラか否かを判定する。２眼レンズに対応可能なカメラと判定した場合はステップＳ９０３へ進み、そうでない場合はステップＳ９２５へ進む。２眼レンズに対応可能なカメラとは、例えば、２眼レンズを装着可能なカメラである。

ステップＳ９０３では、制御部５０１は、ステップＳ９０１で接続されたカメラのファームウェアが２眼レンズに対応可能か否かを判定する。例えば、制御部５０１は、接続されたカメラから、当該カメラのファームウェアのバージョンの情報を取得し、取得した情報に基づいて、接続されたカメラのファームウェアのバージョンが２眼レンズに対応したバージョンであるか否かを判定する。２眼レンズに対応可能と判定した場合はステップＳ９０４へ進み、そうでない場合はステップＳ９２５へ進む。

２眼レンズに対応可能なカメラがＰＣ５００に接続されたとしても、接続されたカメラのファームウェアのバージョンが古いなどの理由により、接続されたカメラが２眼レンズに対応できていないことがある。そのために、ステップＳ９０３の処理が必要となる。また、ＰＣ５００には様々なカメラが接続可能であり、ファームウェアのバージョンに依らず２眼レンズに対応できないカメラが接続されることもある。そのため、ステップＳ９０３の処理の前に、ステップＳ９０２の処理が必要となる。

ステップＳ９０４では、制御部５０１は、ステップＳ９０１で接続されたカメラに２眼レンズが装着されているか否かを判定する。２眼レンズが装着されていると判定した場合はステップＳ９０５へ進み、そうでない場合はステップＳ９２５へ進む。

ステップＳ９０５では、制御部５０１は、ステップＳ９０１で接続されたカメラにＰＣライブビュー開始要求を送信する。

ステップＳ９０６では、制御部５０１は、円周魚眼表示を行うか否かを判定する。円周魚眼表示を行うと判定した場合はステップＳ９０７へ進み、そうでない場合（正距円筒表示を行う場合）はステップＳ９１６へ進む。ステップＳ９０６では、例えば、図１３（ａ）～（ｄ）のラジオボタン１３０６が選択状態か非選択状態かで、円周魚眼表示を行うか否かを判定する。図１３（ａ），（ｃ）ではラジオボタン１３０６は選択状態であり、図１３（ｂ），（ｄ）ではラジオボタン１３０６は非選択状態である。ラジオボタン１３０６が選択状態の場合は、円周魚眼表示を行うと判定し、ステップＳ９０７へ進む。ラジオボタン１３０６が非選択状態である場合は、ステップＳ９１６へ進む。

ステップＳ９０７では、制御部５０１は、ステップＳ９０１で接続されたカメラにライブビュー画像要求を送信する。本実施形態では、ステップＳ９０７のライブビュー画像要求は、通常解像度のライブビュー画像の要求であるとする。通常解像度は、例えば、４Ｋ解像度であるとする。

ステップＳ９０８では、制御部５０１は、ステップＳ９０１で接続されたカメラから、当該カメラが撮像したライブビュー画像と、当該カメラに装着されている２眼レンズのレンズ情報とを受信する。ステップＳ９０８で受信するライブビュー画像の解像度は、通常解像度である。ステップＳ９０８で受信するレンズ情報は、受信するライブビュー画像に合うように変換された情報（例えば、図８のステップＳ８０８で変換されたレンズ情報）である。

ステップＳ９０９では、制御部５０１は、右画像と左画像の位置を補正する（入れ替える）左右入れ替えを行うか否かを判定する。左右入れ替えを行うと判定した場合はステップＳ９１０へ進み、そうでない場合はステップＳ９１２へ進む。ステップＳ９０９では、例えば、図１３（ａ），（ｃ）のチェックボックス１３０８がチェックされているか否かに基づいて、左右入れ替えを行うか否かを判定する。チェックボックス１３０８がチェックされている場合は、左右入れ替えを行うと判定し、ステップＳ９１０へ進む。チェックボックス１３０８がチェックされていない場合は、ステップＳ９１２へ進む。

ここで、２眼レンズを装着して撮像される画像の特徴について説明する。通常の１眼レンズの場合、撮像部２１１上には、実際の見えに対して上下左右に反転した像（１８０度回転した像）が結像する。そのため、結像された画像全体を１８０度回転して、実際の見えに合った画像を取得（撮像）している。一方で、２眼レンズの場合は、右像と左像それぞれが、実際の見えに対して１８０度回転して撮像部２１１上に結像する。右像と左像の並びは特に限定されないが、本実施形態では、撮像部２１１上において、右像が右側に結像され、左像が左側に結像されるとする。そして、通常の一眼レンズの場合と同様に、結像された画像（右像と左像を含む画像）全体を１８０度回転すると、右像と左像それぞれを実際の見えに合わせることはできるが、右像と左像の位置が入れ替わってしまう。つまり、左右の位置関係が反転して、右像が左側に配置され、左像が右側に配置された画像が撮像されることになる。左右入れ替えを行うことで、右像と左像の位置を２つの光学系（右眼光学系３０１Ｒと左眼光学系３０１Ｌ）と対応するように表示することができる。なお、上述した図６の動作では、左右入れ替えされていないライブビュー画像（右像が左側に配置され、左像が右側に配置されたライブビュー画像）が、カメラ１００の表示部１０８に表示される。

ステップＳ９１０では、制御部５０１は、ステップＳ９０８で取得したレンズ情報に基づいて、ステップＳ９０８で取得したライブビュー画像における右像と左像の位置を入れ替えて、処理ライブビュー画像を生成する（左右入れ替え）。制御部５０１は、ライブビュー画像と共に受信したレンズ情報に含まれる中心座標（左眼光学系３０１Ｌと右眼光学系３０１Ｒそれぞれの光軸中心）に基づいて、ライブビュー画像における右像と左像の位置を入れ替えて、処理ライブビュー画像を生成する。例えば、制御部５０１は、右像の中心座標（右眼光学系３０１Ｒの光軸中心）に基づいて、ライブビュー画像における右像の領域を特定し、左像の中心座標（左眼光学系３０１Ｌの光軸中心）に基づいて、ライブビュー画像における左像の領域を特定する。そして、制御部５０１は、特定した２つの領域の位置を入れ替える。本実施形態では、ライブビュー画像において右像と左像が左右に並べて配置されており、左右入れ替えにより、右像と左像の左右の位置関係が反転する。右像と左像の領域をより高精度に特定するために、２眼レンズの情報から、右像と左像それぞれの径（直径または半径）を取得して使用もよい。

なお、左右入れ替えの方法は上記方法に限られない。例えば、２眼レンズの情報から、図１０（ａ）のずれ量１００５，１００６，１００９，１０１０を取得し、右像と左像の位置を入れ替える際に、取得したずれ量が維持されるように右像と左像を配置し、余った領域を黒などで埋めてもよい。ずれ量１００５はライブビュー画像の左端から右像の左端までの距離であり、ずれ量１００６はライブビュー画像の中心から右像の右端までの距離である。左右入れ替えの際には、ずれ量１００５はライブビュー画像の左端から左像の左端までの距離となり、ずれ量１００６はライブビュー画像の中心から左像の右端までの距離となるようにする。同様に、ずれ量１００９はライブビュー画像の右端から左像の右端までの距離であり、ずれ量１０１０はライブビュー画像の中心から左像の左端までの距離である。左右入れ替えの際には、ずれ量１００９はライブビュー画像の右端から右像の右端までの距離となり、ずれ量１０１０はライブビュー画像の中心から右像の左端までの距離となるようにする。

ステップＳ９１１では、制御部５０１は、ステップＳ９１０で生成した処理ライブビュー画像を、表示部５０６に表示する。

ステップＳ９１２では、制御部５０１は、ステップＳ９０８で取得したライブビュー画像を、表示部５０６に表示する。

ステップＳ９１３では、制御部５０１は、ステップＳ９０８で取得したレンズ情報（マジックウィンドウの情報）に基づいて、マジックウィンドウ（枠）を生成する。本実施形態では、右画像に重畳するマジックウィンドウの情報に基づいて、右画像に重畳するマジックウィンドウを生成し、左画像に重畳するマジックウィンドウの情報に基づいて、左画像に重畳するマジックウィンドウを生成する。マジックウィンドウの生成方法の詳細は、図１２（ａ），（ｂ）を用いて後述する。

ステップＳ９１４では、制御部５０１は、ステップＳ９１３で生成したマジックウィンドウを、表示部５０６に表示する。なお、ユーザからの指示に応じてライブビュー画像の一部を拡大して表示する場合には、マジックウィンドの生成や表示を行わないことが好ましい。例えば、ライブビュー画像の拡大表示は、ライブビュー画像の一部を詳細に確認したいために行われることが多い。そして、マジックウィンドウは、ライブビュー画像の詳細な確認を邪魔する虞がある。そのため、ライブビュー画像の拡大表示時には、マジックウィンドウを非表示にすることが好ましい。ライブビュー画像の拡大表示時にマジックウィンドウを表示してもよいが、その場合には、マジックウィンドウが再生表示時に表示される画角を示すよう、ライブビュー画像の拡大に合わせてマジックウィンドウを拡大する必要がある。

ステップＳ９１５では、制御部５０１は、ＰＣライブビューを終了するか否かを判定する。例えば、カメラ１００とＰＣ５００の接続が解除されたり、ユーザがカメラ１００またはＰＣ５００に対してＰＣライブビューの終了を指示した場合に、ＰＣライブビューを終了すると判定する。ＰＣライブビューの終了指示は、例えば、図１３（ａ）～（ｄ）の終了ボタン１３０９の押下である。ＰＣライブビューを終了すると判定した場合は図９の動作を終了し、そうでない場合はステップＳ９０６へ進む。こうすることで、表示部５０６での表示（ライブビュー表示）を、左右入れ替え有りの円周魚眼表示、左右入れ替え無しの円周魚眼表示、左右入れ替え有り正距円筒表示（後述）、および左右入れ替え無し正距円筒表示（後述）の間で切り替えることができる。

上述したように、正距円筒表示を行う場合は、ステップＳ９０６からステップＳ９１６へ進む。ステップＳ９１６では、制御部５０１は、ステップＳ９０１で接続されたカメラ
にライブビュー画像要求を送信する。本実施形態では、ステップＳ９１６のライブビュー画像要求は、低解像度（通常解像度よりも低い解像度）のライブビュー画像の要求であるとする。正距円筒表示を行う場合には、正距円筒変換（円周魚眼画像から正距円筒画像への変換）が必要となり、正距円筒変換を施す画像の解像度が高いほど、正距円筒変換に要する時間が増し、正距円筒変換による遅延が増す。本実施形態では、正距円筒変換の高速化（正距円筒変換に要する時間の短縮）のために、低解像度のライブビュー画像を要求する。なお、正距円筒変換による遅延が許容範囲内であれば、正距円筒表示を行う場合にも、通常解像度のライブビュー画像を要求してよい。

ステップＳ９１７では、制御部５０１は、ステップＳ９０１で接続されたカメラから、当該カメラが撮像したライブビュー画像と、当該カメラに装着されている２眼レンズのレンズ情報とを受信する。ステップＳ９１７で受信するライブビュー画像の解像度は、低解像度である。ステップＳ９１７で受信するレンズ情報は、受信するライブビュー画像に合うように変換された情報（例えば、図８のステップＳ８０８で変換されたレンズ情報）である。

ステップＳ９１８では、制御部５０１は、左右入れ替えを行うか否かを判定する。左右入れ替えを行うと判定した場合はステップＳ９１９へ進み、そうでない場合はステップＳ９２１へ進む。ステップＳ９１８では、例えば、図１３（ｂ），（ｄ）のチェックボックス１３０８がチェックされているか否かに基づいて、左右入れ替えを行うか否かを判定する。チェックボックス１３０８がチェックされている場合は、左右入れ替えを行うと判定し、ステップＳ９１９へ進む。チェックボックス１３０８がチェックされていない場合は、ステップＳ９２１へ進む。

ステップＳ９１９では、制御部５０１は、ステップＳ９１７で取得したレンズ情報に基づいて、ステップＳ９１７で取得したライブビュー画像における右像と左像の位置を入れ替えるとともに、右像と左像それぞれを正距円筒画像に変換する。つまり、制御部５０１は、左右入れ替えを行うとともに正距円筒変換を行って、処理ライブビュー画像を生成する。

制御部５０１は、ライブビュー画像と共に受信したレンズ情報に含まれる中心座標（左眼光学系３０１Ｌと右眼光学系３０１Ｒそれぞれの光軸中心）に基づいて、正距円筒変換のためのマップを生成する。例えば、制御部５０１は、ステップＳ９１０で説明した方法と同様の方法で、ライブビュー画像における右像と左像それぞれの領域を特定し、特定した２つの領域に基づいてマップを生成する。正距円筒変換は、地図の正距円筒図法のように、円周魚眼画像を球体と見立てて、緯線（横線）と経線（縦線）が直角に交差するように変換する変換処理である。正距円筒変換により、円形状の円周魚眼画像は、矩形状の正距円筒画像に変換される。マップは、変換後の各画素が変換前の画像内のどの位置に対応するかを示す。ここでは、円周魚眼画像を正距円筒画像に変換できるだけでなく、右像と左像の位置を補正できるように、正距円筒変換のためのマップを生成する。制御部５０１は、生成したマップを用いて正距円筒変換を行って、処理ライブビュー画像を生成する。

なお、左右入れ替えを正距円筒変換の一部としたが、左右入れ替えは正距円筒変換とは別に行ってもよい。また、制御部５０１は、ライブビュー画像と共に受信したレンズ情報に含まれる個体値に基づいて、当該レンズ情報に含まれる設計値を調整して使用してもよい。例えば、図１１（ｂ）のイメージサークル位置ずれに基づいて、イメージサークル位置（ライブビュー画像における右像と左像それぞれの中心座標）を調整する。個体値が設計値からの差分である場合には、設計値に個体値を加算する。個体値が設計値と同様の絶対値である場合には、設計値を個体値で置き換える。そして、制御部５０１は、調整後の中心座標（左眼光学系３０１Ｌと右眼光学系３０１Ｒそれぞれの光軸中心）に基づいて、
上述した方法と同様の方法で、正距円筒変換のためのマップを生成する。調整後の中心座標を用いることにより、より高精度な正距円筒変換が可能になる。

ステップＳ９２０では、制御部５０１は、ステップＳ９１９で生成した処理ライブビュー画像を、表示部５０６に表示する。

ステップＳ９２１では、制御部５０１は、ステップＳ９１７で取得したライブビュー画像における右像と左像の位置を入れ替えずに、右像と左像それぞれを正距円筒画像に変換する。つまり、制御部５０１は、左右入れ替えを行わずに正距円筒変換を行って、処理ライブビュー画像を生成する。

ステップＳ９２２では、制御部５０１は、ステップＳ９２１で生成した処理ライブビュー画像を、表示部５０６に表示する。

ステップＳ９２３では、制御部５０１は、ステップＳ９１７にて取得したレンズ情報（マジックウィンドウの情報）に基づいて、マジックウィンドウ（枠）を生成する。本実施形態では、右画像に重畳するマジックウィンドウの情報に基づいて、右画像に重畳するマジックウィンドウを生成し、左画像に重畳するマジックウィンドウの情報に基づいて、左画像に重畳するマジックウィンドウを生成する。マジックウィンドウの生成方法の詳細は、図１２（ａ），（ｂ）を用いて後述する。

ステップＳ９２４では、制御部５０１は、ステップＳ９２３で生成したマジックウィンドウを、表示部５０６に表示する。なお、上述したように、ユーザからの指示に応じてライブビュー画像の一部を拡大して表示する場合には、マジックウィンドの生成や表示を行わないことが好ましい。

カメラ１００が２眼レンズに対応可能でない場合、もしくは、カメラ１００に１眼レンズが装着されている場合にはステップＳ９２５の処理が行われる。図９の動作では、１眼レンズとして、通常の１眼レンズ（ＶＲレンズでない１眼レンズ）を想定している。ステップＳ９２５では、制御部５０１は、１眼レンズで撮像されたライブビュー画像を、表示部５０６に表示する。ステップＳ９２５の処理は、１眼レンズで撮像したライブビュー画像をＰＣなどが表示する従来の処理と同様であるため、詳細な説明は省略する。

ステップＳ９１０、ステップＳ９１９、ステップＳ９２１のそれぞれでは、制御部５０１は、接続されたカメラから取得したライブビュー画像に対して画像処理を施す。ステップＳ９１０、ステップＳ９１９、ステップＳ９２１よりも後のステップＳ９１５では、制御部５０１は、ＰＣライブビューを終了するか否かを判定する。そして、ＰＣライブビューを継続する場合には、ステップＳ９１０、ステップＳ９１９、ステップＳ９２１よりも前のステップＳ９０６に処理が戻される。そのため、図９の動作では、ステップＳ９１０、ステップＳ９１９、ステップＳ９２１のいずれかの画像処理が繰り返し実行される可能性がある。

そこで、制御部５０１は、画像処理の高速化のために、実行した画像処理に関連する情報をＲＡＭ５０３に記録して、次回以降の画像処理の際に利用してもよい。例えば、制御部５０１は、画像処理前の画素と画像処理後の画素との対応関係（画像処理マップ）を記録する。画像処理マップは、ライブビュー画像の解像度やレンズ情報に変化が無ければ、使用し続けることができる。制御部５０１は、ステップＳ９１０、ステップＳ９１９、ステップＳ９２１のいずれかの画像処理を実行した際に、当該画像処理の画像処理マップを記録する。そして、制御部５０１は、同じ画像処理を再び実行する際に、記録した画像処理マップを使って画像処理を実行する。こうすることで、画像処理を高速化することがで
きる。

なお、図８，９の動作は、２眼のＶＲレンズ、または通常の１眼レンズ（ＶＲレンズでない１眼レンズ）がカメラに装着されることを想定した動作であるが、他の場合を想定して適宜変更してもよい。例えば、１眼のＶＲレンズが装着された場合にもライブビュー画像にマジックウィンドウを重畳するように、図８，９の動作を変更してもよい。ライブビュー画像として３６０°画像（全方位画像；全天球画像）を表示する場合にもライブビュー画像にマジックウィンドウを重畳するように、図８，９の動作を変更してもよい。ＶＲレンズでない２眼レンズが装着された場合にはライブビュー画像にマジックウィンドウを重畳しないように、図８，９の動作を変更してもよい。

図１０（ａ），（ｂ）は、左右入れ替えの模式図である。図１０（ａ）は、２眼レンズの情報を利用しない、従来の左右入れ替えを示す。図１０（ｂ）は、２眼レンズの情報を利用した、本実施形態の左右入れ替えを示す。

図１０（ａ），（ｂ）に示すように、左右入れ替え前の画像１００１では、円周魚眼画像である右像１００３が左側に配置されており、円周魚眼画像である左像１００７が右側に配置されている。左右方向における右像の中心座標は座標１００４であり、中左右方向における左像の中心座標は座標１００８である。

図１０（ａ）では、画像１００１の中心座標１００２で画像１００１を左半分の画像と右半分の画像とに分割して、左半分の画像と右半分の画像とを入れ替える。換言すれば、左半分の画像を右半分の画像の右側に移動する。画像１０１１は、このような左右入れ替え後の画像である。

図１０（ａ）では、ずれ量１００６はずれ量１００５よりも小さい。つまり、画像１００１において、右像１００３は画像１００１の左半分の中心から画像１００１の中心に寄っている。同様に、ずれ量１０１０はずれ量１００９よりも小さい。つまり、画像１００１において、左像１００７は画像１００１の右半分の中心から画像１００１の中心に寄っている。そのため、画像１０１１では、左右方向における左像１００７の中心座標１０１３が中心座標１００４から距離１０１４もずれ、左右方向における右像１００３の中心座標１０１６が中心座標１００８から距離１０１７もずれてしまう。

本実施形態では、レンズ情報を用いることにより、左右入れ替え後の画像１０３７（図１０（ｂ））において、左右方向における左像の中心座標を中心座標１００４に一致させ、左右方向における左像の中心座標を中心座標１００８に一致させることができる。

図１１（ａ）は、２眼レンズから取得してＰＣに送信するレンズ情報の一例を示す模式図である。レンズ情報は、
１．レンズ設計値
２．レンズ個体値
３．レンズフラグ
４．レンズ焦点距離
５．レンズ温度
６．マジックウィンドウ情報
などを含む。

レンズ設計値は、収差補正を行うための設計値である。２眼レンズの製造過程では、２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）それぞれで、レンズの偏芯や傾きなどの誤差が発生する。誤差を考慮せずに左右入れ替えや正距円筒変換などを行うと、
２眼ＶＲ表示の品位が低下し、良好な立体視が困難となる。レンズ個体値は、２眼レンズの製造過程で検出した誤差の測定結果などである。レンズ設計値とレンズ個体値の詳細については、図１１（ｂ）を用いて後述する。

レンズフラグは、２眼レンズであることを示すフラグであり、２眼レンズが使用されたか否かを判定するために使用できる。レンズ焦点距離は、レンズの中心である「主点」から撮像素子（結像位置）までの距離である。レンズ焦点距離は、２眼レンズの２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）で共通のパラメータであってもよいし、そうでなくてもよい。左右入れ替えや正距円筒変換などを高精度に行って高品位な２眼ＶＲ表示を行うためには、詳細（高精度）なレンズ焦点距離が必要となる。レンズ温度は、２眼レンズの温度であり、撮像時の環境温度などを把握するために使用される。マジックウィンドウ情報は、マジックウィンドウの領域に関する情報であり、本実施形態ではマジックウィンドウを生成するために使用される。マジックウィンドウ情報は、２眼レンズの２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）のそれぞれついて用意される。なお、マジックウィンドウ情報はカメラ１００内に予め用意されたり、カメラ１００内で生成されたりしてもよい。マジックウィンドウ情報はＰＣ５００内に予め用意されたり、ＰＣ５００内で生成されたりしてもよい。

図１１（ｂ）は、レンズ設計値とレンズ個体値の詳細を示す模式図である。本実施形態では、レンズ設計値とレンズ個体値は、左右入れ替えや正距円筒変換に用いられる。

レンズ設計値は、
１．イメージサークル位置
２．イメージサークル直径
３．画角
４．歪曲補正係数
などを含む。

イメージサークル位置は、撮像される画像における光学系の光軸中心座標であり、２眼レンズの２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）のそれぞれついて用意される。つまり、イメージサークル位置は、撮像素子上に結像する像円（円周魚眼画像）の中心座標であり、右像と左像のそれぞれについて用意される。座標の原点は、例えば、撮像素子の中心（撮像される画像の中心）である。イメージサークル位置は、水平方向の座標と垂直方向の座標とを含む。なお、撮像される画像における光学系の光軸中心に関する様々な情報を、イメージサークル位置として使用することができる。例えば、画像における所定の位置（中心や左上隅など）から光軸中心までの距離などを使用することができる。

イメージサークル直径は、撮像素子上に結像する像円（円周魚眼画像）の直径である。画角は、撮像素子上に結像する像円（円周魚眼画像）の画角である。歪曲補正係数は、レンズの理想像高に対する設計像高の比である。像高ごとに歪曲補正係数を設定し、歪曲補正係数が設定されていない像高については、複数の歪曲補正係数を用いた補間演算により歪曲補正係数を算出してもよい。像高と歪曲補正係数の関係を近似した多項式を設定してもよい。イメージサークル直径、画角、および歪曲補正係数は、２眼レンズの２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）で共通のパラメータであってもよいし、そうでなくてもよい。

なお、マジックウィンドウは、イメージサークル位置、イメージサークル直径、および画角に基づいて表示されてもよい。この方法でも、マジックウィンドウを高品位に表示することができる。マジックウィンドウを適切に表示するために、ＰＣ５００は、イメージ
サークル位置、イメージサークル直径、および画角を適宜編集して使用する。例えば、ＰＣ５００は、イメージサークル位置やイメージサークル直径に係数を乗算する。

レンズ個体値は、
５．イメージサークル位置ずれ
６．光軸傾き
７．像倍率ずれ
などを含む。これらの情報は、２眼レンズの２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）のそれぞれついて測定を行って用意される。

イメージサークル位置ずれは、撮像素子上に結像する像円（円周魚眼画像）の中心座標の、設計値からのずれである。例えば、イメージサークル位置ずれは、水平方向のずれと、垂直方向のずれとを含む。設計値の座標（水平方向の座標と垂直方向の座標とを含む２次元座標）を原点として、水平方向の座標により水平方向のずれが示され、垂直方向の座標により垂直方向のずれが示される。光軸傾きは、被写体側の光軸の向きの、設計値からのずれである。例えば、光軸傾きは、水平方向のずれと垂直方向のずれとを含む。各方向のずれは角度で示される。像倍率ずれは撮像素子上に結像する像円（円周魚眼画像）の大きさの、設計値からのずれである。このずれは、例えば、設計値に対する比率で示される。

なお、レンズ情報に含まれる情報は、上述した情報に限られない。例えば、レンズ情報は、ライブビュー画像における右像と左像それぞれの境界位置（円周魚眼画像の縁の位置；ずれ量１００５，１００６，１００９，１０１０等で示された位置）を含んでもよい。レンズ情報は、ライブビュー画像における右像と左像の間の中点座標を含んでもよい。多くの場合、中点座標はライブビュー画像の中心座標と一致する。レンズ情報は、左右入れ替えや正距円筒変換などの精度を上げるための補正データ（例えば、２眼レンズのキャリブレーションにより得られた補正値）を含んでもよい。

図１１（ｃ）は、カメラ内で生成されるカメラ情報の一例を示す模式図である。例えば、カメラ情報は、高品位なＶＲ表示を行うために使用される。カメラ情報は、
１．カメラ記録領域情報
２．カメラ内加速度計情報
３．右露出補正情報
などを含む。

カメラ記録領域情報は有効画像領域の情報である。カメラのセンサーや記録モードに依って、表示可能な有効画像領域は異なる。ＰＣ５００は、より正確な表示を行うためにカメラ記録領域情報を使用する。カメラ内加速度計情報は、カメラ内の加速度センサ（水準器）を用いて得られた姿勢情報であり、ロール方向やピッチ方向などにおけるカメラの姿勢を表す。ＰＣ５００は、撮影時におけるカメラの姿勢を把握するために、カメラ内加速度計情報を使用する。ＰＣ５００は、把握した姿勢に基づいて、電子防振や水平補正（表示の上下方向を実空間の上下方向に近づける天頂補正）などを行う。右露出補正情報は、右像の露出を左像の露出に近づける露出設定値である。ＰＣ５００は、違和感の無い（違和感の低減された）２眼ＶＲ表示を行うために、右露出補正情報を使用する。

図１２（ａ），（ｂ）は、マジックウィンドウの生成方法の一例を示す。図１２（ａ）は、円筒魚眼表示を行う場合の処理、つまり図９のステップＳ９１３の処理を示し、図１２（ｂ）は、正距円筒表示を行う場合の処理、つまり図９のステップＳ９２３の処理を示す。以下では、左側に表示するマジックウィンドウの生成方法について説明する。同様の方法で、右側に表示するマジックウィンドウも生成される。

ここでは、マジックウィンドウ情報として、マジックウィンドウに外接する矩形１２０１の位置１２０２（例えば左上隅の座標）、幅１２０３、および高さ１２０４が取得されるとする。ＰＣ５００の制御部５０１は、位置１２０２、幅１２０３、および高さ１２０４から、矩形１２０１を把握する。

図１２（ａ）を用いて、円周魚眼表示を行う場合の処理（ステップＳ９１３）について説明する。ＲＯＭ５０２またはＲＡＭ５０３は枠画像１２１１（点群）を予め記憶している。制御部５０１は、枠画像１２１１が矩形１２０１に内接するように、枠画像１２１１を拡大または縮小することにより、マジックウィンドウ１２１２を生成する（枠画像１２１１がマジックウィンドウ１２１２となる）。なお、マジックウィンドウ情報は、図形を表す関数などであってもよい。同様に、枠画像１２１１の代わりに、図形を表す関数などが使用されてもよい。

図１２（ｂ）を用いて、正距円筒表示を行う場合の処理（ステップＳ９２３）について説明する。制御部５０１は、円周魚眼画像を正距円筒画像に変換したのと同様に、枠画像１２１１に対しても正距円筒変換を適用することにより、枠画像１２２１を得る。そして、制御部５０１は、枠画像１２２１が矩形１２０１に内接するように、枠画像１２２１を拡大または縮小することにより、マジックウィンドウ１２２２を生成する。なお、矩形１２０１にも正距円筒変換を適用し、正距円筒変換後の矩形に枠画像１２２１を内接させてもよい。

図１３（ａ）～（ｄ）は、制御部５０１が表示部５０６に表示するアプリケーション画面における表示（ＰＣライブビューの表示）の一例を示す模式図である。画面１３００は、アプリケーション画面（リモートライブビュー画面）である。画面１３００は、ライブビュー表示領域１３０１、ガイド表示領域１３０２、ガイド表示領域１３０３、操作領域１３０５、終了ボタン１３０９を含む。

ライブビュー表示領域１３０１は、ライブビュー画像を表示する領域である。ライブビュー表示領域１３０１は、左側の表示領域１３０１Ａと、右側の表示領域１３０１Ｂとから成る。ガイド表示領域１３０２は、左側の表示領域１３０１Ａに表示される画像が２眼レンズの２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）のどちらの画像であるかの文字列を表示する領域である。ガイド表示領域１３０３は、右側の表示領域１３０１Ｂに表示される画像が２眼レンズの２つの光学系（左眼光学系３０１Ｌと右眼光学系３０１Ｒ）のどちらの画像であるかの文字列を表示する領域である。操作領域１３０５は、ＰＣライブビューに関する操作を受け付けるための領域であり、操作領域１３０５には、ラジオボタン１３０６，１３０７とチェックボックス１３０８が表示される。ラジオボタン１３０６は、円周魚眼表示を行う際に選択されるラジオボタンであり、ラジオボタン１３０７は、正距円筒表示を行う際に選択されるラジオボタンである。ラジオボタン１３０６が選択状態の場合、ラジオボタン１３０７は非選択状態となり、ラジオボタン１３０６が非選択状態の場合、ラジオボタン１３０７は選択状態となる。チェックボックス１３０８は、左右入れ替えを行う際にチェックされるチェックボックスである。チェックボックス１３０８が操作されると、ライブビュー画像における右像（右眼映像）と左像（左眼映像）との位置が入れ替わり、ガイド表示領域１３０２，１３０３に表示する文字列も入れ替わる。終了ボタン１３０９は、ＰＣライブビューを終了するためのボタンである。

図１３（ａ）では、円周魚眼表示を行うためのラジオボタン１３０６が選択されている。左右入れ替えを行うチェックボックス１３０８はチェックされていない。そのため、カメラから取得したライブビュー画像が、ライブビュー表示領域１３０１にそのまま表示される。具体的には、左側の表示領域１３０１Ａに、円周魚眼画像である右眼映像が表示さ
れ、右側の表示領域１３０１Ｂに、円周魚眼画像である左眼映像が表示される。さらに、左側の表示領域１３０１Ａに表示された右眼映像にマジックウィンドウ１３０４Ａが重畳され、右側の表示領域１３０１Ｂに表示された左眼映像にマジックウィンドウ１３０４Ｂが重畳される。右眼映像に重畳されるマジックウィンドウ１３０４Ａは、右眼光学系３０１Ｒの画角のうち、再生表示時（２眼ＶＲ表示時）に表示される部分を示す。左眼映像に重畳されるマジックウィンドウ１３０４Ｂは、左眼光学系３０１Ｌの画角のうち、再生表示時（２眼ＶＲ表示時）に表示される部分を示す。

図１３（ｂ）では、正距円筒表示を行うためのラジオボタン１３０７が選択されている。左右入れ替えを行うチェックボックス１３０８はチェックされていない。そのため、カメラから取得したライブビュー画像における右眼映像と左眼映像（いずれかも円周魚眼画像）それぞれが正距円筒画像に変換される（左右入れ替えは行われない）。そして、正距円筒変換後のライブビュー画像がライブビュー表示領域１３０１に表示される。具体的には、左側の表示領域１３０１Ａに、正距円筒画像である右眼映像が表示され、右側の表示領域１３０１Ｂに、正距円筒画像である左眼映像が表示される。さらに、左側の表示領域１３０１Ａに表示された右眼映像にマジックウィンドウ１３０４Ｃが重畳され、右側の表示領域１３０１Ｂに表示された左眼映像にマジックウィンドウ１３０４Ｄが重畳される。右眼映像に重畳されるマジックウィンドウ１３０４Ｃは、図１３（ａ）で説明したマジックウィンドウ１３０４Ａを正距円筒変換したものであり、マジックウィンドウ１３０４Ａとは形状が異なる。左眼映像に重畳されるマジックウィンドウ１３０４Ｃは、図１３（ａ）で説明したマジックウィンドウ１３０４Ｂを正距円筒変換したしたものであり、マジックウィンドウ１３０４Ｂとは形状が異なる。

図１３（ｃ）では、円周魚眼表示を行うためのラジオボタン１３０６が選択されており、左右入れ替えを行うチェックボックス１３０８がチェックされている。そのため、カメラから取得したライブビュー画像における右眼映像と左眼映像の位置が入れ替えられる。そして、左右入れ替え後のライブビュー画像がライブビュー表示領域１３０１に表示される。具体的には、左側の表示領域１３０１Ａに、円周魚眼画像である左眼映像が表示され、右側の表示領域１３０１Ｂに、円周魚眼画像である右眼映像が表示される。さらに、図１３（ａ）で説明したマジックウィンドウ１３０４Ａ，１３０４Ｂが表示される。但し、右眼映像および左眼映像の位置の入れ替わりに応じて、マジックウィンドウ１３０４Ａ，１３０４Ｂの位置も入れ替わる。

図１３（ｄ）では、正距円筒表示を行うためのラジオボタン１３０７が選択されており、左右入れ替えを行うチェックボックス１３０８がチェックされている。そのため、カメラから取得したライブビュー画像における右眼映像と左眼映像の位置が入れ替えられるとともに、右眼映像と左眼映像（いずれかも円周魚眼画像）それぞれが正距円筒画像に変換される。そして、左右入れ替えと正距円筒変換を行った後のライブビュー画像が、ライブビュー表示領域１３０１に表示される。具体的には、左側の表示領域１３０１Ａに、正距円筒画像である左眼映像が表示され、右側の表示領域１３０１Ｂに、正距円筒画像である右眼映像が表示される。さらに、図１３（ｂ）で説明したマジックウィンドウ１３０４Ｃ，１３０４Ｄが表示される。但し、右眼映像および左眼映像の位置の入れ替わりに応じて、マジックウィンドウ１３０４Ｃ，１３０４Ｄの位置も入れ替わる。

なお、システム制御部５０が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。同様に、制御部５０１が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、本発明は、カメラやＰＣに限られず、ＶＲ画像を扱うことのできる電子機器であれば適用可能である。例えば、本発明は、ＰＤＡ、携帯電話端末や携帯型の画像ビューワ、プリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。また、本発明は、映像プレーヤー、表示装置（投影装置を含む）、タブレット端末、スマートフォン、ＡＩスピーカー、家電装置や車載装置などに適用可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ（カメラ） ５０：システム制御部
５００：パーソナルコンピュータ（ＰＣ） ５０１：制御部

Claims (17)

1. 第１の光学系を介して入力された第１の光学像に対応する第１のライブビュー画像を取得する取得手段と、
   前記第１のライブビュー画像を表示する際に、前記第１の光学系の画角のうち、再生表示時に表示される部分を示すインジケータを、前記第１のライブビュー画像に重畳して表示するように制御する制御手段と
   を有することを特徴とする電子機器。
2. 前記取得手段は、前記第１のライブビュー画像と、前記第１の光学系に対して所定の視差を有する第２の光学系を介して入力された第２の光学像に対応する第２のライブビュー画像とを取得し、
   前記制御手段は、前記第１のライブビュー画像と前記第２のライブビュー画像とを並べて表示する際に、前記インジケータを表示するように制御する
   ことを特徴とする請求項１に記載の電子機器。
3. 前記制御手段は、前記第１の光学系の画角のうち、前記再生表示時に表示される前記部分を示す前記インジケータを、前記第１のライブビュー画像に重畳して表示し、前記第２の光学系の画角のうち、前記再生表示時に表示される部分を示すインジケータを、前記第２のライブビュー画像に重畳して表示するように制御する
   ことを特徴とする請求項２に記載の電子機器。
4. 前記制御手段は、撮影待機中または撮影中に前記インジケータを表示するように制御する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
5. 前記制御手段は、特定の表示モードで前記インジケータを表示するように制御し、前記特定の表示モードとは異なる表示モードでは前記インジケータを表示するようには制御しない
   ことを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。
6. 前記インジケータが示す前記部分は、前記再生表示時に最初に表示される部分である
   ことを特徴とする請求項１乃至５のいずれか１項に記載の電子機器。
7. 前記第１の光学系は魚眼レンズであり、
   前記第１のライブビュー画像は円周魚眼画像である
   ことを特徴とする請求項１乃至６のいずれか１項に記載の電子機器。
8. 前記制御手段は、前記第１のライブビュー画像を、前記円周魚眼画像のまま、または正距円筒画像への変換処理を行って表示するように制御する
   ことを特徴とする請求項７に記載の電子機器。
9. 前記取得手段は、前記第１のライブビュー画像を前記正距円筒画像への変換処理を行って表示する場合に、前記第１のライブビュー画像を前記円周魚眼画像のまま表示する場合よりも低解像度の画像を、前記第１のライブビュー画像として取得する
   ことを特徴とする請求項８に記載の電子機器。
10. 前記制御手段は、前記第１のライブビュー画像を前記正距円筒画像への変換処理を行って表示する際に、前記インジケータも前記変換処理を行って表示するように制御する
    ことを特徴とする請求項８または９に記載の電子機器。
11. 前記取得手段は、前記第１の光学系に関する情報をさらに取得し、
    前記制御手段は、前記情報に基づいて所定の画像を拡大または縮小して前記インジケータを生成するように制御する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の電子機器。
12. 前記制御手段は、前記第１のライブビュー画像を拡大して表示する場合には、前記インジケータを表示するようには制御しない
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の電子機器。
13. 前記電子機器は、前記第１のライブビュー画像を撮像する撮像装置である
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の電子機器。
14. 前記電子機器は、前記第１のライブビュー画像を撮像する撮像装置に接続可能な情報処理装置である
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の電子機器。
15. 第１の光学系を介して入力された第１の光学像に対応する第１のライブビュー画像を取得するステップと、
    前記第１のライブビュー画像を表示する際に、前記第１の光学系の画角のうち、再生表示時に表示される部分を示すインジケータを、前記第１のライブビュー画像に重畳して表示するように制御するステップと
    を有することを特徴とする電子機器の制御方法。
16. コンピュータを、請求項１乃至１４のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
17. コンピュータを、請求項１乃至１４のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images