JP2013121050A - 画像撮影方法および画像撮影装置、プログラム - Google Patents

Abstract

【課題】多眼カメラに電子ファインダ方式を採用した場合において、プリズム式のようなフォーカス調整機能を実現することを目的とする。
【解決手段】多眼方式の撮像装置であって、複数の撮像部と、撮影範囲をリアルタイムに表示するライブビュー表示を行う画像表示部とを備えた多眼方式の撮像装置であって、前記ライブビュー表示におけるフォーカスエリアの位置を決定するフォーカスエリア決定手段と、前記複数の撮像部のうちの所定の撮像部で撮影された視差のある画像を用いてプリズムタイプ画像を生成し、当該生成されたプリズムタイプ画像を前記フォーカスエリア決定手段で決定された位置に配置したライブビュー画像を生成するライブビュー画像生成手段とを備えることを特徴とする。
【選択図】図４

Description

本発明は、フォーカシング操作の操作性を向上させるための画像撮影方法、および画像撮影装置、プログラムに関するものである。

ファインダは、カメラにおいて構図を決めたりピントを合わせたりするために使用するパーツである。一眼レフカメラでは、撮影用の光学系を通した像をフォーカシングスクリーン上に結像させ、その像を確認する（レフレックスファインダ）。レフレックスファインダを使用することで、実際に撮影する像を確認しながらフォーカシング（ピント調整）操作を行うことができる。

フォーカシングスクリーンには、マット式、プリズム式などがある。マット式は、スリガラスのような拡散板を用いて、ファインダ像中のピントを合わせたい領域が先鋭になるようにしてフォーカシングする方式である。プリズム式は、フォーカシングスクリーンの一部にプリズムを形成することで、フォーカスが合っていない場合には像が分割されるようにする方式である。プリズム式スクリーンとして、スクリーン上に２つの楔形プリズムを上下配置するスプリットプリズムや、小さいプリズムを多数並べて配置するマイクロプリズムが知られている。

マット式は像の先鋭度に基づいて合焦を判断するため、最も先鋭度が高くなる位置を探してフォーカシング操作を繰り返す必要がある。また、ファインダ像の大きさや撮影者の視力が合焦精度に大きく影響する。しかしながら、ファインダ像中のどの領域でもフォーカシング可能であるという利点がある。一方、プリズム式は、像のズレをピントのズレとして提示するためマット式に比べてより迷いの少ない正確なフォーカシングが可能である。しかしながら、ファインダスクリーン上にプリズムを形成することから、フォーカシング可能な領域が限定されてしまうという問題がある。例えば、大抵の場合はファインダ像の中心付近にプリズムを形成するため、その領域でしかフォーカシングできない。そのため、特に一眼レフカメラでは、マット式スクリーンが主流となった。

デジタルカメラでは、撮影する像そのものをカメラ本体に備えられた液晶モニタに表示する電子ファインダ方式が主流である。したがって、基本的にはマット式と同様のファインダ像を得ることができる。しかしながら、ファインダ像を表示する液晶モニタの解像度が低い、あるいは屋外での液晶ファインダの視認性が低い、などの問題から、より分かりやすく合焦範囲を提示する方式が数多く発明されている。例えば、特許文献１では、ピントを合わせたい領域を拡大表示する方法について述べられている。また、特許文献２では、合焦度を表示する方法が提案されている。

特開２０１０−０５１０３７号公報 特開２００２−３４１２３６号公報

近年、光学系に新たな光学素子を追加することで多視点からの画像を取得し、後で画像処理によってピント位置を調節すること（リフォーカス）が可能なライトフィールドフォトグラフィという技術が発展している。ライトフィールドを取得するための撮像技術としてはメインレンズの後ろにマイクロレンズアレイを置いたPlenoptic Cameraや、小型のカメラを並べたカメラアレイが知られている。このような多視点画像を撮影するための多眼カメラのファインダ方式として電子ファインダ方式を採用した場合において、迅速かつ正確なフォーカシングの確保は、上記特許文献１や特許文献２のような方法では困難である。液晶モニタの解像度や撮影者の視力が合焦精度に大きく影響するという上述の問題が、根本的な問題として残ってしまうためである。

本発明は、多眼カメラに電子ファインダ方式を採用した場合において、プリズム式のようなフォーカス調整機能を実現することを目的とする。

本発明に係る撮像装置は、複数の撮像部と、撮影範囲をリアルタイムに表示するライブビュー表示を行う画像表示部とを備えた多眼方式の撮像装置であって、前記ライブビュー表示におけるフォーカスエリアの位置を決定するフォーカスエリア決定手段と、前記複数の撮像部のうちの所定の撮像部で撮影された視差のある画像を用いてプリズムタイプ画像を生成し、当該生成されたプリズムタイプ画像を前記フォーカスエリア決定手段で決定された位置に配置したライブビュー画像を生成するライブビュー画像生成手段とを備えることを特徴とする。

本発明によれば、電子ファインダ方式を採用した多眼カメラにおいて、ファインダ像中の任意の位置で、迅速かつ正確なフォーカシング操作を実現することが可能となる。

（ａ）は、実施例１に係る多視点画像を撮影する多眼方式の撮像装置の正面の概観図であり、（ｂ）は同背面の概観図である。実施例１における多視点撮影装置の外観を示す図である。 （ａ）は、実施例１に係る多眼カメラの回路構成を示すブロック図であり、（ｂ）は、実施例１に係る画像処理部の内部構成を示すブロック図である。 カメラアレイにおける、撮像部の配置の一例を示す図である。 ライブビュー画像生成処理の流れを示すフローチャートである。 （ａ）はフォーカスエリアが画面中央に配置された例であり、（ｂ）はフォーカスエリアが画面のやや左上方に配置された例を示す図である。実施例１におけるスプリットプリズムと使用撮像部の関係を表す図である。 カメラ設定メニューで表示されるスプリットプリズムイメージの分割方向の選択候補の一例を示す図である。 合成処理の内容を視覚的に表現した説明図である。 リフォーカス処理の流れを示すフローチャートである。 （ａ）は仮想絞りパラメータと重み係数の関係を示す図であり、対象撮像部とセンター撮像部の位置関係を示す図である。 ライブビュー画像生成処理の流れを示すフローチャートである。 各プリズム領域と撮像部との関連付けを説明する図である。 合成処理の内容を視覚的に表現した説明図である。 プリズムタイプ画像以外の部分の輝度を落とすことで、スプリットプリズムイメージの範囲を周囲から目立たせたライブビュー画像の一例である。 マイクロプリズムイメージを採用する場合に使用される撮像部の一例を示す図である。 プリズムタイプ画像以外の部分の先鋭度を低くすることで、スプリットプリズムイメージの範囲を周囲から目立たせたライブビュー画像の一例である。 実施例３に係るスプリットプリズムイメージの分割方向を自動決定する処理の流れを示すフローチャートである。

［実施例１］
図１は、本実施例に係る、多視点画像を撮影する多眼方式の撮像装置（以後、単に「多眼カメラ」と呼ぶ。）の概観を示す斜視図であり、図１の（ａ）は正面、図１の（ｂ）は背面の概観をそれぞれ示している。

多眼カメラ本体１００の正面には、撮像部１０１を複数配置したカメラアレイが設けられており、同時に複数の視点で捉えた画像（多視点画像）を得ることができる。多眼カメラ本体１００の上部には、撮影開始を指示するためのレリーズボタン１０６が設けられている。撮像部１０１は、撮影レンズ１０２、光学フィルタ１０３、撮像センサ１０４、周辺回路１０５で構成される。多眼カメラ本体１００の側面には、外部記録媒体（例えば、半導体メモリカード）を挿入するためのカードスロット１１３が設けられている。

多眼カメラ本体１００の背面には、画像表示部１０７、十字配置スイッチ１０８、電源ボタン１０９、メニューボタン１１０、決定ボタン１１１、キャンセルボタン１１２が設けられている。本実施形態では光学ファインダを設けていないので、フレーミング操作（ピントや構図の確認）は、画像表示部１０７を用いて行う。画像表示部１０７は、撮影範囲をリアルタイムに表示するライブビュー表示を行う他、メニューボタン１１０を押下した場合にはカメラ設定メニューを表示する。カメラ設定メニューを表示した状態でメニューボタン１１０を押下した場合には、ライブビュー表示状態に戻る。また、画像表示部１０７はタッチパネル２０９を備えており、ライブビュー表示中に撮影者が指定した位置をフォーカスエリアとして設定することもできる。

メニューボタン１１０によって表示されるカメラ設定メニューでは、まず項目を選択し、選択された項目の状態を決定ボタン１１１で変更するか、キャンセルボタン１１２で変更せずに項目の選択に戻る。カメラ設定メニューで変更できる項目には、後述するスプリットプリズムイメージの分割方向の他、各撮像部１０１が撮影時に使用する絞り値や、シャッタースピードなどを指定できる。本実施例では絞り値、シャッタースピード、撮影距離やズーム位置については、カメラアレイを構成する各撮像部１０１に対して全て同じ設定にするものとするが、個別に設定しても良いことは言うまでもない。

図２の（ａ）は、本実施例に係る多眼カメラ１００の回路構成を示すブロック図である。

ＣＰＵ２００は、撮像部１０１が出力する画像データの処理や、ＬＣＤモニタ２０８の表示制御、タッチパネル２０９からの入力データ取得、各撮像部の電源制御指示をはじめ、カメラ全体の動作を制御する。

スイッチ（ＳＷ１）２０５は、レリーズボタン１０６（図１参照）の半押し状態でオンになり、スイッチ（ＳＷ１）２０５がオンすると多眼カメラ１００は撮影準備状態になる。スイッチ（ＳＷ２）２０６は、レリーズボタン１０６が最後まで押された状態（全押し状態）でオンし、スイッチ（ＳＷ２）２０６がオンすると多眼カメラ１００は静止画撮影を開始する。撮影準備状態時に決定された露光時間が経過した後、多眼カメラは静止画撮影を終了する。

図１に示したように、撮像部１０１は、撮影レンズ１０２、光学フィルタ１０３、撮像センサ１０４と周辺回路１０５で構成される。周辺回路１０５には、撮像部制御回路２０１、画像処理回路２０２を含む。撮影部制御回路２０１は、レンズ制御やシャッター制御などを行う。例えばレンズ制御として、撮影レンズ１０２との通信および撮影距離変更時の撮影レンズ１０２の駆動制御や絞り羽の駆動制御などを行う。また、シャッター制御によって、撮像センサ１０４に対して適正な露光を行う。撮像センサ１０４で得た画像データは画像処理回路２０２によって処理され、距離推定処理や画像合成処理などを行うためのバッファメモリ２０３へ伝送される。画像処理部２０４は、バッファメモリ２０３に格納された画像データに対して各種の画像処理を行い、出力形式に応じた画像データを生成する。画像処理部２０４の詳細については後述する。

バックライト照明２０７、ＬＣＤモニタ２０８、タッチパネル２０９は、画像表示部１０７を構成している。記憶装置２１０は、例えばカードスロット１１１によってカメラ本体に着脱可能な半導体メモリカードや、外部端子（不図示）によって接続されるハードディスクドライブなどである。
図３は、カメラアレイにおける、撮像部１０１の配置の一例を示す図である。１つ１つの矩形が撮像部１０１を示しており、グレーで図示した中央の撮像部１０１を、以後はセンター撮像部と呼ぶこととする。もちろん、撮像部１０１の配置は、図３の（ａ）及び（ｂ）に示したものに限られるものではない。

なお、本実施例では、図３の（ａ）のように各撮像部を配置したカメラアレイの場合を例に以下説明するものとする。

図４は、画像処理部２０４でのライブビュー表示に使用する画像（以下、「ライブビュー画像」と呼ぶ。）を生成する処理の流れを示すフローチャートである。ライブビュー画像には、フォーカスエリアに決定された位置に、スプリットプリズム等のプリズム式を模した画像（以下、「プリズムタイプ画像」と呼ぶ。）が表示される。上述のとおり、プリズム式には、マイクロプリズムとスプリットプリズムがあるが、両者の違いは後述のプリズム領域が細かく分割されるか２分割かの違いでしかない。以下では、フォーカスエリア内に、プリズムタイプ画像としてスプリットプリズム類似の画像（以下、「スプリットプリズムイメージ」と呼ぶ。）が表示されるライブビュー画像を生成する場合を例に説明することとする。もちろん、マイクロプリズムを模した画像（以下、「マイクロプリズムイメージ」と呼ぶ。）が表示されるライブビュー画像、或いはスプリットプリズムイメージとマイクロプリズムイメージの両方を用いたライブビュー画像でライブビュー表示を行ってもよい。

図２の（ｂ）は、本実施例に係る画像処理部２０４の内部構成を示すブロック図である。

画像処理部２０４は、フォーカスエリア決定部２２０、分割方向決定部２３０、撮像部決定部２４０、ライブビュー画像生成部２５０で構成される。なお、本処理は、不図示のＲＯＭからＲＡＭに読み込まれたプログラムをＣＰＵ２００が実行することによって実現される。

ステップ４０１において、フォーカスエリア決定部２２０は、フォーカスエリアを決定する。ここで、フォーカスエリアとは、ファインダ像内（ライブビュー画像内）のどの位置をフォーカスするかを示すエリアである。タッチパネル２０９を介してユーザが指定した場合には当該指定位置を中心とする位置にフォーカスエリアを決定する。ユーザの指定がない場合には、デフォルトの位置（例えば、画面中央）にフォーカスエリアを決定する。そして、フォーカスエリアに決定された領域にスプリットプリズムイメージが表示されることになる。図５は、フォーカスエリアの位置の一例を示す図であり、図５の（ａ）は画面中央に配置された場合、図５の（ｂ）は画面のやや左上方に配置された場合をそれぞれ示している。

ステップ４０２において、分割方向決定部２３０は、スプリットプリズムイメージの分割方向を決定する。ユーザは、カメラ設定メニューにて、複数の選択候補の中から任意の方向を一つ選択できる。図６は、カメラ設定メニューで表示されるスプリットプリズムイメージの分割方向の選択候補の一例を示す図である。図６では、選択候補として（ｉ）〜（iv）の４種類のスプリットプリズムイメージの分割方向が存在し、分割方向毎に使用される撮像部が対応付けられており、それぞれ黒塗りの四角で示されている。カメラ設定メニューにおいて、ユーザが所定の方向を指定した場合には当該指定された方向をスプリットプリズムイメージの分割方向に決定する。ユーザがこの設定を省略した場合には、デフォルトの位置（例えば、水平方向）にスプリットプリズムイメージの分割方向を決定する。

ステップ４０３において、撮像部決定部２４０は、決定されたスプリットプリズムイメージの分割方向に応じて、上記所定の撮像部（図６参照）を、ライブビュー画像の生成に使用する撮影画像の撮像部として決定する。

ステップ４０４において、ライブビュー画像生成部２５０は、決定された撮像部の撮影画像を合成し、ライブビュー画像を生成する。図７は、本ステップにおける合成処理の内容を視覚的に表現した説明図である。図７の（ａ）は、スプリットプリズムイメージの分割方向として図６の（ｉ）で示す水平方向が決定された場合に生成されるライブビュー画像を示している。また、図７の（ｂ）は、スプリットプリズムイメージの分割方向として図６の（ii）で示す右斜め４５度の方向が決定された場合に生成されるライブビュー画像を示している。なお、図７の（ｂ）においては、指定されたスプリットプリズムイメージの分割方向を示すライン７１６上に黒塗りの四角で示される撮像部が存在しない。そのため、ライン７１６に隣接する２つの撮像部で撮影された画像の補間画像、具体的には、撮像部７１２と７１３で撮影された画像の補間画像、及び撮像部７１４と７１５で撮影された画像の補間画像を使用してライブビュー画像が生成されている。

＜ライブビュー画像生成処理＞
ライブビュー画像生成処理は、ライトフィールドフォトグラフィにおけるリフォーカス処理の考え方をベースにしている。そこで、リフォーカス処理についてまず説明し、その後にライブビュー画像生成処理について説明する。

リフォーカス処理
リフォーカス処理とは、多視点画像を合成し、任意の撮影距離、任意の被写界深度の画像を生成する処理である。具体的には、被写界深度を決定するための仮想絞りパラメータ、撮影距離に相当する仮想撮影距離と撮像装置情報に基づいて、各多視点画像をシフトした後に重み付け加算して出力画像を得る。図８は、リフォーカス処理の流れを示すフローチャートである。

まず、仮想絞りパラメータに基づいて各撮像部の撮影画像に対する重み係数が、ガウス関数に従って算出される（ステップ８０１）。図９の（ａ）は、仮想絞りパラメータと重み係数の関係を示している。図９の（ａ）において、ｗ_mは任意の対象撮像部Ｐ_mにおける重み係数を示し、Ｌ_mはセンター撮像部Ｐ_cから対象撮像部Ｐ_mまでの距離を示す（図９の（ｂ）参照）。被写界深度は、ガウス関数を決定する標準偏差の値が小さいほど深くなり、標準偏差の値が大きいほど浅くなることが分かる。

次に、各撮像部による撮影画像のシフト量が、仮想撮影距離に基づいて算出される（ステップ８０２）。仮想撮影距離をｄとした場合の対象画像Ｉ_mの水平方向のシフト量Δｉ（ｍ，ｄ）及び垂直方向のシフト量Δｊ（ｍ，ｄ）は、以下の式（１）で表される。

ここで、Ｗ、Ｈはそれぞれ画像の水平方向、垂直方向の画像サイズ、θ_wは撮像部の水平視野角、θ_hは撮像部の垂直視野角である。また、（ｓ_m，ｔ_m）は、図９の（ｂ）のｘｙ平面上における対象撮像部Ｐ_mの位置座標、（ｓ’，ｔ’）はｘｙ平面上におけるセンター撮像部Ｐ_cの位置座標である。

最後に、ステップ８０２で算出したシフト量に応じてずらした画像を、ステップ８０１で算出した重み係数をかけて合成する（ステップ８０３）。当該合成処理によって得られる出力画像Ｈは、次式で表される。

なお、ここでのｗ_mは、対象撮像部Ｐ_mによる撮影画像Ｉ_mに対する重み係数を意味する。

以上のような処理により、各撮像部の撮影画像を、仮想撮影距離ｄに近いほど像のずれが少なくなるように画像を重ね合わせて合成することができ、仮想撮影距離ｄにピントが合った画像を得ることができる。また、仮想絞りパラメータに応じて重み係数を決定することで、アウトフォーカス部分のぼけ量をコントロールすることができる。

ライブビュー画像生成処理
上述したリフォーカス処理と同様の考え方で撮影画像をずらすことで、プリズムタイプ画像（フォーカスエリア）を任意の位置に表示したライブビュー画像を生成することができる。リフォーカス処理では、各撮像部による撮影画像のずれ量を、ピントが合っている部分は小さくし、ピントが外れるほど大きくなるようにして画像を合成した。同様に、指定された撮影距離に応じて各撮像部による撮影画像をずらして表示することで、仮想的にスプリットプリズムを実現したスプリットプリズムイメージを生成することができる。

図１０は、ライブビュー画像生成処理の流れを示すフローチャートである。

まず、各プリズム領域に、図４のフローチャートのステップ４０３で決定された撮像部がそれぞれ関連付けられる（ステップ１００１）。ここで、プリズム領域とは、フォーカスエリアとして決定された位置に表示されるプリズムタイプ画像の構成要素である。例えば、スプリットプリズムイメージの場合は、２つに分割された領域のそれぞれの領域を指す（以下、一方の領域を「プリズム領域Ｒ_A」、他方の領域を「プリズム領域Ｒ_B」として説明する）。図１１は、各プリズム領域と撮像部との関連付けを説明する図である。図１１の例では、上半分のプリズム領域Ｒ_Aには右端中央の撮像部Ｐ_Aが、下半分のプリズム領域Ｒ_Bには左端中央の撮像部Ｐ_Bが、それぞれ関連付けられている。

次に、リフォーカス処理と同様、図４のフローチャートのステップ４０３で選択された撮像部による撮影画像のシフト量を計算する（ステップ１００２）。

シフト量を計算すると、続いて、プリズム領域Ｒ_A及びプリズム領域Ｒ_Bの位置を取得する（ステップ１００３）。

最後に、各撮像部から得た撮影画像を合成して、ライブビュー画像を生成する（ステップ１００４）。ここで、リフォーカス処理におけるステップ８０３では、各撮像部の撮影画像に対して重み付け加算して合成を行っていた。本処理においては、生成されるライブビュー画像のエリア毎に、異なる撮像部で撮影された画像（画素）を使用した合成処理を行う。具体的に、どのエリアにどの撮像部の撮影画像の画素を使用するのかについては、以下のとおりである。
プリズム領域Ｒ_Aのエリア： 撮像部Ｐ_Aの撮影画像Ｉ_Aの画素
プリズム領域Ｒ_Bのエリア： 撮像部Ｐ_Bの撮影画像Ｉ_Bの画素
その他のエリア ： センター撮像部Ｐ_cの撮影画像Ｉ_Cの画素

本合成処理によって生成されるライブビュー画像をＳとした場合、Sを構成する画素の画素値は次式で表される。

図１２は、本合成処理の内容を視覚的に表現した説明図である。上記のとおり、プリズム領域Ｒ_Aのエリアには撮像部Ｐ_Aの撮影画像Ｉ_Aの画素、プリズム領域Ｒ_Bのエリアには撮像部Ｐ_Bの撮影画像Ｉ_Bの画素、その他のエリアにはセンター撮像部Ｐ_cの撮影画像Ｉ_Cの画素が、それぞれ使用されることが示されている。

上記のようにして生成されたライブビュー画像が画像表示部１０７に表示され、ライブビュー表示が行われる。

本実施例では、スプリットプリズムイメージを撮影者が認識しやすくなるようにセンター撮像部Ｐ_cの撮影画像Ｉ_cの輝度を調整することで、ライブビュー画像内におけるスプリットプリズムイメージの範囲（フォーカスエリア）を周囲から目立たせる。すなわち、プリズムタイプ画像以外の部分の画素に用いられる撮影画像Ｉ_cについて、例えばα＝０．７として、当該部分の輝度を落とす。図１３は、撮影画像Ｉ_cの輝度を落とすことで、左斜め上に位置するスプリットプリズムイメージの範囲を周囲から目立たせたライブビュー画像の一例である。

なお、スプリットプリズムイメージに代えてマイクロプリズムイメージを採用する場合には、例えば、プリズム領域Ｒ_Aとプリズム領域Ｒ_Bをタイル状に交互に配置することでマイクロプリズムイメージを実現できる。あるいは、図１４の（ａ）のようにセンター撮像部Ｐ_cの上下左右に位置する撮像部、又は図１４の（ｂ）のようにセンター撮像部Ｐ_cの右斜め上、右斜め下、左斜め上、左斜め下に位置する撮像部の撮影画像を使用し、４視差の画像をタイル状に並べても良い。さらに、スプリットプリズムイメージとマイクロプリズムイメージとを組み合せ、フォーカスエリアの中心にスプリットプリズムイメージを配し、スプリットプリズムイメージの周囲にマイクロプリズムイメージを配するようにしてもよい。

以上のとおり、本実施例に係る画像処理の方法によれば、フォーカスのずれを像のずれとして確認することが可能なライブビュー表示が可能となり、電子ファインダ式を採用した多眼カメラにおいても迷いの無い正確なフォーカシング操作を行うことができる。

［実施例２］
実施例１では、ライブビュー画像内におけるフォーカスエリアの範囲を明確にするため、センター撮像部Ｐ_cによる撮影画像Ｉ_cの輝度を調整しすることでフォーカスエリア内のプリズムタイプ画像を目立たせたライブビュー画像を生成した。次に、フォーカスエリア内は先鋭度が高い像、その他の部分は先鋭度が低い像にして、フォーカスエリアを明確に認識できるようにする態様について実施例２として説明する。なお、実施例１との差異は図１０のフローチャートのステップ１００４における処理の内容のみであり、その他の部分は共通するので、ここでは差異点について説明することとする。

本実施例では、図１０のフローチャートのステップ１００４において、センター撮像部Ｐ_cの撮影画像Ｉ_cにぼかしフィルタを適用した画像Ｂ_cを用意し、これを用いてライブビュー画像Ｓを生成する。本合成処理によって生成されるライブビュー画像をＳとした場合、を構成する画素の画素値は次式で表される。

図１５は、撮影画像Ｉ_cの先鋭度を低くすることで、左斜め上に位置するスプリットプリズムイメージの範囲を周囲から目立たせたライブビュー画像の一例である。

本実施例に係る画像処理の方法によっても、フォーカスのずれを像のずれとして確認することが可能なライブビュー表示が可能となり、電子ファインダ式を採用した多眼カメラにおいても迷いの無い正確なフォーカシング操作を行うことができる。特に、銀塩カメラに慣れ親しんだ撮影者でも違和感の少ないファインダの見えが実現できる。

［実施例３］
実施例１では、スプリットプリズムイメージの分割方向をカメラ設定メニューでユーザの指定に基づいて決定していた。次に、スプリットプリズムイメージの分割方向を自動で決定する態様について、実施例３として説明する。なお、実施例１との差異は図４のフローチャートのステップ４０２における処理の内容のみであり、その他の部分は共通するので、ここでは差異点について説明することとする。

スプリットプリズムによるフォーカシングにおいては、スプリットプリズムの分割方向と直交するエッジが存在するのが望ましい。そこで、本実施例では、センター撮像部Ｐ_cの撮影画像Ｉ_cのうち、スプリットプリズムイメージに対応する部分について直線検出を行い、検出された直線に基づいてスプリットプリズムイメージの分割方向を決定する。直線検出の手法には既知の様々な方法（例えば、ハフ変換）を適用可能である。

図１６は、本実施例に係るスプリットプリズムイメージの分割方向を自動決定する処理の流れを示すフローチャートである。

まず、分割方向決定部２３０は、プリズム領域についてエッジを検出する（ステップ１６０１）。

そして、分割方向決定部２３０は、検出されたエッジに対してハフ変換を適用し直線を検出する（ステップ１６０２）。

続いて、分割方向決定部２３０は、検出された直線と、スプリットプリズムイメージの分割方向との内積を取る（ステップ１６０３）。

最後に、分割方向決定部２３０は、内積が最小となるような方向を、スプリットプリズムイメージの分割方向として決定する（ステップ１６０４）。

このように本実施例によれば、スプリットプリズムイメージの分割方向を直線検出の結果に基づいて自動で決定される。したがって、ユーザはスプリットプリズムイメージの分割方向に対し注意を払う必要がなくなり、常に最適な状態でフォーカス操作を行うことが可能になる。

Claims (10)

1. 複数の撮像部と、撮影範囲をリアルタイムに表示するライブビュー表示を行う画像表示部とを備えた多眼方式の撮像装置であって、
   前記ライブビュー表示におけるフォーカスエリアの位置を決定するフォーカスエリア決定手段と、
   前記複数の撮像部のうちの所定の撮像部で撮影された視差のある画像を用いてプリズムタイプ画像を生成し、当該生成されたプリズムタイプ画像を前記フォーカスエリア決定手段で決定された位置に配置したライブビュー画像を生成するライブビュー画像生成手段と
   を備えることを特徴とする多眼方式の撮像装置。
2. 前記ライブビュー画像生成手段は、前記プリズムタイプ画像以外の部分について、輝度を落としたライブビュー画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記ライブビュー画像生成手段は、前記プリズムタイプ画像以外の部分について、先鋭度を低くしたライブビュー画像を生成することを特徴とする請求項１に記載の撮像装置。
4. 前記プリズムタイプ画像は、スプリットプリズムを仮想的に表現したスプリットプリズムイメージであることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記プリズムタイプ画像は、マイクロプリズムを仮想的に表現したマイクロプリズムイメージであることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
6. 前記スプリットプリズムイメージの分割方向を決定する分割方向決定手段をさらに備え、
   前記分割方向と前記複数の撮像部とは関連付けられており、
   前記ライブビュー画像生成手段は、決定された分割方向に基づき、前記関連付けられた撮像部で撮影された前記視差のある画像を用いて、前記スプリットプリズムイメージを生成する
   ことを特徴とする請求項４に記載の撮像装置。
7. 前記分割方向決定手段は、ユーザからの指定に基づいて、前記プリズムタイプ画像の分割方向を決定することを特徴とする請求項６に記載の撮像装置。
8. 前記分割方向決定手段は、前記プリズムタイプ画像の生成に用いられる画像の前記スプリットプリズムイメージに対応する部分について直線検出を行い、当該直線検出の結果に基づいて、前記スプリットプリズムイメージの分割方向を決定することを特徴とする請求項６に記載の撮像装置。
9. 複数の撮像部と、撮影範囲をリアルタイムに表示するライブビュー表示を行う画像表示部とを備えた多眼方式の撮像装置におけるフォーカシングのための方法であって、
   前記ライブビュー表示におけるフォーカスエリアの位置を決定するフォーカスエリア決定ステップと、
   前記複数の撮像部のうちの所定の撮像部で撮影された視差のある画像を用いてプリズムタイプ画像を生成し、当該生成されたプリズムタイプ画像を前記フォーカスエリア決定ステップで決定された位置に配置したライブビュー画像を生成するライブビュー画像生成ステップと
   を含むことを特徴とする方法。
10. コンピュータを請求項１〜８の何れか１項に記載の撮像装置として機能させるためのプログラム。