JP2015056790A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 複数の視点において撮像された画像の状態を素早く、詳細度に確認することができるようにする。
【解決手段】 撮像ライブ画像データ取得部３０４が、複数の視点から同一の被写体を撮像して得られた複数の画像を示すライブ画像データを取得する。対応領域決定部３０７が、ライブ画像データに含まれる複数の画像において、同一の被写体の像を含む対応画像領域を決定する。そして、表示画像データ生成部３１５が、ライブ画像データを用いて、対応画像領域を含む画像領域をライブ画像データが示す複数の画像から切り出した切り出し画像のそれぞれを並べて表示するための画像を示す表示画像データを生成する。この際、表示画像データ生成部３１５は、表示画像データが示す画像において対応画像領域が占める割合が、ライブ画像データが示す複数の画像において対応画像領域が占める画像領域の割合よりも大きくなるように、表示画像データを生成する。
【選択図】 図３

Description

本発明は、複数の視点から撮像した画像を表示する技術に関する。

複数の撮像部を有する多眼カメラなどにより複数の視点から同一の被写体を撮像した画像を用いて、被写体の３次元画像を得たり、任意視点の画像を生成するなどの様々な画像処理技術が提案されている。

上記の画像処理を精度良く行うためには、複数の視点から撮像された画像において、被写体に正しくピントが合っていることが求められるため、ユーザが画面に表示された画像を見て、各画像の合焦状態を確認する場合がある。

ユーザが各画像の合焦状態を確認するための表示方法としては、各視点で撮像された画像を画面に１枚ずつ表示する方法と、各視点で撮像された画像を画面中に並べて表示する方法がある（特許文献１）。

特開２０１０−２０００２４号公報

しかしながら、各視点で撮像された画像を画面に１枚ずつ表示する方法では、全ての視点における合焦状態を確認するのに時間がかかってしまうという課題がある。

また、各視点で撮像された画像を画面中に並べて表示する方法では、各画像が小さく表示されてしまい、各画像の合焦状態を高精度に判断することができないという課題がある。

そこで、本発明は、複数の視点において撮像された画像の状態を素早く、かつ詳細に確認することができるようにすることを目的としている。

上記課題を解決するために、本発明の画像処理装置は、複数の視点から同一の被写体を撮像して得られた複数の画像を示す撮像画像データを取得する取得手段と、前記撮像画像データを用いて、前記複数の画像において、同一の被写体の像を含む対応画像領域を決定する決定手段と、前記撮像画像データを用いて、前記対応画像領域を含む画像領域を前記撮像画像データが示す複数の画像から切り出した切り出し画像のそれぞれを並べた画像を表示するための表示画像データを生成する生成手段とを備え、前記生成手段は、前記表示画像データが示す画像において前記対応画像領域が占める画像領域の割合が、前記撮像画像データが示す複数の画像において前記対応画像領域が占める画像領域の割合よりも大きくなるように、前記表示画像データを生成する。

本発明により、複数の視点において撮像された画像の状態を素早く、かつ詳細に確認することができる。

実施例１の多眼カメラの外観を示す図。 実施例１の多眼カメラの内部構成を示す図。 実施例１の画像処理部の構成を示すブロック図。 実施例１の画像処理部で行われる処理を示すフローチャート。 多眼カメラと被写体の配置を説明する図。 実施例１のカメラパラメータを説明する図。 実施例１の表示画面の一例を示す図。 実施例１の対応画像領域の座標を示す表。 実施例１の表示画面の一例を示す図。 実施例２の画像処理部の構成を示すブロック図。 実施例２の画像処理部で行われる処理を示すフローチャート。 実施例２の表示画面の一例を示す図。 実施例３の画像処理部の構成を示すブロック図。 実施例３の画像処理部で行われる処理を示すフローチャート。 実施例３の表示画面の一例を示す図。

＜実施例１＞
本実施例では、複数の視点から同一の被写体を撮像する撮像装置として、９個の撮像部を備えた多眼カメラが用いられる。この多眼カメラによって取得された画像において、各撮像部で取得された画像の合焦状態を素早く、かつ詳細度に確認する方法について説明する。

図１（ａ）は、本実施例における多眼カメラ１００を前面から見た図である。多眼カメラ１００は９個の撮像部１０１〜１０９を有し、それぞれの撮像部は３行３列の正方格子状に配置されている。全ての撮像部は筺体の同一平面上に配置され、その光軸はすべて平行であり、配置された平面に垂直である。シャッターボタン１１０は画像データの記録を制御するボタンであり、ユーザがシャッターボタン１１０を押すことで、その時点での画像データが記録される。図１（ｂ）は多眼カメラ１００を背面から見た図である。撮像装置の背面には表示部１１１が配置されており、撮像時のライブ画像又はシャッターボタン１１０の押下により記録された画像を表示する。

図２は本実施例における多眼カメラ１００内部構成を示す図である。撮像部１０１〜１０９は、撮像センサーで受光した被写体の光情報にＡ／Ｄ変換を施し、データ転送経路であるバス２１３にデジタルデータとして出力する。

フラッシュ２０１は、ＬＥＤなどの発光素子を備えた発光装置であり、撮影時に十分な環境光が得られない場合に、被写体に光を照射する。

ＲＯＭ２０２は、撮像や画像処理に必要なプログラム、データなどをＣＰＵ２０４に提供する。

ＲＡＭ２０３は、ＣＰＵ２０４の作業領域として機能する。

ＣＰＵ２０４はＲＡＭ２０３をワークメモリとして、ＲＯＭ２０２に格納されたプログラムを実行し、バス２１３を介して多眼カメラ１００の各構成部を制御する。これにより、多眼カメラ１００においては、後述する様々な処理が実行される。

撮像装置制御部２０５は、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、ＣＰＵ２０４から指示された撮像系の制御を行う制御回路である。

操作部２０６は、ボタンやモードダイヤルなどの操作ユニットであり、これらを介して入力されたユーザ指示を受け取り、ＣＰＵ２０４へと出力する。

ＣＧ生成部２０７は、ＧＵＩなどに用いられる、文字やグラフィックを生成する処理回路である。

表示部１１１は、液晶ディスプレイであり、ＣＧ生成部２０７や後述のデジタル信号処理部２０８、画像処理部２１２から受け取った撮像画像や文字の表示を行う。また、本実施例において、表示部１１１にはタッチパネルが重畳して設けられており、ユーザは表示部１１１に対してタッチ操作を行うことによってもユーザ指示を入力することができる。つまり、表示部１１１は、タッチ操作によるユーザ指示を受付ける。

デジタル信号処理部２０８は、撮像部１０１〜１０９から受けとったデジタルデータにホワイトバランス処理、ガンマ処理、ノイズ低減処理などを行い、画像データを生成する処理回路である。

圧縮・伸張部２０９は、上記画像データをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う処理回路である。

外部メモリ制御部２１０は、メディア２１１（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。多眼カメラ１００は、シャッターボタン１１０の押下により、取得された画像データをこのメディア２１１に記録する。もちろん、ＲＯＭ２０２などの内部メモリに記録しても良い。

画像処理部２１２は、撮像部１０１〜１０９から得られた画像データ或いは、デジタル信号処理部から出力される画像データを利用して新たな画像を生成し、その結果をバス２１３へ出力する処理回路である。

上記以外の装置の構成要素は本願発明の主眼ではないので特に説明しないが、本発明の効果を奏する構成であれば、様々な構成を取ることができる。

図３は、本実施例における画像処理部２１２の構成を示すブロック図である。以下、画像処理部２１２にて行われる処理を、図３に示すブロック図および図４に示すフローチャートを参照して説明する。画像処理部２１２においては、図４のフローチャートに示す手順を記述したコンピュータで実行可能なプログラムをＲＯＭ２０２からＲＡＭ２０３上に読み込んだ後に、ＣＰＵ２０４によって該プログラムを実行することによって当該処理が実施される。なお、画像処理部２１２を処理回路としたが、画像処理部２１２の各機能ブロックの一部または全部を、プログラムを実行したＣＰＵ２０４による処理に置き換えた構成としても良い。

まず、ステップＳ４０１では、カメラパラメータ取得部３０３が、撮像部１０１〜１０９のカメラパラメータを取得し、対応領域決定部３０７に出力する。カメラパラメータは撮像部１０１〜１０９の焦点距離や、光軸中心の位置を表す内部パラメータと、各撮像部の三次元座標を表す外部パラメータ等から成る。本実施例では、以下に示すように、内部パラメータは３×３行列で、外部パラメータは３×３回転行列および３×１並進ベクトルで表される。

以下、各パラメータを図５を参照して説明する。ｆ_ｘ、ｆ_ｙ、ｃ_ｘ、ｃ_ｙはそれぞれピクセル換算したｘ方向（画面水平方向）およびｙ方向（画面鉛直方向）における焦点距離と、光軸中心の画素位置である。ｒ_１１〜ｒ_３３は実空間におけるｘ、ｙ、ｚ軸周りのカメラ回転を表す行列成分である。ｔ_ｘ、ｔ_ｙ、ｔ_ｚは原点Ｏに対する各撮像部の光軸中心の３次元座標である。本実施例では撮像部１０１〜１０９には焦点距離５０ｍｍの単焦点レンズと、横３６ｍｍ×縦２４ｍｍサイズで画素数が３４５６×２３０４ｐｉｘｅｌのＣＭＯＳセンサーを使用している。また、撮像部１０１〜１０９はｘ−ｙ平面上に５０ｍｍ間隔で正方格子状に並べて配置されている。そのため、この時の各撮像部の内部パラメータｆ_ｘ、ｆ_ｙ、ｃ_ｘ、ｃ_ｙと、外部パラメータｒ_１１〜ｒ_３３、ｔ_ｘ、ｔ_ｙ、ｔ_ｚは、図６（ａ）、（ｂ）、（ｃ）に示す通りとなる。

次に、ステップＳ４０２では、撮像ライブ画像データ取得部３０４が、撮像部１０１〜１０９での撮像によりライブ画像データを取得し、注目領域取得部３０５および画像領域拡縮部３０９に出力する。

次に、ステップＳ４０３では、注目領域取得部３０５が、ユーザの指示により注目画像領域の選択指示が行われているかどうかを判断する。ユーザは、表示部１１１に対するタッチ操作により、注目する画像領域を選択する。ユーザによる注目画像領域の選択指示がなされている場合には、ステップＳ４０４に進む。ユーザによる注目画像領域の選択指示がなされていない場合には、ステップＳ４０８に進む。

ステップＳ４０４では、注目領域取得部３０５が、表示部１１１に対するタッチ操作によりユーザが指定した点に基づいて、撮像ライブ画像データ取得部３０４から入力されたライブ画像データにおいて、ユーザが選択した画像領域を特定する。

図７に、ユーザが注目画像領域を指定する場合の、表示部１１１の表示画面を示す。図７において、各撮像部の撮像によって取得されたライブ画像データは、各撮像部の視点位置に応じた場所に表示されている。つまり、左上には撮像部１０３に対応するライブ画像データが、中心には撮像部１０５に対応するライブ画像データが表示される。ユーザは、この画面上で所望の点をタッチすることで、注目画像領域を選択する。この時、どの撮像部に対応するライブ画像データ上で注目画像領域を選択しても良いが、本実施例においては、撮像部１０５に対応するライブ画像データにおいて注目画像領域を選択する。

注目画像領域としては、タッチ操作によりユーザが指定した点を中心とした矩形領域が特定される。この時、この矩形領域の大きさは、操作部２０６の操作によりユーザが自由に設定することが可能である。本実施例においては、この矩形領域の大きさは１４４０×９６０ｐｉｘｅｌである。タッチ操作によりユーザが指定した点の座標が（１７２８，１１５２）である場合に、矩形領域の各頂点の画像座標は、Ａ（１００８，１６３２）、Ｂ（２４４８，１６３２）、Ｃ（１００８，６７２）、Ｄ（２４４８，６７２）となる。注目領域取得部３０５は、ここで得られた矩形領域の頂点の画像座標および、注目画像領域が選択されたライブ画像データに対応する撮像部を示す情報を対応領域決定部３０７に出力する。

ステップＳ４０５では、被写体距離取得部３０６が、注目画像領域の選択がなされたライブ画像データに対応する撮像部１０５に対し、撮像装置制御部２０５を介してフォーカス制御を行うことで、注目画像領域内の被写体と撮像装置間の距離を取得する。具体的には、位相差ＡＦやコントラストＡＦ等による公知の手法を用いてステップＳ４０３で取得した注目画像領域内に写る被写体にピントが合うように撮像部１０５のフォーカス位置を制御する。被写体にピントが合ったときのフォーカス位置から、注目画像領域内に写る被写体と撮像装置間の距離ｚ_ｈを取得することができる（図５）。なお、本実施例においては、被写体―撮像装置間距離ｚ_ｈ＝１０００ｍｍである。被写体距離取得部３０６は、取得した被写体―撮像装置間の距離ｚ_ｈを対応領域決定部３０７に出力する。

ステップＳ４０６では、対応領域決定部３０７が、ステップＳ４０１で取得されたカメラパラメータと、ステップＳ４０４で取得された注目画像領域と、ステップＳ４０５で取得された被写体距離から、各視点における対応画像領域を決定する。ここで、対応画像領域とは、ステップＳ４０４で取得された注目画像領域に対応する画像領域である。対応領域決定部３０７は、以下の式（１）に従い、注目画像領域Ｒ_１０５の各頂点Ａ、Ｂ、Ｃ、Ｄに対応する実空間上の点の３次元座標Ｐ_Ａ、Ｐ_Ｂ、Ｐ_Ｃ、Ｐ_Ｄ、および、それに対応する各視点のライブ画像データにおける対応点の画像座標を決定する（図５）。

ｋは右辺の（３，１）成分を１に規格化する係数で、本実施例ではｋ＝１０００である。（ｘ，ｙ，ｚ）は、撮像部１０５の撮像面中心を原点とした場合の、実空間における被写体の３次元座標を示す。（ｕ，ｖ）は、対応画像領域を決定する画像における、被写体の対応点の画像座標を示す。その他のパラメータは、図６に示されるカメラパラメータである。

撮像部１０５に対応するカメラパラメータおよび（ｕ，ｖ）の値を代入して式（１）を解くと、Ｐ_Ａ〜Ｐ_Ｄ（ｘ，ｙ，ｚ）の値を求めることができる。本実施例においては、Ｐ_Ａ＝（―１５０，１００，１０００）、Ｐ_Ｂ＝（１５０，１００，１０００）、Ｐ_Ｃ＝（―１５０，―１００，１０００）、Ｐ_Ｄ＝（１５０，―１００，１０００）となる。

次に、対応領域決定部３０７は、求めたＰ_Ａ〜Ｐ_Ｄの値と、図６に示すカメラパラメータを式（１）に代入し、各撮像部のライブ画像データにおける対応画像領域Ｒ_１０１〜Ｒ_１０９の各頂点Ａ〜Ｄの画像座標（ｕ，ｖ）を決定する。図８はその結果をまとめたものである。対応領域決定部３０７は、ここで求めた各視点における対応画像領域の各頂点の画像座標を、表示倍率設定部３０８および画像領域拡縮部３０９に出力する。

ステップＳ４０７では、表示倍率設定部３０８が、ステップＳ４０６で決定した各撮像部に対応するライブ画像データ上での対応画像領域Ｒ_１０１〜Ｒ_１０９から、表示部１１１に表示する各視点の画像データの拡縮倍率Ｑを設定する。本実施例では各視点の注目画像領域（１４４０×９６０ｐｉｘｅｌ）が撮像画像データのサイズ（３４５６×２３０４ｐｉｘｅｌ）になるように、倍率Ｑ＝３４５６／１４４０＝２．４とする。設定した拡縮倍率Ｑは、画像領域拡縮部３０９に出力される。

ステップＳ４０８では、画像領域拡縮部３０９が、各撮像部に対応するライブ画像データをステップＳ４０６で決定した対応画像領域Ｒ_１０１〜Ｒ_１０９を切り出し、ステップＳ４０７で設定した拡縮倍率で拡縮する。なお、ここで使用した対応画像領域の座標および拡縮倍率はＲＡＭ２０３に保存しておき、新たな注目画像領域の座標および拡縮倍率の入力がない場合には、ＲＡＭ２０３に保存された値を用いて処理を行う。ここで処理された画像データは、表示画像データ生成部３１５に出力される。なお、ユーザにより注目画像領域が選択されていない場合は、ライブ画像データの切り出しも拡縮も行わず、そのままのライブ画像データを表示画像データ生成部３１５に出力する。

ステップＳ４０９では、表示画像データ生成部３１５が、画像領域拡縮部３０９から出力された画像データを二次元に並べた表示画像データを生成する。表示画像データは端子３１１を介して表示部１１１に出力され、表示される。

ステップＳ４１０では、記録画像データ取得部３１０が、シャッターボタン１１０が押されたかどうかを判定する。シャッターボタン１１０が押された場合は、画像データを記録すると判定し、ステップＳ４１１へ移行する。シャッターボタン１１０が押されていない場合は、記録画像データ取得部３１０は、画像データを記録しないと判定し、ステップＳ４０２へ戻る。

ステップＳ４１１では、記録画像データ取得部３１０が、撮像部１０１〜１０９で撮像した画像データを取得し、外部メモリ制御部２１０を介してメディア２１１に出力して処理を終了する。

以上の処理によって、各視点における注目画像領域に対応する画像領域が拡大表示されるので、ユーザは素早く、かつ詳細に各視点における被写体のピントずれを確認することができる。例えば、図９（ａ）に示す表示画像データを上記処理に基づいて拡大表示することで、図９（ｂ）に示すようにピントずれを確認することができる。ピントずれを確認したユーザは、それに合わせて撮像装置制御部２０５を介してフォーカス位置の調整を行ってから、シャッターボタン１１０を押して画像データの取得を行うことができる。

なお、本実施例では９個の撮像部として、３行３列の正方格子上に配置した多眼カメラが用いられたが、複数の視点から被写体を撮像した画像データを取得できる撮像装置であれば良く、特に撮像部の個数や配置が限定されるものではない。また、複数の独立したカメラによって取得された画像に対して本実施例に示した処理を行っても良い。

また、本実施例では同一焦点距離のレンズを取り付けた９個の撮像部を有する多眼カメラが用いられたが、広角、望遠、ズームレンズ等の異なる焦点距離を持つレンズを取り付けたカメラが用られても良い。

また、本実施例ではユーザがタッチパネル操作により注目画像領域の指定を行ったが、画像認識処理などにより自動で注目画像領域が指定されるようにしても良い。例えば、撮像画像データに対して、顔認識等の公知の物体認識技術を用いて注目被写体の画像領域を抽出し、抽出された領域が注目画像領域として指定されるようにしても良い。また、シャッターボタンを半押しした状態のときに物体認識処理を動作させるようにしても良い。

また、タッチパネル操作により注目画像領域の指定を行うのではなく、画面に表示したカーソルをユーザがジョイスティックなどで操作して注目画像領域の指定を行うようにしても良い。

本実施例ではフォーカス位置を用いて被写体と撮像装置間の距離が取得されたが、各視点の撮像画像データに対して被写体の特徴点を抽出・マッチング処理し、三角測量の原理に基づき被写体距離を取得するようにしても良い。また、撮像素子以外の外部センサーを用いて被写体距離を取得しても良い。例えばレーザー照射によるタイム・オブ・フライト方式や三角測量の原理に基づき被写体距離を取得しても良く、特に被写体距離の取得方法を限定するものではない。また、マクロ撮影モードや風景撮影モードなどの撮影モードに応じて仮想の被写体距離を設定しておき、設定された被写体距離を用いて対応画像領域を設定するようにしても良い。

また、対応画像領域の決定の仕方は本実施例で挙げた例に限られず、注目画像領域に含まれる被写体の像と同一の被写体に対応する像を含む画像領域が、対応画像領域として決定されるようにすればどのように決定しても良い。

また、本実施例では、切り出した画像データを二次元に並べて表示画像データを生成したが、表示画像データの例はこれに限られるものではなく、最終的に表示部１１１に表示される画像が、切り出し画像を並べたものになる例であれば良い。例えば、切り出し画像を個別に表示部に対して出力し、各画像の表示位置を示す情報を一緒に出力することで、表示部１１１において切り出し画像を並べた画像が表示されるようにしても良い。

また、切り出し画像の並べ方は二次元に限られず、各視点の合焦状態が確認しやすい表示方法であれば、一次元や三次元に並べても良い。

本実施例では撮像素子として横３６×縦２４ｍｍで画素数が３４５６×２３０４ｐｉｘｅｌのＣＭＯＳセンサーを使用したが、被写体の光情報を取得できる撮像素子であれば良く、特に撮像素子の種類、サイズ、画素数を限定するものではない。

また、注目画像領域を１４４０×９６０ｐｉｘｅｌの矩形領域としたが、被写体周辺の画素領域を抽出できる領域であれば良く、特に領域の形状やサイズを限定するものではない。

また、各撮像部のライブ画像データにおける対応画像領域を導出した結果、対応画像領域が画像データの画像領域をはみ出る場合は、はみ出た領域を黒表示しても良いし、はみ出ないようにトリミング又はシフトした画像領域を対応画像領域としても良い。

また、本実施例において、画像領域拡縮部３０９は、対応領域決定部３０７によって決定された対応画像領域を切り出す処理を行ったが、対応画像領域よりも広い範囲の画像領域を切り出すような処理を行っても良い。

また、本実施例において、画像領域拡縮部３０９は、切り出した画像領域を拡大する処理を行ったが、生成される表示画像データの総ピクセル数が、入力されるライブ画像データよりも小さい場合などは、切り出した画像領域を縮小する処理を行っても良い。この時、最終的な表示画像データが示す画像において対応画像領域が占める画像領域の割合が、ライブ画像データが示す複数の画像において対応画像領域が占める画像領域の割合よりも大きければ良い。例えば、表示画像データの総ピクセル数を前記表示画像データに含まれる画像データの枚数で割った値に、ライブ画像データの総ピクセル数が一致するようにライブ画像データを拡縮した場合よりも、切り出した画像データの縮尺が大きければ良い。この場合には、ライブ画像データを、切り出した画像データと同じように並べた場合よりも、表示部１１１において対応画像領域が拡大して表示されることになるので、合焦状態の確認を容易に行うことができる。

また、本実施例において、９個の撮像部で取得された画像データ全てが同じ大きさの領域に表示されていたが、各撮像部によって表示領域の大きさを変えるようにしても良い。

なお、本実施例において、撮像ライブ画像データ取得部３１０は、複数の視点から同一の被写体を撮像して得られた複数の画像を示す撮像画像データを取得する取得手段として機能した。

また、対応領域決定部３０７は、前記撮像画像データにおいて、記複数の画像において、同一の被写体の像を含む対応画像領域を決定する決定手段として機能した。

また、表示画像データ生成部３１５は、表示画像データを生成する生成手段として機能した。この生成手段は、前記撮像画像データを用いて、前記対応画像領域を含む画像領域を前記撮像画像データが示す複数の画像から切り出した切り出し画像のそれぞれを並べて表示するための画像を示す表示画像データを生成した。

また、注目領域取得部３０５は、前記撮像画像データに含まれる第一の画像について注目画像領域を特定する特定手段として機能した。

また、表示部１１１は、前記表示画像データに基づいて、前記切り出し画像を並べて表示する表示手段として機能した。

また、表示部１１１は、ユーザ指示を受付ける受付手段としても機能した。

また、本実施例において、対応画像領域を選択する前の表示は、複数の視点から同一の被写体を撮像して得られた複数の画像を並べて表示する第一の表示モードと言い変えることができる。

また、本実施例において、対応画像領域を拡縮した後の表示は、第二の表示モードと言い変えることができる。第二の表示モードでは、切り出し画像が、表示手段の表示画面において対応画像領域に対応する画像が占める画像領域の割合が、撮像画像データが示す複数の画像において前記対応画像領域が占める画像領域の割合よりも大きくなるように並べて表示される。

＜実施例２＞
実施例１では、ライブ画像データが二次元に並べられた表示画像データに基づいて、ユーザが注目画像領域を決定した。実施例２では、多眼カメラ１００が、複数ある撮像部のうちの代表撮像部により取得された画像データを全画面表示する表示モードを備え、ユーザが全画面表示された画像データに基づいて注目画像領域を決定する場合について述べる。なお、本実施例における多眼カメラ１００のハードウェア構成は実施例１におけるものと同様であるため、説明を省略する。

本実施例においては、図１２に示すように、代表撮像部で取得されたライブ画像データが全画面表示される表示モード１と、各撮像部で取得されたライブ画像データが二次元に並べて表示される表示モード２とが切り替え可能になっている。本実施例においては表示モード１においてユーザが注目画像領域を選択し、そのユーザ指示に基づいて取得された各視点における対応画像領域が、表示モード２で表示される。これにより、ユーザはより大きな画像に基づいて注目画像領域を選択することができるので、より簡便に所望の注目画像領域を選択できるようになる。なお、本実施例において、代表撮像部は撮像部１０５とするが、他の撮像部を代表撮像部としても良い。

また、本実施例において、ユーザは、操作部２０６の操作により、注目画像領域を選択し直すためのリセット指示を入力することができる。表示モード２においてリセット指示が入力された場合、取得された注目画像領域は初期化され、表示モードは再び表示モード１へと変更される。これにより、注目画像領域を間違えて選択してしまった場合でも、注目画像領域を選択し直すことができる。

図１０は、本実施例における画像処理部２１２の構成を示すブロック図である。実施例１における画像処理部２１２との違いとして、表示モード設定部１００１が追加されている。以下、画像処理部２１２にて行われる処理を、図１０に示すブロック図および図１１に示すフローチャートを参照して説明する。画像処理部２１２においては、図１１のフローチャートに示す手順を記述したコンピュータで実行可能なプログラムをＲＯＭ２０２からＲＡＭ２０３上に読み込んだ後に、ＣＰＵ２０４によって該プログラムを実行することによって当該処理が実施される。

まず、ステップＳ４０１は、実施例１と同様の処理であるので、説明を省略する。

ステップＳ１１０１では、撮像ライブ画像データ取得部３０４は、撮像部１０１〜１０９での撮像によりライブ画像データを取得し、注目領域取得部３０５、画像領域拡縮部３０９および表示画像データ生成部３１５に出力する。

次に、ステップＳ１１０２では、注目領域取得部３０５が、ＲＡＭ２０３に保存された表示モードを示すパラメータを読み込み、表示モードを判定する。表示モードが１であると判定された場合にはステップＳ１１０３に進み、表示モードが２であると判定された場合には、ステップＳ１１０６に進む。なお、初期状態では、表示モードは１に設定されている。

次に、ステップＳ１１０３では、注目領域取得部３０５が、ユーザの指示により注目画像領域の選択指示が行われているかどうかを判定する。ユーザによる注目画像領域の選択指示が行われていると判定された場合には、ステップＳ４０４に進む。ユーザによる注目画像領域の選択指示が行われていないと判定された場合には、ステップＳ１１０４に進む。

ステップＳ１１０４では、画像領域拡縮部３０９が、注目画像領域の選択が行われたことを示す情報を表示モード設定部１００１に出力する。表示モード設定部１００１は、画像領域拡縮部３０９から入力された情報を受け、表示モードを２に設定する。ここで、表示モードの設定は、ＲＡＭ２０３に保存された、表示モードを示す情報を書き換えることによって行われる。

以下、ステップＳ４０４〜ステップＳ４０８については、実施例１と同様の処理であるので、説明を省略する。

次に、ステップＳ１１０５では、表示画像データ生成部３１５が、表示部１１１に表示する表示画像データを生成する。表示モードが１である場合、表示画像データは、撮像ライブ画像データ取得部から入力された、代表撮像部により取得されたライブ画像データとなる。表示モードが２である場合、実施例１のステップＳ４０９と同様の処理により、表示画像データが生成される。

ステップＳ１１０２により表示モードが２であると判定された場合、表示モード設定部１００１は、ユーザによるリセット指示が入力されているかどうかを判定する（ステップＳ１１０６）。リセット指示が入力されたと判定された場合、ステップＳ１１０７に進む。リセット指示が入力されていないと判定された場合、表示モードを変更せずにステップＳ４０８に進む。

ステップＳ１１０７では、表示モード設定部１００１が、表示モードを１に変更し、ステップＳ１１０５に進む。

以下、ステップＳ４１０およびステップＳ４１１は実施例１と同様の処理であるので、説明を省略する。

以上の処理により、より大きな画像に基づいて注目画像領域を選択することができるので、ユーザはより簡便に所望の注目画像領域を選択できるようになる。

さらに、注目画像領域を選択し直すことができるため、ユーザはより気軽に注目画像領域の選択を行うことができるようになる。

本実施例において、表示モード１で代表撮像部により取得されたライブ画像データが単独で全画面表示されたが、単独であったり全画面表示である必要はない。例えば、他視点で撮像された画像を隅に縮小表示し、代表視点で撮像された画像を中心に大きく表示するなど、代表視点に対応する画像が、複数の撮像画像から抜き出して表示されていればよい。なお、ここで抜き出すとは、複数の画像から選び出す動作を必要とするものではなく、あらかじめ代表視点の撮像部だけを異なる処理回路につないでおき、代表視点の画像だけに異なる表示処理がなされる場合も含む。

なお、本実施例において、撮像ライブ画像データ取得部３１０は、複数の視点から同一の被写体を撮像して得られた複数の画像を示す撮像画像データを取得する取得手段として機能した。

また、対応領域決定部３０７は、前記撮像画像データにおいて、記複数の画像において、同一の被写体の像を含む対応画像領域を決定する決定手段として機能した。

また、表示画像データ生成部３１５は、表示画像データを生成する生成手段として機能した。この生成手段は、前記撮像画像データを用いて、前記対応画像領域を含む画像領域を前記撮像画像データが示す複数の画像から切り出した切り出し画像のそれぞれを並べて表示するための画像を示す表示画像データを生成した。

また、注目領域取得部３０５は、前記撮像画像データに含まれる第一の画像について注目画像領域を特定する特定手段として機能した。

また、表示部１１１は、前記表示画像データに基づいて、前記切り出し画像を並べて表示する表示手段として機能した。

また、表示部１１１は、ユーザ指示を受付ける受付手段としても機能した。

なお、本実施例において、表示モード１は、第一の画像を、複数の視点から同一の被写体を撮像して得られた複数の画像から抜き出して表示する第一の表示モードと言い変えることができる。

また、表示モード２は、第二の表示モードと言い変えることができる。第二の表示モードでは、切り出し画像が、表示手段の表示画面において対応画像領域に対応する画像が占める画像領域の割合が、撮像画像データが示す複数の画像において前記対応画像領域が占める画像領域の割合よりも大きくなるように並べて表示される。

＜実施例３＞
実施例３では、表示モード２において、広角で表示されたライブ画像データと、注目画像領域を切り出して拡縮した切り出し画像データとを混在して表示する場合について説明する。なお、本実施例における多眼カメラ１００のハードウェア構成は実施例１におけるものと同様であるため、説明を省略する。

本実施例においては、図１５に示すように、表示モード２において、注目被写体を切り出して拡縮した切り出し画像データと、広角で表示された、つまり、切り出し画像データよりも大きい被写体領域に対応するライブ画像データとが混在して表示される。これにより、ユーザは各視点の合焦状態の確認に加え、撮影時の画角の確認も同時に行えるようになる。

さらに、本実施例において、各撮像部の広角／切り出し表示は簡便に切り替えられるようになっているので、ユーザはそれぞれの撮像部の画角に所望の被写体が全て収まっているかどうかも簡便に確認できる。

図１３は、本実施例における画像処理部２１２の構成を示すブロック図である。実施例２における画像処理部２１２との違いとして、広角視点決定部１３０１が追加されている。以下、画像処理部２１２にて行われる処理を、図１３に示すブロック図および図１４に示すフローチャートを参照して説明する。画像処理部２１２においては、図１４のフローチャートに示す手順を記述したコンピュータで実行可能なプログラムをＲＯＭ２０２からＲＡＭ２０３上に読み込んだ後に、ＣＰＵ２０４によって該プログラムを実行することによって当該処理が実施される。

まず、表示モード１における処理について説明する。実施例１および２で説明したステップについての説明は省略する。

ステップＳ１４０１では、画像領域拡縮部３０９がステップＳ４０７と同様の処理により、ライブ画像データのトリミングおよび拡縮を行う。この時、画像領域拡縮部３０９は、ＲＡＭ２０３に保存された、拡縮を行う画像データに対応する視点を示す広角視点情報に基づいて、トリミングおよび拡縮を行う画像データを決定する。ここで、広角視点情報により指定されていない視点に対応する画像データはステップＳ４０４〜Ｓ４０７において決定された情報に基づいて拡縮される。一方、広角視点情報により指定されていない視点に対応する画像データはそのまま表示画像データ生成部３１５に出力される。なお、初期状態では、代表撮像部である撮像部１０５に対応する画像データが広角表示されるように設定されている。

次に、表示モード２における処理について説明する。

ステップＳ１１０６において、リセット指示がなされていないと表示モード設定部１００１に判定された場合、ステップＳ１４０２に進む。

ステップＳ１４０２では、広角視点決定部１３０１が、ユーザにより広角視点選択指示が入力されたかどうかを判定する。ここで、ユーザは表示部１１１に表示された、所望の画像をタッチすることで、広角表示する視点を選択する。ユーザにより広角視点選択指示が入力されたと判定された場合、ステップＳ１４０３に進む。ユーザにより広角視点選択指示が入力されていないと判定された場合、ステップＳ１４０１に進む。

次に、ステップＳ１４０３では、広角視点決定部１３０１が、入力された広角視点選択指示に基づいて、広角視点情報を更新する。既に広角表示されている画像上でタッチが検出された場合、広角視点決定部１３０１は、その画像に対応する視点を示す情報を広角視点情報から削除する。また、切り出し表示されている画像上でタッチが検出された場合、その画像に対応する視点を示す情報を広角視点情報に追加する。広角視点情報が更新されたら、ステップＳ１４０１に進み、ライブ画像データからの切り出しおよび拡縮を行う。

以上の処理により、表示モード２において、広角で表示されたライブ画像データと注目被写体を切り出して拡縮した画像データが混在して表示されるので、ユーザは各視点の合焦状態の確認に加え、撮影時の画角の確認も同時に行えるようになる。

さらに、各撮像部の広角／切り出し表示を簡便に切り替えられるので、ユーザはそれぞれの撮像部の画角に所望の被写体が全て収まっているかどうかも簡便に確認できる。

なお、本実施例において、広角画像はそのままのライブ画像データであるとしたが、切り出し画像データよりも広い被写体範囲を示す画像であれば、ライブ画像データをトリミングした画像であっても良い。

なお、本実施例において、撮像ライブ画像データ取得部３１０は、複数の視点から同一の被写体を撮像して得られた複数の画像を示す撮像画像データを取得する取得手段として機能した。

また、対応領域決定部３０７は、前記撮像画像データにおいて、記複数の画像において、同一の被写体の像を含む対応画像領域を決定する決定手段として機能した。

また、表示画像データ生成部３１５は、表示画像データを生成する生成手段として機能した。この生成手段は、前記撮像画像データを用いて、前記対応画像領域を含む画像領域を前記撮像画像データが示す複数の画像から切り出した切り出し画像のそれぞれを並べて表示するための画像を示す表示画像データを生成した。

また、注目領域取得部３０５は、前記撮像画像データに含まれる第一の画像について注目画像領域を特定する特定手段として機能した。

また、表示部１１１は、前記表示画像データに基づいて、前記切り出し画像を並べて表示する表示手段として機能した。

また、表示部１１１は、ユーザ指示を受付ける受付手段としても機能した。

また、広角視点決定部１３０１は、前記表示画像データにおける第一の位置に配置される画像として、前記撮像画像データが示す複数の画像のうちの同じ画像に対応する、前記広角画像と前記切り出し画像のうちの一方を選択する選択手段としても機能した。

＜その他の実施例＞
実施例は上記の構成に限定されるものではなく、上記の複数の実施例を組み合わせた構成であっても良い。例えば、第三の実施例において、第一の実施例のように、複数の画像が並べて表示された画面において注目画像領域の指定を行うようにしても良い。

また、上記の実施例では、多眼カメラにより取得された画像を用いられたが、複数の視点に対応する画像であればどのような画像が用いられても良い。例えば、撮像素子の前にマイクロレンズアレイを備えたＰｌｅｎｏｐｔｉｃカメラにより取得された画像が用いられても良い。また、独立した複数の異なるカメラにより取得された画像が用いられても良い。

また、実施例は撮像部と処理部を備えたカメラのみに限定されるものではなく、上記の実施例で行われる処理の一部が別のコンピュータによって行われる情報処理システムであっても良い。例えば、カメラが取得した画像データをコンピュータに出力し、入力された画像に基づいてコンピュータが表示画像データを生成し、ディスプレイに出力する情報処理システムであっても良い。

なお、本発明は例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。また、複数の機器から構成されるシステムに適用しても良いし、一つの機器からなる装置に適用しても良い。

また、本発明はソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては例えば、ハードディスク、光ディスク、光磁気ディスクが挙げられる。また、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などであっても良い。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記憶媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであっても良い。また、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

１００ 多眼カメラ
１０１〜１０９ 撮像部
１１１ 表示部
２１２ 画像処理部
３０７ 対応領域決定部
３１５ 表示画像データ生成部

Claims (21)

1. 複数の視点から同一の被写体を撮像して得られた複数の画像を示す撮像画像データを取得する取得手段と、
   前記撮像画像データを用いて、前記複数の画像において、同一の被写体の像を含む対応画像領域を決定する決定手段と、
   前記撮像画像データを用いて、前記対応画像領域を含む画像領域を前記撮像画像データが示す複数の画像から切り出した切り出し画像を並べて表示するための画像を示す表示画像データを生成する生成手段とを備え、
   前記生成手段は、前記表示画像データが示す画像において前記対応画像領域が占める画像領域の割合が、前記撮像画像データが示す複数の画像において前記対応画像領域が占める画像領域の割合よりも大きくなるように、前記表示画像データを生成することを特徴とする画像処理装置。
2. 前記撮像画像データに含まれる第一の画像について注目画像領域を特定する特定手段を更に有し、
   前記決定手段は、前記注目画像領域に含まれる被写体の像と同一の被写体に対応する像を含む画像領域を、前記対応画像領域として前記複数の画像において決定することを特徴とする請求項１に記載の画像処理装置。
3. ユーザ指示を受付ける受付手段を更に備え、
   前記特定手段は、前記受付手段が受付けたユーザ指示に基づいて前記注目画像領域を特定することを特徴とする請求項２に記載の画像処理装置。
4. 前記対応画像領域は、前記注目画像領域の画像座標を示す情報と、前記撮像画像データを撮像により取得する撮像装置のカメラパラメータを示す情報と、前記撮像装置から前記被写体までの距離を示す情報とに基づいて決定されることを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記カメラパラメータは、前記撮像画像データを撮像により取得する際の、前記撮像装置の撮像部の視点位置を示す情報を含むことを特徴とする請求項４に記載の画像処理装置。
6. 前記カメラパラメータは、前記撮像装置の撮像部の焦点距離を示す情報を更に含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記表示画像データは、前記切り出し画像よりも広い被写体領域を示す広角画像を更に並べて表示するための画像を示すデータを含むことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記広角画像は、前記撮像画像データが示す画像に対応する画像であり、
   前記表示される画像において第一の位置に配置される画像として、前記撮像画像データが示す複数の画像のうちの同じ画像に対応する、前記広角画像と前記切り出し画像のうちの一方を選択する選択手段を更に有することを特徴とする請求項７に記載の画像処理装置。
9. 前記表示される画像に含まれるが示す複数の画像は、前記表示される画像において、それぞれの画像に対応する視点位置に応じた位置に配置されることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記表示される画像は、前記切り出し画像を二次元に並べた画像であることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記切り出し画像は、前記表示される画像において、前記表示される画像の総ピクセル数を前記表示される画像に含まれる画像の枚数で割った値に、前記撮像画像データが示す複数の画像のうちの前記切り出し画像に対応する画像の総ピクセル数が一致するように前記切り出し画像に対応する画像を拡縮した画像よりも、縮尺の大きな画像であることを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
12. 前記表示画像データに基づいて、前記切り出し画像を並べて表示する表示手段を更に備えることを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. 複数の視点から被写体を撮像する複数の撮像部を更に備え、
    前記撮像画像データは、前記複数の撮像部により取得された複数の画像を示すことを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
14. 画像を表示する表示手段と、
    複数の視点から同一の被写体を撮像して得られた複数の画像を示す撮像画像データを取得する取得手段と、
    前記複数の画像において、同一の被写体の像を含む対応画像領域を決定する決定手段とを備え
    前記表示手段は、前記複数の画像を並べて表示する第一の表示モードと、前記対応画像領域を含む画像領域を前記複数の画像から切り出した切り出し画像を、前記表示手段の表示画面において前記対応画像領域に対応する画像が占める画像領域の割合が、前記複数の画像において前記対応画像領域が占める画像領域の割合よりも大きくなるように並べて表示する第二の表示モードとを備えることを特徴とする画像処理装置。
15. 画像を表示する表示手段と、
    複数の視点から同一の被写体を撮像して得られた複数の画像を示す撮像画像データを取得する取得手段と、
    前記複数の画像に含まれる第一の画像において注目画像領域を特定する特定手段と、
    前記複数の画像において、前記注目画像領域に含まれる被写体の像と同一の被写体に対応する像を含む対応画像領域を決定する決定手段とを備え
    前記表示手段は、前記第一の画像を、前記複数の画像から抜き出して表示する第一の表示モードと、前記対応画像領域を含む画像領域を前記複数の画像から切り出した切り出し画像を、前記表示手段の表示画面において前記対応画像領域に対応する画像が占める画像領域の割合が、前記複数の画像において前記対応画像領域が占める画像領域の割合よりも大きくなるように並べて表示する第二の表示モードとを備えることを特徴とする画像処理装置。
16. 前記第一の表示モードにおいて、前記第一の画像は全画面表示されることを特徴とする請求項１５に記載の画像処理装置。
17. ユーザ指示を受付ける受付手段を更に備え、
    前記特定手段は、前記第一の表示モードにおいて、前記受付手段が受付たユーザ指示に基づいて、前記注目画像領域を特定することを特徴とする請求項１５又は１６に記載の画像処理装置。
18. 複数の視点から同一の被写体を撮像して得られた複数の画像を示す撮像画像データを取得するステップと、
    前記撮像画像データを用いて、前記撮像画像データが示す複数の画像において、同一の被写体の像を含む対応画像領域を決定するステップと、
    前記撮像画像データを用いて、前記対応画像領域を含む画像領域を前記撮像画像データが示す複数の画像から切り出した切り出し画像のそれぞれを並べた画像を示す表示画像データを生成するステップとを含み、
    前記表示画像データは、前記表示画像データが示す画像において前記対応画像領域が占める割合が、前記撮像画像データが示す複数の画像において前記対応画像領域が占める画像領域の割合よりも大きくなるように、生成されることを特徴とする画像処理方法。
19. 画像処理装置によって処理された画像を表示手段に表示する画像処理方法であって、
    複数の視点から同一の被写体を撮像して得られた複数の画像を並べて表示するステップと、
    前記複数の画像において、同一の被写体の像を含む対応画像領域を決定するステップと、
    前記対応画像領域を含む画像領域を前記複数の画像から切り出した切り出し画像のそれぞれを、前記表示手段の表示画面において前記対応画像領域に対応する画像が占める画像領域の割合が、前記複数の画像において前記対応画像領域が占める画像領域の割合よりも大きくなるように並べて表示するステップと、を含む画像処理方法。
20. 画像処理装置によって処理された画像を表示手段に表示する画像処理方法であって、
    複数の視点から同一の被写体を撮像して得られた複数の画像に含まれる、第一の画像を前記複数の画像から抜き出して表示するステップと、
    前記第一の画像において、注目画像領域を特定するステップと、
    前記複数の画像において、前記注目画像領域に含まれる被写体の像と同一の被写体に対応する像を含む対応画像領域を決定するステップと、
    前記対応画像領域を含む画像領域を前記複数の画像から切り出した切り出し画像のそれぞれを、前記表示手段の表示画面において前記対応画像領域に対応する画像が占める画像領域の割合が、前記複数の画像において前記対応画像領域が占める画像領域の割合よりも大きくなるように並べて表示するステップと、を含む画像処理方法。
21. コンピュータを、請求項１乃至１７のいずれか一項に記載の画像処理装置の各手段として機能させるプログラム。

Images