JP2013098739A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】 満足のいく多視点画像の後処理を可能にしつつ、符号化データの削減する。
【解決手段】
符号量抑制モードがＯＮで、撮影モードが遠景撮影モードの場合には、多視点の画像の視差が小さいので、２次元配列の撮像部の四隅と中央の視点位置の画像を保存対象にする。また、符号量抑制モードがＯＮで、撮影モードが近景撮影モードの場合には、或る程度の高い画質の自由視点の画像を生成するため、遠景撮影モードよりも視点間隔が狭い視点位置の画像を保存対象にする。
【選択図】 図１

Description

本発明は、異なる視点で得られた複数の画像を処理するための画像処理装置及びその制御方法に関する。

近年、複数のカメラが２次元に配置され、同じ対象物体を様々な視点から同時に撮影して、視点位置の異なる画像群を得る多眼撮影システムが提案されている（特許文献１）。また、様々な画角で焦点の異なる複数の画像を同時に撮影するライトフィールドカメラも提案されている。これらのような撮影システムにより撮影される画像群を利用した、高度な臨場感の有る画像の記録と伝送を目的とする、多視点映像技術の研究が行われている。

上記の撮影装置により撮影される複数の視点画像の場合、画像間に補完情報を含むこともあって、画像データのデータ量が膨大になり、情報の冗長性がある。そのため、画像データをそのまま画像処理に用いる、或いは、伝送すると、画像処理が複雑になったり、高率な映像伝送ができなかったりする。そのため、複数の視点画像（以下、マルチビューとも呼ぶ）を圧縮符号化することが必要になる。

特開２０１０−１５７８２６号公報

多視点画像の場合、その視点数の画像が得られるので、圧縮符号化するにしても、視点数に比例した符号量となる。一つの解決策は、幾つかの視点位置の画像を保存対象外とすることである。しかし、この場合には、ユーザによる後処理に係る制約（例えば、ユーザが指定した視点位置の高い質の画像が生成できない等）となるであろう。

本発明は上記課題に鑑みなされたものであり、満足のいく多視点画像の後処理を可能にしつつ、符号化データの削減する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
Ｍ×Ｎ個の撮像部を有し、前記撮像部それぞれから得られた、互いに異なる視点位置の画像を符号化し、所定の記録媒体に保存する画像処理装置であって、
符号量を抑制する符号量抑制モードとするか、非符号量抑制モードにするかを設定する設定手段と、
該設定手段によって符号量を抑制する符号量抑制モードが設定された場合にあっては、撮影時の撮影モードが近景撮影モードか、遠景撮影モードかを判定する判定手段と、
前記設定手段により非符号量抑制モードが設定された場合には前記Ｍ×Ｎ個の撮像部からの全画像を保存対象として決定し、
前記判定手段で遠景撮影モードであると判定した場合、前記Ｍ×Ｎ個の撮像部における四隅を含むＩ個の撮像部からの画像を保存対象として決定し、
前記判定手段で近景撮影モードであると判定した場合、前記Ｍ×Ｎ個の撮像部中、前記近景撮影モードにおける保存対象の撮像部の間隔よりも短い間隔の、Ｊ個（ただし、Ｉ＜Ｊ＜Ｍ×Ｎ）の撮像部からの画像を保存対象として決定する決定手段と、
該決定手段で決定された撮像部における画像を保存対象画像として符号化する符号化手段と、
符号化して得られた符号化データを所定のメモリに保存する保存手段とを備える。

本発明によれば、満足のいく多視点画像の後処理を可能にしつつ、符号化データの削減することが可能になる。

複数の撮像部を備える多眼方式の撮像装置の一例を示す図。 撮像装置の内部構成を示すブロック図。 第１の実施形態に係る画像処理のフローチャート。 第１の実施形態に係る多眼撮像装置による取得する画像群の例を示す図。 第１の実施形態に係る遠景撮影モードの画像選択の一例を示す図。 第１の実施形態に係る近景撮影モードの画像選択の一例を示す図。 第１の実施形態に係る中心画像の一例を示す図。 第２の実施形態に係る画像処理のフローチャート。 ライトフィールドカメラの撮影装置の一例を示す図。 第３の実施形態に係る画像処理のフローチャート。 第４の実施形態に係る画像処理のフローチャート。 第５の実施形態に係る画像処理のフローチャート。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。ただし、如何に説明する各実施形態に示される構成要素はあくまで例示であり、本発明の技術の範囲は、特許請求の範囲によって確定されるものであって、以下の個別の実施形態によって限定されるわけではない。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理装置、すなわち、複数の撮像部を備える多眼方式による撮像装置の一例を示した図である。

撮像装置１００は筐体であり、画像を取得する９個の撮像部１０１〜１０９及び撮影ボタン１１０を備えている。説明を簡単なものとするため、９個の撮像部１０１〜１０９はは、正方格子上に均等に配置されているものとする。

ユーザが撮影ボタン１１０を押下すると、撮像部１０１〜１０９内に設けられたそれぞれのセンサ（撮像素子）が被写体像を受光する。そして、受光して得られたアナログ映像信号がＡ／Ｄ変換されて、複数の画像（デジタルデータ）が生成する。このような多眼方式の撮像装置により、同時に同一の被写体を複数の視点位置から撮像した画像群を得ることができる。なお、ここでは撮像部の数を９個としたが撮像部の数は９個に限定されない。撮像装置が複数の撮像部を有する限りにおいて本発明は適用可能である。また、ここでは９個の撮像部が正方格子上に均等に配置される例について説明したが、撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。

＜撮影装置の構成＞
図２は、本発明の第１の実施形態に係る画像処理装置内のブロック構成図である。

ＣＰＵ（中央処理装置；プロセッサ）２０１は、以下に述べる各部を統括的に制御する。撮影部２０２は画像データを取得する。この撮影部２０２は、図１の撮影装置にある撮影部１０１〜１０９を包含するものである。バス２０３は、各種データの転送経路となる通信路であり、撮像部２０２によって取得されたデジタルデータはこのバス２０３を介して所定の処理部に送られる。表示部２０４は撮影画像や文字の表示を行う。例えば、これには液晶ディスプレイが用いられる。表示部２０４はタッチスクリーン機能を有していても良い。表示制御部２０５は、表示部２０４に表示される撮影画像や文字の表示制御を行う。操作部２０６は、ユーザの指示を受け取る。この操作部２０６には、撮影ボタン１１０を始めとする各種ボタンや撮影モードダイヤルなどが含まれる。例えば、撮影時に、遠景撮影モードにするか近景撮影モードにするかをユーザが指定するためのボタンを含み、これを操作して、ＣＰＵ２０１を介して所定の処理を指示する。

撮像制御部２０７は、フォーカスを合わせる、シャッターの開閉、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像系の制御を行う。デジタル信号処理部２０８は、バス２０３を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。画像処理部２０９は、撮像部２０２により取得される画像群、或いは、デジタル信号処理部２０８から出力される画像群、或いは、操作部２０６からユーザの指定撮影モードの入力に応じて必要となる画像データを選択し、画像処理を行う。圧縮／伸長部２１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットへの変換、或いは、操作部２０６からユーザの指定撮影モードに応じて画像の選択、符号化制御などの処理を行う。

内部メモリ２１１は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能するほか、ＣＰＵ２０１で実行される制御プラグラム等を格納する。外部メモリ制御部２１２は、脱着可能な記憶媒体（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインターフェースである。

＜画像処理の流れ＞
本実施形態に係る画像処理は、上記撮影装置におけるＣＰＵ２０１、撮影部２０２、データの転送バス部２０３、操作部２０６、画像処理部２０９及び内部メモリ２１１に関連するものである。

図３（Ａ）は、本実施形態に係る画像処理のフローチャートを示す図である。

先ず、ＣＰＵ２０１は、Ｓ１０にて、ユーザによる操作部２０６に設けられたダイヤルやスイッチを操作を検出し、多眼撮影装置による撮影の際に符号量抑制モードのＯＮ／ＯＦＦを設定する（或いは、符号量抑制モード、非符号量抑制モードのいずれかを設定する）。ＣＰＵ２０１は、この設定内容を内部メモリ２１１に格納する。符号量抑制モードがＯＮの場合、多眼撮影装置が有する全視点の画像のうち幾つかを保存対象外とし、保存するデータ量を少なくするようにする（詳細後述）。一方、符号量抑制モードがＯＦＦの場合、多眼撮影装置が有する全視点の画像を保存対象とする。

次のＳ１１では、ＣＰＵ２０１は、内部メモリ２１１を参照し、符号量抑制モードのＯＮ／ＯＦＦを確認する。すなわち、符号量抑制モードがＯＦＦの場合、撮影モードの近景、遠景モードに依存せず、Ｓ１２にて、全視点を保存対象画像を撮影視点として設定し、その設定内容を内部メモリ２１１に保存する。

一方、符号量抑制モードがＯＮである場合には、Ｓ１３に進み、操作部２０６により、撮影モードを設定させる。撮影モードには、対象物が比較的近い位置にある近景モードと、遠い位置にある遠景モードがあり、そのいずれかをユーザに選択させる。設定した撮影モードは、内部メモリ２１１に格納される。なお、近景モードは、人物等のポートレート等の撮影に適したモードであり、遠景モードは風景等を撮影するモードである。そして、Ｓ１４にて、内部メモリ２１１を参照することで、撮影モードとして、近景モード、遠景モードのいずれが選択されたのかを判定する。

遠景モードであると判定した場合には、Ｓ１５に進み、画像選択処理１を実行する。一方、遠景モードではないと判定した場合、すなわち、近景モードであると判断した場合には、Ｓ１６に進み、画像選択処理２を実行する。画像選択処理１、２は、全視点中、保存対象画像を撮像する視点位置を選択するための処理であって、その選択内容は内部メモリ２１１に保存される。

今、Ｍ×Ｎ個の撮像部が存在するものとする。このとき、遠景撮影モードにおける画像選択処理１では、Ｍ×Ｎ個の撮像部における四隅を含むＩ個の撮像部からの画像を保存対象として決定する。一方、近景撮影モードにおける画像選択処理２では、Ｍ×Ｎ個の撮像部中、近景撮影モードにおける保存対象の撮像部の間隔よりも短い間隔の、Ｊ個（ただし、Ｉ＜Ｊ＜Ｍ×Ｎ）の撮像部からの画像を保存対象として決定する。

なお、上記実施形態では、符号量抑制モードのＯＮ／ＯＦＦの設定、次で、撮影モードの設定を行うものとしたが、これによって本発明が限定されるものではない。要するに、符号量抑制モードのＯＮ／ＯＦＦと、符号量抑制モードがＯＮの場合の遠景モード、近景モードが判別ができれば良い。

図３（Ｂ）は操作部２０６の撮影ボタン１１０が押下された際の処理を示している。Ｓ１７にて、ＣＰＵ２０１が操作部２０６内の撮影ボタン１１０の押下を検出すると、処理をＳ１８に進める。Ｓ１８では、撮影部２０２に搭載された各撮像部を制御し、撮像処理を行う。次で、Ｓ１９にて、内部メモリ２１１に保存された選択視点位置の画像のみを符号化し、１つの画像ファイルに多重化して保存する。

上記処理手順の具体例を以下に説明する。実施形態の如く、多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像する画像群が得られる。ここでは、実施形態の撮像装置が、正方格子上に均等に配置された５×５個の撮影部（５×５の視点）を有するものとして説明する。５×５の撮像部を有するわけであるから、図４に示すように、これにより５×５個の２５枚の画像を取得することが可能になる。この２５枚の画像が在ると、後処理にて、その範囲内の自由な視点位置からの映像に切り換えたり、ステレオ画像を生成したり、場合によっては、複数画像から超解像度画像を生成することもできる。この超解像度画像を生成する技術としては、“Multi frame image restoration and registration（TSAI R Y,HUANG T S.）”が挙げられる。しかし、保存する画像数は視点数に応じたものとなり、その分だけデータ量は大きなものとなる。

本実施形態では、多視点の効果は得たいものの、ある程度の制約は受けても、データ量を削減したいという要望に応えるため、符号量抑制モードを設けた。そして、この符号量抑制モードをＯＮにした場合、保存する視点画像数を、通常（符号量抑制モードがＯＦＦ）の場合よりも少なくし、データ量を減らす。しかし、視点数が少なくなればなるほど、多視点の効果も少なくなる点に注意しなければならない。従って、多視点の効果を可能な限り維持しつつ、データ量を減らすことが望まれる。実施形態では、符号量抑制モードがＯＮとなったとき、一律に保存対象視点位置と数を決めるのではなく、撮影モードに応じて保存対象視点位置と数を決定した。

遠景モードと近景モードとを比較したとき、撮影装置から被写体までの距離は遠景モードの方が長いと考えて良い。被写体までの距離が長くなればなるほど、各視点画像の視差が小さくなる。つまり、５×５個の撮影部による各画像間の差異も小さいと言える。従って、極端には、その中心部にある視点位置の画像のみを保存すれば良いが、これでは多眼方式のメリットを生かしているとは言えない。多眼方式では、様々な後処理が可能であるので、そのメリットは生かしたい。そこで、本実施形態では、図５の斜線部で示すように、５×５個の撮像部の中で、最大視差となり得る四隅の視点位置と、撮影の中心位置の計４箇所の視点位置を保存対象視点位置として決定した。先に説明した図３（Ａ）のＳ１５の処理は、図５の視点位置を選択するものである。

一方、近景撮影モードの場合、当然、遠景撮影時よりも撮影装置から被写体までの距離は短くなり、各視点位置の視差も大きくなる。つまり、各視点位置における画像間の差異も大きく、相関が高い。そのため、図５に示す遠景撮影モードよりも、多くの視点位置を保存対象とすることが望まれ、且つ、或る程度の視点位置は保存対象外にする必要がある。それ故、実施形態では、図５に示す保存対象視点位置間の距離よりも短い間隔の視点位置を保存対象とした。具体的には、図６に示すように、市松模様状に、保存対象位置を決定した。ここで、多視点の中心位置は保存対象にすることが望まれる。中心位置は被写体を撮影する際に最も参照される可能性が高いためである。また、このように市松模様状に保存対象視点位置を決定することで、後処理にて、手ぶれ補正、リフォーカス、自由視点画像の生成処理にも十分に耐えられる画像が得られる。ここで、デジタル手ぶれ補正は、揺れの周波数と振幅量の相関により撮影画像データの移動情報を算出することで画像の修復を行う処理である。リフォーカス処理は、撮影時の被写体深度を得て、深度係数を調整することにより被写体や背景など任意の部分にピントを合わせ、それ以外にぼかす処理である。自由視点画像の生成処理は、撮影部の撮影画像から撮像されていない撮像位置の画像を生成する、任意視点の画像を得る処理である。近景撮影モードの場合は、上記画像処理例はそれぞれ必要となる画像データが違うので、画像処理に応じて画像選択を制御する。

＜手ぶれ補正の処理例＞
手ぶれは人間の手の揺れによっておこるもので、手ぶれ補正は、連続画像間、即ち、フレーム間、の位置合わせによりぼけ部分を補正する処理である。撮影装置の中心撮影部から取得する画像はユーザが一番注目すると思われる画像なので、この画像を中心に、中心画像の撮影カメラのぶれ方向にある一連の画像を手ぶれ補正用の画像にするのは一般である。図６にある選択される画像を手ぶれ補正に応用する際に、例えば、縦方向にぶれる場合には、中心画像と、縦列方向にあるカメラ同士から取得する画像を選択すれば良い。或いは、横方向にぶれる場合に、中心画像と、行列方向にあるカメラ同士から取得する画像を選択すれば良い。ぶれ方向が確定されない場合に、縦方向か横方向の画像選択方法のいずれにすれば良い。

＜リフォーカスの処理例＞
リフォーカス処理は、撮影時の深度、以下に距離とも呼び、を推定し、この深度情報により注目部位にピントを合わせ、それ以外にぼかす処理である。深度推定は、ある程度視差のある二枚の画像から出来るが、距離の推定精度を上げるために基線長が長くなる位置、即ち、視差情報の大きい位置、にある画像を処理対象画像にするのは一般である。図６にある選択される画像をリフォーカスに応用する際に、例えば、選択画像のうち、撮影装置の対角線の両端にある選択画像、或いは、上下方向の両端にある画像、或いは、他に任意方向の両端にある画像を選択すれば良い。

＜自由視点画像生成の処理例＞
自由視点画像の生成は、予め取得した視点画像、或いは、視点画像及び深度画像両方を利用して任意視点の仮想カメラからの撮影画像を生成するものである。基本的に、撮影装置の四端にある撮影カメラから取得する画像は重要で、そこから中間視点の画像情報の生成が可能になる。図６にある選択される画像を自由視点生成処理に応用する際に、例えば、中心画像と四端にある画像計五枚を使っても良いし、密に選択される画像を使っても良い。

上記の実施形態では、符号量抑制モードをＯＮ／ＯＦＦに分け、それがＯＮである場合に撮影モードを遠景モード、近景モードと大きく分け、画像の選択基準、画像の枚数を切り替えるものとした。カメラのマトリクが水平、垂直とも奇数である場合は、撮影装置の中心に位置するカメラから取得する画像を中心画像とする例を挙げた。カメラのマトリクスが水平、垂直の少なくとも一方が偶数である場合、その中心位置近傍にある１つを雄心視点とすれば良い。例えば図７に示すように６×６個の撮像部を有する撮影装置の場合には、図示のように、４種類あるうちのいずれかを中心視点として扱い、その視点位置を遠景、近景モードにおける共通な保存対象画像を撮影する視点位置とすれば良い。

また、上記実施形態では、近景撮影モードの場合の画像選択は、撮影装置の中心撮影部から取得する中心視点画像及び、撮影装置の四隅にある撮影部から取得する四隅の視点画像及び、中心撮影部と四隅にある撮影部の間に一定間隔にある撮影装置から取得する視点画像を選択対象にするものとした。ここでの一定間隔は、密でも良いし、疎でも良い。

また、上記実施形態では、遠景モードの場合の画像処理として超解像度画像の生成、また、近景モードの場合の画像処理として手ぶれ補正、リフォーカス、自由視点画像生成処理を例として説明するものとした。上記以外の画像処理を挙げても良い。

更に、上記実施形態では、多視点の撮像装置を例にして説明したが、例えば多視点撮像部をＵＳＢインタフェース等を介して接続するＰＣ内のＣＰＵが上記実施形態で示した処理を実行しても良いので、撮像装置等の単体装置に限定されない。かかる点は、以下に説明する各実施形態でも同様である。

［第２の実施形態］
上記の第１の実施形態では、近景撮影モード、遠景撮影モードのいずれかをユーザが操作部２０６を操作して指定するものとした。本実施形態では、撮影モードとして、遠景モード、近景モード、更には自動モードを有する例を説明する。装置構成は第１の実施形態と同様としてその説明は省略する。自動モードでは、被写体の遠景、近景の判断は撮影画像から判断するものである。なお、第１の実施形態では、保存対象の画像に対応する視点位置は、撮影モードを指定したときに決定していた。かか点、本第２の実施形態では、撮影ボタン１１０が押下されたときに、符号量抑制モードのＯＮ／ＯＦＦ、撮影モードに応じて、保存する画像の視点位置とし、図５、図６、或いは全視点のいずれかを決定し、保存する例を説明する。

以下、撮影ボタン１１０を操作された際の処理を図８のフローチャートに従って説明する。

先ず、Ｓ２１では、符号量抑制モードがＯＮになっているか否かを内部メモリ２１１を参照して判断する。ＯＦＦの場合には、Ｓ２２に進み、撮影して得られた５×５個の画像を選択し、Ｓ２９にて符号化し、１つファイルに多重化して保存する。

一方、符号量抑制モードがＯＮになっていると判断した場合、自動モードであるか否かを判断する。否の場合、ユーザは明示的に近景モード、遠景モードを指定しているので、Ｓ２６にて遠景モードか否かを判断し、遠景モードである場合にはＳ２７に進み、近景モードの場合にはＳ２８の処理に進む。

また、自動モードの場合には、Ｓ２５にて、予め設定された数の視点位置（二次元配列の４隅中の２つで良いであろう）の撮像画像から、一時的に近景モード、遠景モードを判定する。実施形態では、その画像から、被写体までの奥行き、即ち、深度画像を生成し、この深度画像の画素値（奥行き情報）のヒストグラム分布に基づき視差判定を行う。そして、奥行き情報のヒストグラム分布がフラットであれば、奥行きの差異が少なく、視差が小さい画像とし、撮影モードは一時的に遠景モードとして扱う。なお、ヒストグラム分布がフラットであるか否かは、ヒストグラム分布の標準偏差を求め、その値が予め設定された閾値以下である場合にフラット（平坦度が高い）と判断すれば良い。一方、奥行き情報のヒストグラム分布に非フラットであれば、奥行きの差異が大きく、視差が大きい画像とし、撮影モードは一時的に近景モードと判断する。この一時的に判定した近景、遠景モードに従って、Ｓ２６の判定が行われる。

Ｓ２６に処理が進んだ場合、５×５個の視点中、図５の斜線部分の視点位置の画像保存対象として選択し、Ｓ２９にて選択した画像をそれぞれ圧縮符号化し、１つのファイルに多重化させて保存する。また、Ｓ２８に処理が進んだ場合には、５×５個の視点中、図６の斜線部分の視点位置の画像保存対象として選択し、Ｓ２９にて選択した画像をそれぞれ圧縮符号化し、１つのファイルに多重化させて保存することになる。

［第３の実施形態］
上記の第１、第２の実施形態では、複数のカメラを空間的に配置する多眼方式の撮像装置に関して、撮影モードは遠景モードか近景モードにより画像選択の切り替えを行うものとした。本第３の実施形態は、多眼方式の撮影装置を光学的に実現するライトフィールドカメラのような撮影装置に関して、撮影装置に取り付けられるレンズの情報を利用して、遠景モードに相当する撮影か、近景モードに相当するか撮影を判断する例を説明する。

図９は、ライトフィールドカメラの撮影装置の一例を示す図である。ライトフィールドカメラは、通常のカメラのレンズ（以下、メインレンズとも呼ぶ）とセンサの間に、複数のマイクロレンズを搭載する撮影装置である。通常のカメラは、光線はカメラのレンズを通過し、撮像素子上（センサ）の１点に集まるが、ライトフィールドカメラでは、被写体の光情報をメインレンズに入射し、マイクロレンズを通過して、センサ（撮像素子）で受光し、デジタルデータが取得する。違う光の方向に各マイクロレンズから撮影素子に投影する画素の融合画像は視点画像群になる。図２の構成は、この撮影装置の内部構成に適用した図とした場合にも適用できるので、以下では。このライトフィールドカメラに適用した場合の処理を図１０のフローチャートに従って説明する。同図は撮影ボタン１１０が押下された際の処理である。

先ず、Ｓ３０では、符号量抑制モードがＯＮになっているか否かを判断する。符号量抑制モードがＯＦＦの場合には、Ｓ３１に進み、全視点の画像を保存対象として決定し、Ｓ３８にて、それぞれを圧縮符号化し、１つのファイルに多重化して保存する。

一方、符号量抑制モードがＯＮになっていると判断した場合、Ｓ３２に処理を進める。Ｓ３２では、カメラレンズの焦点情報（以下、焦点距離とも呼ぶ）を取得する。この焦点情報取得の一例として、撮影部制御部２０７により撮影部２０２を制御する際、撮影部２０２に接続されているレンズの焦点情報を読み出して内部メモリ２１１に格納し、ＣＰＵ２０１により取り出す。次で、Ｓ３３にて、焦点情報と予め設定された閾値（例えば、５０ｍｍ）とを比較し、焦点距離が閾値以上である場合にはＳ３５に進み、焦点距離が閾値より小さい場合にはＳ３７に処理を進める。Ｓ３５、Ｓ３７では、視差が小さいと判断し、全画像の内、予め設定された枚数の画像を選択する。ただし、Ｓ３５で選択する枚数は、Ｓ３７で選択する枚数より少ない。

［第４の実施形態］
上記実施形態では、Ｍ×Ｎ個の撮像部を有する多眼撮影装置における符号量抑制モードがＯＮになっているとき、Ｍ×Ｎより少ない数の画像を保存した。しかし、保存する画像の枚数はＮ×Ｍ枚の固定にし、圧縮率の異なる符号化を適用的に切り換えるようにしても良い。すなわち、符号量抑制モードがＯＦＦの場合、全画像を画質優先すべく、低圧縮率である低圧縮符号化モードで符号化する（第１の圧縮率による符号化処理）。そして、符号量抑制モードがＯＮになっている場合には、低圧縮符号化モード（第１の圧縮率）で符号化する画像数を減らし、逆に、高圧縮符号化（第２の圧縮率）で符号化される画像数を多くする。

説明を単純にするため、先に説明した第２の実施形態に適用する例を説明する。また、圧縮／伸長部２１０は、ＪＰＥＧ符号化／復号部であるものとし、設定する量子化ステップの値によって圧縮率を変えるものとして説明するが、圧縮率が可変であればＪＰＥＧに限るものではない。図１１のフローチャートは、図８のＳ２７の処理内容と理解されたい。

先ず、Ｓ４１にて撮像した５×５個の画像中の１つを取得する。取得順は、ラスタースキャン順とする。そして、Ｓ４２にて、取得した画像の視点位置が図５の斜線部に対応する位置であるか否かを判定することで、取得画像が選択画像であるか否かを判定する。

選択画像ではない、すなわち、非選択画像であると判断した場合には、Ｓ４４に進み、圧縮／伸長部２１０に対して、高圧縮用のパラメータ（例えば量子ステップＱ１）を設定し、圧縮符号化させる。一方、選択画像であると判定した場合にはＳ４３に進み、低圧縮の符号化対象の画像であるので、圧縮／伸長部２１０に対して、低圧縮用のパラメータ（例えば量子ステップＱ０、ただだいＱ０＜Ｑ１の関係にある）を設定し、圧縮符号化させる。

そして、Ｓ４５にて、２５枚の画像の全ての符号化が完了したと判断するまで、上記処理を繰り返す。

以上の結果、図５における斜線部分で示す視点位置の画像については、低圧縮符号化され高画質を保ったまま符号化が行える。そして、斜線部分以外の視点位置の画像については多少画質が劣化するかもしれないが、符号量が少なくなり、全体としての符号量は、符号量抑制モードがＯＦＦの場合よりも少なくできる。

なお、図８のＳ２８では、図６を参照して符号化が行われる点が異なるが、処理内容は図１１と同じである。即ち、図６における斜線部分では低圧縮率で画像符号化が行われ、それ以外では高圧縮符号化が行われる。

また、本第２の実施形態では、圧縮率の設定を、量子化パラメータを用いて行うものとしたが、圧縮率が設定できるものであれば上記に限らない。例えば、選択画像についてはＭＶＣ(Multiview Video Coding）におけるＩピクチャとして符号化を行ない、非選択画像はＢピクチャとして符号化しても構わない。

［第５の実施形態］
上記第４の実施形態では、選択画像か、非選択画像かを判定し、その判定結果に応じて符号化の際の量子化ステップＱ０、Ｑ１（Ｑ０＜Ｑ１）のいずれかを選択して符号化を行った。第４の実施形態に加えて、本第５の実施形態では、撮像画像の最終保存先である外部メモリ制御部２１２に管理されている記憶媒体の空き容量も加味する例を説明する。このため、本第５の実施形態では、第３の圧縮率を実現する量子化ステップＱ０’、第４の圧縮率を実現する量子化ステップＱ１’（ただし、Ｑ０’＜Ｑ１’）を設ける。先に示した組｛Ｑ０，Ｑ１｝との関係で示すと、Ｑ０≦Ｑ０’、Ｑ１≦Ｑ１’の関係にある。すなわち、Ｑ０’を用いた場合、Ｑ０を用いた場合より圧縮率が高くなり、生成される符号化データ量は少なくできる。そして、Ｑ１’を用いた場合、Ｑ１を用いた場合より圧縮率が高くなり、生成される符号化データ量は少なくできることを意味する。

以下、撮影ボタン１１０が押下された際のＣＰＵ２０１の処理手順を図１２のフローチャートに従って説明する。この処理は、図８のＳ２７（Ｓ２８）の処理である。

Ｓ５１では、選択画像用の量子化ステップとしてＱ０、非選択画像用の量子化ステップとしてＱ１を仮設定する。次で、Ｓ５２に進み、撮像画像データの保存先である、外部メモリ制御部２１２に接続された脱着可能な記憶媒体（コンパクトフラッシュ（登録商標）メモリ等）の空き容量が予め設定された閾値以上あるか否かを判断する。空き容量が閾値以上ある場合には、選択画像用の量子化ステップＱ０、非選択画像用の量子化ステップＱ１として決定する。一方、空き容量が閾値未満である場合には、Ｓ５３に進み、量子化ステップＱ０をＱ０’で更新し、量子化ステップＱ１をＱ１’で更新する。

この後、Ｓ５４にて、撮像した２５枚中の１枚を取得する。そして、Ｓ５５にて、その画像が選択画像か否か、換言すれば、図５の斜線部分の視点位置の画像か否かを判定する。選択画像であると判定した場合には、Ｓ５６にて、その画像を量子化ステップＱ０を用いて符号化する。一方、非選択画像であると判定した場合（図５の空白で示される視点位置の画像）には、Ｓ５７にて、量子化ステップＱ１を用いて符号化する。

そして、Ｓ５８にて、全画像について符号化が完了したか否かを判定し、否の場合にはＳ５７以降の処理を繰り返す。そして、全画像についての符号化が完了したと判定した場合には、各視点位置の画像の符号化データを所定形式に多重化し、１つのファイルとして記憶媒体に保存する。

上記は図８のＳ２７における処理であったが、図８のＳ２８の処理では、図６のパターンに従って、選択画像、非選択画像の判定を行う点が異なるのみであるので、その説明は省略する。

上記実施形態では、記憶媒体の空き容量が閾値以上あるか否かで、量子化ステップ｛Ｑ０、Ｑ１｝と｛Ｑ０’、Ｑ１’｝を切り換えるものであったが、空き容量が閾値未満である場合には、Ｑ１をＱ１’に着ろいかえ、Ｑ０は変更しないようにしても良い。また、記録媒体の容量が少ない場合は、選択される画像の密度、即ち、枚数を調整しても良い。また、記録媒体の容量が非常に少ない場合は、選択されない画像を優先的に消去しても良い。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. Ｍ×Ｎ個の撮像部を有し、前記撮像部それぞれから得られた、互いに異なる視点位置の画像を符号化し、所定の記録媒体に保存する画像処理装置であって、
   符号量を抑制する符号量抑制モードとするか、非符号量抑制モードにするかを設定する設定手段と、
   該設定手段によって符号量を抑制する符号量抑制モードが設定された場合にあっては、撮影時の撮影モードが近景撮影モードか、遠景撮影モードかを判定する判定手段と、
   前記設定手段により非符号量抑制モードが設定された場合には前記Ｍ×Ｎ個の撮像部からの全画像を保存対象として決定し、
   前記判定手段で遠景撮影モードであると判定した場合、前記Ｍ×Ｎ個の撮像部における四隅を含むＩ個の撮像部からの画像を保存対象として決定し、
   前記判定手段で近景撮影モードであると判定した場合、前記Ｍ×Ｎ個の撮像部中、前記近景撮影モードにおける保存対象の撮像部の間隔よりも短い間隔の、Ｊ個（ただし、Ｉ＜Ｊ＜Ｍ×Ｎ）の撮像部からの画像を保存対象として決定する決定手段と、
   該決定手段で決定された撮像部における画像を保存対象画像として符号化する符号化手段と、
   符号化して得られた符号化データを所定のメモリに保存する保存手段と
   を備えることを特徴とする画像処理装置。
2. 前記判定手段は、ユーザによる指定した撮影モードから判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記Ｍ×Ｎ個の撮像部中の予め設定された視点位置の画像から、被写体までの深度画像を生成し、当該深度画像の画素値の平坦度を算出し、算出した平坦度と予め設定された閾値とを比較し、平坦度が閾値以下である場合には遠景撮影モードとして判定し、平坦度が閾値を超える場合には近景撮影モードと判定することを特徴とする請求項１に記載の画像処理装置。
4. 前記判定手段は、前記撮像部の焦点距離が予め設定された閾値以上である場合には遠景撮影モード、前記撮像部の焦点距離が予め設定された閾値未満の場合には近景撮影モードと判定することを特徴とする請求項１に記載の画像処理装置。
5. Ｍ×Ｎ個の撮像部を有し、前記撮像部それぞれから得られた、互いに異なる視点位置の画像を符号化し、所定の記録媒体に保存する画像処理装置であって、
   符号量を抑制する符号量抑制モードとするか、非符号量抑制モードにするかを設定する設定手段と、
   該設定手段によって符号量を抑制する符号量抑制モードが設定された場合にあっては、撮影時の撮影モードが近景撮影モードか、遠景撮影モードかを判定する判定手段と、
   前記設定手段により非符号量抑制モードが設定された場合には前記Ｍ×Ｎ個の撮像部からの全画像を第１の圧縮率による符号化対象として決定し、
   前記判定手段で遠景撮影モードであると判定した場合、前記Ｍ×Ｎ個の撮像部における四隅を含むＩ個の撮像部からの画像を第１の圧縮率、それ以外の画像を前記第１の圧縮率よりも高い第２の圧縮率による符号化対象として決定し、
   前記判定手段で近景撮影モードであると判定した場合、前記Ｍ×Ｎ個の撮像部中、前記近景撮影モードにおける前記第１の圧縮率での符号化対象となった撮像部の間隔よりも短い間隔の、Ｊ個（ただし、Ｉ＜Ｊ＜Ｍ×Ｎ）の撮像部からの画像を前記第１の圧縮率、それ以外の画像を前記第２の圧縮率による符号化対象として決定する決定手段と、
   該決定手段で決定された撮像部における画像を、それに対して決定した圧縮率に従って符号化する符号化手段と、
   符号化して得られた符号化データを所定のメモリに保存する保存手段と
   を備えることを特徴とする画像処理装置。
6. 更に、前記所定のメモリの空き容量を検出する検出手段を有し、
   前記決定手段は、該検出手段で検出した空き容量が予め設定した閾値未満の場合には、前記第１の圧縮率に代えて、当該第１の圧縮率よりも高い第３の圧縮率、前記第２の圧縮率に代えて、当該第２の圧縮率よりも高い第４の圧縮率（ただし、第３の圧縮率＜第４の圧縮率）を用いることを特徴とする請求項５に記載の画像処理装置。
7. Ｍ×Ｎ個の撮像部を有するコンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至６のいずれか１項に記載の各手段として機能させるためのプログラム。
8. 請求項７に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
9. Ｍ×Ｎ個の撮像部を有し、前記撮像部それぞれから得られた、互いに異なる視点位置の画像を符号化し、所定の記録媒体に保存する画像処理装置の制御方法であって、
   設定手段が、符号量を抑制する符号量抑制モードとするか、非符号量抑制モードにするかを設定する設定工程と、
   判定手段が、該設定工程によって符号量を抑制する符号量抑制モードが設定された場合にあっては、撮影時の撮影モードが近景撮影モードか、遠景撮影モードかを判定する判定工程と、
   決定手段が、
   前記設定工程により非符号量抑制モードが設定された場合には前記Ｍ×Ｎ個の撮像部からの全画像を保存対象として決定し、
   前記判定工程で遠景撮影モードであると判定した場合、前記Ｍ×Ｎ個の撮像部における四隅を含むＩ個の撮像部からの画像を保存対象として決定し、
   前記判定工程で近景撮影モードであると判定した場合、前記Ｍ×Ｎ個の撮像部中、前記近景撮影モードにおける保存対象の撮像部の間隔よりも短い間隔の、Ｊ個（ただし、Ｉ＜Ｊ＜Ｍ×Ｎ）の撮像部からの画像を保存対象として決定する決定工程と、
   符号化手段が、該決定工程で決定された撮像部における画像を保存対象画像として符号化する符号化工程と、
   保存手段が、符号化して得られた符号化データを所定のメモリに保存する保存工程と
   を有することを特徴とする画像処理装置の制御方法。
10. Ｍ×Ｎ個の撮像部を有し、前記撮像部それぞれから得られた、互いに異なる視点位置の画像を符号化し、所定の記録媒体に保存する画像処理装置の制御方法であって、
    設定手段が、符号量を抑制する符号量抑制モードとするか、非符号量抑制モードにするかを設定する設定工程と、
    判定手段が、該設定工程によって符号量を抑制する符号量抑制モードが設定された場合にあっては、撮影時の撮影モードが近景撮影モードか、遠景撮影モードかを判定する判定工程と、
    決定手段が、
    前記設定工程により非符号量抑制モードが設定された場合には前記Ｍ×Ｎ個の撮像部からの全画像を第１の圧縮率による符号化対象として決定し、
    前記判定工程で遠景撮影モードであると判定した場合、前記Ｍ×Ｎ個の撮像部における四隅を含むＩ個の撮像部からの画像を第１の圧縮率、それ以外の画像を前記第１の圧縮率よりも高い第２の圧縮率による符号化対象として決定し、
    前記判定工程で近景撮影モードであると判定した場合、前記Ｍ×Ｎ個の撮像部中、前記近景撮影モードにおける前記第１の圧縮率での符号化対象となった撮像部の間隔よりも短い間隔の、Ｊ個（ただし、Ｉ＜Ｊ＜Ｍ×Ｎ）の撮像部からの画像を前記第１の圧縮率、それ以外の画像を前記第２の圧縮率による符号化対象として決定する決定工程と、
    符号化手段が、該決定工程で決定された撮像部における画像を、それに対して決定した圧縮率に従って符号化する符号化工程と、
    保存手段が、符号化して得られた符号化データを所定のメモリに保存する保存工程と
    を有することを特徴とする画像処理装置の制御方法。

Images