JP2013009275A - 画像処理装置および画像処理方法、プログラム。 - Google Patents

Abstract

【課題】多視点から撮影した画像データを合成し、新たな画像データを生成する場合の計算コストを削減する。
【解決手段】撮影モード（背景モードやマクロモード等）に基づいて多視点画像データから中間視点画像データを生成し、多視点画像データと中間視点画像データとに基づいて合成画像データを生成する。多視点画像データから生成される中間視点画像データの数は、通常モードあるいは風景モード等の撮影モードに応じて異ならせる。
【選択図】図３

Description

複数の撮像部を有する撮像装置により取得された多視点画像データに基づいて、合成画像データを生成する画像処理装置および画像処理方法に関する。

従来、多視点（撮像位置）から撮像した画像データ（以下、多視点画像データ）を合成することによって、新たな画像データを生成する技術がある。例えば、多視点画像データに対して、仮想的なピント面やボケ量を設定し、画像処理によって合成することで新たな画像データを生成するリフォーカス技術が提案されている（特許文献１及び非特許文献１）。リフォーカス技術では、設定したピント面において被写体位置が一致するように各画像データを合成することで、設定したピント面においてピントの合った画像データを生成する。一方、非ピント面では位置がずれて合成されることによって、非ピントによるボケ像が再現できる。特許文献１では、多視点画像の撮影時の光線情報に基づいて、画像データを合成することでボケの大きさ調整や特徴的なボケの再現を行う。また、非特許文献１では、多視点画像の中間視点画像データを推定することで、滑らかなボケを再現することが可能となる。

特開２００９−１５９３５７号公報

Ｕｎｃａｌｉｂｒａｔｅｄ Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ ｆｏｒ Ｄｅｆｏｃｕｓ Ｃｏｎｔｒｏｌ， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００９． ＣＶＰＲ ２００９． ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄａｔｅ：２０−２５ Ｊｕｎｅ ２００９

しかしながら、特許文献１の方法の場合には、被写体に奥行きがある場合に滑らかなボケを再現できないという問題がある。一方、非特許文献１の方法は、中間視点画像を推定するため、被写体に奥行きがあったとしても、滑らかなボケを再現することができる。しかしながら、すべてのカメラ間において中間視点画像データを生成するため、計算コストが膨大なものとなってしまう。

以上の課題を解決するために、本発明の画像処理装置は、複数の撮像部を有する撮像装置により取得された、前記複数の撮像部それぞれに対応する多視点画像データを入力する多視点画像データ入力手段と、前記撮像装置により前記多視点画像データを撮影する際の撮影モードを入力する撮影モード入力手段と、前記撮影モード入力手段により入力された撮影モードに基づいて、前記多視点画像データから中間視点画像データを生成する中間画像データ生成手段と、前記多視点画像データと前記中間視点画像データとに基づいて、合成画像データを生成する合成画像データ生成手段とを有することを特徴とする。

本発明によれば、撮影モードに基づいた中間視点画像データを生成することにより計算コストを抑制することが可能となる。

実施例１における撮像装置の一例を示した図である。 実施例１における撮像装置の内部構成を示すブロック図である。 実施例１における画像処理部の内部構成を示すブロック図である。 実施例１における処理の流れを示すフローチャートである。 実施例１における撮影モード設定のユーザインタフェース例である。 実施例１におけるリフォーカスパラメータ設定のユーザインタフェース例である。 実施例１における各撮影モードにおける中間視点位置の一例である。 実施例１における各撮影モードにおけるボケの大きさ範囲の対応表の一例である。 実施例１の中間視点画像生成における処理の流れを示すフローチャートである。 中間視点画像生成の概要を示す図である。 実施例１の画像合成部の処理の流れを示すフローチャートである。 画像合成の概要を示す図である。 重み係数を説明するための図である。 実施例２における画像処理装置の内部構成を示すブロック図である。 実施例２におけるユーザインタフェースの一例である。 実施例２における処理の流れを示すフローチャートである。

［実施例１］
図１は、本実施例における撮像装置の一例を示した図である。１０１は撮像装置の筺体であり、多眼撮像部１０２〜１１０を備える。また、撮像装置１０１の動作を開始するためのシャッターボタン１１１、及び、撮像装置１０１を操作するための操作ボタン１１２、さらに、画像やグラフィックユーザーインタフェースを表示するための表示部１１３を備える。

図２は、本実施例における撮像装置１０１の内部構成を示すブロック図である。多眼撮像部１０２〜１１０は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤの撮像センサなどから構成され、被写体の光量を検知する。Ａ／Ｄ変換部２０７は、多眼撮像部１０２〜１１０にて検知した被写体の光量をデジタル信号値に変換する。画像処理部２０８は上記のデジタル信号値に対して、画像処理を行う部分で詳細については後述する。Ｄ／Ａ変換部２１０は、上記デジタル信号値をアナログ信号に変換する。エンコーダ部２０９は上記デジタル信号値をＪｐｅｇなどのファイルフォーマットに変換処理を行う。メディアＩ／Ｆ２１１は、ＰＣ／メディア２１２（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなど）につなぐためのインタフェースである。

ＣＰＵ２０１は、各構成の処理に関わり、ＲＯＭ２０２やＲＡＭ２０３に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、撮像系制御部２０４は多眼撮像部１０２〜１１０に対して、フォーカスを合わせる、シャッターを開く、絞りを調整するなどのＣＰＵ２０１から指示された制御を行う。制御部２０５はシャッターボタン１１１や操作ボタン１１２からのユーザ指示によって、全体処理の開始及び終了の制御を行う。キャラクタージェネレーション部２０６は文字やグラフィックなどを生成し、表示部１１３に表示する。表示部１１３は、一般的には液晶ディスプレイなどが用いられており、キャラクタージェネレーション部２０６やＤ／Ａ変換部２１０から受け取った画像データ、文字、グラフィックインタフェースなどを表示する。また、タッチスクリーン機能を有していてもよく、その場合は、表示部１１３上におけるユーザ指示を制御部２０５の入力として扱うことも可能である。尚、本実施例では、多眼撮像装部として９個を例として挙げたが、２つ以上の撮像部をもつものであればこれに限定されない。

図３は本実施例の画像処理部２０８の内部ブロック図である。画像入力部３０１は複数の撮像部（多視点撮像部）１０２〜１１０にて撮像し、Ａ／Ｄ変換部２０７にてデジタル信号値となった多視点画像データを入力する。現像処理部３０２は、画像入力部３０１にて入力した多視点画像データに対して、デモザイク、ホワイトバランス、ノイズリダクション、ガンマ、シャープネスなどの処理を行う。中間視点パラメータ設定部３０３は、ユーザによって操作ボタン１１２を用いて指示された撮影モードに応じた中間視点パラメータを設定する。中間視点パラメータについては後述する。リフォーカスパラメータ入力部３０４は、ユーザによって操作ボタン１１２を用いて指示されたピント位置やボケの大きさを入力する。中間視点画像生成部３０５は、現像処理された多視点画像データと中間視点パラメータを用いて中間視点画像データを生成する。画像合成部３０６は多視点画像データ、中間視点画像データ、ピント位置及びボケの大きさを用いて画像合成処理を行い、合成画像データを生成する。画像出力部３０７は、合成画像データをＤ／Ａ変換部２１０にてアナログ信号に変換し表示部１１３、もしくは、エンコーダ部２０９にてエンコードされ、ＰＣ／メディアに出力する。

図４は本実施例の撮像装置の処理の流れを示すフローチャートである。

ステップＳ４０１では、ユーザによって撮影モードの設定を行う。図５は撮影モードの設定のユーザインタフェースの一例である。図５に示すように、ノーマル（通常）・風景・マクロ・ポートレート・集合写真・スポーツの撮影モードの選択肢を表示部１１３に表示し、操作ボタン１１２を操作することで撮影モードを選択する。ステップＳ４０２では、中間視点パラメータ設定部３０３にて、中間視点画像データを生成するための中間視点パラメータをセットする。（尚、詳細については後述する。）ステップＳ４０３では、ユーザがシャッターボタン１１１を操作することで、撮影を行う。ステップＳ４０４では、ステップＳ４０３にて撮影した画像を画像入力部３０１にて入力し、現像処理部３０２にて現像処理を行うことで多視点画像データを生成する。ステップＳ４０５では、ステップＳ４０３にて生成した多視点画像データとステップＳ４０２にて、セットした中間視点画像データを生成するための中間視点パラメータを用いて、中間視点画像データを生成する。（尚、詳細については後述する。）ステップＳ４０６では、リフォーカスパラメータを設定するための画像を表示部１１３に表示する。ここで、表示する画像は対象被写体全体を撮影した画像であることが望ましく、例えば、多眼撮像装置１０６によって撮影した画像データが示す画像を表示する。ステップＳ４０７では、リフォーカスに必要なパラメータであるピント位置とボケの大きさの設定を行う。図６はリフォーカスに必要なパラメータを設定のユーザインタフェースの一例である。図６に示すようにステップＳ４０６にて、表示したパラメータ設定用の画像に加え、ボケの大きさを指定するためのバーやピント位置を設定するためのポインタを同時に表示する。そして、これらに対して、操作ボタン１１２や、表示部１１３のタッチパネル方式によって、バーやポインタを操作することで、リフォーカスに必要なパラメータであるピント位置やボケの大きさを設定する。ステップＳ４０８では画像合成部３０６にて、ステップＳ４０４において生成した多視点画像データ、ステップＳ４０５において作成した中間視点画像データ、ステップＳ４０７において設定したリフォーカスパラメータを用いて画像合成処理を行う。（尚、詳細については後述する。）最後に、ステップＳ４０９では、ステップＳ４０８において合成した合成画像データを画像出力部３０７にて表示部１１３やＰＣ／メディアに出力する。

＜中間視点画像の中間視点パラメータ＞
図４のステップＳ４０２の中間視点画像の中間視点パラメータについて説明する。

本実施例における中間視点画像の中間視点パラメータは、多視点画像を撮影した際の多眼カメラ位置、仮想的な中間視点位置（カメラ位置）、及び、その時のボケの大きさの制御可能範囲を含むパラメータである。多眼カメラ位置については、撮像装置１０１に固有のものであり、予め、ＲＯＭ２０２に記憶されているものとする。

図７に各撮影モードにおける中間視点位置の一例を示す。例えば、図７（ａ）風景撮影の場合、比較的遠い距離にある被写体全体に対して撮影を行う。そのため、各多視点画像データにはそれほど視差が発生しない。従って、作成する中間視点位置としては、均一であって、それほど密である必要はない。よって、風景モードの中間視点画像データの数は、通常モードの中間視点画像データの数よりも少なくてよい。

一方、図７（ｂ）マクロ撮影の場合、相対的に被写体の奥行範囲が広く多視点画像データの視差が大きい。加えて、中央の画像よりも外側に行くほど視差が大きくなる傾向にある。従って、外側に行くほど中間視点位置を密に作成する必要がある。よって、マクロモードの中間視点画像データの数は、通常モードの中間視点画像データの数よりも多いことが望ましい。

また、図９（ｃ）ポートレート撮影の場合、主要被写体にはピントを合わせ、その周囲については、ぼかす傾向が強いため、外側の多視点画像領域において、比較的密に中間視点位置を生成する必要がある。

また、ボケの大きさの制御可能範囲は中間視点画像の密度によって変化するため、各撮影モードによって、ボケの大きさの制御可能な範囲が変化する。そこで、図８に各撮影モードにおけるボケの大きさ範囲の一例を示す。本実施例では、ボケの制御範囲を１０段階に分割し、制御値が小さい程ぼかし量を小さく、逆に、制御値が大きい程ぼかし量を大きくする。図８に示すように、風景撮影の場合の場合は、それほど中間視点画像データを生成しないため、ぼかしの大きさの範囲は、比較的狭い範囲でかつ、ぼかし量も大きくない。また、マクロ撮影モードの場合は、密に中間視点画像データを生成するため、ぼかし制御範囲は広く、ぼかし量も大きく設定できる。さらに、ポートレート撮影モードの場合は、風景撮影モードとマクロ撮影モードの中間程度のぼかし量と制御範囲となる。

このように撮影モードに応じたボケの大きさの制御範囲に制限を設けることにより、撮影モードに最適なリフォーカス処理を実現することが可能となる。

＜中間視点画像データの生成＞
図４のステップＳ４０５の中間視点画像データの生成について説明する。一般的に、中間視点画像データの生成の計算コストは非常に膨大なものである。よって、中間視点画像データの生成は、最終的な合成画像データの見栄えを考慮しながら、なるべく抑制した方が良い。

図９は中間視点画像データの生成の処理の流れを示すフローチャートである。また、図１０は中間視点画像生成を説明するための画像である。まず、ステップＳ９０１では、多視点画像データを入力する。次に、ステップＳ９０２では、ステップＳ９０１にて入力した多視点画像データに対して、対応点を探索する。尚、対応点の探索方法としては、多視点画像を任意のサイズのブロック領域に分けブロック単位で対応領域を探索する方法や、特徴点を抽出し、特徴点単位で対応点を探索する方法がある。しかしながら、これらに限定されるものではなく、多視点画像について対応点を探索する方法であれば何でもよい。次に、ステップＳ９０３では、ステップＳ９０２において、探索した対応点を用いて、仮想カメラ位置における中間視点画像を生成する。仮想カメラ位置における中間視点画像の生成方法は、対応点から仮想カメラ位置における視点画像を生成する方法であれば何でもよい。例えば、対応するカメラ位置が既知であることから、まず、各カメラ間で対応点を抽出し、三角測量法により対応点までの奥行を算出する。次に、仮想カメラ位置における任意の画像位置については、算出した周囲の対応点の奥行情報を用いて補間することで算出する。

＜画像合成＞
図４のステップＳ４０８の画像合成について詳細に説明する。図１１は合成処理の流れを示すフローチャートである。また、図１２はピント位置及びシフト量の概要を示す図である。さらに、図１３は重み係数の概要を示す図である。まず、ステップＳ１１０１では、ステップＳ４０４において作成した多視点画像データと、ステップＳ４０５において成した中間視点画像データとを入力する。ステップＳ１１０２では、ステップＳ４０７において設定したピント位置に基づいて、図１２（ａ）に示すように各多視点画像データ及び中間視点画像データのピント位置を算出する。ステップＳ１１０３では、ステップＳ１１０２にて算出したピント位置に基づいて、各多視点画像及び中間視点画像間のピント位置間のシフト量Δｘｉ、Δｙｉを算出する。

ステップＳ１１０４では、ステップＳ４０７にて設定したボケの大きさの制御値に基づいて、重み係数を決定する。図１３は、ボケの大きさの制御値に対応する重み係数の一例である。一般的に、多視点カメラにおいて撮影した画像は、中央のカメラから離れるほど視差を持つ。そのため、あるピント位置において、ぴったりと合わせたとしても、奥行きが異なる場合には、ずれてしまう。その結果、ずれた画像を重ね合わせた場合、「ボケ」となる。そこで、中央のカメラで取得したから離れたカメラで取得した画像をどの程度合成するかによって、ボケを制御することができる。すなわち、ボケの制御値に応じて、中央から離れたカメラで取得した画像の使用率を重みとすることで、ボケの大きさの制御が可能となる。また、撮影モードに応じて、中間視点画像の粗密が異なるため、重み係数ｗｋは、中間視点画像の粗密によって正規化する必要がある。最後に、ステップＳ１１０５では、ステップＳ１１０３にて、算出した各多視点画像及び中間画像間のピント位置のシフト量Δｘｉ、Δｙｉと撮影モードとボケの大きさの制御値に応じた重み係数ｗｋを用いて、合成画像Ｉ（ｘ，ｙ）は次式によって合成する。

ここで、Ｊｉは、多視点画像データ及び中間視点画像データ、Ｄ（ｉ）は、多視点画像及び中間視点画像の中央画像からの距離、ｍは多視点画像データ及び中間視点画像データの総数である。式（１）の通り、合成画像データを生成する計算コストは、多視点画像データ及び中間視点画像データの総数ｍに比例する。よって、計算コスト抑制の観点から、中間視点画像データの数は少ないほど良い。

以上の通り、本実施例では、撮影モードに基づいて中間視点画像データの生成方法を変更することにより、中間視点画像データの生成と合成画像データの生成とに要する計算コストを抑制することが可能となる。本実施例によれば、多くの中間視点画像データが必要ない場合（例えば、背景モード）は、中間視点画像データの生成を抑制し（図７（ａ））、計算コストを抑えることができる。一方で、中間視点画像データの生成を抑制しすぎると観察者が知覚できる画像の不均一を生じてしまう場合（例えば、マクロモード）は、適当な中間視点画像データを生成することにより画質の劣化を抑制する（図７（ｂ））。このように本実施例よれば、画質の面と計算コストの面との適切なトレードオフを実現することが可能となる。

［実施例２］
実施例１では、撮像装置としての動作について説明した。本実施例では、すでに撮影した多視点画像データを用いた画像処理装置として動作する場合について説明する。

本実施例２における画像処理部は実施例１と同様のため省略する。

図１４は、本実施例２における画像処理装置１４０１のシステムブロック図である。各構成のうち図２と等しいものについては省略する。ＵＩ部１４０２は、画像処理装置１６０２を操作するためのユーザインタフェースであり、画像の入出力やパラメータの設定及び処理画像の動作開始をユーザに操作させる。ディスプレイ１４０３は、液晶ディスプレイなどで、ユーザインタフェース等を表示する。図１５は、本実施例２におけるユーザインタフェースの一例である。画像表示領域１５０１は基準画像の表示や画像処理後の画像を表示する。撮影モードリスト１５０３は撮影モードの選択を行う。ボケの大きさ設定バー１５０４はボケの大きさを設定する。ピント位置１５０２はピントを合わせたい位置である。読み込みボタン１５０５は、画像処理装置１４０１に多視点画像データを読み込むためのボタンである。実行ボタン１５０６は、画像処理を実行するためのボタンである。書き込みボタン１５０７は、画像処理結果の画像データを書き込むためのボタンである。

図１６は、本実施例２における処理の流れを示すフローチャートである。まず、ステップＳ１６０１では、読み込みボタン１５０４がユーザによって押されたかどうかを判定する。押された場合にはステップＳ１６０２に進み、押されていない場合には、待機する。ステップＳ１６０２では、ＰＣ／メディア２１１に記憶している多視点画像を画像処理装置１４０１に読み込む。ステップＳ１６０３では、パラメータを設定するための画像を画像表示領域１５０１に表示する。ステップＳ１６０４では、撮影モードリスト１５０３の中からユーザが選択した撮影モードをセットする。ステップＳ１６０５では、ボケの大きさ設定バー１５０４及びピント位置１５０２について、ユーザの設定結果をセットする。ステップＳ１６０６では、実行ボタン１５０６が押されたかどうかを判定する。押された場合にはステップＳ１６０７に進み、押されていない場合には、ステップＳ１６０４に戻る。ステップＳ１６０７は、ステップＳ１６０３において、設定した撮影モードに基づいて、中間視点画像を生成する。ステップＳ１６０８では、ステップＳ１６０５にて設定したリフォーカスパラメータ及びステップＳ１６０７にて生成した中間視点画像を用いて画像合成を行う。さらに画像合成の結果を画像表示領域１５０１に表示する。ステップＳ１６０９では書き込みボタン１５０７が押されたかどうかを判定する。押された場合にはステップＳ１６１０に進み、押されていない場合には待機する。最後にステップＳ１６１０では、ステップＳ１６０８において合成した画像をＰＣ／メディア２１１に出力する。
以上の通り、本実施例では、撮影モードに基づいて中間視点画像データの生成方法を変更することにより、中間視点画像データの生成と合成画像データの生成とに要する計算コストを抑制することが可能となる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 複数の撮像部を有する撮像装置により取得された、前記複数の撮像部それぞれに対応する多視点画像データを入力する第一の入力手段と、
   前記撮像装置により前記多視点画像データを撮影する際の撮影モードを入力する第二の入力手段と、
   前記第二の入力手段により入力された撮影モードに基づいて、前記多視点画像データから中間視点画像データを生成する第一の生成手段と、
   前記多視点画像データと前記中間視点画像データとに基づいて、合成画像データを生成する第二の生成手段と
   を有することを特徴とする画像処理装置。
2. 前記第一の生成手段により生成される前記中間視点画像データの数は、前記第二の入力手段により入力された撮影モードに応じて異なることを特徴とする請求項１に記載の画像処理装置。
3. 前記第一の画像データは、前記複数の撮像部の間の中間視点位置において撮像された場合の画像データであることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記撮影モードは、少なくとも通常モードと風景モードとを有し、通常モードの中間視点画像データの数は、風景モードの中間視点画像データの数よりも多いことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記撮影モードは、少なくとも通常モードとマクロモードとを有し、通常モードの中間視点画像データの数は、マクロモードの中間視点画像データの数よりも少ないことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記第一の生成手段により生成される前記中間視点画像データの粗密は、前記第二の入力手段により入力された撮影モードに応じて異なることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 合成の後のピント位置を示すデータと合成の後のボケの大きさを示すデータとを入力する第三の入力手段と、
   前記第三の入力手段により入力されたピント位置を示すデータとボケの大きさを示すデータとに基づいて、前記多視点画像データそれぞれ、及び前記中間視点画像データそれぞれに対する重み係数を決定する決定手段とを更に有し、
   前記第二の生成手段は、前記重み係数を前記多視点画像データと前記中間視点画像データとに乗ずることにより前記合成画像データを生成することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記合成の後のボケを設定する設定手段を更に有し、
   前記設定手段は、前記撮影モードに応じて設定できるボケの大きさが制限されていることを特徴とする請求項７に記載の画像処理装置。
9. 請求項１乃至８のいずれか一項の画像処理装置を有する撮像装置。
10. コンピュータを請求項１乃至８のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
11. 複数の撮像部を有する撮像装置により取得された、前記複数の撮像部それぞれに対応する多視点画像データを入力する第一の入力工程と、
    前記撮像装置により前記多視点画像データを撮影する際の撮影モードを入力する第二の入力工程と、
    前記第二の入力工程により入力された撮影モードに基づいて、前記多視点画像データから中間視点画像データを生成する第一の生成工程と、
    前記多視点画像データと前記中間視点画像データとに基づいて、合成画像データを生成する第二の生成工程と
    を有することを特徴とする画像処理方法。

Images