JP2016220016A - 画像処理装置、撮像装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】撮影時に特殊な方法を用いることなく撮像された画像に対してボケ形状の変更処理を行うこと。
【解決手段】撮像装置は、撮像素子６上の画素へ入射する光束を撮影レンズの特定の瞳領域に制限する瞳分割素子としてマイクロレンズアレイ２０を備える。画像処理部７は撮像素子６から画素出力信号を取得し、画素データを加算して合成画素データを生成する。操作検出部１１は、輝点をぼかす際に使用されるボケ形状がユーザによって選択された場合、ユーザ操作を検出してカメラシステム制御部５に通知する。カメラシステム制御部５は、ユーザ操作によって選択された、輝点をぼかす際に使用する形状情報にしたがって、輝点の画素データに乗算する重み付け係数値を制御する。
【選択図】 図１

Description

本発明は、撮像された画像に対して形状の変更処理を行う画像処理技術に関する。

デジタルカメラ等の撮像装置では、ユーザの求めに応えるために、様々な特殊効果を得る撮影方法がある。特殊効果を得るための撮影方法として、例えば撮影レンズの先端部にクロスフィルタを装着し、イルミネーション等の輝点を十字形状にぼかす方法がある。また特許文献１には、被写体像に含まれる輝点でさまざまな図形を描画する技術が開示されている。特許文献１に記載の撮像装置は、手振れ補正機構およびズーム機構を駆動して露光することで、輝点を手振れ補正機構及びズーム機構の動作軌跡で示す形状にぼかすことができる。

特開２００８−２７８３１７号公報

従来の技術では、撮影時にクロスフィルタを撮影レンズの先端部に装着することや、手振れ補正機構を駆動させること等が必要である。そのため、撮影時に特殊な撮影方法を使用せずに、撮像装置を用いた通常の撮影で得られる画像に対して特殊効果処理を施した画像を得ることはできない。
本発明の目的は、撮影時に特殊な方法を用いることなく撮像された画像に対してボケ形状の変更処理を行うことである。

本発明に係る装置は、撮像された画像に対して形状の変更処理を行う画像処理装置であって、撮像光学系にて異なる瞳領域を通過した光線の位置および角度の情報を含む複数の画素データを取得する取得手段と、画像内の輝点をぼかす形状情報を選択する形状選択手段と、前記複数の画素データを合成して画像データを生成する像生成手段と、前記形状選択手段により選択された前記形状情報を取得し、前記像生成手段が合成する画素データの重み付けを制御する制御手段を備える。

本発明によれば、撮影時に特殊な方法を用いることなく撮像された画像に対してボケ形状の変更処理を行うことができる。

本発明の第１実施形態に係る撮像装置のブロック図である。 第１実施形態における撮像装置の光学系の模式図である。 像の再構成を示す模式図である。 輝点のボケ形状変更処理を示す模式図である。 輝点のボケ形状情報と加算画素の重み付けを説明する模式図である。 第１実施形態における処理例を説明するフローチャートである。 領域ごとの輝点のボケ形状変更処理を示す模式図である。 点像に対して加算合成画素の重み付け係数を制御した結果を示す模式図である。 第２実施形態における処理例を説明するフローチャートである。 第３実施形態における各光学系の例を説明する模式図である。

以下に、本発明の各実施形態を添付図面に基づいて詳細に説明する。本発明の好ましい実施形態として画像処理装置を、デジタルスチルカメラ、ビデオカメラ等の撮像装置に適用した例を示す。

［第１実施形態］
図１から図８を参照して、本発明の第１実施形態に係る撮像装置について説明する。なお、本実施形態ではレンズ装置をカメラ本体部に装着して撮像する装置を例示するが、レンズ部がカメラ本体部に一体化された構成の装置にも適用可能である。
図１は、撮像装置の電気的構成を示すブロック図である。カメラシステムは、カメラ本体部としてのカメラ１と、レンズ装置２からなり、撮像系、画像処理系、記録再生系、制御系の各構成部を備える。

撮像系は撮像光学系３と撮像素子６を有する光学処理系である。被写体からの光は、撮像光学系３を介して、カメラ本体部内に配置された撮像素子６の撮像面上に結像する。撮像素子６の表面にはマイクロレンズが格子状に配置されている。多数のマイクロレンズはマイクロレンズアレイ（以下、ＭＬＡと略記する）２０を構成しており、ＭＬＡ２０は瞳分割手段として機能する。ＭＬＡ２０の機能や配置の詳細については図２を用いて後述する。撮像素子６の出力から、焦点調節用の評価量や露光量を表す信号が得られるので、これらの信号に基づいて適切に撮像光学系３が調整される。つまり撮像素子６の近傍に被写体像が結像し、適切な光量の物体光が撮像素子６に露光される。

画像処理系を構成する画像処理部７は、その内部にＡ（アナログ）／Ｄ（デジタル）変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像データを生成可能である。また、本実施形態の画像処理部７およびカメラシステム制御部５は、本発明の要部である、像シフト手段、像生成手段、加算画素制御手段の各処理機能を実現する。なお、本実施形態に限らず、像シフト手段、像生成手段、加算画素制御手段にそれぞれ対応する処理部を個別に配置した構成で実施する形態でもよい。

記録再生系の構成部は、メモリ部８、表示部９、記録再生部１０である。メモリ部８は記憶部に加えて画像データ等の記憶に必要な処理回路を備えている。メモリ部８は、予め定められた方法で画像、動画、音声等のデータの圧縮処理や伸長処理を行う。メモリ部８に記憶された画像データは読出されて、表示部９または記録再生部１０へ出力される。表示部９はＬＣＤ（液晶表示デバイス）等を備え、カメラシステム制御部５の制御指令にしたがって画像データに対応する映像を表示する。また記録再生部１０はカメラシステム制御部５の制御指令にしたがって画像データ等を所定の記録媒体に記録し、または記録媒体からデータを読出して再生する処理を行う。所定の記録媒体は、例えばカメラ本体部に装着して使用可能な半導体メモリデバイス等である。

カメラシステム制御部（以下、カメラ制御部という）５は、撮像装置の制御中枢部であり、カメラシステムの各構成部を制御する。例えば、カメラ制御部５は撮像の際のタイミング信号等を生成して出力し、また、操作指示信号に応動して撮像系、画像処理系、記録再生系の各構成部をそれぞれ制御する。操作検出部１１は、操作スイッチやタッチパネル等を用いて行われるユーザの操作を検出し、操作指示信号をカメラ制御部５に出力する。例えば、操作検出部１１は不図示のシャッターレリーズ釦の押下を検出してカメラ制御部５に出力する。操作指示信号を取得したカメラ制御部５は、撮像素子６の駆動、画像処理部７の動作、メモリ部８による圧縮処理等を制御し、表示部９に画像や情報を表示する制御を行う。

カメラ制御部５は電気接点部１４を通して、レンズ装置２内のレンズシステム制御部（以下、レンズ制御部という）１２と相互に通信可能である。つまり、レンズ装置２がカメラ本体部に装着された状態においてカメラ制御部５とレンズ制御部１２は通信することができる。例えば、レンズ制御部１２はカメラ制御部５に対してレンズ装置２の光学情報を送信する。またレンズ制御部１２はカメラ制御部５から制御信号を受信してレンズ駆動部１３を制御する。レンズ駆動部１３は、レンズ制御部１２の制御指令にしたがって焦点調節レンズ、像振れ補正レンズ、絞り等を駆動する。

次に、カメラ制御部５およびレンズ制御部１２が協働して行う撮像光学系３の調整動作について説明する。
カメラ制御部５には画像処理部７が接続されている。画像処理部７は、撮像素子６から取得した撮像信号に基づき、撮像画像に係るデフォーカス量を検出して合焦動作に適切な焦点位置や、適正露出制御のための絞り位置を算出してカメラ制御部５に出力する。カメラ制御部５は、電気接点部１４を介してレンズ制御部１２に制御指令を送信する。レンズ制御部１２はレンズ駆動部１３を適切に制御して撮像光学系３の光学部材（レンズや絞り等）を駆動する。例えば、レンズ制御部１２には不図示の手振れ検出センサが接続されている。手振れ補正モードにてレンズ制御部１２は、手振れ検出センサの検出信号に基づきレンズ駆動部１３を介して像振れ補正レンズの駆動を制御する。

図２は、本実施形態における撮像光学系３の要部の構成を説明する図である。本発明を適用するためには、いわゆるライトフィールド（光線空間）データと称する光線の位置情報と角度情報を取得する必要がある。本実施形態では、角度情報の取得のために撮像光学系３の結像面近傍にＭＬＡ２０を配置するとともに、ＭＬＡ２０を構成する１つのマイクロレンズに対して複数の画素を対応させている。

図２（Ａ）は撮像素子６とＭＬＡ２０の関係を模式的に示す図である。左側にＭＬＡ２０の正面図を示し、右側にＭＬＡ２０および撮像素子６の側面図を示す。図２（Ｂ）は撮像素子６の画素とＭＬＡ２０との対応関係を示す模式図である。図２（Ｃ）はＭＬＡ２０によってＭＬＡ下に設けられた画素が特定の瞳領域と対応付けられることを示す説明図である。図２（Ａ）から（Ｃ）において正面方向（光軸方向）をＺ方向とし、Ｚ方向に直交するＸ方向およびＸ方向をそれぞれ定義する。図２（Ｂ）は紙面に垂直な方向をＺ方向とするＸ−Ｙ平面図である。図２（Ｃ）の下側に示す図は紙面に垂直な方向をＹ方向とするＸ−Ｚ平面図である。

図２（Ａ）に示すように、撮像素子６上にはＭＬＡ２０が設けられている。ＭＬＡ２０の前側主点は、撮像光学系３の結像面近傍になるように配置されている。撮像装置の正面から見た場合、ＭＬＡ２０の各マイクロレンズが撮像素子６上の画素を覆うように配置されている。なお、図２（Ａ）ではＭＬＡ２０を構成する各マイクロレンズを見やすくするために誇張して大きく図示しているが、実際には各マイクロレンズは画素サイズの数倍程度の大きさである。

図２（Ｂ）は図２（Ａ）の一部を拡大して示す図である。図２（Ｂ）に示す多数の格子状の小矩形枠は、撮像素子６の各画素を示している。ＭＬＡ２０を構成する各マイクロレンズについては、太線の円形枠２０ａ，２０ｂ，２０ｃ，２０ｄで示す。１つのマイクロレンズに対して複数の画素が割り当てられており、図２（Ｂ）の例では、７行×７列＝４９個の画素が１つのマイクロレンズに対して設けられている。すなわち、各マイクロレンズのサイズは面積比で画素サイズの約４９倍である。

図２（Ｃ）は撮像素子６に関して、マイクロレンズの光軸を含むＸ−Ｚ平面内で切断した場合の断面構造を模式的に示す。撮像素子６の各画素２１〜２７は、個別の光電変換部にそれぞれ対応する。図２（Ｃ）の上方には、撮像光学系３の射出瞳面を示している。実際には、図２（Ｃ）の下方に示したセンサ部の図に対して方向を合わせると、射出瞳面は図２（Ｃ）の紙面に垂直なＸ−Ｙ平面と平行になるが、説明の便宜上、投影方向を変化させている。つまり、射出瞳面上の複数の領域３１〜３７をＸ−Ｙ平面内に示す。また、図２（Ｃ）では説明を簡単にするために、１次元の投影および信号処理について説明する。実際の装置では、これを容易に２次元に拡張することができる。

図２（Ｃ）に示す画素２１、２２、２３、２４、２５、２６，２７は、図２（Ｂ）に黒点で示す画素２１ａ、２２ａ、２３ａ、２４ａ、２５ａ、２６ａ、２７ａとそれぞれ対応する位置関係にある。マイクロレンズによって各画素２１〜２７は撮像光学系３の射出瞳面上の特定の領域３１〜３７とそれぞれ共役になるように設計されている。図２（Ｃ）の例では、画素と、当該画素の符号（２１〜２７）に１０を加算した符号をもつ領域とが対応する。例えば、画素２１と領域３１が対応しており、画素２１には撮像光学系３の射出瞳面上の領域３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での光の通過領域と撮像素子６上での画素位置との対応関係から光線の角度情報を取得できる。

次に図３を参照して、像シフト処理および像生成処理について説明する。図３は、像の再構成を説明する模式図である。図３で示す撮像面はＭＬＡ２０に一番近い撮像素子６の画素列を示す。第１の再構成面１と第２の再構成面２には、撮像面で得られた情報から仮想面を生成する場合（リフォーカスとも呼ぶ）の画素の配置状態を示している。画素に付した数字１〜７はある画素列における７画素を識別する数字である。つまり、加算合成に用いる画素は図２（Ｂ）で示したように、７行７列の２次元に配列されているので、本来、各画素は例えば、Ｘ_i,j（i=1-7,j=1-7）のように７行７列の行列の要素で表される。ここでは、説明の簡単化の為に行列Ｘの添え字の一方を省略し、１次元データで示す。つまり、各画素を識別するために付した数字１〜７は、iまたはjの値に相当する。

図３のように、瞳分割数分の画素出力を加算することで加算合成画素５０の出力が生成される。例えば、撮像面上の加算合成画素部５０ａにおいては、数字１から７を付した各画素に入射した光の角度方向の積分値が取得され、積分値に所定の正の係数を乗算することで加算合成画素出力を得ることができる。これにより、通常のカメラの場合と同様に撮像された画像データが生成される。

図２（Ｃ）を用いて説明したように、射出瞳面上での光の通過領域と撮像素子６の各画素との位置関係から光線の角度情報を取得可能である。よって、各画素への光の入射角度に応じて画素データをシフトさせて加算することで、一度の撮影で任意の再構成面上での像を生成することができる。例えば、図３の再構成面２に示すリフォーカス位置での画像を生成するには、加算合成画素部５０ｂにおいて、以下の画素出力を加算すればよい。
・第１のマイクロレンズ３０１に対応する、数字３、４、５を付した画素の出力。
・第２のマイクロレンズ３０２に対応する、数字６、７を付した画素の出力。
・第３のマイクロレンズ３０３に対応する、数字１、２を付した画素の出力。
第２のマイクロレンズ３０２は第１のマイクロレンズ３０１に対して図３の上側に隣接し、第３のマイクロレンズ３０３は第１のマイクロレンズ３０１に対して図３の下側に隣接している。

次に、図４および図５を参照して、本実施形態における輝点のボケ形状の制御について説明する。図４は本実施形態の撮像装置で撮像した画像例を示す。図４（Ａ）は、ピントが合っている主被写体４０ａと、その背景における異なる領域に輝点４１ａ、４２ａ、４３ａが写っている画像を示す。ピント面が主被写体４０ａの位置にあるので、背景の輝点４１ａ、４２ａ、４３ａはボケ状態（デフォーカス状態）である。各輝点を小円で示している。図４（Ｂ）は、図４（Ａ）の画像に対して各輝点の形状を星形に変更した画像を示す。図５は、ユーザの操作により選択されるボケ形状情報を例示する。図５（Ａ）には、星型のボケ形状５１ａ、ハート型のボケ形状５１ｂ、斜め十字型のボケ形状５１ｃを示す。ボケ形状の形状選択については、ユーザが操作部材を用いて行った操作を操作検出部１１が検出してカメラ制御部５に通知することにより行われる。図５（Ｂ）は、ボケ形状より決定される、図３で示した加算合成画素５０を生成する加算画素制御の説明図である。

図５（Ａ）に示すボケ形状のうちの１つがユーザ操作により選択されると、そのユーザ操作を操作検出部１１が検出する。例えば、図５（Ａ）のボケ形状５１ａが選択された場合、図５（Ｂ）または（Ｃ）で示すように加算画素の制御が行われる。ボケ形状５１ｂが選択された場合を図５（Ｄ）に示し、ボケ形状５１ｃが選択された場合を図５（Ｅ）に示す。図５（Ｂ）に示す加算合成画素５０の２次元配列は７行７列である。斜線部で示す画素群５２は、画素加算時の重み付け係数値が１である画素から構成される。また空白部で示す画素群５３は、画素加算時の重み付け係数値が０である画素から構成される。つまり、画素群５３の各画素出力は使用しない。図５（Ａ）に示すボケ形状５１ａは星型の形状を模擬したものである。図４（Ａ）に示す輝点４１ａ、４２ａ、４３ａはいずれもデフォーカス状態にある。図４（Ｂ）に示す輝点４１ｂ、４２ｂ、４３ｂはいずれも星型の形状である。これは、図５（Ｂ）で示すように各画素の重み付け係数に応じて加算画素が制御されているからである。すなわち図４（Ｂ）において、輝点４１ｂ、４２ｂ、４３ｂで示すように星形の形状にボケが発生する。一方、主被写体４０ｂに関してはピント面の位置にて焦点が合った状態であるので、加算画素の重み付け係数によらずに解像した画像である。

図８を参照して、焦点が合っている画像に対して、加算画素の重み付け係数の制御を行った場合について説明する。図８は、点像の存在する領域に対して加算画素の重み付け加算処理を行った場合の、処理後の画像を模式的に示す。図８（Ａ）は、焦点が合っている状態（フォーカス状態）での点像４５ａと、加算画素の重み付け加算処理を行った場合の処理後の画像４５ｂを示す。また、図８（Ｂ）は、焦点が合っていないデフォーカス状態での点像４６ａと、加算画素の重み付け加算を行った場合の処理後の画像４６ｂを示す。図８（Ｂ）において、点像４６ａと画像４６ｂには焦点が合っておらず、ボケが発生している状態を、等高線とハッチングの斜線間隔で表現している。斜線間隔が中央から外側に向けて広がる様子から、ボケ状態のグラデーションを表している。また、記号５４は、各点像４５ａ，４６ａと、加算合成画素５０の重み付け係数が制御された２次元配列のデータ（重み付け係数値が１または０）との畳み込み演算を表す記号である。

図８（Ａ）に示す画像４５ｂでは、点像４５ａに焦点が合っているため、２次元配列データを用いて重み付け係数が制御されたとしても、処理後の画像４５ｂにボケは発生しない。よって画像４５ｂは点像４５ａと殆ど変わらない。一方、図８（Ｂ）に示す画像４６ｂでは、点像４６ａに焦点が合っていないため、２次元配列データを用いて重み付け係数が制御されると、星型の形状に変化する。つまり、処理後の画像４６ｂは加算合成画素の重み付け係数値が１である部分の形状に対応するボケ形状となる。その他の被写体像についても、像が焦点の合っている状態では図８（Ａ）の点像４５ａの場合と同様に、２次元配列の重み付け係数によらずに、焦点の合った状態での解像した画像となる。

図４（Ｂ）の画像例では、模式的に輝点４１ｂ、４２ｂ、４３ｂを星型の形状で示したが、実際には図５（Ｂ）の斜線部で示す形状をぼかした形状となる。また、図５（Ｂ）では７行７列の２次元配列によってボケ形状５１ａを表したが、行数および列数をさらに多くした場合を図５（Ｃ）に示す。つまり、１つのマイクロレンズに対応する画素数が多い場合には、図５（Ｃ）で示すように加算画素を詳細に制御できるので、よりボケ形状５１ａに近い形状に輝点をぼかした画像が得られる。なお、ハート型のボケ形状５１ｂの場合には図５（Ｄ）に示す２次元配列のデータが使用され、斜め十字型のボケ形状５１ｃの場合には図５（Ｅ）に示す２次元配列のデータが使用される。いずれも斜線部にて重み付け係数値を１とし、空白部にて重み付け係数値を０として加算画素が制御される。

次に、図６，図７を参照して、本実施形態の撮像装置が行う処理を説明する。図６は輝点を任意形状にぼかす処理例を説明するフローチャートである。図６の各処理はカメラ制御部５のＣＰＵ（中央演算処理装置）が制御プログラムを解釈して実行することにより実現される。図７はぼかし処理前とぼかし処理後の画像例を示す。図７（Ａ）は主被写体４０ａと背景の輝点４１ａ、４２ａ、４３ａが写っている画像を示す。図７（Ｂ）は、ユーザ操作にしたがって画像の領域ごとに異なるボケ形状が選択された場合に、それぞれ輝点をぼかした画像を示す。

図６の処理が開始すると、Ｓ１００１では画像データの読込み処理が行われる。画像処理部７が処理した画像データはメモリ部８に保存されており、図７（Ａ）に示す画像のデータが読込まれ、表示部９は画面に画像を表示する。読込み及び表示の対象とされる画像は、カメラ制御部５の制御下で行われる像生成処理にて、加算処理された加算合成画素による画像である。メモリ部８には像生成処理で加算される前の各画素の出力値が保存されている。また画像データとしては、像シフト処理によってリフォーカス処理が既に施されていてもよい。

次のＳ１００２では、ユーザが表示部９の表示画像を見ながら輝点のボケ形状を変更したい領域を選択する操作を行う。領域選択については、ユーザが操作部材を用いて行った操作を操作検出部１１が検出してカメラ制御部５に通知することにより行われる。例えば、表示部９と操作検出部１１がタッチパネル式のディスプレイで構成される場合、ユーザは表示画像を見ながら、手指で表示部９の画面をなぞることで所望の領域を選択し、選択した領域を決定する操作を行う。

Ｓ１００３では、表示部９の画面上に、図５（Ａ）に例示したように複数のボケ形状が表示される。Ｓ１００２で選択された領域（選択領域）の輝点に対し、ユーザはぼかしたい所望のボケ形状を選択する操作を行う。操作検出部１１はユーザの操作を検出してカメラ制御部５に操作指示信号を出力する。カメラ制御部５は、ユーザが選択した領域と、当該領域ごとに選択されたボケ形状の情報を関連付けて把握し、ボケ形状情報を保持する。

Ｓ１００４は、他の領域についても他のボケ形状に変更するかどうかの判定処理である。ユーザが、他の領域の輝点についてもＳ１００３とは異なるボケ形状に変更する場合（Ｓ１００４でＹＥＳ）、Ｓ１００２に戻って処理を続行する。画像領域の選択とボケ形状の選択が再び行われる。図７（Ａ）の領域６１、６２、６３は、図６のＳ１００２においてユーザ操作により選択された複数の選択領域を示している。領域６１、６２、６３ごとにそれぞれ図５（Ａ）のボケ形状５１ａ、５２ａ、５３ａが選択される。

Ｓ１００４で画像領域およびボケ形状の指定が終了し、それ以上ボケ形状を変更しないことが判定された場合（Ｓ１００４でＮＯ）、Ｓ１００５に処理を進める。Ｓ１００５ではカメラ制御部５の制御下で、図３を参照して説明した像シフト処理が実行される。読込まれた画像データに対してリフォーカス処理が行われる。ただし、ピント位置を特に変更しない場合には像シフト処理は行わずに、そのままＳ１００６に進む。また、背景の輝点４１ａ、４２ａ、４３ａのボケ形状をより効果的に得るために、各輝点がよりぼけた状態となるように、デフォーカス量を大きくするリフォーカス処理が行われてもよい。

Ｓ１００６からＳ１０１０にかけて、Ｓ１００７からＳ１００９の各ステップに示す処理が反復して実行される。Ｓ１００６では、ＭＬＡ２０を構成するマイクロレンズの数に応じてループ処理が行われ、マイクロレンズの位置ごとに画素加算を行う像生成処理が開始される。図２（Ａ）にてＸ−Ｙ平面内に示すマイクロレンズの位置座標を（Ｘ，Ｙ）で表し、マイクロレンズの初期設定位置の位置座標を（１，１）とする。

Ｓ１００７は、画素加算を行う際のマイクロレンズ位置が、Ｓ１００２で選択されたボケ形状を変更する選択領域であるか否かの判断処理である。マイクロレンズ位置が選択領域内でないと判断された場合、Ｓ１００８に進み、マイクロレンズ位置が選択領域内であると判断された場合にはＳ１００９に移行する。Ｓ１００８では、通常の画素加算が実行され、加算合成画素が生成される。つまり、そのマイクロレンズ位置に対応する画素部において、読込んだ画像と変わらない加算合成画素の出力が取得される。

Ｓ１００９では、ボケ形状を変更することがユーザ操作により指定された選択領域にて、Ｓ１００３で選択されたボケ形状に基づいて加算画素が制御される。つまり、カメラ制御部５は加算画素の重み付け係数を制御し、選択されたボケ形状に応じた２次元配列のデータを適用する。図７（Ａ）では、例えば、領域６１にて図５（Ｂ）に示すように加算画素の重み付け係数が設定される。領域６２にて図５（Ｄ）に示すように加算画素の重み付け係数が設定され、領域６３にて図５（Ｅ）に示すように加算画素の重み付け係数が設定されて、加算合成画素が生成される。

Ｓ１００８またはＳ１００９の処理後、Ｓ１０１０に進む。Ｓ１０１０では、Ｘ方向またはＹ方向におけるマイクロレンズ位置が変更される。カメラ制御部５はマイクロレンズ位置が最後の位置（処理終了位置）に到達し、像生成処理を終えたか否かを判定する。像生成処理を終了する場合にはＳ１０１１に進み、像生成処理が終了していない場合にはＳ１００７に戻って像生成処理を続行する。

Ｓ１０１１では、生成された画像データの出力処理が実行される。カメラ制御部５は、生成済みの画像データを表示部９と記録再生部１０に出力する。例えば、生成済み画像は表示部９の画面に表示される。図７（Ｂ）に示すように、図７（Ａ）の領域６１、６２、６３内の輝点４１ａ、４２ａ、４３ａはそれぞれ、ユーザが選択したボケ形状４１ｃ、４２ｃ、４３ｃとなって表示される。また、記録再生部１０は、生成済み画像データを所定のファイル形式で記録媒体に記録する。その際には、図７（Ｂ）に例示する生成済み画像のデータは、図７（Ａ）の処理前の画像データと関連付けて記録されてもよいし、差分データとして記録されてもよい。

本実施形態によれば、異なる瞳領域を通過した光線の位置と角度の情報を含む画素データを取得する撮像装置において、ボケ形状の変更処理を行うことができる。つまり本実施形態に係る装置は、撮影時に特殊な撮影方法を用いることなく撮像された画像に対してボケ形状の情報に基づいて加算画素を制御することで、撮像後の画像に対して特殊効果処理を施すことができる。

本実施形態では、メモリ部８に記憶された撮影処理後の画像データに対して画像処理を行う例を説明した。これに限らず、撮影時において表示部９に選択領域とボケ形状を表示し、ユーザが選択する処理を行ってもよい。被写体像を確認しながら撮影を行う、いわゆるライブビュー撮影時には、ユーザ操作によって選択領域とボケ形状が選択された時点で、表示部９はボケ形状の変更処理後の画像を表示する。これにより、ユーザが形状変更処理後の画像を確認した後で、撮影動作に移ることができる。このような処理は、後述する実施形態でも同様に適用可能である。

また、本実施形態の撮像装置で撮影した画像のデータを外部装置に転送し、外部装置がボケ形状の変更処理を実行する形態でもよい。この場合には、例えば、撮像装置は撮像光学系３、ＭＬＡ２０を有する撮像素子６、画像処理部７、メモリ部８、カメラ制御部５を備える。メモリ部８に記憶される画素データは、像生成処理によって画素加算が行わる前の各画素のデータであり、外部装置へ送信される。外部装置は、制御部、画像処理部、メモリ部、表示部、操作検出部、記録再生部を備える。外部装置の制御部および画像処理部は像シフト手段、像生成手段、加算画素制御手段としての機能を有し、図６に示す各ステップの処理を実行する。このことは、後述する実施形態でも同じである。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態にて第１実施形態の場合と同様の構成部については既に使用した符号を用いることでそれらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略については後述の実施形態でも同じである。

第１実施形態では、画像内の全部または選択領域内すべてに関してボケ形状の情報に基づいて加算画素の制御を行う例を説明した。本実施形態では、輝点が検出された領域のみを処理対象として、加算画素を制御する。本実施形態のカメラ制御部５は、画像内での輝点の領域を検出する輝点検出機能を有する。例えばカメラ制御部５は、図７（Ａ）に示す領域６１において輝点検出を行い、輝点４１ａが検出された輝点領域にて、ユーザにより選択されたボケ形状に基づき加算画素の制御を行う。ユーザ操作によって選択された領域６１には輝点４１以外に背景物体４４の画像の一部が入っているが、輝点４１ａが検出された輝点領域においてのみ加算画素の制御が行われる。これにより、背景物体４４の画像のボケ方は領域６１外の部分のボケ方と同様になるので、違和感の少ない画像が得られる。輝点検出処理では、例えば全周方向にガウス分布形状に広がる被写体が検出された場合、その被写体の領域が輝点領域であると検出される。

図９は輝点検出処理を有する場合のボケ形状変更処理を例示するフローチャートである。Ｓ２００１、Ｓ２００２の処理は図６のＳ１００１、Ｓ１００２の各処理と同様である。またＳ２００４からＳ２００７、Ｓ２００９からＳ２０１２の各処理は、図６のＳ１００３からＳ１００６、Ｓ１００８からＳ１０１１の各処理と同様であるので、それらの説明を省略する。以下、Ｓ２００３およびＳ２００８の処理を説明する。

Ｓ２００２の選択処理後にＳ２００３に進み、Ｓ２００２で選択された選択領域についてカメラ制御部５は輝点検出を行う。選択領域において、輝点が検出された領域は輝点検出領域としてメモリ部８に記憶される。この際には、例えば表示部９が輝点検出結果を表示することで、ユーザは所望の輝点かどうかを確認することができる。検出された輝点がユーザの所望の輝点である場合にはＳ２００４に処理を進める。ユーザの所望の輝点でない場合には確認後に輝点検出結果が取り消される。

Ｓ２００７の次にＳ２００８に処理を進め、画素加算を行う対象となるマイクロレンズ位置がＳ２００３で検出された輝点検出領域内に該当するか否かが判断される。マイクロレンズ位置が輝点検出領域内に該当すると判断された場合（Ｓ２００８でＹＥＳ）、Ｓ２０１０に進み、選択されたボケ形状に基づいて加算画素の制御が行われる。またマイクロレンズ位置が輝点検出領域内に該当しないと判断された場合（Ｓ２００８でＮＯ）にはＳ２００９へ進む。

本実施形態では、画像内で輝点が検出された領域のみについて加算画素の重み付け係数が制御され、輝点をユーザの選択した形状にぼかす処理が施される。本実施形態によれば、輝点以外の領域に関して違和感の少ない画像を得ることができる。
なお、第１および第２実施形態では、予め用意された複数の形状からユーザが選択して決定したボケ形状の情報を使用する例を説明したが、ユーザが任意の形状を描いたボケ形状の情報を取得してもよい。例えば、カメラ制御部５は、図５（Ｂ）に示すような７行７列の、マイクロレンズの瞳分割領域数分の格子状ブロックを表示部９の画面上にマトリクス表示させる。ユーザが各ブロックについて重み付け係数値を１または０で選択する操作を行い、操作検出部１１がユーザの操作を検出して操作検出結果をカメラ制御部５に出力する。これにより、ユーザが任意に描いた形状をボケ形状として使用できる。重み付け係数については、１または０の２値だけに限らず、その他の数値を用いる多値論理を採用してもよい。また、ボケ形状を変更する領域と、それ以外の領域の加算合成画素の重み付け係数の積算値より、画像内の輝度を正規化してもよい。具体的には、図５（Ｂ）に示す２次元配列での重み付け係数の積算値は２５である。つまり、重み付け係数値が１である画素の数が２５である。一方、ボケ形状を変更しない領域では重み付け係数の積算値が４９である。つまり、２次元配列内のすべての画素について重み付け係数値を１として加算される。この例では、ボケ形状を変更する領域の加算合成画素の出力に対し、正規化のための係数値である「４９／２５」を乗算する処理が行われる。ボケ形状を変更する領域とボケ形状を変更しない領域との間で画像のＦナンバーを合わせることができるので、画像内全体のＦナンバーを統一できるという効果が得られる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。図１０を参照して、本実施形態に係る撮像装置に適用可能な光学系の例について説明する。図１０は物体（被写体）からの光が撮像素子１０６上に結像する状態を模式的に示す図である。

図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）は、図２で説明した撮像光学系と対応している。ただし、撮像素子１０６において、ＭＬＡ１０５内のマイクロレンズの１つに対して割り当てられる画素数は５行５列の２５個となっている。射出瞳については垂直方向に５つの瞳領域ｂ１、ｂ２、ｂ３、ｂ４、ｂ５で表現している。図１０（Ａ）は撮像光学系１０４の結像面近傍にＭＬＡ１０５を配置した例を示す。図１０（Ｂ）は撮像光学系１０４の結像面よりも物体側にＭＬＡ１０５を配置した例を示す。図１０（Ｃ）は撮像光学系１０４の結像面よりも物体から遠い側にＭＬＡ１０５を配置した例を示す。

図１０において、物体平面１３０１上に２点１３０１ａ，１３０１ｂを示す。平面１３０２は撮像光学系１０４の瞳平面を示す。また、ＭＬＡ１０５上の特定のマイクロレンズを２０１ｅ、２０１ｆ、２０１ｇ，２０１ｈ，２０１ｉ，２０１ｊ，２０１ｋ，２０１ｌ，２０１ｍでそれぞれ示している。図１０（Ｂ）および図１０（Ｃ）に点線で示す仮想的な撮像素子１０６ａと仮想的なＭＬＡ１０５ａは、図１０（Ａ）との対応関係を明確にするために参考に示した。また、物体平面１３０１上の点１３０１ａから出射して瞳平面１３０２上の領域ｂ１およびｂ３を通過する光束を実線で図示している。物体平面１３０１上の点１３０１ｂから出射して瞳平面１３０２上の領域ｂ１およびｂ３を通過する光束を破線で図示している。

図１０（Ａ）の例では、撮像光学系１０４の結像面近傍にＭＬＡ１０５を配置することで、撮像素子１０６と撮像光学系の瞳平面１３０２が共役の関係にある。さらに物体平面１３０１とＭＬＡ１０５が共役の関係にある。このため物体平面１３０１上の点１３０１ａから出た光束はマイクロレンズ２０１ｅに到達し、物体平面１３０１上の点１３０１ｂを出た光束はマイクロレンズ２０１ｆに到達する。領域ｂ１からｂ５をそれぞれ通過した光束はＭＬＡ１０５の各マイクロレンズに対応して設けられた画素にそれぞれ到達する。

図１０（Ｂ）の例は、ＭＬＡ１０５によって撮像光学系１０４からの光束を結像させ、その結像面上に撮像素子１０６を配置した構成である。このように配置することで、物体平面１３０１と撮像素子１０６は共役の関係にある。物体平面１３０１上の点１３０１ａから出て瞳平面１３０２上の領域ｂ１を通過した光束はマイクロレンズ２０１ｇに到達する。物体平面１３０１上の点１３０１ａから出て瞳平面１３０２上の領域ｂ３を通過した光束はマイクロレンズ２０１ｈに到達する。物体平面１３０１上の点１３０１ｂから出て瞳平面１３０２上の領域ｂ１を通過した光束はマイクロレンズ２０１ｈに到達する。物体平面１３０１上の点１３０１ｂから出て瞳平面上の領域ｂ３を通過した光束はマイクロレンズ２０１ｉに到達する。ＭＬＡ１０５の各マイクロレンズを通過した光束は、各マイクロレンズに対応して設けられた画素にそれぞれ到達する。このように物体平面１３０１上の点と、瞳平面１３０２上の通過領域によって、光束は異なる位置にそれぞれ結像する。各画素の出力を、仮想的な撮像素子１０６ａの撮像面上の位置に並べ直せば、図１０（Ａ）の場合と同様の情報（再構成画像データ）を得ることができる。すなわち、光束が通過した瞳領域に対応する入射角度の情報と撮像素子上の位置の情報を得ることができる。

図１０（Ｃ）の例は、ＭＬＡ１０５で撮像光学系１０４からの光束を再結像させ、再結像面上に撮像素子１０６を配置した構成である。一度結像した光束が拡散する状態にあって、さらに結像させることを再結像と呼ぶ。図１０（Ｃ）のように配置することで、物体平面１３０１と撮像素子１０６は共役の関係にある。物体平面１３０１上の点１３０１ａから出て瞳平面１３０２上の領域ｂ１を通過した光束はマイクロレンズ２０１ｋに到達する。物体平面１３０１上の点１３０１ａから出て瞳平面１３０２上の領域ｂ３を通過した光束はマイクロレンズ２０１ｊに到達する。物体平面１３０１上の点１３０１ｂから出て瞳平面１３０２上の領域ｂ１を通過した光束はマイクロレンズ２０１ｍに到達する。物体平面１３０１上の点１３０１ｂから出て瞳平面１３０２上の領域ｂ３を通過した光束はマイクロレンズ２０１ｌに到達する。ＭＬＡ１０５の各マイクロレンズを通過した光束は、各マイクロレンズに対応して設けられた画素にそれぞれ到達する。図１０（Ｂ）の場合と同様に、仮想的な撮像素子１０６ａの撮像面上の位置に画素出力を並べ直せば、図１０（Ａ）の場合と同様の情報を得ることができる。すなわち、光束が通過した瞳領域に対応する入射角度の情報と撮像素子上の位置の情報を得ることができる。
以上のように、図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）にそれぞれ示す光学系のいずれかを採用することによって、設計上の自由度が高まる。

図１０では位相変調素子であるＭＬＡ１０５を瞳分割手段として用いて、光線の位置情報と角度情報を取得する例を示した。これに限らず、光線の位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能な構成であれば、他の光学系の構成も利用可能である。例えば、適当な遮光パターンを施したマスク（ゲイン変調素子）を撮像光学系の光路中に挿入した構成がある。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３ 撮像光学系
５ カメラシステム制御部
６ 撮像素子
７ 画像処理部
１２ レンズシステム制御部
１３ レンズ駆動部
２０ マイクロレンズアレイ

Claims (11)

1. 撮像された画像に対して形状の変更処理を行う画像処理装置であって、
   撮像光学系にて異なる瞳領域を通過した光線の位置および角度の情報を含む複数の画素データを取得する取得手段と、
   画像内の輝点をぼかす形状情報を選択する形状選択手段と、
   前記複数の画素データを合成して画像データを生成する像生成手段と、
   前記形状選択手段により選択された前記形状情報を取得し、前記像生成手段が合成する画素データの重み付けを制御する制御手段を備えることを特徴とする画像処理装置。
2. 前記制御手段は、前記画素データを加算により合成する際、前記輝点の画素データに乗算する重み付け係数値を、前記形状選択手段により選択された前記形状情報に対応する係数値に変更することを特徴とする請求項１に記載の画像処理装置。
3. 画像内の任意の領域を選択する領域選択手段をさらに有し、
   前記制御手段は、前記領域選択手段により選択された領域にて前記形状情報に対応する前記係数値を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記制御手段は、前記領域選択手段により選択される複数の領域に対し、それぞれ異なる前記形状情報に対応する前記係数値を決定することを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、画像内に輝点が存在する輝点領域を検出し、前記輝点領域に対して前記形状選択手段により選択された形状情報にしたがって前記像生成手段が合成する画素データの重み付けを制御することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 各画素へ入射する光線の位置および角度の情報の情報を用いて前記複数の画素データをずらして加算することで、前記像生成手段に任意の再構成面上での像を生成させる像シフト手段をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 請求項１から６のいずれか１項に記載の画像処理装置と、
   前記撮像光学系を通して被写体を撮像する撮像素子を備えることを特徴とする撮像装置。
8. 前記撮像素子の画素部へ入射する光束を、前記異なる瞳領域に制限する瞳分割手段を備えることを特徴とする請求項７に記載の撮像装置。
9. 撮像光学系を通して撮像された被写体の画像データを処理する画像処理装置であって、
   前記撮像光学系にて異なる瞳領域を通過した光線の位置および角度の情報を含む複数の画素データを取得する取得手段と、
   画像内の輝点をぼかす形状情報を選択する形状選択手段と、
   前記複数の画素データを合成して画像データを生成する像生成手段と、
   前記形状選択手段により選択された形状情報を取得し、前記像生成手段が合成する画素データの重み付けを制御する制御手段と、
   前記像生成手段により生成された画像データを記録する記録手段を備えることを特徴とする画像処理装置。
10. 撮像された画像に対して形状の変更処理を行う画像処理装置により実行される画像処理方法であって、
    撮像光学系にて異なる瞳領域を通過する光線の位置および角度の情報を含む複数の画素データを取得する取得ステップと、
    画像内の輝点をぼかす形状情報を選択する形状選択ステップと、
    前記形状選択ステップにて選択された前記形状情報を用いて、前記複数の画素データの重み付けを制御する制御ステップと、
    前記制御ステップにて重み付けの制御が行われた前記複数の画素データを合成して画像データを生成する像生成ステップを有することを特徴とする画像処理方法。
11. 請求項１０に記載した画像処理方法の各ステップを前記画像処理装置のコンピュータに実行させるためのプログラム。
    
    

Images