JP2012142729A - カメラ - Google Patents

Abstract

【課題】ボケ画像を生成してライブビュー表示を行うこと。
【解決手段】カメラ１００は、画面全体を小領域に分割し、各小領域ごとに被写体距離を検出する被写体距離検出手段と、被写体距離検出手段によって検出された小領域ごとの被写体距離に基づいて、画像を複数の分割領域に分割する分割手段と、分割手段によって分割された分割領域に被写体までの距離に応じたボケを与えてボケ画像を生成するボケ画像生成手段と、ボケ画像生成手段によって生成されたボケ画像をライブビュー表示する表示制御手段とを備える。
【選択図】図１

Description

本発明は、カメラに関する。

次のようなデジタルカメラが知られている。このデジタルカメラは、被写体像を、撮像素子からの距離に応じて主要被写体を含むエリアと前景・背景を含む複数エリアに分割し、分割した領域ごとに、ボケ量設定手段で設定した値に応じて焦点をずらして撮影し、それらを合成してボケのある画像を得る（例えば、特許文献１）。

特開２００３−２０９７２７号公報

しかしながら、従来のデジタルカメラによる方法を用いて、撮影時にボケ画像を生成してライブビュー画像として表示させようとすると、ボケ画像の生成に要する処理の負荷が大きく、実用的ではない可能性があった。

本発明によるカメラは、画面全体を小領域に分割し、各小領域ごとに被写体距離を検出する被写体距離検出手段と、被写体距離検出手段によって検出された小領域ごとの被写体距離に基づいて、画像を複数の分割領域に分割する分割手段と、分割手段によって分割された分割領域に被写体までの距離に応じたボケを与えてボケ画像を生成するボケ画像生成手段と、ボケ画像生成手段によって生成されたボケ画像をライブビュー表示する表示制御手段とを備えることを特徴とする。

本発明によれば、ボケ画像をライブビュー画像として表示することができる。

カメラの一実施の形態の構成を示すブロック図である。 画像の読み出しから表示画像の生成までの流れを模式的に示す図である。 表示画像の生成までの流れに対応したフローチャート図である。 被写体の配置と撮影画像の具体例を示す図である。 分割モードに応じた分割例とボケ画像の具体例を示す図である。 ボケフィルタの特性の一例を示す図である。 被写体の像面移動速度に基づく明度・彩度・色相画像の分割方法を示す図である。 画角と被写体距離とに基づく明度・彩度・色相画像の分割方法を示す図である。 画像内への詳細表示領域の設定例を示す図である。

図1は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、撮像素子１および２と、偏光分離プリズム３と、瞳分割フィルタ４と、対物レンズ５と、ＡＦ駆動部６と、位置センサ７と、撮像駆動部８と、画像処理部９と、カメラ制御部１０と、記録媒体１１と、操作部材１２と、表示素子１３とを備えている。

本実施の形態におけるカメラ１００では、対物レンズ５の瞳位置には、互いに透過偏光軸の直交する透過特性を有する瞳分割フィルタ４が配置されている。瞳分割フィルタ４を透過したそれぞれの光は、偏光分離プリズム３によって２方向に分離され、それぞれ撮像素子１と２に結像する。撮像素子１と２で撮像される像は、異なる瞳領域を透過しているため、焦点がずれていると結像位置にずれが生じ、そのずれ量から被写界の距離情報を取
得することができる。

２つの撮像素子１、２で撮像された視差画像は、撮像駆動部８に伝送された後、画像処理部９に入力される。画像処理部９では、入力された画像を画像処理して表示素子１３に表示可能な形態にすると同時に、２像の像ズレを検出し対物レンズ５のデフォーカス量を算出する。このデフォーカス量に基づいてＡＦ駆動部６によって対物レンズ５の位置を調整し、焦点合わせ動作を行う。このときの対物レンズ５のレンズ位置を位置センサ７で検出することで、焦点を合わせた物体の絶対距離を算出できる。

表示素子１３に表示する画像は、２つの像の像ズレ量から生成された距離情報に基づいて画像処理部９でボケ処理を施されてから表示される。これにより、被写界の距離情報に基づいて被写体までの距離（被写体距離）を算出し、撮影画像に被写体距離に応じた適切なボケを与えた上で画像を表示することができる。また、操作部材１２から入力される各種のユーザー設定値によってもボケ処理の内容は変更される。画像処理部９は、操作部材１２からのレリーズ（又は録画開始）信号によって撮影画像を所定の記録方式に変換し、記録媒体１１へ記録する。

本実施の形態のカメラ１００は、ライブビュー表示を行うにあたって、被写体距離に基づいて撮影画像に適切なボケを付与する。図２は、本実施の形態における、画像の読み出しから表示画像の生成までの流れを模式的に示す図である。また、図３は、図２に示す表示画像の生成までの流れに対応したフローチャートである。以下では、この図２と図３とを対応付けながら、本実施の形態におけるライブビュー表示処理について説明する。図３に示す処理は、使用者によってライブビュー表示の開始が指示されると起動するプログラムとして実行される。

なお、本実施の形態では、図４に示すように配置された被写体を撮影する場合を例にとって以下の説明を行う。すなわち、図４（ａ）に示すように、カメラの光軸方向に、近距離側から順番に５つの被写体４ａ〜４ｅが並んでいるものとする。そして、図４（ｂ）は、図４（ａ）に示す被写体を撮影して得られる画像の具体例を示している。

ステップＳ１０において、撮像駆動部８は、図２（ａ）に示す撮像素子１で撮像された画像と、図２（ｂ）に示す撮像素子２で撮像された画像を行間引きして読み出す。すなわち、撮像駆動部８によっては、撮像素子１で撮像された画像と撮像素子２で撮像された画像を、行方向の画素は間引きして読み出し、列方向の画素はそのまま読み出す。これにより、図２（ｃ）、（ｄ）に示す読み出し画像が得られる。なお、撮像素子１および２で撮像された画像の全画素を読み出しをしてもかまわないが、一般にカメラ１００に内蔵される表示素子１３は撮像画素数に比べて大幅に画素数が少ないため、全画素を読み出してもあまり意味がない。

その後、ステップＳ２０へ進み、画像処理部９は、図２（ｃ）、（ｄ）に示す２つの読み出し画像のうちの一方を、さらに列間引きをして表示素子１３の表示画素数に一致させ、明度と彩度（明るさと色）による通常のライブビュー画像（明度・彩度・色相画像）を生成する。例えば、図２では、図２（ｃ）の読み出し画像を用いて、図２（ｆ）に示す明度・彩度・色相画像が生成されている。その後、ステップＳ３０へ進む。

ステップＳ３０では、画像処理部９は、図２（ｃ）、（ｄ）に示す２つの読み出し画像における対応する像を比較して像ズレ量を検出することにより、被写体距離を算出して、図２（ｅ）に示す距離画像を生成する。その後、ステップＳ４０へ進み、画像処理部９は、距離画像をさらに縮小補間して、図２（ｇ）に示すように、明度・彩度・色相画像に対応する縮小距離画像を生成する。このとき、距離画像を縮小補間した画像から像ズレ量を検出してもかまわないが、その場合、縮小率に応じて像ズレの検出精度が低下してしまう。

その後、ステップＳ５０へ進み、画像処理部９は、図２（ｇ）に示す縮小距離画像に基づいて特定される各画素の距離に応じて、図２（ｆ）に示す明度・彩度・色相画像を領域分割し、各領域に距離に応じたボケを付与する。これにより図２（ｈ）に示すような、被写体までの距離に応じたボケを付した表示画像を生成することができる。具体的には、以下のように処理する。

図５は、被写体の距離による分割状態を示す図である。ここでは、図４（ａ）のように光軸上に配置された被写体を撮影した画像を、カメラ１００から被写体までの距離によって領域分割し、それぞれの領域に対して距離に応じたボケフィルタをかけることにより、画像をぼかす。なお、カメラ１００から被写体までの距離に応じた領域分割の方法はいろいろと考えられるが、例えば、図５に示す分割モード１〜３のように、分割の方法が異なる複数のモードを備えておき、使用者がいずれかの分割モードを選択することにより、分割の方法を決定するようにしてもよい。なお、以下の説明では、図５に示す被写体４ｃに合焦させて撮影するものとする。

図５（ａ）に示す分割モード１では、近距離から遠距離までを５つの領域（領域１〜５）に等間隔で分割している。画像処理部９は、上述した縮小距離画像に基づいて特定される各画素の距離に応じて、明度・彩度・色相画像をこの領域１〜５に対応する領域に分割する。そして、画像処理部９は、明度・彩度・色相画像のうち、焦点位置となる領域３に含まれる画素にはボケフィルタをかけず、領域３からの距離が離れるに従ってボケが大きくなるように、他の領域に含まれる画素にフィルタ処理を行う。その結果、図５（ｄ）に示すように、領域３に含まれる被写体４ｃはぼかさず、その前後の領域に含まれる被写体は、領域３からの距離が離れるに従ってボケが大きくなるようにぼかした画像が生成される。この分割モード１の方法では、被写体の距離を詳細に分割するので、デフォーカス量に正確に対応したボケが得やすくなる。

図５（ｂ）に示す分割モード２では、近距離から遠距離までを、被写体４ｃまでの距離が含まれる領域２と、その領域２よりも至近側の領域３と、領域２よりも無限側の領域１の３つの領域に分割している。画像処理部９は、上述した縮小距離画像に基づいて特定される各画素の距離に応じて、明度・彩度・色相画像をこの領域１〜３に対応する領域に分割する。そして、画像処理部９は、明度・彩度・色相画像のうち、焦点位置となる領域２に含まれる画素にはボケフィルタをかけず、領域１と３に含まれる画素にはボケ処理を行う。その結果、図５（ｅ）に示すように、領域２に含まれる被写体４ｃはぼかさず、その前後の領域に含まれる被写体を同じ強度でぼかした画像が生成される。この分割モード２の方法では、分割モード１よりも分割状態が単純なため、演算量が少なく高速に処理を行うことができる。

図５（ｃ）に示す分割モード３では、近距離から遠距離までを被写体４ｃまでの距離が含まれる領域２と、その領域２よりも至近側の領域３、４と、領域２よりも無限側の領域１の４つの領域に分割している。すなわち、領域２よりも至近側と領域２よりも無限側とを不均等に分割しており、具体的には、焦点位置に対して近側と遠側とで被写体距離に応じた分割数を非対称に設定している。画像処理部９は、上述した縮小距離画像に基づいて特定される各画素の距離に応じて、明度・彩度・色相画像をこの領域１〜４に対応する領域に分割する。そして、画像処理部９は、明度・彩度・色相画像のうち、焦点位置となる領域２に含まれる画素にはボケフィルタをかけず、領域１と３、４に含まれる画素にはボケ処理を行う。このとき、領域３と４には、領域２から離れるに従ってボケが大きくなるようにフィルタ処理を行う。その結果、図５（ｆ）に示すように、領域２に含まれる被写体４ｃはぼかさず、被写体４ｃよりも手前にある被写体は２段階でぼかし、被写体４ｃよりも奥にある被写体は１段階でぼかした画像が生成される。この分割モード３の方法では、一般的な光学系では、焦点位置から後側の被写界深度が深く、前側に浅いことを加味して、実際の光学系に近いボケを付与することができる。

図６に画像に適用するボケフィルタの特性の一例を示す。上述したように、本実施の形態では、距離によって分割された各領域ごとに、それぞれ異なるボケフィルタをかけてボケ画像を生成する。図６（ａ）では、各画像をフーリエ変換し、デフォーカス量が大きくなるに従ってカットオフ周波数を下げていく。これを逆フーリエ変換すると高周波成分がデフォーカス量に応じて少なくなった画像が得られ、擬似的に光学ボケを生成することができる。この方式は簡易で演算量は少なくて済むが、単純に高周波成分をカットオフしていくだけなのでボケ特性は光学系のそれとは異なった印象となる。

図６（ｂ）は、同じく画像の周波数成分を調整する方法だが、単純なカットオフではなく周波数特性を細かく調整する場合を示す。カットオフ特性１では、高周波成分になるに従って緩やかに低下する特性を与える。これによりなだらかなボケ特性を与えられる。カットオフ特性２では、低周波成分が急速に失われるが、高周波まで伸びた特性を与える。これにより、ボケは広がるが中央に「芯」の残るボケを与えられる。これは、球面収差による像ボケの一種を近似することができる。カットオフ特性３では、低周波でいったん下がるが、中間でいったん上がり、再び低下する特性を与える。これにより、ボケは広がるが、一部が輪帯状になるボケを与えられる。これは、カットオフ特性２が生じるデフォーカス領域の、焦点位置に対して反対側の領域に現れることが多い（いわゆる二線ボケ）。これにより、同じデフォーカス量でもボケ形状によって焦点の前側・後側を表現することができる。この方式は、詳細に設定すれば実際の光学系の特性をコピーしたようなボケ特性を与えられるが、そのぶん多くの演算資源を必要とする。

その後、ステップＳ６０へ進み、カメラ制御部１０は、このボケ付き表示画像が表示素子１３に表示する。これによって、ライブビュー表示の際に画像にボケを付与することが可能となる。その後、ステップＳ７０へ進む。ステップＳ７０では、カメラ制御部１０は、使用者によってライブビュー表示の終了が指示されたか否かを判断する。ステップＳ７０で否定判断した場合には、ステップＳ１０へ戻る。これに対して、ステップＳ７０で肯定判断した場合には、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）画像処理部９は、被写体までの距離に基づいて、画像を複数の分割領域に分割し、該分割領域に、被写体までの距離に応じたボケを与えてボケ画像を生成し、ボケ画像をライブビュー表示するようにした。これによって、ボケ効果を付した画像をライブビュー表示させることができる。

（２）画像処理部９は、使用者による分割モードの設定に応じて、分割の方法を決定するようにした。これによって、使用者は、任意に分割の方法を選択することが可能となる。

（３）画像処理部９は、使用者によって分割モード３に設定された場合には、焦点位置に対して近側と遠側とで被写体距離に応じた分割数を非対称に設定するようにした。これによって、一般的な光学系では、焦点位置から後側の被写界深度が深く、前側に浅いことを加味して、実際の光学系に近いボケを付与することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、使用者が図５に示した分割モード１〜３のいずれかを選択することにより、明度・彩度・色相画像の分割方法を決定する例について説明した。しかしながら、画像処理部９は、被写体の像面移動速度を検出し、検出した像面移動速度に基づいて、明度・彩度・色相画像の分割方法を決定するようにしてもよい。ここでは、図７を用いて、被写体の像面移動速度に基づく明度・彩度・色相画像の分割方法の決定の仕方について説明する。

図７（ａ）は、静止被写体に焦点合わせ動作を行った場合の被写体の像面移動速度７ａと、明度・彩度・色相画像の分割数７ｂとの関係を示す図である。なお、横軸は時間を表している。像面移動速度７ａが示すように、焦点合わせ動作が開始されると、レンズの駆動によって像面は移動を始め、被写体が静止している場合には合焦に近くなるに従って移動速度を緩め、合焦すると移動しなくなる。画像処理部９は、分割数７ｂに示すように、像面移動が増加している段階、すなわち時刻７ｃ〜７ｄの間では分割数を変えず、時刻７ｄで像面移動速度が低下を始めると分割数を増やす。そして、時刻７ｅで像面の移動が止まるとさらに分割数を増やし、停止からの時間が経過するに従って分割数を段階的に増やしていく。これにより、被写体が静止している時は画面の変化が少ないと考えられ、多少演算時間がかかってもライブビュー画像の表示が被写体とズレた印象は持ちにくく、また、撮影者が画面を詳細に観察する余裕もあることを加味して、像面の移動が少ない場合は領域分割を増やして、できるだけ正確なボケ再現を行うことができる。

図７（ｂ）は、動体に焦点合わせを行った場合の被写体の像面移動速度７ａと、明度・彩度・色相画像の分割数７ｂとの関係を示す図である。なお、横軸は時間を表している。像面移動速度７ａが示すように、動体を追尾している状態では、像面移動速度は次第に増加していく。画像処理部９は、分割数７ｂに示すように、像面速度が一定値７ｆに達するまで、すなわち時刻７ｇ〜７ｈまでは一定の分割状態で固定しているが、移動が速くなるに従って分割数を下げていく。これによって、被写体が動いている場合は画面の変化が大きく、ボケ処理による表示の遅延が大きくなるとライブビュー表示と実際の被写体とがズレた印象を与えやすく、また、動体撮影の場合、撮影者もあまり詳細に画面を確認している余裕はないものと考えられることを加味して、像面の移動が大きくなるに従って領域分割を減らし、処理量を減らして表示の遅延を防止することができる。なお、ここでは像面移動速度を基準に考えているが、フォーカスモードも被写体が静止体か動体かによって選択されるため、フォーカスモード設定に連動して分割数を変えてもよい。

（２）あるいは、画像処理部９は、画角と被写体距離を検出し、検出した画角と被写体距離に基づいて、明度・彩度・色相画像の分割方法を決定するようにしてもよい。ここでは、図８を用いて、画角と被写体距離とに基づく明度・彩度・色相画像の分割方法の決定の仕方について説明する。

図８（ａ）は、画角（横軸）と明度・彩度・色相画像の分割数（縦軸）との関係を示す図である。画角が１０度以下といった望遠レンズでは、被写界深度を浅くしたより大きなボケが必要なため、ボケの変化度合いも大きくしなければならない。一方で、画角が６０度以上といった値になった場合、望遠レンズほど大きなボケを必要としないため、分割数を減らしてボケの正確性に欠けても、実用上問題ない。このため、画像処理部９は、図８（ａ）に示すように、画角が１０度以下の場合には、分割数を増やして幅広いボケの変化を再現するようにし、画角が広くなるに従って、分割数を減らして処理量を減らし、表示の遅延を防止することができる。

図８（ｂ）は、撮影距離（横軸）と明度・彩度・色相画像の分割数（縦軸）との関係を示す図である。被写体が近距離の場合、被写界深度が浅くなるので、望遠レンズを使用した場合と同様になり分割数を増やせば幅広いボケの変化を再現することができる。一方、被写体が遠距離の場合、被写界深度が深くなるので、領域分割を減らしてボケの変化範囲を狭めても問題がなくなる。このため、画像処理部９は、図８（ｂ）に示すように、撮影距離が短いほど分割数を増やして幅広いボケの変化を再現するようにし、撮影距離が長くなるに従って、分割数を減らして処理量を減らし、表示の遅延を防止することができる。なお、ここでは焦点を合わせた被写体の距離を基準に考えているが、被写体の距離分布を基準に考えてもよい。また、この方法によれば、測距エリアの被写体距離だけでなく、画面全体の距離分布がわかる。よって、画面内の距離のヒストグラムをとったとき、被写界深度外の領域が一定量以上存在する場合は分割数を増やすといった、距離分布基準の処理も可能である。

（３）あるいは、画像処理部９は、測距エリア（ピント位置）近傍だけはデフォーカスに忠実なボケを与えるようにし、その他のエリアについては、簡易なボケ生成を行うようにしてもよい。具体例について図９を用いて説明する。画像処理部９は、図９（ａ）、（ｂ）に示すように、画面を詳細表示領域９ａと、その他の簡易表示領域とに分割する。なお、図９（ａ）、（ｂ）に示す例では、測距エリア（ピント位置）近傍を詳細表示領域９ａとして設定している。画像処理部９は、このように設定した詳細表示領域９ａ内は分割数を増やし、簡易表示領域は分割数を相対的に減らすようにする。これによって、測距エリア（ピント位置）近傍については、分割数を増やしてデフォーカスに忠実なボケを与え、ピント状態を正確に確認できるようにすることができる。また、その一方で、それ以外の領域については、分割数を減らして処理量を減らし、表示の遅延を防止することができる。なお、ここでは、測距エリア（ピント位置）近傍を詳細表示領域９ａとする例について説明したが、例えば、顔検出機能を備えているカメラの場合には、顔が検出された領域の近傍を詳細表示領域９ａとしてもよい。また、画像の中心部を詳細表示領域９ａとしてもよい。

（４）上述した実施の形態では、本発明をカメラ１００に適用する例について説明した。しかしながら、ライブビュー表示機能を備えた他の撮影装置にも本発明を適用することができる。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ カメラ、１、２ 撮像素子、３ 偏光分離プリズム、４ 瞳分割フィルタ、５ 対物レンズ、６ ＡＦ駆動部、７ 位置センサ、８ 撮像駆動部、９ 画像処理部、１０ カメラ制御部、１１ 記録媒体、１２ 操作部材、１３ 表示素子

Claims (6)

1. 画面全体を小領域に分割し、各小領域ごとに被写体距離を検出する被写体距離検出手段と、
   前記被写体距離検出手段によって検出された前記小領域ごとの被写体距離に基づいて、画像を複数の分割領域に分割する分割手段と、
   前記分割手段によって分割された前記分割領域に被写体までの距離に応じたボケを与えてボケ画像を生成するボケ画像生成手段と、
   前記ボケ画像生成手段によって生成された前記ボケ画像をライブビュー表示する表示制御手段とを備えることを特徴とするカメラ。
2. 請求項１に記載のカメラにおいて、
   前記分割手段による分割数を変更する分割数変更手段をさらに備えることを特徴とするカメラ。
3. 請求項２に記載のカメラにおいて、
   前記分割数変更手段は、画角、撮影距離、被写体の距離分布、フォーカスモード設定、被写体の像面移動速度に基づいて、前記分割数を変更することを特徴とするカメラ。
4. 請求項１〜３のいずれか一項に記載のカメラにおいて、
   前記分割手段は、焦点位置に対して近側と遠側とで、前記被写体距離に応じた分割数を非対称に設定することを特徴とするカメラ。
5. 請求項１〜４のいずれか一項に記載のカメラにおいて、
   前記分割手段は、画像内に詳細表示領域を設定し、該詳細表示領域内の分割数を他の領域の分割数よりも多く設定することを特徴とするカメラ。
6. 請求項１〜５のいずれか一項に記載のカメラにおいて、
   前記被写体距離検出手段は、２つの撮像素子によって撮像される視差画像に基づいて、小領域ごとに被写体距離を検出することを特徴とするカメラ。

Images