JP2017011653A - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】被写体の距離分布に関連する情報の符号化が画像処理に与える影響を低減させる画像処理装置、撮像装置、画像処理方法およびプログラムを提供する。【解決手段】画像処理装置は、画像データと、被写体の距離分布に関連するマップデータを処理する。復号化部５０２は、被写体像の画像データを符号化した符号化画像データを復号化して復号化画像データを生成する。復号化部５０１は、マップデータを符号化した符号化マップデータを復号化して復号化マップデータを生成する。デフォーカスマップ整形部５０３は、復号化画像データと復号化マップデータを取得し、復号化マップよりも解像度が高い復号化画像を参照して復号化マップデータの整形処理を行い、整形マップデータを生成する。背景ぼかし部５０４は整形マップデータを参照し、復号化画像に対して背景にボケを付加する画像処理を行う。【選択図】図５

Description

本発明は、被写体の距離分布に関連する情報を処理する画像処理技術に関する。

画像データと併せて、被写体の距離情報を記録可能な撮像装置がある。例えば、特許文献１では、画像データと距離画像を符号化することで圧縮して記録する技術が開示されている。

特開２０１４−１１２７４８号公報

しかし、特許文献１に開示された従来技術では、符号化時に距離マップにおける被写体の輪郭部分のデータが劣化し、復号化後の距離マップの精度が低下してしまう可能性がある。
本発明は、被写体の距離分布に関連する情報の符号化が画像処理に与える影響を低減させることを目的とする。

本発明の一実施形態に係る画像処理装置は、画像データおよび被写体の距離分布に関連するマップデータを処理する画像処理装置であって、符号化された前記画像データを復号化して復号化画像データを生成する第１の復号化手段と、符号化された前記マップデータを復号化して復号化マップデータを生成する第２の復号化手段と、前記復号化画像データおよび復号化マップデータを取得し、前記復号化マップデータよりも解像度が高い前記復号化画像データを参照して前記復号化マップデータの整形処理を行う第１の整形手段と、前記第１の整形手段により整形処理された前記復号化マップデータを参照して前記復号化画像データの画像処理を行う第１の画像処理手段を有する。

本発明の画像処理装置によれば、被写体の距離分布に関連する情報の符号化が画像処理に与える影響を低減させることができる。

本発明の実施形態に係る撮像装置の機能構成例を示すブロック図である。 本発明の実施形態に係る画像処理装置の機能構成例を示すブロック図である。 本発明の実施形態に係る撮像装置の撮像部を説明する図である。 第１実施形態に係る撮像装置の画像処理部の構成例を示す図である。 第１実施形態に係る画像処理装置の画像処理部の構成例を示す図である。 第１実施形態に係る撮像装置の画像処理部の動作を説明する図である。 第１実施形態に係る撮像装置の画像処理部の動作を説明する図である。 第２実施形態に係る撮像装置の画像処理部の構成例を示す図である。 第２実施形態に係る画像処理装置の画像処理部の構成例を示す図である。 第３実施形態に係る撮像装置の画像処理部の構成例を示す図である。 第３実施形態に係る画像処理装置の画像処理部の構成例を示す図である。 本発明の実施形態に係るデフォーカスマップ生成処理の説明図である。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。各実施形態では、ＲＧＢ−Ｄカメラと画像処理装置から成る画像処理システムを例示する。ＲＧＢ−Ｄカメラの一例としてのデジタルカメラと、画像処理装置の一例としてのパーソナルコンピュータ（以下、ＰＣと略記する）への適用例を説明する。この場合、デジタルカメラは画像データおよび距離マップデータの符号化装置として機能し、ＰＣは復号化装置として機能する。

［第１実施形態］
図１は、本実施形態に係るデジタルカメラの機能構成を例示するブロック図である。各構成部はバス１１０を介して相互にデータを送受可能である。
システム制御部１０１は、例えばＣＰＵ（中央演算処理装置）を備える。システム制御部１０１は、デジタルカメラ１００が備える各構成部の動作や処理を制御するプログラムをＲＯＭ（リード・オンリ・メモリ）１０２から読み出し、ＲＡＭ（ランダム・アクセス・メモリ）１０３に展開して実行する。ＲＯＭ１０２は、データの書き換えが可能な不揮発性メモリであり、デジタルカメラ１００の動作や処理を制御するプログラムの他に、各構成部の動作に必要なパラメータなどを記憶する。ＲＡＭ１０３は、データの書き換えが可能な揮発性メモリであり、デジタルカメラ１００の処理において出力されたデータの一時的な記憶領域として用いられる。

撮像光学系１０４は、被写体からの光を撮像部１０５に結像する。撮像光学系１０４はレンズや絞りを備える。撮像部１０５は、ＣＣＤ（電荷結合素子）センサやＣＭＯＳ（相補型金属酸化膜半導体）センサなどの撮像素子を備える。撮像素子は被写体からの光を受光して光電変換を行うことで画像信号を取得する。撮像部１０５は、撮像光学系１０４により結像された光学像を光電変換し、得られたアナログ画像信号をＡ（アナログ）／Ｄ（デジタル）変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号に対してＡ／Ｄ変換処理を行い、デジタル画像データをＲＡＭ１０３に出力して記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して各種の処理を行う。記録媒体１０８は着脱可能なメモリカードなどであり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６によりＡ／Ｄ変換された画像などのデータが、記録画像データとして記録される。通信部１０９は、無線ＬＡＮ（ローカルエリアネットワーク）などを用いた公衆モバイル通信により、記録媒体１０８の画像データなどを外部に送信する。

図２は、本発明の実施形態に係るＰＣ２００の機能構成を示すブロック図である。各構成部はバス２０７を介して相互にデータを送受可能である。ＣＰＵを有する制御部２０１は、ＰＣ２００が備える各ブロックの動作プログラムをＲＯＭ２０２より読み出し、ＲＡＭ２０３に展開して実行する。制御部２０１は、ＰＣ２００が備える各ブロックの動作を制御する。ＲＯＭ２０２は、データの書き換えが可能な不揮発性メモリであり、ＰＣ２００が備える各ブロックの動作プログラムや、各ブロックの動作に必要なパラメータなどを記憶する。ＲＡＭ２０３は、データの書き換えが可能な揮発性メモリであり、ＰＣ２００が備える各ブロックの処理にて出力されるデータの一時的な記憶領域として用いられる。

通信部２０４は、無線ＬＡＮなどを用いて、図１のデジタルカメラ１００の通信部１０９との間でデータを送受し、画像データなどを受信する。記録媒体２０５は内蔵ハードディスクなどであり、通信部２０４が受信した画像データなどを保存する。記録媒体２０５の記録済み画像データはＲＡＭ２０３に展開され、画像処理部２０６はＲＡＭ２０３に記憶されている画像データを処理する。

図３は、図１の撮像部１０５の画素配列を例示する。図３（Ａ）は、撮像素子における縦８行と横８列の範囲について、撮像光学系１０４側から見た状態を示している。画素部３０２は、マイクロレンズ３０１と、一対の光電変換部３０３，３０４から構成される。複数の画素部３０２は、図１の撮像部１０５において２次元アレイ状で規則的に配列されている。図３（Ｂ）は、ある１つの画素部３０２の断面構造を拡大して示す図である。光電変換部３０３と光電変換部３０４のそれぞれには、図１の撮像光学系１０４の異なる瞳領域（異なる測距瞳領域）を通過した光束が結像される。本実施形態では、光電変換部３０３により光電変換された画像信号に対応する第１の画像をＡ像とし、光電変換部３０４によって光電変換された画像信号に対応する第２の画像をＢ像とする。Ａ像とＢ像の各データを加算することで通常の撮影画像データが生成される。なお、光電変換部の分割方向および分割数については、仕様に応じて任意に変更が可能である。

図４は、図１の画像処理部１０７の構成を説明するための図である。
被写体像入力４０５は図３の光電変換部３０３により光電変換されたＡ像信号としてデフォーカスマップ生成部４０１と加算部４０２にそれぞれ入力される。また、被写体像入力４０６は図３の光電変換部３０４により光電変換されたＢ像信号としてデフォーカスマップ生成部４０１と加算部４０２にそれぞれ入力される。

デフォーカスマップ生成部４０１は、一対の被写体像（Ａ像およびＢ像）から被写体のデフォーカス量分布を示すデフォーカスマップを生成する。デフォーカスマップは被写体の距離分布に関連する情報をもつマップであり、被写体の距離分布情報はカメラから被写体までの距離に応じたデフォーカス量として表現される。デフォーカスマップ生成については、公知の技術で実現することができる。以下、一対のＡ像信号とＢ像信号の一致度に基づいて像ズレ量を検出する演算処理、およびデフォーカス量への変換処理の詳細について説明する。

データ数をＭとして焦点検出画素列（図３の画素部３０２の画素列）から読み出された一対のＡ像信号列に対応するデータ列をＡ_１〜Ａ_Ｍと表記し、Ｂ像信号列をＢ_１〜Ｂ_Ｍと表記する。下記（１）式を用いた相関演算（ＳＡＤ：Sum of Absolute Difference）により、相関量Ｃ(ｋ)の演算が行われる。相関量Ｃ(ｋ)は一対の被写体像信号パターンの一致度を表す。
Ｃ(ｋ)＝Σ｜Ａ_ｎ−Ｂ_ｎ＋ｋ｜ （１）
（１）式において、Σ演算はｎについて総和を算出する演算を意味する。Σ演算においてｎ、ｎ＋ｋの取る範囲は、１からＭの範囲に限定される。つまり、像ずらし量ｋに応じてデータＡ_ｎ、Ｂ_ｎ＋ｋが存在する範囲に限定される。像ずらし量ｋは整数値をとり、一対の被写体像の信号列に対応する一対のデータ列のデータ間隔を単位とした相対的シフト量である。

図１２は横軸に像ずらし量ｋをとり、縦軸に相関量Ｃ（ｋ）をとって、（１）式の演算結果を例示した図である。図１２に示すように、一対の被写体像の信号列に対応する一対のデータ列の相関が高いときの像ずらし量において、相関量Ｃ（ｋ）が極小になる。相関量Ｃ（ｋ）の値が小さいほど、一対の被写体像の信号列の相関度が高く、すなわち一対の被写体像信号の一致度が大きい。図１２の例では、像ずらし量ｋが２のときに相関量Ｃ（ｋ）が最も小さい値をとり、すなわち一対の被写体像信号の一致度が最も大きい。離散的な相関量Ｃ（ｋ）が最小となるときのｋをｋｊと表記すると、図１２の場合、ｋj＝２である。

像ずらし量ｋは整数値をとるため、相関量Ｃ（ｋ）は離散値をとる。次に、下記（２）式から（５）式の３点内挿処理によって、連続的な相関量における極小値Ｃ（ｘ）を与えるシフト量ｘが算出される。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ （２）
Ｃ（ｘ）＝Ｃ（ｋｊ）−｜Ｄ｜ （３）
Ｄ＝｛Ｃ（ｋｊ−１）−Ｃ（ｋｊ＋１）｝／２ （４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）｝ （５）
シフト量ｘは、一対の被写体像の相対的な像ズレ量（ｓｈｆｔと記す）に換算される。つまり、下記（６）式により、シフト量ｘは像ズレ量ｓｈｆｔに換算される。
ｓｈｆｔ＝ＰＹ・ｘ （６）
（６）式において、検出ピッチＰＹは図３の画素部３０２の画素ピッチである。

更に、（６）式により算出された像ズレ量ｓｈｆｔに対して、所定の変換係数ｋを乗算することにより、デフォーカス量（ｄｅｆと記す）への変換が行われる。
ｄｅｆ＝ｋ・ｓｈｆｔ （７）
（７）式において変換係数ｋは、図１の撮像光学系１０４における、一対の測距瞳の重心間隔と測距瞳距離との比例関係に応じた変換係数であり、絞りＦ値に応じて変化する。

（１）式の相関量Ｃ（ｋ）の演算量は、Σ演算の範囲とシフト量の範囲に比例して増大するので、膨大な演算量になる。このため、省電力化を目的としたデフォーカス量演算回数の削減、つまりデフォーカスマップの低解像度化（小サイズ化）が行われる。本実施形態においては、一対の被写体像の解像度（画素数）を３８４０×２１６０とし、デフォーカスマップの解像度（分解能、サンプル数）を３８４×２１６とする。

図４の加算部４０２は、一対の被写体像（Ａ像とＢ像）の各信号を加算する。一対の被写体像のそれぞれは、図１の撮像光学系１０４にて、瞳の半分の領域を通過した光束が結像された像である。よって、一対の被写体像の信号を加算すれば、瞳の全領域を通過した光束による被写体の画像情報を取得できる。本実施形態においては、加算処理後の画像の解像度を、一対の被写体像と同じで３８４０×２１６０とする。

符号化部４０３は、デフォーカスマップ生成部４０１からデフォーカスマップデータを取得し、ＪＰＥＧ（Joint Photographic Experts Group）などの公知の符号化技術を用いて符号化する。符号化部４０３は、符号化デフォーカスマップ出力４０７としてマップデータを出力する。符号化部４０４は加算部４０２から加算処理後の画像データを取得し、ＪＰＥＧなどの公知の符号化技術を用いて符号化する。符号化部４０４は、符号化画像出力４０８として画像データを出力する。

図５は、図２の画像処理部２０６の構成例を説明するためのブロック図である。符号化デフォーカスマップ入力５０５は、図４の符号化デフォーカスマップ出力４０７に対応し、符号化画像入力５０６は、図４の符号化画像出力４０８に対応する。

復号化部５０１は、符号化デフォーカスマップ入力５０５のデータを取得し、符号化デフォーカスマップを、ＪＰＥＧなどの公知の復号化技術を用いて復号化する。復号化デフォーカスマップの解像度は、例えば３８４×２１６である。復号化マップデータである、復号化デフォーカスマップデータはデフォーカスマップ整形部５０３に出力される。復号化部５０２は、符号化画像入力５０６のデータを取得し、符号化画像を、ＪＰＥＧなどの公知の復号化技術を用いて復号化して、復号化画像データを生成する。復号化画像の解像度は、例えば３８４０×２１６０である。復号化画像データは、デフォーカスマップ整形部５０３および背景ぼかし部５０４にそれぞれ出力される。

デフォーカスマップ整形部５０３は、高解像度画像を参照しながら低解像度デフォーカスマップにジョイント・バイラテラル・アップサンプリング（ＪＢＵ）処理を施す。これにより、デフォーカスマップの輪郭を画像の輪郭に合わせつつ高解像度化することができる。ＪＢＵ処理における着目画素位置ｐのフィルタ結果をＪｐと記すと、これは、以下の式（８）で表される。
Ｊｐ＝（１／Ｋｐ）ΣＩ１ｑ↓・ｆ（｜ｐ↓−ｑ↓｜）・ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜） （８）

式（８）中の各記号の意味は以下のとおりである。
ｑ↓：周辺画素位置
Ω ：着目画素位置ｐ↓を中心とする積算対象領域
Σ ：ｑ↓∈Ω範囲の積算
Ｉ１ｑ↓：周辺画素位置ｑ↓におけるデフォーカスマップ信号値
ｆ（｜ｐ↓−ｑ↓｜）：着目画素位置ｐ↓を中心とするガウシアン関数
Ｉ２ｐ ：着目画素位置ｐでの整形用画像の画素値
Ｉ２ｑ ：周辺画素位置ｑでの整形用画像の画素値
ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜）：整形用画像の画素値Ｉ２ｐを中心とするガウシアン関数
Ｋｐ ：正規化係数であり、ｆ・ｇ重みの積算値。
着目画素位置ｐのＩ２ｐと周辺画素位置ｑのＩ２ｑとの差が小さい場合、つまり整形用画像において着目画素と周辺画素の画素値が近いと、その周辺画素のｆ・ｇ重み（平滑化の重み）は大きくなる。

着目画素位置ｐ↓および周辺画素位置ｑ↓は、低解像度なデフォーカスマップ（３８４×２１６）の座標系で表される。また、着目画素位置ｐおよび周辺画素位置ｑは、高解像度な画像（３８４０×２１６０）の座標系で表される。ＪＢＵ処理のフィルタ結果Ｊｐについては画像の座標系で演算され、画像の解像度（３８４０×２１６０）と同じ解像度のデータとして背景ぼかし部５０４に出力される。本実施形態では、画像処理の一例として背景ぼかし処理を説明する。

背景ぼかし部５０４は、整形処理後のデフォーカスマップを参照しながら画像にボケを付加する。背景ぼかし部５０４により、背景をぼかした画像出力５０７のデータが得られる。画像出力５０７での出力解像度は、入力解像度と同じ３８４０×２１６０である。

図６および図７を参照して、図５のデフォーカスマップ整形部５０３および背景ぼかし部５０４の動作を説明する。図６は解像度画像６０１を例示する。主被写体６０２と、その背景６０３および６０４を示しており、それぞれ距離が異なる被写体である。図７（Ａ）は、整形処理前の低解像度デフォーカスマップ７０１を例示する。図７（Ｂ）は低解像度デフォーカスマップ７０１の一部分を示しており、横軸は画素位置を表し、縦軸はデフォーカス量を表す。図７（Ｂ）に実線で示すグラフ線７０３は、図７（Ａ）に点線で示すライン７０２におけるデフォーカス量の水平分布を表している。図７（Ｂ）の縦軸において、デフォーカス量ｄ０を０とし、背景のデフォーカス量が負値であり、前景のデフォーカス量が正値であるとする。

デフォーカスマップ生成処理においては、（１）式のΣ演算が所定幅にわたって行われるため、出力されるデフォーカス量もその所定幅分にてなだらかに変化することになる。よって、図７（Ｂ）のデフォーカス水平分布（グラフ線７０３参照）は、被写体の輪郭に沿って急峻に変化することがなく、実際の被写体輪郭が正しく表現されていない。結果として、図６の主被写体６０２や背景６０３の輪郭が鈍っている。一方で、デフォーカスマップが空間的に急峻に変化することがないので、符号化による劣化は少ない。

図７（Ｂ）に点線で示すグラフ線７０４は、図５のデフォーカスマップ整形部５０３によって整形された高解像度デフォーカスマップの一部を示し、デフォーカス量の水平分布を例示する。整形時に参照される画像についても符号化による劣化を受けるが、デフォーカスマップに比べて高解像度であり劣化が少ないので、整形後の高解像度デフォーカスマップでの、被写体輪郭の劣化を小さくすることができる。

図５の背景ぼかし部５０４は、整形処理後のデフォーカスマップを参照しながら、以下の処理を行う。図７（Ｂ）では、縦軸に示すΔｄにより、ｄ０，ｄ１をそれぞれ基準として区分けされる、第１から第３の領域の範囲を表している。
・デフォーカス量が（ｄ０＋Δｄ）〜（ｄ０−Δｄ）である第１の領域では、画像にボケを付加しないこと。
・デフォーカス量が（ｄ１＋Δｄ）〜（ｄ１−Δｄ）である第２の領域では、画像にデフォーカス量ｄ１のボケを付加すること。
・デフォーカス量が（ｄ１−Δｄ）未満である第３の領域では、画像に無限遠のボケを付加すること。
ボケ付加処理については２次元フィルタ処理で実現され、フィルタ係数ＢＲＦ（ｘ，ｙ）は（９）式で表される。（ｘ，ｙ）は画像に設定される２次元座標を示し、ｒを閾値として１または０の値が決定される。
ＢＲＦ（ｘ，ｙ）＝１ ｉｆ √（ｘ＾２＋ｙ＾２）≦ｒ
ＢＲＦ（ｘ，ｙ）＝０ ｉｆ √（ｘ＾２＋ｙ＾２）＞ｒ （９）

本実施形態においては、デフォーカス量ｄ１のボケフィルタ係数のｒ値をｒ１とし、無限遠のボケフィルタ係数のｒ値をｒ２（＞ｒ１）とする。このようにすることで、デフォーカス量が小さい背景被写体の画像にはｒ１の小さいボケを付加し、デフォーカス量が大きい無限遠の背景被写体の画像にはｒ２の大きいボケを付加することができる。

デフォーカスマップ生成処理では（１）式のΣ演算の制約により、被写体の輪郭が正しいデフォーカスマップを取得することができない。そのため、デフォーカスマップの整形処理で被写体の輪郭を正しい輪郭（整形用画像の輪郭）に合わせる必要がある。

デフォーカスマップの整形後に符号化した場合、画像と同じ解像度である３８４０×２１６０の整形デフォーカスマップを生成すると、デフォーカスマップの整形処理の演算規模が大きくなってしまう。その結果、デジタルカメラ１００の低消費電力化が難しくなる。また、デフォーカスマップの元の解像度である３８４×２１６での整形デフォーカスマップを生成した場合、整形した被写体輪郭部の符号化による劣化の影響が大きくなってしまう。

本実施形態では、復号化後にデフォーカスマップの整形処理が行われるので、デジタルカメラ１００の消費電力を抑えつつ、符号化によるデフォーカスマップへの影響を低減させることができる。なお本実施形態では、ＲＧＢ−Ｄカメラと画像処理装置とを別体とした画像処理システムへの適用例を説明したが、本発明はこれに限定されるものではなく、画像処理機能を搭載したＲＧＢ−Ｄカメラに適用してもよい。このことは後述の実施形態でも同じである。
また、本実施形態では、被写体の距離分布に関する情報としてデフォーカスマップが算出され、このマップデータを使用している。これに限らず、上述した実施形態にて各デフォーカス量を被写体距離（被写体の奥行き方向の距離）に換算して距離マップとしたものを用いてもよい。下記実施形態についても同様に被写体距離の分布を示す距離マップでも適用可能である。

［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態にて第１実施形態と同様の構成部については既に使用した符号を用いることによってそれらの詳細な説明を省略して相違点を中心に説明する。このような説明の省略については後述の実施形態でも同じである。

図８は、本実施形態の画像処理部１０７の構成を説明するブロック図である。符号４０１から４０８については第１実施形態にて図４で説明したとおりである。デフォーカスマップ生成部４０１の出力解像度は３８４×２１６であり、加算部４０２の出力解像度は３８４０×２１６０である。

リサイズ部８０１は、加算部４０２の出力する画像データを取得して、プレビュー用にリサイズする。リサイズ部８０１の出力解像度を９６０×５４０とする。デフォーカスマップ整形部８０２は、デフォーカスマップ生成部４０１とリサイズ部８０１の各出力データを取得して、プレビュー用に整形処理を行う。これは図５のデフォーカスマップ整形部５０３と同様のものであり、出力解像度はプレビュー用の画像と同じで９６０×５４０とする。整形処理後のデフォーカスマップは符号化部８０３に出力される。

符号化部８０３は、プレビュー用のデフォーカスマップを符号化する。符号化されたマップデータは、プレビュー用の符号化デフォーカスマップ出力８０５のデータとなる。符号化部８０４はリサイズ部８０１の出力データを取得し、プレビュー用の画像を符号化する。符号化画像データはプレビュー用の符号化画像出力８０６のデータとなる。

図９（Ａ）および（Ｂ）は、図２の画像処理部２０６の構成を説明するブロック図である。図９（Ｂ）に示す符号５０１から５０７については第１実施形態にて図５で説明したとおりである。背景ぼかし部５０４の出力解像度は３８４０×２１６０である。プレビュー用の符号化デフォーカスマップ入力９０４は、図８の符号化デフォーカスマップ出力８０５に対応し、プレビュー用の符号化画像入力９０５は、図８の符号化画像出力８０６に対応する。

図９（Ａ）の復号化部９０１は、プレビュー用の符号化デフォーカスマップ入力９０４のデータを取得して、プレビュー用の符号化デフォーカスマップを復号化する。復号化マップデータ（デフォーカスマップデータ）は、プレビュー用の背景ぼかし部９０３に出力される。復号化部９０２は、プレビュー用の符号化画像入力９０５のデータを取得して、プレビュー用の符号化画像を復号化する。復号化画像データは、プレビュー用の背景ぼかし部９０３に出力される。
背景ぼかし部９０３は、図５の背景ぼかし部５０４と同様にぼかし処理を実行する。背景ぼかし部９０３の出力解像度は９６０×５４０である。プレビュー用の背景ぼかし画像出力９０６のデータは、表示部に送られて画面上に画像表示される。

図２のＰＣ２００は、プレビューなどの迅速な画像表示を要求される処理に対して、図１のデジタルカメラ１００で整形されたデフォーカスマップを用いることで高速性を確保している。また、撮像画像データの記録処理のような高画質を要求される処理に対しては、図２のＰＣ２００でデフォーカスマップを整形することで、画質性能を確保している。
本実施形態によれば、目的に応じて被写体の距離分布に関連する最適なマップデータを選択することができる。

［第３実施形態］
次に本発明の第３実施形態を説明する。
図１０は、本実施形態の画像処理部１０７の構成を説明するブロック図である。符号４０１から４０６については第１実施形態にて図４で説明したとおりである。デフォーカスマップ生成部４０１の出力解像度は３８４×２１６であり、加算部４０２の出力解像度は３８４０×２１６０である。また符号８０１から８０４については第２実施形態にて図８で説明したとおりである。リサイズ部８０１およびデフォーカスマップ整形部８０２の出力解像度は９６０×５４０である。

符号化デフォーカスマップ選択部１００１は、符号化部４０３の出力または符号化部８０３の出力を選択し、符号化デフォーカスマップ出力１００３とする。符号化画像選択部１００２は、符号化部４０４の出力または符号化部８０４の出力を選択し、符号化画像出力１００４とする。

図１１は、本実施形態の画像処理部２０６について構成の一例を説明するブロック図である。符号９０１から９０６については第２実施形態にて図９で説明したとおりである。背景ぼかし部９０３の出力解像度は９６０×５４０である。

図２の画像処理装置が、処理能力が低いタブレット型ＰＣである場合、画像処理部２０６は図１１の構成とする。また、図２の画像処理装置が、処理能力が高いデスクトップ型ＰＣの場合には、画像処理部２０６は図５の構成とする。
図１のデジタルカメラ１００のシステム制御部１０１は、データ送信先の機器を判別する機能を有する。データ送信先の機器である図２の画像処理装置がタブレット型ＰＣである場合、デジタルカメラ１００は以下のデータを送信する。

・符号化デフォーカスマップとして、整形済のデフォーカスマップ（解像度９６０×５４０）のデータ。つまり、符号化デフォーカスマップ選択部１００１は、符号化部８０３の出力を選択する。
・符号化画像として、リサイズ済の画像（解像度９６０×５４０）のデータ。つまり、符号化画像選択部１００２は、符号化部８０４の出力を選択する。

一方、データ送信先である図２の画像処理装置がデスクトップ型ＰＣである場合、デジタルカメラ１００は以下のデータを送信する。
・符号化デフォーカスマップとして、整形処理されていないデフォーカスマップ（解像度３８４×２１６）のデータ。つまり、符号化デフォーカスマップ選択部１００１は、符号化部４０３の出力を選択する。
・符号化画像として、リサイズ処理されていない画像（解像度３８４０×２１６０）のデータ。つまり、符号化画像選択部１００２は、符号化部４０４の出力を選択する。

画像処理装置がデスクトップ型ＰＣの場合、図２の画像処理部２０６は、整形処理されていないデフォーカスマップ（解像度３８４×２１６）のデータを取得して、整形済のデフォーカスマップ（解像度３８４０×２１６０）のデータを生成する。
デジタルカメラ１００は、データ送信先の画像処理装置の処理能力が低い場合には整形済のデフォーカスマップを送信するので、画像処理装置の高速性を確保できる。また、データ送信先の画像処理装置の処理能力が高い場合には、未整形のデフォーカスマップを送信し、画像処理装置がデフォーカスマップの整形処理を実行する。これにより、画像処理装置の画質性能を確保できる。本実施形態によれば、画像処理装置の処理能力に応じて適切なデフォーカスマップを生成することができる。

また、画像処理機能を搭載したＲＧＢ−Ｄカメラへの適用例では、データ送信先の画像処理装置の処理能力に応じてデフォーカスマップ生成の方法を切り替えるのではなく、撮影モードに応じてデフォーカスマップ生成の方法が切り替わる。つまり、デジタルカメラ１００は、ＳＮＳ（Social Networking Service）共有モードなどにおいて必要な解像度が低い場合、撮影時に整形済のデフォーカスマップを符号化する。よって、ＳＮＳアップロード時の高速性を確保できる。また、写真印刷モードなどにおいて必要な解像度が高い場合には、写真印刷時で時間的に余裕があるときにデジタルカメラ１００は未整形デフォーカスマップを復号してデフォーカスマップ整形する。これにより、画質性能を確保できる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ システム制御部
１０４ 撮像光学系
１０５ 撮像部
１０７ 画像処理部
２００ パーソナルコンピュータ（画像処理装置）
２０６ 画像処理部

Claims (22)

1. 画像データおよび被写体の距離分布に関連するマップデータを処理する画像処理装置であって、
   符号化された前記画像データを復号化して復号化画像データを生成する第１の復号化手段と、
   符号化された前記マップデータを復号化して復号化マップデータを生成する第２の復号化手段と、
   前記復号化画像データおよび復号化マップデータを取得し、前記復号化マップデータよりも解像度が高い前記復号化画像データを参照して前記復号化マップデータの整形処理を行う第１の整形手段と、
   前記第１の整形手段により整形処理された前記復号化マップデータを参照して前記復号化画像データの画像処理を行う第１の画像処理手段を有することを特徴とする画像処理装置。
2. 符号化されていない前記マップデータを取得して整形処理を行う第２の整形手段をさらに備え、
   前記第１の整形手段は、第１の解像度の前記復号化画像データを参照し、前記復号化マップデータを整形して前記第１の解像度のマップデータを出力し、
   前記第２の整形手段は、前記第１の解像度よりも低い第２の解像度の画像データを参照し、前記マップデータを整形して前記第２の解像度のマップデータを出力することを特徴とする請求項１に記載の画像処理装置。
3. 符号化されていない前記マップデータを生成して前記第２の整形手段に出力するマップ生成手段をさらに備えることを特徴とする請求項２に記載の画像処理装置。
4. 符号化された前記画像データを復号化して復号化画像データを生成する第３の復号化手段と、
   前記第２の整形手段により整形処理されてから符号化された前記マップデータを復号化して復号化マップデータを生成する第４の復号化手段と、
   前記第４の復号化手段により生成された前記復号化マップデータを参照して、前記第３の復号化手段により生成された前記復号化画像データの画像処理を行う第２の画像処理手段を有することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記第１の画像処理手段は、前記第１の解像度の復号化マップデータを参照して前記復号化画像データの画像処理を行い、
   前記第２の画像処理手段は、前記第２の解像度の復号化マップデータを参照して前記復号化画像データの画像処理を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記第１または第２の画像処理手段は、背景の画像をぼかす処理を行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記画像データを符号化して前記第１の復号化手段に出力する第１の符号化手段と、
   前記マップデータを符号化して前記第２の復号化手段に出力する第２の符号化手段をさらに備えることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記画像データを符号化して前記第１の復号化手段に出力する第１の符号化手段と、
   前記マップデータを符号化して前記第２の復号化手段に出力する第２の符号化手段と、
   前記画像データを符号化して前記第３の復号化手段に出力する第３の符号化手段と、
   前記第２の整形手段によって整形処理された前記マップデータを符号化して前記第４の復号化手段に出力する第４の符号化手段を備えることを特徴とする請求項４に記載の画像処理装置。
9. 前記画像データのリサイズを行うリサイズ手段をさらに備え、
   前記第２の整形手段は、前記リサイズ手段によってリサイズ処理された画像データを取得して、前記マップデータの整形処理を行うことを特徴とする請求項２から６、８のいずれか１項に記載の画像処理装置。
10. 前記第２の符号化手段または前記第４の符号化手段により符号化された前記マップデータを選択して出力する第１の選択手段と、
    前記第１の符号化手段または前記第３の符号化手段により符号化された前記画像データを選択して出力する第２の選択手段をさらに備えることを特徴とする請求項８に記載の画像処理装置。
11. 前記画像データを符号化して前記第１の復号化手段に出力する第１の符号化手段と、
    前記第２の整形手段により整形されていない前記マップデータを符号化して前記第２の復号化手段に出力する第２の符号化手段をさらに備えることを特徴とする請求項２から６のいずれか１項に記載の画像処理装置。
12. 前記第１の整形手段は、前記マップデータの着目画素に対して、当該着目画素の画素値およびその周辺画素の画素値を平滑化する際、前記着目画素の画素値と前記周辺画素の画素値とが近いほど前記周辺画素の出力に対する平滑化の重みを大きくすることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 符号化装置と復号化装置を有する画像処理システムであって、
    前記符号化装置は、
    画像データを符号化する第１の符号化手段と、
    被写体の距離分布に関連するマップデータを符号化する第２の符号化手段と、を備え、
    前記復号化装置は、
    前記第１の符号化手段により符号化された前記画像データを復号化して復号化画像データを生成する第１の復号化手段と、
    前記第２の符号化手段により符号化された前記マップデータを復号化して復号化マップデータを生成する第２の復号化手段と、
    前記復号化画像データおよび復号化マップデータを取得し、前記復号化マップデータよりも解像度が高い前記復号化画像データを参照して前記復号化マップデータの整形処理を行う第１の整形手段と、
    前記第１の整形手段により整形処理された前記復号化マップデータを参照して前記復号化画像データの画像処理を行う第１の画像処理手段と、を備えることを特徴とする画像処理システム。
14. 前記符号化装置は、符号化されていない前記マップデータの整形処理を行う第２の整形手段を備え、
    前記第１の整形手段は、第１の解像度の前記復号化画像データを参照し、前記復号化マップデータを整形して前記第１の解像度のマップデータを出力し、
    前記第２の整形手段は、前記第１の解像度よりも低い第２の解像度の画像データを参照し、前記マップデータを整形して前記第２の解像度のマップデータを出力することを特徴とする請求項１３に記載の画像処理システム。
15. 前記第１または第２の整形手段は、前記マップデータの着目画素に対して、当該着目画素の画素値およびその周辺画素の画素値を平滑化する際、前記着目画素の画素値と前記周辺画素の画素値とが近いほど前記周辺画素の出力に対する平滑化の重みを大きくすることを特徴とする請求項１４に記載の画像処理システム。
16. 前記符号化装置は、
    前記画像データを符号化する第３の符号化手段と、
    前記第２の整形手段によって整形処理された前記マップデータを符号化する第４の符号化手段と、を備え、
    前記復号化装置は、
    前記第３の符号化手段により符号化された前記画像データを復号化して復号化画像データを生成する第３の復号化手段と、
    前記第４の符号化手段により符号化された前記マップデータを復号化して復号化マップデータを生成する第４の復号化手段と、を備えることを特徴とする請求項１４または１５に記載の画像処理システム。
17. 前記復号化装置は、前記第４の復号化手段により生成された前記復号化マップデータを参照して、前記第３の復号化手段により生成された前記復号化画像データの画像処理を行う第２の画像処理手段を備えることを特徴とする請求項１６に記載の画像処理システム。
18. 前記第１の画像処理手段は、第１の解像度の前記復号化マップデータを参照して前記復号化画像データの画像処理を行い、
    前記第２の画像処理手段は、前記第１の解像度よりも低い第２の解像度の前記復号化マップデータを参照して前記復号化画像データの画像処理を行うことを特徴とする請求項１７に記載の画像処理システム。
19. 請求項１から１２のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
20. 撮像光学系を通して被写体を撮像する撮像素子を備え、
    前記撮像素子は、前記撮像光学系にて異なる瞳領域をそれぞれ通過した光を受光して光電変換する複数の光電変換部を有しており、前記複数の光電変換部の出力する信号から被写体の距離分布に関連する情報を取得することを特徴とする請求項１９に記載の撮像装置。
21. 画像データおよび被写体の距離分布に関連するマップデータを処理する画像処理装置により実行される画像処理方法であって、
    符号化された前記画像データを復号化して復号化画像データを生成する第１の復号化工程と、
    符号化された前記マップデータを復号化して復号化マップデータを生成する第２の復号化工程と、
    前記復号化画像データおよび復号化マップデータを取得し、前記復号化マップデータよりも解像度が高い前記復号化画像データを参照して前記復号化マップデータの整形処理を行う整形工程と、
    前記整形工程にて整形処理された前記復号化マップデータを参照して前記復号化画像データの画像処理を行う画像処理工程を有することを特徴とする画像処理方法。
22. 請求項２１に記載した画像処理方法の各工程を前記画像処理装置のコンピュータに実行させるためのプログラム。

Images