JP2021135725A - 画像処理装置及びその制御方法並びにプログラム - Google Patents

Abstract

【課題】複数の層毎に画像をプリントすることで立体感を表現する造形物を作成する際に必要な層分割画像データを、画像データに基づいて作成することが可能な画像処理装置及びその制御方法並びにプログラムを提供する。【解決手段】画像処理装置１００は、画像データと、画像データに対応する深度情報とを取得する入力部１１と、画像データを前記深度情報に基づいて、被写体距離に応じて複数の層に分割した層分割画像データを生成する層分割画像データ生成部１２と、層分割画像データを出力する出力部１５と、を備える。層分割画像データは、被写体距離が第１の距離未満の被写体に対応する画像データを含む第１の層の画像データと、被写体距離が第１の距離以上の被写体に対応する画像データを含む第２の層の画像データとを含む。第１の距離は、取得した深度情報に基づいて変化する。【選択図】図１

Description

本発明は、画像処理装置およびその制御方法ならびにプログラムに関する。

撮影画像に基づいて、立体的なレリーフ等の造形物を作成する装置やシステムが知られている。特許文献１には、撮影した画像に基づいて距離マップを作成し、距離マップを奥行き情報に変換して立体画像データを作成するデジタルカメラと、デジタルカメラから出力された立体画像データに基づいてレリーフを作成する３Ｄプリンタとが開示されている。

一方で、画像をプリントした光透過性を有する板を複数枚重ねて層構造とすることで、立体的な表現をする造形物も提供されている。

特開２０１８−４２１０６号公報

３Ｄプリンタで立体的な造形物を作成する場合、立体画像データの奥行情報は連続的である。一方、複数の板毎に画像をプリントすることで立体感を表現する造形物の場合、表現できる奥行きは離散的であるため、画像のどの部分をどの板（層）にプリントするかを示す画像データ（以下、層分割画像データ）を作成する必要がある。しかしながら、画像データをもとにこのような層分割画像データを作成する技術については十分に確立されていない。

そこで本発明は、複数の層毎に画像をプリントすることで立体感を表現する造形物を作成する際に必要な層分割画像データを、画像データに基づいて作成することが可能な画像処理装置及びその制御方法並びにプログラムを提供することを目的とする。

本発明の一側面としての画像処理装置は、画像データと、前記画像データに対応する深度情報とを取得する取得手段と、前記画像データを前記深度情報に基づいて、被写体距離に応じて複数の層に分割した層分割画像データを生成する画像処理手段と、前記層分割画像データを出力する出力手段と、を備え、前記層分割画像データは、被写体距離が第１の距離未満の被写体に対応する画像データを含む第１の層の画像データと、前記被写体距離が前記第１の距離以上の被写体に対応する画像データを含む第２の層の画像データとを含み、前記第１の距離は前記深度情報に基づいて変化することを特徴とする。

本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

本発明によれば、複数の層毎に画像をプリントすることで立体感を表現する造形物を作成する際に必要な層分割画像データを、画像データに基づいて作成することが可能な画像処理装置及びその制御方法並びにプログラムを提供することができる。

第１実施形態に係る画像処理装置の機能構成を示すブロック図である。 第１実施形態にて実行される処理を説明するフローチャートである。 実施形態にて層分割画像生成処理を説明するための撮影画像の図である。 実施形態にて距離による層分割を説明するための図である。 第１実施形態にて実行される処理で距離を分割した例を説明する図である。 第１実施形態にて実行される処理で生成された層分割画像を説明する図である。 第２実施形態にて実行される処理で距離を分割した例を説明する図である。 第２実施形態にて実行される処理で生成された層分割画像を説明する図である。 第２実施形態の変形例にて実行される処理で距離を分割した例を説明する図である。 第３実施形態に係る撮像装置の機能構成を示すブロック図である。 第３実施形態に係る撮像素子を説明する図である。 撮像面位相差方式の測距原理を説明する図である。 第３実施形態にて実行される処理を説明するフローチャートである。 第４実施形態に係る画像処理装置の機能構成を示すブロック図である。

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下の実施形態では、デジタルカメラで撮像した画像に基づいてどの層にどの画像を印刷するかを示した層分割画像データを生成するシステムを例に説明をするが、画像データが取得可能な任意の撮像装置にも適用可能である。これらの撮像装置には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の撮像装置などが含まれてよい。

［第１実施形態］
本実施形態では、画像データと、画像データに対応する深度情報とが入力され、入力されたデータに基づいて層分割画像データを生成し、外部に出力する画像処理装置を備えるシステムについて説明をする。

＜画像処理装置１００の構成＞
図１は、本実施形態の画像処理装置１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

画像処理装置１００は、撮像装置１で撮影された画像情報と撮影情報とを取得する入力部１１と、取得した画像情報と撮影場情報に基づいて層分割画像データを生成する層分割画像生成部１２と、生成された層分割画像データを記憶する記憶部１３とを備える。更に画像処理１００は、層分割画像データを外部に出力する出力部１５と、外部と通信する通信手段１４とを備える。

入力部１１は、撮像装置１で撮影された画像情報および撮影情報を取得するインターフェース（Ｉ／Ｆ）である。画像情報は、撮像装置１から直接取得してもよいし、撮像装置１から情報を取得して記憶したコンピュータなどの外部記憶装置（不図示）から取得してもよい。ここで取得する撮影情報は、深度情報を含み、撮影条件や画像処理パラメータなどを含んでいてもよい。深度情報は被写体までの距離に対応する情報であればよく、例えば、撮像装置１の撮像素子が有する測距用画素により得られた視差情報やデフォーカス情報であってもよいし、被写体距離情報そのものでもよい。深度情報は、取得する撮影画像と同じ視点および画角であり、撮影画像と同解像度の距離画像であることが好ましい。視点、画角、解像度の１つ以上が異なる場合は、距離情報を変換することにより、撮影画像と視点、画角、解像度を揃えることが好ましい。また、入力部１１は、画像情報を撮像した撮像装置１の機器情報を取得してもよい。

画像処理部１６は、入力部１１、記憶部１３または通信部１４より取得した画像データに対して輝度、色変換処理や欠陥画素、シェーディング、ノイズ成分などの補正処理、フィルタ処理や画像合成処理など各種の画像処理を行う画像処理手段である。また、本実施形態の画像処理部１６は、層分割画像生成部１２を備える。層分割画像生成部１２は、入力部１１、記憶部１３または通信部１４より取得した画像情報と深度情報とに基づいて、どの層がどの画像で構成されるかを示す、層分割画像データを生成する。層分割画像データの生成処理の詳細については後述する。尚、図１では層分割画像生成部１２しか記載していないが、画像処理部１６はその他の機能ブロックを有していてもよく、例えば、画像データのコントラストやホワイトバランスの調整、色補正などの処理をしてもよい。

記憶部１３は、入力部１１または通信部１４を介して入力される画像データ、パラメータ、撮像情報、撮像装置の機器情報等の各種情報を記憶するメモリ等の記録媒体で構成される、層分割画像データ生成部１２で生成された層分割画像データも記憶する。

通信部１４は、外部装置とのデータの送受信を行う通信Ｉ／Ｆである。本実施形態では、通信部１４は撮像装置１、表示装置２あるいは印刷装置３と通信し、撮像装置１、表示装置２あるいは印刷装置３の機器情報等を取得する。

出力部１５は、出力先の表示装置２および印刷装置３へ、生成した層分割画像データを出力するＩ／Ｆである。

印刷装置３は、画像処理装置１００から入力された層分割画像データに基づいて、層毎に分割された画像データをアクリル板のような光透過性の高い板に印刷する。入力された層分割画像データが３層に分割して印刷することを示している場合、印刷装置３は３枚のアクリル板のそれぞれに、第１〜３の層の画像のいずれかを印刷する。第１の層の画像が印刷された板と第２の層の画像が印刷された板と第３の層の画像が印刷された板を重ねて一体化することで、造形物を製造することができる。尚、それぞれの層を、間隔を空けて固定して造形物を製造してもよい。

＜層分割画像データ生成処理＞
画像処理装置１００において実行される、層分割画像データの生成処理について、図２のフローチャートを用いて具体的な処理を説明する。ここでは、深度情報として被写体までの距離を示す距離情報を用いる例について説明をするが、視差情報を用いる場合も同様の処理を行うことにより、層分割画像データを生成することができる。なお、層分割画像生成部１２がプログラマブルプロセッサにより構成されている場合、本処理の各ステップは、層分割画像生成部１２が記憶部１３に記憶されている処理プログラムを読み出し、不図示の揮発性メモリに展開して実行することによりで実現できる。

ステップＳ１０１で、入力部１１は、撮像装置１で撮影された撮影画像と撮影画像に対応する距離情報を撮像装置１または外部記憶装置より取得する。

ステップＳ１０２で、層分割画像データ生成部１２は、ステップＳ１０１で取得した距離情報と、予め設定されている分割する層数とを用いて、被写体距離毎に複数の領域に分割する閾値を算出する。閾値の算出は、ｋ平均法により距離のクラスタリングを実行することで行う。例えば、図３に示す撮影画像を元の画像データとして用いる場合、対応する距離情報のヒストグラムは図４（ａ）に示すような形状となる。この図４（ａ）に示す距離に対して４つの分割層（クラス）にクラスタリングを実行した場合を考える。図４（ａ）において、横軸の距離は原点に近い側（図中の左側）が撮影した撮像装置に近い距離である。このような距離分布の場合、ｋ平均法により、図４（ｂ）の矢印で示した閾値ａｒｒ１、ａｒｒ２、ａｒｒ３で示す距離を境界として４つの範囲に分離される。撮像装置から閾値ａｒｒ１未満の範囲までが第１の層、閾値ａｒｒ１以上、閾値ａｒｒ２未満の範囲が第２の層、閾値ａｒｒ２以上、閾値ａｒｒ３未満の範囲が第３の層、閾値ａｒｒ３以上の範囲が第４の層となる。

距離のクラスタリング手法はｋ平均法に限定されることなく、判別分析法や階層型クラスタリングといった他のクラスタリング手法を用いることもできる。分割層数は、画像データよらず定められている数としてもよいし、ユーザが設定した数としてもよいし、距離情報に応じて層分割画像データ生成部１２が自動で決定することも可能である。層数が多すぎると印刷後に重ねて表示した際の透過率の低下が生じるため、２層から１０層の範囲が好適であると考えられる。分割に用いる閾値（ａｒｒ１、ａｒｒ２、ａｒｒ３）を取得すると、ステップＳ１０３へ進む。

ステップＳ１０３で、層分割画像データ生成部１２は、算出された距離の閾値を用いて画像でータを分割し、層ごとに分離した画像のデータである、層分割画像データを生成する。第１の層の画像データは、画像データから、第１の層に含まれる距離の画素位置に対応する画素値を選択し、当該画素の値は選択した画素値とし、その他の画素の値は印刷時に光が透過するように画素値の最大値に設定することで生成する。言い換えると、第１の層の画像データは、画像データから、被写体距離が閾値ａｒｒ１未満の被写体の画像情報を抽出し、画素値がない画素には画素値の最大値を設定することで生成する。

選択された距離のヒストグラムを図５（ａ）に示し、生成された第１の層の画像を図６（ａ）に示す。図６（ａ）に示したように、第１の層の画像データでは、撮像装置からの距離がａｒｒ１未満（第１の距離未満）の被写体の位置には画像データの画素値が、そのほかの領域に対しては最大値が設定されている。言い換えると、第１の層の画像データは、被写体距離がａｒｒ１未満の被写体に対応する画像データを含む。

第２の層以降の画像データは、対象となる層に対応する距離の被写体の画像データと、対象となる層より近距離にある層全てに対応する距離の被写体の画像データとを含むように生成する。つまり、第２の層の画像データは、図５（ｂ）で示すように第１の層および第２の層の距離範囲である、閾値ａｒｒ２未満（第２の距離未満）の被写体に対応する画素位置の画素値を用いて生成される。よって、図６（ｂ）に示すように、第２の層の画像データは、被写体距離がａｒｒ２未満の被写体に対応する画像データを含み、被写体距離がａｒｒ２以上（第２の距離以上）の被写体の領域の画素値には最大値が設定されている画像のデータとなる。

同様に、第３の層の画像データは、図５（ｃ）で示すように第１の層から第３の層の距離範囲である、閾値ａｒｒ３未満（第３の距離未満）の被写体に対応する画素位置の画素値を用いて生成される。よって、図６（ｃ）に示すように、第３の画像データは被写体距離がａｒｒ３未満（第３の距離未満）の被写体に対応する画像データを含み、被写体距離がａｒｒ３以上（第３の距離以上）の被写体の領域の画素値には最大値が設定されている画像のデータとなる。

第４の層の画像データは、この例の場合は最遠の層の画像データとなり、図５（ｄ）で示すように全ての距離の被写体に対応する画素位置の画素値を用いて生成される。すなわち、最遠の層の画像は図６（ｄ）で示すように、すべての被写体に対応するが画像データを含み、図３で示した撮影画像と同様の画像となる。

以上のように、層分割画像データの生成処理により、距離情報を利用して、指定された層数に分割された複数の画像データが生成される。生成された層分割画像データは、記憶部１３に保存されるとともに、外部の印刷装置３へと出力され印刷が実行される。

尚、画像処理部１６は、分割された画像のそれぞれに対して輝度調整や色補正等を行ってもよい。例えば、第１の層の画像データから、徐々に輝度を少し下げたり上げたりすることで奥行き感、立体感を表現してもよい。また、第１の層の画像データに含まれる被写体は第１〜第４の層の画像データに含まれることになるため、正面から観察すると、各層が重畳した色が見えるため、複数の層に渡って印刷される部分にのみ色補正や輝度補正を行ってもよい。

［第２実施形態］
第１実施形態では、撮像装置から離れた距離の層になるほど、層分割した画像が積算され、最遠層では撮影画像と同じ画像となる。このように分割した画像を印刷した後で層を重ね合わせて観察した場合、同じ画像が複数の層に渡って印刷された領域は背景光の透過率が低下し、視認性が低下することがある。例えば、図３に示した撮像画像の場合、手前の木の領域が、奥の木の領域よりも背景光の透過率が低くなるため、暗く見えることが想定される。

本実施形態では、画像重畳による視認性の低下を低減することができる層分割画像データ生成処理に関して説明する。画像処理装置１００の構成は実施形態１と同様であるため説明を省略する。層分割画像データ生成処理のフローは、図２のフローチャートと同様であるが、ステップＳ１０３での層画像生成の方法のみが異なるため、本実施形態におけるステップＳ１０３の処理について説明をする。

本実施形態では、第２の層以降の画像データが、対象となる層より近距離にある層の情報を含まず、対象となる層の距離範囲に含まれる被写体領域に対応する位置の画素の画素値のみを用いてそれぞれの層分割画像データを生成する。

図３の撮影画像を本実施形態の処理方法でそれぞれの層に分割した画像データの距離のヒストグラムを図７に、画像データが示す画像を図８に示す。図７（ａ）から（ｄ）の順に、第１から４の層の画像データのヒストグラムであり、図８の（ａ）から（ｄ）の順に第１から第４の層画像データである。第１の層の画像データは、図７（ａ）に示したように被写体距離がａｒｒ１未満の被写体に対応する画像データを含み、図８（ａ）に示したように撮像装置から見て手前側に位置する２本の木と道路の手前部分のみに対応する。第２の層の画像データは、図７（ｂ）に示したように被写体距離がａｒｒ１以上、ａｒｒ２未満の被写体に対応する画像データを含み、図８（ｂ）に示したように第１の層の画像データ中の被写体よりも少し遠くに位置する（被写体距離が大きい）被写体に対応する。第３の層の画像データは、図７（ｃ）に示したように被写体距離がａｒｒ２以上、ａｒｒ３未満の被写体に対応する画像データを含み、図８（ｃ）に示したように第２の層の画像データ中の被写体よりもさらに少し遠くに位置する被写体に対応する。第４の層の画像データは、図７（ｄ）に示したように被写体距離がａｒｒ３以上の被写体に対応する画像データを含み、図８（ｄ）に示したように第３の層の画像データ中の被写体よりも遠くに位置する被写体に対応する。第１の層の画像データに含まれる被写体に対応する画素の画素値は、第２〜第４の層の画像データでは最大値に設定されており、第２の層の画像データに含まれる被写体に対応する画素の画素値は第１、第３〜４の層の画像データでは最大値に設定されている。第３、第４の画像データに含まれている被写体に対応する画素の画素値も同様に、他の層の画像データでは最大値に設定されている。

以上のように、本実施形態による層分割画像データ生成処理によれば、同じ画素位置の画素値が複数の層で選択されないため、それぞれの層の画像データを印刷した層を重ねても、印刷された領域が重畳されない。よって、第１実施形態のようにそれぞれの層に対応する画像データが、被写体距離が閾値以下の全ての被写体に対応する画像データを含む場合と比較して背景光の透過率が向上し、視認性が低下する可能性を低減できる。

［第２実施形態の変形例］
第２実施形態の方法で層分割した画像を印刷して、層間に隙間を空けて重畳した場合、斜め方向から観察すると層間の間隙により、層の境界領域で画像が何もない領域が生じる。このような領域が生じないように、図９（ａ）〜（ｄ）に示すように各層間の距離の境界を重複させてもよい。図９（ａ）に示すように第１の層の画像データが閾値ａｒｒ４未満の被写体距離の被写体の画像データを含む場合、図９（ｂ）に示すように、ａｒｒ４よりも小さいａｒｒ５以上の被写体距離の被写体の画像データを含むように第２の層の画像データを生成する。同様に、第２の層の画像データが閾値ａｒｒ６未満の被写体距離の被写体の画像データを含む場合、図９（ｃ）に示すように、ａｒｒ６よりも小さいａｒｒ７以上の被写体距離の被写体の画像データを含むように第３の層の画像データを生成する。同様に、第３の層の画像データが閾値ａｒｒ７未満の被写体距離の被写体の画像データを含む場合、図９（ｄ）に示すように、ａｒｒ７よりも小さいａｒｒ８以上の被写体距離の被写体の画像データを含むように第４の層の画像データを生成する。尚、図９の場合、ａｒｒ５＜ａｒｒ１＜ａｒｒ４、ａｒｒ７＜ａｒｒ２＜ａｒｒ６、ａｒｒ９＜ａｒｒ３＜ａｒｒ８であるが、境界の距離が重複していれば重複のさせ方はこれに限定されない。

このように、各層で距離を重複させることで、各層間の距離付近の被写体領域に対応する画像が、いずれの層の画像データにも含まれる。これにより斜め方向からの観察の際に、層間の間隙が同じ距離であれば、画像のない領域を小さくすることが可能となる。特に連続した距離の途中で、層分割されている領域で効果がある。重複させる距離は、予め定められた量としてもよいし、入力された画像データに対応する距離情報に基づいて、層分割データ生成部１２が決定してもよい。例えば、距離のヒストグラムにおいてａｒｒ１とａｒｒ２の間の範囲にある距離の平均値μ１と標準偏差σ１を求め、標準偏差に対する係数αを用い、ａｒｒ５＝μ１−ασ１、ａｒｒ６＝μ１＋ασ１で決定する。ここで、ａｒｒ５＜ａｒｒ１、ａｒｒ２＜ａｒｒ６となるように係数αを設定する。図９（ｂ）の場合、第１実施形態では距離の下限値をａｒｒ１としたが、ａｒｒ１近傍において被写体距離が連続的に変化している被写体が存在する場合に被写体が層で分離される。よって、本変形例のように点線で示したピークの裾までが範囲に含まれるようにａｒｒ１よりも小さいａｒｒ５を距離の下限値とすることで、層による被写体の分離を回避することができる。

図９には、第１〜第４の層の全ての境界でピークの裾までがその層に含まれるように被写体距離の範囲を設定したが、重複のさせ方はこれに限定されない。例えば、隣り合う層のうち、被写体距離が短い方の画像を含む方の層は図７のようにクラスタリングにより設定した閾値を用い、被写体距離が遠い方の画像を含む方の層は図９のようにピークの裾までが範囲に含まれるように下限の距離を設定してもよい。このように層分割画像データを生成する場合、第１の層の画像データには、被写体距離がａｒｒ１未満の被写体の画像データが含まれ、第２の層の画像データには、被写体距離がａｒｒ５以上、ａｒｒ２未満の被写体の画像データが含まれる。このように、被写体距離が長い方の画像を含む方の層のみをピークの裾まで範囲に含まれるようにすることで被写体距離が短い（撮像装置から見て手前の）被写体のエッジを強調した表現をすることができる。

また、フォーカス位置を含む層の画像は図７のように閾値に基づいて生成し、そのほかの層の画像は図９のようにピークの裾を含むように設定した距離範囲に基づいて生成してもよい。このように各層の画像データを生成することで、フォーカス近傍の被写体のエッジを強調した表現をすることができる。例えば、第２の層の距離範囲（例えばａｒｒ１以上ａｒｒ２未満）に合焦位置がある場合、第１、第３、第４の層の画像データは図９のように生成し、第２の層の画像データは図７のように生成すればよい。

また他の手法として、第２実施形態で生成した各層の画像を、順に徐々に拡大することで、重畳領域を生成することで、斜め方向から観察しても画像のない領域を小さくすることが可能である。

また、入力された画像情報に対応する距離情報に基づいて、上述の実施形態２の処理方法を行うか、変形例のように画像の間隙を小さくする処理方法を行うかを決定してもよい。

［第３実施形態］
第１実施形態では、撮像装置１と接続された画像処理装置が層分割画像データを生成する形態について説明をした。本実施形態では、撮像画像を取得する撮像装置（デジタルカメラ）が層分割画像データを生成する形態について説明をする。

＜撮像装置３００の構成＞
図１０を参照して、撮像装置３００の構成について説明する。図１０は、変換情報算出処理を組み込んだ撮像装置３００の機能構成を示すブロック図である。

撮像光学系３０は、撮像装置３００が有するレンズユニット、またはカメラ本体部に装着可能なレンズ装置により構成され、被写体の光学像を撮像素子３１上に形成する。撮像光学系３０は、光軸３０ａ方向に並んだ複数のレンズで構成され、撮像素子３１から所定距離離れた位置に射出瞳３０ｂを有する。なお、本明細書において、光軸３０ａと平行な方向をｚ方向（深度方向）と定義する。つまり、深度方向は撮像装置３００の位置を基準とすると実空間で被写体が存在する方向である。また、光軸３０ａと直交し、かつ撮像素子３１の水平方向に対して平行な方向をｘ方向と定義し、光軸３０ａと直交し、かつ撮像素子３１の垂直方向に対して平行な方向をｙ方向と定義する。

撮像素子３１は、例えばＣＣＤ（電荷結合素子）型イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサである。撮像素子３１は、撮像光学系３０を介して撮像面に形成された被写体像に対する光電変換を行い、被写体像に係る画像信号を出力する。本実施形態の撮像素子３１は、後述するように撮像面位相差方式の測距が可能な信号を出力する機能を有しており、撮像画像に加えて、撮像装置から被写体までの距離（被写体距離）を示す距離情報を生成するための視差信号を出力する。

制御部３２は、ＣＰＵ（中央演算処理装置）やマイクロプロセッサ等を備え、撮像装置３００が備える各構成要素の動作を制御する。例えば、制御部３２は撮像時のオートフォーカス（ＡＦ：自動焦点調節）、フォーカス（合焦）位置の変更、Ｆ値（絞り値）の変更、画像の取り込み等を行う。また制御部３２は画像処理部３３、記憶部３４、入力部３５、表示部３６、通信部３７の制御を行う。

画像処理部３３は、撮像装置３００が有する各種の画像処理を実行する。画像処理部３３は、画像生成部３３０、深度生成部３３１、変換情報算出部３３２を有する。画像処理部３３は、画像処理の作業領域として用いられるメモリを有する。画像処理部３３に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。

画像生成部３３０は、撮像素子３１から出力された画像信号のノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う。画像生成部３３０から出力される画像データ（撮影画像）はメモリまたは記憶部３４に蓄積され、制御部３２によって表示部３６での画像表示や通信部３７を介した外部装置への出力に用いられる。

深度情報生成部３３１は、後述する撮像素子３１が有する測距用画素により得られた信号を基づいて、深度情報の分布を表す深度画像（深度分布情報）を生成する。ここで、深度画像は、各画素に格納される値が、該画素に対応する撮影画像の領域に存在する被写体の被写体距離である２次元の情報である。実施形態１，２と同様に、被写体距離の代わりに、デフォーカス量や視差情報を用いてもよい。

層分割画像生成部３３２は、第１実施形態の層分割画像生成部１２に相当する画像処理部であり、撮像光学系３０及び撮像素子３１を用いた撮影により取得した画像情報と深度情報とに基づいて、層分割画像データを生成する。

記憶部３４は、撮影された画像データ、層分割画像生成部３３２で生成された層分割画像データ、各ブロックの動作の過程で生成された中間データ、画像処理部３３や撮像装置３００の動作において参照されるパラメータ等が記録される不揮発性の記録媒体である。記憶部３４は、処理の実現にあたり許容される処理性能が担保されるものであれば、高速に読み書きでき、かつ、大容量の記録媒体であればどのようなものであってもよく、例えば、フラッシュメモリなどが好ましい。

操作入力部３５は、例えば、ダイヤル、ボタン、スイッチ、タッチパネル等の、撮像装置３００に対してなされた情報入力や設定変更の操作入力を検出するユーザインターフェイスである。入力部３５は、なされた操作入力を検出すると、対応する制御信号を制御部３２に出力する。

表示部３６は、例えば、液晶ディスプレイや有機ＥＬ等の表示装置である。表示部３６は、撮影画像をスルー表示することによる撮影時の構図確認や、各種設定画面やメッセージ情報の報知することに用いられる。また、入力部３５としてのタッチパネルを表示部３６の表示面と一体に備えることで、表示機能と入力機能を併せ持つことができる。

通信部３７は、撮像装置３００が備える、外部との情報送受信を実現する通信インタフェースである。通信部３７は、得られた撮影画像や深度情報、層分割画像データ等を、他の装置に送出可能に構成されていてよい。

＜撮像素子の構成＞
次に、上述した撮像素子３１の構成例について、図１１を参照して説明する。撮像素子３１は、図７（ａ）に示されるように、異なるカラーフィルタが適用された２行×２列の画素群３１０が複数連結して配列されることで構成されている。拡大図示されるように、画素群３１０は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配置されており、各画素（光電変換素子）からは、Ｒ、Ｇ、Ｂのいずれかの色情報を示した画像信号が出力される。なお、本実施形態では一例として、カラーフィルタが、図示されるような分布であるものとして説明するが、本発明の実施はこれに限定されない。

本実施形態の撮像素子３１は、撮像面位相差方式の測距機能を実現すべく、１つの画素（光電変換素子）は、撮像素子３１の水平方向に係る、図７（ａ）のＩ−Ｉ’断面において、複数の光電変換部が並んで構成される。より詳しくは、図７（ｂ）に示されるように、各画素は、マイクロレンズ３１１及びカラーフィルタ３１２を含む導光層３１３と、第１の光電変換部３１５及び第２の光電変換部３１６を含む受光層３１４と、で構成されている。

導光層３１３において、マイクロレンズ３１１は、画素へ入射した光束を第１の光電変換部３１５及び第２の光電変換部３１６に効率よく導くよう構成されている。またカラーフィルタ３１２は、所定の波長帯域の光を通過させるものであり、上述したＲ、Ｇ、Ｂのいずれかの波長帯の光のみを通過させ、後段の第１の光電変換部３１５及び第２の光電変換部３１６に導く。

受光層３１４には、受光した光をアナログ画像信号に変換する２つの光電変換部（第１の光電変換部３１５と第２の光電変換部３１６）が設けられており、これら２つの光電変換部から出力された２種類の信号が測距に用いられる。即ち、撮像素子３１の各画素は、同様に水平方向に並んだ２つの光電変換部を有しており、全画素のうちの第１の光電変換部３１５から出力された信号で構成された画像信号と、第２の光電変換部３１６から出力された信号で構成される画像信号が用いられる。つまり、第１の光電変換部３１５と第２の光電変換部３１６とは、画素に対してマイクロレンズ３１１を介して入光する光束を、それぞれ部分的に受光する。よってに、最終的に得られる２種類の画像信号は、撮像光学系３０の射出瞳の異なる領域を通過した光束に係る瞳分割画像群となる。ここで、各画素で第１の光電変換部３１５と第２の光電変換部３１６とが光電変換した画像信号を合成したものは、画素に１つの光電変換部のみが設けられている態様において該１つの光電変換部から出力される画像信号（鑑賞用）と等価である。

このような構造を有することで、本実施形態の撮像素子３１は、鑑賞用画像信号と測距用画像信号（２種類の瞳分割画像）とを出力することが可能となっている。なお、本実施形態では、撮像素子３１の全ての画素が２つの光電変換部を備え、高密度な深度情報を出力可能に構成されているものであるとして説明するが、本発明の実施はこれに限られるものではない。また、第１の光電変換部３１５のみを有する測距用画素と、第２の光電変換部３１６のみを有する測距用画素を撮像素子３１の一部に設け、これらの画素からの信号を用いて撮像面位相差方式の測距を行ってもよい。

＜撮像面位相差測距方式の測距原理＞
ここで、本実施形態の撮像装置３００で行われる、第１の光電変換部３１５及び第２の光電変換部３１６から出力された瞳分割画像群に基づいて、被写体距離を算出する原理について、図１２を参照して説明する。

図１２（ａ）は、撮像光学系３０の射出瞳３０ｂと、撮像素子３１中の画素の第１の光電変換部３１５に受光する光束を示した概略図である。図１２（ｂ）は同様に第２の光電変換部３１６に受光する光束を示した概略図である。

図１２（ａ）及び（ｂ）に示したマイクロレンズ３１１は、射出瞳３０ｂと受光層３１４とが光学的に共役関係になるように配置されている。撮像光学系３０の射出瞳３０ｂを通過した光束は、マイクロレンズ３１１により集光されて第１の光電変換部３１５または第２の光電変換部３１６に導かれる。この際、第１の光電変換部３１５と第２の光電変換部３１６にはそれぞれ図１２（ａ）及び（ｂ）に示される通り、異なる瞳領域を通過した光束を主に受光する。第１の光電変換部３１５には第１の瞳領域３３０を通過した光束、第２の光電変換部３１６には第２の瞳領域３３０を通過した光束となる。

撮像素子３１が備える複数の第１の光電変換部３１５は、第１の瞳領域３２０を通過した光束を主に受光し、第１の画像信号を出力する。また、同時に撮像素子３１が備える複数の第２の光電変換部３１６は、第２の瞳領域３３０を通過した光束を主に受光し、第２の画像信号を出力する。第１の画像信号から第１の瞳領域３２０を通過した光束が撮像素子３１上に形成する像の強度分布を得ることができる。また、第２の画像信号から第２の瞳領域３３０を通過した光束が、撮像素子３１上に形成する像の強度分布を得ることができる。

第１の画像信号と第２の画像信号間の相対的な位置ズレ量（所謂、視差量）は、デフォーカス量に応じた値となる。視差量とデフォーカス量との関係について、図１２（ｃ）、（ｄ）、（ｅ）を用いて説明する。図１２（ｃ）、（ｄ）、（ｅ）は本実施形態の撮像素子３１、撮像光学系３０について説明した概略図である。図中の第１の光束３２１は、第１の瞳領域３２０を通過する光束であり、第２の光束３３１は第２の瞳領域３３０を通過する光束である。

図１２（ｃ）は合焦時の状態を示しており、第１の光束３２１と第２の光束３３１が撮像素子３１上で収束している。このとき、第１の光束３２１により形成される第１の画像信号と第２の光束３３１により形成される第２の画像信号間との視差量は０となる。図１２（ｄ）は像側でｚ軸の負方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の信号により形成される第２の画像信号との視差量は０とはならず、負の値を有する。図１２（ｅ）は、像側でｚ軸の正方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号との視差量は正の値を有する。図１２（ｄ）と図１２（ｅ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、撮像光学系の結像関係（幾何関係）に従って位置ズレが生じることが分かる。第１の画像信号と第２の画像信号との位置ズレである視差量は、後述する領域ベースのマッチング手法により検出することができる。

＜画像生成および深度画像生成処理＞
このような構成をもつ本実施形態の撮像装置３００において実行される、撮影した被写体の画像生成および深度画像生成処理について、図１３（ａ）のフローチャートを用いて具体的な処理を説明する。

ステップＳ３３１で、制御部３２は、設定された焦点位置、絞り、露光時間等の撮影設定にて撮影を行うよう処理する。より詳しくは、制御部３２は、撮像素子３１に撮影を行わせ、得られた撮影画像を画像処理部３３に伝送させ、メモリに格納させるよう制御する。ここで、撮影画像は、撮像素子３１が有する第１の光電変換部３１５のみから出力された信号で構成された画像信号Ｓ１と、第２の光電変換部３１６のみから出力された信号で構成された画像信号Ｓ２の２種類であるものとする。

ステップＳ３３２で、画像処理部３３は、得られた撮影画像から鑑賞用画像を生成する。より詳しくは、画像処理部３３のうちの画像生成部３３０は、まず画像信号Ｓ１と画像信号Ｓ２の各画素の画素値を加算することで、１つのベイヤー配列画像を生成する。画像生成部３３０は、該ベイヤー配列画像について、Ｒ、Ｇ、Ｂ各色の画像のデモザイキング処理を行い、鑑賞用画像を生成する。なお、デモザイキング処理は、撮像素子上に配置されたカラーフィルタに応じて行われるものであり、デモザイキング方法についていずれの方式が用いられるものであってもよい。このほか、画像生成部３３０は、ノイズ除去、輝度信号変換、収差補正、ホワイトバランス調整、色補正等の処理を行い、最終的な鑑賞用画像を生成してメモリに格納する。

ステップＳ３３３で、画像処理部３３は、得られた撮影画像から深度画像を生成する。深度画像については、深度生成部３３１が生成に係る処理を行う。ここで、深度画像生成に係る処理について、図１３（ｂ）のフローチャートを用いて説明する。

ステップＳ３３３１で、深度生成部３３１は、画像信号Ｓ１及び画像信号Ｓ２について、光量補正処理を行う。撮像光学系３０の周辺画角ではヴィネッティングにより、第１の瞳領域３２０と第２の瞳領域３３０の形状が異なることに起因し、画像信号Ｓ１と画像信号Ｓ２の間では、光量バランスが崩れている。従って、本ステップにおいて、深度生成部３３１は、例えばメモリに予め格納されている光量補正値を用いて、画像信号Ｓ１と画像信号Ｓ２の光量補正を行う。

ステップＳ３３３２で、深度生成部３３１は、撮像素子３１における変換時に生じたノイズを低減する処理を行う。具体的には深度生成部３３１は、画像信号Ｓ１と画像信号Ｓ２に対して、フィルタ処理を適用することで、ノイズ低減を実現する。一般に、空間周波数が高い高周波領域ほどＳＮ比が低くなり、相対的にノイズ成分が多くなる。従って、深度生成部３３１は、空間周波数が高いほど、通過率が低減するローパスフィルタを適用する処理を行う。なお、ステップＳ３３３１における光量補正は、撮像光学系３０の製造誤差等によっては好適な結果とはならないため、深度生成部３３１は、直流成分を遮断し、かつ、高周波成分の通過率が低いバンドパスフィルタを適用することが好ましい。

ステップＳ３３３３で、深度生成部３３１は、画像信号Ｓ１と画像信号Ｓ２に基づいて、これらの画像間の視差量を算出する。具体的には、深度生成部３３１は、画像信号Ｓ１内に、代表画素情報に対応した注目点と、該注目点を中心とする照合領域とを設定する。照合領域は、例えば、注目点を中心とした一辺が所定長さを有する正方領域等の矩形領域であってよい。次に深度生成部３３１は、画像信号Ｓ２内に参照点を設定し、該参照点を中心とする参照領域を設定する。参照領域は、上述した照合領域と同一の大きさおよび形状を有する。深度生成部３３１は、参照点を順次移動させながら、画像信号Ｓ１の照合領域内に含まれる画像と、画像信号Ｓ２の参照領域内に含まれる画像との相関度を算出し、最も相関度が高い参照点を、画像信号Ｓ２における、注目点に対応する対応点として特定する。このようにして特定された対応点と注目点との相対的な位置ズレ量が、注目点における視差量となる。

深度生成部３３１は、このように注目点を代表画素情報に従って順次変更しながら視差量を算出することで、該代表画素情報によって定められた複数の画素位置における視差量を算出する。本実施形態では簡単のため、鑑賞用画像と同一の解像度で深度情報を得るべく、視差量を計算する画素位置（代表画素情報に含まれる画素群）は、鑑賞用画像と同数になるよう設定されているものとする。相関度の算出方法として、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の方法を用いてよい。

また、算出された視差量は、所定の変換係数を用いることで、撮像素子３１から撮像光学系３０の焦点までの距離であるデフォーカス量に変換することができる。ここで、所定の変換係数Ｋ、デフォーカス量をΔＬとすると、視差量は、
ΔＬ＝Ｋ×ｄ 式（１）
によって、デフォーカス量に変換できる。ここで、変換係数Ｋは絞り値、射出瞳距離、及び撮像素子３１における像高等を含む情報に基づいて領域毎に設定されるものとする。

深度生成部３３１は、このように算出したデフォーカス量を画素値とする２次元情報を構成し、深度画像としてメモリに格納する。

ステップＳ３３４で層分割画像生成部３３２は、ステップＳ３３３で取得した深度情報に基づいてステップＳ３３２で取得した鑑賞用の画像情報を層分割し、層分割画像データを生成する処理を行う。層分割画像生成部３３２が実行する層分割画像生成処理は、第１実施形態の層分割画像生成部１２が実行する層分割画像生成処理と同様であるため説明は省略する。尚、第２実施形態やその変形例で説明をした方法で層分割画像を生成してもよい。

なお、本実施形態では、撮像素子３１が撮像面位相差測距方式の光電変換素子を有し、鑑賞用画像と深度画像とを取得できるものとして説明したが、本発明の実施において、距離情報の取得はこれに限られるものではない。距離情報は、例えば両眼の撮像装置や複数の異なる撮像装置から得られた複数枚の撮影画像に基づいて、ステレオ測距方式で取得するものであってもよい。あるいは、例えば光照射部と撮像装置を用いたステレオ測距方式や、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式と撮像装置の組み合わせによる方式等を用いて取得するものであってもよい。

［第４実施形態］
第１実施形態では、画像処理装置１００が画像情報とそれに対応する深度情報とを外部から受け取り、入力された画像情報と深度情報とに基づいて層分割画像データを生成する形態について説明をした。本実施形態では、深度情報を画像処理装置１００が生成する形態について説明をする。

＜画像処理装置１００の構成＞
図１４は、本実施形態の画像処理装置１００の機能構成例を示すブロック図である。本実施形態の画像処理装置１００は、画像処理部１６が深度情報生成部１７を有する点が第１実施形態の画像処理装置１００と異なるが、その他の構成は第１実施形態の画像処理装置１００と同様であるため説明を省略する。

本実施形態の入力部１１は、深度情報の代わりに、深度情報を生成するために必要な情報の入力を受ける。入力された情報は画像処理部１６内の深度情報生成部１７に送信される。本実施形態では、第３実施形態で説明をした、第１の光電変換部３１５のみから出力された信号で構成された画像信号Ｓ１と、第２の光電変換部３１６のみから出力された信号で構成された画像信号Ｓ２が入力される場合を例に説明をする。

＜深度情報生成処理＞、
深度情報生成部１７は、画像信号Ｓ１と、画像信号Ｓ２とに基づいて深度情報を生成する。深度情報生成部１７は、第３実施形態に係る撮像装置３００が有する深度情報生成部３３１と同様に、図１３（ｂ）のフローチャートに示した処理を行うことで深度情報を生成する。深度情報の生成方法の詳細は第３実施形態で説明したため省略する。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 撮像装置
２ 表示装置
３ 印刷装置
１００ 画像処理装置
１１ 入力部
１２ 層分割画像生成部
１３ 記憶部
１４ 通信部
１５ 出力部
１６ 画像処理部

Claims (11)

1. 画像データと、前記画像データに対応する深度情報とを取得する取得手段と、
   前記画像データを前記深度情報に基づいて、被写体距離に応じて複数の層に分割した層分割画像データを生成する画像処理手段と、
   前記層分割画像データを出力する出力手段と、を備え、
   前記層分割画像データは、被写体距離が第１の距離未満の被写体に対応する画像データを含む第１の層の画像データと、前記被写体距離が前記第１の距離以上の被写体に対応する画像データを含む第２の層の画像データとを含み、
   前記第１の距離は前記深度情報に基づいて変化することを特徴とする画像処理装置。
2. 前記第２の画像データは、前記第１の画像データの少なくとも一部を含むことを特徴とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の画像データは、前記第１の距離未満の被写体に対応する画像データと、前記第１の距離を超える被写体に対応する画像データとを含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の層の画像データは、前記第１の距離未満の被写体に対応する画像データを含み、
   前記第２の画像データは前記第１の距離よりも小さい第２の距離以上、前記第１の距離未満の被写体に対応する画像データと、前記第１の距離以上の被写体に対応する画像データとを備えることを特徴とする請求項２に記載の画像処理装置。
5. 前記画像処理装置は、
   前記深度情報のヒストグラムに基づいて前記第１の距離を決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記画像処理手段は、
   画像データから、前記第１の距離未満の被写体に対応する画像データを抽出して前記第１の層の画像データを生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記画像処理装置は、
   前記深度情報のヒストグラムにおいて第１の層に含まれる距離と第２の層に含まれる距離が重複するように分離することで前記第１の層の画像データと前記第２の層の画像データとを生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記深度情報を取得する深度情報生成手段を備え、
   前記取得手段は、前記深度情報生成手段から前記深度情報を取得することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記深度情報は、距離情報、デフォーカス情報、及び視差情報の少なくともいずれかを含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 画像データと、前記画像データに対応する深度情報とを取得する取得工程と、
    前記画像データを前記深度情報に基づいて、被写体距離に応じて複数の層に分割した層分割画像データを生成する画像処理工程と、
    前記層分割画像データを出力する出力工程と、を有し、
    前記層分割画像データは、
    被写体距離が第１の距離未満の被写体に対応する画像データを含む第１の層の画像データと、前記被写体距離が前記第１の距離以上の被写体に対応する画像データを含む第２の層の画像データとを含み、
    前記第１の距離は前記深度情報に基づいて変化することを特徴とする画像処理方法。
11. 請求項１０に記載の画像処理方法の各工程をコンピュータに実行させるプログラム。

Images