JP2023099993A - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】距離情報に基づくレイヤー情報に関する設定を容易にできる画像処理装置を提供する。【解決手段】画像処理装置において、レンズユニットを介して被写体を含む画像を取得する画像取得手段と、前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、前記距離情報に基づき距離ごとのレイヤーに関するレイヤー情報を生成するレイヤー情報生成手段と、前記レイヤー情報を生成するための基準を設定すると共に、前記レンズユニットのレンズ情報に応じて設定可能な設定値表示を切り替える設定手段と、を有する。【選択図】 図２０

Description

本発明は、画像処理装置、画像処理方法、及びコンピュータプログラム等に関する。

現在、映画やテレビで一般的に用いられている映像合成技術として、映像の特定の色の部分を透明にし、そこに異なる映像を合成するクロマキー合成という方法がある。クロマキー合成用の映像を撮影する際には、グリーンバックやブルーバックといった特定色の背景を用意する必要があり、その背景に色むらができないように皺を伸ばし、照明を調整するといった作業も必要となる。又、グリーンバックからの反射光が被写体に映り込むと背景分離が上手くできなくなることがあるため、撮影後の後処理で反射光の映り込みを消すなどの作業が必要となる場合もある。

一方、近年用いられている映像合成技術として、被写体までの距離情報を使用することで被写体と背景との分離を行い、被写体を別の映像と合成する方法がある。この方法を用いると、グリーンバックなどの背景を準備する必要がなくなり、前述したクロマキー合成のための煩雑な作業も不要となる。

加えて、被写体までの距離情報を使用することで被写体と背景の間の空間や、被写体とカメラの間の空間にコンピュータグラフィックス（以降ＣＧと記載）を挿入する映像合成技術もある。

被写体までの距離情報を取得する方法としては、例えば、映像撮影用の映像処理装置とは別に、距離センサを備えた装置を用いて被写体までの距離を測定する方法がある。その場合、夫々の装置で画角や解像度が異なるため、後処理で映像合成を行うために、撮影前にキャリブレーション作業を行う必要が生じる。

一方、被写体までの距離情報を取得する別の方法として、例えば、特許文献１の技術が知られている。特許文献１には、撮像面位相差方式の測距機能を有した撮像素子を用いることで、映像処理装置から被写体までの距離を示す距離情報を生成する技術が開示されている。この技術を用いると、１つの撮像素子で映像撮影と距離情報の生成を同時に行うことができるため、上述したキャリブレーション作業は不要となる。

又、被写体までの距離情報ごとに画像を分類するための技術としては、例えば、特許文献２と特許文献３の技術が知られている。特許文献２には、画像データに対応する被写体までの距離の分布頻度表すヒストグラムを生成して、距離情報の出現頻度に従って距離情報ごとの画像に分類する技術が開示されている。特許文献３には、画像データ内の被写体領域を認識する手段を用いて、被写体領域に含まれる距離情報ごとに分類する技術が開示されている。

特開２０２１－４８５６０号公報 特開２０１６－１４３９１９号公報 特開２０１８－２９２７０号公報

しかしながら、従来の機器において距離情報は被写体までの距離を示す数値などで出力、もしくは距離情報に応じたヒートマップ状の表示をされており撮影者はＣＧの挿入しやすい映像が撮影できているか直感的に理解しづらかった。

又、特許文献２と特許文献３には距離情報ごとに画像を分類する技術が公開されているが、被写体までの距離情報に応じて分類しているだけであり、後工程でＣＧ挿入がしやすいように映っている被写体が少ない距離情報を分類できていない課題がある。更に、光学系の条件によってどのような距離レイヤーＭＡＰが生成できるか直観的にわかりづらいという課題があった。

そこで本発明の目的は、距離情報に基づくレイヤー情報に関する設定を容易にできる画像処理装置を提供することにある。

画像処理装置において、
レンズユニットを介して被写体を含む画像を取得する画像取得手段と、
前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、
前記距離情報に基づき距離ごとのレイヤーに関するレイヤー情報を生成するレイヤー情報生成手段と、
前記レイヤー情報を生成するための基準を設定すると共に、前記レンズユニットのレンズ情報に応じて設定可能な設定値表示を切り替える設定手段と、を有することを特徴とする。

本発明によれば、距離情報に基づくレイヤー情報に関する設定を容易にできる画像処理装置を提供できる。

実施例１に係る画像処理装置のブロック図である。 （Ａ）は、撮像素子の受光面に配置されたカラーフィルタ例を示す図、（Ｂ）は、図２（Ａ）のカラーフィルタの配列に対応させて、各画素に光電変換部（フォトダイオード）を２つ配置した例を示す図である。 実施例１に係る距離情報の生成処理を説明するためのフローチャートである。 ノイズが存在しない理想的な状態において、一対の画像信号列の相関が高い場合の式（１）の演算結果を示す図である。 ノイズが存在する微小ブロックに式（１）を適用した場合の演算結果を示す図である。 実施例１に係る、ヒストグラムを用いて距離情報を距離レイヤーＭＡＰに変換する例を示すフローチャートである。 ステップＳ６０２で生成されるヒストグラムの１例を示す図である。 画像認識手段を用いて距離情報を距離レイヤーＭＡＰに変換する処理を説明するためのフローチャートである。 実施例１に係る携帯端末の内部構成例を示すブロック図である。 距離レイヤーＭＡＰのどの層にＣＧを挿入するのかを撮影者に提示するための例を示すフローチャートである。 図１０のフローチャートを実施した際に表示部１１４に表示される画像の１例を示す図である。 図１１に表示されている被写体と画像処理装置１００の前後方向の位置関係を表した図である。 実施例２における処理を説明するためのフローチャートである。 図１３のステップＳ１３０１の詳細なフローを示すフローチャートである。 実施例２に係る取得するレンズ情報の例をまとめた表を示した図である。 （Ａ）、（Ｂ）は、ステップＳ１４０３で取得するテーブルの例を示す図である。 実施例２における像面の分解能を示すグラフである。 （Ａ）は実施例２における層パラメータ設定モードの選択画面の例を示す図、（Ｂ）は、図１８（Ａ）の状態から、層数・層幅の両方が選択されている状態に遷移したメニュー画面を示す図である。 図１３のステップＳ１３０５の層幅設定処理について詳述したフローチャートである。 （Ａ）～（Ｆ）は層幅設定モードにおける表示例を示す図である。 図１３のステップＳ１３０６の層数設定処理について詳述したフローチャートである。 （Ａ）～（Ｆ）は層数設定モードにおける表示例を示す図である。 図１３のステップＳ１３０７の層数層幅設定処理について詳述したフローチャートである。 （Ａ）～（Ｅ）は層数層幅設定モードにおける表示例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、各図において、同一の部材又は要素については同一の参照番号を付し、重複する説明は省略又は簡略化する。

又、実施例においては、画像処理装置としてデジタルスチルカメラに適用した例について説明する。しかし、画像処理装置はデジタルムービーカメラ、ネットワークカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、車載カメラ、ドローンカメラ、ロボットに搭載されたカメラなどの撮像機能を有する電子機器等を含む。
尚、実施例における画像は静止画だけでなく、動画等の映像を含む。

＜実施例１＞
図１は、実施例１に係る画像処理装置のブロック図である。同図において、画像処理装置１００は、画像の入力から出力、更に記録まで可能な装置となっている。

図１において、内部バス１０１に対してコンピュータとしてのＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、画像処理部１０５、レンズユニット１０６、撮像部１０７、ネットワークモジュール１０８、画像出力部１０９が接続されている。又、内部バス１０１に対して記録媒体Ｉ／Ｆ（インターフェース）１１０、物体検出部１１５等が接続されている。内部バス１０１に接続される各ブロックは、内部バス１０１を介して互いにデータのやりとりを行うことができるように構成されている。

尚、図１に示されるブロックの一部は、画像処理装置に含まれるコンピュータとしてのＣＰＵに、記憶媒体としてのＲＯＭなどのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。又、図１に示される夫々のブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

レンズユニット１０６は、ズームレンズ、フォーカスレンズを含むレンズ群や絞り機構及び駆動モータ等から成るユニットである。レンズユニット１０６を通過した光学像は、撮像部１０７の受光面に形成される。撮像部１０７は被写体を含む画像を取得する画像取得手段として機能しており、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を含む。撮像素子の受光面に形成された光学像は撮像信号に変換され、更にデジタル信号に変換されて出力される。尚、本実施例の撮像素子は像面位相差検出機能を有するセンサでありその詳細については後述する。

コンピュータとしてのＣＰＵ１０２は、ＲＯＭ１０３に格納されるコンピュータプログラムに従い、ＲＡＭ１０４をワークメモリとして用いて、画像処理装置１００の各部を制御する。又、ＲＯＭ１０３に格納されるコンピュータプログラムに従い、後述の図３、図６、図８、図１０、図１３～図２４のフローチャートの処理を実行する。ＲＯＭ１０３は、不揮発性の半導体メモリであり、ＣＰＵ１０２を動作させるためのコンピュータプログラムや各種調整パラメータなどが記録されている。

ＲＡＭ１０４は、揮発性の半導体メモリであり、一般的に、フレームメモリ１１１に比べて、低速、低容量のものが使用される。フレームメモリ１１１は、画像信号を一時的に溜めておき、必要な時に読み出すことが可能な半導体素子である。画像信号は膨大なデータ量であるため、高帯域かつ大容量のものが求められる。ここではＤＤＲ４－ＳＤＲＡＭ（Ｄｕａｌ Ｄａｔａ Ｒａｔｅ４－Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ ＲＡＭ）などを用いる。このフレームメモリ１１１を使用することで、例えば、時間的に異なる画像を合成したり、必要な領域だけを切り出すなどの処理を行うことが可能となる。

画像処理部１０５は、ＣＰＵ１０２の制御に基づいて、撮像部１０７からのデータ、又はフレームメモリ１１１や記録媒体１１２に格納された画像データに対して各種画像処理を施す。画像処理部１０５が行う画像処理には、画像データの画素補間、符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。

又、画像処理部１０５は、撮像部１０７の画素の特性のばらつきを補正したり、欠陥画素の補正、ホワイトバランスの補正、輝度の補正、レンズの特性により発生する歪みや周辺光量落ちの補正などの補正処理を行う。又、画像処理部１０５は、距離マップを生成するが、その詳細については後述する。尚、画像処理部１０５は、特定の画像処理を施すための専用の回路ブロックで構成しても良い。又、画像処理の種別によっては画像処理部１０５を用いずにＣＰＵ１０２がプログラムに従って画像処理を施すことも可能である。

画像処理部１０５における画像処理結果に基づいて、ＣＰＵ１０２はレンズユニット１０６の制御を行い、光学的に画像の拡大や焦点距離、光量を調整する絞りなどの調整を行う。又、レンズ群の一部を、光軸に直交する平面内で移動させることにより、手ブレ補正を行うようにしても良い。１１３は、機器外部とのインターフェースとして、ユーザの操作を受け付ける操作部であり、操作部１１３は、メカニカルなボタンやスイッチなどの素子で構成され、電源スイッチ、モード切替スイッチなどを含む。

１１４は、画像を表示するための表示部であり、例えば、画像処理部１０５で処理された画像や設定メニューや画像処理装置１００の動作状況を確認することができる。表示部１１４は、表示デバイスとしてＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）などの、小型で低消費電力のデバイスを用いる。更に、抵抗膜方式や静電容量方式の薄膜素子などを用いたタッチパネル構造とし、操作部１１３の一部として利用しても良い。

ＣＰＵ１０２は、画像処理装置１００の設定状態などをユーザに知らせるための文字列や、画像処理装置１００の設定をするためのメニューを生成し、画像処理部１０５で処理された画像に重畳して、表示部１１４に表示させる。文字情報の他にも、ヒストグラム、ベクトルスコープ、波形モニタ、ゼブラ、ピーキング、フォルスカラーなどのような撮影アシスト表示も重畳することが可能である。

１０９は画像出力部であり、インターフェースとして、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などを採用する。或いはＤｉｓｐｌａｙ Ｐｏｒｔ（登録商標）などのインターフェースを用いても良い。画像出力部１０９を介して外部モニタなどにリアルタイム画像を表示することが可能である。

又、画像だけでなくコントロール信号も伝送可能な、ネットワークモジュール１０８も備えている。ネットワークモジュール１０８は、画像信号や音声信号の入出力を行うためのインターフェースである。ネットワークモジュール１０８は、インターネットなどを介して外部機器と通信し、ファイルやコマンドなどの各種データの送受信を行うこともできる。ネットワークモジュール１０８は無線でも良いし有線でも良い。

画像処理装置１００は、画像を外部に出力するだけでなく、本体内に記録する機能も備えている。記録媒体１１２は、画像データや種々の設定データを記録することが可能な、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの大容量記憶素子であり、記録媒体Ｉ／Ｆ１１０に装着可能となっている。

物体検出部１１５は、物体を検出するためのブロックであり、例えば、ニューラルネットワークを用いたディープラーニングに代表される人工知能を用いて物体検出を行う。ディープラーニングによる物体検出をする場合、ＣＰＵ１０２は、ＲＯＭ１０３に格納された処理のためのプログラムやＳＳＤやＹＯＬＯなどのネットワーク構造や重みパラメータなどを物体検出部１１５に送信する。

尚、ＳＳＤはＳｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒの略であり、ＹＯＬＯはＹｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅの略である。物体検出部１１５は、ＣＰＵ１０２から得られる各種パラメータに基づいて、画像信号から物体を検出するための処理を行い、処理結果をＲＡＭ１０４に展開する。

図２（Ａ）は、撮像素子の受光面に配置されたカラーフィルタ例を示す図である。図２（Ａ）では、赤（Ｒ）、青（Ｂ）、緑（Ｇｂ、Ｇｒ）のベイヤ配列例を示しており、撮像素子は複数の画素が２次元状に配置されており、各画素の前面には図２（Ａ）のように、Ｒ、Ｂ、Ｇｂ、Ｇｒのいずれかのカラーフィルタが配置されている。図２（Ａ）では２行分のカラーフィルタ配列だけが示されているが、このカラーフィルタ配列が垂直走査方向に２行ずつ繰り返し配置される。

又、撮像素子の各画素の前面に配置されたカラーフィルタの前面にはマイクロレンズが配置されると共に、各画素は、水平走査方向に並べて配置された２つの光電変換部（フォトダイオードＡ、フォトダイオードＢ）を有する。

図２（Ｂ）は、図２（Ａ）のカラーフィルタの配列に対応させて、各画素に光電変換部（フォトダイオード）を２つ配置した例を示す図である。図２（Ｂ）においては、各画素はフォトダイオードＡとフォトダイオードＢの対により構成され、対である２つのフォトダイオードに対して同じ色のカラーフィルタが配置されている。尚、フォトダイオードＡ、フォトダイオードＢはマイクロレンズを介して、光学系の異なる射出瞳からの光束を夫々受光する。

本実施例の撮像素子においては、行方向に並んだ画素の複数のフォトダイオードＡからＡ像信号を取得することができる。同様に、行方向に並んだ画素の複数のフォトダイオードＢからＢ像信号を取得することができる。これらのＡ像信号とＢ像信号は位相差検出用の信号として処理される。

即ち、例えばＣＰＵ１０２や画像処理部１０５においてＡ像信号とＢ像信号の相関演算を行い、Ａ像信号とＢ像信号の位相差を検出し、位相差に基づき被写体距離を算出する。ここで、ＣＰＵ１０２や画像処理部１０５は、被写体までの距離を示す距離情報を取得するための距離情報取得手段として機能している。

尚、各画素の２つのフォトダイオードＡ、Ｂの信号を加算した画像用の信号（Ａ像信号＋Ｂ像信号）も取得でき、この加算した画像用の信号は、図２（Ａ）に示されるベイヤ配列に応じたカラーの画像信号として画像処理部１０５で処理される。

撮像部１０７においては、画素毎に位相差検出用信号（Ａ像信号、Ｂ像信号）を出力することも可能であるが、近接する複数画素のＡ像信号を加算平均すると共に、近接する複数画素のＢ像信号を加算平均した値を出力する事も可能である。加算平均した値を出力することで、撮像部１０７から信号を読み出す時間の短縮や、内部バス１０１の帯域削減ができる。

このような撮像素子を有する撮像部１０７からの出力信号を使って、ＣＰＵ１０２や画像処理部１０５が２つの像信号の相関演算を行い、２つの像信号の位相差に基づきデフォーカス量や視差情報、各種信頼性などの情報を算出する。受光面でのデフォーカス量は、Ａ像信号、Ｂ像信号のズレ（位相差）に基づき算出される。デフォーカス量は正負の値を持っており、デフォーカス量が正の値であるか負の値であるかによって、前ピンか後ピンかがわかる。

又、デフォーカス量の絶対値によって、合焦までの度合いが分かり、デフォーカス量が０であれば合焦である。即ち、ＣＰＵ１０２は、デフォーカス量の正負を元に前ピンか後ピンかの情報を算出し、デフォーカス量の絶対値に基づいて、合焦の度合い（ピントズレ量）である合焦度合い情報を算出する。前ピンか後ピンかの情報は、デフォーカス量が所定値を超える場合に出力し、デフォーカス量の絶対値が所定値以内である場合には、合焦であるという情報を出力する。

ＣＰＵ１０２は、デフォーカス量に応じてレンズユニット１０６を制御してフォーカス調整を行う。又、ＣＰＵ１０２は、前記位相差情報とレンズユニット１０６のレンズ情報から三角測量の原理を用いて被写体までの距離を算出する。

図２では、１つのマイクロレンズに対して光電変換手段としてのフォトダイオードを２つ配置した画素をアレイ状に並べた例について説明した。しかし、各画素は、１つのマイクロレンズに対して光電変換手段としてのフォトダイオードを３つ以上配置した構成としても良い。又、全ての画素が上記のような構成でなくても良く、例えば２次元状に配置された画像検出用の複数の画素の中に、距離検出用の画素を周期的かつ離散的に配置しても良い。

その場合、距離検出用の画素は上記のような２つのフォトダイオードを有する構造としても良いし、或いは距離検出用の各画素はフォトダイオードＡ、フォトダイオードＢの一方だけを有する構造としても良い。フォトダイオードＡ、フォトダイオードＢの一方だけを有する場合には、フォトダイオードＡ、フォトダイオードＢはレンズユニットの異なる瞳領域（射出瞳）の像が入射するように配置する。

或いは一方の光束を遮光する。このように、本実施例は、Ａ像信号とＢ像信号などの位相差検出可能な２つの像信号が得られる構成になっていれば良く、上記のような画素構造に限定されない。又、撮像部１０７は視差を有する２つの撮像素子からなる所謂ステレオカメラであっても良い。

次に図３～図５を用いて距離情報の生成処理を説明する。図３は、実施例１に係る距離情報の生成処理を説明するためのフローチャートである。尚、コンピュータとしてのＣＰＵ１０２が記憶媒体としてのＲＯＭ１０３などに記憶されたコンピュータプログラムを実行することによって図３のフローチャートの各ステップの動作が行われる。

図３のフローチャートにおいて、先ず、ステップＳ３００で、撮像部１０７から、撮像用の（Ａ像信号＋Ｂ像信号）と位相差検出用のＡ像信号の２つの信号を夫々読出すことで画像を取得する。ここで、ステップＳ３００は、レンズユニットを介して被写体を含む画像を取得する画像取得ステップとして機能している。次いでステップＳ３０１で、画像処理部１０５は、（Ａ像信号＋Ｂ像信号）とＡ像信号の差を求めることで位相差検出用のＢ像信号を算出する。

尚、上記のステップＳ３００とステップＳ３０１では（Ａ像信号＋Ｂ像信号）とＡ像信号を読出して差を演算することによりＢ信号を算出する例を説明した。しかし、Ａ像信号とＢ像信号を夫々撮像部１０７から読出すようにしても良い。又、ステレオカメラのようにイメージセンサを２つ具備している場合においては夫々のイメージセンサから出力される画像信号をＡ像信号及びＢ像信号としても処理すれば良い。

ステップＳ３０２では、位相差検出用のＡ像信号と位相差検出用のＢ像信号の夫々について光学的なシェーディングの補正を行う。ステップＳ３０３では、位相差検出用のＡ像信号と位相差検出用のＢ像信号の夫々にフィルタ処理を行う。例えば、ＦＩＲで構成されたハイパスフィルタで低域をカットする。尚、フィルタ係数を変えたバンドパスフィルタやローパスフィルタを夫々通しても良い。

次に、ステップＳ３０４で、ステップＳ３０３でフィルタ処理を行った位相差検出用のＡ像信号と位相差検出用のＢ像信号に対して微小ブロックに分割し相関演算を行う。尚、微小ブロックのサイズ又は形状についての制限はなく、近接するブロック同士で領域が重なっても良い。

以下、一対の画像であるＡ像信号、Ｂ像信号の相関演算について説明する。着目画素位置におけるＡ像信号の信号列をＥ（１）～Ｅ（ｍ）と表記し、着目画素位置におけるＢ像信号の信号列をＦ（１）～Ｆ（ｍ）と表記する。Ａ像信号の信号列Ｅ（１）～Ｅ（ｍ）に対して、Ｂ像信号の信号列Ｆ（１）～Ｆ（ｍ）を相対的にずらしながら、下記の式（１）を用いて２つの信号列間のずれ量ｋにおける相関量Ｃ（ｋ）が演算される。

式（１）において、Σ演算はｎについて総和を算出する演算を意味する。Σ演算において、ｎ、ｎ＋ｋの取る範囲は、１からｍの範囲に限定される。ずれ量ｋは整数値であり、一対のデータの検出ピッチを単位とした相対的画素ずれ量である。

図４は、ノイズが存在しない理想的な状態において、一対の画像信号列の相関が高い場合の式（１）の演算結果を示す図である。図４に示すように、一対の画像信号列の相関が高いずれ量（ｋ＝ｋｊ＝０）において、差分である相関量Ｃ（ｋ）は最小になる。以下、離散的な相関量Ｃ（ｋ）が最小となるときのｋを、ｋｊと表記し、式（２）～（４）に示す３点内挿処理によって、連続的な相関量に対する最小値Ｃ（ｘ）を与えるｘが算出される。尚、画素ずれ量ｘは実数値であり、単位をｐｉｘｅｌとする。

式（４）のＳＬＯＰは、最小かつ極小となる相関量と、その隣接する相関量における変化の傾きを表す。図４において、具体例として、
Ｃ（ｋｊ）＝Ｃ（０）＝１０００
Ｃ（ｋｊ－１）＝Ｃ（－１）＝１７００
Ｃ（ｋｊ＋１）＝Ｃ（１）＝１８３０
とする。

この例では、ｋｊ＝０である。式（２）～（４）より、
ＳＬＯＰ＝８３０
ｘ＝－０．０７８ｐｉｘｅｌ
となる。尚、合焦状態の場合、Ａ像の信号列とＢ像の信号列に対する画素ずれ量ｘは０．００が理想値である。

一方、図５は、ノイズが存在する微小ブロックに式（１）を適用した場合の演算結果を示す図である。図５に示すように、ランダムに分布しているノイズの影響により、Ａ像の信号列とＢ像の信号列との相関が低下する。相関量Ｃ（ｋ）の最小値は、図４に示す最小値に比べて大きくなり、相関量の曲線は全体的に平坦な形状（最大値と最小値との差分絶対値が小さい形状）となる。

図５において、具体例として、
Ｃ（ｋｊ）＝Ｃ（０）＝１３００
Ｃ（ｋｊ－１）＝Ｃ（－１）＝１４８０
Ｃ（ｋｊ＋１）＝Ｃ（１）＝１８００
とする。

この例では、ｋｊ＝０である。式（２）～式（４）より、
ＳＬＯＰ＝５００
ｘ＝－０．３２ｐｉｘｅｌ
となる。即ち、図４に示すノイズが存在しない状態での演算結果と比べて、画素ずれ量ｘが理想値から離れている。

一対の画像信号系列間の相関が低い場合、相関量Ｃ（ｋ）の変化量が小さくなり、相関量の曲線は全体的に平坦な形状となるため、ＳＬＯＰの値が小さくなる。又、被写体像が低コントラストである場合にも、同様に一対の画像信号系列間の相関が低くなり、相関量の曲線が平坦な形状となる。

この性質に基づき、算出された画素ずれ量ｘの信頼性をＳＬＯＰの値で判断することができる。即ち、ＳＬＯＰの値が大きい場合には、一対の画像信号系列間の相関が高く、又、ＳＬＯＰの値が小さい場合には、一対の画像信号系列間に有意な相関が得られなかったと判断することができる。

尚、本実施例では、相関演算に式（１）を用いたため、一対の画像信号系列の相関が最も高いずれ量において相関量Ｃ（ｋ）が最小かつ極小となる。しかし、一対の画像信号系列の相関が最も高いずれ量において相関量Ｃ（ｋ）が最大かつ極大となる相関演算法を用いても良い。

次にステップＳ３０５では信頼度を算出する。前述したようにステップＳ３０４で算出した２つの画像の一致度を示すＣ（ｋｊ）とＳＬＯＰの値とに基づき信頼度を算出できる。次にステップＳ３０６で補間処理を行う。ステップＳ３０４で相関演算を行えたがステップＳ３０５で算出した信頼性が低いために画素ずれ量として採用できない場合がある。

その場合には、周囲の画素で算出された画素ずれ量から補間する。補間方法としてはメディアンフィルタを掛けても良いし、画素ずれ量のデータを縮小した後に再度拡大する演算をしても良い。又、撮像用の（Ａ像信号＋Ｂ像信号）から色データを抽出し、色データを用いて画素ずれ量を補間しても良い。

次にステップＳ３０７で、ステップＳ３０４で算出された量ｘを参照してデフォーカス量を計算する。具体的には、デフォーカス量（ＤＥＦと記す）を下記の式（５）で求めることができる。

式（５）において、Ｐは検出ピッチ（画素配置ピッチ）と一対の視差画像における左右２つの視点の投影中心の距離とによって決まる変換係数であり、単位はｍｍ／ｐｉｘｅｌである。

次に、ステップＳ３０８で、ステップＳ３０７で算出したデフォーカス量から距離を算出する。被写体までの距離をＤａ、焦点位置をＤｂ、焦点距離をＦとしたときに近似的に以下の式（６）が成り立つ。尚、ステップＳ３０８は、被写体までの距離を示す距離情報を取得する距離情報取得ステップとして機能している。

従って、被写体までの距離Ｄａは以下の式（７）となる。

従って、ＤＥＦ＝０のときのＤｂをＤｂ０とすると式（７）は以下の式（８）となり被写体までの絶対距離を求めることができる。

一方、相対距離はＤａ－Ｄａ’となるので式（７）と式（８）より以下の式（９）で求めることができる。

以上のように、図３のフローチャートに従って相関演算を行えば、位相差検出用のＡ像信号と位相差検出用のＢ像信号から画素ずれ量、デフォーカス量、距離情報を算出することができる。即ち、複数の光電変換部の出力の位相差に基づき距離情報を取得可能である。尚、本実施例における距離情報は、距離データ自体であっても良いし、シフト量やデフォーカス量であっても良く、距離情報はそれらを含むものである。

次に図６～図８を用いて実施例１における距離レイヤーＭＡＰを生成する処理を説明する。図６は、実施例１に係る、ヒストグラムを用いて距離情報を距離レイヤーＭＡＰに変換する例を示すフローチャートである。尚、コンピュータとしてのＣＰＵ１０２が記憶媒体としてのＲＯＭ１０３などに記憶されたコンピュータプログラムを実行することによって図６のフローチャートの各ステップの動作が行われる。

図６のステップＳ６００において、ＣＰＵ１０２は内部の処理変数Ｎ、処理変数Ｘ、処理変数Ｔの値を夫々１に初期化する。ここで処理変数Ｎは処理の回数をカウントする変数、処理変数Ｘは計算するための仮変数、処理変数Ｔは層番号を示す変数である。

次に、ステップＳ６０１において、ＣＰＵ１０２はレンズユニット１０６と撮像部１０７からレンズ情報と距離情報としての合焦位置とレンズ絞り情報を取得し、測距可能範囲Ｌと被写体距離の最小分解能幅Ｍを算出する。

更に、ステップＳ６０２において、ＣＰＵ１０２は距離情報に基づいて奥行き方向に被写体が存在する距離の分布を示したヒストグラムを生成する。ここで図７はステップＳ６０２で生成されるヒストグラムの１例を示す図である。横軸を奥行き方向の距離とし、縦軸を距離情報の出現回数としている。測距可能範囲Ｌの範囲で最小分解能幅Ｍの単位で出現した距離情報を積み上げて生成する。ＣＰＵ１０２は、生成したヒストグラムのデータを最小分解能幅Ｍの単位で画像処理装置１００に近い距離にある順に１から番号でタグ付けをして、ＲＡＭ１０４へ格納する。

次に、ステップＳ６０３において、操作部１１３はユーザからの頻度閾値Ｓの設定入力を受け付ける。ユーザは操作部１１３を介して頻度閾値Ｓの情報をＣＰＵ１０２に送る。尚、操作部１１３を介してユーザによる設定を受け付け代わりに、ネットワークモジュール１０８を介して無線で外部機器から設定しても良い。

次に、ステップＳ６０４において、ＣＰＵ１０２はＲＡＭ１０４から処理変数Ｎ番目ヒストグラムデータと処理変数Ｎ＋１番目のヒストグラムデータを読み出す。そして、処理変数Ｎ番目と処理変数Ｎ＋１番目の距離情報の出現回数の変化が頻度閾値Ｓをクロスするかどうかを判断する。クロスする場合はステップＳ６０５へ進み、クロスしない場合はステップＳ６０７へ進む。

ステップＳ６０５では、ＣＰＵ１０２は最小分解能幅Ｍ＊処理変数Ｘから、最小分解能幅Ｍ＊処理変数Ｎまでの距離情報を、距離レイヤーＭＡＰの、Ｔ番目のレイヤーとして分類する。次に、ステップＳ６０６において、ＣＰＵ１０２は処理変数Ｘに処理変数Ｎ＋１の値を代入し、処理変数Ｔの値を１インクリメントする。

次に、ステップＳ６０７において、ＣＰＵ１０２はＲＡＭ１０４に格納されたヒストグラムデータを全て読み出したかを判断する。全て読み出していれば終了ステップへ、全て読み出していなければステップＳ６０８へ進む。次に、ステップＳ６０８において、ＣＰＵ１０２は処理変数Ｎの値を１インクリメントしステップＳ６０４に戻る。

以上の説明した実施例１では、図６のフローチャートによって、距離情報に基づいてヒストグラムを生成し、奥行き方向に被写体の多いレイヤーと、被写体の少ないレイヤーの距離レイヤーＭＡＰを分類（生成）することができる。又、各レイヤーに対して画像処理装置１００から近い順にナンバリングすることができる。

このようにして、図６のフローチャートでは、画像に応じてレイヤー情報を生成するための基準となる層数（レイヤーの数）と層幅（レイヤーの距離方向の幅）とを変更している。ここで、ＣＰＵ１０２は、ステップＳ６００～Ｓ６０８を実行することによって、距離情報に基づいてヒストグラムを生成し、ヒストグラムに基づいて距離ごとのレイヤー情報を生成するレイヤー情報生成ステップ（レイヤー情報生成手段）として機能している。

尚、図６と図７においては、ヒストグラムを利用して距離レイヤーＭＡＰを分類（生成）する方法を説明したが、被写体を画像認識手段で認識して、認識した被写体に応じて距離レイヤーＭＡＰの分類（生成）をしても良い。

図８は画像認識手段を用いて距離情報を距離レイヤーＭＡＰに変換する処理を説明するためのフローチャートである。尚、コンピュータとしてのＣＰＵ１０２が記憶媒体としてのＲＯＭ１０３などに記憶されたコンピュータプログラムを実行することによって図８のフローチャートの各ステップの動作が行われる。

ステップＳ８００において、ＣＰＵ１０２は処理変数Ｐと処理変数Ｑの値を夫々１に初期化する。ここで、処理変数Ｐは認識した被写体の数をカウントする変数、処理変数Ｑは処理を実行するための仮変数である。

次に、ステップＳ８０１において、物体検出部１１５は画像データ内の被写体を検出する。物体検出部１１５は、画像データ内のどの領域に被写体が映っているかを示す座標データとしてＲＡＭ１０４に格納する。ここで座標データは被写体の輪郭を表すデータである。

次に、ステップＳ８０２において、ＣＰＵ１０２は画像データ内の被写体を全て検出したかを判断する。全ての被写体を検出した場合はステップＳ８０３に進む、全ての被写体を検出していない場合はステップＳ８０４へ進む。

ステップＳ８０３において、ＣＰＵ１０２はＲＡＭ１０４に格納されている検出された被写体の座標データを、被写体領域の距離情報に基づいて、画像処理装置１００から近い順にソートして１番目から順にナンバリングしてからステップＳ８０５に進む。一方、ステップＳ８０４において、ＣＰＵ１０２は処理変数Ｐの値を１インクリメントしてからステップＳ８０１に戻る。

ステップＳ８０５では、ＣＰＵ１０２はＲＡＭ１０４に格納されている処理変数Ｑ番目の被写体の座標データが示す被写体領域と、処理変数Ｑ＋１番目の被写体の座標データが示す被写体領域内に同じ距離情報が含まれるかを判断する。含まれる場合はステップＳ８０６へ進む、含まれない場合はステップＳ８０７へ進む。

ステップＳ８０６では、ＲＡＭ１０４に格納されている処理変数Ｑ番目の被写体の座標データが示す被写体領域と、処理変数Ｑ＋１番目の被写体の座標データが示す被写体領域を、処理変数Ｑ＋１番目の被写体の座標データが示す被写体領域としてマージする。そしてＲＡＭ１０４に格納する。

次に、ステップＳ８０７において、ＣＰＵ１０２は処理変数Ｑを１インクリメントする。更に、ステップＳ８０８において、ＣＰＵ１０２は処理変数Ｑの値が処理変数Ｐの値以上になっているかを判断する。処理変数Ｑの値が処理変数Ｐの値以上の場合はステップＳ８０９に進む、そうでない場合はステップＳ８０５に戻る。

ステップＳ８０９では、ＲＡＭ１０４に格納されている被写体の座標データが示す被写体領域毎の距離情報と、いずれの被写体領域にも含まれていない距離情報に対して、画像処理装置１００に近い順に交互に距離レイヤーＭＡＰの層数設定を割り振る。これにより、被写体が存在する層（レイヤー）と、被写体が存在しない層（レイヤー）を生成する。

以上のように、図８のフローチャートによれば、画像認識手段を用いて距離情報を奥行き方向に被写体の多いレイヤーと、被写体の少ないレイヤーからなる距離レイヤーＭＡＰに分類することができる。又、各レイヤーに対して画像処理装置１００から近い順にナンバリングすることができる。このようにして、図８のフローチャートでは、画像に応じてレイヤー情報を生成するための基準となる層数（レイヤーの数）と層幅（レイヤーの距離方向の幅）と層幅とを変更している。

尚、ステップＳ８０１で検出する被写体は人体や顔、車などの種類を選択可能にしても良い。即ち、認識した被写体の種類に応じて距離ごとのレイヤーの距離方向の幅を変更しても良い。又、被写体の数を１つ又は複数で選択可能にしても良い。又、ステップＳ８００～ステップＳ８０４の処理を１フレーム毎に実施して、複数フレーム分の結果を用いて画像認識の精度を向上させてステップＳ８０５以降を実施しても良い。即ち、複数フレームの画像に基づきレイヤー情報を生成しても良い。

ここで、ＣＰＵ１０２は、レイヤー情報生成ステップとしてのステップＳ８００～Ｓ８０９を実行することで、被写体を画像認識手段で認識して、認識した被写体に応じて距離ごとのレイヤー情報を生成するレイヤー情報生成手段として機能している。

尚、被写体を画像認識手段で認識して、認識した被写体に応じて距離レイヤーＭＡＰの分類（生成）をする方法と、距離情報に基づきヒストグラムを生成し、ヒストグラムに基づき距離レイヤーＭＡＰの分類（生成）をする方法とを組み合わせても良い。

次に、図９から図１２を用いて上述の実施例１で分類した距離レイヤーＭＡＰのどの層（レイヤー）にＣＧを挿入するのかをユーザ（撮影者等）に提示する方法を説明する。ここでは携帯端末から、画像処理装置１００にＣＧを挿入する層情報と座標情報を送る場合について説明する。

図９は、実施例１に係る携帯端末の内部構成例を示すブロック図である。同図において、携帯端末９００は、ユーザによる層情報、座標情報の設定が可能であり、その設定値を無線で送信することが可能になっている。

図９において、内部バス９０１に対してネットワークモジュール９０８、操作部９１３、表示部９１４、ＣＰＵ９０２、ＲＯＭ９０３、ＲＡＭ９０４、が接続されている。内部バス９０１に接続される各部は、内部バス９０１を介して互いにデータのやりとりを行うことができるように構成されている。

ＣＰＵ９０２は、ＲＯＭ９０３に格納されるプログラムに従い、ＲＡＭ９０４をワークメモリとして用いて、携帯端末９００の各部を制御する。ＲＯＭ９０３は、不揮発性の記録素子であり、ＣＰＵ９０２を動作させるためのプログラムや各種調整パラメータなどが記録されている。

表示部９１４はＣＰＵ９０２の制御に基づき、各種設定状態や、ネットワークモジュール９０８より受信したデータ（デジタル画像データやアナログ画像信号を含む）などを表示するためのディスプレイである。操作部９１３は携帯端末９００に電源を供給するための電源スイッチや、層情報、座標情報の設定などの、ユーザからの操作を受け付ける操作部である。

尚、操作部９１３にタッチパネルが含まれる場合、ＣＰＵ９０２は、タッチパネルを指やペンで触れたこと（以下、タッチダウンと称する）や、タッチパネルを指やペンで触れている状態であること（以下、タッチオンと称する）を検出できる。又、タッチパネルを指やペンで触れたまま移動していること（以下、ムーブと称する）や、タッチパネルへ触れていた指やペンを離したこと（以下、タッチアップと称する）、タッチパネルに何も触れていない状態（以下、タッチオフと称する）を検出できる。

これらの操作や、タッチパネル上に指やペンが触れている位置座標はＣＰＵ９０２に通知され、ＣＰＵ９０２は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。ムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。

又、タッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。

所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。又、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。

ネットワークモジュール９０８は、ＣＰＵ９０２の制御に基づき、外部カメラやパーソナルコンピュータといった外部機器とデータの送受信を無線通信により行う。データは画像処理装置１００の設定情報や操作情報などを受信し、画像処理装置１００を操作するコマンドや画像データと共に記録する付加情報などを送信する。送受信可能なデータにはデジタル画像データやアナログ画像信号を含む。

図１０は、距離レイヤーＭＡＰのどの層にＣＧを挿入するのかを撮影者に提示するための例を示すフローチャートである。尚、画像処理装置１００のＣＰＵ１０２と携帯端末９００のＣＰＵ９０２とが夫々記憶媒体としてのＲＯＭ１０３やＲＯＭ９０３などに記憶されたコンピュータプログラムを実行することによって図１０のフローチャートの各ステップの動作が行われる。

ステップＳ１０００において、携帯端末９００のＣＰＵ９０２は、操作部９１３を介してユーザからの層（レイヤー）情報と座標情報の設定を受け付ける。ここで層情報とは距離レイヤーＭＡＰの第何レイヤーにＣＧを挿入するかを指定する値である、又は画像処理装置１００から携帯端末９００に画像を伝送して被写体を選択させて選択された被写体の前後をレイヤーとして選んでも良い。座標情報は画面上のどの位置にＣＧを挿入するかを指定する座標情報である。

次に、ステップＳ１００１において、携帯端末９００のＣＰＵ９０２はネットワークモジュール９０８を介してステップＳ１０００で設定された層情報と座標情報を画像処理装置１００内部のネットワークモジュール１０８へ送信する。

尚、携帯端末９００が画像処理装置１００を操作するためのコマンドや、画像データに付加して記録する付加情報などを画像処理装置１００に送信するタイミングで、上記の層情報と座標情報を画像処理装置１００に送信しても良い。ここで、ステップＳ１０００、Ｓ１００１は、画像に対して、合成画像を挿入するための合成画像挿入領域と、合成画像を挿入するレイヤーである挿入レイヤー情報を設定するためステップとして機能している。

次に、ステップＳ１００２において、画像処理装置１００内のＣＰＵ１０２はネットワークモジュール１０８を介して層情報と座標情報を受信する。次に、ステップＳ１００３において、ＣＰＵ１０２は層情報からＣＧ挿入層を、座標情報から画像データ内のＣＧ挿入領域を算出する。

次に、ステップＳ１００４において、ＣＰＵ１０２は画像データのＣＧ挿入領域の位置にあたる画素にＣＧ挿入色を合成する。ここで、ＣＧ挿入色は後処理でＣＧを挿入する予定の位置を表す色である。ＣＧ挿入色はユーザが別途設定した色でも良い。

次に、ステップＳ１００５において、ＣＰＵ１０２は画像データのＣＧ挿入領域の位置にあたる対象画素（被写体画素）の距離レイヤーＭＡＰの層（レイヤー情報）がＣＧ挿入層（レイヤー情報）と同じかを判断する。同じ場合はステップＳ１００６に進む、異なる場合はステップＳ１００７に進む。

次に、ステップＳ１００６において、ＣＰＵ１０２は画像処理部１０５を制御し被写体の画像データのＣＧ挿入領域の位置にあたる画素のデータを所定の警告用の色（警告色）に変更する。ここで、警告色は後処理でＣＧを挿入する予定のＣＧ挿入領域の同じ位置に被写体が存在することを表す色である。尚、警告色はユーザが別途設定した色でも良い。

尚、警告色にする他に、例えば他の領域とは異なる所定のパターン（例えばドットパターンや縞模様など）で表示しても良い。このように、本実施例では、被写体の画像のレイヤー情報と合成画像を挿入する挿入レイヤー情報が同じ場合には、重なり領域を、それ以外の領域とは異なる所定の色（警告色）又は所定のパターンで表示させる。

一方、ステップＳ１００７では、被写体の画像データのＣＧ挿入領域の位置にあたる画素の距離レイヤーＭＡＰの層（レイヤー）はＣＧ挿入層より後ろか否かを判断する。後ろであればステップＳ１００８へ進む、前であればステップＳ１００９へ進む。

ステップＳ１００８では、ＣＰＵ１０２は画像処理部１０５を制御しＣＧ挿入領域の位置にあたる被写体の画素のデータを、画素の距離レイヤーＭＡＰとＣＧ挿入層の距離に応じた透過率で背景を合成する。

例えば、被写体の画素の距離レイヤーＭＡＰがＣＧ挿入層のすぐ後ろに分類されていれば前方の画像の透過率を低くして被写体の画像がより薄く表示されるようにする。一方、ＣＧ挿入層から遠く離れた後ろのレイヤーに分類されていれば前方の画像の透過率を高くして背景となる被写体が濃く表示されるようにする。このようにすることで挿入されるＣＧと被写体との距離感を撮影者が把握しやすくする。

尚、どちらが後方であっても同様に前方の画像の重なり領域の透過率を変更すれば良い。即ち、被写体の画像のレイヤー情報と合成画像を挿入する挿入レイヤー情報の距離が離れるにつれて重なり領域における、前方の画像の透過率を変えるようにすれば良い。尚、本実施例では被写体の画像のレイヤー情報と合成画像を挿入する挿入レイヤー情報の距離が離れるにつれて重なり領域における、前方の画像の透過率を上げて表示させうるようにしている。しかし、逆に透過率を下げるように表示させても良い。

一方、ステップＳ１００９において、ＣＰＵ１０２はＣＧ挿入領域の位置にあたる全ての被写体の画素を処理したかを判断する。全て処理した場合はステップＳ１０１０に進む、全て処理していない場合はＳ１００５に進む。

次に、ステップＳ１０１０において、ＣＰＵ１０２は表示部１１４に、ステップＳ１００５～Ｓ１００９の処理で生成された警告色や背景となる被写体の色が合成された画像データを表示部１１４に表示する。ここで表示制御ステップとしてのステップＳ１００４～Ｓ１０１０を実行することで、合成画像と被写体の画像とが重なり合う重なり領域を、被写体のレイヤー情報に応じた所定の色又はパターンで表示させる表示制御手段として機能している。

尚、本実施例では、表示部１１４に表示させたが、画像出力部１０９から出力、記録媒体Ｉ／Ｆ１１０を介して記録媒体１１２に記録したり、ネットワークモジュール１０８を介して外部機器へ送信したりしても良い。又、ステップＳ１００５～Ｓ１００９の処理で全ての被写体の画素を処理させてから表示部１１４に表示させたが、ラスター方向に１画素ずつ処理して表示させても良い。

以上の説明した図１０のフローチャートに従えば、例えば図１１に示すような表示を行うことが可能である。図１１は、図１０のフローチャートを実施した際に表示部１１４に表示される画像の１例を示す図である。又、図１２は、図１１に表示されている被写体と画像処理装置１００の前後方向の位置関係を表した図である。

図１１に示す表示画像の例では被写体１１００～被写体１１０２と、座標情報から算出したＣＧ挿入領域１１０３が表示されている。図１２に示すように画像処理装置１００からの距離は、被写体１１００、被写体１１０１、被写体１１０２の順で遠くなるように配置されている。従って、夫々の被写体の位置は被写体１１００が距離レイヤーＭＡＰの第１層（レイヤー）、被写体１１０１が距離レイヤーＭＡＰの第２層（レイヤー）、被写体１１０２が距離レイヤーＭＡＰの第３層（レイヤー）に分類されている。

図１１において、ＣＧ挿入層が距離レイヤーＭＡＰの第１層（レイヤー）に指定された場合の表示なので、距離レイヤーＭＡＰの第１レイヤーに配置されている被写体１１００とＣＧ挿入領域１１０３が重なる部分１１０４の画素は警告色に表示される。距離レイヤーＭＡＰの第２層（レイヤー）に配置されている被写体１１０１とＣＧ挿入領域１１０３が重なる部分１１０５の画素は、被写体１１０１とＣＧ挿入層は距離が近いので背景の被写体が薄く表示されている。

一方、距離レイヤーＭＡＰの第３層（レイヤー）に配置されている被写体１１０２とＣＧ挿入領域１１０３が重なる部分１１０６の画素は、被写体１１０２とＣＧ挿入層は距離が遠いので背景の被写体が濃く表示されている。その他のＣＧ挿入領域１１０３はＣＧ挿入色に表示されている

以上、図９～図１２において説明したように、本実施例によれば、分類した距離レイヤーＭＡＰのどの層にＣＧが挿入されるのかを携帯端末のユーザにわかりやすく提示することが可能となる。又、ＣＧ挿入のしやすい距離レイヤーＭＡＰの生成を行っているので、撮影者が距離レイヤーＭＡＰを容易に理解できるように表示できる。

尚、本実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行するようにしても良い。又、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によって実現しても良い。

＜実施例２＞
次に図１３～図２４を用いて距離レイヤーＭＡＰを生成し表示するための実施例２における処理や手順を説明する。説明の簡素化のために、主に実施例１と異なる点について説明し、共通部分については説明を省略する。

尚、実施例２では、レンズユニット１０６の状態を、例えば絞り値をＦ５．６、焦点距離を５０ｍｍとし、撮像時の感度ＩＳＯ値は４００であるものとして説明する。又、被写体が３ｍにあり、おおむね合焦させた状態において、ユーザが距離レイヤーＭＡＰの設定を行うための操作を開始しているものとする。

ここで、実施例１と同様に、ユーザが層数や層幅の設定モードに入ったものとする。図１３は、実施例２における処理を説明するためのフローチャートであり、図１４は、図１３のステップＳ１３０１の詳細なフローを示すフローチャートである。尚、コンピュータとしてのＣＰＵ１０２が記憶媒体としてのＲＯＭ１０３などに記憶されたコンピュータプログラムを実行することによって図１３、図１４のフローチャートの各ステップの動作が行われる。

図１３において、層数及び層幅を設定するモードに入り、処理がスタートすると、ステップＳ１３０１において、距離レイヤーＭＡＰにおける最小分解能幅Ｍ及び測距可能範囲Ｌを算出するサブ処理に入る。ここで、このサブ処理について図１４のフローチャートを用いて説明する。

図１４のステップＳ１４０１において、装着しているレンズユニット１０６の、現在のレンズ状態に関する図１５のような各種のレンズ情報を取得する。図１５は、実施例２に係る取得するレンズ情報の例をまとめた表を示した図である。

図１５において、レンズ状態に関する情報の１つ目（レンズ情報１）は、レンズの絞り値（以後、Ｆ値）、２つ目（レンズ情報２）はレンズの焦点距離であり、単位はｍｍである。３つ目（レンズ情報３）はフォーカスレンズ位置の像面での位置情報（合焦位置）であり、基準位置からの差分をｍｍ値で表している。

ここでは無限遠の被写体に対するフォーカスレンズの位置を基準位置（０ｍｍ）とし、その基準位置から、現在のフォーカスレンズ位置がその位離れているかを表す。尚、本実施例では、例えばフォーカスレンズの位置が基準位置から１ｍｍの位置にある場合、被写体距離が３ｍの被写体に合焦する位置であるものとする。但し、これはレンズの焦点距離などにも依存しておりズーム位置によっても変わるものである。

レンズ状態に関する情報の４つ目（レンズ情報３）は、フォーカスレンズの焦点位置で合焦する被写体の距離であり、被写体距離をｍ単位で取得する。これはレンズの光学設計情報をもとに計算可能なものであり、設計値として画像処理装置１００に記憶されている。尚、上記のように、本実施例では、例えば３ｍという数値になる。

５つ目（レンズ情報５）は現在のフォーカスレンズ位置からフォーカスレンズの無限端や至近端までの相対的な像面移動量情報である。例えば、被写体距離が３ｍの時であれば、無限端までは－１ｍｍとなり、又、至近端までは＋９ｍｍ、というような符号付きのｍｍ単位のデータである。これらの情報は、以後は夫々無限デフォーカス情報、至近デフォーカス情報と呼ぶものとする。尚、このレンズ状態における、レンズ無限端から至近端までは像面焦点の移動範囲は１０ｍｍあるということになる。

これらのレンズ情報を取得したら、ステップＳ１４０２において、測距可能限界情報とノイズ情報を取得する。測距可能限界情報とは、像面位相差技術による検出限界性能として、像ずれ量がどの程度までの像ずれ量（シフト量）であれば検出可能かという指標である。像面位相差技術ではシステム条件によって、相関演算時のシフト量を変えることがあり、相関演算処理のシフト量が２０シフトまでしか行わない場合１０シフト以上の像ずれは検出できないことになるため、このような指標を生成して保持しておく。

又、ノイズ情報とは、ノイズレベルに大きな影響を与えるパラメータの情報であり、ここでは例えばセンサの感度設定であるＩＳＯ設定値とする。ステップＳ１４０３では、図１６に示すような各種テーブル情報を取得する。

図１６（Ａ）、（Ｂ）は、ステップＳ１４０３で取得するテーブルの例を示す図である。図１６（Ａ）は左列にＦ値、右列には左列のＦ値に対応するフォーカスレンズの像面での分解能をｍｍ単位で示した図である。図１６（Ｂ）は、左列にＩＳＯ値、右列には、左列のＩＳＯ値に対するフォーカスレンズの像面での分解能への影響度をｍｍ単位で示した図である。

図１４に戻り、次のステップＳ１４０４にて、図１５のレンズ情報や図１６のテーブル情報を使って、距離レイヤーＭＡＰにおける被写体距離の最小分解能幅Ｍを算出する。ここでは、Ｆ値５．６、ＩＳＯ値４００として説明する。

先ず図１６（Ａ）のテーブルでＦ５．６の値を参照すると、像面分解能は０．０２５ｍｍとなり、又、図１６（Ｂ）のテーブルからＩＳＯ４００の値を参照するとノイズ分は０．００２ｍｍとなる。これらを使って像面におけるフォーカスレンズ焦点から算出可能な最小分解能は０．０２５＋０．００２＝０．０２７ｍｍと算出できる。

更にこの像面情報から被写体距離に換算することで、被写体距離に換算した最小分解能幅Ｍを算出する。像面における０．０２７ｍｍは、３ｍの被写体位置や、焦点距離５０ｍｍのレンズ状態から距離に換算すると、概算で約３０ｃｍ程度となる。即ちこのレンズ条件では、０．０２７ｍｍの像面のフォーカス位置ずれを最小分解能とし、被写体距離に換算した最小分解能幅Ｍは３０ｃｍとして検出可能であると位置付けられる。

尚、ここで算出する被写体距離の最小分解能幅Ｍは概算値で、例えば１０ｃｍ単位で構わない。更に図１７のグラフを使ってこの最小分解能幅Ｍ算出の補足説明を行う。図１７は、実施例２における像面の分解能を示すグラフであり、横軸にレンズの絞り値（右側が値が低い、絞り開放側）をとり、縦軸に像面分解能をとったものである。２８１は、図１６の表のデータをプロットした曲線である。例えば、Ｆ５．６の補助線との交点Ａでの分解能は表のとおり０．０２５となる。

又、図１６（Ｂ）のＩＳＯ設定に対応したノイズ情報に基づきノイズ補正を行うとＢ点となり、これをＦ値方向につないだ曲線が２８２であり、ＩＳＯ４００時のノイズ補正後の像面分解能の曲線となる。即ちＢ点での分解能は０．０２７ｍｍとなっている。

図１４のフローチャートに戻って、次のステップＳ１４０５において、レンズ端情報とテーブル情報から測距可能範囲Ｌ０を算出する。即ち、現在のフォーカスレンズ位置における無限端と至近端の夫々のデフォーカス情報は、無限端は像面１ｍｍで、至近端は９ｍｍとなっているので、夫々の端の像面位置を被写体距離換算して、その範囲を測距可能範囲Ｌ０として算出する。この像面位置から距離への換算は上述したようにＣＰＵ１０２で算出するものとする。

次のステップＳ１４０６において、測距可能限界情報とテーブル情報から距離レイヤーＭＡＰの測距可能範囲Ｌ１を算出する。ここでは測距可能限界情報を、相関演算シフト量２０として取得しており、相関演算後にデフォーカスに換算する係数とを用いて（本実施例の条件ではその係数は０．０２５として）、測距可能範囲Ｌ１を２０×０．０２５＝０．５ｍｍと算出できる。

一方で、大きなデフォーカス状態になると、像面での信号品質が悪化することから検出限界があり、そのデフォーカス値による限界値を第２の測距可能限界情報として、Ｌ１算出において更に補正する必要がある。

又、被写体距離が遠くなると、５０ｃｍの被写体移動でも、像面での変動量が少なくなり、ノイズにより変動したものなのか、実際に被写体距離が変わったことにより変動したものなのかが、分離できなくなるため、ノイズ情報を加味する必要もある。

これらのことにより、レンズ端情報から像面で無限側は１ｍｍ、至近側は９ｍｍまで端がある中で、実際には±０．５ｍｍの範囲のデフォーカス検出が可能となることになる。このように、レンズメカ端の制約やノイズの制約などにより分解能が変わってくることになる。

この像面で±０．５ｍｍの範囲を距離に換算すると、概算で、１．７ｍから８ｍの範囲が測距可能範囲Ｌ１となる。このＬ１の範囲を使って以後の説明を続ける。上述したＬ０の範囲は、レンズ制約による測距可能範囲であり、Ｌ１は相関演算性能制約による測距可能範囲となり、いずれかの小さい方が、画像処理装置１００としての測距可能範囲Ｌとなる。

そのため、次のステップＳ１４０７では、その比較処理を行って、Ｌ０とＬ１のうち狭い方を選択し測距可能範囲Ｌとする。尚、無限と至近で距離換算時用に、遠い側と近い側の夫々算出を行う。ここでは明らかにＬ１の範囲の方が狭く、無限、至近ともにこの範囲になることで、測距可能範囲Ｌも１．７ｍから８ｍの間の６．３ｍ範囲として決定する。

以上のように、図１４のフローにおいて、被写体距離に換算した最小分解能幅Ｍならびに測距可能範囲Ｌを算出するサブ処理（ステップＳ１３０１）が行われ、レンズユニットのレンズ情報と距離情報に基づき距離ごとのレイヤー情報が生成されることになる。ここで、レンズ情報は、焦点距離、合焦位置、絞り情報の少なくとも一つを含む。

図１３に戻り、次のステップＳ１３０２において、ユーザに対して設定モードの選択画面を例えば表示部１１４に表示する。次いで、ステップＳ１３０３において、距離マップの層数の設定をするのか、層幅の設定をするのか、その両方を設定するのかを選択するよう画像処理装置１００の操作者（ユーザ）に促す。

ここで、ステップＳ１３０２、Ｓ１３０３は、レイヤー情報を設定するための設定ステップ（設定手段）として機能している。尚、設定手段としてのステップＳ１３０２、Ｓ１３０３は、距離ごとのレイヤー情報としてレイヤーの数と、レイヤーの被写体距離方向の幅の少なくとも一方を設定可能であれば良い。

その時の表示例を図１８に示す。図１８（Ａ）は実施例２における層パラメータ設定モードの選択画面の例を示す図である。図１８（Ａ）では、１８０１はメニュー画面全体を表しており、１８０２～１８０４に夫々の選択肢が示されている。又、図１８（Ｂ）は、図１８（Ａ）の状態から、層数・層幅の両方が選択されている状態に遷移したメニュー画面を示す図である。メニュー画面１８０５には層数・層幅の両方が選択されている様子が示されており、１８０４の選択肢が１８０６のように白黒反転して表示されている。

図１３に戻り、ステップＳ１３０３においては、前述のように、ユーザに対して設定モードの選択画面を表示し、メニュー画面でユーザが設定モードを選択すると、次のステップＳ１３０４において、設定された設定モードを判別する。

そして、層幅設定のみを行う層幅設定モードが選択された場合、層数のみを行う層数設定モードが選択された場合、及び両方を行う層数層幅設定モードが選択された場合に、夫々ステップＳ１３０５～ステップＳ１３０７に進む。そして、夫々に対応する層数変更フラグや層幅変更フラグを有効にする処理を行うと共に夫々の設定処理モードに移行する。

夫々の設定処理モードについて、図１９～図２３のフローチャートを用いて更に詳述する。先ず、層幅のみの設定を行う層幅設定モードが選択された場合は、図１３のステップＳ１３０５に進む。

図１９は、図１３のステップＳ１３０５の層幅設定処理について詳述したフローチャートである。又、図２０（Ａ）～（Ｆ）は層幅設定モードにおける表示例を示す図である。図１９において、層幅設定モードに入ると、ステップＳ１９０１において、上述した測距可能範囲Ｌと被写体距離の最小分解能幅Ｍを取得する。

次のステップＳ１９０２において、層幅変更フラグが有効（Ｏｎ）になっているかを判別し、有効ではない場合には図１９のフローを終了する。ステップＳ１３０５で層幅設定モードに入ると層幅変更フラグを有効（Ｏｎ）にしているはずなので、この層幅変更処理に入っていてフラグが有効になっていないのはエラー処理となる。正常な状態では層幅変更フラグを有効（Ｏｎ）にしているので、次のステップＳ１９０３へ進む。

ステップＳ１９０３では測距可能範囲Ｌに基づき、メニュー表示する際の、最遠距離値と最近距離値を決定する。次のステップＳ１９０４においては、被写体距離の最小分解能幅Ｍ以上かつ測距可能範囲Ｌに基づき、設定可能な層幅のみをメニュー表示する。

即ち、被写体距離の最小分解能幅Ｍも使って、メニュー表示をするための層幅を計算し、計算結果をもとにメニュー表示を行う。測距可能範囲Ｌ、最小分解能幅Ｍであれば、Ｌ／Ｍと計算することで、層幅を最小分解能幅Ｍにしたときの幅がメニュー表示をするための層幅となる。又、最小分解能幅Ｍよりも大きく、かつ測距可能範囲Ｌよりも小さい層幅が表示候補となる。

このように、ステップＳ１９０４は、レイヤー情報を生成するための基準としての層幅を設定すると共に、レンズユニットのレンズ情報に応じて設定可能な設定値表示（層幅表示）を切り替えるステップとして機能している。

一方で、メニュー画面上の表示限界があり、最大で２０候補とする。又、層幅を刻む最小単位をここでは１０ｃｍとすることで、例えば、最小分解能幅Ｍが３０ｃｍで、ステップが１０ｃｍとして、その時の層幅の候補は、３０ｃｍ、４０ｃｍ、５０ｃｍ、・・・３１０ｃｍまで算出できる。

尚、３１０ｃｍが最大になるのは、測距可能範囲Ｌの最大値の半分で、層数が２になるものとしている。しかしながらメニュー上最大数が２０となっており、それを上回る場合は、層幅が小さい順で表示対象を限定するものとする。即ち３０ｃｍから１０ｃｍ単位で２０個分となる。このように距離レイヤーＭＡＰを作るときの層幅の候補を算出可能である。

最大の層幅はＭ＝Ｌの時であるが、分離の意味がないものになるので、最小の層数は２として算出するものとしている。尚、最小の層数を３とし、層幅は測距可能範囲Ｌ／３としても良い。これは合焦位置の前後に合成画像を挿入するためである。

その場合の表示状態を図２０（Ａ）に示している。図２０（Ａ）において、画面左側に層幅設定のメニューが表示されており、層幅設定の選択肢が表示されている。尚、スクロール表示することで、全候補が選択可能となっている。画面の中央付近は撮像されている被写体としての人物が表示されている。

図２０（Ｄ）は、層幅設定のメニュー表示をした直後に表示を切り替えた場合の表示例を表した図であり、この時の奥行方向を模式化した図となっている。撮影可能な範囲として、最も近い最近距離１７０ｃｍと最遠距離８００ｃｍを表示すると共に、最小分解能３０ｃｍや、合焦位置にいる被写体を簡易表示している。

図２０（Ａ）と図２０（Ｄ）は、操作部１１３の切り替えにより表示も切り替わる。このようなメニュー表示により、ユーザにより選択された層幅を用いて、表示を切り替える処理を行う。次のステップＳ１９０５において、メニュー表示上で、カーソル移動により設定された層幅を検出する。そして、その設定された層幅に応じて分割できる層幅で表示する。

例えば、図２０（Ｂ）にあるように、１２０ｃｍの幅が設定されると、図２０（Ｅ）のように、主たる被写体が層のどこにいるかを表示すると共に、最近距離１７０ｃｍと最遠距離８００ｃｍに対してどのように層分離するかをわかりやすく表示する。又、図２０（Ｃ）は、層幅設定を６０ｃｍとして選択した場合の様子を示した図である。図２０（Ｆ）では設定された層幅６０ｃｍに応じて分割された層幅で表示を行う。

ステップＳ１９０６においては、ステップＳ１９０５で層幅のメニュー選択を行い層幅決定操作が行われたか否かを判別する。Ｎｏの場合はステップＳ１９０８に進み、ユーザにより層幅設定メニューでカーソルが移動されたかどうかのチェックを行う。

カーソル移動がなされて、層幅が変更になった場合には、ステップＳ１９０５に戻り、上述したように、選択された層幅にて再表示を行い、カーソル移動がない場合には、ステップＳ１９０６にて、層幅決定操作の入力を待つ。ステップＳ１９０６において、層幅決定操作が行われたと判別されると、ステップＳ１９０７に進み、層幅と層数を決定して図１９のフローは終了となる。

次に、図１３のステップＳ１３０４において層数のみの選択を行う層数設定モードが選択された場合は、図１３のステップＳ１３０６に進み、層数設定処理を行う。

図２１は、図１３のステップＳ１３０６の層数設定処理について詳述したフローチャートであり、図２２（Ａ）～（Ｆ）は層数設定処理における表示例を示す図である。

層数設定処理モードに入ると、図２１のフローがスタートし、ステップＳ２１０１において、上述した測距可能範囲Ｌと被写体距離の最小分解能幅Ｍを取得する。次のステップＳ２１０２において、層数変更フラグ有効（Ｏｎ）になっているかを判別し、Ｎｏの場合には図２１のフローを終了する。

ステップＳ１３０６で層数設定モードに入ると層数変更フラグを有効（Ｏｎ）にしているはずなので、この層数変更処理に入っていてフラグが有効になっていないのはエラー処理となる。正常な状態では層数変更フラグ有効（Ｏｎ）となっているのでステップＳ２１０３へ進み、測距可能範囲Ｌに基づきメニュー表示する際の、最遠と最近距離値を決定する。

次のステップＳ２１０４においては、測距可能範囲Ｌと、被写体距離の最小分解能幅Ｍに基づき、メニュー表示をするための層数を計算し、計算結果をもとに、指定可能な層数のみをメニュー表示する。層数の計算については、測距可能範囲Ｌ、最小分解能幅Ｍであれば、Ｌ／Ｍと計算することで、層数の最大値が算出できる。ここでは６７０ｃｍ／３０ｃｍで、最大２２層となる。

又、最小値は層数２として良い。尚、メニュー画面上の表示限界があり、最大で２０候補としていて、この制約により、層数が小さい順で表示対象を限定するものとする。即ち２層から３層、４層・・・２１層までとなる。

このように距離レイヤーＭＡＰを作るときの層数の候補を算出する。その場合の表示状態を図２２（Ａ）に示している。図２２（Ａ）において、画面左側に層数設定のメニューが表示されており、層数設定の選択肢を表示している。尚、スクロール表示することで、全候補が選択可能となっている。その他は図２０と同様であり説明を省略する。

このように、ステップＳ２１０４は、レイヤー情報を生成するための基準としての層数を設定すると共に、レンズユニットのレンズ情報に応じて設定可能な設定値表示（層数表示）を切り替えるステップとして機能している。

図２２（Ｄ）は、層数設定のメニュー表示をした直後の表示を表しており、この時の奥行方向を模式化した図となっている。撮影可能な範囲として、最近距離１７０ｃｍと最遠距離８００ｃｍを表示すると共に、最小分解能３０ｃｍや、合焦位置にいる被写体を簡易表示している。

図２２（Ａ）と図２２（Ｄ）は、操作部１１３の操作により表示も切り替えられる。このメニュー表示でユーザにより選択された層数を用いて、表示を切り替える処理を行っていく。次のステップＳ２１０５において、メニュー表示上でカーソル操作に伴って設定された層数を検出する。そして、その設定された層数に応じて分割した層数で表示する。

例えば、図２２（Ｂ）にあるように、５層の設定がされると、図２２（Ｅ）のように、主たる被写体が層のどこにいるかを表示すると共に、最近距離１７０ｃｍと最遠距離８００ｃｍに対してどのように層分離するものかをわかりやすく表示する。又、図２２（Ｃ）及び図２２（Ｆ）は、層数の設定が３と選択されたときの様子を示した図である。

次のステップＳ２１０６においては、ステップＳ２１０５で層数のメニュー選択を行い層数決定操作が行われたか否かを判別する。Ｎｏの場合はステップＳ２１０８に進み、ユーザにより層数設定メニューでカーソル移動されたかどうかのチェックを行う。カーソル移動がなされて、層数が変更になった場合には、ステップＳ２１０５に戻り、上述したように、選択された層数にて再表示を行う。又、カーソル移動がない場合には、ステップＳ２１０６にて、層数決定の操作入力を待つ。

ステップＳ２１０６において、層数決定操作が行われたと判別すると、次のステップＳ２１０７に進み、決定された層数と測距可能範囲Ｌから層幅を算出して図２１のフローが終了となる。最後に、層幅と層数の両方が選択された場合について説明する。層数層幅設定処理モードの場合は、図１３のステップＳ１３０７に進み、この層数層幅設定処理を行う。

図２３は、図１３のステップＳ１３０７の層数層幅設定処理について詳述したフローチャートであり、図２４（Ａ）～（Ｅ）は層数層幅設定モードにおける表示例を示す図である。層数層幅設定処理モードに入ると、図２３のフローがスタートし、ステップＳ２３０１において、上述した測距可能範囲Ｌと最小分解能幅Ｍを取得する。次のステップＳ２３０２において、先ずは層幅設定メニューを有効にして、設定用のカーソルも層幅設定メニューに移動させて、層幅を選定させる。

次のステップＳ２３０３において、測距可能範囲Ｌからメニュー表示する際の、最遠と最近距離値を決定する。更に、測距可能範囲Ｌと最小分解能幅Ｍを使って、メニュー表示をするための層数を計算し、最小分解能以上かつ測距可能範囲内の設定可能な層幅のみをメニュー表示する。

層数の計算については、測距可能範囲Ｌ、最小分解能幅Ｍであれば、Ｌ／Ｍと計算することで、層数の最大値が算出できる。ここでは６７０ｃｍ／３０ｃｍで、最大２２層となる。又、最小値は層数２として良い。尚、メニュー画面上の表示限界があり、最大で２０候補としていて、この制約により、層数が小さい順で表示対象を限定するものとする。即ち２層から３層、４層・・・２１層までとなる。

このように距離レイヤーＭＡＰを作るときの層数の候補を算出する。更に、層幅の計算については、測距可能範囲Ｌ、最小分解能幅Ｍを使って、Ｌ／Ｍと計算することで、最小分解能幅Ｍにしたときの層幅が算出される。最小分解能幅Ｍよりも大きく、かつ測距可能範囲Ｌよりも小さい幅が候補となる。

一方で、メニュー画面上の表示限界があり、最大で２０候補としている。又、層幅を刻む最小単位をここでは１０ｃｍとすることで、例えば、最小分解能幅Ｍが３０ｃｍで、ステップが１０ｃｍとして、その時の層幅の候補は、３０ｃｍ、４０ｃｍ、５０ｃｍ、・・・３１０ｃｍまで算出できる。

尚３１０ｃｍが最大になるのは、測距可能範囲Ｌの最大値の半分で、層数が２になるものとしている。しかしながらメニュー上最大数が２０となっており、それを上回る場合は、層幅が小さい順で表示対象を限定するものとする。即ち３０ｃｍから１０ｃｍ単位で２０個分となる。

このように距離レイヤーＭＡＰを作るときの層幅の候補を算出可能である。最大の層幅はＭ＝Ｌの時であるが、分離の意味がないものになるので、最小の層数は２として算出するものとしている。この時のメニュー表示状態を、図２４（Ａ）に示している。画面左側に層数設定と層幅設定の両方が並んでメニュー表示されており、夫々その選択肢を表示している。尚、夫々スクロール表示することで、全候補が選択可能となっている。

図２４（Ｄ）は、メニュー表示した直後の表示を表しており、この時の奥行方向を模式化した図となっている。撮影可能な範囲として、最近距離１７０ｃｍと最遠距離８００ｃｍを表示すると共に、最小分解能３０ｃｍや、合焦位置にいる被写体を簡易表示している。図２４（Ａ）と図２４（Ｄ）は、操作部１１３の操作により表示も切り替えられる。このメニュー表示でユーザにより選択された層幅・層数を用いて、表示を切り替える処理を行っていく。

次のステップＳ２３０４において、ここで選択された層幅を用いて、その層幅において分割可能な層数のみを層数設定メニューに表示させる。ここでは、有効な層数を黒字、太字にして、一方で、無効な層数は表示しない。或いはグレー表示にする。

図２４（Ｂ）には層幅のみ選択された状態を示している。１２０ｃｍを選択すると、６層以上の層数のメニューは表示されない。或いはグレー文字となる。次のステップＳ２３０５においては、層幅のメニュー選択を行い層幅決定操作が行われたか否かを判別する。

Ｎｏの場合は、ステップＳ２３０６に進み、ユーザにより層幅設定メニューでカーソル移動されたかどうかのチェックを行う。Ｙｅｓであれば層幅が変更になったと判別してステップＳ２３０４に戻り、上述したとおり選択された層幅にて層数メニューの再表示を行う。

カーソル移動、層幅に変更がない場合には、ステップＳ２３０５にて、層幅決定操作の入力を待つ。そのステップＳ２３０５にて層幅決定操作が行われたと判別されると、ステップＳ２３０７へ進み、設定カーソルを層数設定メニューに移動させ、層数選択が可能な状態にする。次のステップＳ２３０８において、層数選択が行われると、選択した層数で分割可能な層幅のみが表示され、それ以外の層幅の選択肢を非表示にする。或いはグレー表示にする。

このように、ステップＳ２３０４とステップＳ２３０８は、レンズユニットのレンズ情報に応じて設定可能な設定値表示（層幅と層数の表示）を切り替えるステップとして機能している。

次のステップＳ２３０９において、層数決定操作がされたか否か判別する。Ｎｏの場合には、ステップＳ２３１１へ進み、層数設定メニューでカーソルが移動したか判別し、Ｙｅｓであれば層数の変更があったと判別してステップＳ２３０８へ戻り、Ｎｏの場合は、ステップＳ２３０９へ戻る。層数が決定したと判別した場合には、ステップＳ２３１０へ進み、設定した層数及び層幅で設定が可能か判別する。

これは非表示又はグレー表示した設定値にもカーソル移動が可能となっているためである。Ｎｏの場合、即ち、設定不可能な組み合わせになっていれば、ステップＳ２３０２に戻る。Ｙｅｓの場合には図２３のフローは終了する。

一度層数、層幅の両方が設定されると、層数、層幅変更に応じた表示がその都度行われる。例えば、図２４（Ｃ）のように５層が設定されると、図２４（Ｅ）のように距離レイヤーＭＡＰイメージが表示される。

又、上述したように、レンズのフォーカス位置状態やズーム状態、絞り状態によって、検出可能な距離条件が変わるので、本実施例で説明してきた層数、層幅の各設定モードにおいて、それらのレンズ条件が変更された場合には、直ちに夫々再設定を始める。

或いは、層数、層幅の各設定モードにおいては、これらのレンズ操作は受け付けない、或いは無視するように構成しても良い。尚、合成画像を挿入する領域と、合成画像を挿入する挿入レイヤー情報が夫々複数の場合には、変更する合成画像のうち被写体と重なり合う領域の色を夫々異ならせても良い。

尚、レンズ情報が所定量以上変化した場合に、距離ごとのレイヤー情報を生成することが望ましい。例えば、撮像部が大幅に動いた場合、焦点距離が所定値以上変化した場合、被写体の明るさが変化し絞り値が変化した場合などにはそれらの変化が発生したことを検出して層数（レイヤー数）や層幅（距離方向の幅）を算出し直すことが望ましい。

具体的には、例えば加速度センサを撮像部に設けて加速度が所定値以上になったことを検出したら層数（レイヤー数）や層幅（距離方向の幅）を算出し直す。又、撮像部に装着されているレンズユニットを交換した場合やレンズユニットのズーム状態を変化させた場合にも層数（レイヤー数）や層幅（距離方向の幅）を算出し直す。

又、画像認識された被写体が所定量以上移動した場合や、背景となる所定距離以上遠い被写体が所定値以上変化した場合にそれらを検出して層数（レイヤー数）や層幅（距離方向の幅）を算出し直すように構成することが望ましい。逆に、距離ごとのレイヤー情報を生成開始したら、例えば焦点距離や絞り値や焦点調整動作などレンズ情報が所定量以上するような操作は受け付けないようにしても良い。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。又、上述の実施例の一部を適宜組み合わせても良く、以下の組み合わせを含む。

（構成１）レンズユニットを介して被写体を含む画像を取得する画像取得手段と、前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、前記距離情報に基づき距離ごとのレイヤーに関するレイヤー情報を生成するレイヤー情報生成手段と、前記レイヤー情報を生成するための基準を設定すると共に、前記レンズユニットのレンズ情報に応じて設定可能な設定値表示を切り替える設定手段と、を有することを特徴とする画像処理装置。

（構成２）前記画像取得手段は、前記レンズユニットの異なる瞳領域を通過する光束をそれぞれ受光する複数の光電変換部が画素毎に配置された撮像素子を含み、前記複数の光電変換部の出力の位相差に基づき前記距離情報を取得可能であることを特徴とする構成１に記載の画像処理装置。

（構成３）前記複数の光電変換部の出力を加算することによって前記画像を取得することを特徴とする構成２に記載の画像処理装置。

（構成４）前記レイヤー情報生成手段は、前記被写体が存在しない距離の距離情報も前記レイヤー情報に変換することを特徴とする構成１～３のいずれか１つに記載の画像処理装置。

（構成５）前記レンズ情報は、焦点距離、合焦位置、絞り情報の少なくとも一つを含むことを特徴とする構成１～４のいずれか１つに記載の画像処理装置。

（構成６）前記レンズ情報が所定量以上変化した場合に、前記距離ごとの前記レイヤー情報を生成することを特徴とする構成１～５のいずれか１つに記載の画像処理装置。

（構成７）前記レイヤー情報生成手段は、前記画像に応じて前記レイヤー情報を生成するための前記基準を変更することを特徴とする構成１～６のいずれか１つに記載の画像処理装置。

（構成８）前記基準は前記レイヤーの数と前記レイヤーの距離方向の幅を含むことを特徴とする構成１～７のいずれか１つに記載の画像処理装置。

（構成９）前記レイヤー情報生成手段は、前記距離情報に基づきヒストグラムを生成し、前記ヒストグラムに基づき前記距離ごとの前記レイヤー情報を生成することを特徴とする構成１～８のいずれか１つに記載の画像処理装置。

（構成１０）前記レイヤー情報生成手段は、前記被写体を画像認識手段で認識して、認識した前記被写体に応じて前記距離ごとの前記レイヤー情報を生成することを特徴とする構成１～９のいずれか１つに記載の画像処理装置。

（構成１１）前記レイヤー情報生成手段は、認識した前記被写体の種類に応じて前記距離ごとの前記レイヤーの距離方向の幅を変更することを特徴とする構成１０に記載の画像処理装置。

（構成１２）前記レイヤー情報生成手段は、認識できる前記被写体の種類を選択可能であることを特徴とする構成１０又は１１に記載の画像処理装置。

（構成１３）前記レイヤー情報生成手段は、複数フレームの前記画像に基づき前記レイヤー情報を生成することを特徴とする構成１～１２のいずれか１つに記載の画像処理装置。

（構成１４）前記レイヤー情報生成手段は、前記レンズユニットの前記レンズ情報と前記距離情報に基づき前記距離ごとの前記レイヤー情報を生成することを特徴とする構成１～１３のいずれか１つに記載の画像処理装置。

（構成１５）前記レイヤー情報生成手段は、前記レンズユニットの前記レンズ情報に基づき前記距離ごとの前記レイヤー情報における最小分解能を算出することを特徴とする構成１～１４のいずれか１つに記載の画像処理装置。

（構成１６）前記設定手段は、前記画像に対して、合成画像を挿入するための合成画像挿入領域と、前記合成画像を挿入するレイヤー情報である挿入レイヤー情報とを設定可能であることを特徴とする構成１～１５のいずれか１つに記載の画像処理装置。

（構成１７）前記合成画像を前記合成画像挿入領域に表示した際に、前記合成画像と前記被写体の前記画像とが重なり合う重なり領域を、前記被写体の前記レイヤー情報に応じた所定の色又はパターンで表示させる表示制御手段を有することを特徴とする構成１６に記載の画像処理装置。

（構成１８）前記被写体の画像の前記レイヤー情報と前記合成画像を挿入する前記挿入レイヤー情報が同じ場合には、前記重なり領域を、それ以外の領域とは異なる所定の色又は所定のパターンで表示させることを特徴とする構成１７に記載の画像処理装置。

（構成１９）前記設定手段は、前記レイヤー情報として前記レイヤーの数と、前記レイヤーの距離方向の幅の少なくとも一方を選択可能であることを特徴とする構成１５～１８のいずれか１つに記載の画像処理装置。

（構成２０）前記レイヤー情報生成手段は、前記画像取得手段の加速度が所定値以上になった場合に、前記距離情報に基づき前記レイヤー情報を生成することを特徴とする構成１～１９のいずれか１つに記載の画像処理装置。

（構成２１）前記レイヤー情報生成手段は、前記画像の中の所定距離以上遠い被写体が所定値以上変化した場合に、前記距離情報に基づき前記レイヤー情報を生成することを特徴とする構成１～２０のいずれか１つに記載の画像処理装置。

（構成２２）被写体を含む画像を取得する画像取得手段と、前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、前記距離情報に基づき距離ごとのレイヤー情報を生成するレイヤー情報生成手段と、前記画像に対して、合成画像を挿入するための合成画像挿入領域と、前記合成画像を挿入するレイヤー情報である挿入レイヤー情報とを設定する設定手段と、前記合成画像を前記合成画像挿入領域に表示した際に、前記合成画像と前記被写体の画像とが重なり合う重なり領域を、前記被写体のレイヤー情報に応じた所定の色又はパターンで表示させる表示制御手段と、を有することを特徴とする画像処理装置。

（構成２３）被写体を含む画像を取得する画像取得手段と、前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、前記距離情報に基づき距離ごとのレイヤーに関するレイヤー情報を生成すると共に、前記画像に応じて前記レイヤー情報を生成するための基準を変更するレイヤー情報生成手段と、を有することを特徴とした画像処理装置。

（方法１）レンズユニットを介して被写体を含む画像を取得する画像取得ステップと、前記被写体までの距離を示す距離情報を取得する距離情報取得ステップと、前記距離情報に基づき距離ごとのレイヤーに関するレイヤー情報を生成するレイヤー情報生成ステップと、前記レイヤー情報を生成するための基準を設定すると共に、前記レンズユニットのレンズ情報に応じて設定可能な設定値表示を切り替える設定ステップと、を有することを特徴とする画像処理方法。

（方法２）被写体を含む画像を取得する画像取得ステップと、前記被写体までの距離を示す距離情報を取得する距離情報取得ステップと、前記距離情報に基づき距離ごとのレイヤー情報を生成するレイヤー情報生成ステップと、前記画像に対して、合成画像を挿入するための合成画像挿入領域と、前記合成画像を挿入するレイヤー情報である挿入レイヤー情報とを設定する設定ステップと、前記合成画像を前記合成画像挿入領域に表示した際に、前記合成画像と前記被写体の画像とが重なり合う重なり領域を、前記被写体のレイヤー情報に応じた所定の色又はパターンで表示させる表示制御ステップと、を有することを特徴とする画像処理方法。

（方法３）被写体を含む画像を取得する画像取得ステップと、前記被写体までの距離を示す距離情報を取得する距離情報取得ステップと、前記距離情報に基づき距離ごとのレイヤーに関するレイヤー情報を生成すると共に、前記画像に応じて前記レイヤー情報を生成するための基準を変更するレイヤー情報生成ステップと、を有することを特徴とした画像処理方法。

（プログラム）構成１～２３のいずれか１つに記載の画像処理装置の各手段をコンピュータにより制御するためのコンピュータプログラム。

尚、本実施例における制御の一部又は全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理装置等に供給するようにしてもよい。そしてその画像処理装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１００：画像処理装置
１０１、１３０１：内部バス
１０２、１３０２：ＣＰＵ
１０３、１３０３：ＲＯＭ
１０４：ＲＡＭ
１０５：画像処理部
１０６：レンズユニット
１０７：撮像部
１０８、１３０８：ネットワークモジュール
１０９：画像出力部
１１０：記録媒体Ｉ／Ｆ
１１１：フレームメモリ
１１２：記録媒体
１１３、１３１３：操作部
１１４、１３１４：表示部
１１５：物体検出部
９００：携帯端末
１１００、１１０１、１１０２：被写体

Claims (27)

1. レンズユニットを介して被写体を含む画像を取得する画像取得手段と、
   前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、
   前記距離情報に基づき距離ごとのレイヤーに関するレイヤー情報を生成するレイヤー情報生成手段と、
   前記レイヤー情報を生成するための基準を設定すると共に、前記レンズユニットのレンズ情報に応じて設定可能な設定値表示を切り替える設定手段と、を有することを特徴とする画像処理装置。
2. 前記画像取得手段は、前記レンズユニットの異なる瞳領域を通過する光束をそれぞれ受光する複数の光電変換部が画素毎に配置された撮像素子を含み、
   前記複数の光電変換部の出力の位相差に基づき前記距離情報を取得可能であることを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の光電変換部の出力を加算することによって前記画像を取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記レイヤー情報生成手段は、前記被写体が存在しない距離の距離情報も前記レイヤー情報に変換することを特徴とする請求項１に記載の画像処理装置。
5. 前記レンズ情報は、焦点距離、合焦位置、絞り情報の少なくとも一つを含むことを特徴とする請求項１に記載の画像処理装置。
6. 前記レンズ情報が所定量以上変化した場合に、前記距離ごとの前記レイヤー情報を生成することを特徴とする請求項１に記載の画像処理装置。
7. 前記レイヤー情報生成手段は、前記画像に応じて前記レイヤー情報を生成するための前記基準を変更することを特徴とする請求項１に記載の画像処理装置。
8. 前記基準は前記レイヤーの数と前記レイヤーの距離方向の幅を含むことを特徴とする請求項１に記載の画像処理装置。
9. 前記レイヤー情報生成手段は、前記距離情報に基づきヒストグラムを生成し、前記ヒストグラムに基づき前記距離ごとの前記レイヤー情報を生成することを特徴とする請求項１に記載の画像処理装置。
10. 前記レイヤー情報生成手段は、前記被写体を画像認識手段で認識して、認識した前記被写体に応じて前記距離ごとの前記レイヤー情報を生成することを特徴とする請求項１に記載の画像処理装置。
11. 前記レイヤー情報生成手段は、認識した前記被写体の種類に応じて前記距離ごとの前記レイヤーの距離方向の幅を変更することを特徴とする請求項１０に記載の画像処理装置。
12. 前記レイヤー情報生成手段は、認識できる前記被写体の種類を選択可能であることを特徴とする請求項１０に記載の画像処理装置。
13. 前記レイヤー情報生成手段は、複数フレームの前記画像に基づき前記レイヤー情報を生成することを特徴とする請求項１に記載の画像処理装置。
14. 前記レイヤー情報生成手段は、前記レンズユニットの前記レンズ情報と前記距離情報に基づき前記距離ごとの前記レイヤー情報を生成することを特徴とする請求項１に記載の画像処理装置。
15. 前記レイヤー情報生成手段は、前記レンズユニットの前記レンズ情報に基づき前記距離ごとの前記レイヤー情報における最小分解能を算出することを特徴とする請求項１に記載の画像処理装置。
16. 前記設定手段は、前記画像に対して、合成画像を挿入するための合成画像挿入領域と、前記合成画像を挿入するレイヤー情報である挿入レイヤー情報とを設定可能であることを特徴とする請求項１に記載の画像処理装置。
17. 前記合成画像を前記合成画像挿入領域に表示した際に、前記合成画像と前記被写体の前記画像とが重なり合う重なり領域を、前記被写体の前記レイヤー情報に応じた所定の色又はパターンで表示させる表示制御手段を有することを特徴とする請求項１６に記載の画像処理装置。
18. 前記被写体の画像の前記レイヤー情報と前記合成画像を挿入する前記挿入レイヤー情報が同じ場合には、前記重なり領域を、それ以外の領域とは異なる所定の色又は所定のパターンで表示させることを特徴とする請求項１７に記載の画像処理装置。
19. 前記設定手段は、前記レイヤー情報として前記レイヤーの数と、前記レイヤーの距離方向の幅の少なくとも一方を選択可能であることを特徴とする請求項１５に記載の画像処理装置。
20. 前記レイヤー情報生成手段は、前記画像取得手段の加速度が所定値以上になった場合に、前記距離情報に基づき前記レイヤー情報を生成することを特徴とする請求項１に記載の画像処理装置。
21. 前記レイヤー情報生成手段は、前記画像の中の所定距離以上遠い被写体が所定値以上変化した場合に、前記距離情報に基づき前記レイヤー情報を生成することを特徴とする請求項１に記載の画像処理装置。
22. 被写体を含む画像を取得する画像取得手段と、
    前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、
    前記距離情報に基づき距離ごとのレイヤー情報を生成するレイヤー情報生成手段と、
    前記画像に対して、合成画像を挿入するための合成画像挿入領域と、前記合成画像を挿入するレイヤー情報である挿入レイヤー情報とを設定する設定手段と、
    前記合成画像を前記合成画像挿入領域に表示した際に、前記合成画像と前記被写体の画像とが重なり合う重なり領域を、前記被写体のレイヤー情報に応じた所定の色又はパターンで表示させる表示制御手段と、を有することを特徴とする画像処理装置。
23. 被写体を含む画像を取得する画像取得手段と、
    前記被写体までの距離を示す距離情報を取得する距離情報取得手段と、
    前記距離情報に基づき距離ごとのレイヤーに関するレイヤー情報を生成すると共に、前記画像に応じて前記レイヤー情報を生成するための基準を変更するレイヤー情報生成手段と、
    を有することを特徴とした画像処理装置。
24. レンズユニットを介して被写体を含む画像を取得する画像取得ステップと、
    前記被写体までの距離を示す距離情報を取得する距離情報取得ステップと、
    前記距離情報に基づき距離ごとのレイヤーに関するレイヤー情報を生成するレイヤー情報生成ステップと、
    前記レイヤー情報を生成するための基準を設定すると共に、前記レンズユニットのレンズ情報に応じて設定可能な設定値表示を切り替える設定ステップと、を有することを特徴とする画像処理方法。
25. 被写体を含む画像を取得する画像取得ステップと、
    前記被写体までの距離を示す距離情報を取得する距離情報取得ステップと、
    前記距離情報に基づき距離ごとのレイヤー情報を生成するレイヤー情報生成ステップと、
    前記画像に対して、合成画像を挿入するための合成画像挿入領域と、前記合成画像を挿入するレイヤー情報である挿入レイヤー情報とを設定する設定ステップと、
    前記合成画像を前記合成画像挿入領域に表示した際に、前記合成画像と前記被写体の画像とが重なり合う重なり領域を、前記被写体のレイヤー情報に応じた所定の色又はパターンで表示させる表示制御ステップと、を有することを特徴とする画像処理方法。
26. 被写体を含む画像を取得する画像取得ステップと、
    前記被写体までの距離を示す距離情報を取得する距離情報取得ステップと、
    前記距離情報に基づき距離ごとのレイヤーに関するレイヤー情報を生成すると共に、前記画像に応じて前記レイヤー情報を生成するための基準を変更するレイヤー情報生成ステップと、を有することを特徴とした画像処理方法。
27. 請求項１～２３のいずれか１項に記載の画像処理装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
    
    

Images