JP2017228873A - 画像処理装置、撮像装置、制御方法およびプログラム - Google Patents

Abstract

【課題】ユーザが、撮像画像の表示先の表示デバイスに依らず、被写体の距離情報を利用した画像編集を撮像画像に対して容易に行うことを可能にする画像処理装置を提供する。【解決手段】撮像装置１００が、撮像画像と撮像画像内の各被写体の奥行き方向の深さを示す距離情報を取得し、距離情報に基づいて、撮像画像から、画像内の被写体がとる距離範囲が異なる、複数の分割画像を生成する。撮像装置１００が、表示デバイスまたは通信インタフェースの情報に基づいて、複数の分割画像が選択可能に配置された第１の表示画像データを表示デバイスに表示する第１の表示制御と、撮像画像に含まれる被写体に関連するオブジェクト画像が選択可能に配置された第２の表示画像データを表示デバイスに表示する第２の表示制御とを切り換える。【選択図】図１

Description

本発明は、画像処理装置、撮像装置、制御方法およびプログラムに関する。

撮影された画像内の被写体の距離情報を取得可能な撮像装置がある。特許文献１では、各被写体の距離情報を用いて、撮影シーン内の被写体の奥行き方向における位置関係と、現在の合焦距離とを表す俯瞰マップを提示する技術が開示されている。撮影者は現在どの被写体に合焦しているかを容易に把握できる。また、カメラ本体部に設けられた液晶ディスプレイ等の表示部だけでなく、外部の表示媒体に対して接続が可能な撮像装置がある。特許文献２では、デジタルカメラが表示媒体に応じて画像データの解像度を変換する技術が提案されている。

特開２０１０−１７７７４１号公報 特許第４６５２２１０号公報

しかし、従来、ユーザが、撮像画像の表示先の表示デバイスに依らず、被写体の距離情報を利用した画像編集を撮像画像に対して容易に行うための手法は提案されていなかった。本発明は、ユーザが、撮像画像の表示先の表示デバイスに依らず、被写体の距離情報を利用した画像編集を撮像画像に対して容易に行うことを可能にする画像処理装置の提供を目的とする。

本発明の一実施形態の画像処理装置は、撮像画像と前記撮像画像内の各被写体の奥行き方向の深さを示す距離情報を取得する取得手段と、前記距離情報に基づいて、前記撮像画像から、画像内の被写体がとる距離範囲が異なる、複数の分割画像を生成する生成手段と、表示デバイスあるいは通信インタフェースの情報に基づいて、前記複数の分割画像が選択可能に配置された第１の表示画像データを前記表示デバイスに表示する第１の表示制御と、前記撮像画像に含まれる被写体に関連するオブジェクト画像が選択可能に配置された第２の表示画像データを前記表示デバイスに表示する第２の表示制御とを切り換える制御手段とを備える。

本発明の画像処理装置によれば、撮像画像の表示先の表示デバイスに依らず、被写体の距離情報を利用した画像編集を撮像画像に対して容易に行うことが可能になる。

撮像装置の構成例を示すブロック図である。 分割画像生成部の構成例を示すブロック図である。 全体的な処理の流れを説明するフローチャートである。 全体的な処理の流れを説明するフローチャートである。 分割画像生成処理を説明するフローチャートである。 撮像画像データと分割画像データの一例を示す図である。 第１の表示画像データの生成を説明する図である。 距離別ヒストグラムと、奥行き分割画像の生成処理を説明する図である。 オブジェクト画像データの生成を説明する図である。 第２の表示画像データの生成を説明する図である。 表示画像データの表示例である。

［実施例１］
図１、図２を参照して本発明の実施例１を説明する。図１は、撮像装置の構成例を示すブロック図である。図２は、分割画像生成部１０８の構成例を示すブロック図である。
撮像装置１００において、撮像部１０１は、レンズ、シャッタ、絞り、撮像素子を有する。撮像部１０１は、システム制御部１０３の指示により撮影動作を行い、撮像画像データを取得し、メモリ１０５へ格納する。バス１０２は各ブロックを接続し、データや制御信号の送受を行う。

システム制御部１０３は、撮像装置１００全体を制御する。システム制御部１０３はＣＰＵ（中央演算処理装置）を備え、不揮発性メモリ１０６に記憶されたプログラムを読み出して実行することで、後述する処理を実現する。また、システム制御部１０３は、撮像装置１００に接続される表示媒体（表示デバイス）に対して表示制御を行う。例えば、システム制御部１０３は後述の表示部１１０や通信部１１１に対する表示切り換え処理を行い、表示媒体に関する情報（表示媒体情報）に合わせた表示画像データの生成処理を画像処理部１０７に指示する。表示媒体情報は、表示画素数及び表示デバイスの画面サイズの少なくともいずれか１つを含む。

距離情報取得部１０４は、撮像部１０１による撮像画像データに対応した被写体の距離情報を取得する。撮像画像データに対応した距離情報はメモリ１０５へ格納される。この例では、距離情報は、撮像画像内の各被写体の奥行き方向の深さ（深度）を示す。距離情報は、各被写体の撮像画像を撮像した撮像素子からの被写体距離を示す情報、あるいは各被写体のデフォーカス量を示す情報であってもよい。また、距離情報は、撮像画像内の被写体を撮像した複数視点の撮像画像間の像ずれ量を示す情報であってもよい。距離情報取得部１０４は撮像部１０１から、合焦位置を変更して撮影された複数の撮像画像データを取得する。そして、それぞれの撮像画像データの合焦領域と、撮像画像データの合焦位置情報から距離情報を取得する処理が行われる。この他にも、撮像部１０１の撮像素子が瞳分割された画素部で構成される場合、一対の被写体画像の信号の位相差から各画素に対する距離情報を取得することができる。

距離情報に関して、画像における被写体の深さに対応する情報としてさまざまな実施形態がある。つまり、被写体の深さに対応するデータが示す情報（深さ情報）は、画像内における撮像装置１００から被写体までの被写体距離を直接的に表すか、または画像内の被写体の距離（被写体距離）や深さの相対関係を表す情報であればよい。例えば、撮像部１０１に対して合焦位置を変更する制御が行われ、撮影された複数の撮像画像データが取得される。それぞれの撮像画像データの合焦領域と、撮像画像データの合焦位置情報から距離情報を取得することができる。この他にも、撮像部１０１の撮像素子が瞳分割型の画素構成を有する場合、一対の像信号の位相差から各画素に対する距離情報を取得可能である。具体的には、撮像素子は、撮像光学系の異なる瞳部分領域を通過する一対の光束が光学像としてそれぞれ結像したものを、対をなす画像データを複数の光電変換部から出力する。対をなす画像データ間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成される。このデフォーカス量を撮像光学系や撮像素子の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得可能である。本実施形態において、撮像画像データの距離情報は、各画素の値が距離を表す距離画像の形式を有するものとするが、データ形式はこれに限定されない。例えば距離情報は、撮影シーンの画像内に存在する特定被写体（例えば人物）の領域の位置および距離を表す情報であってもよい。距離情報取得部１０４による距離情報の生成方法について特に制限は無く、例えば特許文献１に記載されている方法や各種の方法を適用できる。

メモリ１０５は、撮像部１０１によって得られた撮像画像データや、距離情報取得部１０４で取得された撮像画像データに関連した距離情報等の各種データを記憶する。メモリ１０５は、所定枚数の撮像画像データの格納に十分な記憶容量を有する。不揮発性メモリ１０６は、電気的に消去および記録可能なメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory ）等が用いられる。不揮発性メモリ１０６には、システム制御部１０３の動作用の定数、設定値、プログラム等が記憶される。ここでのプログラムは、後述する各フローチャートを実行するためのプログラムである。

画像処理部１０７は、システム制御部１０３からの指示にしたがって、撮像部１０１や、メモリ１０５から読み出された撮像画像データに対して、所定の画素補間、縮小等のリサイズ処理や色変換処理を行う。また画像処理部１０７は、距離情報を用いて算出される個々の距離範囲に対して、ぼかし処理、シャープネス処理、色変換処理等の画像処理を行う。

分割画像生成部１０８は、メモリ１０５から読み出された撮像画像データと、距離情報を取得し、所定の画像（奥行き分割画像）のデータを生成し、メモリ１０５へ格納する。奥行き分割画像とは、撮像画像データ内の所定の距離範囲に含まれる被写体像を抽出した画像である。奥行き分割画像のデータを、以下では「分割画像データ」という。

例えば、奥行き方向（撮影方向に沿う方向）において距離範囲を３つの距離範囲に分割する場合を想定する。第１の距離範囲を撮像装置に最も近い距離範囲とし、第３の距離範囲を撮像装置から最も遠い距離範囲とする。第１の分割画像データは、第１の距離範囲内の被写体像を含む画像（近景被写体の画像）のデータである。第２の分割画像データは、第２の距離範囲内の被写体像を含む画像（中間距離の被写体画像）のデータである。第３の分割画像データは、第３の距離範囲内の被写体像を含む画像（遠景被写体の画像）のデータである。このように分割画像データは、撮像画像全体を被写体の距離範囲に応じて分割したときの画像のデータである。分割画像データに係る各々の奥行き分割画像は、画像内の被写体がとる距離範囲が異なる。

図２を参照し、分割画像生成部１０８の内部構成に関して説明する。分割画像生成部１０８は、距離範囲分割処理部２０１と、分割画像生成用マスクデータ生成処理部２０２と、分割画像データ生成処理部２０３とを備える。距離範囲分割処理部（以下、分割処理部という）２０１は、メモリ１０５から取得した距離情報を用いて、被写体の距離範囲を複数に分割する。被写体の距離範囲の分割により、被写体の距離範囲分割情報が生成される。

分割画像生成用マスクデータ生成処理部（以下、マスク生成処理部という）２０２は、分割処理部２０１から、被写体の距離範囲分割情報を取得し、分割画像生成用のマスク画像データを生成する。分割画像データ生成処理部（以下、データ生成処理部という）２０３は、メモリ１０５から取得した撮像画像データと、分割画像生成用のマスク画像データとを用いて、複数の分割画像データを生成する。生成された分割画像データは、メモリ１０５へ撮像画像データと対応付けて格納される。

図１の説明に戻る。操作部１０９は、ユーザの操作情報を撮像装置１００の制御情報に変換し、システム制御部１０３へ通知するユーザインタフェース部である。表示部１１０は、メモリ１０５から取得した画像データをＬＣＤ（液晶ディスプレイ）等の表示デバイスに表示する。

通信部１１１は、表示デバイスを備える外部装置との間で、制御コマンドやデータの送受信を行うための通信インタフェース部である。例えば通信部１１１は、ＵＳＢ（Universal Serial Bus）やＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等の規格に基づく有線接続で外部装置と通信を行う。あるいは、無線ＬＡＮ（Local Area Network）やＢｌｕｅＴｏｏｔｈ（登録商標）等の規格に基づく無線接続により外部装置との通信を行ってもよい。また、撮像装置１００と外部装置とは直接接続されてもよいし、サーバーやインターネット等のネットワークを介して接続されてもよい。本実施形態においては、少なくとも通信部１１１が接続される外部装置の表示デバイスに対して、表示デバイス情報の受信や、撮像画像に関する表示画像データの送信ができるものとする。

記録媒体Ｉ／Ｆ部１１２は、記録媒体１１３とのインタフェース部である。記録媒体１１３は、撮像画像データや、撮像画像データに関連した距離情報を記録する媒体であり、半導体メモリを用いたメモリカードや磁気ディスク等から構成される。

被写体検出部１１４は、メモリ１０５から取得した画像データ内の被写体の属性と、その領域とを検出し、検出した属性とその領域を被写体の検出結果としてメモリ１０５へ格納する。被写体検出部１１４は、公知の技術を用いて、被写体を検出することができる。例えば、被写体検出部１１４は、特許文献４に記述されているように、入力画像から特徴ベクトル等の特徴量を検出し、検出した特徴量を、人や、動物、山、建物等の検出対象物体の特徴量を保持した認識辞書と比較する。そして、類似度や評価値と称される尤度を算出し、尤度が所定の閾値以上の場合に検出対象物体が検出されたと判定することで、被写体を検出する。

オブジェクト画像生成部１１５は、被写体の検出結果をメモリ１０５から取得し、被写体の検出結果に基づいて、被写体の属性情報に対応するオブジェクトに関する画像データ（オブジェクト画像データ）を生成し、メモリ１０５へ格納する。図１、図２に示す構成は一例である。そのため、以下に説明する動作の実行が可能であれば、本発明に係る撮像装置１００の構成は図１、図２に示す構成に限定されない。

以下、図３乃至図１１を参照して、本実施形態の動作を説明する。図３および図４は、全体的な処理の流れを説明するフローチャートである。図５は、分割画像生成処理を説明するフローチャートである。

本実施形態では、撮影された画像データに対して、距離情報を利用したリフォーカス処理や色空間変換等の画像処理を行う。リフォーカス処理は、画像データの記録後に焦点位置を再調節した画像データを生成する処理である。ユーザは、撮像装置１００を用いて、特定の距離の被写体に対して所望の画像処理を行い、撮像画像に対する画像編集等を行うことができる。

また、撮像装置１００は、例えば、表示デバイスＡと表示デバイスＢとに接続されるものとする。表示デバイスＡは、例えばＰＣのディスプレイのような、細部の画像編集を行う上で十分な表示解像度（表示画素数）が確保できる表示デバイスである。表示デバイスＢは、例えば撮像装置本体の表示パネルのような、細部の画像編集を行う上で十分な表示解像度が確保できない表示デバイスである。

図３および図４のフローチャートを用いて、画像編集時の全体的な処理に関して説明する。図３のＳ３０１において、システム制御部１０３は、メモリ１０５から撮像画像データと撮像画像データに対する距離情報を取得する。システム制御部１０３はさらに、不揮発性メモリ１０６から、最大分割画像数Ｎを取得し、メモリ１０５に記憶する。最大分割画像数Ｎは分割画像の最大数であって、固定値または可変値である。例えば、最大分割画像数Ｎは、ユーザの指定により決定される。

Ｓ３０２において、システム制御部１０３は表示先の表示デバイス情報を取得する。本実施例における表示デバイス情報は、表示デバイスの表示解像度（表示画素数）や、表示パネルの大きさ（画面サイズ）等の情報の少なくとも１つである。表示デバイス情報は、例えば、不揮発性メモリ１０６内に記憶されている。システム制御部１０３は、撮像装置１００に接続された表示デバイスの表示デバイス情報を撮像画像の出力先の情報として不揮発性メモリ１０６から取得する。この他、システム制御部１０３は、通信部１１１を介して接続が検出された表示デバイスから表示デバイス情報を取得する。また、装置によっては、通信部１１１がもつ有線、無線の複数の通信インタフェースのうち、いずれで通信するかによって、出力先の表示デバイスの性能をある一定の性能とそれぞれみなしているものも考えられる。すなわち、このときシステム制御部１０３は、画像が表示される表示デバイスの表示デバイス情報を直接的に取得する代わりに、どの通信インタフェースで画像を出力し、表示デバイスに表示させるかという、通信インタフェースの情報を取得する。これにより、表示デバイスの性能を間接的に取得する。

Ｓ３０３において、分割画像生成部１０８が、システム制御部１０３の指示により、分割画像データを生成する。メモリ１０５に格納されている撮像画像データと、距離情報と、最大分割画像数Ｎを用いて、Ｎ枚の分割画像データを生成する処理が実行され、生成されたＮ枚の分割画像データがメモリ１０５へ格納される。Ｓ３０３の分割画像生成処理の詳細に関しては、図５のフローチャートを用いて後述する。

図６は、撮像画像データと分割画像データの一例を示す図である。
図６（Ａ）は、Ｎ＝５の場合の撮像画像データを示す。図６（Ｂ）は、図６（Ａ）の撮像画像データから生成される分割画像データを示す。

図３の説明に戻る。ステップＳ３０４において、システム制御部１０３が、表示デバイスの表示解像度が、所定の閾値以上であるか否かを判断する。ここでの閾値は任意の値でよく、予め不揮発性メモリ１０６に格納してあるものとする。表示デバイスの表示解像度が閾値以上である場合は、処理がステップＳ３０５に進む。表示デバイスの表示解像度が閾値より小さい場合は、処理がステップＳ３１２に進む。なお、本実施例では、表示デバイスの表示解像度と、それに対する閾値を、本ステップでの判断基準としたが、表示デバイスの大きさと、それに対する閾値を判断基準としてもよい。この例では、表示デバイスＡは閾値以上の表示解像度を有し、表示デバイスＢは有さないものとする。

ステップＳ３０５において、画像処理部１０７が、システム制御部１０３の指示により、メモリ１０５に格納されている表示デバイスの表示解像度と、Ｎ枚の分割画像データから、表示デバイスに応じた表示画像データを生成する。画像処理部１０７は、例えば、図６（Ｂ）に示すそれぞれの分割画像データに対して、距離が近いものほど画像サイズが小さくなるようにリサイズしてから表示画像データとして配置することで、撮影画角を表現する。ステップＳ３０５では、画像処理部１０７は、表示解像度が閾値以上である表示デバイスＡに表示する第１の表示画像データを生成する。なお、システム制御部１０３が、表示デバイスの情報に代えて、通信インタフェースの情報に基づいて、第１の表示画像データを生成するようにしてもよい。

図７は、第１の表示画像データの生成を説明する図である。
画像処理部１０７は、複数の奥行き分割画像を、各分割画像内の被写体がとる距離範囲に応じて並べて配置することで、第１の表示画像データを生成する。第１の表示画像データは、例えば、複数の奥行き分割画像を、近い距離情報の被写体を含む分割画像順に手前に表示されるように奥行き方向に並べて配置されている。例えば、図７（Ａ）に示す例では、近距離に対応する奥行き分割画像１を手前に、遠距離に対応する奥行き分割画像５を奥に、すべての分割画像データについて少なくとも一部が見えるように配置して、表示画像データを生成する。分割画像データの配置方法は、図７（Ａ）に示す表示画像データの生成時の配置に限定されない。全ての奥行き分割画像をユーザが分別して選択可能で、被写体距離が増加もしくは減少する方向で配置されていればよい。例えば、手前から奥という並べ方ではなく、右から左に向かって距離が大きくなるように奥行き分割画像を配置してもよい。

画像処理部１０７は、生成した第１の表示画像データを記憶手段（メモリ１０５）に格納する。また、画像処理部１０７は、図７（Ｂ）に示すように、第１の表示画像データ上の座標と、この座標が指定された場合に選択される奥行き分割画像との対応情報をメモリ１０５に格納する。

次に、図４のステップＳ３０６において、システム制御部１０３が、メモリ１０５から読み出した表示画像データを、表示デバイスの画面に表示させる。具体的には、システム制御部１０３は、奥行き分割画像を選択可能に表示する。撮像装置１００に対して同時に複数の表示デバイスとの接続が検出されている場合、最も解像度が高い表示デバイスのみ表示を行うようにしてもよい。

Ｓ３０７において、システム制御部１０３が、操作部１０９がユーザ操作を検出したかどを判定する。ユーザ操作が検出された場合、Ｓ３０８へ処理を進め、ユーザ操作が検出されない場合には、Ｓ３０６へ処理を戻す。Ｓ３０８において、システム制御部１０３は、ユーザ操作について判定する。ユーザ操作が、奥行き分割画像に対する画像処理の操作であると判定された場合、Ｓ３０９に処理を進める。またユーザ操作が、奥行き分割画像に対する画像処理の操作でない場合には、Ｓ３１０に処理を進める。

奥行き分割画像に対する画像処理の操作においては、ユーザ操作により、少なくとも分割画像の選択操作が行われるものとする。この選択操作は、例えば、表示デバイスがタッチパネル形式の場合、表示画像データの面内座標の指定により行われる。ユーザによるタッチ操作が検出された際に、システム制御部１０３は、表示画像データ上のタッチされた座標と、Ｓ３０４でメモリ１０５に格納された、座標と分割画像データとの対応情報とに基づいて、奥行き分割画像を選択する。この他にも、操作部１０９のキー入力による選択操作がある。この場合、システム制御部１０３は、キー入力に対応した奥行き分割画像を強調して表示する制御を行い、ユーザは所望の奥行き分割画像を選択するためのキー操作を行う。また、後述するステップＳ３１５において、第２の表示画像データが生成された場合は、システム制御部１０３は、ユーザ操作に応じて、以下の処理を行う。システム制御部１０３は、メモリ１０５に格納された、第２の表示画像データ上の座標と、奥行き分割画像として機能するオブジェクト画像データ（図９（Ｂ）、（Ｃ））との対応情報に基づいて、奥行き分割画像を選択する。

Ｓ３０８において、画像処理部１０７はシステム制御部１０３の指示により、選択された奥行き分割画像に対する所定の画像処理を実行する。所定の画像処理とは、例えば、ユーザが選択した奥行き分割画像が対応する距離範囲に対する、画像のぼかし処理や、シャープネス処理、色変換処理等の処理である。これらの画像処理は、ユーザが分割画像を選択することで実施可能となる奥行き分割画像に対する画像処理である。その後、図３のＳ３０３へ戻り、処理を続行する。

Ｓ３０９において、システム制御部１０３はユーザ操作について判定する。ユーザ操作が画像編集モードの終了操作である場合、Ｓ３１１へ処理を進め、画像編集モードの終了操作でない場合には、Ｓ３０６へ処理を戻す。Ｓ３１１において、システム制御部１０３は、画像処理済みのデータを記録する制御を行う。画像処理が施された画像データは、記録媒体Ｉ／Ｆ部１１２を介して記録媒体１１３に保存され、一連の処理を終了する。

図５は、分割画像生成処理の例を説明するフローチャートである。
本実施形態においては、最大分割画像数Ｎを、Ｎ＝５とする。つまり、図６（Ａ）の撮像画像データから、図６（Ｂ）に示す５つの奥行き分割画像１から５が生成される。

図５のＳ４０１において、分割画像データの参照変数（ｉと記す）の値がゼロに初期化される（ｉ＝０）。Ｓ４０２において、分割処理部２０１が、距離情報に基づいて、奥行き方向にて被写体が存在する距離の分布を（被写体の距離別ヒストグラム）を求める。距離情報は、画素値が撮像画像内に出現する被写体の距離（被写体距離）を表す距離画像の形式である。したがって、被写体の距離別ヒストグラムは、距離画像の画素値の度数、つまり被写体距離の分布頻度を示す。

図８は、被写体の距離別ヒストグラムと、奥行き分割画像の生成処理を説明する図である。
図８（Ａ）は、被写体の距離別ヒストグラムを示す。図８（Ａ）の横軸は奥行き方向の距離を表し、縦軸は分布頻度を表す。図８（Ｂ）は、奥行き分割画像の生成処理を示す。

図５のＳ４０３において、分割処理部２０１が、被写体の距離別ヒストグラムと、最大分割画像数Ｎと、閾値Ｓとに基づいて、ｉ番目の分割区間に対する距離範囲情報を算出する。最大分割画像数Ｎで区切る距離範囲については、あらかじめ不揮発性メモリ１０６に定数としてデータが保持される。分割処理部２０１が、図８（Ａ）の距離別ヒストグラムを用いて、被写体の出現頻度が低い距離の順にＮ個の分割範囲（距離範囲）を決定してもよい。

例えば、Ｎ＝５の場合、分割処理部２０１は、まず、図８（Ａ）に示す被写体の距離別ヒストグラムを、横軸方向に５分割することにより、図８（Ｂ）に示す分割１から分割５という５つに分割された距離範囲を決定する。３番目（ｉ＝３）の距離範囲に含まれる距離区間は、距離区間Ａ、距離区間Ｂ、距離区間Ｃである。

次に、図５のＳ４０４において、マスク生成処理部２０２が、ｉ番目の距離範囲情報から、分割画像生成用マスクデータを生成する。具体的には、Ｓ４０３で算出されたｉ番目の分割画像に対する距離範囲情報を用いて、距離情報である距離画像に対して、画素値を２値化する処理が実行される。つまり、距離範囲内の画素値を１とし、距離範囲外の画素値を０とする処理が行われ、分割画像生成用マスクデータが生成される。

Ｓ４０５において、データ生成処理部２０３が、撮像画像データとｉ番目の分割画像生成用マスクデータを用いて、ｉ番目の分割画像データを生成する。具体的には、撮像画像データの各画素に対して、分割画像生成用マスクデータの画素値を乗算する処理が実行される。それにより、分割画像生成用マスクデータの画素値が１である領域のみが、撮像画像データからそれぞれ抽出され、図８（Ｂ）の奥行き分割画像のデータが生成される。

次にＳ４０６において、参照変数ｉのインクリメントが行われて、ｉ値が１だけ増加する。Ｓ４０７では、参照変数ｉの値が最大分割画像数Ｎと比較され、「ｉ＞Ｎ」であるかどうかが判定される。参照変数ｉの値が最大分割画像数Ｎより大きい場合、分割画像生成処理を終了する。参照変数ｉの値が最大分割画像数Ｎ以下である場合、Ｓ４０３に戻って処理を続行する。分割画像生成部１０８は以上の処理を行うことで、撮像画像データに対し、最大分割画像数Ｎ個の距離範囲で分割した奥行き分割画像のデータを生成する。

図１１は、表示画像データの表示デバイスへの表示例を示す図である。
システム制御部１０３は、図８（Ｂ）を参照して説明した処理により生成された奥行き分割画像が配置された第１の表示画像データを表示部１１０に表示させる。具体的には、表示デバイスＡに対して、図１１（Ａ）のように第１の表示画像データが表示される。これにより、ユーザは、撮像画像内のすべての距離範囲に含まれる被写体を視認かつ選択することが可能となる。

次に、図３のステップＳ３１２からステップＳ３１５までの第２の表示画像データの生成処理に関して説明する。ステップＳ３１２において、システム制御部１０３の指示により、被写体検出部１１４が、撮像画像から被写体を検出する。被写体検出部１１４は、少なくとも、人や、動物、木、建物といった、被写体の属性情報と、撮像画像中の被写体の領域情報を、被写体の検出結果としてメモリ１０５へ格納する。本処理で検出対象とする被写体の属性の種類は、例えば、主被写体の属性、被写体検出部１１４が検出可能な全ての属性としてもよいし、一部の属性のみとしてもよい。さらには、ユーザの選択指示にしたがって選別してもよい。本実施例では、画像編集時であることを鑑み、例えば、画像処理部１０７が、顔に適した色補正やぼかし処理といった、特有の画像処理を施すことが可能な属性を検出対象とする。具体的には、図９（Ａ）に示す撮像画像に対して、人、動物および木を示す属性が検出される。

ステップＳ３１３において、システム制御部１０３の指示により、オブジェクト画像データ生成部１１５が、メモリ１０５から、被写体の検出結果と、撮像画像を取得する。そして、オブジェクト画像データ生成部１１５は、取得した情報に基づいて、被写体の属性に対応するオブジェクト画像データを生成する。オブジェクト画像データ生成部１１５は、生成したオブジェクト画像データをメモリ１０５へ格納する。

以下に、オブジェクト画像データの生成について説明する。人、動物、木といった、検出対象の被写体の属性に対応するオブジェクト画像を、予め不揮発性メモリ１０６に格納しておく。人、動物、木の属性に関しては、オブジェクト画像データ生成部１１５は、検出された属性に対応するオブジェクト画像を、不揮発性メモリ１０６から取得することによって、オブジェクト画像データを生成する。所定の被写体の属性に対応するオブジェクト画像データに関しては、撮像画像データと、被写体の領域情報とに基づいて、生成してもよい。例えば、顔の属性に対しては、オブジェクト画像データ生成部１１５は、撮像画像と、被写体の領域情報とを用いて、撮像画像から被写体の領域を切り出すことによって、図９（Ｃ）に示すような、顔に対応するオブジェクト画像データを生成する。なお、撮像画像中の被写体の色情報を取得して、取得した色情報をオブジェクト画像データの色情報に利用してもよい。

図３の説明に戻る。ステップＳ３１４において、システム制御部１０３が、メモリ１０５から取得した被写体の領域情報と、撮像画像に対応する距離情報とを用いて、検出された被写体の距離情報を算出する。距離情報が距離画像の形式であるので、システム制御部１０３は、被写体の撮像画像中の領域情報を、距離画像中の被写体の領域として扱い、領域内の画素値を平均したものを、被写体の距離情報とする。

ステップＳ３１５において、システム制御部１０３の指示で、画像処理部１０７が、ステップＳ３１３でメモリ１０５に格納されたオブジェクト画像データと、被写体の領域情報と、撮像画像に対応する距離情報とに基づいて、第２の表示画像データを生成する。画像処理部１０７は、生成した第２の表示画像データをメモリ１０５に格納し、処理がステップＳ３０６に進む。

第２の表示画像データの生成処理について具体的に説明する。画像処理部１０７は、被写体の距離情報を用いて、それぞれの被写体に関連するオブジェクト画像を、当該被写体の距離情報に応じて配置する。具体的には、近距離に対応するものを手前に、遠距離に対応するものを奥に、且つすべてのオブジェクト画像データについて少なくとも一部が見えるように配置することで、図１０（Ａ）に示すような第２の表示画像データを生成する。ただし、本実施例で示す第２の表示画像データの例に限らず、すべてのオブジェクト画像データをユーザが分別して選択可能で、オブジェクト画像データが対応する被写体の距離が増加もしくは減少する方向で配置表示されていればよい。例えば、手前から奥という並べ方ではなく、右から左に向かって距離が大きくなるように配置してもよい。

第２の表示画像データでは、配置されるオブジェクト画像データが奥行き分割画像として機能する。画像処理部１０７は、図１０（Ｂ）に示すように、第２の表示画像データ上の座標と、この座標が指定された場合に選択される分割画像データ（オブジェクト画像データ）との対応情報をメモリ１０５に格納する。なお、ステップＳ３１２で、検出対象とした被写体が、１つも検出されない場合は、画像処理部１０７は、撮像画像を第２の表示画像データとして、メモリ１０５へ格納する。そして、第２の表示画像データの座標と、奥行き分割画像との対応情報も生成しない。

図１１（Ｂ）は、第２の表示画像データの表示デバイスへの表示例を示す。システム制御部１０３は、図３のＳ３０６において、メモリ１０５内の第２の表示画像データを表示部１１０に表示させる。これにより、表示デバイスＢに対しては、図１１（Ｂ）のように第２の表示画像データが表示される。これにより、ユーザは、撮像画像データ内の主たる被写体や、画像処理部１０７が特有の処理を行うことが可能な被写体を、簡易的に視認かつ選択することが可能となる。

また、表示デバイスＢのように、第２の表示画像データを表示する表示デバイスに対しては、画像編集中の表示目的に応じて、第２の表示画像データの表示と、通常の画像再生時の表示を切り換えてもよいし、２つの表示を任意の割合で両立させてもよい。すなわち、システム制御部１０３は、撮像部１０１によって撮像される撮像画像を順次取得し、順次取得される撮像画像に対応する第１の表示画像データあるいは第２の表示画像データを切り換えて表示デバイスに表示する。例えば、選択された被写体に対して画像処理が施された場合は、任意の期間、画像編集データの表示に切り換えてもよい。以上説明した画像処理装置によれば、ユーザは、表示デバイスに応じて、被写体の距離情報を利用した画像編集を撮像画像に対して容易に行うことが可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０８ 分割画像生成部

Claims (15)

1. 撮像画像と前記撮像画像内の各被写体の奥行き方向の深さを示す距離情報を取得する取得手段と、
   前記距離情報に基づいて、前記撮像画像から、画像内の被写体がとる距離範囲が異なる、複数の分割画像を生成する生成手段と、
   表示デバイスあるいは通信インタフェースの情報に基づいて、前記複数の分割画像が選択可能に配置された第１の表示画像データを前記表示デバイスに表示する第１の表示制御と、前記撮像画像に含まれる被写体に関連するオブジェクト画像が選択可能に配置された第２の表示画像データを前記表示デバイスに表示する第２の表示制御とを切り換える制御手段とを備える
   ことを特徴とする画像処理装置。
2. 前記第１の表示画像データは、前記複数の分割画像を、各分割画像内の被写体がとる距離範囲に応じて並べて配置されている
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の表示画像データは、前記複数の分割画像を、近い距離情報の被写体を含む分割画像順に手前に表示されるように奥行き方向に並べて配置されている
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記第２の表示画像データは、前記被写体に関連するオブジェクト画像が当該被写体の距離情報に応じて配置されている
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記表示デバイスの情報は、表示画素数及び前記表示デバイスの画面サイズの少なくともいずれか１つを含む
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、前記撮像画像からの被写体の検出結果と、予め記憶手段に記憶されたオブジェクト画像と、前記撮像画像に対応する距離情報とに基づいて、前記第２の表示画像データを生成する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記撮像画像から被写体を検出し、当該被写体の属性情報と、当該被写体の領域情報とを出力する検出手段を備え、
   前記制御手段は、前記被写体の属性情報に対応するオブジェクト画像を前記記憶手段から取得し、前記取得したオブジェクト画像を前記被写体の距離情報に応じて配置することで、前記第２の表示画像データを生成する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記制御手段は、前記検出された被写体の属性が顔の属性である場合は、前記撮像画像から前記被写体の領域情報が示す領域を切り出して得られる画像を当該被写体に関連するオブジェクト画像とする
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記制御手段は、前記表示画像の座標と、前記第１の表示画像データに配置される前記分割画像または前記第２の表示画像データに配置される前記オブジェクト画像との対応情報を記憶手段に記憶する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記距離情報は、各被写体の前記撮像画像を撮像した撮像素子からの被写体距離を示す情報、あるいは各被写体のデフォーカス量を示す情報である
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記距離情報は、前記撮像画像内の被写体を撮像した複数視点の撮像画像間の像ずれ量を示す情報である
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
12. 被写体を撮像して前記撮像画像を出力する撮像手段を備える
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置として機能する撮像装置。
13. 前記取得手段は、前記撮像手段によって撮像される撮像画像を順次取得し、
    前記制御手段は、前記取得手段より順次取得される撮像画像に対応する前記第１の表示画像データあるいは前記第２の表示画像データを切り換えて前記表示デバイスに表示する
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 撮像画像と前記撮像画像内の各被写体の奥行き方向の深さを示す距離情報を取得する取得工程と、
    前記距離情報に基づいて、前記撮像画像から、画像内の被写体がとる距離範囲が異なる、複数の分割画像を生成する生成工程と、
    表示デバイスあるいは通信インタフェースの情報に基づいて、前記複数の分割画像が選択可能に配置された第１の表示画像データを前記表示デバイスに表示する第１の表示制御と、前記撮像画像に含まれる被写体に関連するオブジェクト画像が選択可能に配置された第２の表示画像データを前記表示デバイスに表示する第２の表示制御とを切り換える制御工程とを備える
    ことを特徴とする画像処理装置の制御方法。
15. コンピュータを請求項１乃至１３のいずれか１項に記載の画像処理装置が備える各手段として機能させることを特徴とするプログラム。