JP2017017551A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】撮像された複数の被写体の位置関係をユーザに容易に把握させることができる技術を提供する。【解決手段】本発明の画像処理装置は、複数の被写体を含む範囲を撮像した画像である撮像画像を表す撮像画像データを取得する画像取得手段と、撮像画像においてピントが合っている被写体を示すフォーカス情報を取得する第１取得手段と、複数の被写体の位置関係を示す位置関係情報を取得する第２取得手段と、フォーカス情報と位置関係情報に基づいて撮像画像データに画像処理を施す処理手段と、を有し、ピントが合っている被写体の画像領域に対して処理手段が施す画像処理、ピントが合っている被写体よりも手前に存在する被写体の画像領域に対して処理手段が施す画像処理、及び、ピントが合っている被写体よりも奥に存在する被写体の画像領域に対して処理手段が施す画像処理は、互いに異なる。【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関する。

近年、撮像装置が撮像した画像（撮像画像）と画像表示装置が表示した画像（表示画像）との高解像度化が進んでいる。高解像度化が進むことにより、撮像時におけるフォーカス位置がより重要視される。

撮像時におけるフォーカス位置の確認方法に関する従来技術は、例えば、特許文献１，２に開示されている。特許文献１に開示の技術では、撮像画像における被写体の輪郭部の明瞭度に応じた色で当該輪郭部を強調する画像処理が行われる。特許文献２に開示の技術では、撮像画像のエッジの大きさに応じたレベルでエッジを強調する画像処理が行われる。

ここで、フォーカス位置の確認の後にユーザがフォーカス位置を調整することが考えられる。上述した従来技術を用いれば、被写体にピントが合っているか否かをユーザに容易に把握させることができる。しかしながら、上述した従来技術を用いたとしても、撮像された複数の被写体の奥行方向の位置関係をユーザに容易に（直感的に）把握させることはできない。そのため、ユーザは、所望の被写体にピントが合うようにフォーカス位置を容易に調整することができない。

特開２００１−００８０６５号公報 特開２０１０−１３５８６５号公報

本発明は、撮像された複数の被写体の位置関係をユーザに容易に把握させることができる技術を提供することを目的とする。

本発明の第１の態様は、
複数の被写体を含む範囲を撮像した画像である撮像画像を表す撮像画像データを取得する画像取得手段と、
前記撮像画像においてピントが合っている被写体を示すフォーカス情報を取得する第１取得手段と、
前記複数の被写体の位置関係を示す位置関係情報を取得する第２取得手段と、
前記フォーカス情報と前記位置関係情報に基づいて前記撮像画像データに画像処理を施すことにより、処理画像データを生成する処理手段と、
を有し、
前記ピントが合っている前記被写体の画像領域に対して前記処理手段が施す画像処理、前記ピントが合っている前記被写体よりも手前に存在する被写体の画像領域に対して前記処理手段が施す画像処理、及び、前記ピントが合っている前記被写体よりも奥に存在する被写体の画像領域に対して前記処理手段が施す画像処理は、互いに異なる
ことを特徴とする画像処理装置である。

本発明の第２の態様は、
複数の被写体を含む範囲を撮像した画像である撮像画像を表す撮像画像データを取得する画像取得ステップと、
前記撮像画像においてピントが合っている被写体を示すフォーカス情報を取得する第１取得ステップと、
前記複数の被写体の位置関係を示す位置関係情報を取得する第２取得ステップと、
前記フォーカス情報と前記位置関係情報に基づいて前記撮像画像データに画像処理を施すことにより、処理画像データを生成する処理ステップと、
を有し、
前記ピントが合っている前記被写体の画像領域に対して前記処理ステップが施す画像処理、前記ピントが合っている前記被写体よりも手前に存在する被写体の画像領域に対して前記処理ステップが施す画像処理、及び、前記ピントが合っている前記被写体よりも奥に存在する被写体の画像領域に対して前記処理ステップが施す画像処理は、互いに異なる
ことを特徴とする画像処理方法である。

本発明の第３の態様は、上述した画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。

本発明によれば、撮像された複数の被写体の位置関係をユーザに容易に把握させることができる。

実施例１に係る画像表示システムの機能構成の一例を示すブロック図 実施例１に係る撮像画像の一例を示す図 実施例１に係る複数の被写体の奥行方向における位置関係の一例を示す図 実施例１に係る処理画像の一例を示す図 実施例１に係る処理画像の一例を示す図 実施例２に係る画像表示システムの機能構成の一例を示すブロック図 実施例３に係る画像表示システムの機能構成の一例を示すブロック図

＜実施例１＞
以下、本発明の実施例１に係る画像処理装置及び画像処理方法について説明する。なお、以下では、本実施例に係る画像処理装置が画像表示装置に設けられている例を説明するが、これに限らない。本実施例に係る画像処理装置は、画像表示装置とは別体の装置であってもよい。

図１は、本実施例に係る画像表示システム１００の機能構成の一例を示すブロック図である。図１に示すように、画像表示システム１００は、撮像装置１０１と画像表示装置１０２を有する。画像表示装置１０２は、フォーカス情報取得部１０３、位置関係情報取得部１０４、画像処理部１０５、及び、表示部１０６を有する。なお、本実施例に係る画像処理装置は、撮像装置１０１を有していてもよい。また、本実施例に係る画像処理装置は表示部１０６を有していなくてもよい。

撮像装置１０１は、撮像によって撮像画像データを生成する。撮像画像データは、被写体を含む範囲（撮像範囲）を撮像した画像である撮像画像を表す。撮像装置１０１は、手動でフォーカス位置（焦点位置）を調整するマニュアルフォーカス機能を有する。フォーカス位置は、撮像範囲内の位置（三次元位置）であり、撮像画像においてピントが合う位置である。

撮像範囲に含まれる被写体の数は特に限定されないが、本実施例では、図２に示すように、撮像範囲に複数の被写体が含まれる場合の例を説明する。図２は、撮像画像の一例を示す図である。図２の撮像画像は、３つの被写体Ａ，Ｂ，Ｃを含む撮像範囲を撮像した撮像画像である。図２の撮像画像では、被写体Ａにピントが合っており、被写体Ｂ，Ｃにピントが合っていないものとする。

図３は、図２の被写体Ａ，Ｂ，Ｃの奥行方向における位置関係を示す図である。図３に示すように、被写体Ｂは被写体Ａよりも手前（撮像装置１０１に近づく方向）に存在し、被写体Ｃは被写体Ａよりも奥（撮像装置１０１から遠ざかる方向）に存在する。

フォーカス情報取得部１０３は、撮像画像においてピントが合っている被写体を示すフォーカス情報を取得する（第１取得処理）。そして、フォーカス情報取得部１０３は、取得したフォーカス情報を画像処理部１０５に出力する。本実施例では、フォーカス情報取得部１０３は、撮像画像の撮像時に撮像装置１０１に設定されていた撮像パラメータを、撮像装置１０１から取得する。そして、フォーカス情報取得部１０３は、取得した撮像パラメータに基づいてフォーカス情報を生成する。具体的には、フォーカス情報取得部１０３は、撮像装置１０１のレンズの位置から得られた焦点距離の値と、絞りの絞り値とを、撮像パラメータとして撮像装置１０１から取得する。焦点距離は、レンズからフォーカス位置までの奥行方向の距離である。そして、フォーカス情報取得部１０３は、焦点距離と絞り値に基づいて、フォーカス位置の座標値を算出する。その後、フォーカス情報取得部１０３は、フォーカス位置の座標値を、撮像画像内における二次元位置（フォーカス画像位置）の座標値に変換する。これにより、フォーカス画像位置の座標値と焦点距離の値との組み合わせが、フォーカス情報として取得される。撮像画像が図２の撮像画像である場合には、撮像画像における被写体Ａの位置に相当するフォーカス画像位置の座標値と、撮像装置１０１から被写体Ａまでの距離に相当する焦点距離の値との組み合わせが、フォーカス情報として取得される。

なお、撮像パラメータは、焦点距離の値と絞り値に限らない。例えば、フォーカス情報取得部１０３は、レンズの位置の値を撮像パラメータとして取得し、レンズの位置から焦点距離を算出してもよい。また、フォーカス情報取得部１０３は、撮像装置１０１以外の外部装置から撮像パラメータを取得してもよい。例えば、撮像装置１０１が撮像パラメータを記憶部（記憶装置）に記録し、フォーカス情報取得部１０３が記憶部から撮像パラメータを取得してもよい。本実施例に係る画像処理装置が、撮像パラメータを記憶する記憶部を有していてもよい。

なお、フォーカス情報の取得方法は上記方法に限らない。例えば、撮像装置１０１がフォーカス情報を生成し、フォーカス情報取得部１０３が撮像装置１０１からフォーカス情報を取得してもよい。撮像装置１０１以外の外部装置がフォーカス情報を生成してもよい。フォーカス情報取得部１０３は、撮像装置１０１以外の外部装置からフォーカス情報を取得してもよい。例えば、撮像装置１０１がフォーカス情報を記憶部（記憶装置）に記録し、フォーカス情報取得部１０３が記憶部からフォーカス情報を取得してもよい。本実施例に係る画像処理装置が、フォーカス情報を記憶する記憶部を有していてもよい。

なお、フォーカス情報は上記情報に限らない。例えば、フォーカス画像位置の座標値が、フォーカス情報として使用されてもよい。フォーカス位置の座標値を含む情報が、フォーカス情報として使用されてもよい。ピントが合っている被写体の画像領域（撮像画像の領域）を示すフォーカス領域情報を含む情報が、フォーカス情報として使用されてもよい。フォーカス領域情報の生成方法の一例について説明する。まず、撮像画像からエッジを検出するエッジ検出処理が行われ、検出されたエッジに基づく画像領域が被写体の画像領
域とみなされる。例えば、検出されたエッジで囲まれた画像領域が被写体の画像領域とみなされる。そして、各被写体の画像領域のうち、フォーカス画像位置を含む画像領域が、ピントが合っている被写体の画像領域として検出される。

位置関係情報取得部１０４は、撮像範囲に含まれた複数の被写体の位置関係を示す位置関係情報を取得する（第２取得処理）。そして、位置関係情報取得部１０４は、取得した位置関係情報を画像処理部１０５に出力する。本実施例では、位置関係情報取得部１０４は、位置関係情報を撮像装置１０１から取得する。具体的には、撮像装置１０１は被写体センサを有する。被写体センサは、撮像範囲に含まれる被写体を検出し、被写体と撮像装置１０１（レンズ）の間の距離の値と、撮像画像における被写体の二次元位置の座標値との組み合わせを、検出値として出力する。そして、位置関係情報取得部１０４は、各被写体についての検出値を、位置関係情報として被写体センサから取得する。撮像画像が図２の撮像画像である場合には、撮像画像における被写体Ａ，Ｂ，Ｃについての検出値が、位置関係情報として取得される。

なお、位置関係情報の取得方法は上記方法に限らない。位置関係情報取得部１０４は、撮像装置１０１以外の外部装置から位置関係情報を取得してもよい。例えば、撮像装置１０１が位置関係情報を記憶部（記憶装置）に記録し、位置関係情報取得部１０４が記憶部から位置関係情報を取得してもよい。本実施例に係る画像処理装置が、位置関係情報を記憶する記憶部を有していてもよい。

なお、被写体センサの検出値は上記値に限らない。また、位置関係情報は上記情報に限らない。例えば、被写体の三次元位置の座標値が、被写体センサの検出値として得られてもよい。そして、被写体の三次元位置の座標値を含む情報が、位置関係情報として使用されてもよい。被写体の奥行方向における位置の座標値を含む情報が、位置関係情報として使用されてもよい。各被写体の画像領域を示す被写体領域情報を含む情報が、位置関係情報として使用されてもよい。被写体の三次元位置の座標値が検出値として得られた場合には、位置関係情報取得部１０４が、被写体の三次元位置の座標値を撮像画像内における二次元位置の座標値に変換してもよい。

画像処理部１０５は、撮像画像データを取得する（画像取得処理）。本実施例では、画像処理部１０５は、撮像装置１０１から撮像画像データを取得する。なお、撮像画像データの取得方法はこれに限らない。画像処理部１０５は、撮像装置１０１以外の外部装置から撮像画像データを取得してもよい。例えば、撮像装置１０１が撮像画像データを記憶部（記憶装置）に記録し、画像処理部１０５が記憶部から撮像画像データを取得してもよい。本実施例に係る画像処理装置が、撮像画像データを記憶する記憶部を有していてもよい。なお、画像取得処理は、画像処理部１０５とは異なる機能部によって行われてもよい。例えば、本実施例に係る画像処理装置が、画像処理部１０５とは別に、撮像画像データを取得する取得部を有していてもよい。

また、画像処理部１０５は、フォーカス情報取得部１０３から出力されたフォーカス情報と、位置関係情報取得部１０４から出力された位置関係情報とに基づいて撮像画像データに画像処理を施すことにより、処理画像データを生成する。そして、画像処理部１０５は、生成した処理画像データを表示部１０６に出力する。

画像処理部１０５は、フォーカス情報を用いて、ピントが合っている被写体（フォーカス被写体）の画像領域を撮像画像から検出する。例えば、画像処理部１０５は、エッジ検出処理を行い、エッジ検出処理の結果に基づいて、各被写体の画像領域を撮像画像から検出する。そして、画像処理部１０５は、各被写体の画像領域のうち、フォーカス画像位置を含む画像領域を、フォーカス被写体の画像領域として検出する。

また、画像処理部１０５は、フォーカス情報と位置関係情報を用いて、フォーカス被写体よりも手前に存在する被写体（前被写体）の画像領域と、フォーカス被写体よりも奥に存在する被写体（後被写体）の画像領域とを、撮像画像から検出する。例えば、画像処理部１０５は、被写体と撮像装置１０１の間の距離と焦点距離を比較することにより、各被写体の画像領域の中から、前被写体の画像領域と後被写体の画像領域とを検出する。具体的には、画像処理部１０５は、被写体と撮像装置１０１の間の距離が焦点距離よりも短い被写体の画像領域を、前被写体の画像領域として検出する。そして、画像処理部１０５は、被写体と撮像装置１０１の間の距離が焦点距離よりも長い被写体の画像領域を、後被写体の画像領域として検出する。

そして、画像処理部１０５は、フォーカス被写体の画像領域、前被写体の画像領域、及び、後被写体の画像領域に対して個別に画像処理を施す。本実施例では、フォーカス被写体に対して画像処理部１０５が施す画像処理、前被写体の画像領域に対して画像処理部１０５が施す画像処理、及び、後被写体の画像領域に対して画像処理部１０５が施す画像処理は、互いに異なる。これにより、処理画像データとして、撮像された複数の被写体の位置関係をユーザに容易に把握させることができる画像データを得ることができる。具体的には、処理画像データによって表された画像では、被写体間の画像処理の違いが明確に現れる。そのため、画像処理の違いによって、複数の被写体の位置関係をユーザに把握させることができる。

図４を用いて、画像処理部１０５の処理の具体例を説明する。図４は、処理画像データによって表された画像（処理画像）の一例を示す。図４は、図２の撮像画像から生成された処理画像である。図４は、画像処理として、画像領域の輪郭を強調するピーキング処理が行われた場合の例を示す。図４の例では、被写体Ａの画像領域に対して、輪郭を実線で強調するピーキング処理が行われている。そして、被写体Ｂの画像領域に対して、輪郭を破線で強調するピーキング処理が行われており、被写体Ｃの画像領域に対して、輪郭を点線で強調するピーキング処理が行われている。図４の処理画像をユーザが見れば、ユーザは、輪郭を強調する線の種類の違いから、被写体Ａ，Ｂ，Ｃの位置関係を瞬時に（直感的に）把握することができる。

なお、ピーキング処理の違いは、輪郭を強調する線の種類の違いに限らない。ピーキング処理の違いは、輪郭を強調する線の色の違い、輪郭を強調する線の太さの違い、等を含んでもよい。また、画像処理はピーキング処理に限らない。例えば、画像処理として、画像の色を変更する色変更処理、画像の輝度を変更する輝度変更処理、等が行われてもよい。処理画像では、画像の色の変更方法の違いによって、複数の被写体の位置関係が示されてもよい。処理画像では、画像の輝度の変更方法の違いによって、複数の被写体の位置関係が示されてもよい。また、処理画像では、施された画像処理の種類の違いによって、複数の被写体の位置関係が示されてもよい。例えば、フォーカス被写体の画像領域に対してピーキング処理が施され、前被写体の画像領域に対して輝度変更処理が施され、後被写体の画像領域に対して色変更処理が施されてもよい。

表示部１０６は、画像処理部１０５から出力された処理画像データに基づいて、処理画像を表示する。なお、画像処理部１０５と表示部１０６の間で、処理画像データに他の画像処理（画像処理部１０５で行われた上記画像処理とは異なる画像処理）が施されてもよい。上記画像処理の違いによる被写体の表現の違いが保たれれば、他の画像処理はどのような画像処理であってもよい。

以上述べたように、本実施例によれば、フォーカス被写体の画像領域に対して施される画像処理、前被写体の画像領域に対して施される画像処理、及び、後被写体の画像領域に
対して施される画像処理が、互いに異なる。それにより、撮像された複数の被写体の位置関係をユーザに容易に把握させることができる。また、ユーザは、複数の被写体の位置関係から、フォーカス位置をどのように調整すれば所望の被写体にピントが合うかを容易に把握することができる。そのため、本実施例によれば、ユーザは、所望の被写体にピントが合うようにフォーカス位置を容易に調整することができる。

なお、本実施例では、互いに異なる３つの画像処理が行われる例を説明したが、これに限らない。奥行方向の位置が互いに異なる４つ以上の被写体が撮像範囲に含まれている場合には、互いに異なる４つ以上の画像処理が行われてもよい。例えば、撮像画像においてピントが合っていない被写体（前被写体や後被写体）の画像領域に対して、当該被写体と、フォーカス被写体との間の奥行方向の距離に応じた画像処理が施されてもよい。

互いに異なる４つ以上の画像処理が行われる場合の例を、図５を用いて説明する。図５は、処理画像の一例を示す。図５は、図２の撮像画像から生成された処理画像である。但し、図２の被写体Ｃが、３つの被写体Ｄ，Ｅ，Ｆとして扱われている。被写体Ｄは被写体Ａよりも奥に存在し、被写体Ｅは被写体Ｄよりも奥に存在し、被写体Ｆは被写体Ｅよりも奥に存在する。図４は、画像処理としてピーキング処理が行われた場合の例を示す。図４の例では、被写体Ａの画像領域に対して、輪郭を実線で強調するピーキング処理が行われている。被写体Ｂの画像領域に対して、輪郭を破線で強調するピーキング処理が行われている。被写体Ｄの画像領域に対して、輪郭を一点鎖線で強調するピーキング処理が行われている。被写体Ｅの画像領域に対して、輪郭を点線で強調するピーキング処理が行われている。被写体Ｆの画像領域に対して、輪郭を二点鎖線で強調するピーキング処理が行われている。

図５の処理画像をユーザが見れば、ユーザは、輪郭を強調する線の種類の違いから、被写体Ａ，Ｂ，Ｄ，Ｅ，Ｆの位置関係を瞬時に（直感的に）把握することができる。即ち、図５の処理画像をユーザが見れば、ユーザは、図４の処理画像から瞬時に把握できる位置関係よりも詳細な位置関係を把握することができる。また、被写体とフォーカス被写体の間の奥行方向の距離に応じた画像処理が行われれば、ユーザは、線種の違いから、フォーカス被写体との間の奥行方向の距離を把握することもできる。その結果、ユーザは、所望の被写体にピントを合わせるためのフォーカス位置の調整量を把握でき、フォーカス位置をより容易に調整することができる。

なお、本実施例では、処理画像のみが表示される例を説明したが、これに限らない。例えば、本実施例に係る画像処理装置が、撮像画像データと処理画像データに基づいて、撮像画像と処理画像が配置された合成画像を表す合成画像データを生成する合成部を有していてもよい。そして、上記合成画像が表示されてもよい。これにより、ユーザは、撮像画像と処理画像を同時に見ることができる。撮像画像と処理画像の配置は特に限定されない。例えば、撮像画像と処理画像が重なり合わないように撮像画像と処理画像が配置されてもよいし、撮像画像と処理画像の一方の内側に他方が縮小して配置されてもよい。即ち、撮像画像と処理画像がＰｏｕｔＰ（Ｐｉｃｔｕｒｅ ｏｕｔ Ｐｉｃｔｕｒｅ）表示されてもよいし、撮像画像と処理画像がＰｉｎＰ（Ｐｉｃｔｕｒｅ ｉｎ Ｐｉｃｔｕｒｅ）表示されてもよい。

＜実施例２＞
以下、本発明の実施例２に係る画像処理装置及び画像処理方法について説明する。なお、以下では、実施例１と異なる構成や処理について詳しく説明し、実施例１と同じ構成や処理についての説明は省略する。図６は、本実施例に係る画像表示システム２００の機能構成の一例を説明する。図６に示すように、本実施例に係る画像表示装置２０１は、実施例１のフォーカス情報取得部１０３の代わりに、第１解析部２０２を有する。図６におい
て、実施例１（図１）と同じ機能部には、実施例１と同じ符号が付されている。

第１解析部２０２は、撮像装置１０１から撮像画像データを取得する。なお、撮像画像データの取得方法はこれに限らない。第１解析部２０２は、取得した撮像画像データを解析することにより、フォーカス情報を取得する。そして、第１解析部２０２は、取得したフォーカス情報を画像処理部１０５に出力する。

本実施例では、エッジ検出処理を行うことにより、フォーカス情報が取得される。例えば、エッジ検出処理により撮像画像からエッジが検出され、検出されたエッジに基づく画像領域が被写体の画像領域とみなされる。エッジは、例えば、バンドパスフィルタを用いて検出することができる。そして、各被写体の画像領域のうち、閾値以上の大きさのエッジ（輝度段差）に基づく画像領域が、フォーカス被写体の画像領域として検出される。閾値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。そして、フォーカス被写体の画像領域の検出結果に基づいて、フォーカス被写体の画像領域と、フォーカス被写体の画像領域の位置との少なくとも一方を示すフォーカス情報が生成される。

なお、フォーカス情報を取得するための解析方法は上記方法に限らない。例えば、エッジ検出処理により、閾値以上の大きさのエッジのみが検出されてもよい。そして、検出されたエッジに基づく画像領域が、フォーカス被写体の画像領域とみなされてもよい。また、フォーカス情報は上記情報に限らない。例えば、閾値以上の大きさのエッジを示す情報が、フォーカス情報として使用されてもよい。

以上述べたように、本実施例によれば、撮像画像データを解析することによって、フォーカス情報が取得される。それにより、画像処理装置がフォーカス情報や撮像パラメータを外部から取得できない場合において、実施例１と同様の効果を得ることができる。

＜実施例３＞
以下、本発明の実施例３に係る画像処理装置及び画像処理方法について説明する。なお、以下では、実施例１，２と異なる構成や処理について詳しく説明し、実施例１，２と同じ構成や処理についての説明は省略する。図７は、本実施例に係る画像表示システム３００の機能構成の一例を説明する。図７に示すように、本実施例に係る画像表示装置３０１は、実施例２の位置関係情報取得部１０４の代わりに、第２解析部３０２を有する。図７において、実施例２（図６）と同じ機能部には、実施例２と同じ符号が付されている。なお、実施例１（図１）の位置関係情報取得部１０４が、第２解析部３０２に置き換えられてもよい。

第２解析部３０２は、撮像装置１０１から撮像画像データを取得する。なお、撮像画像データの取得方法はこれに限らない。第２解析部３０２は、取得した撮像画像データを解析することにより、位置関係情報を取得する。そして、第２解析部３０２は、取得した位置関係情報を画像処理部１０５に出力する。

本実施例では、各被写体の奥行方向における位置を検出する位置検出処理を行うことにより、位置関係情報が取得される。位置検出処理では、例えば、各被写体の画像領域が検出された後に、二次元画像を三次元画像に変換する一般的な技術により、各被写体の画像領域の検出結果から、各被写体の奥行方向における位置が検出される。具体的には、撮像画像の構図、撮像画像内における被写体の二次元位置、撮像画像データを解析することで得られた被写体の動き量、等から、被写体の奥行方向における位置が判断される。被写体の画像領域におけるエッジの数に基づいて、当該被写体の奥行方向における位置が判断されてもよい。例えば、エッジの数の増加に伴い奥から手前に位置が変化するように、被写
体の奥行方向における位置が判断されてもよい。そして、位置検出処理の結果に基づいて、位置関係情報が生成される。例えば、各被写体の奥行方向における位置の座標値を含む情報が、位置関係情報として生成される。

以上述べたように、本実施例によれば、撮像画像データを解析することによって、位置関係情報が取得される。それにより、画像処理装置が位置関係情報を外部から取得できない場合において、実施例１と同様の効果を得ることができる。

＜その他の実施例＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２，２０１，３０１：画像表示装置 １０３：フォーカス情報取得部
１０４：位置関係情報取得部 １０５：画像処理部 ２０２：第１解析部
３０２：第２解析部

Claims (13)

1. 複数の被写体を含む範囲を撮像した画像である撮像画像を表す撮像画像データを取得する画像取得手段と、
   前記撮像画像においてピントが合っている被写体を示すフォーカス情報を取得する第１取得手段と、
   前記複数の被写体の位置関係を示す位置関係情報を取得する第２取得手段と、
   前記フォーカス情報と前記位置関係情報に基づいて前記撮像画像データに画像処理を施すことにより、処理画像データを生成する処理手段と、
   を有し、
   前記ピントが合っている前記被写体の画像領域に対して前記処理手段が施す画像処理、前記ピントが合っている前記被写体よりも手前に存在する被写体の画像領域に対して前記処理手段が施す画像処理、及び、前記ピントが合っている前記被写体よりも奥に存在する被写体の画像領域に対して前記処理手段が施す画像処理は、互いに異なる
   ことを特徴とする画像処理装置。
2. 前記処理手段は、前記撮像画像においてピントが合っていない被写体の画像領域に対して、当該被写体と、前記ピントが合っている前記被写体との間の奥行方向の距離に応じた画像処理を施す
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１取得手段は、外部から前記フォーカス情報を取得する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１取得手段は、前記撮像画像の撮像時に設定されていた撮像パラメータに基づいて前記フォーカス情報を生成する
   ことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記第１取得手段は、前記撮像画像の撮像時に設定されていた焦点距離と絞り値に基づいて前記フォーカス情報を生成する
   ことを特徴とする請求項１または２に記載の画像処理装置。
6. 前記第１取得手段は、前記撮像画像データを解析することにより、前記フォーカス情報を取得する
   ことを特徴とする請求項１または２に記載の画像処理装置。
7. 前記第１取得手段は、前記撮像画像からエッジを検出するエッジ検出処理を行うことにより、前記フォーカス情報を取得する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記第２取得手段は、外部から前記位置関係情報を取得する
   ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記第２取得手段は、前記撮像画像データを解析することにより、前記位置関係情報を取得する
   ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
10. 前記第２取得手段は、各被写体の奥行方向における位置を検出する位置検出処理を行うことにより、前記位置関係情報を取得する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記撮像画像データと前記処理画像データに基づいて、前記撮像画像と、前記処理画像データによって表された画像とが配置された合成画像を表す合成画像データを生成する合成手段、をさらに有する
    ことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 複数の被写体を含む範囲を撮像した画像である撮像画像を表す撮像画像データを取得する画像取得ステップと、
    前記撮像画像においてピントが合っている被写体を示すフォーカス情報を取得する第１取得ステップと、
    前記複数の被写体の位置関係を示す位置関係情報を取得する第２取得ステップと、
    前記フォーカス情報と前記位置関係情報に基づいて前記撮像画像データに画像処理を施すことにより、処理画像データを生成する処理ステップと、
    を有し、
    前記ピントが合っている前記被写体の画像領域に対して前記処理ステップが施す画像処理、前記ピントが合っている前記被写体よりも手前に存在する被写体の画像領域に対して前記処理ステップが施す画像処理、及び、前記ピントが合っている前記被写体よりも奥に存在する被写体の画像領域に対して前記処理ステップが施す画像処理は、互いに異なる
    ことを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images