JP2017073704A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】画像中の合焦位置を含む領域を適応的に拡大表示して、合焦位置の確認と被写体の確認とを両立させる。【解決手段】画素ごとに撮影位置からの距離情報と画像データとを参照し、画像中の合焦位置を特定する。その後、画像中の顔領域を特定するとともに、合焦位置の被写体とほぼ等距離にある被写体の領域を画像から特定する。合焦位置の被写体が顔であり、その顔の近傍に別の顔があればそれらの顔を含む領域を拡大領域と決定し、顔でなければ、合焦位置の被写体とほぼ等距離にある被写体を含む領域も拡大領域として決定する。そして決定した拡大領域を表示する。【選択図】図３

Description

本発明は、例えば撮影画像や再生画像の一部を拡大表示可能なデジタルカメラやスマートフォンなどの画像処理装置及び方法に関する。

画像の撮影時、撮影後の再生確認時、合焦状況を確認するために画像を拡大表示できる機能を有するデジタルカメラ等の画像処理装置が存在する。従来の画像処理装置では、装置が検出している合焦位置を中心にした一部の矩形領域の拡大表示や、画像を等分（例えば縦横３ｘ３の９等分、４ｘ４の１６等分）に分割したそれぞれの領域について、最も高周波数成分を含む矩形領域を拡大表示する画像処理装置が存在する。

特開２００４−１８６８７２号公報

従来の画像処理装置のような拡大表示では、被写体に合わせた拡大表示を行なう訳ではないため、拡大表示された結果だけを見ても、それが被写体の一部分のみの表示となってしまった場合には、被写体が何であるかを認識しづらい拡大表示となる場合がある。

本発明は上記従来例に鑑みて成されたもので、撮影する画像または撮影した画像を、合焦位置を含めて適応的に拡大表示することができる画像形成装置及び方法を提供することを目的とする。

上記目的を達成するために本発明の画像処理装置は、画像データと、その画像と同時に取得され、画素値として距離情報値を有する距離情報画像データ、および合焦位置等のメタ情報を関連付けて処理可能な画像処理装置であり、距離情報画像データに対する領域分割処理を行なう領域分割手段を有し、画像データの拡大表示を行なう際には、上記領域分割手段により分割された少なくとも１つ以上の領域の内、合焦位置を含む分割領域の画像データを拡大して表示を行なう事を特徴とする。

本発明によれば、撮影する画像または撮影した画像を、合焦位置を含めて適応的に拡大表示することができる。

画像処理装置（デジタルカメラ）の構成図 画像処理エンジンを示す図 撮影画像拡大処理フローチャート 領域分割処理フローチャート 領域分割処理の説明図 拡大領域決定処理フローチャート サブ領域判定処理フローチャート 拡大表示例１を示す図 拡大表示例２を示す図 拡大表示例３を示す図 拡大表示例４を示す図 再生画像拡大処理フローチャート

以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。以下に説明する実施の形態は、本発明の実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［実施例１］
図１に本発明の画像処理装置の一例であるデジタルカメラの構成図を示す。
制御部（ＣＰＵ）１０１はデジタルカメラ全体の制御を担う。レンズ１０２は焦点距離や絞りの状態を変更可能なレンズであり、撮像素子１０３は例えばＣＭＯＳセンサで、レンズ１０２により結像した光を電気信号に変換する機能を有し、また同時に、距離情報の取得も可能なセンサである。例えば、ＲＧＢ画素の下層に、ＴｏＦ（time-of-flight）方式で距離情報が取得可能なＺ画素を積層するセンサなどが知られている。画素ごとに距離情報を対応付けた情報を距離マップ情報あるいは距離画像情報と呼ぶ。
信号処理部１０４は、入力動画像信号に対しホワイトバランスやガンマ補正等の所定の信号処理を行い、バス１１０を介して、メモリ１０９に画像データを格納する機能を有する。また同時に、距離情報についても距離情報値のみで構成された距離画像情報をメモリ１０９に格納する機能を有する。さらに本実施例のデジタルカメラにおいては、画像中のどの位置に合焦位置があるかを判定する合焦位置取得機能も有する。
ＪＰＥＧ符号／復号化部１０５は、メモリ１０９上に格納された画像データをＪＰＥＧ形式の圧縮画像データに符号化したり、逆にメモリ１０９上に保持されたＪＰＥＧ画像データを復号したりする機能を有する。
メモリカードコントローラ１０６は、メモリ１０９上に保持された各種データのメモリカード１０７への記録や、逆にメモリカード１０７に記録されている各種データをメモリ１０９上に読み込む機能を有する。また制御部１０１で処理されるファイルシステムを通じて、各種ファイルの記録、読み込みを行うことができる。
フラッシュメモリ１０８は、制御部１０１で動作させるプログラムの格納および各種設定データの保存等に利用され、本デバイスに記録されたデータは、本装置の電源が切られた状態でも保持される。
メモリ１０９は、前述のように画像データ等のデータを保持する事が可能な大容量のメモリである。
バス１１０は、制御部１０１からのコマンドの各ブロックへの伝達や、メモリ１０９と各ブロック間のデータの伝達を行う機能を有する。
画像処理エンジン１１１は、制御部１０１からの設定、制御により、メモリ１０９上に保持された画像データに対し、各種画像処理を高速に行う機能を有する。例えば図２に示すように、現像処理部２０１、距離情報生成部２０２、領域分割処理部２０３、拡大縮小処理部２０４、トリミング処理部２０５、顔検出部２０６、領域決定処理部２０７、その他様々な処理部で構成されている。これらの処理部は、本実施例のように、それぞれの処理毎の専用のハードウェアで構成されても良いし、画像処理専用の画像処理プロセッサと、そのプロセッサ上で動作するソフトウェア、あるいは制御部１０１と、１０１上で動作するソフトウェアで構成されても良い。本実施例では、専用のハードウェアで構成されており、それぞれの処理部は同時に並列処理可能な構成となっている。
表示部１１２は、復号された画像データの表示デバイスとしての機能、また、撮影時のビューファインダーとしての機能も有する。また、ユーザが本装置を操作する場合の操作画面としての機能も兼ね備える。

＜画像拡大機能＞
続いて、本実施形態の画像処理装置の特徴である、撮像時における合焦位置付近の画像拡大機能について、その処理内容を図３のフローチャートを用いて説明する。図３の各ステップは図２に示した画像処理エンジン１１１により実行されるが、上述の通り制御部１０１により実行されてもよい。
撮像時にユーザ指示により画像（これを着目画像あるいは着目フレームと呼ぶ）の拡大が要求されると、ステップＳ３０１の撮影画像拡大処理が開始される。なお着目画像はまさに撮影中の画像であり、静止画像であっても動画像のフレームであってもよい。
ステップＳ３０２では、撮像素子１０３から取得された画像データ（ＲＡＷデータ）と距離情報とが、信号処理部１０４を経て、メモリ１０９に格納される。ここで取得した画像データを着目画像データとも呼ぶ。
ステップＳ３０３では、信号処理部１０４より、ステップＳ３０２で取得した画像データに対する合焦位置を取得する。合焦位置は、撮影位置からの距離が焦点距離と等しい被写体上の位置である。合焦位置は、たとえば画像を小領域に分割し、空間周波数が閾値を超える領域のうち、最も空間周波数が高い領域を合焦位置を含む領域として特定できる。また撮影時に特定されている合焦位置を本ステップで用いてもよい。あるいは、現在の焦点距離と等しい距離の画素あるいは領域を距離画像に基づいて特定し、そこを合焦位置と特定してもよい。
ステップＳ３０４では、メモリ１０９に格納された画像データ（ＲＡＷデータ）に対し、画像処理エンジン１１１の現像処理部２０１により、色変換処理やノイズリダクション処理等の現像処理を行う。本処理により、例えば図８（ａ）のような静止画像（写真）が生成される。
ステップＳ３０５は顔検知処理であり、メモリ１０９に格納された静止画像に対し、画像処理エンジン１１１の顔検出部２０６により、静止画像中の顔の検出が行なわれる。顔が検出された場合には、顔の数および、それぞれの検出された顔に対して、その画像位置（座標）、サイズ等の情報が、メモリ１０９に一時保持される。
ステップＳ３０４、Ｓ３０５の処理と並行して、ステップＳ３０６、Ｓ３０７の処理が実行される。ステップＳ３０６では、距離情報生成部２０２により画像データと同時に取得され、メモリ１０９に格納された距離情報から距離画像（図８（ｂ））を生成する。距離情報は、画素毎に０〜２５５の８ビットで表現されるデータであり、本例では、撮影位置と被写体との実際の距離からリニアに変換されるものではなく非線形に（例えば近距離ほど高精度に）変換された８ビットのデータである。ステップＳ３０６ではその距離情報を画素値として画像サイズ（すなわち着目フレームのサイズ）にならべた距離画像を生成する。図８（ｂ）の場合、距離が近いものほど白く、遠いものほど黒くなるように表現されている。
ステップＳ３０７では、ステップＳ３０６で生成された距離画像に対し、領域分割処理部２０３により合焦位置に対して図４を参照して後述する領域分割処理を行なう事で、着目フレームから合焦領域を分割する。

ステップＳ３０５の顔検知処理と、ステップＳ３０７の領域分割処理とが完了すると、顔検出の結果と領域分割の結果および距離画像に基づいて、ステップＳ３０８の拡大領域決定処理（詳細は図６を参照して後述）が領域決定処理部２０７により実行される。拡大領域とは拡大処理及び表示の対象となる矩形領域である。決定された矩形領域はステップＳ３０９で拡大縮小処理部２０４により表示部１１２に拡大表示する。こうすることで、撮影画像拡大処理が実行される。撮影画像拡大処理は、ユーザからの拡大表示指示が続く限り、撮影されたフレーム毎に実施される。また、動画像に対して図３の撮影画像拡大処理が実行されており、ステップＳ３０２からＳ３０９までの処理時間を単純に加算すると１フレーム時間を超えてしまうような場合には、実時間で拡大画像を表示することが困難である。そこでそのような場合には一連の処理を１フレーム時間内に処理可能な複数の処理に分割し（例えば、Ｓ３０２〜Ｓ３０７とＳ３０８〜Ｓ３０９の２分割）、それぞれをパイプライン処理する必要がある。そのような場合には、Ｓ３０２の処理からＳ３０９の表示処理までの遅延時間が大きくなってしまうため、画像処理エンジン１１１の処理能力は高ければ高いほど、表示遅延が少なくて良い。なおたとえば静止画像であれば１フレーム時間の制約は考慮しなくともよい。

＜領域分割処理の詳細＞
ここで、ステップＳ３０７における領域分割処理について図４および図５を用いて説明する。
領域分割処理ではまず、初期注目画素の設定を行なう。ステップＳ３０７の領域分割処理においては、ステップＳ３０３で取得した合焦位置に相当する画素を初期注目画素として設定する。図５（ａ）は合焦位置に相当する画素付近の距離画像を拡大した図であり、１と書かれた画素が、合焦位置に相当する画素＝注目画素である。注目画素を設定後、ステップＳ４０３で注目画素の画素値＝距離情報値を取得する。さらにステップＳ４０４では、注目画素と隣接する８画素の距離情報値を取得する。ステップＳ４０５では、注目画素の距離情報値と、それぞれの隣接画素の距離情報値との比較を行ない、情報値の差が所定の閾値α以内の場合には、その隣接画素を新たな注目画素として設定する。当然ながら、複数の注目画素が設定される場合がある。図５（ｂ）においては、２と記載された画素が、新たに設定された注目画素を示している。×と書かれた画素は、閾値αを超えるため、新たな注目画素には設定されなかった画素を示している。この閾値αは、撮像装置の撮影モードに応じて変化させても良い。例えばマクロ撮影モードなど被写界深度が浅くなるようなモードでは閾値αを小さく、被写界深度が深くなるようなモードでは閾値αを大きくする事が考えられる。
ステップＳ４０６において、新たに設定された注目画素の有無を判定する。注目画素が存在する場合には、ステップＳ４０３に戻り、処理を繰り返す。複数の注目画素が設定された場合には、それぞれの画素について、ステップＳ４０３からの処理を実行する。図５（ｃ）において、３と記載された画素は注目画素２に対して、新たに設定された注目画素である。最終的には、注目画素がなくなり、ステップＳ４０７に進み、領域分割処理が終了する。図５（ｄ）において、注目画素５に対する新たな注目画素は存在しない（６と記載されるべき画素がない）ため、この状態で領域分割処理は終了する。
初期注目画素も含め、処理中に注目画素に設定された画素（図５において、１〜５の番号が付与された画素）の集合が、１つの領域として分割される。図５（ｅ）において、斜め線がかけられた領域が、本領域分割処理によって分割された初期注目画素＝合焦画素（符号５０１）を含む領域となる。
以上のように初期注目画素の距離と同程度の距離を有する、初期注目画素に連結した画素群を特定し、それを初期注目画素に係る連結領域として特定する。この連結領域を特定するための情報が得られれば、画像データそのものを分割しなくともよい。

＜拡大領域決定処理＞
次に、先に述べたステップＳ３０８の拡大領域決定処理の詳細について、図６のフローチャートで説明する。
ステップＳ６０１で拡大領域決定処理が開始されると、ステップＳ６０２では、図３のフローチャート中、ステップＳ３０７で取得した合焦領域と、ステップＳ３０５で取得した顔検知情報から、合焦領域が顔領域かどうかを判定する。顔領域と判定された場合にはステップＳ６０５に進み、顔領域とは判定されなかった場合にはステップＳ６０３に進む。ステップＳ６０２では、たとえば顔領域に合焦領域が含まれていれば合焦領域は顔であると判定してよい。また例えば、顔領域と合焦領域とが重複しており、重複した部分が合焦領域に対して一定の割合を超えていれば合焦領域は顔であると判定してもよい。
ステップＳ６０３では、合焦領域を拡大領域と決定し、ステップＳ６０４のサブ領域判定処理に進む。ステップＳ６０３では、合焦領域を含む例えば矩形領域を拡大領域と決定する。そのために例えば、合焦領域と連結された画素群であって、合焦領域の色との色差が所定値以内の画素群を合焦位置を含む被写体であると特定し、その被写体を含む矩形領域を拡大領域とする。また例えば、合焦領域と連結された画素群であって、合焦領域の画素の距離との差が所定値以内の画素群を合焦位置を含む被写体であると特定し、その被写体を含む矩形領域を拡大領域とする。後者の場合には、たとえば、閾値αの値を適宜設定して図４の手順を実行することで被写体の領域を特定でき、それを含むように拡大領域を決定できる。この場合閾値αは、合焦位置の領域すなわち合焦領域を特定する場合よりも大きい値を用いるのが望ましい。
ステップＳ６０４のサブ領域判定処理は、合焦領域以外に合焦領域と同等の距離情報を持つ領域が静止画像中に存在しないかを判定し、存在する場合には、それらの領域をサブ領域と判定する処理である。具体的な処理内容を図７のフローチャートを用いて、以下に説明する。

ステップＳ７０１でサブ領域判定処理が開始されると、ステップＳ７０２で、合焦位置と同じ距離情報値を持つ画素Ａの探索を、距離画像に対して行なう。
画素Ａが存在した場合には、ステップＳ７０３に進み、注目画素として画素Ａを設定して、ステップＳ７０４の領域分割処理を行なう。領域分割処理は図４のフローチャートで示した処理である。
ステップＳ７０５では、領域分割処理によって抽出された領域に対し、その領域を構成する画素数が所定の画素数以上かどうかの判定を行なう。所定数以上であった場合には、ステップＳ７０６に進み、抽出された領域をサブ領域の１つとして領域の情報を保持する。所定数に満たなかった場合には、ステップＳ７０２に戻り、処理を繰り返す。ステップＳ７０２で、画素Ａが無くなるまで処理が繰り返され、サブ領域判定処理は終了する。サブ領域は、利用者の指定に応じて拡大表示される領域であり、本例では、合焦位置を含む領域の表示と切り替えつつ表示される。サブ領域が複数ある場合には、ステップＳ３０９においては、サブ領域の表示指定操作に応じて、順次、表示される領域が切り替えられる。サブ領域を矩形領域とするためには、ステップＳ７０６において登録前に、たとえばステップＳ６０３で説明した要領で色差や距離差に基づいて被写体の画素群を特定し、被写体を含む矩形領域をサブ領域とすればよい。

図６のフローチャートに戻り、拡大領域決定処理の続きについて説明する。
ステップＳ６０２において合焦領域が顔領域であると判定されてステップＳ６０５に進んだ場合には、合焦領域の近傍に、他の顔が存在するかどうかを判定する。たとえば互いの距離が一定値以内であれば近傍と判定できる。なお合焦領域である顔領域は近傍には含めない。合焦領域の近傍に他の顔領域がなかった場合には、ステップＳ６０６において、合焦領域の顔領域部分（あるいはその顔領域を含む矩形領域）を拡大領域と決定する。一方、近傍に他の顔領域が有りと判定された場合には、ステップＳ６０７に進み、近傍の全ての顔領域に対し、距離画像から距離情報値を取得し、ステップＳ６０７において、合焦領域と距離情報値が近い顔領域かどうかの判定を行なう。比較対象の顔領域の距離情報が合焦領域の距離情報に近くない場合には、ステップＳ６０６に進む。距離情報が近い場合には、距離情報の近い顔領域全てを含む矩形領域を特定して、その矩形領域を拡大領域として決定し、拡大領域決定処理を終了する。拡大領域の縦横比は、もとのフレームの縦横比と一致しているのが望ましい。なお、距離情報の比較は、たとえば各画素の距離情報により示される距離の平均値を領域ごとに求め、それぞれの領域の平均距離の差が所定値以内であれば、撮影位置からの距離が近い領域であると判定することができる。あるいは、比較対象の領域のすべての画素の距離情報に基づいて、最大の距離と最小の距離と持つ画素を特定し、それら画素が同一の領域に属するか、あるいはその差が所定値以内であれば撮影地点から同程度の距離にある被写体の領域であると判定することもできる。

＜拡大表示例＞
ここで、上述した撮影画像拡大処理を用いた画像拡大表示について、具体的な表示例を図８〜図１１に示す。
図８〜図１１の各（ａ）、（ｂ）は、メモリ１０９上に保持されている静止画像と、それに対応する距離画像を表している。ユーザからの拡大表示指示があるまでは、各図の（ａ）の画像が表示部１１２に、センサから画像データをキャプチャするごとに表示されている状態である。

図８の場合には、合焦位置８０１を含む合焦領域は車両が被写体として撮影された領域である。この状態でユーザから拡大表示指示があると、図６の拡大領域決定処理が実行され、合焦領域は顔領域ではないのでステップＳ６０２、Ｓ６０３、Ｓ６０４と処理され、ステップＳ６０４のサブ領域判定処理が実行される。サブ領域は１つもないと判定され、最終的には、合焦領域を含む矩形領域８０２が拡大領域として決定される。上記処理により、表示部１１２には、矩形領域８０２が拡大表示され、図８（ｃ）のような表示状態となる。

図９の場合には、合焦位置９０２を含む合焦領域は車両が被写体として撮影された領域である。この状態でユーザから拡大表示指示があると、図６の拡大領域決定処理が実行され、合焦領域は顔領域ではないのでステップＳ６０２、Ｓ６０３、Ｓ６０４と処理され、ステップＳ６０４のサブ領域判定処理が実行される。サブ領域判定処理では、領域９０３が、合焦領域に近い距離情報値を持つ画素群から成る領域と判定され、その結果、領域９０３を含む矩形領域９０４がサブ領域と判定される。最終的には、合焦領域を含む矩形領域９０２と、矩形領域９０４とが拡大領域として決定される。上記の処理により、表示部１１２には、矩形領域９０２が拡大され、図９（ｃ）のような表示状態となる。この時、サブ領域がある事を示すためにのマーク９０５を表示部１１２に表示する。ユーザ操作により、サブ領域の切り替えが指示された場合には、矩形領域９０４が拡大され、図９（ｄ）のような表示となる。図９（ｃ）と同様にサブ領域が存在する事を示すマーク９０６が画面上に表示され、ユーザ操作によりサブ領域の切り替えが指示された場合には、図９（ｃ）の表示に戻り、以降指示がある毎に図９（ｃ）（ｄ）の表示切り替えが行なわれる。

図１０の場合には、合焦位置１００１を含む合焦領域は顔領域に含まれる。この状態でユーザから拡大表示指示があると、図６の拡大領域決定処理が実行され、合焦領域は顔領域１００２に含まれるため、ステップＳ６０２からステップＳ６０５へと処理が進む。合焦領域には近傍の顔領域１００４が存在するため、ステップＳ６０７へと処理が進む。この時、近傍の顔領域１００４の距離情報値は、顔領域１００２の距離情報値とは近くないため、ステップＳ６０６へと処理が進む。最終的には、矩形領域１００３が拡大領域として決定される。上記処理により、表示部１１２には、矩形領域１００３が拡大表示され、図１０（ｃ）のような表示状態となる。

図１１の場合には、合焦位置１１０１を含む合焦領域は顔領域に含まれる。この状態でユーザから拡大表示指示があると、図６の拡大領域決定処理が実行され、合焦領域は顔領域１１０２に含まれるため、ステップＳ６０２からステップＳ６０５へと処理が進む。合焦領域には近傍の顔領域１１０３、１１０４が存在するため、ステップＳ６０７へと処理が進む。この時、近傍の顔領域１１０４の距離情報値は、顔領域１１０２の距離情報値とは近くなく、一方顔領域１００３は距離情報値が近いため、ステップＳ６０８へと処理が進む。最終的には、矩形領域１１０５が拡大領域として決定される。上記処理により、表示部１１２には、矩形領域１１０５が拡大表示され、図１１（ｃ）のような表示状態となる。こうして、合焦位置の被写体およびその被写体とほぼ等距離にある被写体とをそれぞれ含む矩形領域またはそれらを共に含む矩形領域を拡大表示の対象として決定し、拡大表示することができる。なおステップＳ６０７では、合焦領域と顔領域との画面に沿った距離が所定値以内であることを判定し、ステップＳ６０８では、合焦領域と顔領域との奥行き方向の距離が所定値以内であることを判定しているということもできる。すなわちこれらステップでは、合焦位置の被写体と顔領域の被写体とが３次元空間において所定範囲内にあることが判定できる。

以上説明した通り、本実施形態の画像処理装置では、距離画像に対する領域分割処理結果と、顔情報とを組み合わせて処理する事により、表示する画像に対して適応的な拡大領域の決定を行なう事ができ、拡大表示の利便性を向上させる事ができる。特に、画像中の合焦位置即ちピント位置を含む領域を適応的に拡大表示することで、合焦位置の確認と被写体の確認とを両立させることができる。また合焦位置と等距離にある被写体を拡大表示することで、画像中の複数の合焦位置を確認できる。

なおステップＳ６０２、Ｓ６０５にいては顔領域であることを判定しているが、同一種類の被写体である場合にＳ６０７に分岐するように構成してもよい。

［実施例２］
実施例１では画像撮影時の拡大表示方法について説明した。本実施例では、画像再生時の拡大表示方法について説明する。画像処理装置としては、実施例１と同様に図１のデジタルカメラの構成で説明するが、本実施例では必ずしも撮影機能は必要としない。

本実施例で扱う画像は、静止画像がＪＰＥＧファイルとして記録され、対応する距離画像データがＪＰＥＧファイルと関連付けられて、記録媒体（メモリカード１０７）に記録されているものとする。静止画像には、合焦位置情報や顔位置情報もメタデータとして付与され、ＪＰＥＧファイル中に記録されている。これらメタデータは例えば、撮影時にカメラによって特定され、メタデータとして静止画像に添付されている。

再生時の画像拡大処理について図１２のフローチャートを用いて説明する。
ステップＳ１２０１においてユーザ指示により再生画像拡大処理が開始されると、ステップＳ１２０２で、メモリカード１０７からＪＰＥＧファイルの読み込みが行なわれ、メモリ１０９に保持される。ステップＳ１２０３ではＪＧＥＧファイル中のメタデータから合焦位置、および顔位置情報を取得し、メモリ１０９に保持する。
続いてステップＳ１２０４で、ＪＰＥＧ符号／復号化部１０５によりメモリ１０９上のＪＰＥＧファイルの復号が行なわれ、再生静止画像がメモリ１０９上に展開される。この再生静止画像は、実施例１の図８〜図１１における（ａ）に相当する静止画像である。
次にステップＳ１２０５で、記録媒体から距離画像ファイルが読み込まれ、メモリ１０９に距離画像が展開される。この距離画像は、実施例１の図８〜１１における（ｂ）に相当する距離画像である。
ステップＳ１２０６で、メモリ１０９上の距離画像において、ステップＳ１２０３で取得した合焦位置に対して領域分割処理が実行される。領域分割処理の内容は、実施例１の図４のフローチャートと同じである。続いてステップ１２０７の拡大領域決定処理が実行される。拡大領域決定処理についても、実施例１の図６のフローチャートと同じで良い。拡大領域が決定すると、ステップＳ１２０８ではその領域を拡大して表示部１１２に表示する。

ここで、再生時には、ステップＳ１２０８において、たとえば選択されている複数枚の画像を並べて表示部１１２に表示する場合があり、その場合、個々の画像については縮小して表示される事になる。このような表示において、それぞれの個々の画像に対して、再生画像拡大処理を適用する事で、複数画像表示時にも、画像の内容が確認しやすくなるように表示しても良い。複数の画像に対して処理を行なう必要があるが、本発明では画像としては単純な距離情報画像に対する領域分割処理を利用するため、１つ１つの画像に対する処理が軽く、複数枚の画像への処理でも実行時間を短くする事ができる。

以上の手順により、予め記録されている画像データに対しても、実施例１と同様に、合焦位置の被写体およびその被写体とほぼ等距離にある被写体とを含む矩形領域を拡大表示の対象として決定し、拡大表示することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：制御部、１０２：レンズ、１０３：撮像素子、１０４：信号処理部、１０５：ＪＰＥＧ符号／復号化部、１０６：メモリカードコントローラ、１０７：メモリカード、１０８：フラッシュメモリ、１０９：メモリ、１１１：画像処理エンジン、１１２：表示部

本発明は上記従来例に鑑みて成されたもので、撮影する画像または撮影した画像を、合焦位置を含めて適応的に拡大表示することができる画像処理装置及び方法を提供することを目的とする。

Claims (11)

1. 撮影位置と被写体との距離を画素ごとに示す距離画像を含む画像データから、合焦位置を特定する手段と、
   前記距離画像に基づいて、前記合焦位置の被写体を含む領域を拡大領域として特定する特定手段と、
   前記拡大領域を拡大して表示する表示手段と
   を有することを特徴とする画像処理装置。
2. 前記特定手段は、前記距離画像に基づいて、前記合焦位置の被写体の距離との差が所定値以内であるような距離の被写体を含む領域も前記拡大領域としてさらに特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像データから顔領域を特定する手段を更に有し、
   前記特定手段は、前記合焦位置の被写体が顔ではない場合に、前記合焦位置の被写体の距離との差が所定値以内であるような距離の被写体を含む領域も前記拡大領域としてさらに特定することを特徴とする請求項２に記載の画像処理装置。
4. 前記特定手段は、前記画像データに基づいて、前記合焦位置の被写体と同じ種類の被写体が、３次元空間において前記合焦位置の被写体の所定範囲内にあるか判定し、所定範囲内にあると判定された場合には、前記合焦位置の被写体と同じ種類の前記被写体をさらに含む領域を前記拡大領域として特定することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記表示手段は、複数の拡大領域が特定された場合には、前記拡大領域を表示する画面に、表示を切り替えるためのマークを表示し、該マークに対する指示に応じて、前記複数の拡大領域を切り替えて表示することを特徴とする１乃至４のいずれか一項に記載の画像処理装置。
6. 前記画像データから顔領域を特定する手段を更に有し、
   前記特定手段は、前記合焦位置の被写体が顔の場合に、前記画像データに基づいて、他の顔が、３次元空間において前記合焦位置の顔の所定範囲内にあるか判定し、所定範囲内にあると判定された場合には、前記他の顔をさらに含む領域を前記拡大領域として特定することを特徴とする請求項４に記載の画像処理装置。
7. 前記特定手段は、前記合焦位置の被写体と、該合焦位置の被写体と同じ種類の被写体とが、画像の上で所定範囲内にあり、かつ、前記合焦位置の被写体と、該合焦位置の被写体と同じ種類の被写体との前記撮影位置からの距離の差が所定値以内の場合に、３次元空間において前記合焦位置の被写体の前記所定範囲内にあると判定することを特徴とする請求項４に記載の画像処理装置。
8. 被写体を撮影することで、撮影位置と被写体との距離を画素ごとに示す距離画像と対応した画像データを取得する手段を更に有することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 記録媒体から読み出すことで、撮影位置と被写体との距離を画素ごとに示す距離画像と対応した画像データを取得する手段を更に有することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
10. 請求項１乃至９のいずれか一項に記載の画像処理装置としてコンピュータを機能させるためのプログラム。
11. 撮影位置と被写体との距離を画素ごとに示す距離画像を含む画像データから、合焦位置を特定する工程と、
    前記距離画像に基づいて、前記合焦位置の被写体を含む領域を拡大領域として特定する特定工程と、
    前記拡大領域を拡大して表示する表示工程と
    を有することを特徴とする画像処理方法。

Images