JP2021136684A - 画像処理装置および画像処理装置の制御方法 - Google Patents

Abstract

【課題】 画像中の所望の位置に存在する被写体の高精度な実寸大画像を生成することができなかった。【解決手段】 撮像手段により撮影された画像および該画像の撮影時の撮影情報を取得する取得手段と、前記撮影情報及び前記撮像手段の画素寸法に基づいて、前記画像中の対象被写体の物側画素寸法を算出する算出手段と、を有し、前記取得手段は、前記撮影情報として画像中の被写体の合焦状態を示す合焦情報とを取得し、前記算出手段は、前記合焦情報に基づいて前記物側画素寸法を算出することを特徴とする。【選択図】 図１

Description

本発明は、画像撮影時の情報と画像の撮影に用いた撮像装置の情報から画像中の被写体の寸法に係る処理を行う画像処理装置及び画像処理方法に関する。

画像の撮影時の情報を利用して画像中の被写体を実寸大に表示する技術がある。

特許文献１には、表示装置の画面に実寸で表示する表示システムおよび方法が開示されている。画像を表示する表示画面の仕様情報、およびＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）形式で保存された画像から撮影時情報を取得し、実寸を算出して表示する方法が提案されている。

特開２０１０−７８６７７号公報

特許文献１に記載されている技術では、実寸の算出に当たりＥｘｉｆファイルに保存された情報を利用しているが、フォーカス状態を考慮した処理が行われていないので、画像のフォーカス状態によっては高精度な実寸大算出が困難という課題がある。また、画像中の単体の被写体の寸法を実寸表示するという形態で利用することしか開示がない。

上記の課題を鑑み、本発明は、上記の課題のうち少なくとも１つを解決する画像処理装置及び画像処理方法を提供することを目的とする。すなわち、画像中の所望の位置に存在する被写体の寸法がより高精度に再現できる出力画像を生成する画像処理装置及び画像処理方法を提供することを目的とする。また、被写体の寸法をさらに活用した画像処理装置及び画像処理方法を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、撮像手段により撮影された画像および該画像の撮影時の撮影情報を取得する取得手段と、前記撮影情報及び前記撮像手段の画素寸法に基づいて、前記画像中の対象被写体の物側画素寸法を算出する算出手段と、を有し、前記取得手段は、前記撮影情報として画像中の被写体の合焦状態を示す合焦情報とを取得し、前記算出手段は、前記合焦情報に基づいて前記物側画素寸法を算出することを特徴とすることを特徴とする。

また、本発明の画像処理方法は、撮像手段により撮影された画像および該画像の撮影時の撮影情報を取得する取得工程と、前記撮影情報及び前記撮像手段の画素寸法に基づいて、前記画像中の被写体の物側画素寸法を算出する算出工程と、を有し、前記取得工程では、前記撮影情報として画像中の被写体の合焦状態を示す合焦情報とを取得し、前記算出工程では、前記合焦情報に基づいて前記物側画素寸法を算出することを特徴とする。

本発明によれば、画像中の所望の位置に存在する被写体の寸法がより高精度に明らかな画像を生成することが可能となる。また、画像中の所望の位置に存在する被写体の寸法を活用して被写体間の寸法比較を可能とする。

第１実施形態に係る画像処理装置の機能構成を示すブロック図である。 第１実施形態にて実行される処理を説明するフローチャートである。 第２実施形態に係る画像処理装置の機能構成を示すブロック図である。 第２実施形態にて実行される処理を説明するフローチャートである。 第２実施形態にて実行される処理を説明する図である。 第３実施形態に係る撮像装置の機能構成を示すブロック図である。 第３実施形態に係る撮像素子を説明する図である。 撮像面位相差方式の測距原理を説明する図である。 第３実施形態にて実行される処理を説明するフローチャートである。 第３実施形態に係る表示装置および印刷装置の機能構成を示すブロック図である。 第４実施形態にて実行される処理を説明するフローチャートである。 第４実施形態にて実行される処理を説明する図である。 第５実施形態に係る撮像装置の機能構成を示すブロック図である。 第５実施形態にて実行される処理を説明するフローチャートである。 第５実施形態における報知方法を説明する図である。 第６実施形態にて実行される処理を説明するフローチャートである。 第６実施形態にて実行される処理に伴う表示画面を説明する図である。 第６実施形態にて実行される処理に伴う表示画面を説明する図である。 第６実施形態にて実行される処理に伴う表示画面にグリッド線を表示させる場合を説明する図である。

［第１実施形態］
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する一実施形態は、画像処理装置の一例としての、本発明の画像処理装置を組み込んだ画像処理装置の例を説明する。本画像処理装置は、デジタルカメラ等の撮像装置から取得した撮影画像を取得し、被写体の実寸大画像を表示装置および印刷装置といった出力機器に出力する。本発明は、撮影画像および該撮影画像に対応する撮影情報および出力機器情報に基づいて実寸大画像を算出可能な任意の機器に適用可能である。

《画像処理装置１００の構成》
図１を参照して、画像処理装置１００の構成について説明する。図１は、画像処理装置１００の機能構成を示すブロック図である。

入力部１０は、デジタルカメラ１といった撮像装置で撮像された画像情報（画像データ）および撮影情報（撮影条件、画像処理パラメータ等）を、デジタルカメラ１あるいは他の外部装置から取得するインターフェース（Ｉ／Ｆ）である。

画像処理部１２は、入力部１１、記憶部１３または通信部１４より取得する画像データに対して輝度、色変換処理や欠陥画素、シェーディング、ノイズ成分などの補正処理、フィルタ処理や画像合成処理など各種の画像処理、および画像処理のための各種演算を行う。また画像処理部１２は、変換情報算出部１２１および画像生成部１２２を含む。変換情報算出部１２１は、取得する画像データの画像の撮影情報から、例えば画像データを取得したデジタルカメラ１の撮像素子における画素の大きさ（画素寸法）が、所望の被写体距離における空間においてのどの程度の大きさになるかを換算する演算を実行する。画像生成部１２２は、換算情報算出部１２１で算出された被写体空間における画素寸法と、被写体を実寸大で表示または印刷する機器の機器情報（出力先情報）を用いて、出力画像を生成する。出力画像は、出力先の機器での最終的な出力（表示機器での表示、印刷機器からの印刷物）が実寸大となるように画像変換が実行された画像である。ここで画像処理部１２は、論理回路を用いて構成することができる。また、別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

記憶部１３は、入力部１１または通信部１４を介して入力される画像データ、パラメータ等の各種情報を記憶するメモリ等の記録媒体で構成される。また、記憶部１３は、画像生成部１２２で生成された、被写体が出力先の機器の出力で実寸大となるように画像変換された出力画像、変換情報算出部１２１で必要となるデジタルカメラ１の機器情報を格納する。

通信部１４は、外部装置とのデータの送受信を行う通信Ｉ／Ｆである。本実施形態では、通信部１４はデジタルカメラ１、ディスプレイ２あるいはプリンタ３と通信し、変換情報算出部１２１および画像生成部１２２に必要なデジタルカメラ１、ディスプレイ２あるいはプリンタ３の機器情報を取得する。

出力部１５は、出力先のディスプレイ２あるいはプリンタ３へ、画像処理部１２で生成した出力画像を含む実寸大情報を出力するＩ／Ｆである。

制御部１６は、コンピュータとしてのＣＰＵが内蔵されており、不揮発性メモリに記憶されたコンピュータプログラムに基づき、バスを介して画像処理装置１００全体の各部の制御を行う。

《出力画像生成処理》
本実施形態の画像処理装置１００において実行される、撮影した被写体の実寸大出力のために入力画像を画像処理して出力画像を生成する出力画像生成処理について、図２（ａ）のフローチャートを用いて具体的な処理を説明する。フローチャートに対応する処理は、制御部１６が例えば制御部１６内の不揮発性メモリに記憶されている対応する処理プログラムを読み出し、制御部１６内の揮発性メモリに展開して実行することで制御部１６または各部が動作することにより実現する。

Ｓ１２１で、画像処理部１２は、入力部１１を介して撮影時の情報が付属された撮影画像の画像データを、デジタルカメラ１から取得する。入力部１１はその他外部装置から同様の撮影時の情報が付与された画像データを取得してもよい。

Ｓ１２２で、変換情報算出部１２１は、撮影画像中の１画素の寸法を所望の被写体距離における空間に占める寸法に変換するための変換情報を算出する。変換情報算出処理を図２（ｂ）のフローチャートを用いて説明する。フローチャートに対応する処理は、制御部１６が例えば制御部１６内の不揮発性メモリに記憶されている対応する処理プログラムを読み出し、制御部１６内の揮発性メモリに展開して実行することで制御部１６または各部が動作することにより実現する。

Ｓ１２２１で、撮影画像が撮影された際の撮影情報に関して、撮影画像に付属する情報例えばＥｘｉｆ形式で保存されたタグのデータ（メタデータ）から取得する。ここで取得する撮影情報は、例えば取得した画像の撮影に用いたカメラ名（カメラＩＤ）、レンズ名（レンズＩＤ）、焦点距離、Ｆ値、被写体距離、といった情報である。一般にＥｉｘｆ形式に保存されている焦点距離、Ｆ値、被写体距離といった撮影情報は、整数値に丸め込まれた値であったり、離散的で分解能の低い値であったりする。例えば、レンズの焦点距離は小数点以下が丸め込まれて格納されており小数点以下の値を得ることはできない。また、インナーフォーカスレンズでは合焦距離により焦点距離が変動して異なるが、画像ファイルには合焦距離が異なっても同じ焦点距離が格納されている。このように、Ｅｘｉｆ形式のタグに保存されている情報は正確な値ではないため、取得した値を用いて倍率変換情報を演算した場合に最終的な実寸大画像の実際の被写体の大きさに対する誤差が大きくなる。このような誤差対策として、撮像装置において撮影時の合焦状態の情報をＥｘｉｆのメーカーノート領域等に記載し撮影情報として保存しておく。ここで合焦状態の情報とは、例えば合焦のために駆動させたモーターのステップや位置、ズームレンズを駆動させたモーターのステップや位置といった情報である。Ｓ１２２１では、上述した情報に加えてこの合焦状態の情報（合焦情報）も取得し、次のＳ１２２２で撮影情報の補正に利用する。

さらに、レンズによる収差は撮影画像に影響を与え、収差によって実寸大出力のための出力画像の生成時に正しく実寸大出力を得ることができない可能性がある。歪曲収差が残存した場合は像に歪みが生じ、歪みの影響により正しい実寸大出力を得ることができない。従って、歪曲収差の情報も撮影情報として取得するのが好適である。歪曲収差情報は、撮影時に撮影時のレンズの状態に応じた値をＥｘｉｆのメーカーノート領域に記録し、Ｓ１２２１で読み出すことで取得する。または、複数のカメラ、レンズの歪曲収差情報を予め補正用の情報として記憶部１３に格納しておき、撮影時のカメラ名およびレンズ名、焦点距離情報をもとに記憶部１３から読み出すことでも取得可能である。

他の収差情報として軸上色収差情報も高精度な実寸大出力のための出力画像を生成する上で必要となる。軸上色収差が大きい場合、被写体色により同じ距離にある被写体でもレンズの合焦状態が異なり、結果として異なる被写体距離が出力される。この被写体距離の誤差を補正するために軸上色収差情報が必要となる。軸上色収差情報は、歪曲収差情報と同様に撮影画像のＥｘｉｆのメーカーノート領域に記録して読み出してもよいし、予め記憶部１３に補正用情報として格納しておきカメラおよびレンズ情報をもとに対応する情報を読み出してよい。

Ｓ１２２２で、制御部１６は、取得した合焦状態情報を含む撮影情報を用いて、取得した撮影情報の補正を実行する。Ｓ１２２２では、取得したカメラ名およびレンズ名をもとに、予め記憶部１３に格納された対応する機種の撮影情報を補正するための補正情報を取得する。記憶部１３に保存されていない機種の補正情報は通信部１４を介して外部より取得してもよい。

ここでの補正情報の一つは、合焦状態に対応する焦点距離の変動量を取得するための、合焦状態とそれに対応する焦点距離の値のテーブル情報であり、該テーブル情報を用いて焦点距離を補正する。合焦状態を至近から無限遠までの間において、例えば１００の状態に分割して制御している場合は、合焦状態が異なる１００状態に対応した焦点距離情報を保存しておく。または、合焦状態とそれに対応する焦点距離の関係を関数として保存し、合焦状態を入力するとそれに応じた焦点距離を演算して取得するようにすることもできる。また、製造によって生じる焦点距離の設計値との差分を補正することも必要となる。製造誤差による焦点距離の分布情報を利用し、平均的な製造誤差分を低減することが可能となる。製造誤差の情報は、製造時に個体ごとに焦点距離を計測してその情報をカメラ本体またはレンズに付属した記憶媒体に格納し、撮影時に読み込んで撮影画像のメーカーノート領域に記録しておくことで、画像ファイルから取得できるようにしていてもよい。

他の補正情報としては、被写体距離を補正するための情報である。撮影画像に付属した撮影時の被写体距離は、一般に合焦した被写体からレンズの最前面までの距離、または合焦した被写体から撮像素子までの距離が保存されている。よってカメラごとの被写体距離の定義を補正情報の一つとして予め記憶部１３に格納しておき、取得したカメラ名をもとに取得した被写体距離の定義を決定する。更に取得した被写体距離を被写体から前側主点または前側焦点までの距離に変換するための情報を補正情報とする。これらの補正情報はレンズの設計情報およびレンズ鏡筒の設計情報をもとに生成することができる。前側主点（光学系の主点位置）または前側焦点位置は合焦状態によって変化するため、各合焦状態に対応した前側主点または前側焦点の基準位置（レンズ最前面または撮像素子面）からの差分位置情報を補正情報としてテーブルまたは関数として保存しておく。最終的に、取得した撮影時の被写体距離、撮影に利用したカメラの被写体距離の定義、定義に基づいた前側主点または前側焦点位置までの基準位置からの差分位置情報により焦点距離を補正する。

他の被写体距離を補正する情報として前述の軸上色収差情報がある。軸上色収差により同じ距離にある被写体でも色によって像側での合焦位置が異なり、結果として出力される被写体距離が異なる。この影響を補正するため、予めレンズ設計情報を用いて複数の可視光の波長（例えば、画像のカラーフィルタの中心波長）における軸上色収差量を算出して保持しておく。更に、合焦し被写体上の合焦領域の色情報（対応する画像領域の各カラー成分の輝度情報）を取得する。各カラー成分の混合比と、軸上色収差の値から基準となる像側の合焦位置からのずれを算出し、被写体距離の補正を行う。ここで基準となる像側の合焦位置は、被写体距離を算出する際に利用している基準被写体の色での合焦位置である。例えば、白黒のチャートを基準として用いた場合は、そのカラー成分の輝度情報と軸上色収差情報から基準となる像側合焦位置を算出することができる。

Ｓ１２２３で、補正した焦点距離および被写体距離をもとに、今度は撮影時の倍率を算出する。被写体から前側焦点までの距離を被写体距離ｘとし、焦点距離をｆとすると倍率ｍは下記式（１）で求められる。
ｍ＝ｘ／ｆ 式（１）

ここでの倍率は、撮像面の被写体を物体側の実寸へ変換するための拡大率として設定している。

被写体距離を被写体から前側主点までとした場合は（被写体距離をＳとする）、被写体距離Ｓと焦点距離ｘを用いて後側主点から像面までの距離Ｓ′を算出し、下記式（２）で倍率ｍを求めてもよい。
ｍ＝Ｓ′／Ｓ 式（２）

さらにＳ１２２３では、制御部１６は、撮影に用いた撮像素子の画素寸法ｐ（画素ピッチ、画素間の間隔）を取得する。画素寸法ｐと倍率ｍの積をとることで、被写体距離における撮像素子の１画素の大きさ（物側画素寸法。１画素に及ぶ被写体が実空間上でどれくらいの長さ、大きさになるか）を算出することができ、被写体の及ぶ画素数から被写体の実寸を得ることが可能となる。

ここでは、補正した焦点距離および被写体距離から倍率を求める場合を説明したが、予めレンズ設計情報より高精度な倍率情報を算出して保持しておくこともできる。その場合、合焦のために駆動させたモーターのステップや位置、ズームレンズを駆動させたモーターのステップや位置といった情報に対応したテーブルを保持し、これらの値から撮影状況に応じた倍率を算出する。前記倍率情報のテーブルは前記モーターがとりうる全ての値に対応して保持する必要はなく、離散的な値を保持しておき離散値間の値を補間で算出することもできる。また、倍率情報とモーターの値に対し関数フィッティングを行い、その係数を保持しておいてもよい。

図２（ａ）のフローチャートに戻って、制御部１６は、Ｓ１２１３で、画像生成部１２２は、画像の出力先の機器に合わせた実寸大出力のための出力画像の生成を行う。出力画像生成処理を図２（ｃ）のフローチャートを用いて説明する。

Ｓ１２３１で、出力画像の出力先の情報を取得する。例えば出力画像をプリンタ３で印刷物として出力する場合は、出力する用紙寸法の情報を取得する。例えば出力画像をディスプレイ２に表示する場合は、ディスプレイ２の表示画面寸法および表示画面解像度を取得する。ここで、表示画面解像度は表示画面上の表示画素数を表す。

Ｓ１２３２で、画像生成部１２２は取得した出力先情報と物側画素寸法を用いて、出力先に応じた出力画像を生成する。出力がプリンタ３などから出力される印刷物の場合は、用紙寸法を物側画素寸法で除算することで、用紙寸法に対する撮影画像の縦方向および横方向の画素数を算出することが可能となる。この画素数を出力画像の画素数とする。撮影画像の画素数が、算出した出力画像の画素数より多い場合は、撮影画像から必要となる出力画像の画素数の領域を選択して抽出することで出力画像を生成してもよい。一方、撮影画像の画素数が、算出した出力画像の画素数として設定されている画素数より少ない場合は、撮影画像に余白の画素を追加することで出力画像の画素数を一致させ、出力画像を生成する。画像中の領域を抽出する際は、合焦した被写体が収まるように選択するのが最適であり、更には可能な限り余白追加を生じないように選択するのが好適である。

一方、出力画像の出力先がディスプレイ２などの表示装置であった場合は、ディスプレイ２の表示画面寸法と撮像素子の物側画素寸法を用いて、印刷時と同様に表示に必要となる撮影画像における縦横の画素数を算出する。続いて、算出した画素数に応じて撮影画像から必要な領域を抽出する。この処理により、表示画面寸法と抽出した撮影画像の被写体距離における画像寸法が一致するようにする。次に、算出した画素数と表示画面解像度から変換倍率を算出し、抽出した撮影画像の画素数が表示画面解像度と一致するように抽出した撮影画像に対し拡大縮小処理を実施することでディスプレイ２での実寸大出力のための出力画像を生成する。

Ｓ１２４で、画像処理部１２は生成した出力画像を、出力部１５を介して出力先の機器へ出力し、出力画像生成処理を終了する。このとき、記憶部１３に生成した出力画像を、印刷用紙寸法や表示画面寸法および表示画面解像度といった出力先の機器情報と共に記憶部１３に記録しておいてもよい。

以上のように、本実施形態によれば、撮影画像に付属した撮影情報と撮影情報をより高精度化する補正情報を用いることで、画像中の所望の位置に存在する被写体の寸法がより高精度に再現できる出力画像を生成することが可能となる。

［第２実施形態］
第１実施形態では、撮影画像中の被写体を実寸大で出力するために画像を変換するための情報を高精度に算出し、出力機器情報を取得して実寸大出力のための出力画像を生成する態様について説明した。被写体を実寸大に出力するための情報を算出した場合、必ずしも実寸大で出力するための出力画像を生成せずとも、他物体との比較により被写体の実際の大きさを認識するように出力することが可能である。そこで本実施形態では、複数の撮影画像を入力とし、それぞれの実寸大換算情報を算出することで実寸を考慮した相対的な寸法比較が可能な画像を出力する画像処理装置に関して説明する。以下、第１実施形態との相違点を説明し、第１実施形態と同様の事項については既に使用済みの符号や記号を用いることで、それらの詳細な説明を省略する。このような説明の省略方法は、後述の実施形態でも同様である。

図３を参照して、本実施形態における画像処理装置１００の構成について説明する。本実施形態では、画像処理部２２が相対画像生成部２２２を有することを特徴とする。画像処理部２２以外の構成は第１実施形態と同様である。また、第１の実施形態の有する出力画像生成部１２２に加えて相対画像生成部２２２を備え、第１の実施形態の態様も実施可能なように構成されていてもよい。

《相対比較画像生成処理》
本実施形態の画像処理装置１００において実行される、相対画像を生成する相対画像生成処理について、図４（ａ）のフローチャートを用いて具体的な処理を説明する。フローチャートに対応する処理は、制御部１６が例えば制御部１６内の不揮発性メモリに記憶されている対応する処理プログラムを読み出し、制御部１６内の揮発性メモリに展開して実行することで制御部１６または各部が動作することにより実現する。

Ｓ２２１で、画像処理部２２は、入力部１１を介して撮影時の情報が付属された複数の撮影画像を、撮像装置１や外部記憶装置から取得する。

Ｓ２２２で、変換情報算出部１２１は、第１実施形態と同様に撮影画像中の１画素の寸法が所望の被写体距離における空間でどの程度の寸法になるかを算出するための変換情報を、各々の撮影画像に対して算出する。

Ｓ２２３で、相対画像生成部２２２は、撮影画像中の複数の被写体に対し、実寸を考慮して相対的に比較可能な相対画像の生成を行う。相対画像生成処理を図４（ｂ）のフローチャートおよび図５を用いて説明する。

Ｓ２２３１で、制御部１６は、入力された複数の撮影画像の被写体距離における画素寸法（物側画素寸法）が等しくなるように各画像の変換を行う。まず、図５（ａ）〜（ｃ）に示すような入力された複数の撮影画像から基準となる撮影画像（基準画像）を選択する。基準画像は、任意の画像を選択して構わないが、ユーザーが画像入力時に選定するようにしてもよい。また、最終的な出力である相対画像が高解像度となるようにする場合は、Ｓ２２２で算出した物側画素寸法が最も小さい撮影画像を選択する。反対に、低解像度な画像が必要な場合は、算出した物側画素寸法が最も大きい撮影画像を選択する。基準画像を決定した後、基準画像の物側画素寸法Ｌｓとその他の撮影画像（比較画像）での物側画素寸法Ｌｒから、比較画像の画素寸法が基準画像の画素寸法と同じ寸法になるための比較画像の拡大縮小比率Ｒｉを以下の式（３）で算出する。
Ｒｉ＝Ｌｒ／Ｌｓ 式（３）

それぞれの比較画像に対して拡大縮小比率Ｒｉを算出し、拡大縮小比率Ｒｉに応じて各比較画像に対し拡大縮小処理を実行する。これにより図５（ｄ）〜（ｆ）に示すように、拡大縮小された全ての入力撮影画像（処理後の画像を拡縮撮影画像とよぶものとする）の物側画素寸法が基準画像の物側画素寸法と同じ寸法となる。

Ｓ２２３２で、制御部１６は、それぞれの拡縮撮影画像中の被写体を認識し、特定被写体の被写体領域の抽出を実行する。被写体認識と領域特定の一例として、図５のような人物画像における人物認識について説明する。人物認識は機械学習を利用し、学習結果を利用して人物検出および領域特定を行う。図５（ｄ）のように一つの拡縮撮影画像中に複数の人物が検出された場合は、顔認識技術を利用し他の拡縮撮影画像中に写っている同一人物を特定し、特定した人物の領域抽出を実行する。この処理により同一人物の経時的な寸法変化を比較することが可能となる。また、本実施形態に限らず、予めＳ２２１にて複数の入力画像を取得するときに、所望の被写体が認識された画像（さらに被写体の領域を抽出した画像など）を取得するようにしてもよい。

領域抽出は、被写体の外縁に沿って抽出を実行するのが好適であるが、用途によっては撮影時の背景情報も同時に抽出することが望まれる。背景情報も同時に抽出する場合は、選択された被写体に略外接するような矩形領域や楕円領域を抽出するのが好適である。

また、本実施形態では被写体として人物の場合を例に説明したが、任意の被写体について実行可能であり、異なる被写体間の寸法の相対比較を行うこともできる。また、拡縮撮影画像中の被写体の選択および抽出は、必ずしも自動である必要はなく、ユーザーが選択・抽出可能としてもよい。

ここでＳ２２３１とＳ２２３２の処理は、順序を入れ変えて実行することも可能である。

Ｓ２２３３で、各々の拡縮撮影画像から抽出した被写体を一つの画像に合成して図５（ｇ）に示すような相対画像を生成する。相対的に最も大きい被写体の全体像が合成画像内に収まるように大きさを調整し、最も大きい被写体を基準として他の被写体を正しい相対寸法で合成するのが好適である。また、基準となる被写体を設定し、基準被写体の全体像が合成画像中に収まるように大きさを調整し、他の被写体も相対寸法が正しくなるように合成してもよい。各被写体の画像中の配置は、左右方向や上下方向に寸法順に配置するか、撮影日時順に配置するのが好適である。なお、撮影日時の情報は、Ｓ１２２１で撮影情報を取得する際に取得しておくことで利用可能となる。

ここでは、複数の被写体を選択して領域抽出を実行し、基準画像をもとに相対的な大きさを合わせて配置する場合に関して説明したが、背景となる画像を選択しその画像を基準画像として設定することも可能である。背景となる画像の実寸に合わせ、選択した被写体を相対的な大きさが一致するように拡大縮小して配置することで、背景と被写体の大きさの違いを比較することが可能となる。

また、必ずしも自動で被写体を配置する必要はなく、Ｓ２２３２と同様にユーザーが配置を行ってもよい。さらに、相対比較が可能な合成画像をユーザーと対話的に生成する際、ユーザーが被写体を選択する度に随時最大被写体を検出して最大被写体が画像からはみ出さないように拡縮処理を行いながら合成画像を生成、表示するのが好適である。

背景画像が画面内の位置により異なる物側画素寸法または距離情報を有する場合は、ユーザーが被写体を配置した背景画像上の位置により該被写体の相対的な大きさを変更してもよい。例えば、奥行きのある背景画像であった場合、距離に応じて手前に被写体を配置した場合は相対的に大きくなり、遠方に被写体を配置した場合は相対的に小さくなるように表示される。

Ｓ２２４で、画像処理部２２は、生成された相対画像を、出力部１５を介して出力先機器に出力して相対画像生成処理を終了する。または、生成された相対画像を記憶部１３に保存して相対画像生成処理を終了する。

本実施形態によれば、複数の撮影画像から実寸への変換情報を算出し、変換情報をもとに複数の撮影画像中の被写体を拡大縮小して並べた画像を生成することで、実寸を考慮した相対的な寸法比較が可能な画像を生成することができる。

［第３実施形態］
第２の実施形態まででは、変換情報算出処理と実寸大出力のための出力画像生成処理または相対画像生成処理が同一の画像処理装置で実行される態様について説明した。変換情報算出処理は、撮像装置の一部として組み込んで実行することが可能であり、実寸画像生成処理および相対画像生成処理は、印刷装置や表示装置といった出力機器に組み込んで実行することが可能である。そこで本実施形態では、変換情報算出処理と、実寸画像生成処理および相対画像生成処理を分離して、撮像装置および出力装置に組み込んだ画像処理装置に関して説明する。

＜撮像装置＞
図６を参照して、デジタルカメラ３００の構成について説明する。図６に示す通り、本実施形態では変換情報算出処理部が画像処理部３３に組み込まれている。

撮像光学系３０は、デジタルカメラ３００が有するレンズユニット、またはカメラ本体部に装着可能なレンズ装置により構成され、被写体の光学像を撮像素子３１上に形成する。撮像光学系３０は、光軸３０ａ方向に並んだ複数のレンズで構成され、撮像素子３１から所定距離離れた位置に射出瞳３０ｂを有する。なお、本明細書において、光軸３０ａと平行な方向をｚ方向（深度方向）と定義する。つまり、深度方向はデジタルカメラ３００の位置を基準とすると実空間で被写体が存在する方向である。また、光軸３０ａと直交し、かつ撮像素子３１の水平方向に対して平行な方向をｘ方向と定義し、光軸３０ａと直交し、かつ撮像素子３１の垂直方向に対して平行な方向をｙ方向と定義する。

撮像素子３１は、例えばＣＣＤ（電荷結合素子）型イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサである。撮像素子３１は、撮像光学系３０を介して撮像面に形成された被写体像に対する光電変換を行い、被写体像に係る画像信号を出力する。本実施形態の撮像素子３１は、後述するように撮像面位相差方式の測距が可能な信号を出力する機能を有しており、撮像画像に加えて、撮像装置から被写体までの距離（被写体距離）を示す距離情報を生成するための視差信号を出力する。

制御部３２は、ＣＰＵ（中央演算処理装置）やマイクロプロセッサ等を備え、デジタルカメラ１００が備える各構成要素の動作を制御する。例えば、制御部３２は撮像時のオートフォーカス（ＡＦ：自動焦点調節）、フォーカス（合焦）位置の変更、Ｆ値（絞り値）の変更、画像の取り込み等を行う。また制御部３２は画像処理部３３、記憶部３４、入力部３５、表示部３６、通信部３７の制御を行う。

画像処理部３３は、デジタルカメラ１００が有する各種の画像処理を実行する。画像処理部３３は、画像生成部３３０、深度生成部３３１、変換情報算出部３３２を有する。画像処理部３３は、画像処理の作業領域として用いられるメモリを有する。画像処理部３３については、論理回路を用いる構成の他、ＣＰＵおよび演算処理プログラムを格納するメモリから構成することができる。

画像生成部３３０は、撮像素子３１から出力された画像信号のノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う。画像生成部３３０から出力される画像データ（撮影画像）はメモリまたは記憶部３４に蓄積され、制御部３２によって表示部３６での画像表示や通信部３７を介した外部装置への出力に用いられる。

深度画像生成部３３１は、後述する撮像素子３１から得られる測距用画像信号に係り得られた信号を基づいて、深度情報の分布を表す深度画像（深度分布情報）を生成する。ここで、深度画像は、各画素に格納される値が、該画素に対応する撮影画像の領域に存在する被写体の被写体距離である２次元の情報である。また、
変換情報算出部３３２は、撮影時の制御情報、撮像素子３１の情報、および撮像光学系３０設計情報から生成された補正情報を用いて、撮影画像中の１画素の寸法が所望の被写体距離における空間でどの程度の寸法になるかを算出するための変換情報を算出する。

記憶部３４は、撮影された画像データ、変換情報算出部３３２で必要となる補正情報、各ブロックの動作の過程で生成された中間データ、画像処理部３３やデジタルカメラ３００の動作において参照されるパラメータ等が記録される不揮発性の記録媒体である。

記憶部３４は、処理の実現にあたり許容される処理性能が担保されるものであれば、高速に読み書きでき、かつ、大容量の記録媒体であればどのようなものであってもよく、例えば、フラッシュメモリなどが好ましい。

入力部３５は、例えば、ダイヤル、ボタン、スイッチ、タッチパネル等の、デジタルカメラ３００に対してなされた情報入力や設定変更の操作入力を検出するユーザインターフェイスである。入力部３５は、なされた操作入力を検出すると、対応する制御信号を制御部３２に出力する。

表示部３６は、例えば、液晶ディスプレイや有機ＥＬ等の表示装置である。表示部３６は、制御部３２の制御によって撮影画像をスルー表示することによる撮影時の構図確認や、各種設定画面やメッセージ情報の報知することに用いられる。また、入力部３５としてのタッチパネルを表示部２６の表示面と一体に備えることで、表示機能と入力機能を併せ持つことができる。

通信部３７は、デジタルカメラ３００が備える、外部との情報送受信を実現する通信インタフェースである。通信部３７は、得られた撮影画像や深度情報、寸法、座標情報、寸法計測精度等を、他の装置に送出可能に構成されていてよい。

《撮像素子の構成》
次に、上述した撮像素子３１の構成例について、図７を参照して説明する。

撮像素子３１は、図７（ａ）に示されるように、異なるカラーフィルタが適用された２行×２列の画素群３１０が複数連結して配列されることで構成されている。拡大図示されるように、画素群３１０は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配置されており、各画素（光電変換素子）からは、Ｒ、Ｇ、Ｂのいずれかの色情報を示した画像信号が出力される。なお、本実施形態では一例として、カラーフィルタが、図示されるような分布になっているものとして説明するが、本発明の実施がこれに限られるものではないことは容易に理解されよう。

本実施形態の撮像素子３１は、撮像面位相差測距方式の測距機能を実現すべく、１つの画素（光電変換素子）は、撮像素子３１の水平方向に係る、図７（ａ）のＩ−Ｉ’断面において、複数の光電変換部が並んで構成される。より詳しくは、図７（ｂ）に示されるように、各画素は、マイクロレンズ３１１及びカラーフィルタ３１２を含む導光層３１３と、第１の光電変換部３１５及び第２の光電変換部３１６を含む受光層３１４と、で構成されている。

導光層３１３において、マイクロレンズ３１１は、画素へ入射した光束を第１の光電変換部３１５及び第２の光電変換部３１６に効率よく導くよう構成されている。またカラーフィルタ３１２は、所定の波長帯域の光を通過させるものであり、上述したＲ、Ｇ、Ｂのいずれかの波長帯の光のみを通過させ、後段の第１の光電変換部３１５及び第２の光電変換部３１６に導く。

受光層３１４には、受光した光をアナログ画像信号に変換する２つの光電変換部（第１の光電変換部３１５と第２の光電変換部３１６）が設けられており、これら２つの光電変換部から出力された２種類の信号が測距に用いられる。即ち、撮像素子３１の各画素は、同様に水平方向に並んだ２つの光電変換部を有しており、全画素のうちの第１の光電変換部３１５から出力された信号で構成された画像信号と、第２の光電変換部３１６から出力された信号で構成される画像信号が用いられる。換言すれば、第１の光電変換部３１５と第２の光電変換部３１６とは、画素に対してマイクロレンズ３１１を介して入光する光束を、それぞれ部分的に受光する。故に、最終的に得られる２種類の画像信号は、撮像光学系３０の射出瞳の異なる領域を通過した光束に係る瞳分割画像群となる。ここで、各画素で第１の光電変換部３１５と第２の光電変換部３１６とが光電変換した画像信号を合成したものは、画素に１つの光電変換部のみが設けられている態様において該１つの光電変換部から出力される画像信号（鑑賞用）と等価である。

このような構造を有することで、本実施形態の撮像素子３１は、鑑賞用画像信号と測距用画像信号（２種類の瞳分割画像）とを出力することが可能となっている。なお、本実施形態では、撮像素子３１の全ての画素が２つの光電変換部を備え、高密度な深度情報を出力可能に構成されているものであるとして説明するが、本発明の実施はこれに限らず、一部の画素のみ複数の光電変換部を備える構成であってもよい。また、画素に１つの光電変換部のみが設けられている態様で、射出瞳の異なる領域を通過した光束を受光する光電変換部が、撮像素子３１の一部に、かつ異なる画素にそれぞれ配されている構成であってもよい。

〈撮像面位相差測距方式の測距原理〉
ここで、本実施形態のデジタルカメラ３００で行われる、第１の光電変換部３１５及び第２の光電変換部３１６から出力された瞳分割画像群に基づいて、被写体距離を算出する原理について、図８を参照して説明する。

図８（ａ）は、撮像光学系３０の射出瞳３０ｂと、撮像素子３１中の画素の第１の光電変換部３１５に受光する光束を示した概略図である。図８（ｂ）は同様に第２の光電変換部３１６に受光する光束を示した概略図である。

図８（ａ）及び（ｂ）に示したマイクロレンズ３１１は、射出瞳３０ｂと受光層３１４とが光学的に共役関係になるように配置されている。撮像光学系３０の射出瞳３０ｂを通過した光束は、マイクロレンズ３１１により集光されて第１の光電変換部３１５または第２の光電変換部３１６に導かれる。この際、第１の光電変換部３１５と第２の光電変換部３１６にはそれぞれ図８（ａ）及び（ｂ）に示される通り、異なる瞳領域を通過した光束を主に受光する。第１の光電変換部３１５には第１の瞳領域３３０を通過した光束、第２の光電変換部３１６には第２の瞳領域３３０を通過した光束となる。

撮像素子３１が備える複数の第１の光電変換部３１５は、第１の瞳領域３２０を通過した光束を主に受光し、第１の画像信号を出力する。また、同時に撮像素子３１が備える複数の第２の光電変換部３１６は、第２の瞳領域３３０を通過した光束を主に受光し、第２の画像信号を出力する。第１の画像信号から第１の瞳領域３２０を通過した光束が撮像素子３１上に形成する像の強度分布を得ることができる。また、第２の画像信号から第２の瞳領域３３０を通過した光束が、撮像素子３１上に形成する像の強度分布を得ることができる。

第１の画像信号と第２の画像信号間の相対的な位置ズレ量（所謂、視差量）は、デフォーカス量に応じた値となる。視差量とデフォーカス量との関係について、図８（ｃ）、（ｄ）、（ｅ）を用いて説明する。図８（ｃ）、（ｄ）、（ｅ）は本実施形態の撮像素子３１、撮像光学系３０について説明した概略図である。図中の符号３２１は、第１の瞳領域３２０を通過する第１の光束を示し、符号３３１は第２の瞳領域３３０を通過する第２の光束を示す。

図８（ｃ）は合焦時の状態を示しており、第１の光束３２１と第２の光束３３１が撮像素子３１上で収束している。このとき、第１の光束３２１により形成される第１の画像信号と第２の光束３３１により形成される第２の画像信号間との視差量は０となる。図８（ｄ）は像側でｚ軸の負方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の信号により形成される第２の画像信号との視差量は０とはならず、負の値を有する。図８（ｅ）は、像側でｚ軸の正方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号との視差量は正の値を有する。図８（ｄ）と図８（ｅ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、撮像光学系の結像関係（幾何関係）に従って位置ズレが生じることが分かる。第１の画像信号と第２の画像信号との位置ズレである視差量は、後述する領域ベースのマッチング手法により検出することができる。

《画像生成および変換情報算出処理》
このような構成をもつ本実施形態のデジタルカメラ３００において実行される、撮影した被写体の画像生成および変換情報算出処理について、図９（ａ）のフローチャートを用いて具体的な処理を説明する。

Ｓ３３１で、制御部３２は、設定された焦点位置、絞り、露光時間等の撮影設定にて撮影を行うよう処理する。より詳しくは、制御部３２は、撮像素子３１に撮影を行わせ、得られた撮影画像を画像処理部３３に伝送させ、メモリに格納させるよう制御する。ここで、撮影画像は、撮像素子３１が有する第１の光電変換部３１５から出力された信号で構成された画像信号Ｓ１と、第２の光電変換部３１６から出力された信号で構成された画像信号Ｓ２の２種類であるものとする。また、第１の光電変換部３１５および第２の光電変換部３１６から出力された信号を例えばフローティングデフュージョンで混合（加算）した信号と、両光電変換部のいずれかから出力された信号（Ｓ１かＳ２）との２種類を撮像素子３１から出力してもよい。

Ｓ３３２で、画像処理部３３は、得られた撮影画像から鑑賞用画像を生成する。より詳しくは、画像処理部３３のうちの画像生成部３３０は、まず画像信号Ｓ１と画像信号Ｓ２の各画素の画素値を加算することで、１つのベイヤー配列画像を生成する。画像生成部３３０は、該ベイヤー配列画像について、Ｒ、Ｇ、Ｂ各色の画像のデモザイキング処理を行い、鑑賞用画像を生成する。なお、デモザイキング処理は、撮像素子上に配置されたカラーフィルタに応じて行われるものであり、デモザイキング方法についていずれの方式が用いられるものであってもよい。このほか、画像生成部３３０は、ノイズ除去、輝度信号変換、収差補正、ホワイトバランス調整、色補正等の処理を行い、最終的な鑑賞用画像を生成してメモリに格納する。

Ｓ３３３で、画像処理部３３は、得られた撮影画像から深度画像（深度分布情報）を生成する。深度画像については、深度生成部３３１が生成に係る処理を行う。ここで、深度画像生成に係る処理について、図９（ｂ）のフローチャートを用いて説明する。

Ｓ３３３１で、深度生成部３３１は、画像信号Ｓ１及び画像信号Ｓ２について、光量補正処理を行う。撮像光学系３０の周辺画角ではヴィネッティングにより、第１の瞳領域３２０と第２の瞳領域３３０の形状が異なることに起因し、画像信号Ｓ１と画像信号Ｓ２の間では、光量バランスが崩れている。従って、本ステップにおいて、深度生成部３３１は、例えばメモリに予め格納されている光量補正値を用いて、画像信号Ｓ１と画像信号Ｓ２の光量補正を行う。

Ｓ３３３２で、深度生成部３３１は、撮像素子３１における変換時に生じたノイズを低減する処理を行う。具体的には深度生成部３３１は、画像信号Ｓ１と画像信号Ｓ２に対して、フィルタ処理を適用することで、ノイズ低減を実現する。一般に、空間周波数が高い高周波領域ほどＳＮ比が低くなり、相対的にノイズ成分が多くなる。従って、深度生成部３３１は、空間周波数が高いほど、通過率が低減するローパスフィルタを適用する処理を行う。なお、Ｓ３３３１における光量補正は、撮像光学系３０の製造誤差等によっては好適な結果とはならないため、深度生成部３３１は、直流成分を遮断し、かつ、高周波成分の通過率が低いバンドパスフィルタを適用することが好ましい。

Ｓ３３３３で、深度生成部３３１は、画像信号Ｓ１と画像信号Ｓ２（両信号併せて位相差信号）に基づいて、これらの画像間の視差量を算出する。具体的には、深度生成部３３１は、画像信号Ｓ１内に、代表画素情報に対応した注目点と、該注目点を中心とする照合領域とを設定する。照合領域は、例えば、注目点を中心とした一辺が所定長さを有する正方領域等の矩形領域であってよい。次に深度生成部３３１は、画像信号Ｓ２内に参照点を設定し、該参照点を中心とする参照領域を設定する。参照領域は、上述した照合領域と同一の大きさおよび形状を有する。深度生成部３３１は、参照点を順次移動させながら、画像信号Ｓ１の照合領域内に含まれる画像と、画像信号Ｓ２の参照領域内に含まれる画像との相関度を算出し、最も相関度が高い参照点を、画像信号Ｓ２における、注目点に対応する対応点として特定する。このようにして特定された対応点と注目点との相対的な位置ズレ量が、注目点における視差量となる。

深度生成部３３１は、このように注目点を代表画素情報に従って順次変更しながら視差量を算出することで、該代表画素情報によって定められた複数の画素位置における視差量を算出する。本実施形態では簡単のため、鑑賞用画像と同一の解像度で深度情報を得るべく、視差量を計算する画素位置（代表画素情報に含まれる画素群）は、鑑賞用画像と同数になるよう設定されているものとする。なお、相関度の算出方法として、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の方法を用いてよい。

また、算出された視差量は、所定の変換係数を用いることで、撮像素子３１から撮像光学系３０の焦点までの距離であるデフォーカス量に変換することができる。ここで、所定の変換係数Ｋ、デフォーカス量をΔＬとすると、視差量ｄは、
ΔＬ＝Ｋ×ｄ 式（４）
によって、デフォーカス量に変換できる。ここで、変換係数Ｋは絞り値、射出瞳距離、及び撮像素子３１における像高等を含む情報に基づいて領域毎に設定されるものとする。

深度生成部３３１は、このように算出したデフォーカス量を画素値とする２次元情報を構成し、深度画像としてメモリに格納する。また、深度生成部３３１は算出した視差の状態で視差量の分布を深度画像としてメモリに格納してもよい。この場合、後ほど深度画像を寸法算出に用いる場合にデフォーカス量に変換するなど行えばよい。すなわち、深度分布情報は、被写体までの前記画像に対応する位相差信号の示す視差量の分布情報、画像内の被写体のデフォーカス量の分布情報、画像内の被写体までの被写体距離の分布情報のいずれか１つであればよい。

ステップＳ３３４で変換情報算出部３３２は、撮影画像中の１画素の寸法を所望の被写体距離における空間に占める寸法に変換するための変換情報を算出する処理を行う。ここで、計測被写体表示に係る処理について、図９（ｃ）のフローチャートを用いて説明する。

Ｓ３３４１で、制御部３２から、レンズ名、焦点距離、被写体距離、合焦状態の情報、といった情報を取得する。合焦状態の情報は、例えば合焦のためにフォーカシングレンズを駆動させたモーターのパルス数といった情報である。さらに、レンズ名に対応する歪曲収差情報および軸上色収差情報を記憶部３４から取得する。撮像光学系３０が別途記憶部を付属し、該記憶部に収差情報が格納されている場合は、制御部３２を介して撮像光学系３２の記憶部から取得してもよい。

Ｓ３３４２で、取得した撮影情報、合焦状態情報および各種収差情報を用いて、第１実施形態に記載したように焦点距離、被写体距離の補正を実行する。

Ｓ３３４３で、補正した焦点距離および深度画像生成処理で算出したデフォーカス量をもとにデフォーカス量ΔＬを幾何光学におけるレンズの公式、
１／Ａ＋１／Ｂ＝１／Ｆ 式（５）
を用いることで、被写体距離に変換することができる。ここで、Ａは物面から撮像光学系３０の主点までの距離（被写体距離）、Ｂは撮像光学系３０の主点から像面までの距離、Ｆは撮像光学系３０の焦点距離を指すものとする。即ち、該レンズの公式において、Ｂの値がデフォーカス量ΔＬから算出することができるため、撮影時の焦点距離の設定に基づき、被写体から物面までの距離Ａを算出することができる。

更に、撮影画像の各画素位置における距離Ａと距離Ｂから、各画素における撮影時の倍率ｍを算出することができる。

Ｓ３３４３では、撮影に用いた撮像素子の画素寸法ｐと任意の画素位置での倍率ｍの積をとることで、任意の画素位置における物側画素寸法を算出することができ、実寸を得ることが可能となる。全ての画素位置で倍率を算出することで、全ての画素位置での物側画素寸法（物側画素寸法画像）を得ることが可能となる。該物側画素寸法画像を変換情報として撮影画像と共に記憶部３４に保存して処理を終了する。物側画素寸法画像の代わりに全ての画素位置での倍率情報（倍率情報画像）を変換情報として撮影画像と共に記憶部３４に保存することもできる。

ここで、デジタルカメラ３００を用いた場合、変換情報は複数の領域において算出することが可能であり、前述のように全画素に渡り変換情報を算出し、画素値として格納した変換情報画像を得ることが可能である。しかしながら、撮影画像の容量を抑えたい場合は必ずしも変換情報画像を保存する必要はなく、縮小や間引きにより撮影画像より画素数の少ない変換情報画像としてもよい。また、１点または複数の合焦領域における変換情報のみを保存することもできる。更には、顔検出などの物体検出を実行し、検出した物体領域における変換情報の代表値（例えば平均値）を保存することも可能である。

なお、本実施形態では、撮像素子３１が撮像面位相差測距方式の光電変換素子を有し、鑑賞用画像と深度画像とを取得できるものとして説明したが、本発明の実施において、距離情報の取得はこれに限られるものではない。距離情報は、例えば両眼の撮像装置や複数の異なる撮像装置から得られた複数枚の撮影画像に基づいて、ステレオ測距方式で取得するものであってもよい。あるいは、例えば光照射部と撮像装置を用いたステレオ測距方式や、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式と撮像装置の組み合わせによる方式等を用いて取得するものであってもよい。

＜出力装置＞
続いて、出力画像生成処理および相対画像生成処理を、印刷装置や表示装置といった出力機器に組み込んだ構成に関して、図１０を参照して説明する。図１０（ａ）は、出力画像生成処理および相対画像生成処理を組み込んだ表示装置３０１の機能構成を示すブロック図である。また、図１０（ｂ）は、出力画像生成処理および相対画像生成処理を組み込んだ印刷装置３０２の機能構成を示すブロック図である。

表示装置３０１または印刷装置３０２は、デジタルカメラ３００から入力部１１を介して、撮影画像および物側画素寸法情報を取得し、画像処理部３３’に撮影画像および物側画素寸法情報を送る。画像処理部３３’は、画像生成部３３３および相対画像生成部３３４が含まれており、どちらか一方の処理が選択されて実行される。画像生成部３３３および相対画像生成部３３４で実行される処理は、第１実施形態および第２実施形態で説明した出力画像生成処理および相対画像生成処理と同様である。生成された出力画像または相対画像は、表示装置３０１の場合は表示部３６に送られて表示され、印刷装置３０２の場合は印刷部３９に送られて表示される。なお、生成された出力画像または相対画像は、記憶部３４への保存が可能であり、また通信部３７を介して外部に送信することも可能である。

以上説明したように、本実施形態の画像処理装置によれば、撮像装置内で高精度な物側画素寸法が算出可能となり、撮像装置の合焦状態等の情報を外部に出力する必要がなくなる。一方、表示装置および印刷装置でも撮影情報から高精度な物側画素寸法を算出するための補正情報を保持する必要がなくなる。

また、撮像面位相差測距が可能な撮像装置に組み込むことで、合焦した被写体以外の任意の被写体の、出力先の機器の出力で実寸大となるように画像変換された出力画像を生成することが可能となる。

［第３実施形態の変形例］
本実施形態では、撮像素子３１が位相差信号を出力し撮像面位相差測距が可能であるように光電変換素子を有し、撮影画像の複数の領域において深度画像（深度分布情報）を取得できるものとして説明した。しかし、これに限定されず、１つの合焦領域の被写体距離を算出するデジタルカメラや複数の合焦領域に対する被写体距離を算出するデジタルカメラであっても変換情報算出処理を組み込むことが可能である。このように算出可能な被写体距離が１点のみ場合は、算出した物側画素寸法情報から単位長さ当たりの画素数を求めＥｘｉｆ形式の情報に書き込むのが好適である。この処理の流れを図９（ｄ）のフローチャートを用いて説明する。

Ｓ３３４１からＳ３３４３は、第１実施形態のＳ１２２１からＳ１２２３までの処理と同様の処理であるがデジタルカメラ内で実行する点が異なる。

Ｓ３３４４で、算出された物側画素寸法を用いて単位長さあたりの画素数を算出し、Ｅｘｉｆ形式の解像度情報として記録する。なお、単位長さは１ｍｍを用いてもよいが、印刷を考慮した場合には１インチを用いＰＰＩ（Ｐｉｘｅｌｓ Ｐｅｒ Ｉｎｃｈ）情報として記録してもよい。

また、第３実施形態で説明したように、合焦領域のみならず顔検出等の物体検出処理で検出された領域ごとに単位長さ当たりの画素数を算出して記録しておくこともできる。

単位長さあたりの画素数を撮影画像の付属情報として対応する画像と関連付けて記録することで、印刷装置に出力画像生成処理を設ける必要がなくなる利点がある。通常の印刷装置にはＰＰＩ情報を読み込み、その情報に従って印刷を実行する機能が搭載されているためである。

以上説明したように、本実施形態の変形例の画像処理装置によれば、従来のＥｘｉｆ形式の撮影情報の容量を変えずに、撮影画像から高精度な物側画素寸法情報を取得することが可能となる。

［第４実施形態］
次に本発明の第４実施形態を説明する。第１実施形態および第２実施形態では、物側画素寸法を算出可能な撮影画像上の位置は合焦領域に限られる。合焦領域が所望の被写体位置と異なる場合、かつ所望の被写体が合焦領域と被写体と異なる距離に存在する場合には、所望の被写体の実寸を正しく取得することができない。そこで本実施形態では、合焦位置と所望の被写体距離が異なる場合に算出されて物側画素寸法を補正して実寸大画像を生成する。

本実施形態における、被写体が出力先の機器の出力で実寸大となるように画像変換された出力画像を生成する出力画像生成処理を図１１のフローチャートおよび図１２を用いて説明する。図１２（ａ）は、出力画像を生成するために入力された撮影画像を示している。またこの例において、合焦位置は人物４１０の左目であり、人物４２０の出力画像を生成する場合を説明する。他フローと同様、本フローチャートに対応する処理は、制御部１６が例えば制御部１６内の不揮発性メモリに記憶されている対応する処理プログラムを読み出し、制御部１６内の揮発性メモリに展開して実行することで制御部１６または各部が動作することにより実現する。

Ｓ４０１で、撮影画像から撮影画像中の合焦領域を取得する。撮影画像を解析して、例えばエッジ抽出を行い、合焦領域を推定してもよい。また、撮影時に設定した合焦領域枠（を示す座標情報）をＥｘｉｆ形式に記録しておき、読み出すようにしてもよい。図１２（ｂ）では、取得した合焦領域を矩形４３０として示している。

Ｓ４０２で、画像生成部は、撮影画像の被写体認識を実行する。一例として顔検出の場合を示す。顔検出処理により、図１２（ｃ）に示すように、人物４１０の顔枠４１１と人物４２０の顔枠４２１が検出される。

Ｓ４０３で、検出した顔領域の画像から年齢や性別といった特徴量を算出する。

Ｓ４０４で、算出した特徴量を予め用意した規則に従って比較することで検出した顔の中の主被写体を決定する。例えば、推定年齢の若い被写体を主被写体とするといった規則を決めておく。その場合、人物４２０が主被写体として決定される。

Ｓ４０５で、合焦領域４３０と主被写体領域４２１の被写体距離のずれを算出する。第３実施形態で説明した深度情報が取得可能なデジタルカメラの場合は、容易に被写体ずれを算出することが可能である。一方、第１実施形態および第２実施形態の場合は、深度情報が取得できないため、合焦領域４３０と主被写体領域４２１の画像のコントラストやぼけ量から距離の違いを推定する。

Ｓ４０６で、算出した距離の違いと、変換情報算出処理で算出した合焦領域の被写体距離および焦点距離を用いて物側画素寸法を補正し、主被写体４２１の被写体距離における物側画素寸法を算出する。

Ｓ４０７で、出力先情報を取得し、Ｓ４０８で主被写体４２１の出力先の機器の出力で実寸大となるように画像変換された出力画像を生成する。

なお、ここでは合焦位置と異なる位置の被写体を自動的に求める場合を例に説明したが、Ｓ４０２、Ｓ４０３を実行せずにＳ４０４でユーザーが直接指定してもよい。

以上説明したように、本実施形態の画像処理装置によれば、合焦した領域以外の領域の被写体に対しても出力先の機器の出力で実寸大となるように画像変換された出力画像の生成が可能となる。

［第４実施形態の変形例］
本実施形態では、出力先の機器の出力で実寸大となるように画像変換する被写体の決定（Ｓ４０１〜Ｓ４０６）を出力画像生成処理の中で実行する場合について説明した。しかしながら、出力先の機器の出力で実寸大となるように画像変換する被写体の決定（Ｓ４０１〜Ｓ４０６）は、第３実施形態で説明した撮像装置の内部で実行することも可能である。実行した結果得られた主被写体における物側画素寸法または単位長さ当たりの画素数を撮影画像の付属情報として対応する画像と関連付けて記録する。これにより、第３実施形態で説明した表示装置および印刷装置で出力先の機器の出力で実寸大となるように画像変換された出力画像または実寸に準じた相対比較が可能な相対画像が生成可能となる。

また、図１２に示したように複数の被写体がある場合は、それぞれの被写体領域における物側画素寸法または単位長さ当たりの画素数を撮影画像の付属情報として付与してもよい。この場合、Ｓ４０４で説明したような規則で優先順位をつけて、それぞれの被写体領域における物側画素寸法または単位長さ当たりの画素数を撮影画像の付属情報として付与してもよい。

［第５実施形態］
次に本発明の第５実施形態を説明する。前述の実施形態では、高精度に算出した物側画素寸法から実寸大画像生成および相対画像生成に適用する場合に関して説明した。本実施形態では、物側画素寸法の異なる適用先として寸法計測の報知に関して説明する。

図１３を参照して、デジタルカメラ５００の構成について説明する。図１３は、報知情報演算処理を組み込んだデジタルカメラ５００の機能構成を示すブロック図である。図１３に示す画像処理部５３以外の構成は、第３実施形態で説明したデジタルカメラ３００と同様であるため説明を省略する。

このような構成をもつ本実施形態のデジタルカメラ５００において実行される、被写体寸法に関わる寸法情報を撮影時に報知する報知情報を演算する報知情報演算処理について、図１４（ａ）のフローチャートを用いて具体的な処理を説明する。本フローは、制御部３２あるいは制御部３２の指示により各部で実行される。

撮影開始とともに処理が開始され、Ｓ５３１で、デジタルカメラが撮影する被写体を表示部へ表示するための表示画像生成が実行される。生成される表示画像は、表示部の解像度に合わせ縮小された画像である。

Ｓ５３２で、制御部３２は、生成された表示画像を表示部に表示する。Ｓ５３３で、合焦するためにシャッターボタンが１段目まで押下されたかの確認を行う（ＳＷ１）。ＳＷ１が押下されていない場合は、Ｓ５３１にもどり同様の処理を継続する。

ＳＷ１が押下された場合は、第３実施形態で説明したようにＳ３３３の深度画像生成を実行し、さらにＳ３４４で変換情報算出を実行する。ここで、深度画像の画素数は撮像素子と同等の画素数である必要はなく、表示用画像と同等の画素数であってよい。生成する深度画像の画素数を少なくすることで深度画像生成処理の演算負荷を低減するのが好適である。

Ｓ５３４で、制御部３２は、表示画像に表示することで寸法計測が可能である撮影モードであることを報知するための報知情報の演算を実行する。報知情報演算処理を図１４（ｂ）のフローチャートを用いて説明する。

Ｓ５３３１で、制御部３２は、合焦処理を実行した領域の画素数を取得する。ここでは、合焦領域が矩形であった場合を例に説明を行うが、合焦領域を矩形に限定するものではない。画像中の領域を示すためのＧＵＩ（グラフィカルユーザインターフェース）であれば、任意の形状であってよい。合焦領域の画素数を取得するために、まず合焦に用いた矩形領域の情報を制御部から取得し、長辺および短辺のうち少なくとも一方の長さを表示画像中の画素数に換算する。取得した辺の画素数に、Ｓ３３４で算出した変換情報である物側画素寸法を積算することで、合焦した被写体距離における合焦枠の辺の寸法を算出する。合焦矩形枠とその辺の寸法を報知情報とする。

Ｓ５３３２では、制御部３２は、算出した報知情報を表示画像に重畳し、報知用の重畳画像を生成する。図１５（ａ）に示すように合焦領域の枠５５１を予め規定した色で重畳表示し、該矩形の辺近傍に算出した矩形の物側寸法５５２を重畳表示する。物側寸法の表示は、図１５（ａ）に示すように水平方向および垂直方向の辺において、二つの水平方向の辺の何れか一方の辺の近傍にのみ寸法を重畳表示するのが好適である。

ここでは、第３実施形態で説明した撮像面位相差測距が可能な撮像素子３１を搭載したデジタルカメラをもとに説明したため深度画像生成部３３１の処理を実行したが、撮像面位相差測距方式がないデジタルカメラにも適用可能である。撮像面位相差測距方式がないデジタルカメラの場合は、合焦領域の被写体距離情報を用いて合焦枠の物側寸法を算出して表示することが可能である。

一方、本実施形態で説明した撮像面位相差測距方式を搭載したデジタルカメラ５００のように、複数領域の測距が可能なセンサを用いた場合、合焦領域の枠以外の領域の物側寸法も算出可能である。例えば、図１５（ｂ）に示すように、複数の人物が被写体として画面内に存在し、かつその被写体距離が異なる場合について説明する。この場合、顔検出により複数の顔検出枠を取得することが可能であり、深度情報を用いることで互いの被写体距離が異なっていてもそれぞれ別に物側画素寸法を算出することが可能である。算出した顔枠の辺の画素数と対応する物側画素寸法を積算することで、各顔枠の物側寸法が算出可能であり図１５（ｂ）のように報知情報の重畳表示が可能となる。

更に、図１５（ｃ）に示すように複数の被写体が画面内に存在する場合、矩形枠の表示色を被写体距離によって異なる色で表示することも効果的である。図１５（ｃ）では、顔枠５５３の表示色が顔枠５５４および顔枠５５５と異なる色であることを示している。

以上説明したように、本実施形態の画像処理装置によれば、変換情報算出処理により物側画素寸法を算出することが可能になることで、撮影者に対し撮影時に被写体寸法を報知すること、または寸法情報が取得可能な撮影を実行していることを報知可能となる。

［第６実施形態］
次に本発明の第６実施形態を説明する。第１の実施形態では実寸大画像の表示・印刷、第２の実施形態では複数画像や該画像中の被写体の相対的な大きさ比較画像の生成・出力を行う場合に関して説明した。本実施形態では、物側画素寸法情報を利用した画像合成のアプリケーションに関して説明する。例として単一画像または複数画像から顔検出を行い、見かけ上異なる大きさの顔画像に対し物側画素寸法情報を用いることで相対的サイズを考慮して抽出し、画像合成を行う場合に関して説明する。なお、本実施形態では顔を対象として説明するが一般的な物体でも同様である。

本実施形態において実行される、画像合成アプリケーションに関して図１６のフローチャートを用いて具体的な処理を説明する。本合成アプリケーションは、上述した各実施形態における制御部１６（図１、３）、制御部３２（図６、１３）、制御部４１（図１０（ａ））、制御部４２（図１０（ｂ））によってそれぞれ動作可能である。以下、例として制御部１６が実行する処理として以下に説明する。

他フローと同様、本フローチャートに対応する処理は、制御部１６が例えば制御部１６内の不揮発性メモリに記憶されている対応する処理プログラムを読み出し、制御部１６内の揮発性メモリに展開して実行することで制御部１６または各部が動作することにより実現する。

Ｓ６０１で、制御部１６は、操作入力部１７を介してのユーザーからの操作入力により、合成を実行する被写体を含む画像の選択を受け付ける。このときディスプレイ２に合成を実行する被写体を含む画像の候補を一覧表示、順次表示などの方法で選択可能に表示してもよい。

Ｓ６０２で、制御部１６または画像処理部２２は、選択された画像に対しＳ２２２と同様の処理を実行し、物側画素寸法を算出する。物側画素寸法を算出するための情報がない画像が選択された場合は、処理を中断する。もしくは、物側画素寸法情報が算出できなかったという情報を保持して次の処理に進む。

Ｓ６０３で、選択された画像に対し顔検出処理を実行し、顔領域の座標情報を出力する。座標情報は顔が検出された矩形領域を指定する情報であり、例えば矩形の上部左側の頂点座標と下部右側の頂点座標や、上部左側の頂点座標と矩形の幅および高さといった情報である。一つの画像中に複数の顔を検出した場合は、複数の顔に対して同様の情報を出力する。さらに、出力された顔領域の座標情報を用い、頭部中心の座標を推定する。

ここで頭部中心の座標の推定は、さらに顔の器官検出を実行して眉間位置といった位置を検出する。どの位置を頭部中心とするかはアプリケーションに依存する。

次に、Ｓ６０２で算出した物側画素寸法を元に算出した頭部中心位置を原点に指定した半径Ｒ〔ｍｍ〕の円領域またはその円に外接する矩形領域を、合成対象として選択された画像から切り出す。ここで切り出し範囲は、ユーザーが所望の範囲を指定することができるが、設定の手間を省くため検出物体ごとに、該検出物体に応じた切り出し範囲に予め設定しておくのが好適である。切り出しの形状に関しては円形や矩形に限定するものではなく、他の任意の形状でもよい。例えば、検出された被写体の輪郭に応じて決まる領域に沿った切り出しを実行してもよい。

物側画素寸法情報の算出に必要なメタデータが選択した画像が記録された画像ファイルになく、物側画素寸法情報の算出ができなかった画像に関しては、一般的な人の顔の大きさを仮定することで顔検出された矩形領域の物理的な大きさを推定する。推定した該矩形領域の物理的な大きさと該矩形の１辺の画素数とから物側画素寸法を推定する。この場合、顔の個々の大きさの違いは考慮されず、一般的な顔の大きさとして仮定した大きさに統一されてしまう。この問題を軽減するために、顔検出時に年齢および性別の推定を実施し、推定された年齢・性別に応じた一般的な顔の大きさを設定するのが好適である。また、検出した顔領域において顔器官検出を実行し、眼球中心の間隔といった顔器官の位置情報から顔の大きさを推定することも可能である。顔器官検出により顔向きの推定も可能となり、顔向きによる前記眼球中心間隔の変化を考慮した顔の大きさ推定を行うことで、物側画素寸法情報がない場合により高精度な顔の大きさ推定が可能となる。

この場合は、指定した大きさに対する切り出し範囲の誤差は、顔検出の矩形領域サイズの検出結果に依存し、正確な大きさの領域切り出しができない。物側画素寸法情報の算出ができなかった場合は、切り出し領域が不正確であることが識別可能であるように切り出した画像を含む画像ファイルのメタデータに情報を付与しておくのが望ましい。

次に、物側画素寸法の算出にあたり、被写体距離情報をフォーカス位置の１点のみしか保持していない場合で、画像中に複数の人物が写っている場合に関して説明する。すべての人物がフォーカス位置と同じ距離に存在する場合は問題が生じないが、図１７（ａ）に示すように、人物が撮像装置からそれぞれ異なる距離に存在している場合は、同じ大きさの人物であっても大きさが異なる。前述のように物側画素寸法がフォーカス位置でのみ算出可能であるため、それぞれの距離は考慮されず手前に写る人物の顔は大きく切り出され、遠くに写る人物の顔は小さく切り出される。

この問題を回避するために、フォーカス位置に写る人物の顔検出結果の矩形領域サイズを基準にし、他の人物の顔検出結果の矩形領域サイズの比率を算出する。この比率を元に各人物の距離の応じた物側画素寸法を推定し、推定された物側画素寸法をもとに切り出し範囲を算出する。結果は図１７（ｂ）のようになる。この場合は、指定した大きさに対する切り出し範囲の誤差は、顔検出の矩形領域サイズの検出結果に依存する。

また、撮影画像中に顔は写っているが顔がフォーカス位置でない場合は、物側画素寸法情報が算出できなかった画像と同様に、一般的な人の顔の大きさを仮定することで顔領域の切り出し範囲が大きく異なることを抑制することができる。顔とフォーカス位置が一致するかの判定は、フォーカス合わせを行った領域の座標をメタデータとして保存しておき、画面上（ＸＹ平面上）で顔検出位置とフォーカス領域が一致するかで判定を行う。また、顔検出で検出した矩形領域が、切り出し時にどの程度変化するかを確認し、変化が大きい場合に撮影時に当該顔に合焦しておらずフォーカスずれが生じていると判定することも可能である。フォーカスずれの情報を付与し、さらに前述のように一般的な顔の大きさから推定した物側画素寸法情報を付与する。

また、物側画素寸法を算出して切り出しを実行した被写体と、物側画素寸法を利用せずに切り出しを実行した被写体は識別可能なように情報を付与しておくのが望ましい。また、後述の画像合成を行う際に、切り出した画像が物側画素寸法を算出して切り出した画像か否かユーザーが識別可能なようにするのが望ましい。これらの情報は切り出された画像に関連付けて記憶される。

検出した顔画像の解像度が小さい場合、同じ大きさの領域を切り出すと画像の拡大処理が必要となり画質が低下する。この問題を避けるために、顔検出処理において最低解像度を設定しておく必要がある。最低解像度は印刷する大きさに依存するため、最終的に必要解像度を満たすかどうかは後述の印刷設定で判定する。

Ｓ６０４で、ユーザーは切り出された顔領域画像から所望の顔領域画像を選択し、別途用意された作業画像領域の所望の位置に配置する。同じ画像から複数の顔を選択配置可能であり、他の画像からの顔を配置したい場合はＳ６０１からＳ６０４の処理を繰り返す。図１８（ａ）にディスプレイ２に表示された、３人の子供の顔を選択して配置した例を示す。

ここで、制御部１６は、顔領域画像選択時に他の顔領域画像に比べ著しく解像度が低下する画像を選択した場合は、警告を出すなどユーザーに報知するようにしてもよい。例えば、図１７（ａ）に示すように、検出された顔１７３はフォーカス位置から外れた距離であり、小さく写っている。同じ大きさになるように図１７（ｂ）のように切り出された場合、顔１７３′は拡大処理されているため画像が劣化する。

Ｓ６０５で、制御部１６は、操作入力部１７を介してユーザーが顔以外の合成物を作業領域に配置する操作を受け付ける。合成物は最終的な成果物である合成画像を装飾するもので、画像であってもよいし、アイコン、イラストや文字であってもよい。またユーザーは、それぞれの合成物を顔合成前に予め作業領域に配置するよう操作してもよいし、顔合成の途中で配置を行うことも可能である。図１８（ｂ）に図１８（ａ）で配置した３人の子供の顔の周囲に花のイラストで装飾を行った例を示す。

Ｓ６０６で、制御部１６は、操作入力部１７を介してユーザーが配置した合成物の大きさを変更する操作を受け付ける。ユーザーは個々の合成物を個別に選択して大きさ変更をすることが可能である。合成した顔は、切り出し領域の物理的な大きさが同じであるため、同時に変更可能であることが好ましい。よって、本実施形態では、一つの選択した顔の大きさを変更する操作を受け付けたことに応じて、制御部１６は、連動して他の合成した顔の大きさも同程度大きさを変更する指示を画像処理部２２に行う。画像処理部２２は予め連動するように設定された複数の画像に対して同じ拡大あるいは縮小の処理を行い、制御部１６は、処理結果としての複数の画像をディスプレイ２に表示する。図１８（ｃ）では、中央の顔１８２を基準として大きさを変更する場合を示している。図１８（ｃ）のように顔１８２の大きさを小さくすると、図１８（ｄ）のように他の顔１８１、１８３も連動して大きさが変更される。これは、装飾物である花以外の顔のみ連動して大きさが変更される場合の例である。装飾した画像も物側画素寸法を保持している場合は、顔との相対的な大きさを維持して大きさ変更させるようにすることもできる。顔以外であっても物側画素寸法を保持している合成物は、連動して大きさ変更を行うようにすることで対応可能である。また、大きさ合わせを行う合成画像を格納する記憶領域と、装飾用画像類を格納する記憶領域を分けておくことで、どの領域から選択された画像であるかで識別することも可能である。装飾物も連動して大きさ変更したい場合は、ユーザーが連動設定を行うことで連動して大きさ変更可能とする。

Ｓ６０７で、制御部１６は、操作入力部１７を介してユーザーからの印刷設定の指示を受け付ける。印刷設定では、印刷する用紙サイズの設定、および印刷したい大きさ（出力したい大きさ）を設定する。印刷用紙サイズは一般的なＡ４やＡ３サイズに固定しておき、印刷したい大きさのみを設定するようにすることで印刷設定が容易に実施できる。また、実寸大印刷を指定可能なようにしておき、合成した主被写体が実寸となるように物側画素寸法を用いて自動で印刷の大きさおよび分割印刷を算出する。

前述の実寸大印刷の場合も含め印刷したい大きさと印刷用紙サイズが異なり分割印刷を行う場合は、分割位置が識別可能なように作業画像領域に例えばグリッド線を重畳表示する。グリッド線を表示することで印刷時に分割してしまう合成画像を識別可能にする。図１９（ａ）はＡ４サイズの印刷用紙を用いてＡ３サイズの印刷出力を得る場合に、分割される位置にグリッド線１９１を示した例である。顔１９２が分割線上に存在し、分割されて印刷されることが容易に認識できる。これにより、ユーザーは顔画像など重要な合成画像を印刷時に分割されないような位置に容易に移動可能となる。例えば図１９（ｂ）のように配置した画像全体を縮小し右方向へ移動することで顔１９２が印刷時に分割されないように配置しなおすことができる。また、自動でグリッド線上に顔画像が配置されないように制御してもよい。

印刷用紙サイズと拡大印刷したい大きさが既知である場合は、合成作業を行う作業画像領域に分割グリッド線を重畳表示しておくのが好ましい。

また印刷設定では、印刷したい大きさ設定した際に、配置された合成画像の解像度を確認し、画像拡大率が大きく印刷時に解像度が低くなる合成画像を抽出して識別可能なように報知する。

以上説明したように、本実施形態の画像合成のアプリケーションによれば、物側画素寸法情報を利用した合成とともに、物側画素寸法情報がない画像に対しても寸法情報を推定して合成することが可能となる。また、物側画素寸法情報の有無を識別可能なようにすることでユーザーが被写体の寸法精度を把握しながら画像合成を行うことが可能となる。

［第６実施形態の変形例］
第６実施形態の変形例を説明する。第６の実施形態で示したように、フォーカス位置の距離情報のみ保持された画像において、画像中にフォーカス位置以外に複数の顔が存在する場合がある。このような場合に、フォーカス位置以外の距離に写る顔も実寸大印刷可能にする処理に関して説明する。

制御部１６あるいは画像処理部２２は、フォーカス位置以外の距離に写る顔も一般的な顔サイズを仮定することで物側画素寸法を推定する。この推定した物側画素寸法またはＰＰＩ情報は、検出した顔領域情報とともに画像のメタデータに追加で格納する。印刷時に実寸大印刷したい顔を選択することで略実寸大印刷が可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ デジタルカメラ
２ ディスプレイ
３ プリンタ
１００ 画像処理装置
１１ 入力部
１２ 画像処理部
１２１ 変換情報算出部
１２２ 画像生成部
１３ 記憶部
１４ 通信部
１５ 出力部

Claims (26)

1. 撮像手段により撮影された画像および該画像の撮影時の撮影情報を取得する取得手段と、
   前記撮影情報及び前記撮像手段の画素寸法に基づいて、前記画像中の対象被写体の物側画素寸法を算出する算出手段と、を有し、
   前記取得手段は、前記撮影情報として画像中の被写体の合焦状態を示す合焦情報とを取得し、
   前記算出手段は、前記合焦情報に基づいて前記物側画素寸法を算出することを特徴とする画像処理装置。
2. 前記物側画素寸法に基づいて前記撮像手段により撮影された画像を処理する画像書誌手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は前記画像を出力する出力先の機器に関する出力先情報を取得し、
   前記画像処理手段は、前記算出手段により算出された前記物側画素寸法に基づいて、前記画像の被写体が前記出力先の機器の出力で実寸大となるように、前記出力先情報に基づいて前記画像を画像変換して出力画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理手段は、前記物側画素寸法が算出できなかった被写体領域において、被写体検出手段で検出された被写体領域の大きさと、前記物側画素寸法が算出できた被写体領域での被写体検出差手段で検出された被写体領域の大きさとを用いることで、前記物側画素寸法が算出できなかった被写体領域の前記物側画素寸法を推定し、推定物側画素寸法を算出することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記画像処理手段は、前記物側画素寸法と前記推定物側画素寸法が識別可能なように画像データに情報を記録することを特徴とする請求項４に記載の画像処理装置。
6. 前記画像処理手段は、前記物側画素寸法を有する複数の被写体を一つの画像に合成する際に、前記複数の被写体から一つの被写体を選択し、該被写体の大きさを変更することで、該被写体以外の前記物側画素寸法を有する被写体の大きさを相対的な大きさを維持して大きさ変更することを特徴とする請求項２乃至請求項５のいずれか１項に記載の画像処理装置。
7. 前記画像処理手段は、被写体検出により検出された被写体の画素数と前記物側画素寸法を用いて該被写体の大きさを算出し、算出された被写体の寸法が予め記憶された該被写体の寸法よりも閾値以上大きいまたは小さい場合に、前記予め記憶された該被写体の寸法をもとに被写体切り出しを行うことを特徴とする請求項２乃至請求項６のいずれか１項に記載の画像処理装置。
8. 前記画像処理手段は、実寸大印刷が設定された場合に、主被写体の前記物側画素寸法を用いて印刷物の大きさを算出し、設定された用紙サイズをもとに印刷用の分割画像を生成することを特徴とする請求項２乃至請求項７のいずれか１項に記載の画像処理装置。
9. 前記画像処理手段は、複数の画像中の被写体の各々の前記物側画素寸法を用いることで該複数の被写体の画像を実寸に応じて変換し、該複数の被写体の寸法が相対的に比較可能な画像を生成することを特徴とする請求項２乃至８のいずれか１項に記載の画像処理装置。
10. 前記算出手段は、前記合焦情報に対応する焦点距離の変動量、被写体距離、光学系の主点位置、の少なくとも何れか１つに基づいて前記物側画素寸法を算出することを特徴とする請求項１乃至請求項９のいずれか１項に記載の画像処理装置。
11. 前記算出手段は、前記撮影情報として合焦した被写体までの被写体距離を用いて該被写体距離における前記物側画素寸法を算出することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
12. 前記算出手段は、前記合焦情報に対応する撮影倍率に基づいて前記物側画素寸法を算出することを特徴とする請求項１乃至請求項９のいずれか１項に記載の画像処理装置。
13. 前記取得手段は前記画像に対応する深度分布情報を取得し、
    前記算出手段は、前記深度分布情報を用いて前記深度分布情報の各画素位置における前記物側画素寸法を算出することを特徴とする請求項１乃至請求項９のいずれか１項に記載の画像処理装置。
14. 前記算出手段は、前記深度分布情報を用いて前記画像中の任意の位置に存在する少なくとも１つの被写体までの被写体距離を取得し、該被写体距離を用いて該被写体距離における前記物側画素寸法を算出することを特徴とする請求項１３に記載の画像処理装置。
15. 前記深度分布情報は、前記画像に対応する位相差信号の示す視差量の分布情報、前記画像中に存在する被写体のデフォーカス量の分布情報、前記画像中に存在する被写体までの被写体距離の分布情報のいずれか１つであることを特徴とする請求項１３または１４に記載の画像処理装置。
16. 前記出力先情報は、印刷用紙寸法、表示画面寸法および表示画面解像度の少なくとも何れか一方の情報であることを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 前記算出手段で算出された物側画素寸法から少なくとも１つの単位長さ当たりの画素数を算出し、該単位長さ当たりの画素数を対応する画像に関連付けて記録する制御手段を有することを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 前記制御手段は、前記単位長さ当たりの画素数としてＰＰＩ（Ｐｉｘｅｌ Ｐｅｒ Ｉｎｃｈ）情報を、対応する画像の画像データとともにＥｘｉｆ形式の画像ファイルに記録することを特徴とする請求項１７に記載の画像処理装置。
19. 前記画像処理手段は、前記画像に対して顔検出処理を実行し、検出された顔領域の被写体距離を用いて前記算出手段を実行することで、前記画像の少なくとも一つの領域の物側画素寸法、または前記単位長さ当たりの画素数を算出し、
    前記制御手段は、前記物側画素寸法および該単位長さ当たりの画素数の少なくとも何れか一方を対応する前記画像と関連付けて記録することを特徴とする請求項１７または１８に記載の画像処理装置。
20. 前記制御手段は、前記画像に重畳するＧＵＩが指示する領域の画素数に基づいて前記ＧＵＩが指示する領域の寸法を前記物側画素寸法から算出し、表示手段に表示することを特徴とする請求項１乃至１９のいずれか１項に記載の画像処理装置。
21. 複数の光電変換部から位相差信号を取得可能な撮像素子と、
    請求項１乃至請求項２０のいずれか１項に記載の画像処理装置と、
    変換手段を有することを特徴とする撮像装置。
22. 請求項１乃至請求項２０記載の画像処理装置と、
    前記画像を表示する表示部と、を有することを特徴とする表示装置。
23. 請求項１乃至２０のいずれか１項に記載の画像処理装置と、
    前記画像を印刷する印刷手段と、を有することを特徴とする印刷装置。
24. 撮像手段により撮影された画像および該画像の撮影時の撮影情報を取得する取得工程と、
    前記撮影情報及び前記撮像手段の画素寸法に基づいて、前記画像中の被写体の物側画素寸法を算出する算出工程と、を有し、
    前記取得工程では、前記撮影情報として画像中の被写体の合焦状態を示す合焦情報とを取得し、
    前記算出工程では、前記合焦情報に基づいて前記物側画素寸法を算出することを特徴とする画像処理方法。
25. 請求項１乃至２０のいずれか１項に記載の画像処理装置の各手段が実行する手順をコンピュータに実行させるプログラム。
26. 請求項２５に記載のプログラムを格納した記憶媒体。

Images