JP2009223523A - 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム - Google Patents

Abstract

【課題】画像処理を被写体の特徴に適合させることができる技術を提供することを目的とする。
【解決手段】対象画像における人物の顔の実際のサイズと相関のあるサイズ指標値を算出し、サイズ指標値に従って対象画像に対する特定の処理を実行する。
【選択図】図４

Description

本発明は、画像処理装置、画像処理方法、画像処理のためのコンピュータプログラムに関するものである。

従来より、種々の画像処理が利用されている。例えば、色を補正する処理や、被写体を変形させる処理がある。また、画像処理には、このような画像自体を修正する処理に限らず、画像を出力する処理や（印刷と表示とを含む）、画像を分類する処理といった、画像自体の修正の無い画像処理もある。

特開２００４−３１８２０４

ところで、画像に写る被写体は、種々の特徴を有し得る。例えば、被写体が人物である場合がある。この場合には、さらに、その人物が大きい場合や、その人物が小さい場合がある。しかし、従来は、画像処理を被写体の特徴に適合させる点に関しては十分な工夫がなされていないのが実情であった。

本発明は、上記の課題の少なくとも一部を解決するためになされたものであり、画像処理を被写体の特徴に適合させることができる技術を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］画像処理装置であって、対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する顔領域検出部と、前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出するサイズ算出部と、前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する画像処理部と、を備える、画像処理装置。

この構成によれば、顔の実際のサイズと相関のあるサイズ指標値に従って対象画像に対して特定の処理が実行されるので、対象画像に関する処理を、顔の実際のサイズに適合させることが可能である。その結果、画像処理を被写体の特徴に適合させることができる。

［適用例２］適用例１に記載の画像処理装置であって、前記画像処理部は、第１範囲内に前記サイズ指標値がある場合に第１処理を実行する、画像処理装置。

この構成によれば、サイズ指標値が第１範囲内にある場合に、その第１範囲内のサイズ指標値に相当する実サイズの顔を表す画像に関して、意図的に第１処理を実行することができる。

［適用例３］適用例２に記載の画像処理装置であって、前記画像処理部は、前記第１範囲とは重ならない第２範囲内に前記サイズ指標値がある場合に、前記第１処理とは異なる第２処理を実行する、画像処理装置。

この構成によれば、サイズ指標値が第２範囲内にある場合に、その第２範囲内のサイズ指標値に相当する実サイズの顔を表す画像に関して、第１処理とは異なる第２処理を意図的に実行することができる。

［適用例４］適用例２または適用例３に記載の画像処理装置であって、前記画像処理部は、前記第１処理として、前記対象画像上における前記顔の少なくとも一部分に対してシャープネス強調処理を実行する、画像処理装置。

この構成によれば、第１範囲内のサイズ指標値に相当する実サイズの顔の少なくとも一部分をくっきりさせることができる。

［適用例５］適用例３に記載の画像処理装置であって、前記第２範囲は、前記第１範囲よりも大きい範囲であり、前記画像処理部は、前記第２処理として、前記対象画像上における前記顔の少なくとも一部分を小さくする処理を実行する、画像処理装置。

この構成によれば、第２範囲内のサイズ指標値に相当する実サイズの顔の少なくとも一部分を小さくすることができる。

［適用例６］適用例１ないし適用例５のいずれかに記載の画像処理装置であって、前記対象画像は撮像装置によって生成された画像であり、前記関連情報は、前記対象画像の撮像時における前記撮像装置から前記人物までの距離と相関のある撮像距離情報と、前記撮像時における前記撮像装置のレンズ焦点距離と相関のある焦点距離情報と、前記撮像装置の撮像素子上の受光領域の前記対象画像を生成した部分のサイズと関連のある撮像素子情報と、を含み、前記サイズ算出部は、前記関連情報と、前記顔のサイズを反映する前記対象画像上のサイズと、を利用して、前記サイズ指標値を算出する、画像処理装置。

この構成によれば、関連情報に従って、適切にサイズ指標値を算出することができる。

［適用例７］プリンタであって、対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する顔領域検出部と、前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出するサイズ算出部と、前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する画像処理部と、前記画像処理部による処理後の前記対象画像を印刷する印刷部と、を備えるプリンタ。

［適用例８］画像処理方法であって、対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する工程と、前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出する工程と、前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する工程と、を備える画像処理方法。

［適用例９］画像処理のためのコンピュータプログラムであって、対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する機能と、前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出する機能と、前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する機能と、をコンピュータに実現させるコンピュータプログラム。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

次に、この発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．第４実施例：
Ｅ．変形例：

Ａ．第１実施例：
図１は、本発明の一実施例としてのプリンタ１００を示す説明図である。このプリンタ１００は、制御部２００と、印刷エンジン３００と、ディスプレイ３１０と、操作パネル３２０と、カードインターフェース（Ｉ／Ｆ）３３０と、を備えている。

制御部２００は、ＣＰＵ２１０と、ＲＡＭ２２０と、ＲＯＭ２３０とを含むコンピュータである。この制御部２００は、プリンタ１００の各構成要素を制御する。

印刷エンジン３００は、与えられた印刷データを利用して印刷を実行する印刷機構である。印刷機構としては、インク滴を印刷媒体に吐出して画像を形成する印刷機構や、トナーを印刷媒体上に転写・定着させて画像を形成する印刷機構等の種々の印刷機構を採用可能である。

ディスプレイ３１０は、制御部２００からの命令に従って、操作メニューや画像を含む種々の情報を表示する。ディスプレイ３１０としては、液晶ディスプレイや有機ＥＬディスプレイ等の種々のディスプレイを採用可能である。

操作パネル３２０は、ユーザの指示を受け入れる装置である。操作パネル３２０は、例えば、操作ボタンやダイヤルやタッチパネルを含む。

カードＩ／Ｆ３３０は、メモリカードＭＣのインターフェースである。制御部２００は、メモリカードＭＣに格納された画像ファイルをカードＩ／Ｆ３３０を介して読み出す。そして、制御部２００は、読み出した画像ファイルを利用して、印刷を実行する。

図２は、ＲＯＭ２３０（図１）に格納されたモジュールとデータとを示す説明図である。本実施例では、顔領域検出モジュール４００と、サイズ算出モジュール４１０と、画像処理モジュール４２０と、印刷データ生成モジュール４３０と、機種サイズテーブル４４０と、がＲＯＭ２３０に格納されている。これらのモジュール４００〜４３０は、ＣＰＵ２１０によって実行されるプログラムである。また、各モジュール４００〜４３０は、ＲＡＭ２２０を介して互いにデータの送受信が可能である。各モジュール４００〜４３０の機能の詳細については後述する。

図３は、機種サイズテーブル４４０の一例を示す概略図である。機種サイズテーブル４４０は、画像生成装置（例えば、デジタルスチルカメラ）の機種と、その機種の撮像素子（「受光デバイス」、あるいは、「イメージセンサ」とも呼ばれる）のサイズと、の対応関係を格納している。本実施例では、撮像素子の受光領域の形状が矩形であることとしている。そして、撮像素子のサイズとして、その受光領域（矩形）の高さＳＨ（短辺の長さ）と幅ＳＷ（長辺の長さ）を採用している。このように、撮像素子のサイズは、画像生成装置の機種毎に予め決まっている。従って、機種は、撮像素子上の受光領域のサイズと関連がある（本実施例では、機種は、特許請求の範囲における「撮像素子情報」に相当する）。

図４は、印刷処理の手順を示すフローチャートである。制御部２００（図１）は、操作パネル３２０に入力されたユーザの指示に応答して、この印刷処理を開始する。この印刷処理では、制御部２００は、ユーザの指示によって指定された画像ファイルに含まれる画像データによって表される画像を印刷する。以下、ユーザによって指定された画像ファイルを「対象画像ファイル」と呼び、対象画像ファイルに格納されている画像データを「対象画像データ」と呼び、対象画像データによって表される画像を「対象画像」とも呼ぶ。

最初のステップＳ１００では、顔領域検出モジュール４００（図２）が、対象画像データを解析し、対象画像から顔領域を検出する。顔領域は、対象画像上の領域であり、顔の少なくとも一部の画像を含む領域を意味している。

図５（Ａ）、５（Ｂ）は、それぞれ、顔領域の検出結果を示す概略図である。図５（Ａ）は、大人を表す第１対象画像ＩＭＧ１からの検出結果を示し、図５（Ｂ）は、子供を表す第２対象画像ＩＭＧ２からの検出結果を示している。第１対象画像ＩＭＧ１からは、第１顔領域ＦＡ１が検出され、第２対象画像ＩＭＧ２からは、第２顔領域ＦＡ２が検出されている。図示するように、本実施例では、両目と鼻と口との画像を含む矩形領域が、顔領域として検出される。そして、第１対象画像ＩＭＧ１のように、顔が小さく写っている場合には、小さい顔領域が検出される。第２対象画像ＩＭＧ２のように、顔が大きく写っている場合には、大きい顔領域が検出される。このように、顔領域のサイズは、顔の対象画像上のサイズと相関がある。なお、顔領域の縦横比は、対象画像中の顔に従って変化して良い。ただし、縦横比が固定されてもよい。また、検出される顔領域としては、顔の少なくとも一部の画像を含む任意の領域を採用可能である。例えば、顔領域が顔の全体を含んでも良い。

なお、本実施例では、対象画像の形状が矩形であり、画像高さＩＨと画像幅ＩＷとは、対象画像の高さ（短辺の長さ）と幅（長辺の長さ）とを、それぞれ示している（単位は画素数）。顔領域高さＳＩＨ１と顔領域幅ＳＩＷ１とは、第１顔領域ＦＡ１の高さと幅とを、それぞれ示している（単位は画素数）。同様に、顔領域高さＳＩＨ２と顔領域幅ＳＩＷ２とは、第２顔領域ＦＡ２の高さと幅を、それぞれ示している。

顔領域検出モジュール４００による顔領域の検出方法としては、公知の種々の方法を採用可能である。本実施例では、顔の器官である目のテンプレート画像と口のテンプレート画像とを用いたパターンマッチングによって、顔領域が検出される。なお、このような顔領域の検出方法としては、テンプレートを利用したパターンマッチングによる種々の方法（例えば、特開２００４−３１８２０４参照）を採用可能である。

なお、１つの対象画像には複数の顔が含まれる場合がある。この場合には、顔領域検出モジュール４００は、１つの対象画像から複数の顔領域を検出する。

次のステップＳ１１０では、サイズ算出モジュール４１０は、対象画像ファイルから関連情報を取得する。本実施例では、撮像装置（例えば、デジタルスチルカメラ）は、Ｅｘｉｆ（Exchangeable Image File Format）規格に則って、画像ファイルを生成する、こととしている。このような画像ファイルは、画像データに加えて、撮像装置の機種や撮像時のレンズ焦点距離といった付加情報を含んでいる。このような付加情報は、対象画像データに関連付けられた情報ということができる。

本実施例では、サイズ算出モジュール４１０は、対象画像ファイルから以下の情報を取得する。
１）被写体距離
２）レンズ焦点距離
３）デジタルズーム倍率
４）モデル名
被写体距離は、撮像時の撮像装置と被写体との間の距離を表している。レンズ焦点距離は、撮像時のいわゆるレンズ焦点距離を表している。デジタルズーム倍率は、撮像時のいわゆるデジタルズームの倍率を表している。一般には、デジタルズームとして、画像データの周辺部分をクロップするとともに、元の画素数となるように残りの画像データに対して画素補間を行う、という処理が利用されている。これらの情報は、いずれも、撮像時の撮像装置の動作設定を表している。モデル名は、撮像装置の機種（モデル）を表している。典型的な撮像装置は、撮像によって画像データを生成し、そして、画像データと付加情報とを含む画像ファイルを生成する。

図４の次のステップＳ１２０では、サイズ算出モジュール４１０は、顔領域に対応する実サイズを算出する。図６は、画像上の画素数と実サイズとの関係を示す説明図である。図中には、被写体ＳＢと、レンズシステムＬＳと、撮像素子ＩＳと、の位置関係を示す側面図が示されている。レンズシステムＬＳは、複数のレンズを含み得る。ただし、図６では、簡略化のために、１つのレンズがレンズシステムＬＳを示している。さらに、図中には、以下の要素が示されている。すなわち、被写体の実サイズＡＳ（実際の長さ）と、被写体距離ＳＤと、レンズ焦点距離ＦＬと、撮像素子ＩＳの長さ（高さＳＨ）と、撮像素子ＩＳの受光面（結像面）上に形成された被写体ＳＢを表す結像ＰＩと、結像ＰＩのサイズ（高さ方向の画素数ＳＳＨ）と、デジタルズーム倍率ＤＺＲと、画像のサイズ（高さ方向の総画素数ＩＨ）と、画像上の被写体のサイズ（高さ方向の画素数ＳＩＨ）と、である。

なお、被写体ＳＢの実サイズＡＳは、高さ方向（撮像素子ＩＳの高さ方向に相当する）に沿った長さを示している。ステップＳ１１０で取得された被写体距離ＳＤは、レンズシステムＬＳの光学中心（主点ＰＰ）と被写体ＳＢとの間の距離とほぼ同じである。そして、レンズ焦点距離ＦＬは、レンズシステムＬＳの光学中心（主点ＰＰ）と撮像素子ＩＳ上の結像面との間の距離を示している。

よく知られているように、主点ＰＰと被写体ＳＢとで決まる三角形と、主点ＰＰと結像ＰＩとで決まる三角形とは、相似である。従って、以下の関係式（１）が成立する。
ＡＳ：ＳＤ＝ＳＳＨ：ＦＬ ．．．（式１）
ここで、各パラメータＡＳ、ＳＤ、ＳＳＨ、ＦＬが、同じ単位（例えば、「ｃｍ」）で表されていることとしている。また、実際には、被写体ＳＢ側からみたレンズシステムＬＳの主点が、結像ＰＩ側からみたレンズシステムＬＳの主点と、異なる場合もある。ただし、図６に示す関係においては、その差違は十分に小さいので、その差違を省略している。

ここで、被写体の画像上のサイズＳＩＨは、結像ＰＩのサイズＳＳＨにデジタルズーム倍率ＤＺＲを乗じて得られる値と同じである（ＳＩＨ＝ＳＳＨ＊ＤＺＲ）。画像上の被写体のサイズＳＩＨは、実際には、画素数で表される。そして、撮像素子ＩＳの高さＳＨは、総画素数ＩＨに相当する。これらから、結像ＰＩのサイズＳＳＨは、画素数ＳＩＨを用いて、ミリメータ単位で以下の式（２）で表される。
ＳＳＨ＝（ＳＩＨ＊ＳＨ／ＩＨ／）／ＤＺＲ ．．．（式２）
ここで、撮像素子ＩＳの高さＳＨが、ミリメータ単位で表されていることとしている。

上述の式（１）と式（２）とから、被写体ＳＢの実サイズＡＳは、以下の式（３）で表される。
ＡＳ＝（ＳＤ＊１００）＊（（ＳＩＨ＊ＳＨ／ＩＨ）／ＤＺＲ）／ＦＬ ．．．（式３）
ここで、各パラメータの単位が以下のように設定されていることとする。すなわち、被写体ＳＢの実サイズＡＳは「ｃｍ」単位で表され、被写体距離ＳＤは「ｍ」単位で表され、撮像素子ＩＳの高さＳＨは「ｍｍ」単位で表され、レンズ焦点距離ＦＬは「ｍｍ」単位で表されている。

以上の「式３」に従って、サイズ算出モジュール４１０（図２）は、顔領域に対応する実サイズを算出する。図５（Ａ）に示す第１実サイズＡＳ１は、第１顔領域ＦＡ１の高さＳＩＨ１から算出された実サイズを示し、図５（Ｂ）に示す第２実サイズＡＳ２は、第２顔領域ＦＡ２の高さＳＩＨ２から算出された実サイズを示している。上述したように、顔領域のサイズは、顔の対象画像上のサイズと相関がある。従って、算出された実サイズは、被写体の顔の実際のサイズ（例えば、頭の頂上から顎の先端までの長さ）と正の相関がある。すなわち、算出された実サイズが大きいほど、被写体の顔の実際のサイズは大きい。なお、この実サイズは、特許請求の範囲における「サイズ指標値」に相当する。

図４の次のステップＳ１３０では、画像処理モジュール４２０（図２）は、算出された実サイズが１５ｃｍよりも大きいか否かを判断する。実サイズが１５ｃｍより大きい場合には、画像処理モジュール４２０は、ステップＳ１４０の処理を実行する。例えば、図５（Ａ）に示す第１実サイズＡＳ１が１５ｃｍよりも大きいこととする。この場合、画像処理モジュール４２０は、第１対象画像ＩＭＧ１を処理するために、ステップＳ１４０に移行する。

図７は、ステップＳ１４０の処理の概略図である。本実施例では、図４に示すように、ステップＳ１４０は、３つのステップＳ１４２、Ｓ１４４、Ｓ１４６を含んでいる。

最初のステップＳ１４２は、顔を小さくする変形処理である。本実施例では、この変形処理は、顔の下半分を小さくする。換言すれば、この変形処理は、顔の顎のラインを細くする。撮像によって生成された画像は、被写体の幅が実際の幅よりも広いという印象を、観察者に与えやすい。この変形処理によって、画像の観察者が受ける印象を、実際の被写体の印象に近づけることができる。

画像処理モジュール４２０は、このような変形処理を、公知の種々の方法に従って実行可能である。例えば、画像処理モジュール４２０は、変形の対象部分を表す変形領域を決定し、この変形領域内の画像を変形してもよい。変形領域は、顔の下部分を含む部分領域である。このような変形領域としては、例えば、顔領域に基づいて所定の規則に従って決まる領域を採用可能である。例えば、顔領域を所定の規則に従って拡大した領域を採用可能である。図７の実施例では、第１顔領域ＦＡ１に基づいて変形領域ＤＡ１が設定されている。また、変形領域ＤＡ１内の画像の変形方法としても、公知の種々の方法を採用可能である。例えば、変形領域ＤＡ１を所定のパターンに従って複数の小領域に分割し、各小領域を所定の規則に従って拡大、あるいは、縮小する方法を採用可能である。

なお、変形処理は、顔の少なくとも一部分を小さくする処理であればよい。例えば、顔の目よりも下の部分の幅を小さくする処理を採用してもよい。また、顔の全体の幅を小さくする処理を採用してもよい。

次のステップＳ１４４（図４）は、顔（特に肌）の色を補正する処理である。この色補正処理は、対象画像の観察者が受ける顔（肌）の色の印象を、実際の被写体の印象に近づけるための処理である。例えば、肌色の明るさを高めてもよい。また、肌色の色相を所定の色相に近づけてもよい。画像処理モジュール４２０（図２）は、このような色補正の対象画素として、顔の肌色を示す画素を選択する。このような対象画素の選択方法としては、種々の方法を採用可能である。例えば、画像処理モジュール４２０は、顔領域内の肌色画素を選択してもよい。ここで、肌色画素は、所定の肌色範囲の色を示す画素を意味している。また、画像処理モジュール４２０は、顔領域内の肌色画素に加えて、顔領域の周辺部分の肌色画素を選択してもよい。

次のステップＳ１４６（図４）は、顔（特に肌）のぼかし処理である。このぼかし処理は、対象画像中のノイズを低減する処理である。このようなぼかし処理としては、種々の処理を採用可能である。例えば、いわゆるアンシャープマスクを利用したシャープネス低減処理を採用可能である。なお、本実施例では、画像処理モジュール４２０は、ぼかし処理の対象画素として、顔の肌色を示す画素を選択する。対象画素の選択方法としては、色補正（ステップＳ１４４）の対象画素の選択方法と同様に、種々の方法を採用可能である。

一方、実サイズが１５ｃｍ以下である場合には、画像処理モジュール４２０は、ステップＳ１５０の処理を実行する（図４）。例えば、図５（Ｂ）に示す第２実サイズＡＳ２が１５ｃｍ以下であることとする。この場合、画像処理モジュール４２０は、第２対象画像ＩＭＧ２を処理するために、ステップＳ１５０に移行する。

図８は、ステップＳ１５０の処理の概略図である。本実施例では、図４に示すように、ステップＳ１５０は、２つのステップＳ１５２、Ｓ１５４を含んでいる。

最初のステップＳ１５２では、顔領域検出モジュール４００（図２）は、目領域を検出する。目領域は、目の画像を含む領域を意味している。目領域は、ステップＳ１００で検出された顔領域から検出される。図８に示す実施例では、２つの目領域ＤＡ２ａ、ＤＡ２ｂが検出されている。本実施例では、１つの目領域は、１つの目を含むように設定される。なお、顔領域検出モジュール４００は、顔領域の検出と同様に、目領域を検出する。

次のステップＳ１５４では、画像処理モジュール４２０（図２）は、目領域のシャープネス強調処理を実行する。これにより、対象画像における目をくっきりさせることができる。なお、シャープネス強調処理としては、種々の処理を採用可能である。例えば、いわゆるアンシャープマスクを利用したシャープネス強調処理を採用可能である。

サイズ算出モジュール４１０（図２）と画像処理モジュール４２０とは、図４のステップＳ１２０〜Ｓ１５０の処理を、検出された顔領域毎に繰り返し実行する。例えば、１枚の対象画像に大人と子供とが写っている場合には、画像処理モジュール４２０は、大人の顔にはステップＳ１４０の処理を実行し、子供の顔にはステップＳ１５０の処理を実行する。全ての顔領域に関する処理が完了した場合には（ステップＳ１６０：Ｙｅｓ）、処理がステップＳ１７０に移行する。なお、顔が検出されなかった場合には、サイズ算出モジュール４１０と画像処理モジュール４２０とは、ステップＳ１２０〜Ｓ１６０の処理を、キャンセルする。

ステップＳ１７０では、印刷データ生成モジュール４３０は、画像処理モジュール４２０による処理後の画像データを利用して、印刷データを生成する。印刷データのフォーマットとしては、印刷エンジン３００に適した任意の形式を採用可能である。例えば、本実施例では、印刷データ生成モジュール４３０は、解像度変換処理、色変換処理、ハーフトーン処理を実行することによって、各インクのドットの記録状態を表す印刷データを生成する。そして、印刷データ生成モジュール４３０は、生成した印刷データを印刷エンジン３００（図１）に供給する。印刷エンジン３００は、受信した印刷データに従って印刷を実行する。そして、図４の処理が完了する。なお、印刷データ生成モジュール４３０と印刷エンジン３００（図１）との全体は、特許請求の範囲における「印刷部」に相当する。

以上のように、本実施例では、画像処理モジュール４２０（図２）は、顔領域に対応する実サイズに応じて画像処理を実行する。従って、画像処理を、顔の実際のサイズに適合させることができる。その結果、画像処理を被写体の特徴に適合させることができる。特に、本実施例では、画像処理モジュール４２０は、実サイズが閾値より大きいか否かに応じて、処理を切り替えている。従って、画像処理モジュール４２０は、子供の顔と大人の顔とを区別して処理を実行することができる。なお、実サイズの閾値は、１５ｃｍに限らず、他の値を採用可能である。一般には、閾値を、実験的に決定すればよい。なお、本実施例では、実サイズが閾値以下の範囲は、特許請求の範囲における「第１範囲」に相当する。また、実サイズが閾値より大きい範囲は、「第２範囲」に相当する。

また、画像処理モジュール４２０は、実サイズが閾値以下の場合には、目領域のシャープネス強調処理を実行する（図４：Ｓ１５０）。これにより、目をくっきりさせることができる。その結果、対象画像上の子供の顔の印象を、実際の印象に近づけることができる。

なお、シャープネス強調処理の対象としては、目領域に限らず、顔の任意の部分を採用可能である。例えば、口の画像を含む口領域を採用してもよい。また、顔の全体を採用してもよい。

なお、ステップＳ１５０の処理としては、シャープネス強調処理に限らず、他の任意の処理を採用可能である。例えば、目を大きくする変形処理を採用してもよい。

また、画像処理モジュール４２０は、実サイズが閾値より大きい場合には、以下の３つの処理を実行する（図４：Ｓ１４０）。第１の処理は、顔を小さくする処理である。第２の処理は、顔の肌の色の補正処理である。第３の処理は、顔の肌のぼかし処理である。これらの結果、対象画像上の大人の顔の印象を、実際の印象に近づけることができる。

なお、ステップＳ１４０の処理としては、これら３つの処理の全ての代わりに、３つの処理から任意に選択された１つあるいは２つの処理を採用してもよい。例えば、顔を小さくする処理のみを採用してもよい。また、顔の肌のぼかし処理のみを採用してもよい。これらの２つの処理を採用してもよい。また、ステップＳ１４０の処理としては、これらの処理に限らず、他の任意の処理を採用可能である。

なお、一般には、ステップＳ１４０の処理が、ステップＳ１５０の処理では実行されない処理を含むことが好ましい。また、ステップＳ１５０が、ステップＳ１４０では実行されない処理を含むことが好ましい。

Ｂ．第２実施例：
図９は、印刷処理の別の実施例を示すフローチャートである。図４に示す実施例との差違は、実サイズが１５ｃｍよりも大きい場合に、画像処理モジュール４２０が、実サイズの異なる２つの範囲のそれぞれに応じた処理（ステップＳ１４０Ａ、Ｓ１４０Ｂ）を実行する点だけである。他の処理は、図４に示す実施例と同じである。なお、図９において、図４のステップと同じ処理を実行するステップには、図４のそのステップと同じ符号を付している。また、プリンタの構成は、図１、図２に示す第１実施例のプリンタ１００と同じである。

画像処理モジュール４２０（図２）は、実サイズが１５ｃｍよりも大きい場合には、さらに、次のステップＳ１３２で、実サイズが１９ｃｍよりも大きいか否かを判断する。実サイズが１９ｃｍ以下の場合には、画像処理モジュール４２０は、ステップＳ１４０Ａの処理を実行する。ステップＳ１４０Ａは、図４のステップＳ１４０と同様に、顔を小さくする変形処理（Ｓ１４２Ａ）と、色補正処理（Ｓ１４４）と、ぼかし処理（Ｓ１４６）とを含んでいる。

実サイズが１９ｃｍよりも大きい場合には、画像処理モジュール４２０は、ステップＳ１４０Ｂの処理を実行する。このステップＳ１４０Ｂも、ステップＳ１４０Ａと同様に、顔を小さくする変形処理（Ｓ１４２Ｂ）と、色補正処理（Ｓ１４４）と、ぼかし処理（Ｓ１４６）とを含んでいる。ただし、このステップＳ１４０Ｂの変形処理Ｓ１４２Ｂでの変形の度合いは、ステップＳ１４０Ａの変形処理Ｓ１４２Ａでの変形の度合いよりも強い。すなわち、顔の対象画像上の大きさが同じ場合であっても、実サイズが大きい場合には、変形後の顔がより細くなる。

このように、本実施例では、実サイズが大きい場合には、強い変形によって、対象画像の観察者が覚える違和感を低減できる。また、実サイズが中程度である場合には、弱い変形によって、顔の過剰な変形を防止できる。

なお、実サイズの区分数としては、図４に示す２区分や、図９に示す３区分に限らず、４区分以上であってもよい。いずれの場合も、変形処理の度合いは、実サイズが大きいほど強いことが好ましい。

Ｃ．第３実施例：
図１０は、実サイズに応じた処理の別の実施例を示す概略図である。本実施例では、画像処理モジュール４２０（図２）は、複数の画像の中から、実サイズが閾値未満である顔を含む画像を選択する。そして、印刷データ生成モジュール４３０は、選択された画像（画像データ）を利用して、印刷データを生成する。顔領域の検出と、実サイズの算出と、印刷とは、図４に示す実施例と同様に行われる。これらの結果、複数の画像の中から、子供が写った画像を自動的に印刷することができる。なお、本実施例では、実サイズが閾値未満の範囲が、特許請求の範囲における「第１範囲」に相当する。そして、画像を選択する処理が「第１処理」に相当する。なお、閾値は、１５ｃｍに限らず、他の値を採用可能である。

なお、複数の画像としては、予め準備された任意の複数の画像を採用可能である。例えば、制御部２００（図１）は、メモリカードＭＣ（図１）に格納された複数の画像（例えば、画像ファイル）から、自動的に画像を選択してもよい。また、制御部２００は、ユーザによって予め選択された複数の画像から、自動的に画像を選択してもよい。

また、画像処理モジュール４２０は、実サイズが閾値未満の顔を含む画像を選択する代わりに、実サイズが閾値より大きい顔を含む画像を選択してもよい。この場合には、複数の画像の中から、大人が写った画像を自動的に印刷することができる。また、実サイズが閾値よりも大きい範囲が、特許請求の範囲における「第１範囲」に相当する。

なお、画像処理モジュール４２０による選択結果の用途としては、印刷に限らず、任意の用途を採用可能である。例えば、選択された画像を表す画像ファイルを、メモリカードＭＣの特定のフォルダにコピーしてもよい。

Ｄ．第４実施例：
図１１は、別の実施例としてのデジタルスチルカメラ５００を示す説明図である。このデジタルスチルカメラ５００は、制御部２００と、撮像部６００と、ディスプレイ６１０と、操作部６２０と、カードＩ／Ｆ６３０と、を備えている。

制御部２００の構成は、図１、図２に示す実施例と同じである。ただし、印刷データ生成モジュール４３０と機種サイズテーブル４４０とは省略可能である（図２）。

撮像部６００は、撮像によって画像データを生成する装置である。撮像部６００は、レンズシステムと撮像素子と画像データ生成部とを有している（図示省略）。

ディスプレイ６１０と、操作部６２０と、カードＩ／Ｆ６３０とは、図１に示すディスプレイ３１０と、操作パネル３２０と、カードＩ／Ｆ３３０と、それぞれ同様である。

制御部２００は、ユーザの指示に従って、撮像部６００に撮像させる。撮像部６００は、撮像によって画像データを生成し、生成した画像データを制御部２００に供給する。制御部２００は、受信した画像データを用いた画像処理を実行し、処理済みの画像データを格納する画像ファイルを、メモリ（例えば、メモリカードＭＣ）に格納する。

制御部２００による画像処理としては、図４、図９に示す実施例と同様の処理を採用可能である。ただし、本実施例では、ステップＳ１７０での印刷の代わりに、画像処理モジュール４２０（図２）が、画像ファイルをメモリカードＭＣに格納する。また、サイズ算出モジュール４１０は、被写体距離と、レンズ焦点距離と、デジタルズーム倍率とを、撮像部６００から取得する。サイズ算出モジュール４１０は、撮像素子のサイズとしては、所定の値を利用する。

以上のように、実サイズに応じた画像処理をデジタルスチルカメラ５００による撮像に適用すれば、顔の実際のサイズに適した画像を、撮像によって得ることができる。

Ｅ．変形例：
なお、上記各実施例における構成要素の中の、独立クレームでクレームされた要素以外の要素は、付加的な要素であり、適宜省略可能である。また、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

変形例１：
上述の各実施例において、顔や目や口等の器官の画像を含む領域を対象画像から検出する方法としては、パターンマッチングによる方法に限らず、任意の方法を採用可能である。例えば、ブースティング（たとえばAdaBoost）や、サポートベクターマシンや、ニューラルネットワークを採用可能である。

変形例２：
上述の各実施例において、サイズ指標値としては、顔の実際のサイズと相関のある種々の値を採用可能である。例えば、サイズ指標値は、顔のサイズを反映する種々のサイズに相当してよい。すなわち、サイズ指標値は、顔と関連のある種々のサイズに相当してよい。例えば、上述の各実施例のように、サイズ指標値が、顔領域のサイズに相当してもよい。ここで、撮像素子ＩＳの幅方向（受光領域の長辺方向に相当する）の長さを利用してもよい。また、サイズ指標値が、顔内の器官の位置を基準とする２つの位置の間の距離に相当してもよい。例えば、サイズ指標値が、両目の中間位置と口との間の距離に相当してもよい。いずれの場合も、サイズ算出モジュール４１０は、顔のサイズを反映する種々のサイズ（対象画像上のサイズ）から、サイズ指標値を算出可能である。例えば、サイズ指標値が、両目の中間位置と口との間の距離に相当すると仮定する。この場合には、サイズ算出モジュール４１０は、対象画像上における両目の中間位置と口との間の距離（画素数）から、サイズ指標値を算出すればよい。ここで、サイズ算出モジュール４１０は、顔領域検出モジュール４００によって検出された目と口とを利用すればよい。なお、サイズ指標値は、距離（長さ）に限らず面積等の種々のサイズに相当してよい。

顔のサイズを反映する対象画像上のサイズ（例えば、長さ）からサイズ指標値を算出するために利用される情報は、以下の情報を含むことが好ましい。
１）対象画像の撮像時における撮像装置から人物までの距離と相関のある撮像距離情報
２）撮像時における撮像装置のレンズ焦点距離と相関のある焦点距離情報
３）撮像装置の撮像素子上の受光領域の対象画像を生成した部分のサイズと関連のある撮像素子情報
図６に示す実施例では、これらの情報に加えて、デジタルズーム倍率ＤＺＲを利用している。ただし、デジタルズーム機能を持たない撮像装置によって生成された画像データを利用する場合には、サイズ算出モジュール４１０（図２）は、デジタルズーム倍率ＤＺＲを利用せずにサイズ指標値を算出すればよい。

撮像素子情報としては、メーカ名とモデル名との組合せを利用してもよい。また、撮像装置の中には、ユーザの指示に従って、撮像素子（全受光領域）の周辺部分の画素をクロップして画像データを生成するものがある。このような画像データを利用する場合には、サイズ算出モジュール４１０は、撮像素子（より具体的には全受光領域）のサイズの代わりに、クロップ後の残りの画素が占める受光領域のサイズを、利用すればよい（すなわち、受光領域の対象画像を生成した部分のサイズ）。サイズ算出モジュール４１０は、このような部分のサイズを、クロップ無しの画像データのサイズ（例えば、高さや幅）に対するクロップ有りの画像データのサイズの比率と、全受光領域のサイズと、から算出可能である（これらの情報が、撮像素子情報によって特定されることが好ましい）。なお、クロップ無しで対象画像（対象画像データ）が生成された場合には、撮像素子の全受光領域が、対象画像を生成した部分に相当する。いずれの場合も、撮像素子情報が、受光領域の長辺と短辺との少なくとも一方の長さを特定することが好ましい。一方の長さを特定すれば、対象画像の縦横比率から他方の長さも特定可能である。

また、撮像装置の中には、被写体距離ＳＤの代わりに、被写体距離レンジを画像ファイルに記録するものがある。このような画像ファイルを利用する場合には、サイズ算出モジュール４１０は、被写体距離ＳＤの代わりに被写体距離レンジを利用すればよい。被写体距離レンジは、例えば、被写体距離を、「マクロ」、「近景」、「遠景」の３段階で示している。そこで、３段階のそれぞれに予め代表距離を対応付けておき、サイズ算出モジュール４１０は、その代表距離を利用して実サイズを算出すればよい。

なお、一般には、サイズ指標値の算出方法としては、対象画像に関連付けられた関連情報と、顔のサイズを反映する対象画像上のサイズ（例えば、長さ）と、を利用する種々の方法を採用可能である。ここで、関連情報としては、対象画像上のサイズ（例えば、長さ。単位は画素数）と実際のサイズとの対応関係を決定可能な任意の情報を採用可能である。例えば、撮像装置が、画像上の長さ（画素数）に対する、実際の長さ（例えば、センチメートル）の比率を出力してもよい。このような比率を利用可能な場合には、サイズ算出モジュール４１０は、この比率を利用してサイズ指標値を算出すればよい。

変形例３：
上述の各実施例において、サイズ指標値（実施例での実サイズ）に従った対象画像に対する特定の処理としては、図４、図９、図１０に示す処理に限らず、種々の処理を採用可能である。一般には、対象画像に関する処理の内容がサイズ指標値に従って変化することが好ましい。例えば、図４の実施例において、ステップＳ１５０を省略してもよい。この場合には、ステップＳ１４０の処理が、特許請求の範囲における「第１処理」に相当する。この代わりに、ステップＳ１４０を省略してもよい。この場合には、ステップＳ１５０の処理が「第１処理」に相当する。また、図９に示す実施例において、ステップＳ１４０Ａ、Ｓ１４０Ｂ、Ｓ１５０の内の、任意の１つあるいは２つのステップを省略してもよい。いずれの場合も、対象画像に対する処理は、図４や図９に示す実施例のように、対象画像自体を修正する処理であってよい。また、対象画像に対する処理は、図１０に示す実施例のように、対象画像自体の修正の無い処理であってもよい。

画像処理モジュール４２０（図２）は、サイズ指標値が第１範囲内にある場合に、第１処理を実行すればよい。こうすれば、第１範囲内のサイズ指標値に相当する実サイズの顔を表す画像に関して、意図的に第１処理を実行することができる。ここで、サイズ指標値が第１範囲外にある場合には、画像処理モジュール４２０は、第１処理の実行をキャンセルすることが好ましい。こうすれば、第１範囲外のサイズ指標値に相当する実サイズの顔を表す画像に関して、意図しない第１処理が実行されることを防止できる。

また、第１範囲とは重ならない第２範囲内にサイズ指標値がある場合には、画像処理モジュール４２０は、第１処理とは異なる第２処理を実行することが好ましい。こうすれば、第２範囲内のサイズ指標値に相当する実サイズの顔を表す画像に関して、第１処理とは異なる第２処理を意図的に実行することができる。ここで、図１０に示す実施例の第１処理と同様に、第２処理が対象画像自体の修正の無い処理であってもよい。例えば、画像処理モジュール４２０（図２）は、複数の画像を、実サイズが閾値以下の第１グループと、実サイズが閾値よりも大きい第２グループとに分類してもよい。この場合には、第１グループに分類する処理が第１処理に相当し、第２グループに分類する処理が第２処理に相当する。分類結果の用途は任意である。

なお、サイズ指標値の範囲としては、閾値より小さい範囲と閾値より大きい範囲とに限らず、上限値と下限値とによって決まる範囲を採用してもよい。

変形例４：
上述の各実施例において、サイズ指標値に従った処理を実行する画像処理装置としては、プリンタ１００（図１）やデジタルスチルカメラ５００（図１１）に限らず、任意の画像処理装置を採用可能である。例えば、汎用のコンピュータがサイズ指標値に従った処理を実行してもよい。

また、画像処理装置の構成としては、図１や図１１に示す構成に限らず、種々の構成を採用可能である。一般には、顔領域検出モジュール４００とサイズ算出モジュール４１０と画像処理モジュール４２０とを有する任意の構成を採用可能である。例えば、画像処理装置は、通信ケーブルやネットワークを介して画像生成装置（例えば、デジタルスチルカメラ等の撮像装置）から対象画像データを取得してもよい。また、画像処理装置が、書き換え可能な不揮発性メモリを備え、その不揮発性メモリが、機種サイズテーブル４４０（図２）を格納してもよい。そして、サイズ算出モジュール４１０が、機種サイズテーブル４４０を更新してもよい。更新としては、例えば、ユーザの指示に従った更新や、ネットワークを通じてダウンロードされた新しい機種サイズテーブル４４０への更新がある。

変形例５：
上述の各実施例において、処理対象の画像データとしては、デジタルスチルカメラによって生成された画像データ（静止画像データ）に限らず、種々の画像生成装置によって生成された画像データを利用可能である。例えば、デジタルビデオカメラによって生成された画像データ（動画像データ）を利用してもよい。この場合、図２のモジュール４００、４１０、４２０は、動画像に含まれる複数のフレーム画像の少なくとも一部を対象画像として利用することによって、顔領域の検出と、サイズ指標値の算出と、サイズ指標値に従った処理と、を実行すればよい。例えば、画像処理モジュール４２０は、複数の動画像の中から、サイズ指標値が閾値未満である顔を表すフレーム画像を含む動画像を選択してもよい。こうすれば、ユーザは、選択された動画像を利用することによって、子供が写った動画像を簡単に利用することができる。なお、対象画像（フレーム画像）を含む動画像の選択も、対象画像に対する処理（対象画像に関する処理）ということができる。

変形例６：
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図１のサイズ算出モジュール４１０の機能を、論理回路を有するハードウェア回路によって実現してもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の一実施例としてのプリンタ１００を示す説明図である。 ＲＯＭ２３０（図１）に格納されたモジュールとデータとを示す説明図である。 機種サイズテーブル４４０の一例を示す概略図である。 印刷処理の手順を示すフローチャートである。 顔領域の検出結果を示す概略図である。 画像上の画素数と実サイズとの関係を示す説明図である。 ステップＳ１４０の処理の概略図である。 ステップＳ１５０の処理の概略図である。 印刷処理の別の実施例を示すフローチャートである。 実サイズに応じた処理の別の実施例を示す概略図である。 別の実施例としてのデジタルスチルカメラ５００を示す説明図である。

符号の説明

１００…プリンタ
２００…制御部
２１０…ＣＰＵ
２２０…ＲＡＭ
２３０…ＲＯＭ
３００…印刷エンジン
３１０…ディスプレイ
３２０…操作パネル
３３０…カードＩ／Ｆ
４００…顔領域検出モジュール
４１０…サイズ算出モジュール
４２０…画像処理モジュール
４３０…印刷データ生成モジュール
４４０…機種サイズテーブル
５００…デジタルスチルカメラ
６００…撮像部
６１０…ディスプレイ
６２０…操作部
６３０…カードＩ／Ｆ
ＭＣ…メモリカード
ＰＰ…主点
ＬＳ…レンズシステム
ＩＳ…撮像素子

Claims (9)

1. 画像処理装置であって、
   対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する顔領域検出部と、
   前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出するサイズ算出部と、
   前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する画像処理部と、
   を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画像処理部は、第１範囲内に前記サイズ指標値がある場合に第１処理を実行する、
   画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記画像処理部は、前記第１範囲とは重ならない第２範囲内に前記サイズ指標値がある場合に、前記第１処理とは異なる第２処理を実行する、
   画像処理装置。
4. 請求項２または請求項３に記載の画像処理装置であって、
   前記画像処理部は、前記第１処理として、前記対象画像上における前記顔の少なくとも一部分に対してシャープネス強調処理を実行する、
   画像処理装置。
5. 請求項３に記載の画像処理装置であって、
   前記第２範囲は、前記第１範囲よりも大きい範囲であり、
   前記画像処理部は、前記第２処理として、前記対象画像上における前記顔の少なくとも一部分を小さくする処理を実行する、
   画像処理装置。
6. 請求項１ないし請求項５のいずれかに記載の画像処理装置であって、
   前記対象画像は撮像装置によって生成された画像であり、
   前記関連情報は、前記対象画像の撮像時における前記撮像装置から前記人物までの距離と相関のある撮像距離情報と、前記撮像時における前記撮像装置のレンズ焦点距離と相関のある焦点距離情報と、前記撮像装置の撮像素子上の受光領域の前記対象画像を生成した部分のサイズと関連のある撮像素子情報と、を含み、
   前記サイズ算出部は、前記関連情報と、前記顔のサイズを反映する前記対象画像上のサイズと、を利用して、前記サイズ指標値を算出する、
   画像処理装置。
7. プリンタであって、
   対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する顔領域検出部と、
   前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出するサイズ算出部と、
   前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する画像処理部と、
   前記画像処理部による処理後の前記対象画像を印刷する印刷部と、
   を備えるプリンタ。
8. 画像処理方法であって、
   対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する工程と、
   前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出する工程と、
   前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する工程と、
   を備える画像処理方法。
9. 画像処理のためのコンピュータプログラムであって、
   対象画像における人物の顔の少なくとも一部の画像を含む顔領域を検出する機能と、
   前記対象画像に関連付けられた関連情報と、前記対象画像とを利用して、前記顔の実際のサイズと相関のあるサイズ指標値を算出する機能と、
   前記サイズ指標値に従って前記対象画像に対して特定の処理を実行する機能と、
   をコンピュータに実現させるコンピュータプログラム。

Images