JP2007200091A - 画像処理装置 - Google Patents

Abstract

【課題】デジタル画像から抽出した顔領域を変倍してテンプレートに合成する際に、合成画像の画質の劣化を防止する。
【解決手段】モニタに一覧で表示された撮影画像からいずれかを選択する。選択した撮影画像から人物の顔画像を含む顔領域が抽出され、この顔領域のサイズが検出される。顔領域のサイズおよび解像度に基づいて限界サイズ範囲が算出される。ＰＣに格納されている全てのテンプレート画像の画像合成領域のサイズが、限界サイズ範囲に含まれるか否かの判定が行われる。この判定結果に基づいて、顔領域に適合するテンプレート画像には「○」の印が、不適合のテンプレート画像には「×」の印が一覧で表示される。ユーザは「○」の印が表示されたテンプレート画像を選択することで、画質が劣化しない合成画像を作成することができる。
【選択図】図７

Description

本発明は、デジタル画像から被写体の顔画像を含む顔領域を抽出し、この顔領域を所定のサイズに変倍して合成する画像処理装置に関するものである。

近年、デジタルカメラの普及により、ユーザはデジタルカメラで撮影した画像データをパーソナルコンピュータに転送し、モニタに表示された撮影画像を確認しながら、自らプリンタで写真プリントを作成することが可能となっている。さらに、パーソナルコンピュータには撮影画像から被写体の顔画像を含む顔領域を抽出し、この顔領域を拡大、縮小してモニタに表示することや、この顔領域をテンプレート画像に合成して合成画像を作成する画像処理機能を備えている。拡大された顔領域の画像データには補間処理が行われ、また縮小された顔領域の画像データには間引き処理が行われてモニタに出力される。このように作成された合成画像は、プリンタによってプリント出力される。

このような画像処理機能を用いて、例えば証明写真を得る場合、テンプレート画像の指定位置（画像合成領域）に、大きさを調整した人物の顔画像を重ね合わせて合成画像を作成し、写真プリントとしてプリント出力している（特許文献１）。また、スナップ写真や記念写真を得る場合、人物画像を目立つ部分に配置するように、撮影した画像データから人物画像データ、及び画像全体に対する人物画像の位置及び大きさを示す人物座標情報を抽出し、この人物座標情報に基づいて人物画像の配置位置や大きさが決定され、人物画像データを拡大、縮小、及び変位した補正画像データを作成し、この補正画像データをプリンタに出力している（特許文献２）。
特開２０００−２７０１９９号公報 特開２００４−２０７９８７号公報

特許文献１及び２では、画像から顔画像や人物画像を抽出し、抽出した顔画像や人物画像を所望の大きさに拡大、縮小してテンプレート画像に重ね合わせて合成画像を作成している。しかしながら、顔画像や人物画像を拡大または縮小する際に、画像の解像度（画素数）を無視した拡大、縮小が行われると、プリント画像の画質が劣化するという問題がある。また、抽出した顔領域だけを用紙サイズに設定されたプリント領域に合わせて拡大、縮小を行い、プリンタに出力される場合もプリント画像の画質が劣化するという問題がある。

本発明は、上記問題を解決するためのものであり、デジタル画像から抽出した顔領域を拡大、縮小する際に、画質が劣化することを防ぐことができる画像処理装置を提供することを目的とする。

上記問題を解決するために、請求項１記載の画像処理装置は、デジタル画像から被写体の顔画像を含む顔領域を抽出する顔領域抽出手段と、サイズの異なる画像合成領域を有する複数のテンプレートを記憶する記憶手段とを備え、前記抽出された顔領域をテンプレートの前記画像合成領域のサイズに合わせて変倍して合成する画像処理装置において、入力手段から入力されたデジタル画像を選択する選択手段と、前記顔領域抽出手段によって前記選択されたデジタル画像から前記顔領域が抽出された際に、この顔領域のサイズを検出する顔領域サイズ検出手段と、前記顔領域のサイズおよび解像度に基づいて、前記顔領域を拡大した際の限界サイズおよび縮小した際の限界サイズからなる限界サイズ範囲を算出する限界サイズ範囲算出手段と、前記各テンプレートの前記画像合成領域のサイズが前記限界サイズ範囲に含まれるかを判定し、前記限界サイズ範囲に含まれると判定された際に、この判定された画像合成領域を有する前記テンプレートに適合情報を付加する付加手段と、前記適合情報が付加された前記テンプレートを表示する表示手段とを備えたものである。

また、請求項２に記載の画像処理装置は、デジタル画像から被写体の顔画像を含む顔領域を抽出する顔領域抽出手段と、サイズの異なる画像合成領域を有する複数のテンプレートを記憶する記憶手段とを備え、前記抽出された顔領域をテンプレートの前記画像合成領域のサイズに合わせて変倍して合成する画像処理装置において、前記記憶手段に記憶された複数の前記テンプレートからいずれかを選択する選択手段と、入力手段から入力されたデジタル画像から前記顔領域抽出手段によって顔領域が抽出された際に、この顔領域のサイズを検出する顔領域サイズ検出手段と、前記顔領域のサイズおよび解像度に基づいて、前記顔領域を拡大した際の限界サイズおよび縮小した際の限界サイズからなる限界サイズ範囲を算出する限界サイズ算出手段と、前記選択されたテンプレートの画像合成領域のサイズが前記限界サイズ範囲に含まれるかを判定し、前記限界サイズ範囲に含まれると判定された際に、前記限界サイズ範囲を算出した顔領域を有するデジタル画像に適合情報を付加する付加手段と、前記適合情報が付加された前記デジタル画像を表示する表示手段とを備えたことを特徴とするものである。

また、請求項３に記載の画像処理装置は、デジタル画像から被写体の顔画像を含む顔領域を抽出する顔領域抽出手段と、プリンタで印刷可能な用紙サイズ、およびこの用紙サイズに応じて設定されたプリント領域に関する用紙情報を記憶する記憶手段とを備え、前記各用紙サイズに設定されたプリント領域の大きさに合わせて前記顔領域を変倍し、この変倍した顔領域の画像を前記プリンタに出力する画像処理装置において、入力手段から入力されたデジタル画像を選択する選択手段と、前記顔領域抽出手段によって前記選択されたデジタル画像から顔領域が抽出された際に、この顔領域のサイズを検出する顔領域サイズ検出手段と、前記顔領域のサイズおよび解像度に基づいて、前記顔領域を拡大した際の限界サイズおよび縮小した際の限界サイズからなる限界サイズ範囲を算出する限界サイズ範囲算出手段と、前記用紙情報に基づいて、各用紙サイズに設定されたプリント領域の大きさが前記限界サイズ範囲に含まれるかを判定し、前記限界サイズ範囲に含まれると判定された際に、この判定されたプリント領域に関する用紙情報に適合情報を付加する付加手段と、前記適合情報が付加された前記用紙情報に基づいて、前記用紙サイズを表示する表示手段とを備えたことを特徴とするものである。

また、請求項４に記載の画像処理装置は、デジタル画像から被写体の顔画像を含む顔領域を抽出する顔領域抽出手段と、プリンタで印刷可能な用紙サイズ、およびこの用紙サイズに応じて設定されたプリント領域に関する用紙情報を記憶する記憶手段とを備え、前記各用紙サイズに設定されたプリント領域の大きさに合わせて前記顔領域を変倍し、この変倍した顔領域の画像を前記プリンタに出力する画像処理装置において、前記記憶手段に記憶された用紙情報に基づいて、所定の用紙サイズを選択する選択手段と、入力手段から入力されたデジタル画像から前記顔領域抽出手段によって顔領域が抽出された際に、この顔領域のサイズを検出する顔領域サイズ検出手段と、前記顔領域のサイズおよび解像度に基づいて、前記顔領域を拡大した際の限界サイズおよび縮小した際の限界サイズからなる限界サイズ範囲を算出する限界サイズ範囲算出手段と、前記選択された用紙サイズに関する用紙情報に基づいて、前記選択された用紙サイズに設定されたプリント領域の大きさが前記限界サイズ範囲に含まれるかを判定し、前記限界サイズ範囲に含まれると判定された際に、この限界サイズ範囲を算出した顔領域を有するデジタル画像に適合情報を付加する付加手段と、前記適合情報が付加されたデジタル画像を表示する表示手段とを備えたことを特徴とするものである。

請求項１記載の画像処理装置によると、入力手段から入力されたデジタル画像を選択する選択手段と、顔領域抽出手段によって選択されたデジタル画像から顔領域が抽出された際に、この顔領域のサイズを検出する顔領域サイズ検出手段と、顔領域のサイズおよび解像度に基づいて、顔領域を拡大した際の限界サイズおよび縮小した際の限界サイズからなる限界サイズ範囲を算出する限界サイズ範囲算出手段と、各テンプレートの画像合成領域のサイズが限界サイズ範囲に含まれるかを判定し、限界サイズ範囲に含まれると判定された際に、この判定された画像合成領域を有するテンプレートに適合情報を付加する付加手段と、適合情報が付加されたテンプレートを表示する表示手段とを備えたので、ユーザは画像合成領域のサイズに合わせて顔領域を変倍して合成画像を作成する際に、顔領域に対して最適なテンプレートを選択することができる。

請求項２記載の画像処理装置によれば、記憶手段に記憶された複数のテンプレートからいずれかを選択する選択手段と、入力手段から入力されたデジタル画像から顔領域抽出手段によって顔領域が抽出された際に、この顔領域のサイズを検出する顔領域サイズ検出手段と、顔領域のサイズおよび解像度に基づいて、顔領域を拡大した際の限界サイズおよび縮小した際の限界サイズからなる限界サイズ範囲を算出する限界サイズ算出手段と、選択されたテンプレートの画像合成領域のサイズが限界サイズ範囲に含まれるかを判定し、限界サイズ範囲に含まれると判定された際に、限界サイズ範囲を算出した顔領域を有するデジタル画像に適合情報を付加する付加手段と、適合情報が付加されたデジタル画像を表示する表示手段とを備えたので、選択されたテンプレートの画像合成領域サイズに合わせ、顔領域を変倍して合成画像を作成する際に、画像合成領域に対して最適なサイズの顔領域を有するデジタル画像を選択することができる。

請求項３記載の画像処理装置によれば、入力手段から入力されたデジタル画像を選択する選択手段と、顔領域抽出手段によって選択されたデジタル画像から顔領域が抽出された際に、この顔領域のサイズを検出する顔領域サイズ検出手段と、顔領域のサイズおよび解像度に基づいて、顔領域を拡大した際の限界サイズおよび縮小した際の限界サイズからなる限界サイズ範囲を算出する限界サイズ範囲算出手段と、用紙情報に基づいて、各用紙サイズに設定されたプリント領域の大きさが限界サイズ範囲に含まれるかを判定し、限界サイズ範囲に含まれると判定された際に、この判定されたプリント領域に関する用紙情報に適合情報を付加する付加手段と、適合情報が付加された用紙情報に基づいて、用紙サイズを表示する表示手段とを備えたので、選択された撮影画像の顔領域に対して最適な用紙サイズを選択することができる。

請求項４記載の画像処理装置によれば、記憶手段に記憶された用紙情報に基づいて、所定の用紙サイズを選択する選択手段と、入力手段から入力されたデジタル画像から顔領域抽出手段によって顔領域が抽出された際に、この顔領域のサイズを検出する顔領域サイズ検出手段と、顔領域のサイズおよび解像度に基づいて、顔領域を拡大した際の限界サイズおよび縮小した際の限界サイズからなる限界サイズ範囲を算出する限界サイズ範囲算出手段と、選択された用紙サイズに関する用紙情報に基づいて、選択された用紙サイズに設定されたプリント領域の大きさが限界サイズ範囲に含まれるかを判定し、限界サイズ範囲に含まれると判定された際に、この限界サイズ範囲を算出した顔領域を有するデジタル画像に適合情報を付加する付加手段と、適合情報が付加されたデジタル画像を表示する表示手段とを備えたので、選択された用紙サイズに設定されたプリント領域に対して最適な顔領域を有した撮影画像を選択することができる。

図１に示すように、画像処理装置であるパーソナルコンピュータ２には、入力手段であるデジタルカメラ３及びプリンタ４が接続されており、プリントシステム５を構成している。デジタルカメラ３で撮影して得られた撮影画像データ、またはメモリカードやＣＤ−Ｒなどの記録媒体に記録された撮影画像データ（写真フイルムをＴＩＦＦまたはＪＰＥＧ形式でデジタイズしたものも含む）は、パーソナルコンピュータ２（以下、ＰＣ２と略す）に取り込まれ、表示手段であるモニタ１０に表示される。表示された撮影画像をプリンタ４によってプリント出力することでプリント画像が容易に作成される。

デジタルカメラ３及びプリンタ４は、例えば、ＩＥＥＥ１３９４、ＵＳＢ（Universal Serial Bus）などに準拠した通信ケーブルや無線ＬＡＮなどによってＰＣ２に接続され、ＰＣ２とのデータの相互通信が可能となっている。また、デジタルカメラ３に挿入されている記録媒体をＰＣ２に設けられた専用のドライバ（図示せず）に挿入することで、記録媒体に記録された撮影画像データの遣り取りが可能となっている。

ＰＣ２に接続されたデジタルカメラ３は、周知の撮像素子であるＣＣＤが設けられており、ＣＣＤによって撮像された被写体光は、光電変換されデジタルの撮影画像データとして出力される。この撮影画像データは、ホワイトバランス処理などの画像処理が施されていない原画像データ（ＲＡＷデータ）であり、例えば、ＲＧＢの色毎に１２ビットで表現される階調値を持った多数の画素データから構成される。

そして、撮影画像データは、ＲＧＢの色毎の階調値を１２ビットから８ビットに縮小され、ホワイトバランス処理や階調変換処理などの周知の画像処理が施された後、ＪＰＥＧで定められたフォーマットに従って圧縮処理が施され、圧縮画像データとして出力される。圧縮処理された圧縮画像データはメモリカードに記録される。また、入力手段であるデジタルカメラ３からＰＣ２に圧縮画像データが入力される場合には、メモリカードに記録された圧縮画像データが読み出され、デジタルカメラ３及びＰＣ２に設けられた通信Ｉ／Ｆ２９（図２参照）を介して入力される。

ＰＣ２の内部構成を示す図２において、ＣＰＵ２０は、データバス２１を介して各部と接続されており、ＰＣ２全体の動作を統括的に制御する。記憶手段であるハードディスクドライブ（ＨＤＤ）２２には、ＰＣ２を動作させるための各種プログラムやデータの他に、複数のテンプレートデータが格納されているテンプレートデータベース２３（以下、テンプレートＤＢという）、デジタルカメラ３から送信された複数の圧縮画像データが格納される画像データファイル２４、さらに、詳しくは後述するが、撮影画像から抽出した顔領域をテンプレートの画像合成領域に合わせて変倍、合成を行って合成画像を作成する画像合成用プログラム２５が記憶されている。

デジタルシグナルプロセッサ（ＤＳＰ）２７は、ＣＰＵ２０から圧縮画像データを受け渡された際に、その圧縮画像データに対して種々の画像処理を行う。モニタ１０はＬＣＤやＣＲＴなどからなり、モニタドライバ２８の制御下でＨＤＤ２２に記憶された圧縮画像データやテンプレートデータに基づいて撮影画像及びテンプレートを表示する。また、ＰＣ２はデジタルカメラ３から圧縮画像データの入力や、プリンタ４へ各種画像データ及びプリント指令を出力する通信Ｉ／Ｆ２９が設けられている。

ＣＰＵ２０は、ＨＤＤ２２から画像合成用プログラム２５や各種データを作業用メモリであるＲＡＭ３０に読み出して、各種処理を実行する。また、ＣＰＵ２０は、キーボード３１やマウス３２（図１参照）などからなる操作部３３を介してユーザからの操作指示を受け、ＰＣ２の各部を動作させる。

ＤＳＰ２７には、顔領域抽出部３５、顔領域サイズ検出部３６、限界サイズ算出部３７、画像合成領域サイズ検出部３８、サイズ判定部３９、画像処理部４０が設けられている。ＤＳＰ２７に設けられた各部は、画像合成用プログラム２５に基づいて実行される。顔領域抽出部３５は、ユーザが選択手段であるマウス３２を用いて選択した撮影画像から人物（被写体）の顔画像を特定し、この顔画像を含む顔領域を抽出する。具体的には、撮影画像データで表わされる各画素の階調色から、画像の肌色部分を抽出し、この肌色部分の面積が予め設定された閾値以上であった場合に、その肌色部分を人物の顔画像として特定するようになっている。顔領域４１としては、図３に示すように特定された顔画像が収まるように矩形の領域（図中二点鎖線）が抽出される。そして、抽出された顔領域４１は顔領域サイズ検出部３６に出力される。なお、顔領域４１の抽出方法は、これに限らず、周知のエッジ検出法や２値化法などを用いてもよい。

顔領域サイズ検出部３６は、図３に示すように撮影画像４２の左上端を基準にして、顔領域４１の中心位置の座標（ｘ、ｙ）を検出し、さらに顔領域４１の横方向の長さｗと縦方向の長さｈから、顔領域サイズ（ｗ、ｈ）を検出する。

限界サイズ算出部３７は、顔領域４１のサイズ（ｗ、ｈ）及び解像度に基づいて、図４に示すように、顔領域４１を拡大した際の拡大限界サイズ（ｗ１、ｈ１）と、縮小した際の縮小限界サイズ（ｗ２、ｈ２）を算出する。拡大限界サイズ（ｗ１、ｈ１）および縮小限界サイズ（ｗ２、ｈ２）とは、抽出された顔領域４１を拡大および縮小した際に、画質をできるだけ劣化させずに拡大および縮小できる限界サイズのことである。そして、拡大限界サイズ（ｗ１、ｈ１）と縮小限界サイズ（ｗ２、ｈ２）からなる限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）がサイズ判定部３９に入力される。なお、図４の中央には、撮影画像から抽出されたサイズ（ｗ、ｈ）の顔領域４１が示されている。

画像合成領域サイズ検出部３８は、テンプレートＤＢ２３に予め準備された複数のテンプレートデータから、顔領域４１を合成する画像合成領域のサイズと画像合成領域の中心位置の座標を検出する。例えば、図５（Ａ）に示すように、テンプレート４３の場合では、画像合成領域サイズ検出部３８は画像合成領域４５の横方向の長さｗ３、縦方向の長さｈ３を検出し、画像合成領域４５のサイズ（ｗ３、ｈ３）を検出する。さらに、テンプレート４３の左上端を基準にして、画像合成領域４５の中心位置の座標（Ｘ，Ｙ）を検出する。

付加手段であるサイズ判定部３９は、抽出された顔領域４１から算出された限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）に画像合成領域４５のサイズ（ｗ３、ｈ３）が含まれるかを判定する。画像合成領域４５のサイズ（ｗ３、ｈ３）が限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）に含まれると判定した場合、つまりｗ２＜ｗ３＜ｗ１、かつｈ２＜ｈ３＜ｈ１の場合には、顔領域４１を画像合成領域４５のサイズ（ｗ３、ｈ３）に合わせて変倍しても、顔領域４１の画質が劣化しないということである。従って、サイズ判定部３９は、画像合成領域４５のデータを含むテンプレートデータに適合情報を付加する。適合情報が付加されたテンプレートデータは、ＲＡＭ３０に一時的に記録される。なお、他のテンプレートの場合も同様に、サイズ判定部３９によって画像合成領域のサイズが限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）に含まれると判定された場合には、テンプレートデータに適合情報が付加され、ＲＡＭ３０に一時的に記録される。また、画像合成領域サイズが限界サイズ範囲に含まれないと判定された場合には、適合情報の付加されていないテンプレートデータがＲＡＭ３０に一時的に記録される。

サイズ判定部３９がテンプレートＤＢ２３に予め準備された全てのテンプレートデータの画像合成領域のサイズと、抽出された顔領域４１の限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）との判定を終了すると、図６に示すように、ＣＰＵ２０はＲＡＭ３０に記録されているテンプレートデータおよび適合情報に基づいて、テンプレート選択画像５０をモニタ１０に表示する。この時ＣＰＵ２０は、適合情報が付加されたものには、そのテンプレートに「○」の印４６を、適合情報が付加されていないものには、そのテンプレートに「×」の印４７を表示する。テンプレートに表示された「○」の印４６は、画像合成領域のサイズに合わせて顔領域を変倍して合成しても、合成された顔領域の画質が劣化しないこと（適合）を意味している。また、テンプレート画像に付された「×」の印４７は、画像合成領域のサイズに合わせて顔領域を変倍して合成すると、顔領域の画質が劣化すること（不適合）を意味している。

画像処理部４０は、マウス３２によって「○」の印４６が表示されたテンプレートが選択されると、このテンプレートの画像合成領域に顔領域４１を合成させて、合成画像を作成する。例えば、テンプレート選択画像５０からテンプレート４３（図５（Ａ）参照）が選択されると、画像処理部４０は、選択されたテンプレート４３の画像合成領域４５のサイズ（ｗ３、ｈ３）に基づいて、顔領域４１を画像合成領域４５のサイズ（ｗ３、ｈ３）に合わせて変倍する。この変倍によって顔領域４１は、画像合成領域４５に収まる最大のサイズとされる。そして、画像処理部４０は、図５（Ｂ）に示すように、顔領域４１を画像合成領域４５に重ね合わせ、合成画像５５を作成する。この合成画像５５は、モニタドライバ２８を介してモニタ１０に表示される。なお、作成された合成画像５５の画像データをＨＤＤ２２の画像データファイル２４に記録することが好ましい。

画像処理部４０で作成された合成画像５５の画像データは、プリント指令とともに通信Ｉ／Ｆ２９を介してプリンタ４に出力される。プリンタ４はプリント指令に基づいて、所定のサイズのプリント用紙に合成画像５５をプリントする。

上記構成により合成画像を作成する処理手順を図７に示すフローチャートを用いて説明する。ＰＣ２のキーボード３１やマウス３２が操作され、画像合成用プログラム２５が起動されると、画像データファイル２４に格納された圧縮画像データが読み出され、モニタ１０に撮影画像が一覧で表示される（図示せず）。ユーザがマウス３２を操作して例えば撮影画像４２（図３参照）を選択すると、選択された撮影画像４２から人物の顔画像が特定され、図中二点鎖線で囲まれた顔領域４１が抽出される。

そして、抽出された顔領域４１の中心位置の座標（ｘ、ｙ）と顔領域４１のサイズ（ｗ、ｈ）が検出される。さらに、顔領域４１のサイズ（ｗ、ｈ）および解像度に基づいて、顔領域の拡大限界サイズ（ｗ１、ｈ１）及び縮小限界サイズ（ｗ２、ｈ２）からなる限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）が算出される（図４参照）。そして、予め準備された全てのテンプレートから画像合成領域の中心位置と、画像合成領域サイズがそれぞれ検出され、検出された各画像合成領域サイズが限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）に含まれるか否の判定が行われる。

全てのテンプレートの画像合成領域のサイズと限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）との判定が終了すると、モニタ１０にはテンプレート選択画像５０が表示される（図６参照）。このテンプレート選択画像５０は、テンプレートＤＢに格納されている全てのテンプレートが一覧で表示されており、さらに、画像合成領域のサイズが限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）に含まれる場合、テンプレートには「○」の印４６が表示され、画像合成領域のサイズが限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）に含まれない場合、テンプレートに「×」の印４７が表示されている。そして、ユーザはテンプレート選択画像５０を見ながら、例えば「○」の印４６が表示されたテンプレート４３をマウス３２で選択する。このように、選択した撮影画像４２の顔領域４１を変倍して合成画像を作成する際に、ユーザは顔領域に対して最適なテンプレートを確実に選ぶことができる。

上記のように、例えばテンプレート４３が選択されると、顔領域４１は画像合成領域４５のサイズ（ｗ３、ｈ３）に合わせて変倍され、画像合成領域４５に合成される。これにより、図５（Ｂ）に示す合成画像５５が作成される。この合成画像５５は、モニタ１０に表示される。

ユーザは表示された合成画像５５を確認してから、プリンタ４にプリント指令を出力する。この時、プリンタ４にはプリント指令とともに合成画像５５の画像データが出力される。プリンタ４は、プリント指示と合成画像５５の画像データに基づいて、所定サイズのプリント用紙に合成画像５５をプリントする。上記のように、抽出した顔領域４１に対応する限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）に予め準備された全てのテンプレートの画像合成領域のサイズが含まれているか否かを判定し、この判定結果も基づいてテンプレートに「○」または「×」の印を表示させることで、選択した撮影画像の顔領域に対して最適なテンプレートをユーザに知らせることができる。従って、ユーザは「○」の印４６が表示されたテンプレートを選択すれば、顔領域の画質が劣化することはない。

なお、本実施形態では、抽出された顔領域４１を変倍して合成画像を作成する際に、テンプレート選択画像５０において最適なテンプレートには「○」の印４６を表示し、不適切なテンプレートには「×」の印４７を表示したが、適合情報が関連付けられたテンプレートだけをモニタ１０に表示しても良い。

また、上記実施形態では最初に撮影画像４２を選択し、この撮影画像４２の顔領域４１のサイズ（ｗ、ｈ）から、限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）を算出し、各テンプレートの画像合成領域のサイズが限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）に含まれるかを判定することで、顔領域４１に対して最適なテンプレートをユーザに知らせたが、これに代えて、ユーザが最初にテンプレートを選択し、このテンプレートの画像合成領域のサイズに対して最適な顔領域を有した撮影画像をユーザに知らせてもよい。この場合、ＰＣ２の内部構成は上記実施形態の図２と同様である。

図８に示すフローチャートを用いて、ユーザがテンプレート４３を選択した後で、このテンプレート４３に適合する撮影画像４２を表示させるプロセスを説明する。図５（Ｂ）に示す合成画像５５の作成を行う際には、マウス３２の操作によって画像合成用プログラム２５が起動される。画像合成用プログラム２５の起動により、ＣＰＵ２０はテンプレートＤＢ２３に予め準備された全てのテンプレートの一覧（図示せず）をモニタ１０に表示する。ユーザはマウス３２を操作して表示されたテンプレートからいずれかを選択する。

例えば、ユーザが図５（Ａ）に示すテンプレート４３を選択すると、画像合成領域サイズ検出部３８はテンプレート４３の画像合成領域４５の中心位置の座標（Ｘ，Ｙ）とサイズ（ｗ３、ｈ３）を検出する。この時、顔領域抽出部３５は、画像データファイル２４に格納されている全ての撮影画像から人物の顔画像が含まれた顔領域を抽出する。そして、顔領域サイズ検出部３６は、抽出された顔領域のそれぞれに対して、中心位置の座標及びサイズを検出する。そして、限界サイズ算出部３７は、検出された顔領域サイズおよび解像度に基づいて、各顔領域に対応する限界サイズ範囲を算出する。

サイズ判定部３９は、選択されたテンプレート４３の画像合成領域４５のサイズ（ｗ３、ｈ３）が、各顔領域から算出された限界サイズ範囲に含まれるかを判定し、画像合成領域４５のサイズ（ｗ３、ｈ３）が限界サイズ範囲に含まれると判定した場合には、この限界サイズ範囲を算出した顔領域を有する撮影画像データに適合情報を付加する。この適合情報が付加された撮影画像データは、ＲＡＭ３０に一時的に記憶される。また、画像合成領域４５のサイズが限界サイズ範囲に含まれないと判定された場合は、適合情報が付加されない撮影画像データがＲＡＭ３０に一時的に記憶される。

そして、抽出された顔領域に対応する限界サイズ範囲が全て判定されると、図９に示すように、ＣＰＵ２０はＲＡＭ３０に記録された撮影画像データおよび適合情報に基づいて、モニタ１０に全ての撮影画像を一覧で表示する。さらに、ＣＰＵ２０は、適合情報が付加されている撮影画像には「○」の印４６を、適合情報が付加されていない撮影画像には「×」の印４７を表示する。これにより、ユーザはモニタ１０に表示された撮影画像選択画像６０から「○」の印４６が表示された撮影画像を選択することで、ユーザは選択したテンプレートの画像合成領域のサイズに最適な撮影画像を選ぶことができる。

上記第１の実施形態では、撮影画像から抽出した顔領域をテンプレートの画像合成領域のサイズに合わせて変倍させたが、以下に示す第２の実施形態では、撮影画像から抽出した顔領域を用紙サイズに応じて設定されたプリント領域の大きさに変倍させるものである。この場合、画像処理装置であるＰＣ６１は、第１の実施形態と同様にデジタルカメラ３及びプリンタ４と接続されている。また、図１０はＰＣ６１の内部構造を示すが、第１の実施形態で用いられたＰＣ２と同一の構成部材には同じ符号を付して、その説明は省略する。

記憶手段であるＨＤＤ２２に設けられた用紙サイズデータベース６２（用紙サイズＤＢ６２）には、プリンタで印刷可能な各種用紙サイズ、および用紙サイズに応じて設定されたプリント領域に関する用紙情報が格納されている。そして、ＤＳＰ２７には、用紙サイズＤＢ６２から用紙情報を読み出して、各種用紙サイズのプリント領域の大きさを検出する用紙サイズ検出部６３が設けられている。

ユーザがマウス３２を操作して、画像データファイル２４に格納されている複数の撮影画像から、例えば図３に示す撮影画像４２を選択すると、顔領域抽出部３５は撮影画像４２から人物の顔を含む顔領域４１を抽出し、さらに、顔領域サイズ検出部３６は顔領域４１の中心位置の座標（ｘ、ｙ）およびサイズ（ｗ、ｈ）を検出する。そして、限界サイズ算出部３７は、顔領域４１のサイズ（ｗ、ｈ）および解像度に基づいて、顔領域４１の画質をできるだけ劣化させずに拡大および縮小できる縮小限界サイズ（ｗ１、ｈ１）および拡大限界サイズ（ｗ２、ｈ２）を算出し、この拡大および縮小限界サイズからなる顔領域４１の限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）が算出される。算出された限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）はサイズ判定部６５に入力される。

図１１は、用紙サイズに応じて設定されたプリント領域について説明する。用紙サイズ検出部６３は、用紙サイズＤＢ６２に格納されている各種用紙情報から、例えばハガキサイズの用紙情報を読み出す。そして、この用紙情報からハガキサイズに設定されたプリント領域６７（図中点線）のサイズ（ｗ４、ｈ４）を検出する（横方向の長さｗ４と縦方向の長さｈ４）。そして、この検出結果をサイズ判定部６５に入力する。このように用紙サイズ検出部６３は、用紙サイズＤＢ６２に格納されている全ての用紙情報から各種用紙サイズに設定されたプリント領域のサイズを検出し、この検出結果をサイズ判定部６５に入力する。なお、用紙サイズとしては、ハガキサイズ、Ｌサイズ、２Ｌサイズ、Ａ６サイズ、Ｂ６サイズ，Ａ５サイズ，Ｂ５サイズ、Ａ４サイズ、Ｂ４サイズなどである。また、使用できる用紙サイズはプリンタ４によって異なるので、適宜に設定することが好ましい。

サイズ判定部６５は、用紙サイズ検出部６３によって検出された各プリント領域のサイズが、顔領域４１から算出された限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）に含まれるかを判定する。サイズ判定部６５によって限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）にプリント領域サイズ（ｗ４、ｈ４）が含まれると判定した（ｗ２≦ｗ４≦ｗ１、ｈ２≦ｈ４≦ｈ１）際には、このプリント領域のサイズが設けられた用紙情報に適合情報が付加され、ＲＡＭ３０に一時的に記録される。また、限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）にプリント領域サイズ（ｗ４、ｈ４）が含まれないと判定した際（ｗ４≦ｗ２、ｗ１≦ｗ４、およびｈ４≦ｈ２、ｈ１≦ｈ４）には、用紙情報には適合情報が付加されずに、用紙情報がＲＡＭ３０に一時的に記憶される。この判定は、用紙サイズＤＢ６２に格納されている全ての用紙情報に対して行われる。

画像処理部７０は、ＲＡＭ３０に記録されている用紙情報および適合情報に基づいて、図１２に示すように、モニタ１０に用紙サイズ選択画像７１を表示する。用紙サイズ選択画像７１とは、プリンタ４でプリント可能な用紙サイズを一覧で表示するものである。さらに、ＣＰＵ２０は、用紙情報に適合情報が付加さている用紙サイズには「○」の印７２を表示し、用紙情報に適合情報が付加されていない用紙サイズには「×」の印７３を表示する。

次に、図１３のフローチャートを用いて、撮影画像４２から抽出した顔領域４１をハガキサイズのプリント用紙６６にプリントする際の方法を説明する。ユーザからの操作指示により、モニタ１０に撮影画像が一覧で表示される（図示せず）。例えばユーザが、一覧で表示された撮影画像の中から図３に示す撮影画像４２を選択すると、撮影画像４２から人物の顔画像が特定され、二点鎖線で示す顔領域４１が抽出される。

そして、顔領域４１の中心位置の座標（ｘ、ｙ）およびサイズ（ｗ、ｈ）が検出される。さらに、顔領域４１のサイズ（ｗ、ｈ）および解像度に基づいて、図４に示すように、顔領域４１の限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）が算出される。

また、用紙サイズＤＢ６２に格納されている用紙情報に基づいて、各用紙サイズに設定されたプリント領域のサイズがそれぞれ検出され、検出された各プリント領域のサイズが顔領域４１のサイズ（ｗ、ｈ）から算出された限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）に含まれるかを判定する。

全ての用紙サイズに設定されたプリント領域のサイズと限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）との判定が終了すると、モニタ１０に用紙サイズ選択画像７１が表示される。用紙サイズ選択画像７１の各用紙サイズには、サイズ判定部６５の判定結果に基づいて、「○」の印７２または「×」の印７３のいずれかが表示されている。そして、ユーザは「○」の印７２が表示されている用紙サイズから所望のサイズを選択する。この時、用紙サイズ選択画像７１から例えばハガキサイズを選択した場合は、ハガキサイズのプリント領域６７のサイズ（ｗ４、ｈ４）に合わせて変倍された顔領域４１の画像データとプリント指令がプリンタ４に出力される。

そして、ユーザはプリンタ４にハガキサイズのプリント用紙６６をセットする。プリント用紙６６のセットが完了すると、プリンタ４はプリント指示及び変倍処理された顔領域４１の画像データに基づいて、図１１に示すようにプリント用紙６６のプリント領域６７に顔領域４１をプリントする。上記のように、顔領域４１の限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）と各用紙サイズに設定されたプリント領域のサイズとを判定し、「○」の印７２が表示された用紙サイズを選択するので、プリント領域のサイズに変倍された顔領域がプリントされても画質が劣化することがない。

なお、上記第２の実施形態では、初めに撮影画像４２を選択し、この撮影画像４２の顔領域４１から算出された限界サイズ範囲（ｗ２≦ｗ≦ｗ１、ｈ２≦ｈ≦ｈ１）と、各用紙サイズに設定されたプリント領域のサイズとを判定して最適な用紙サイズをユーザに知らせたが、これに代えて、図１４のフローチャートに示すように、モニタ１０に一覧表示された用紙サイズの中から、所望の用紙サイズをユーザに選択させ、この選択された用紙サイズに設定されたプリント領域のサイズと、各撮影画像から抽出された顔領域４１の限界サイズ範囲とを判定し、この判定結果に基づいてモニタ１０に一覧表示された撮影画像に「○」および「×」の印を表示させて、選択した用紙サイズに適合する撮影画像を知らせてもよい。

なお、上記各実施形態では、入力手段であるデジタルカメラ３と画像処理装置であるＰＣ２とを通信Ｉ／Ｆ２９を介して接続し、ＰＣ２にデジタルカメラ３から圧縮画像データを入力したが、入力手段としては、スキャナーやメモリカードなどの記録媒体から圧縮画像データを読み出すドライバ等を用いてもよい。また、さらにまた、画像処理装置としてはＰＣを用い、入力手段としてはデジタルカメラを用いているが、デジタルカメラに画像処理装置を内蔵し、ＣＣＤなどの撮像装置を入力手段としてもよい。

また、上記各実施形態では、撮影画像から人物の顔画像を特定し、この顔画像が収まる矩形の顔領域を抽出したが、これに限らず、人物全体や人物の体の一部を特定し、この人物全体や体の一部を含む領域を抽出してもよい。

なお、テンプレートとしては、単にレイアウトの枠組を示すものではなく、キャラクタや絵柄などの背景を含む装飾枠全般を指すものでもよい。

本発明のＰＣを用いたプリントシステムの概略を示す説明図である。 ＰＣの電気的な構成を示すブロック図である。 撮影画像から抽出される顔領域を示す説明図である。 顔領域の拡大限界サイズおよび縮小限界サイズを示す説明図である。 テンプレートおよび合成画像の概略を示す説明図である。 テンプレート選択画像を説明する説明図である。 選択した撮影画像に対して最適なテンプレートを表示する方法を示すフローチャートである。 選択したテンプレートに対して最適な撮影画像を表示する方法を示すフローチャートである。 撮影画像選択画像を示す説明図である。 第２の実施形態で用いたＰＣの電気的な構成を示すブロック図である。 プリント用紙に設定されたプリント領域を示す説明図である。 用紙サイズ選択画像を示す説明図である。 選択した撮影画像に最適な用紙サイズを表示する方法を示すフローチャートである。 選択された用紙サイズに対して最適な撮影画像を表示する方法を示すフローチャートである。

符号の説明

２ ＰＣ
３ デジタルカメラ
４ プリンタ
２０ ＣＰＵ
３５ 顔領域抽出部
３６ 顔領域サイズ検出部
３７ 限界サイズ算出部
３８ 画像合成領域サイズ検出部
３９ サイズ判定部
４１ 顔領域
４２ 撮影画像
４３ テンプレート
４５ 画像合成領域
５５ 合成画像

Claims (4)

1. デジタル画像から被写体の顔画像を含む顔領域を抽出する顔領域抽出手段と、サイズの異なる画像合成領域を有する複数のテンプレートを記憶する記憶手段とを備え、前記抽出された顔領域をテンプレートの前記画像合成領域のサイズに合わせて変倍して合成する画像処理装置において、
   入力手段から入力されたデジタル画像を選択する選択手段と、
   前記顔領域抽出手段によって前記選択されたデジタル画像から前記顔領域が抽出された際に、この顔領域のサイズを検出する顔領域サイズ検出手段と、
   前記顔領域のサイズおよび解像度に基づいて、前記顔領域を拡大した際の限界サイズおよび縮小した際の限界サイズからなる限界サイズ範囲を算出する限界サイズ範囲算出手段と、
   前記各テンプレートの前記画像合成領域のサイズが前記限界サイズ範囲に含まれるかを判定し、前記限界サイズ範囲に含まれると判定された際に、この判定された画像合成領域を有する前記テンプレートに適合情報を付加する付加手段と、
   前記適合情報が付加された前記テンプレートを表示する表示手段とを備えたことを特徴とする画像処理装置。
2. デジタル画像から被写体の顔画像を含む顔領域を抽出する顔領域抽出手段と、サイズの異なる画像合成領域を有する複数のテンプレートを記憶する記憶手段とを備え、前記抽出された顔領域をテンプレートの前記画像合成領域のサイズに合わせて変倍して合成する画像処理装置において、
   前記記憶手段に記憶された複数の前記テンプレートからいずれかを選択する選択手段と、
   入力手段から入力されたデジタル画像から前記顔領域抽出手段によって顔領域が抽出された際に、この顔領域のサイズを検出する顔領域サイズ検出手段と、
   前記顔領域のサイズおよび解像度に基づいて、前記顔領域を拡大した際の限界サイズおよび縮小した際の限界サイズからなる限界サイズ範囲を算出する限界サイズ算出手段と、
   前記選択されたテンプレートの画像合成領域のサイズが前記限界サイズ範囲に含まれるかを判定し、前記限界サイズ範囲に含まれると判定された際に、前記限界サイズ範囲を算出した顔領域を有するデジタル画像に適合情報を付加する付加手段と、
   前記適合情報が付加された前記デジタル画像を表示する表示手段とを備えたことを特徴とする画像処理装置。
3. デジタル画像から被写体の顔画像を含む顔領域を抽出する顔領域抽出手段と、プリンタで印刷可能な用紙サイズ、およびこの用紙サイズに応じて設定されたプリント領域に関する用紙情報を記憶する記憶手段とを備え、前記各用紙サイズに設定されたプリント領域の大きさに合わせて前記顔領域を変倍し、この変倍した顔領域の画像を前記プリンタに出力する画像処理装置において、
   入力手段から入力されたデジタル画像を選択する選択手段と、
   前記顔領域抽出手段によって前記選択されたデジタル画像から顔領域が抽出された際に、この顔領域のサイズを検出する顔領域サイズ検出手段と、
   前記顔領域のサイズおよび解像度に基づいて、前記顔領域を拡大した際の限界サイズおよび縮小した際の限界サイズからなる限界サイズ範囲を算出する限界サイズ範囲算出手段と、
   前記用紙情報に基づいて、各用紙サイズに設定されたプリント領域の大きさが前記限界サイズ範囲に含まれるかを判定し、前記限界サイズ範囲に含まれると判定された際に、この判定されたプリント領域に関する用紙情報に適合情報を付加する付加手段と、
   前記適合情報が付加された前記用紙情報に基づいて、前記用紙サイズを表示する表示手段とを備えたことを特徴とする画像処理装置。
4. デジタル画像から被写体の顔画像を含む顔領域を抽出する顔領域抽出手段と、プリンタで印刷可能な用紙サイズ、およびこの用紙サイズに応じて設定されたプリント領域に関する用紙情報を記憶する記憶手段とを備え、前記各用紙サイズに設定されたプリント領域の大きさに合わせて前記顔領域を変倍し、この変倍した顔領域の画像を前記プリンタに出力する画像処理装置において、
   前記記憶手段に記憶された用紙情報に基づいて、所定の用紙サイズを選択する選択手段と、
   入力手段から入力されたデジタル画像から前記顔領域抽出手段によって顔領域が抽出された際に、この顔領域のサイズを検出する顔領域サイズ検出手段と、
   前記顔領域のサイズおよび解像度に基づいて、前記顔領域を拡大した際の限界サイズおよび縮小した際の限界サイズからなる限界サイズ範囲を算出する限界サイズ範囲算出手段と、
   前記選択された用紙サイズに関する用紙情報に基づいて、前記選択された用紙サイズに設定されたプリント領域の大きさが前記限界サイズ範囲に含まれるかを判定し、前記限界サイズ範囲に含まれると判定された際に、この限界サイズ範囲を算出した顔領域を有するデジタル画像に適合情報を付加する付加手段と、
   前記適合情報が付加されたデジタル画像を表示する表示手段とを備えたことを特徴とする画像処理装置。

Images