JP2010224775A - アイキャッチ合成装置及び方法 - Google Patents

Abstract

【課題】被写体が撮影された写真データから自動的に該被写体の瞳を検出することができ，更にアイキャッチを高速に合成することのできるアイキャッチ合成装置を提供する。
【解決手段】デジタル証明写真機１は，両眼検出工程（Ｓ１）において，人物である被写体の写真データに含まれる顔領域を解析して両眼の位置座標を検出し，瞳検出工程（Ｓ２）において，眼の位置座標を基準とした瞳検出領域の二値化画像と円形テンプレートをテンプレートマッチングすることで特定される瞳領域を特定した後，瞳領域の輪郭線から瞳の中心座標及び半径を算出する。そして，アイキャッチ合成工程（Ｓ３）において，デジタル証明写真機１は，画像合成や階調補正を利用して撮影された瞳にアイキャッチを合成する。
【選択図】図４

Description

本発明は，証明写真機などで撮影された写真データにアイキャッチを自動で合成するための技術に関する。

街頭に設置される証明写真機で撮影される証明写真は，履歴書はもとより，パスポートや身分証明証などに利用されるため，証明写真機には，証明写真に撮影された人物をより好印象にすることが望まれている。

人物である被写体の写真を好印象にするためには，アイキャッチ（キャッチアイ，キャッチライトとも呼ばれる）を被写体の瞳が撮影された瞳画像に入れると，写真における被写体が生き生きとし，被写体の印象を良くすることが知られている。

古くからカタログなどのモデルの撮影時には，光源の光を反射させるレフ板を被写体の前に設置し，レフ板の角度を調整することで，モデル自身の瞳にアイキャッチを入れる手法が用いられている。また，レフ板を用いずに，ストロボを発光させ，ストロボ光を被写体自身の瞳に入れる手法も考案されている（例えば，特許文献１）。

また，瞳に光を入れることなく撮影した被写体の写真データを画像処理し，被写体の瞳にアイキャッチを合成する手法も考案されている。

例えば，特許文献２では，画像から抽出された瞳を、瞳の輪郭からの距離に応じて所定数のリング状領域に分割し，リング状領域毎に変換後の色が指定された色変換テーブルに基づき，リング状領域毎に瞳を補正することで、画像の瞳にアイキャッチ（キャッチライト）を合成する発明が開示されている。

また，特許文献３では，光の入射方向を判断し，判断した入射方向に基づいて、瞳にアイキャッチエリア（キャッチライトエリア）を設定し、アイキャッチエリア（キャッチライトエリア）の輝度を変更する補正を行うことで，画像の瞳にアイキャッチ（キャッチライト）を合成する発明が開示されている。

特許文献２，３で開示されている発明を応用すれば，証明写真機においてもアイキャッチを合成することが可能のように思われるかもしれないが，しかしながら，アイキャッチを自動的に合成する機能を証明写真機に適用することを想定した場合，従来技術では得られない新たな機能が必要になる。

証明写真にアイキャッチを合成するために証明写真機に要求される一つ目の機能は，アイキャッチを合成する瞳画像を自動的に検出できる機能である。証明写真機において証明写真は撮影がプリントアウトまでの工程すべてが自動で行われるため，特許文献２や特許文献３で開示されている発明のように，人手ではなく，被写体の写真データの中から瞳画像を自動的に検出し，自動的に検出した瞳画像にアイキャッチを合成機能が必要になる。

更に，二つ目の機能は，高速なアイキャッチの合成処理である。証明写真機においては，写真の現像サービスを実施しているＤＰＥ店（Development, Printing, Enlargement）とは異なり，撮影してからプリントアウトされるまでの時間は数分と短いため，アイキャッチを合成する処理に時間がかかるとユーザは不便性を感じてしまい，証明写真機を利用するユーザの数が減少してしまう可能性がある。

また，デジタルカメラを利用した証明写真機の場合，証明写真をプリントアウトする前に，プリントアウトする証明写真のプレビュー画像をディスプレイに表示する機能が備えられている機種もあるため，証明写真のプレビュー画像を表示する時点で，プレビュー画像にもアイキャッチが合成できていることが望ましい。

特開２００１−９１９７９号公報 特開２００６−5 9 0 9 2号公報 特開２００６−7 2 7 4 2号公報

そこで，本発明は，人物である被写体が撮影された写真データから自動的に該被写体の瞳を検出することができ，更に，該写真データにアイキャッチを高速に合成することのできるアイキャッチ合成装置及び方法，並びに，コンピュータプログラムを提供する。

上述した課題を解決する第１の発明は，人物である被写体の写真データにアイキャッチを合成する装置であって，前記写真データに含まれる顔領域を解析して得られる眼の位置座標から瞳検出領域を設定し，前記写真データの二値化画像における前記瞳検出領域内の画像と円形テンプレートをテンプレートマッチングすることで，前記被写体の瞳に該当する瞳領域を特定した後，前記瞳領域の輪郭線を抽出し，前記瞳領域の輪郭線を用いて該被写体の瞳の中心座標及び半径を算出する瞳検出手段と，前記瞳検出手段が検出した瞳の中心座標及び半径を利用して，前記写真データに撮影された被写体の瞳に所定のアイキャッチを合成するアイキャッチ合成手段を備えていることを特徴とするアイキャッチ合成装置である。

前記写真データの前記瞳検出領域には，目蓋，睫毛などによるノイズ画像を含まれているため，円形テンプレートを利用してテンプレートマッチングすることで，正確に前記瞳領域を特定することができるようになる。また，上述したノイズ画像の影響を受けて，前記瞳領域はいびつな形状になるため，前記瞳領域の輪郭線（例えば，左右方向の輪郭線）を利用して，円形である瞳の中心座標及び半径を求めることで，自動的に正確な瞳の中心座標及び半径を求めることができるようになる。

更に，第２の発明は，第１の発明に記載のアイキャッチ合成装置において，前記瞳検出手段は，前記瞳検出領域に含まれ，定められた階調の画素の高さ方向の最大長さを利用して，前記円形テンプレートの径を求めることを特徴とするアイキャッチ合成装置である。

前記被写体の瞳の大きさは，前記被写体の身体的特徴やカメラまでの距離によって変わるため，上述した第２の発明のように，前記瞳検出領域から前記円形テンプレートの径を求めることで，より正確に前記瞳検出領域を検出できるようになる。

更に，第３の発明は，第１の発明または第２の発明のいずれか一つに記載のアイキャッチ合成装置において，中心点を座標原点とし半径が基準長さの基準円上にアイキャッチを合成する領域であるアイキャッチ領域が定義され，更に，前記基準円上における前記アイキャッチ領域に含まれる画素の座標及び前記アイキャッチ領域に施すアイキャッチ合成処理が前記アイキャッチ領域毎に定義されたアイキャッチデータを前記アイキャッチ合成装置は記憶し，前記アイキャッチ合成手段は，アイキャッチを前記写真データに合成するとき，前記瞳検出手段が検出した瞳の半径に前記基準円の半径を合わせるように前記アイキャッチ領域をスケーリング処理したときの前記アイキャッチデータを生成した後，前記瞳検出手段が検出した瞳の中心座標に前記基準円の中心点を合わせる座標演算を実行し，座標演算後の前記アイキャッチデータで定義された前記アイキャッチ領域に対応する前記写真データの領域に，前記アイキャッチ領域に定義された前記アイキャッチ合成処理を実行することを特徴とするアイキャッチ合成装置である。

上述しているように，前記被写体の瞳の大きさは，前記被写体の身体的特徴などによって変わるため，前記基準円上においてアイキャッチを定義したアイキャッチデータを用意しておけば，前記被写体が変わっても，前記基準円上を前記被写体の瞳の大きさに合わせさせすれば，前記被写体用のアイキャッチデータを生成できるため，アイキャッチを合成する処理を高速化できるようになる。

更に，第４の発明は，第３の発明に記載のアイキャッチ合成装置において，アイキャッチの合成にアルファブレンドを利用する第１のアイキャッチ合成処理が前記アイキャッチ領域に定義付けられている場合，前記アイキャッチ合成手段は，該アイキャッチデータにおいて該アイキャッチ領域に関連付けて定義されている画素と，該画素に対応する前記写真データの画素をアルファブレンドする処理を実行することを特徴とするアイキャッチ合成装置である。

更に，第５の発明は，第３の発明または第４の発明に記載のアイキャッチ合成装置において，アイキャッチの合成に階調補正を利用する第２のアイキャッチ合成処理が前記アイキャッチ領域に定義付けられている場合，前記アイキャッチ合成手段は，該アイキャッチデータにおいて該アイキャッチ領域に関連付けられて定義されているトーンカーブを利用して，該アイキャッチ領域に対応する前記写真データの領域の階調を補正する処理を実行することを特徴とするアイキャッチ合成装置である。

更に，第６の発明は，第５の発明に記載のアイキャッチ合成装置において，前記トーンカーブ上の４点の値で前記トーンカーブは定義され，前記アイキャッチ合成手段は，該４点の値からトーンカーブの3次式を求め，該３次式を用いて前記写真データの画素の階調を補正することを特徴とするアイキャッチ合成装置である。

更に，第７の発明は，第６の発明に記載のアイキャッチ合成装置において，前記トーンカーブは，前記アイキャッチ領域に含まれる画素毎に定義され，前記アイキャッチ合成装置は，該アイキャッチ領域の画素毎に，該画素に定義されている前記トーンカーブを用いて，該アイキャッチ領域の画素毎に対応する前記写真データの画素の階調を補正する処理を実行することを特徴とするアイキャッチ合成装置である。

上述した第４の発明によれば，アイキャッチとなる白い点を前記被写体の瞳の画像に合成することができるようになる。また，実施にアイキャッチとなる光を前記被写体の瞳に入れて撮影した場合，前記被写体の瞳が扇型に明るくなることがあるため，第５の発明のように，瞳の画像に含まれる画素の階調を明るくするように補正することで，該扇型も前記被写体の瞳の画像に合成できるようになる。

また，第６の発明のように，前記トーンカーブ上の４点の値で前記トーンカーブを定義しておくと，前記トーンカーブの変更が用意になるばかりか，第７の発明のように，前記アイキャッチ領域に含まれる画素毎に前記トーンカーブを定義する場合，前記アイキャッチデータの容量を抑えることができる。また，第７の発明のように，前記アイキャッチ領域に含まれる画素毎に前記トーンカーブを定義しておくと，前記アイキャッチ領域に含まれる画素毎に階調の補正の内容を変更できる。

更に，第８の発明は，人物である被写体の写真データにアイキャッチを合成する方法であって，アイキャッチを合成する装置が，前記写真データに含まれる顔領域を解析して得られる眼の位置座標から瞳検出領域を設定するステップａ１，前記写真データの二値化画像における前記瞳検出領域内の画像と円形テンプレートをテンプレートマッチングすることで，前記被写体の瞳に該当する瞳領域を特定するステップａ２，特定した前記瞳領域の輪郭線を抽出し，前記瞳領域の輪郭線を用いて該被写体の瞳の中心座標及び半径を算出するステップａ３が実行される工程ａと，前記装置が，前記工程ａで検出した瞳の中心座標及び半径を利用して，前記写真データに撮影された被写体の瞳に所定のアイキャッチを合成する工程ｂを含むことを特徴とするアイキャッチ合成方法である。

更に，第９の発明は，第８の発明に記載のアイキャッチ合成方法において，前記工程ａの前記ステップａ１において，前記装置は，前記瞳検出領域に含まれ，定められた階調の画素の高さ方向の最大長さを利用して，前記円形テンプレートを生成することを特徴とするアイキャッチ合成装置である。

更に，第１０の発明は，第８の発明または第９の発明のいずれか一つに記載のアイキャッチ合成方法において，前記装置は，中心点を座標原点とし半径が基準長さの基準円上にアイキャッチを合成する領域であるアイキャッチ領域が定義され，更に，前記基準円上における前記アイキャッチ領域に含まれる画素の座標及び前記アイキャッチ領域に施すアイキャッチ合成処理が定義されたアイキャッチデータを記憶し，前記工程ｂにおいて，前記装置は，前記工程ａで検出した瞳の半径に前記基準円の半径を合わせるように前記アイキャッチ領域をスケーリング処理したときの前記アイキャッチデータを生成するステップｂ１，前記工程ａで検出した瞳の中心座標に前記基準円の中心点を合わせる座標演算を実行するステップｂ２，座標演算後の前記アイキャッチデータで定義された前記アイキャッチ領域に対応する前記写真データの領域に，前記アイキャッチ領域に定義された前記アイキャッチ合成処理を実行するステップｂ３が実行されることを特徴とするアイキャッチ合成方法である。

更に，第１１の発明は，第１０の発明に記載のアイキャッチ合成方法において，前記工程ｂの前記ステップｂ３において，前記装置は，アイキャッチの合成にアルファブレンドを利用する第１のアイキャッチ合成処理が前記アイキャッチ領域に定義付けられている場合，前記アイキャッチ合成手段は，該アイキャッチデータにおいて該アイキャッチ領域に関連付けて定義されている画素と，該画素に対応する前記写真データの画素をアルファブレンドする処理を実行することを特徴とするアイキャッチ合成方法である。

更に，第１２の発明は，第１０の発明または第１１の発明に記載のアイキャッチ合成方法において，前記工程ｂの前記ステップｂ３において，前記装置は，アイキャッチの合成に階調補正を利用する第２のアイキャッチ合成処理が前記アイキャッチ領域に定義付けられている場合，前記アイキャッチ合成手段は，該アイキャッチデータにおいて該アイキャッチ領域に関連付けられて定義されているトーンカーブを利用して，該アイキャッチ領域に対応する前記写真データの領域の階調を補正する処理を実行することを特徴とするアイキャッチ合成方法である。

更に，第１３の発明は，第１２の発明に記載のアイキャッチ合成方法において，前記トーンカーブ上の４点の値で前記トーンカーブは定義され，前記工程ｂの前記ステップｂ３において，前記装置は，該４点の値からトーンカーブの3次式を求め，該３次式を用いて前記写真データの画素の階調を補正することを特徴とするアイキャッチ合成方法である。

更に，第１４の発明は，第１３の発明に記載のアイキャッチ合成方法において，前記トーンカーブは，前記トーンカーブ上の４点の値を用いて前記アイキャッチ領域の画素毎に定義付けられ，前記工程ｂの前記ステップｂ３において，前記装置は，該アイキャッチ領域の画素毎に，該画素に定義付けられている前記トーンカーブを用いて，該アイキャッチ領域の画素毎に対応する前記写真データの画素の階調を補正する処理を実行することを特徴とするアイキャッチ合成方法である。

更に，第１５の発明は，コンピュータに第８の発明から第１２の発明に記載のアイキャッチ合成方法を実行させるコンピュータプログラムである。

第８の発明から第１４の発明は本発明の方法に係わる発明で，第１５の発明は本発明のコンピュータプログラムに係わる発明である。

上述した本発明によれば，人物である被写体が撮影された写真データから自動的に該被写体の瞳を検出することができ，更に，該写真データにアイキャッチを高速に合成することのできるアイキャッチ合成装置及び方法，並びに，コンピュータプログラムを提供できる。

デジタル証明写真機の外観を説明する図。 デジタル証明写真機の回路ブロック図。 デジタル証明写真機の機能ブロック図。 アイキャッチを合成する工程を説明するフロー図。 両眼検出工程の詳細な手順を示したフロー図。 被写体の写真データ及び両眼の位置座標を説明する図。 瞳検出工程の詳細な手順を示したフロー図。 クロージング及びオープニング後の瞳検出領域の画像を説明する図。 円形テンプレートを生成する内容を説明する図。 円形テンプレートを用いたテンプレートマッチングを説明する図。 瞳領域の輪郭線を検出する処理の内容を説明する図。 瞳領域の輪郭線から求められる円のイメージ図。 瞳領域を特定するときのノイズ画像を説明する図。 撮影された被写体の瞳に合成されるアイキャッチを説明する図。 アイキャッチ領域が定義される基準円を説明する図。 アイキャッチデータを説明する図。 アイキャッチ合成工程の詳細な手順を示したフロー図。 アイキャッチ合成後の写真データのイメージ図。

ここから，本発明について図を参照しながら詳細に説明する。図１は，本発明に係わるアイキャッチ生成装置が適用されたデジタル証明写真機１の外観を説明する図である。

図１で図示したデジタル証明写真機１は，証明写真の撮影からプリントまでの工程を自動で行う装置で，被写体（ここで，人物）を撮影するデジタルカメラ１１，撮影用の照明１４と，被写体を撮影するときに自動的に発光するストロボ光源１５，デジタル証明写真機１を操作するためのタッチパネル１３，被写体が座る椅子１６，撮影するときに外光を防ぐための遮光カーテン１７，プリントされた写真の排出口１８などが備えられている。

被写体が証明写真を撮影するとき，被写体は，被写体の目線がデジタルカメラ１１に合うように，椅子１６の高さを調整した後，タッチパネル１３を操作して写真を撮影し，撮影された写真は数分後に排出口１８からプリントアウトされる。

デジタル証明写真機１で撮影される証明写真は，履歴書はもとより，パスポートや身分証明証などに利用されるため，デジタル証明写真機１には，証明写真に撮影された人物をより好印象にすることが要求され，図１で図示したデジタル証明写真機１には，被写体をより好印象にするために，キャッチアイ，キャッチライトとも称されるアイキャッチを撮影された被写体の瞳に自動的に合成する機能が備えられている。

アイキャッチを被写体の瞳に入れる手法としては，ストロボなどを用いて，アイキャッチとなる光を被写体の瞳に入れる手法もあるが，図１で図示したデジタル証明写真機１には，画像処理技術を用いて，撮影された被写体の瞳にアイキャッチを合成する手法が用いられている。

図２は，デジタル証明写真機１の回路ブロック図である。デジタル証明写真機１には，ＣＰＵ１０ａ（Central Processing Unit），ＲＡＭ１０ｂ，ＦｅＲＡＭ１０ｃ，画像処理プロセッサ１０ｄなどが実装された制御部１０と，被写体を撮影するデジタルカメラ１１と，被写体の写真をプリントする写真プリンタ１２と，デジタル証明写真機１の操作になどに利用されるタッチパネル１３が備えられている。

デジタルカメラ１１は，デジタルスチルカメラ（Digital still Camera）で，デジタルカメラ１１は，集光するためのレンズ，レンズによって集光した光を受光する受光素子（例えば，CCD），受光素子の受光時間を制御するシャッター，受光素子のアナログデータをデジタルデータに変換するＡ／Ｄコンバータなどを備え，Ａ／Ｄコンバータへ変換されたデジタルデータは制御部１０のＲＡＭ１０ｂに一時的に記憶される。

制御部１０の画像処理プロセッサ１０ｄは，受光素子のアナログデータがＡ／Ｄ変換されたデジタルデータを画像処理（例えば，色空間補正）することで，ＲＧＢのカラー画像（例えば，２４ビットのフルカラー画像）である写真データを生成する回路で，制御部１０のＦｅＲＡＭ１０ｃには，デジタル証明写真機１の一連の動作をＣＰＵ１０ａに実行させるためのコンピュータプログラムが記憶されている。

タッチパネル１３は，液晶ディスプレイと透明電極パネルなどが組み合わされた装置で，写真撮影するための操作などの操作や，撮影された写真を表示するために利用される。

写真プリンタ１２は，アイキャッチが瞳に入れられた被写体の写真データをプリントアウトする装置で，例えば，昇華転写型のプリンタである。

図３は，デジタル証明写真機１の機能ブロック図である。デジタル証明写真機１には，図２で図示したハードウェアを利用して実現される機能として，被写体の写真データを撮影する撮影手段１００，撮影手段１００が撮影したデータから写真データを生成する写真データ生成手段１０２，被写体の写真データをプリントアウトするプリント手段１０３，写真データなどを表示する表示手段１０４，デジタル証明写真機１を操作するための操作手段１０５など，一般的なデジタル証明写真機１に備えられる機能に加え，撮影された被写体の瞳にアイキャッチを合成するために，被写体の写真データから被写体の両眼目の位置座標を検出する両眼検出手段１０６，被写体の両眼の位置座標を利用して，被写体の瞳の中心座標及び半径を検出する瞳検出手段１１０，撮影された被写体の瞳にアイキャッチを合成するアイキャッチ合成手段１２０を備えている。

デジタル証明写真機１に備えられた撮影手段１０１はデジタルカメラ１１の機能に対応し，写真データ生成手段１０２は制御部１０のＣＰＵ１０ａや画像処理プロセッサ１０ｄの機能に対応し，プリント手段１０３は写真プリンタの機能に対応し，表示手段１０４及び操作手段１０５はタッチパネル１３の機能にそれぞれ対応する。

制御部１００は，制御部１０のＣＰＵ１０ａの機能に対応し，以下に述べる（１）から（５）の一連の手順を実行する手段である。
（１）撮影手段１０１を作動させ被写体を撮影する。
（２）写真データ生成手段１０２を作動させて写真データを生成する。
（３）両眼検出手段１０６，瞳検出手段１１０及びアイキャッチ合成手段１２０を作動させて，写真データにアイキャッチを合成する。
（４）表示手段１０４を作動させて，アイキャッチが合成された写真データを表示する。
（５）操作手段１０５でプリントが指示されると，プリント手段１０３を作動させてアイキャッチが合成された写真データをプリントし，操作手段１０５で再撮影が指示されると，（１）に戻る。

上述した工程において，（３）以外の工程は一般的なデジタル証明写真機と同じ内容であるため説明を省き，ここから，（３）の工程について詳細に説明する。

図４は，被写体が撮影された写真データにアイキャッチを合成する工程を説明するフロー図で，デジタル証明写真機１が，撮影された被写体の瞳にアイキャッチを合成するとき，まず，写真データ生成手段１０２が生成した写真データから，被写体の両眼の位置座標を検出する両眼検出工程（Ｓ１）が実行され，更に，両眼検出工程（Ｓ１）で検出された両眼の位置座標に基づき，円形状である瞳の中心座標及び半径を検出する瞳検出工程（Ｓ２）が実行される。そして，瞳検出工程（Ｓ２）で検出された瞳の中心座標及び半径を用いて，撮影された被写体の瞳にアイキャッチを合成するアイキャッチ合成工程（Ｓ３）が実行される。

デジタル証明写真機１の両眼検出手段１０６は，図４の両眼検出工程（Ｓ１）を実行する手段で，瞳検出手段１１０は，図４の瞳検出工程（Ｓ２）を実行する手段，アイキャッチ合成手段１２０は，図４のアイキャッチ合成工程（Ｓ３）を実行する手段で，デジタル証明写真機１の制御部１０のＦｅＲＡＭ１０ｃには，制御部１０のＣＰＵ１０ａをそれぞれの手段として機能させるためのコンピュータプログラムが記憶されている。

ここから，デジタル証明写真機１に備えられた両眼検出手段１０６，瞳検出手段１１０及びアイキャッチ合成手段１２０によって実行される各工程についてそれぞれ詳細に説明する。

まず，デジタル証明写真機１に備えられた両眼検出手段１０６が実行する両眼検出工程（Ｓ１）について説明する。本発明は，被写体の写真データから両眼の位置座標を検出する手法に特徴を有するものではないが，本発明では，「特願2007-253367」で記載されている両眼位置検出方法に従い，被写体の写真データから両眼の位置座標を検出するものとする。

ここから，「特願2007-253367」で記載されている両眼位置検出方法について，要点のみを説明しておく。図５は，「特願2007-253367」で記載されている両眼位置検出方法を適用したときの両眼検出工程（Ｓ１）の詳細な手順を示したフロー図である。

写真データ生成手段１０２が生成した写真データが制御部１０のＲＡＭ１０ｂに格納されると，制御手段１００は両眼検出手段１０６を作動させ，両眼検出手段１０６は，まず，該写真データから顔領域を検出する処理を実行する（Ｓ１０）。

人物の顔が撮影された写真データの中から顔領域を検出する手法は一般的に利用される手法を用いることができ，該手法としては， Haar-like特徴を複数用いるブースティングアルゴリズムが有名である。

両眼検出手段１０６は，写真データから顔領域を検出すると，まず，写真データを所定のサイズにスケーリングする処理を実行し（Ｓ１１），スケーリング処理後の顔領域の所定の複数の重畳位置に基準単眼画像を重畳し，それぞれの重畳位置における類似度の計算し（Ｓ１２），類似度が閾値以上の重畳位置を抽出する（Ｓ１３）。

そして，類似度が閾値以上の重畳位置について，顔領域上での水平方向に関する類似度の変動を調べ，類似度が極大値をとなっている類似度を抽出した後（Ｓ１４），抽出した類似度が最大のものから順に偶数個（例えば，１０個）の類似度を選択し，次の２つの条件を満たす関係にある一対の重畳位置を両眼の位置座標として検出し（Ｓ１５），この手順を終了する。

（条件１）基準単眼画像を一対の重畳位置にそれぞれ配置したときに、両画像枠の「前記顔面画像を左右に二等分する縦方向に伸びる顔中心線に関する対称性」が所定の基準以上であること。
（条件２）基準単眼画像を一対の重畳位置にそれぞれ配置したときに、両画像枠が互いに重なり合わないこと。

図６は，デジタル証明写真機１で撮影される被写体の写真データ及び両眼の位置座標を説明する図で，図６（ａ）は被写体の写真データ２を説明する図で，図６（ｂ）は，写真データ２から検出される両眼の位置座標を説明する図で，図６（ｂ）では写真データ２の濃淡は省いている。

一般的に，撮影された被写体の顔方向は正面や横など様々な角度になるが，図６（ａ）の写真データ２のように，デジタル証明写真機１の場合，被写体の顔方向は正面になる。デジタル証明写真機１で生成される写真データはＲＧＢのカラー画像（例えば，２４ビットのフルカラー画像）で，デジタル証明写真機１は，写真データに含まれる各画素を，横方向にＸ軸、縦方向にＹ軸として定義される2次元座標Ｐ（ｘ，ｙ）で管理する。

図６（ｂ）は，「特願2007-253367」で記載されている内容により検出される両眼の位置座標で，図６（ｂ）では，両眼の位置座標はＰ１（ｘ１，ｙ１）及びＰ２（ｘ２，ｙ２）で図示され，「特願2007-253367」の段落番号３７に記載されているように，検出される両眼の位置座標は，ほぼ，両眼の瞳の中になる。

ここから，デジタル証明写真機１に備えられた瞳検出手段１１０によって実行される瞳検出工程（Ｓ２）について説明する。図７は，瞳検出工程（Ｓ２）の詳細な手順を示したフロー図である。

デジタル証明写真機１の両眼検出手段１０６が両眼の位置座標を検出すると，制御手段１００は瞳検出手段１１０を作動させ，瞳検出手段１１０は，両眼検出手段１０６が検出した両眼の位置座標を中心として所定サイズの領域を，瞳画像を検出する瞳検出領域に設定する（Ｓ２０）。

瞳検出手段１１０は，瞳検出領域を写真データに設定すると，画像処理プロセッサ１０ｄを利用し，先鋭化，グレースケース化，ヒストグラム均等化，二値化，クロージング，そして，オープニングを写真データに対して実行し，写真データの二値化画像を生成する（Ｓ２１）。

ここで，先鋭化とは，写真データの高周波成分を強調することで写真データをシャープにする処理を意味する。また，グレースケース化とは，２４ビットのフルカラー画像である写真データを２５６階調のモノクロ画像に変換する処理を意味する。

また，ヒストグラム均等化とは，該写真データを２５６階調のモノクロ画像に変換した際，階調の分布には偏りがあるため，階調の分布範囲を２５６階調とすることで，階調の分布を一様に分布させる処理を意味する。

更に，二値化とは，ヒストグラム均等化した後の写真データにおいて，定められた閾値（ここでは，階調の値が５０）以下の階調を「１」に，該閾値を超えた階調を「０」にすることで，瞳の箇所が白になる２階調の二値化画像に瞳検出領域の画像を変換することを意味する。

更に，クロージングとは，二値化した後の写真データに含まれるそれぞれの画素を所定の連結数（例えば，４連結）で膨張させた後，該連結数で収縮させることで，写真データに含まれる点欠陥を無くす処理を意味する。

更に，オープニングとは，クロージングした後の写真データに含まれるそれぞれの画素を所定の連結数（例えば，４連結）で収縮させた後，該連結数で膨張させることで，写真データに含まれる点欠陥を無くす処理を意味する。

図８は，クロージング及びオープニング後の瞳検出領域の画像を説明する図で，図８（ａ）はグレースケール化後の画像，図８（ｂ）はヒストグラム均等化後の画像，図８（ｃ）は二値化後の画像，図８（ｄ）はクロージング及びオープニング後の画像である。

図８（ａ）に図示したように，瞳検出領域の画像はグレースケール化することで２５６階調のモノクロ画像に変換され，ヒストグラム均等化することで，図（８ｂ）に図示したように，２５６階調のモノクロ画像における階調の差は大きくなる。また，図８（ｃ）に図示したように，ヒストグラム均等化後の画像を二値化することで，黒い瞳の箇所が白になる２階調の白黒画像が得られ，図８（ｄ）に図示したように，クロージング及びオープニングすることで，白点及び黒点が画像から無くなる。

次に，デジタル証明写真機１の瞳検出手段１１０は，二値化後の瞳検出領域の画像を利用して，瞳画像を検出するために利用する円形テンプレートを生成する（Ｓ２２）。

図９は，円形テンプレートを生成する内容を説明する図である。図９（ａ）で図示したように，デジタル証明写真機１の瞳検出手段１１０は，円形テンプレートを生成するために，図９の瞳検出領域３において，階調が「１」である白色画像３０の最大高さ（Ｌｍａｘ）として，写真データのＹ軸方向で階調が「１」の画素が連続して並んでいる最大の画素数を検出する。

瞳検出手段１１０が白色画像３０の最大高さ（Ｌｍａｘ）を検出すると，図９（ｂ）に図示したように，白色画像３０の最大高さ（Ｌｍａｘ）にレートを乗算することで，テンプレートの直径を計算し，該直径の内部が白色のテンプレート３１を生成する。なお，該レートとしては１〜０．８程度がよい。

図７の説明に戻る。瞳検出手段１１０はテンプレート３１を生成すると，テンプレート３１を用いてパターンマッチングしたとき，パターンマッチングの指標が最も良好となるときの瞳検出領域３における位置座標を求め，該位置座標にテンプレートを配置したとき，テンプレートと重なり合う領域近傍を瞳領域とし特定する（S２３）。

図１０は，円形テンプレートを用いたテンプレートマッチングを説明する図である。瞳検出手段１１０は，円形テンプレートを用いたテンプレートマッチングを行うとき，テンプレート３１の画像とテンプレート３１と重なり合う瞳検出領域３の画像の差の指標としてＳＳＤ（差の２乗和）を求めながら，瞳検出領域３においてテンプレート３１が収まるように，瞳検出領域３の左上端から水平方向に順次移動させ，ＳＳＤが最小となる瞳検出領域３における位置座標３２を求め，位置座標３２にテンプレート３１を配置したとき，テンプレート３１と重なり合う白色画像３０の部分領域を瞳領域として特定する。

図７の説明に戻る。デジタル証明写真機１の瞳検出手段１１０は，円形テンプレートを用いたテンプレートマッチングを実行することで，瞳検出領域から瞳領域を特定すると，瞳領域の輪郭線を検出する処理を実行する（Ｓ２４）。

図１１は，瞳領域の輪郭線を検出する処理の内容を説明する図で，図１１（ａ）から図１１（ｃ）は瞳検出領域の画像に発生するノイズ画像を説明する図，図１１（ｄ）は輪郭線検出処理の結果の例示を示した図で

図１１（ａ）に図示したように，瞳検出領域３の白色画像３０の上下には上下目蓋，睫毛または化粧品などによってノイズ画像３４ａ，ｂが発生する。デジタル証明写真機１の瞳検出手段１１０は，テンプレートマッチングで得られる位置座標を参照し，例えば，位置座標よりもＹ軸方向に対して下で，かつ，Ｘ軸方向に対して左右の方向の瞳領域３３の輪郭線を検出する。

デジタル証明写真機１の瞳検出手段１１０は，瞳領域３３の輪郭線を検出するとき，画素の階調が「１」から「０」に最初に変化する画素を特定することで，図１１（ｂ）のような輪郭線３５ａ，ｂを得る。

図７の説明に戻る。デジタル証明写真機１の瞳検出手段１１０は，瞳領域の輪郭線を検出すると，該輪郭線を用いて円のパラメータを算出する処理を実行することで，被写体の瞳の中心座標及び半径を算出（Ｓ２５）し，図７で図示した手順は終了する。

なお，被写体の写真データには左右の瞳が含まれるため，デジタル証明写真機１の瞳検出手段１１０は，図７で図示した手順を右眼及び左眼についてそれぞれ実行することで，右眼及び左眼それぞれについて瞳の中心座標及び半径を検出する。

図１２は，瞳領域の輪郭線から求められる円のイメージ図である。デジタル証明写真機１の瞳検出手段１１０は，瞳領域の輪郭線を検出する処理を実行すると，検出した輪郭線３５ａ，ｂに含まれる画素の座標値を用いて最小二乗法を行うことで円３６の式を求め，円３６の中心座標（ここでは，Ｐ（ｘ＿ｅｙｅ，ｙ＿ｅｙｅ））と半径ｒｈを求める。

ここで，円形テンプレートを用いてテンプレートマッチングを行うメッリットについて述べておく。テンプレートマッチングを行わなくとも，瞳検出領域に含まれる白色画像を抽出すればよいと思われるかもしれないが，目蓋，睫毛など以外のも様々なノイズ画像が発生するため，上述した内容に従いテンプレートマッチングを行うことで，ノイズ画像の影響を受けずに，瞳領域を特定することができるようになる。

図１３は，瞳領域を特定するときのノイズ画像を説明する図で，図１３（ａ）は，被写体の身体的特徴から発生するノイズ画像で，図１３（ｂ）は，メガネから発生するノイズ画像である。

被写体の下目蓋に膨らみなどがあると，図１３（ａ）で図示した領域３７ａのように，この膨らみから発生する画像が瞳検出領域の画像に含まれてしまい，瞳領域を特定するときのノイズ画像になり得てしまう。

また，被写体がメガネをかけていると，図１３（ｂ）で図示した領域３７ｂように，メガネから発生する画像が瞳検出領域の画像に含まれてしまい，瞳領域を特定するときのノイズ画像になり得てしまう。

上述した内容に従えば，然るべきサイズの円形テンプレートを用いてテンプレートマッチングを行うため，図１３（ａ）及び（ｂ）で図示した領域３７ａ，ｂのようなノイズ画像の影響を受けずに，瞳領域を特定できる。

次に，デジタル証明写真機１に備えられたアイキャッチ合成手段１２０によって実行されるアイキャッチ生成工程（S３）について説明する。図１４は，アイキャッチ合成手段１２０によって，撮影された被写体の瞳に合成されるアイキャッチを説明する図である。

図１４に図示したように，アイキャッチ合成手段１２０は，レイヤ１のアイキャッチ４ａ，レイヤ２のアイキャッチ４ｂ及びレイヤ３のアイキャッチ４ｃの３つを撮影された被写体の瞳４０に合成し，図１４において，レイヤ１及びレイヤ２のアイキャッチ４ａ，ｂは，アルファブレンドを利用してアイキャッチを合成する第１のアイキャッチ合成処理によって得られるアイキャッチで，レイヤ３のアイキャッチ４ｃは，画素を明るくするように補正するように設定されたトーンカーブに従い画素の階調を補正する第２のアイキャッチ合成処理で得られるアイキャッチである。

なお，図１４は，アイキャッチを合成する一例を例示したにすぎず，アイキャッチの形状及び位置，並びに，アイキャッチ合成処理は任意でよい。

デジタル証明写真機１で撮影される被写体の瞳の大きさは，被写体の身体的特徴や着座姿勢によって変わるため，デジタル証明写真機１のアイキャッチ合成手段１２０には，半径が基準長さの基準円上にアイキャッチを合成する領域であるアイキャッチ領域と，アイキャッチ領域毎に，アイキャッチ領域に施すアイキャッチ合成処理を定義したアイキャッチデータを記憶し，瞳検出手段１１０が検出した瞳のサイズに合うように該基準円をスケーリング処理したときのアイキャッチデータを生成し，アイキャッチデータで定義された内容に従い写真データにアイキャッチを合成する。

図１５は，アイキャッチ領域が定義される基準円を説明する図で，図１６は，アイキャッチデータを説明する図で，図１５で図示したアイキャッチデータはＸＭＬ形式で記述されている。

図１５で図示したように瞳画像の基準円５は，実際の写真データの2次元座標系Ｐ（ｘ，ｙ）の原点Ｐ（０，０）に設定され，瞳の基準円の半径Ｒｅの長さは５０としている。

瞳の基準円５内には，アイキャッチを合成するアイキャッチ領域として，図１４で図示したレイヤ１からレイヤ３のアイキャッチにそれぞれ対応する３つのアイキャッチ領域５ａ〜ｃが画素の集合として設定され，アイキャッチデータには，アイキャッチ領域５ａ〜ｃ毎に，アイキャッチ領域内に含まれる座標，アイキャッチ合成処理の識別子及びパラメータが定義される。

図１６に図示したアイキャッチデータ６において，＜ｅｙｅ―ｃａｔｃｈ＞タグ６０は一つのアイキャッチ領域の内容を定義する要素で，図１６では，図１５で図示したアイキャッチ領域５ａ〜ｃをそれぞれ定義する３つの＜ｅｙｅ―ｃａｔｃｈ＞タグ６０が記述されている。

＜ｅｙｅ―ｃａｔｃｈ＞タグ６０の子要素である＜ｄａｔａ＞タグ６１のｔｙｐｅ属性によって，＜ｅｙｅ―ｃａｔｃｈ＞タグ６０で定義されるアイキャッチ領域に施すアイキャッチ合成処理が示され，ｎａｍｅ属性によって，＜ｅｙｅ―ｃａｔｃｈ＞タグ６０で定義されるアイキャッチ領域の名称が示される。図１６において，第１のアイキャッチ合成処理に対応するｔｙｐｅ属性の値は「Ａ」で，第２のアイキャッチ合成処理に対応するｔｙｐｅ属性の値は「Ｂ」である。

＜ｅｙｅ―ｃａｔｃｈ＞タグ６０の子要素である＜ｐｏｉｎｔ＞タグ６２は，アイキャッチ領域に含まれる１画素すなわち座標点毎に設けられる要素で，＜ｐｏｉｎｔ＞タグ６２間には，＜ｐｏｉｎｔ＞タグ６２で定義する座標点を定義する子要素と，アイキャッチ合成処理のパラメータを定義する子要素が記述される。

＜ｐｏｉｎｔ＞タグ６２の子要素である＜ｘ＞タグ６３ａ及び＜ｙ＞タグ６３ｂは，それぞれ座標点のｅｘ軸の値及びｅｙ軸の値を定義する要素である。

当然のことながら，画像処理の手法のパラメータを定義する子要素は， 画像処理の手法によって異なり，＜ｄａｔａ＞タグ６１のｔｙｐｅ属性の値が「Ａ」，すなわち，第１のアイキャッチ合成処理の場合，第１のアイキャッチ合成処理のパラメータを定義する子要素として，アイキャッチとなる画素のＲＧＢの階調とアルファ値を表記する＜ｒ＞タグ６４ａ，＜ｇ＞タグ６４ｂ，＜ｂ＞タグ６４ｃ及び＜ａ＞タグ６４ｄが記述される。

＜ｒ＞タグ６４ａ，＜ｇ＞タグ６４ｂ及び＜ｂ＞タグ６４ｃは座標点におけるＲＧＢの階調を定義する要素で，＜ｒ＞タグ６４ａはＲ（赤）の階調で定義する要素で，＜ｇ＞タグ６４ｂはＧ（緑）の階調を定義する要素，＜ｂ＞タグ６４ｃはＢ（青）の階調で定義する要素で，＜ａ＞タグ６４ｄは，アルファブレンドに利用するアルファ値を定義する要素である。各色の値及びアルファ値は任意であるが，図１６に図示しているように，各色の階調は「２３０」，アルファ値としては「０．５３」が良好である。なお，図１６では，＜ａ＞タグ６４ｄの値には，アルファ値が１００倍された値（ここでは，「５３」）を記述している。

また，＜ｄａｔａ＞タグ６１のｔｙｐｅ属性の値が「Ｂ」，すなわち，第２のアイキャッチ合成処理の場合，第２のアイキャッチ合成処理のパラメータを定義する子要素として，＜ｐｔ１＞タグ６５ａ，＜ｐｔ２＞タグ６５ｂ，＜ｐｔ３＞タグ６５ｃ及び＜ｐｔ４＞タグ６５ｄが＜ｐｏｉｎｔ＞タグ６２毎に記述される。

＜ｐｔ１＞タグ６５ａ，＜ｐｔ２＞タグ６５ｂ，＜ｐｔ３＞タグ６５ｃ及び＜ｐｔ４＞タグ６５ｄは階調の変換に利用されるトーンカーブを定義する要素で， ＜ｐｔ１＞タグ６５ａ，＜ｐｔ２＞タグ６５ｂ，＜ｐｔ３＞タグ６５ｃ及び＜ｐｔ４＞タグ６５ｄには，階調の入力値と出力値がカンマで区切って記述され，＜ｐｔ１＞タグ６５ａ，＜ｐｔ２＞タグ６５ｂ，＜ｐｔ３＞タグ６５ｃ及び＜ｐｔ４＞タグ６５ｄの値によってトーンカーブが一意に決定される。

なお，図１６で図示したアイキャッチデータでは，＜ｐｏｉｎｔ＞タグ６２毎，すなわち，アイキャッチ領域に含まれる画素毎に，＜ｐｔ１＞タグ６５ａ，＜ｐｔ２＞タグ６５ｂ，＜ｐｔ３＞タグ６５ｃ及び＜ｐｔ４＞タグ６５ｄを用いてトーンカーブを定義しているが，アイキャッチ領域で共通となる一つのトーンカーブをアイキャッチデータで定義しすることもできる。

図１７は，デジタル証明写真機１のアイキャッチ合成手段１２０が，アイキャッチ合成工程の詳細な手順を示したフロー図である。

デジタル証明写真機１の瞳検出手段１１０が瞳画像の中心及び半径を検出すると，制御手段１００はアイキャッチ合成手段１２０を作動させる。アイキャッチ合成手段１２０は，アイキャッチを写真データに合成するとき，まず，ＦｅＲＡＭ１０ｃに記憶されているアイキャッチデータを瞳の半径に合わせるようにスケーリングする処理を実行する（Ｓ３０）。

図１５では，瞳の基準円５の半径は５０しているため，検出した瞳の半径が５０よりも大きければ，画素を増やす，すなわち，＜ｐｏｉｎｔ＞タグ６２を増やすように補間して，基準円５の半径を拡大させ瞳の半径に合うように基準円５をスケーリング処理したときのアイキャッチデータを生成する。また，検出した瞳の半径が５０よりも小さければ，画素を減らす，すなわち，アイキャッチデータの＜ｐｏｉｎｔ＞タグ６２を減らすように補間して，基準円５の半径を縮小させ瞳の半径に合うように基準園５をスケーリング処理したときのアイキャッチデータを生成する。

デジタル証明写真機１のアイキャッチ合成手段１２０は，スケーリング処理後のアイキャッチデータを生成すると，スケーリング後のアイキャッチデータを座標演算する処理を実行する（Ｓ３１）。

図１５では，瞳の基準円５の中心点は2次元座標系Ｐ（ｘ，ｙ）の原点であるため，アイキャッチデータに含まれる＜ｘ＞タグ６３ａそれぞれに，瞳の中心座標のＸ軸の値（ｘ＿ｅｙｅ）を加算し，更に，アイキャッチデータに含まれる＜ｙ＞タグ６３ｂそれぞれに，瞳の中心座標のＹ軸の値（ｙ＿ｅｙｅ）を加算する。

デジタル証明写真機１のアイキャッチ合成手段１２０は，スケーリング後のアイキャッチデータを瞳画像の中心に合うように座標演算すると，座標演算後のアイキャッチデータに含まれる＜ｅｙｅ―ｃａｔｃｈ＞タグ６０毎に実行されるループ処理Ｌを実行し，ループ処理Ｌが終了すると，この手順は終了する。

ループ処理Ｌにおいて，アイキャッチ合成手段１２０は，ループ処理Ｌ１の対象となる＜ｅｙｅ―ｃａｔｃｈ＞タグ６０に記述された＜ｄａｔａ＞タグ６１のｔｙｐｅ属性の値を参照し，ｔｙｐｅ属性の値に基づいて処理を分岐させる。

ｔｙｐｅ属性の値が「Ａ」の場合，アイキャッチ合成手段１２０は第１のアイキャッチ合成処理を選択し，また，ｔｙｐｅ属性の値が「Ｂ」の場合，アイキャッチ合成手段１２０は第２のアイキャッチ合成処理を選択する。

アイキャッチ合成手段１２０が第１のアイキャッチ合成処理を選択したとき，対象となる＜ｅｙｅ―ｃａｔｃｈ＞タグ６０の子要素となっている＜ｐｏｉｎｔ＞タグ６２毎に，＜ｐｏｉｎｔ＞タグ６２で定義される画素を同じ＜ｐｏｉｎｔ＞タグ６２で定義される写真データの画素に数式１に従いアルファブレンドする処理を実行する。

＜ｐｏｉｎｔ＞タグ６２で定義される写真データの画素の座標は，座標演算後の＜ｐｏｉｎｔ＞タグ６２の子要素である＜ｘ＞タグ６３ａ及び＜ｙ＞タグ６３ｂの値で示され，＜ｐｏｉｎｔ＞タグ６２で定義される写真データの画素にアルファブレンドする画素のＲＧＢの階調は，＜ｐｏｉｎｔ＞タグ６２の子要素である＜ｒ＞タグ６４ａ，＜ｇ＞タグ６４ｂ及び＜ｂ＞タグ６４ｃの値で示され，更に，アルファブレンドするときのアルファ値は＜ａ＞タグ６４ｄの値で示される。

アイキャッチ合成手段１２０が第２のアイキャッチ合成処理を実行するとき，対象となる＜ｅｙｅ―ｃａｔｃｈ＞タグ６０の子要素となっている＜ｐｏｉｎｔ＞タグ６２毎に，＜ｐｏｉｎｔ＞タグ６２で定義されている写真データの画素の階調を同じ＜ｐｏｉｎｔ＞タグ６２で定義されたトーンカーブに従い補正する処理を実行する。

＜ｐｏｉｎｔ＞タグ６２で定義される写真データの画素の座標は，座標演算後の＜ｐｏｉｎｔ＞タグ６２の子要素である＜ｘ＞タグ６３ａ及び＜ｙ＞タグ６３ｂの値で示され，階調の補正に利用するトーンカーブは，＜ｐｏｉｎｔ＞タグ６２の子要素である＜ｐｔ１＞タグ６５ａ，＜ｐｔ２＞タグ６５ｂ，＜ｐｔ３＞タグ６５ｃ及び＜ｐｔ４＞タグ６５ｄの４つの値から一意に決定される。

ラグランジュ補間によれば，4点を通るカーブ曲線は数式２の３次式で表すことができ，＜ｐｔ１＞タグ６５ａ，＜ｐｔ２＞タグ６５ｂ，＜ｐｔ３＞タグ６５ｃ及び＜ｐｔ４＞タグ６５ｄの４つの値を数式２の３次式に代入すると，数式３の連立方程式が得られ，数式３の連立方程式を解くことで，数式２の3次式の各係数（ａからｄ）を求めることができる。

座標変換後の＜ｐｏｉｎｔ＞タグ６２の子要素である＜ｘ＞タグ６３ａ及び＜ｙ＞タグ６３ｂの値で特定される写真データの画素の階調を補正するとき，アイキャッチ合成手段１２０は，該画素のＲＧＢ座標系の値をＹＩＱ座標系に変換し、Yの値に関して、数式１のＴｉに代入して得られるＴ０とする補正を行った後、ＲＧＢ座標系への逆変換処理を行う。

なお，被写体の写真データには左右の瞳が含まれるため，デジタル証明写真機１のアイキャッチ合成手段１２０は，図１７で図示した手順を右眼及び左眼についてそれぞれ実行することになる。

よって，デジタル証明写真機１のアイキャッチ合成手段１２０には右眼用のアイキャッチデータと左眼用のアイキャッチデータが記憶され，アイキャッチ合成手段１２０は，右眼の瞳にアイキャッチを合成するときは，右眼用のアイキャッチデータを利用し，左眼の瞳にアイキャッチを合成するときは，左眼用のアイキャッチデータを利用する。

右眼用のアイキャッチデータと左眼用のアイキャッチデータの内容は同一であっても異なっていてもよい。右眼用のアイキャッチデータと左眼用のアイキャッチデータの内容は同一の場合，右眼の瞳と左眼の瞳には同じ内容のアイキャッチが合成される。また，右眼用のアイキャッチデータと左眼用のアイキャッチデータの内容が異なる場合，右眼の瞳と左眼の瞳には異なる内容のアイキャッチ（例えば，左右対称）が合成される。

図１８は，アイキャッチ合成後の写真データのイメージ図で，図１８（ａ）はアイキャッチ合成前の写真データ５で，図１８（ｂ）はアイキャッチ合成後の写真データ５ａである。これまで述べた手順が実行されることで，図１８（ａ）で図示した写真データ５にアイキャッチが合成されて，図１８（ｂ）で図示した写真データ５ｂが生成される。

１ デジタル証明写真機
１０ 制御部
１０ａ ＣＰＵ，１０ｂ ＲＡＭ，１０ｃ ＦｅＲＡＭ，１０ｄ 画像処理プロセッサ
１１ デジタルカメラ
１２ 写真プリンタ
１３ タッチパネル
１００ 制御手段
１０６ 両眼検出手段
１１０ 瞳検出手段
１２０ アイキャッチ合成手段

Claims (15)

1. 人物である被写体の写真データにアイキャッチを合成する装置であって，前記写真データに含まれる顔領域を解析して得られる眼の位置座標から瞳検出領域を設定し，前記写真データの二値化画像における前記瞳検出領域内の画像と円形テンプレートをテンプレートマッチングすることで，前記被写体の瞳に該当する瞳領域を特定した後，前記瞳領域の輪郭線を抽出し，前記瞳領域の輪郭線を用いて該被写体の瞳の中心座標及び半径を算出する瞳検出手段と，前記瞳検出手段が検出した瞳の中心座標及び半径を利用して，前記写真データに撮影された被写体の瞳に所定のアイキャッチを合成するアイキャッチ合成手段を備えていることを特徴とするアイキャッチ合成装置。
2. 請求項１に記載のアイキャッチ合成装置において，前記瞳検出手段は，前記瞳検出領域に含まれ，定められた階調の画素の高さ方向の最大長さを利用して，前記円形テンプレートの径を求めることを特徴とするアイキャッチ合成装置。
3. 請求項１または請求項２のいずれか一つに記載のアイキャッチ合成装置において，中心点を座標原点とし半径が基準長さの基準円上にアイキャッチを合成する領域であるアイキャッチ領域が定義され，更に，前記基準円上における前記アイキャッチ領域に含まれる画素の座標及び前記アイキャッチ領域に施すアイキャッチ合成処理が前記アイキャッチ領域毎に定義されたアイキャッチデータを前記アイキャッチ合成装置は記憶し，前記アイキャッチ合成手段は，アイキャッチを前記写真データに合成するとき，前記瞳検出手段が検出した瞳の半径に前記基準円の半径を合わせるように前記アイキャッチ領域をスケーリング処理したときの前記アイキャッチデータを生成した後，前記瞳検出手段が検出した瞳の中心座標に前記基準円の中心点を合わせる座標演算を実行し，座標演算後の前記アイキャッチデータで定義された前記アイキャッチ領域に対応する前記写真データの領域に，前記アイキャッチ領域に定義された前記アイキャッチ合成処理を実行することを特徴とするアイキャッチ合成装置。
4. 請求項３に記載のアイキャッチ合成装置において，アイキャッチの合成にアルファブレンドを利用する第１のアイキャッチ合成処理が前記アイキャッチ領域に定義付けられている場合，前記アイキャッチ合成手段は，該アイキャッチデータにおいて該アイキャッチ領域に関連付けて定義されている画素と，該画素に対応する前記写真データの画素をアルファブレンドする処理を実行することを特徴とするアイキャッチ合成装置。
5. 請求項３または請求項４に記載のアイキャッチ合成装置において，アイキャッチの合成に階調補正を利用する第２のアイキャッチ合成処理が前記アイキャッチ領域に定義付けられている場合，前記アイキャッチ合成手段は，該アイキャッチデータにおいて該アイキャッチ領域に関連付けられて定義されているトーンカーブを利用して，該アイキャッチ領域に対応する前記写真データの領域の階調を補正する処理を実行することを特徴とするアイキャッチ合成装置。
6. 請求項５に記載のアイキャッチ合成装置において，前記トーンカーブ上の４点の値で前記トーンカーブは定義され，前記アイキャッチ合成手段は，該４点の値からトーンカーブの3次式を求め，該３次式を用いて前記写真データの画素の階調を補正することを特徴とするアイキャッチ合成装置。
7. 請求項６に記載のアイキャッチ合成装置において，前記トーンカーブは，前記トーンカーブ上の４点の値を用いて前記アイキャッチ領域の画素毎に定義付けられ，前記アイキャッチ合成装置は，該アイキャッチ領域の画素毎に，該画素に定義されている前記トーンカーブを用いて，該アイキャッチ領域の画素毎に対応する前記写真データの画素の階調を補正する処理を実行することを特徴とするアイキャッチ合成装置。
8. 人物である被写体の写真データにアイキャッチを合成する方法であって，アイキャッチを合成する装置が，前記写真データに含まれる顔領域を解析して得られる眼の位置座標から瞳検出領域を設定するステップａ１，前記写真データの二値化画像における前記瞳検出領域内の画像と円形テンプレートをテンプレートマッチングすることで，前記被写体の瞳に該当する瞳領域を特定するステップａ２，特定した前記瞳領域の輪郭線を抽出し，前記瞳領域の輪郭線を用いて該被写体の瞳の中心座標及び半径を算出するステップａ３が実行される工程ａと，前記装置が，前記工程ａで検出した瞳の中心座標及び半径を利用して，前記写真データに撮影された被写体の瞳に所定のアイキャッチを合成する工程ｂを含むことを特徴とするアイキャッチ合成方法。
9. 請求項８に記載のアイキャッチ合成方法において，前記工程ａの前記ステップａ１において，前記装置は，前記瞳検出領域に含まれ，定められた階調の画素の高さ方向の最大長さを利用して，前記円形テンプレートを生成することを特徴とするアイキャッチ合成装置。
10. 請求項８または請求項９のいずれか一つに記載のアイキャッチ合成方法において，前記装置は，中心点を座標原点とし半径が基準長さの基準円上にアイキャッチを合成する領域であるアイキャッチ領域が定義され，更に，前記基準円上における前記アイキャッチ領域に含まれる画素の座標及び前記アイキャッチ領域に施すアイキャッチ合成処理が前記アイキャッチ領域毎に定義されたアイキャッチデータを記憶し，前記工程ｂにおいて，前記装置は，前記工程ａで検出した瞳の半径に前記基準円の半径を合わせるように前記アイキャッチ領域をスケーリング処理したときの前記アイキャッチデータを生成するステップｂ１，前記工程ａで検出した瞳の中心座標に前記基準円の中心点を合わせる座標演算を実行するステップｂ２，座標演算後の前記アイキャッチデータで定義された前記アイキャッチ領域に対応する前記写真データの領域に，前記アイキャッチ領域に定義された前記アイキャッチ合成処理を実行するステップｂ３が実行されることを特徴とするアイキャッチ合成方法。
11. 請求項１０に記載のアイキャッチ合成方法において，前記工程ｂの前記ステップｂ３において，前記装置は，アイキャッチの合成にアルファブレンドを利用する第１のアイキャッチ合成処理が前記アイキャッチ領域に定義付けられている場合，前記アイキャッチ合成手段は，該アイキャッチデータにおいて該アイキャッチ領域に関連付けて定義されている画素と，該画素に対応する前記写真データの画素をアルファブレンドする処理を実行することを特徴とするアイキャッチ合成方法。
12. 請求項１０または請求項１１に記載のアイキャッチ合成方法において，前記工程ｂの前記ステップｂ３において，前記装置は，アイキャッチの合成に階調補正を利用する第２のアイキャッチ合成処理が前記アイキャッチ領域に定義付けられている場合，前記アイキャッチ合成手段は，該アイキャッチデータにおいて該アイキャッチ領域に関連付けられて定義されているトーンカーブを利用して，該アイキャッチ領域に対応する前記写真データの領域の階調を補正する処理を実行することを特徴とするアイキャッチ合成方法。
13. 請求項１２に記載のアイキャッチ合成方法において，前記トーンカーブ上の４点の値で前記トーンカーブは定義され，前記工程ｂの前記ステップｂ３において，前記装置は，該４点の値からトーンカーブの3次式を求め，該３次式を用いて前記写真データの画素の階調を補正することを特徴とするアイキャッチ合成方法。
14. 請求項１３に記載のアイキャッチ合成方法において，前記トーンカーブは，前記トーンカーブ上の４点の値を用いて前記アイキャッチ領域の画素毎に定義付けられ，前記工程ｂの前記ステップｂ３において，前記装置は，該アイキャッチ領域の画素毎に，該画素に定義付けられている前記トーンカーブを用いて，該アイキャッチ領域の画素毎に対応する前記写真データの画素の階調を補正する処理を実行することを特徴とするアイキャッチ合成方法。
15. コンピュータに請求項８から請求項１２に記載のアイキャッチ合成方法を実行させるコンピュータプログラム。