JP2007206921A - 写真画像の画像処理技術 - Google Patents

Abstract

【課題】写真画像に合成される装飾画像を選択する際におけるユーザの負担を十分に軽減することができる画像処理技術を提供する。
【解決手段】印刷装置１０は、画像処理機能として、写真画像Ｇｐを装飾するための複数のフレーム画像Ｇｆを予め記憶する装飾画像記憶部１８２と、写真画像Ｇｐに対するフレーム画像Ｇｆの適合性を示す属性情報として適合テーブル７７０および除外テーブル７８０を予め記憶する属性情報記憶部１８４と、記憶媒体８１０から写真画像Ｇｐを読み出す写真読出部１１１と、写真画像Ｇｐに写された被写体ＯＪを認識する被写体認識部１１２と、被写体ＯＪが有する特徴を判断する特徴判断部１１３と、被写体ＯＪの特徴を属性情報に照合することによって、写真画像Ｇｐに適合するフレーム画像Ｇｆを選択する選択部１１４と、選択されたフレーム画像Ｇｆを写真画像Ｇｐに合成する合成部１１５とを備える。
【選択図】図２

Description

本発明は、デジタルデータで表現された写真画像（デジタル写真）に別の画像を合成することによって、写真画像を装飾する画像処理技術に関する。

写真画像は、デジタルスチルカメラやカメラ付き携帯電話機、イメージスキャナ等の画像入力装置によって生成される。写真画像を観賞する際の興趣を高めるために、写真画像に別の画像を合成することによって写真画像を装飾することが行われる。写真画像を装飾する装飾画像としては、例えば、写真画像の縁部を装飾する画像（所謂、フレーム画像）や、写真画像の一部分を装飾する画像などがある。写真画像への装飾画像の合成は、異なる画像を合成する機能を有する装置、例えば、パーソナルコンピュータやデジタルスチルカメラ，カメラ付き携帯電話機の他、記憶媒体に記憶された画像を直接的に印刷可能な印刷装置（所謂、ダイレクトプリンタ）等によって行われる。

従来、複数の装飾画像の中から合成対象となる装飾画像を選択する際におけるユーザの負担を軽減するために、写真画像にデータとして含まれ撮影状況（撮影日時や地理情報など）を示す付加情報に応じて、装飾画像を選択する技術が提案されている。下記特許文献１には、写真画像に含まれる付加情報に応じて装飾画像を選択する技術が開示されている。

特開２００５−３９３２３号公報

しかしながら、従来の技術は、写真画像に写された被写体と、その写真画像に含まれる付加情報との関連性が低い場合には、その写真画像に相応しくない装飾画像が選択されてしまうという問題があった。

本発明は、上記した課題を踏まえ、写真画像に合成される装飾画像を選択する際におけるユーザの負担を十分に軽減することができる画像処理技術を提供することを目的とする。

上記した課題を解決するため、本発明の画像処理装置は、デジタルデータで表現された写真画像を画像処理する画像処理装置であって、写真画像を装飾するための複数の装飾画像を予め記憶する装飾画像記憶部と、写真画像に対する装飾画像の適合性を示す属性情報を予め記憶する属性情報記憶部と、写真画像が記憶されている記憶媒体から該写真画像を読み出す写真読出部と、読み出した写真画像から、該写真画像に写された被写体を認識する被写体認識部と、認識した被写体が有する特徴を判断する特徴判断部と、判断した被写体の特徴を属性情報に照合することによって、読み出した写真画像に適合する装飾画像を複数の装飾画像の中から選択する選択部と、選択した装飾画像を、読み出した写真画像に合成する合成部とを備えることを特徴とする。これによって、被写体の特徴に適合した装飾画像が選択されるため、写真画像に合成される装飾画像を選択する際におけるユーザの負担を十分に軽減することができる。

上述の画像処理装置は、以下の形態を採ることもできる。例えば、選択部は、装飾画像を選択するための条件を、判断した被写体の特徴に応じて設定する条件設定部を備えても良い。これによって、被写体の特徴に応じて選択条件に緩急を付けることによって、写真画像毎に相応しい装飾画像を絞り込むことができる。

また、合成部は、写真画像に合成される装飾画像を、判断した被写体の特徴に応じて修正する修正部を備えても良い。これによって、写真画像に対する装飾画像の適合性を更に向上させることができる。

また、選択部が写真画像に適合する装飾画像を複数選択した場合に、選択した複数の装飾画像の少なくとも一つの指定をユーザから受け付ける指定受付部を更に備え、合成部は、選択した複数の装飾画像のうちユーザから指定された装飾画像を、読み出した写真画像に合成することとしても良い。これによって、画像処理装置のユーザは、被写体の特徴に適合した装飾画像の中から合成すべき装飾画像を指定することができる。

また、装飾画像は、写真画像の縁部を覆うフレーム画像、および該フレーム画像の元となる素材画像の少なくとも一方の画像を含むこととしても良い。なお、フレーム像は、写真画像の縁部の全てを覆う画像に限るものではなく、写真画像の縁部の一部を覆う画像であっても良い。また、装飾画像は、写真画像の一部分をワンポイントとして装飾する画像であっても良い。

また、被写体認識部は、被写体として人物の顔を認識し、特徴判断部は、被写体の特徴として、人物の顔が写真画像に占める領域の大きさ，位置、並びに該人物の人数，年齢，性別，表情の少なくとも一つの特徴を判断しても良い。これによって、被写体である人物の特徴に応じた装飾画像を選択することができる。なお、認識される被写体は、人物に限るものではなく、動物、植物、風景、乗物、建物など種々の物であっても良い。

また、本発明の形態は、画像処理装置の形態に限るものではなく、例えば、上述の画像処理装置を備え装飾画像を合成した写真画像を印刷する印刷装置や、デジタルデータで表現された写真画像を画像処理する画像処理方法、デジタルデータで表現された写真画像を画像処理する機能をコンピュータに実現させるためのプログラム、そのプログラムをコンピュータ読み取り可能に記憶した記憶媒体などに適用することも可能である。また、本発明は、前述の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。

以上説明した本発明の構成および作用を一層明らかにするために、以下本発明を適用した画像処理技術について説明する。

Ａ．第１の実施例：
Ａ−１．印刷装置の構成：
図１は、印刷装置１０の外観構成を示す斜視図である。図２は、主として印刷装置１０の内部構成を示す説明図である。図１および図２に示す印刷装置１０は、カラープリンタ，モノクロプリンタ，スキャナ，複写機などの各種機能を併せ持つ装置、いわゆる複合機である。印刷装置１０は、これらの機能に加えて、印刷装置１０に接続された記憶媒体にデジタルデータとして記憶されている写真画像Ｇｐを印刷データに変換して直接的に印刷するダイレクト・プリント機能と、ダイレクト・プリントされる写真画像Ｇｐにフレーム画像Ｇｆを合成するフレーム合成機能とを有する。

印刷装置１０は、印刷装置１０の各部を制御するメイン制御部１１０と、普通紙や写真用紙，ハガキなどの印刷媒体９００に印刷を行う印刷部１２０と、紙面上の画像を読み取ってデジタルデータに変換（スキャン、scan）するスキャナ部１３０と、フラッシュメモリを内蔵するメモリカードのような記憶媒体８１０にデータを読み書き可能なカードスロット１４０と、パーソナルコンピュータやデジタルスチルカメラ，デジタルビデオカメラなどの記憶媒体を内蔵する外部機器８２０とデータをやり取り可能な通信コネクタ１５０と、文字や画像を表示するディスプレイ部１６０と、印刷装置１０のユーザからの指示入力を受け付ける入力ボタン部１７０とを備える。

印刷装置１０は、フレーム合成機能を実現するため更に、フレーム画像Ｇｆを格納した複数の装飾ファイル７５０を予め記憶する装飾画像記憶部１８２と、写真画像Ｇｐに対するフレーム画像Ｇｆの適合性を示す属性情報として適合テーブル７７０および除外テーブル７８０を予め記憶する属性情報記憶部１８４とを備える。適合テーブル７７０は、各フレーム画像Ｇｆとの合成に適合する写真画像Ｇｐの条件を示し、除外テーブル７８０は、各フレーム画像Ｇｆとの合成に適合しない写真画像Ｇｐの条件を示す。なお、装飾画像記憶部１８２および属性情報記憶部１８４は、リードオンリメモリ（Read Only Memory、以下、ＲＯＭという）や、ランダムアクセスメモリ（Random Access Memory、以下、ＲＡＭという）、ハードディスクドライブ(Hard Disk Drive、以下、ＨＤＤという)などの種々の記憶装置で構成可能である。

印刷装置１０のメイン制御部１１０は、フレーム合成機能を実現するため、カードスロット１４０に接続された記憶媒体８１０や通信コネクタ１５０に接続された外部機器８２０から写真画像Ｇｐを格納した写真ファイル７１０を読み出す写真読出部１１１と、読み出した写真画像Ｇｐに写された被写体ＯＪを認識する被写体認識部１１２と、認識した被写体ＯＪが有する特徴を判断する特徴判断部１１３と、判断した被写体の特徴に基づいて、写真画像Ｇｐに適合するフレーム画像Ｇｆを選択する選択部１１４と、選択したフレーム画像Ｇｆを写真画像Ｇｐに合成する合成部１１５と、写真画像Ｇｐにフレーム画像Ｇｆを合成した合成画像Ｇｃを印刷する制御を行なう印刷制御部１１６とを備える。

本実施例では、メイン制御部１１０は、セントラルプロセッシングユニット（Central Processing Unit、以下、ＣＰＵという）,ＲＯＭ,ＲＡＭなどのハードウェアを備えたＡＳＩＣ（Application Specific Integrated Circuits）である。メイン制御部１１０の動作についての詳細は後述する。

印刷装置１０の印刷部１２０は、図２に示すように、印刷媒体９００に印刷インクを吐出する印刷ヘッドユニット２１０と、印刷ヘッドユニット２１０を搭載するキャリッジ２００と、キャリッジ２００を主走査方向に駆動するキャリッジ駆動部２４０と、印刷媒体９００を搬送する印刷媒体搬送部２５０とを備える。印刷部１２０の印刷ヘッドユニット２１０は、ブラック，シアン，ライトシアン，マゼンダ，ライトマゼンダ，イエロの各色のインク毎に計６個のインク吐出ヘッド２１１〜２１６を有する。インク吐出ヘッド２１１〜２１６の各々は、ピエゾ素子（図示しない）の電圧調整によってインクを印刷媒体９００に吐出する。印刷部１２０のインク吐出ヘッド２１１〜２１６，キャリッジ駆動部２４０，印刷媒体搬送部２５０の各々は、メイン制御部１１０の指示に基づいて協働することによって、印刷媒体９００に対する印刷を実現する。

図３は、写真ファイル７１０のデータ構造を模式的に示す説明図である。写真ファイル７１０の各々は、その写真ファイル７１０によって再生される写真画像Ｇｐが撮影された際の撮影条件を示す撮影条件データ７１１０と、その写真ファイル７１０によって再生される写真画像Ｇｐを表現する画像データ７１２０とを有する。写真ファイル７１０の撮影条件データ７１１０は、撮影条件を示す情報として、その写真画像Ｇｐが撮影された撮影日時７１１２と、その写真画像Ｇｐが撮影された際の絞り値（Ｆ値）７１１４と、その写真画像Ｇｐが撮影された際のシャッタスピード７１１６と、その写真画像Ｇｐが撮影された際のＩＳＯ感度７１１８と、その写真画像Ｇｐがフラッシュを用いて撮影されたか否かを示すフラッシュ情報７１１９とを有する。本実施例では、写真ファイル７１０は、デジタルスチルカメラで撮影された写真画像Ｇｐが記録されたＥｘｉｆ規格のＪＰＥＧファイルである。

図４は、装飾ファイル７５０のデータ構造を模式的に示す説明図である。装飾ファイル７５０の各々は、その装飾ファイル７５０によって再生されるフレーム画像Ｇｆを表現するフレーム画像データ７５２０を有する。本実施例では、フレーム画像Ｇｆは、写真画像Ｇｐの大きさに合わせた矩形の画像であり、その矩形の中央部には、写真画像Ｇｐに重ねた際に写真画像Ｇｐを透過する矩形状の開口領域Ａｏｐを有する。図４に示すフレーム画像Ｇｆは、四辺に並べられたハート型の図形の内側に開口領域Ａｏｐを有する画像であり、フレーム画像Ｇｆの背景色は透過色である。

図５は、適合テーブル７７０の一例を示す説明図である。適合テーブル７７０には、フレーム画像Ｇｆの識別子を示すフレームＩＤ情報７７０１と、フレーム画像Ｇｆが有する開口領域Ａｏｐの大きさを示す開口サイズ情報７７０２と、フレーム画像Ｇｆとの合成に適合する被写体ＯＪの人数を示す人数情報７７０３と、フレーム画像Ｇｆとの合成に適合する被写体ＯＪの年齢を示す年齢情報７７０４と、フレーム画像Ｇｆとの合成に適合する被写体ＯＪの性別を示す性別情報７７０５と、フレーム画像Ｇｆとの合成に適合する被写体ＯＪの表情を示す表情情報７７０６とが格納されている。本実施例では、開口サイズ情報７７０２、人数情報７７０３、年齢情報７７０４、性別情報７７０５、表情情報７７０６の各属性情報の全てが、一つのフレーム画像Ｇｆに設定されているとは限らず、各属性情報の少なくともいずれかが、一つのフレーム画像Ｇｆに設定される。本実施例では、適合テーブル７７０の属性情報が空欄である場合には、その属性情報については合成の適否に関係しない旨を示す。

適合テーブル７７０の開口サイズ情報７７０２には、開口領域Ａｏｐの大きさとして、フレーム画像Ｇｆの上辺から開口領域Ａｏｐの上辺までの距離と、フレーム画像Ｇｆの左辺から開口領域Ａｏｐの左辺までの距離と、フレーム画像Ｇｆの左辺から開口領域Ａｏｐの右辺までの距離と、フレーム画像Ｇｆの上辺から開口領域Ａｏｐの下辺までの距離とが示される。適合テーブル７７０の性別情報７７０５には、被写体ＯＪの性別として、「男」、「女」の他、被写体ＯＪが複数の場合には「男」および「女」が混合する状態が示される。適合テーブル７７０の表情情報７７０６には、被写体ＯＪの表情として、「喜」、「怒」、「哀」、「楽」の４種類の表情が示される。

例えば、図５に示す適合テーブル７７０には、識別子「ＰＩＦ０００１」として識別されるフレーム画像Ｇｆは、被写体ＯＪの人数が「２人」であると共にそれらの被写体ＯＪの性別が「男女」の組み合わせである写真画像Ｇｐに適合することが示されている。また、例えば、識別子「ＰＩＦ０００２」として識別されるフレーム画像Ｇｆは、被写体ＯＪの年齢が「０歳から５歳」であると共にその被写体ＯＪの表情が「哀」または「楽」である写真画像Ｇｐに適合することが示されている。

図６は、除外テーブル７８０の一例を示す説明図である。除外テーブル７８０には、フレーム画像Ｇｆとの合成に適合しない被写体ＯＪの人数を示す人数情報７８０１と、フレーム画像Ｇｆとの合成に適合しない被写体ＯＪの年齢を示す年齢情報７８０２と、フレーム画像Ｇｆとの合成に適合しない被写体ＯＪの性別を示す性別情報７８０３と、フレーム画像Ｇｆとの合成に適合しない被写体ＯＪの表情を示す表情情報７８０４と、フレーム画像Ｇｆの識別子を示す除外フレームＩＤ情報７８０５とが格納されている。本実施例では、除外テーブル７８０の属性情報が空欄である場合には、その属性情報については合成の適否に関係しない旨を示す。

例えば、図６に示す除外テーブル７８０には、識別子「ＰＩＦ０００２」として識別されるフレーム画像Ｇｆは、被写体ＯＪの人数が「２人」であると共にそれらの被写体ＯＪの性別が「男女」の組み合わせである写真画像Ｇｐに適合しないことが示されている。また、例えば、識別子「ＰＩＦ０００２」および「ＰＩＦ０００２」として識別されるフレーム画像Ｇｆは、被写体ＯＪの年齢が「０歳から５歳」で性別が「男」であると共にその被写体ＯＪの表情が「哀」または「楽」である写真画像Ｇｐに適合しないことが示されている。

Ａ−２．印刷装置の動作：
図７は、印刷装置１０のメイン制御部１１０によって実行される合成画像印刷処理を示すフローチャートである。印刷装置１０のメイン制御部１１０は、記憶媒体８１０や外部機器８２０がユーザによってカードスロット１４０や通信コネクタ１５０に取り付けられ、ダイレクト・プリント機能の実施要求に加えフレーム合成機能の実施要求がユーザによって入力ボタン部１７０を介して入力された際に、図７の合成画像印刷処理を開始する。

印刷装置１０のメイン制御部１１０は、図７の合成画像印刷処理を開始すると、カードスロット１４０や通信コネクタ１５０に取り付けられている記憶媒体８１０や外部機器８２０から、写真ファイル７１０として記憶されている写真画像Ｇｐを読み出す（ステップＳ１１０）。

その後、メイン制御部１１０は、読み出された写真画像Ｇｐから被写体ＯＪを認識する（ステップＳ１２０）。本実施例では、被写体ＯＪとして、人物の顔を認識する。その後、メイン制御部１１０は、認識した被写体ＯＪから、被写体ＯＪの特徴として、被写体ＯＪを囲む矩形である被写体領域Ａｏｊと、被写体ＯＪの人数、年齢、性別、表情とを判断する（ステップＳ１３０）。

図８は、写真画像Ｇｐの被写体ＯＪの認識（ステップＳ１２０）、および被写体ＯＪの特徴の判断（ステップＳ１３０）の様子を示す説明図である。写真画像Ｇｐの被写体ＯＪは、写真画像Ｇｐ上の認識領域Ａｒｃ内で所定の閾値を有する画像領域として認識される。本実施例では、写真画像Ｇｐの大きさを長辺Ｘ、短辺Ｙの矩形とすると、認識領域Ａｒｃは、長辺ｘ２（ｘ２＝Ｘ／√２）、短辺ｙ２（ｙ２＝Ｙ／√２）の矩形であり、認識領域Ａｒｃは、写真画像Ｇｐの中央に位置する領域である。例えば、図８の写真画像Ｇｐでは、被写体ＯＪとして、二つの被写体ＯＪ１，ＯＪ２が認識されている。被写体領域Ａｏｊは、認識された被写体ＯＪの大きさに基づき判断される。被写体ＯＪの人数は、認識された被写体ＯＪの個数から判断される。被写体ＯＪの年齢、性別、表情は、認識された被写体ＯＪの目、鼻、口、髪型、色彩などについての位置、大きさ、比率などの顔特徴量に基づき推定される。

図７の説明に戻り、メイン制御部１１０は、被写体ＯＪの特徴を判断した後（ステップＳ１３０）、フレーム画像Ｇｆを選択するためのフレーム選択処理（ステップＳ１４０）を実行する。

図９は、印刷装置１０のメイン制御部１１０によって実行されるフレーム選択処理（ステップＳ１４０）の詳細を示すフローチャートである。メイン制御部１１０は、図９のフレーム選択処理を開始すると、適合テーブル７７０の開口サイズ情報７７０２を参照して、被写体領域Ａｏｊを納めることが可能なフレーム画像Ｇｆを、写真画像Ｇｐに合成するフレーム画像Ｇｆの候補として特定する（ステップＳ１４０１）。その後、メイン制御部１１０は、除外テーブル７８０を参照して、被写体ＯＪの特徴の組み合わせに該当するフレーム画像Ｇｆを、写真画像Ｇｐに合成するフレーム画像Ｇｆの候補から除外する（ステップＳ１４０２）。

その後、メイン制御部１１０は、被写体ＯＪの特徴に基づいて、写真画像Ｇｐに合成するフレーム画像Ｇｆの候補を絞り込む選択条件を設定する（ステップＳ１４０３）。選択条件は、被写体ＯＪの特徴として判断された「人数」、「年齢」、「性別」、「表情」の組み合わせである。

メイン制御部１１０は、選択条件を設定した後（ステップＳ１４０３）、設定した選択条件を適合テーブル７７０に参照することによって、その選択条件に該当するフレーム画像Ｇｆを、写真画像Ｇｐに合成するフレーム画像Ｇｆの候補の中から選択する（ステップＳ１４０４）。メイン制御部１１０は、所定個数のフレーム画像Ｇｆを選択できない場合には、選択条件を緩和することによって（ステップＳ１４０６）、所定個数のフレーム画像Ｇｆを選択する（ステップＳ１４０５）。本実施例では、所定個数のフレーム画像Ｇｆを選択できない毎に、「表情」、「性別」、「年齢」、「人数」の順に選択条件の項目から削除することによって、選択条件が緩和されるが、種々の順序で選択条件が緩和されることとしても良い。

メイン制御部１１０は、所定個数のフレーム画像Ｇｆを選択すると（ステップＳ１４０５）、フレーム選択処理（ステップＳ１４０）を終了する。図９のフレーム選択処理（ステップＳ１４０）によって選択されるフレーム選択処理の個数は、２つ以上であっても良いし、１つであっても良い。

図７の説明に戻り、メイン制御部１１０は、フレーム選択処理（ステップＳ１４０）で選択したフレーム画像Ｇｆをディスプレイ部１６０に表示し（ステップＳ１５０）、合成すべきフレーム画像Ｇｆの指定をユーザから入力ボタン部１７０を介して受け付ける（ステップＳ１６０）。

図１０は、ユーザからフレーム画像Ｇｆの指定を受け付けるためにディスプレイ部１６０に表示されるフレーム選択画面１６１０の一例を示す説明図である。本実施例では、フレーム選択画面１６１０の上段部分に、合成対象である写真画像Ｇｐが表示され、フレーム選択画面１６１０の下段部分に、フレーム選択処理（ステップＳ１４０）で選択されたフレーム画像Ｇｆの候補が表示される。フレーム選択画面１６１０の下段部分に、フレーム画像Ｇｆの候補の全てを表示しきれない場合には、ユーザはボタン１６１２を操作することによって、フレーム画像Ｇｆの候補の全てを確認することが可能である。

図７の説明に戻り、メイン制御部１１０は、ユーザからフレーム画像Ｇｆの指定を受け付けた後（ステップＳ１６０）、指定されたフレーム画像Ｇｆを写真画像Ｇｐに合成する（ステップＳ１７０）。その後、メイン制御部１１０は、フレーム画像Ｇｆを写真画像Ｇｐに合成した合成画像Ｇｃを印刷する制御を行い（ステップＳ１８０）、図７の合成画像印刷処理を終了する。

図１１は、合成画像Ｇｃを印刷する際にディスプレイ部１６０に表示される合成画像印刷画面１６２０の一例を示す説明図である。合成画像印刷画面１６２０には、フレーム画像Ｇｆを写真画像Ｇｐに合成した合成画像Ｇｃと、合成画像Ｇｃを印刷する指示をユーザから受け付けるボタン１６２２と、フレーム画像Ｇｆの再選択する指示をユーザから受け付けるボタン１６２４とを備える。本実施例では、ボタン１６２４によって再選択が指示された場合には、メイン制御部１１０は、フレーム画像Ｇｆの指定（ステップＳ１６０）からの処理を繰り返し実行する。

以上説明した第１の実施例の印刷装置１０によれば、被写体ＯＪの特徴に適合したフレーム画像Ｇｆが選択されるため、写真画像Ｇｐに合成されるフレーム画像Ｇｆを選択する際におけるユーザの負担を十分に軽減することができる。また、被写体ＯＪの特徴に応じて選択条件が設定されるため（ステップＳ１４０３、Ｓ１４０６）、被写体ＯＪの特徴に応じて選択条件に緩急を付けることによって、写真画像Ｇｐ毎に相応しいフレーム画像Ｇｆを絞り込むことができる。

Ｂ．第２の実施例：
Ｂ−１．印刷装置の構成：
第２の実施例の印刷装置１０は、第１の実施例と異なり、フレーム画像Ｇｆの元となる素材画像Ｇｆｍを、第１の実施例のフレーム画像Ｇｆに代えて選択し、選択した素材画像Ｇｆｍに基づいて作成したフレーム画像Ｇｆを写真画像Ｇｐに合成する。第２の実施例の装飾画像記憶部１８２は、素材画像Ｇｆｍを格納する装飾ファイル７６０を、第１の実施例の装飾ファイル７５０に代えて記憶する。第２の実施例の属性情報記憶部１８４は、素材画像Ｇｆｍについての属性情報として、適合テーブル７７２および除外テーブル７８２を、第１の実施例の適合テーブル７７０および除外テーブル７８０に代えて記憶する。

図１２は、第２の実施例における装飾ファイル７６０のデータ構造を模式的に示す説明図である。装飾ファイル７６０の各々は、その装飾ファイル７５０によって再生される素材画像Ｇｆｍを表現する素材画像データ７６２０と、素材画像Ｇｆｍに基づいてフレーム画像Ｇｆを作成するための生成条件データ７６１０とを有する。生成条件データ７６１０は、素材画像Ｇｆｍの識別子７６１２と、素材画像Ｇｆｍに基づいて作成されるフレーム画像Ｇｆの背景色７６１４とを有する。図１２に示す素材画像Ｇｆｍは、ハート型の図形である。

図１３は、第２の実施例における適合テーブル７７２の一例を示す説明図である。第２の実施例における適合テーブル７７２は、第１の実施例における開口サイズ情報７７０２を除く素材画像Ｇｆｍに関する属性情報を有する点以外は、第１の実施例における適合テーブル７７０と同様である。第２の実施例における適合テーブル７７２は、素材画像Ｇｆｍの識別子を示す素材ＩＤ情報７７２１と、素材画像Ｇｆｍとの合成に適合する被写体ＯＪの人数を示す人数情報７７２３と、素材画像Ｇｆｍとの合成に適合する被写体ＯＪの年齢を示す年齢情報７７２４と、素材画像Ｇｆｍとの合成に適合する被写体ＯＪの性別を示す性別情報７７２５と、素材画像Ｇｆｍとの合成に適合する被写体ＯＪの表情を示す表情情報７７２６とが格納されている。

図１４は、第２の実施例における除外テーブル７８２の一例を示す説明図である。第２の実施例における除外テーブル７８２は、素材画像Ｇｆｍに関する属性情報を有する点以外は、第１の実施例における除外テーブル７８０と同様である。第２の実施例における除外テーブル７８２は、素材画像Ｇｆｍとの合成に適合しない被写体ＯＪの人数を示す人数情報７８２１と、素材画像Ｇｆｍとの合成に適合しない被写体ＯＪの年齢を示す年齢情報７８２２と、素材画像Ｇｆｍとの合成に適合しない被写体ＯＪの性別を示す性別情報７８２３と、素材画像Ｇｆｍとの合成に適合しない被写体ＯＪの表情を示す表情情報７８２４と、素材画像Ｇｆｍの識別子を示す除外素材ＩＤ情報７８２５とが格納されている。本実施例では、除外テーブル７８２の属性情報が空欄である場合には、その属性情報については合成の適否に関係しない旨を示す。

Ｂ−２．印刷装置の動作：
図１５は、第２の実施例における印刷装置１０のメイン制御部１１０によって実行される合成画像印刷処理を示すフローチャートである。印刷装置１０のメイン制御部１１０は、第１の実施例と同様に、写真画像Ｇｐを読み出し（ステップＳ１１０）、被写体ＯＪを認識し（ステップＳ１２０）、被写体ＯＪの特徴を判断する（ステップＳ１３０）。

その後、メイン制御部１１０は、素材画像Ｇｆｍを選択するための素材選択処理（ステップＳ２４０）を実行する。

図１６は、印刷装置１０のメイン制御部１１０によって実行される素材選択処理（ステップＳ２４０）の詳細を示すフローチャートである。メイン制御部１１０は、図１６の素材選択処理を開始すると、除外テーブル７８２を参照して、被写体ＯＪの特徴の組み合わせに該当する素材画像Ｇｆｍを、フレーム画像Ｇｆを作成するための候補から除外する（ステップＳ２４０２）。

その後、メイン制御部１１０は、被写体ＯＪの特徴に基づいて、フレーム画像Ｇｆを作成するための候補を絞り込む選択条件を設定する（ステップＳ２４０３）。選択条件は、被写体ＯＪの特徴として判断された「人数」、「年齢」、「性別」、「表情」の組み合わせである。

メイン制御部１１０は、選択条件を設定した後（ステップＳ２４０３）、設定した選択条件を適合テーブル７７２に参照することによって、その選択条件に該当する素材画像Ｇｆｍを、フレーム画像Ｇｆを作成するための候補の中から選択する（ステップＳ２４０４）。メイン制御部１１０は、所定個数の素材画像Ｇｆｍを選択できない場合には、選択条件を緩和することによって（ステップＳ２４０６）、所定個数の素材画像Ｇｆｍを選択する（ステップＳ２４０５）。本実施例では、所定個数の素材画像Ｇｆｍを選択できない毎に、「表情」、「性別」、「年齢」、「人数」の順に選択条件の項目から削除することによって、選択条件が緩和されるが、種々の順序で選択条件が緩和されることとしても良い。

メイン制御部１１０は、所定個数の素材画像Ｇｆｍを選択すると（ステップＳ２４０５）、素材選択処理（ステップＳ２４０）を終了する。図１６の素材選択処理（ステップＳ２４０）によって選択されるフレーム選択処理の個数は、２つ以上であっても良いし、１つであっても良い。

図１５の説明に戻り、メイン制御部１１０は、図１６の素材選択処理（ステップＳ２４０）で選択した素材画像Ｇｆｍを用いてフレーム画像Ｇｆを作成するフレーム画像作成処理（ステップＳ２４５）を実行する。

図１７は、印刷装置１０のメイン制御部１１０によって実行されるフレーム画像作成処理（ステップＳ２４５）の詳細を示すフローチャートである。メイン制御部１１０は、図１７のフレーム画像作成処理を開始すると、写真画像Ｇｐの被写体ＯＪに応じて開口領域Ａｏｐを画定する（ステップＳ２４５１）。その後、メイン制御部１１０は、画定された開口領域Ａｏｐを有する無地フレーム画像Ｇｆｐを作成する（ステップＳ２４５２）。無地フレーム画像Ｇｆｐは、図１６の素材選択処理（ステップＳ２４０）で選択した素材画像Ｇｆｍに設定された背景色７６１４であり無地の画像である。

メイン制御部１１０は、無地フレーム画像Ｇｆｐを作成した後（ステップＳ２４５２）、無地フレーム画像Ｇｆｐに素材画像Ｇｆｍを合成してフレーム画像Ｇｆを作成して（ステップＳ２４５３）、フレーム画像作成処理を終了する。無地フレーム画像Ｇｆｐに対する素材画像Ｇｆｍの配置の仕方は、予めメイン制御部１１０に設定されていても良いし、素材画像Ｇｆｍ毎に配置を設定した情報を装飾ファイル７６０に格納しておいても良いが、本実施例では、メイン制御部１１０によって被写体ＯＪの特徴に応じて素材画像Ｇｆｍの配置が設定される。

図１５の説明に戻り、メイン制御部１１０は、作成したフレーム画像Ｇｆをフレーム選択画面１６１０に表示し（ステップＳ２５０）、合成すべきフレーム画像Ｇｆの指定をユーザから入力ボタン部１７０を介して受け付ける（ステップＳ１６０）。メイン制御部１１０は、ユーザからフレーム画像Ｇｆの指定を受け付けた後（ステップＳ１６０）、指定されたフレーム画像Ｇｆを写真画像Ｇｐに合成し（ステップＳ１７０）、フレーム画像Ｇｆを写真画像Ｇｐに合成した合成画像Ｇｃを印刷する制御を行い（ステップＳ１８０）、図１５の合成画像印刷処理を終了する。

以上説明した第２の実施例の印刷装置１０によれば、被写体ＯＪの特徴に適合したフレーム画像Ｇｆが選択されるため、写真画像Ｇｐに合成されるフレーム画像Ｇｆを選択する際におけるユーザの負担を十分に軽減することができる。また、被写体ＯＪの特徴に応じて選択条件が設定されるため（ステップＳ２４０３、Ｓ２４０６）、被写体ＯＪの特徴に応じて選択条件に緩急を付けることによって、写真画像Ｇｐ毎に相応しいフレーム画像Ｇｆを絞り込むことができる。また、写真画像Ｇｐに合成される素材画像Ｇｆｍを、判断した被写体ＯＪの特徴に応じて修正するため、写真画像Ｇｐに対する素材画像Ｇｆｍの適合性を更に向上させることができる。

Ｃ．その他の実施形態：
以上、本発明の実施例について説明したが、本発明は、前述の実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。例えば、本実施例では、写真画像Ｇｐにフレーム画像Ｇｆを合成する前に、フレーム画像Ｇｆをユーザに選択させることとしたが、フレーム画像Ｇｆに代えて合成画像Ｇｃを表示してユーザに選択させることとしても良いし、ユーザからの指示無しで合成画像Ｇｃを印刷することとしても良い。

また、前述の実施例では、本発明を適用した印刷装置１０について説明したが、写真画像Ｇｐにフレーム画像Ｇｆを合成する画像処理機能を備える装置、例えば、パーソナルコンピュータや、デジタルスチルカメラ，フォトビューワなどに、本発明を適用しても良い。

印刷装置１０の外観構成を示す斜視図である。 主として印刷装置１０の内部構成を示す説明図である。 写真ファイル７１０のデータ構造を模式的に示す説明図である。 装飾ファイル７５０のデータ構造を模式的に示す説明図である。 適合テーブル７７０の一例を示す説明図である。 除外テーブル７８０の一例を示す説明図である。 印刷装置１０のメイン制御部１１０によって実行される合成画像印刷処理を示すフローチャートである。 写真画像Ｇｐの被写体ＯＪの認識（ステップＳ１２０）および被写体ＯＪの特徴の判断（ステップＳ１３０）の様子を示す説明図である。 印刷装置１０のメイン制御部１１０によって実行されるフレーム選択処理（ステップＳ１４０）の詳細を示すフローチャートである。 ユーザからフレーム画像Ｇｆの指定を受け付けるためにディスプレイ部１６０に表示されるフレーム選択画面１６１０の一例を示す説明図である。 合成画像Ｇｃを印刷する際にディスプレイ部１６０に表示される合成画像印刷画面１６２０の一例を示す説明図である。 第２の実施例における装飾ファイル７６０のデータ構造を模式的に示す説明図である。 第２の実施例における適合テーブル７７２の一例を示す説明図である。 第２の実施例における除外テーブル７８２の一例を示す説明図である。 第２の実施例における印刷装置１０のメイン制御部１１０によって実行される合成画像印刷処理を示すフローチャートである。 印刷装置１０のメイン制御部１１０によって実行される素材選択処理（ステップＳ２４０）の詳細を示すフローチャートである。 印刷装置１０のメイン制御部１１０によって実行されるフレーム画像作成処理（ステップＳ２４５）の詳細を示すフローチャートである。

符号の説明

１０…印刷装置
１１０…メイン制御部
１１１…写真読出部
１１２…被写体認識部
１１３…特徴判断部
１１４…選択部
１１５…合成部
１１６…印刷制御部
１２０…印刷部
１３０…スキャナ部
１４０…カードスロット
１５０…通信コネクタ
１６０…ディスプレイ部
１６１０…フレーム選択画面
１６１２…ボタン
１６２０…合成画像印刷画面
１６２２，１６２４…ボタン
１７０…入力ボタン部
１８２…装飾画像記憶部
１８４…属性情報記憶部
２００…キャリッジ
２１０…印刷ヘッドユニット
２１１〜２１６…インク吐出ヘッド
２４０…キャリッジ駆動部
２５０…印刷媒体搬送部
７１０…写真ファイル
７１１０…撮影条件データ
７１１２…撮影日時
７１１４…絞り値
７１１６…シャッタスピード
７１１８…ＩＳＯ感度
７１１９…フラッシュ情報
７１２０…写真データ
７５２０…フレーム画像データ
７５０，７６０…装飾ファイル
７６１０…生成条件データ
７６１２…素材ＩＤ
７６１４…背景色
７６２０…素材画像データ
７７０，７７２…適合テーブル
７７０１…フレームＩＤ情報
７７２１…素材ＩＤ情報
７７０２…開口サイズ情報
７７０３，７７２３…人数情報
７７０４，７７２４…年齢情報
７７０５，７７２５…性別情報
７７０６，７７２６…表情情報
７８０，７８２…除外テーブル
７８０１，７８２１…人数情報
７８０２，７８２２…年齢情報
７８０３，７８２３…性別情報
７８０４，７８２４…表情情報
７８０５…除外フレームＩＤ情報
７８２５…除外素材ＩＤ情報
８１０…記憶媒体
８２０…外部機器
９００…印刷媒体
Ｇｐ…写真画像
Ｇｃ…合成画像
Ｇｆ…フレーム画像
Ｇｆｍ…素材画像
Ｇｆｐ…無地フレーム画像
ＯＪ，ＯＪ１，ＯＪ２…被写体
Ａｏｊ…被写体領域
Ａｒｃ…認識領域
Ａｏｐ…開口領域

Claims (9)

1. 写真画像を画像処理する画像処理装置であって、
   前記写真画像を装飾するための複数の装飾画像を予め記憶する装飾画像記憶部と、
   前記写真画像に対する前記装飾画像の適合性を示す属性情報を予め記憶する属性情報記憶部と、
   前記写真画像が記憶されている記憶媒体から該写真画像を読み出す写真読出部と、
   前記読み出した写真画像から、該写真画像に写された被写体を認識する被写体認識部と、
   前記認識した被写体が有する特徴を判断する特徴判断部と、
   前記判断した被写体の特徴を前記属性情報に照合することによって、前記読み出した写真画像に適合する装飾画像を前記複数の装飾画像の中から選択する選択部と、
   前記選択した装飾画像を、前記読み出した写真画像に合成する合成部と
   を備える画像処理装置。
2. 前記選択部は、前記装飾画像を選択するための条件を、前記判断した被写体の特徴に応じて設定する条件設定部を備える請求項１記載の画像処理装置。
3. 前記合成部は、前記写真画像に合成される装飾画像を、前記判断した被写体の特徴に応じて修正する修正部を備える請求項１または２記載の画像処理装置。
4. 請求項１ないし３のいずれか記載の画像処理装置であって、
   前記選択部が前記写真画像に適合する装飾画像を複数選択した場合に、前記選択した複数の装飾画像の少なくとも一つの指定をユーザから受け付ける指定受付部を更に備え、
   前記合成部は、前記選択した複数の装飾画像のうち前記ユーザから指定された装飾画像を、前記読み出した写真画像に合成する画像処理装置。
5. 前記装飾画像は、前記写真画像の縁部を覆うフレーム画像、および該フレーム画像の元となる素材画像の少なくとも一方の画像を含む請求項１ないし４のいずれか記載の画像処理装置。
6. 請求項１ないし５のいずれか記載の画像処理装置であって、
   前記被写体認識部は、前記被写体として人物の顔を認識し、
   前記特徴判断部は、前記被写体の特徴として、前記人物の顔が前記写真画像に占める領域の大きさ，位置、並びに該人物の人数，年齢，性別，表情の少なくとも一つの特徴を判断する画像処理装置。
7. 請求項１ないし６のいずれか記載の画像処理装置を備え、前記装飾画像を合成した写真画像を印刷する印刷装置。
8. 写真画像を画像処理する画像処理方法であって、
   前記写真画像を装飾するための複数の装飾画像を予め用意し、
   前記写真画像に対する前記装飾画像の相性を示す属性情報を予め用意し、
   前記写真画像が記憶されている記憶媒体から該写真画像を読み出し、
   前記読み出した写真画像から、該写真画像に写された被写体を認識し、
   前記認識した被写体が有する特徴を判断し、
   前記判断した被写体の特徴を前記属性情報に照合することによって、前記読み出した写真画像に適合する装飾画像を前記複数の装飾画像の中から選択し、
   前記選択した装飾画像を、前記読み出した写真画像に合成する画像処理方法。
9. 写真画像を画像処理する機能をコンピュータに実現させるためのプログラムであって、
   前記写真画像を装飾するための複数の装飾画像を前記コンピュータに予め記憶する機能と、
   前記写真画像に対する前記装飾画像の相性を示す属性情報を前記コンピュータに予め記憶する機能と、
   前記写真画像が記憶されている記憶媒体から該写真画像を前記コンピュータに読み出す機能と、
   前記読み出した写真画像から、該写真画像に写された被写体を前記コンピュータによって認識する機能と、
   前記認識した被写体が有する特徴を前記コンピュータによって判断する機能と、
   前記判断した被写体の特徴を前記属性情報に照合することによって、前記読み出した写真画像に適合する装飾画像を前記複数の装飾画像の中から前記コンピュータによって選択する機能と、
   前記選択した装飾画像を、前記読み出した写真画像に前記コンピュータによって合成する機能と
   を実現させるためのプログラム。

Images