JP2016040887A - 画像処理装置およびコンピュータプログラム - Google Patents

Abstract

【課題】印刷される画像の見栄えが損なわれる可能性を低減する画像処理装置およびコンピュータプログラムを提供する。【解決手段】画像処理装置は、対象画像を表す対象画像データと、対象画像データに付加されている付加情報と、を取得する取得部と、対象画像内の被写体の特徴に基づいて、対象画像の端に沿った対象画像の一部の領域である端部領域と、対象画像から１個以上の端部領域を除いた印刷対象領域と、を決定する決定部と、対象画像データを用いて、端部領域内の画像を含まず、かつ、印刷対象領域内の画像と、印刷対象領域の第１の側および第２の側のうちの少なくとも一方に印刷対象領域と重ならずに配置された付加画像と、を含む処理済み画像を表す処理済み画像データを生成する生成部であって、第１の側は対象画像にて端部領域が位置する側であり、第２の側は第１の側の反対側であり、付加画像は付加情報に基づく情報を示す、生成部と、を備える。【選択図】図２

Description

本発明は、画像データに付加された付加情報に基づく情報を示す付加画像を含む画像を印刷する技術に関する。

画像を表す画像データには、付加情報が付加される場合がある。例えば、デジタルカメラを用いて生成される画像データには、画像の撮影日時を示す情報や、撮影場所を示す位置情報などが、付加情報として付加される。このような画像データを用いて画像を印刷する際には、付加情報に基づく情報を示す付加画像を、印刷される画像に含めることが行われている（例えば、特許文献１）。この技術では、画像データによって表される画像（対象画像とも呼ぶ）と重ねて付加情報が配置されることや、対象画像が縮小され、縮小によって確保された余白に付加画像が配置されることが、行われている。

特開２００２−１６５０８５号公報

しかしながら、上記技術では、印刷される画像の見栄えが損なわれる可能性があった。例えば、印刷される画像内の特徴的な部分が付加画像と重なる可能性や、印刷される画像が対象画像を過度に縮小した画像になる可能性があった。

本発明は、付加画像を含む画像を印刷する場合に、印刷される画像の見栄えが損なわれる可能性を低減することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

［適用例１］印刷に用いられる画像データを生成するための画像処理装置であって、対象画像を表す対象画像データと、前記対象画像データに付加されている付加情報と、を取得する取得部と、前記対象画像内の被写体の特徴に基づいて、前記対象画像の端に沿った前記対象画像の一部の領域である端部領域と、前記対象画像から前記１個以上の端部領域を除いた印刷対象領域と、を決定する決定部と、前記対象画像データを用いて、前記端部領域内の画像を含まず、かつ、前記印刷対象領域内の画像と、前記印刷対象領域の第１の側および第２の側のうちの少なくとも一方に前記印刷対象領域と重ならずに配置された付加画像と、を含む処理済み画像を表す処理済み画像データを生成する生成部であって、前記第１の側は、前記対象画像にて前記端部領域が位置する側であり、前記第２の側は、前記第１の側の反対側であり、前記付加画像は前記付加情報に基づく情報を示す、前記生成部と、を備える画像処理装置。

上記構成によれば、対象画像内の被写体の特徴に基づいて端部領域内の画像と、端部領域を除いた印刷対象領域と、が適切に決定される。そして、端部領域内の画像を含まず、当該印刷対象領域内の画像と付加画像とを含む処理済み画像を表す処理済み画像データが生成される。この結果、付加画像を含む処理済み画像を印刷する場合に、印刷される処理済み画像の見栄えが損なわれる可能性を低減することができる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、印刷装置、画像処理方法、これらの装置または方法を実現するためのコンピュータプ口グラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

実施例における画像処理装置としての計算機２００の構成を示すブロック図である。 本実施例の印刷処理のフローチャートである。 対象画像の一例を示す図である。 付加画像追加処理Ａのフローチャートである。 端部領域決定処理のフローチャートである。 端部領域決定処理の説明図である。 処理済み画像の一例を示す図である。 付加画像追加処理Ｂのフローチャートである。 付加画像追加処理Ｃのフローチャートである。 通知画面ＷＰの一例を示す図である。 付加画像追加処理Ｃの説明図である。 処理済み画像が生成されるパターンの一例を示す図である。

Ａ．実施例：
Ａ−１．画像処理装置の構成：
次に、本発明の実施の形態を実施例に基づき説明する。図１は、実施例における画像処理装置としての計算機２００の構成を示すブロック図である。

計算機２００は、例えば、パーソナルコンピュータであり、計算機２００のコントローラとしてのＣＰＵ２１０と、ＲＡＭなどの揮発性記憶装置２２０と、ハードディスクドライブなどの不揮発性記憶装置２３０と、マウスやキーボードなどの操作部２６０と、液晶ディスプレイなどの表示部２７０と、通信部２８０と、を備えている。計算機２００は、通信部２８０を介して、印刷装置３００やデジタルカメラ４００などの外部装置と通信可能に接続される。

揮発性記憶装置２２０は、ＣＰＵ２１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域２２２を提供する。不揮発性記憶装置２３０には、コンピュータプログラム２３２と、１個以上の画像ファイル２３４と、が格納されている。コンピュータプログラム２３２は、本実施例では、印刷装置３００を制御するためのプリンタドライバプログラムであり、ＣＤ−ＲＯＭなどに格納される形態や、サーバからダウンロードされる形態で提供される。ＣＰＵ２１０は、コンピュータプログラム２３２を実行することにより、後述する画像処理を実行する画像処理部１００として機能する。

画像ファイル２３４は、画像データＧＤと付加情報ＡＩとを含む（図示省略）。画像データＧＤは、例えば、デジタルカメラ４００によって光学的に被写体を撮影することによって生成される画像データである。画像データＧＤは、例えば、ＪＰＥＧ形式で保存されている。これに代えて、ＴＩＦＦ形式や、ＧＩＦ形式や、ＢＭＰ形式や、ＲＡＷデータ形式などの保存形式が用いられても良い。付加情報ＡＩは、例えば、撮影日時情報、撮影位置情報、絞り値や被写体距離や撮影モードなどの設定を示す設定情報などを含む。撮影日時情報は、撮影（すなわち、画像データの生成）が行われた日時を示す情報である。撮影日時情報は、例えば、年、月、時間を示す情報をそれぞれ含んでいる。撮影位置情報は、撮影（すなわち、画像データの生成）が行われた場所を示す情報である。撮影位置情報は、例えば、デジタルカメラ４００に搭載されたＧＰＳ機能によって取得された緯度および経度を示す座標情報を含んでいる。

画像ファイル２３４は、画像データＧＤと付加情報ＡＩとを格納可能なフォーマットに従ったファイル構造を有している。本実施例の画像ファイル２３４のフォーマットは、例えば、Ｅｘｉｆ（登録商標、Exchangeable image file formatの略）である。

Ａ−２． 印刷処理：
計算機２００のＣＰＵ２１０（画像処理部１００）は、プリンタドライバの一機能として、画像ファイル２３４を用いて、いわゆる縁なし印刷によって画像を印刷する印刷処理を実行することができる。縁なし印刷は、印刷媒体の外縁に余白を残さない印刷である。本実施例の縁無し印刷では、付加画像を印刷するか否かをオプションとして選択できる。付加画像は、印刷対象の画像に関する情報を示す画像である。印刷対象の画像に関する情報は、印刷対象の画像を表す画像データＧＤに付加されている付加情報ＡＩに基づく情報である。ユーザは、縁無し印刷の指示を行う際に、図示しないユーザインタフェース画面（以下、ＵＩ画面とも呼ぶ）を介して、縁無し印刷に関する設定を入力する。入力される設定は、画像ファイルの指定と、用紙のサイズ（例えば、いわゆるＬ版、はがき、Ａ４など）の指定と、付加画像を印刷するか否かの指定と、を含む。

図２は、本実施例の印刷処理のフローチャートである。この印刷処理は、例えば、ＵＩ画面を介して縁なし印刷の指示がユーザから受け付けられた場合に開始される。

Ｓ１００では、ＣＰＵ２１０は、元画像データを取得する。具体的には、ＣＰＵ２１０は、不揮発性記憶装置２３０に格納された１個以上の画像ファイル２３４のうち、縁なし印刷の指示においてユーザによって指定された画像ファイルを取得する。ＣＰＵ２１０は、取得された画像ファイルに格納された画像データをラスタライズすることによって、元画像データを取得する。元画像データは、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの成分値（本実施例では、２５６階調の階調値）で色を示す色値を画素ごとに含むＲＧＢ画像データである。

Ｓ１０５では、ＣＰＵ２１０は、ユーザによって指定された用紙のサイズと整合するように、元画像データによって表される元画像のサイズ（左右方向の画素数と上下方向の画素数）を調整する。具体的には、用紙のサイズと印刷解像度（単位は、dpi(dot per inch)）との組み合わせごとに、画像のサイズが予め定められており、当該画像のサイズに元画像のサイズが調整される。この結果、左右方向の画素数に左右方向の印刷解像度を乗じて得られる画像の寸法が、用紙の左右方向の寸法より僅か（例えば、１ｍｍ〜５ｍｍ）に大きくなるように、元画像の左右方向の画素数が調整される。また、上下方向の画素数に上下方向の印刷解像度を乗じた値が、用紙の上下方向の寸法より僅か（例えば、１ｍｍ〜５ｍｍ）に大きくなるように、元画像の上下方向の画素数が調整される。なお、本明細書では、画像の上下方向を第１の方向とも呼び、画像の左右方向を第１の方向と垂直な第２の方向とも呼ぶ。

このサイズの調整は、例えば、縮小拡大処理およびトリミング処理の少なくとも一方を用いて実行される。具体的なサイズの調整方法は、縁無し印刷に関する公知の各種の方法、例えば、特開２００８−０２８６８０に記載された方法を用いることができる。用紙のサイズと整合するように調整された元画像は、後述するＳ１１５〜Ｓ１６０の処理の対象とされる画像であるので対象画像とも呼ぶ。また、対象画像を表す画像データを対象画像データとも呼ぶ。

図３は、対象画像の一例を示す図である。図３（Ａ）の対象画像２０ａ、および、図３（Ｂ）の対象画像２０ｂを、対象画像の例として、以下の処理を説明する。対象画像２０ａ、２０ｂは、矩形の画像である。対象画像２０ａは、人物２１ａと、植物２２ａ、２３ａと、背景２４ａと、を被写体として含んでいる。対象画像２０ｂは、人物２１ｂと、建物２２ｂと、背景２４ｂと、を被写体として含んでいる。対象画像２０ａ、２０ｂ内の矩形の一点破線で示す矩形の領域ＰＡは、対象画像２０ａ、２０ｂを用紙に印刷した場合に用紙に印刷される領域を示し、領域ＰＡより外側の領域ＥＡは、用紙に印刷されない領域を示す。

Ｓ１１０では、ＣＰＵ２１０は、上述したユーザからの付加画像の印刷の指定があるか否かを判断する。付加画像の印刷の指定がない場合には（Ｓ１１０：ＮＯ）、ＣＰＵ２１０は、Ｓ１６５に処理を進める。

付加画像の印刷の指定がある場合には（Ｓ１１０：ＹＥＳ）、ＣＰＵ２１０は、Ｓ１１５にて、元画像データが格納された画像ファイルから付加情報ＡＩを取得する。

Ｓ１２０では、ＣＰＵ２１０は、付加情報ＡＩに基づいて、付加画像用の情報、すなわち、付加画像に含めるべき情報を取得する。例えば、付加情報ＡＩに含まれる撮影日時情報と撮影位置情報とに基づいて、対象画像の撮影時の天気を示す情報と、対象画像の撮影場所の名称を示す情報と、が取得される。これらの情報は、例えば、ＣＰＵ２１０は、図示しないサーバに対して、インターネットを介して付加情報ＡＩを含む情報要求を送信する。ＣＰＵ２１０は、当該情報要求に対する応答として、サーバからこれらの情報を取得する。

Ｓ１２５では、ＣＰＵ２１０は、付加画像が配置される配置領域の幅Ｌ１（詳細は後述）と、を決定する。本実施例では、幅Ｌ１は、用紙のサイズごとに予め決定された固定値に決定される。

Ｓ１３０では、ＣＰＵ２１０は、対象画像データを用いて、対象画像内の人物の顔を示す顔領域ＦＡを特定する顔領域特定処理を実行する。人物の顔は、対象画像内の主要な被写体であると考えられる。顔領域特定処理は、公知の方法を用いて実行される。例えば、顔領域特定処理としては、例えば、エッジのような低次特徴から眼や口のような高次特徴を階層的に検出し、最終的に顔の重心位置や顔の外形などを検出するコンボリューションニューラルネットワークが知られている（例えば、特開２０１３−１２０９５４、特開２００９−２３７６１８参照）。本実施例の顔領域特定処理では、顔に外接する外接矩形が顔領域ＦＡとして特定される。すなわち、顔に外接する外接矩形の位置およびサイズを示す情報が算出される。

例えば、対象画像が図３（Ａ）の対象画像２０ａである場合には、人物２１ａの顔領域ＦＡａが特定される。また、対象画像が図３（Ｂ）の対象画像２０ｂである場合には、人物２１ｂの顔領域ＦＡｂが特定される。

Ｓ１３５では、ＣＰＵ２１０は、対象画像内に特定された顔領域ＦＡに基づいて、対象画像の主要領域ＭＡを決定する。主要領域ＭＡは、顔領域ＦＡを含む矩形の領域である。主要領域ＭＡの上端は、顔領域ＦＡの上端よりΔＵだけ上方向に位置している。主要領域ＭＡの下端は、顔領域ＦＡの下端よりΔＢだけ下方向に位置している。主要領域ＭＡの右端は、顔領域ＦＡの右端よりΔＲだけ右方向に位置している。主要領域ＭＡの左端は、顔領域ＦＡの左端よりΔＬだけ左方向に位置している。ΔＵ、ΔＢは、例えば、顔領域ＦＡの上下方向の長さに所定の係数Ｋｕ、Ｋｂを乗じた値である（Ｋｕ＜Ｋｂ）。ΔＲ、ΔＬは、例えば、顔領域ＦＡの左右方向の長さに所定の係数Ｋｒｌを乗じた値である。主要領域ＭＡは、対象画像の主要な被写体、具体的には、人物の顔を含む人物の上体部分を示す領域と呼ぶことができる。

図３（Ａ）には、対象画像２０ａの主要領域ＭＡａが図示され、図３（Ｂ）には、対象画像２０ｂの主要領域ＭＡｂが図示されている。ΔＵ、ΔＢ、ΔＲ、ΔＬは、顔領域ＦＡが大きくなるほど大きくなる。例えば、図３（Ａ）、（Ｂ）に示すように、ΔＵａ＜ΔＵｂ、ΔＢａ＜ΔＢｂ、ΔＲａ＜ΔＲｂ、ΔＬａ＜ΔＬｂである。

Ｓ１４０では、ＣＰＵ２１０は、対象画像の上下方向の端（すなわち、上側の端および／または下側の端）に、削除すべき端部領域を決定できるか否かを判断する。具体的には、対象画像内の上下方向の端に、Ｋ個（Ｋは、１以上の整数）の端部領域を主要領域ＭＡと重ならないように配置できるか否かが判断される。本実施例の付加画像追加処理Ａ（後述するＳ１５０）では、上下方向の幅（すなわち、上下の端と垂直な方向の幅）がＬ２である２個の端部領域が削除されることによって、幅Ｌ１の配置領域が確保される（２×Ｌ２＝Ｌ１）ので、Ｋ＝２である。

図３（Ａ）には、削除すべき端部領域の候補となる候補領域ＵＣ１、ＵＣ２、ＢＣ１、ＢＣ２が示されている。図３（Ａ）に示すように、候補領域ＵＣ１、ＵＣ２、ＢＣ１、ＢＣ２は、上下方向の幅がＬ２であり、左右方向に対象画像の右端から左端まで延びる帯状の領域である。すなわち、候補領域ＵＣ１、ＵＣ２は、対象領域の上側の端に沿って、上側の端の全長に亘って延びる領域であり、候補領域ＢＣ１、ＢＣ２は、対象領域の下側の端に沿って、下側の端の全長に亘って延びる領域である。候補領域ＵＣ１、ＵＣ２は、対象画像の上側の端に候補領域ＵＣ１の上端は、対象画像（例えば、対象画像２０ａ）の上端と同じ位置にあり、候補領域ＵＣ２は、候補領域ＵＣ１の下側に隣接している。候補領域ＢＣ１の下端は、対象画像（例えば、対象画像２０ａ）の下端と同じ位置にあり、候補領域ＢＣ２は、候補領域ＢＣ１の上側に隣接している。

本実施例では、主要領域ＭＡの上端から対象画像の上端までの距離ＤＵと、主要領域ＭＡの下端から対象画像の下端までの距離ＤＢと、１個の端部領域の幅Ｌ２と、が以下の条件１〜３のうちの少なくとも一つを満たす場合に、対象画像の上下方向の端に削除すべき端部領域が決定できると判断される。また、距離ＤＵ、ＤＢが以下の条件１〜３のいずれも満たさない場合に、対象画像の上下方向の端に削除すべき端部領域が決定できないと判断される。
条件１）ＤＵ≧（２×Ｌ２）
条件２）ＤＢ≧（２×Ｌ２）
条件３）ＤＵ≧Ｌ２、かつ、ＤＢ≧Ｌ２

条件１が満たされる場合には、少なくとも、上側の２個の候補領域ＵＣ１、ＵＣ２が主要領域ＭＡと重ならない。条件２が満たされる場合には、少なくとも、下側の２個の候補領域ＢＣ１、ＢＣ２が主要領域ＭＡと重ならない。条件３が満たされる場合には、少なくとも、上側の１個の候補領域ＵＣ１と下側の１個の候補領域ＢＣ１とが主要領域ＭＡと重ならない。したがって、条件１〜３のうちの少なくとも一つを満たす場合に、２個の端部領域が決定できることが解る。

図３（Ａ）の対象画像２０ａの例では、主要領域ＭＡａの上端から対象画像２０ａの上端までの距離ＤＵａと、主要領域ＭＡａの下端から対象画像２０ａの下端までの距離ＤＢａと、１個の端部領域の幅Ｌ２と、が条件１〜３を満たす。したがって、対象画像が対象画像２０ａである場合には、対象画像の上下方向の端に削除すべき端部領域を決定できると判断される。

図３（Ｂ）の対象画像２０ｂの例では、主要領域ＭＡｂの上端から対象画像２０ｂの上端までの距離ＤＵｂと、主要領域ＭＡｂの下端から対象画像２０ｂの下端までの距離ＤＢｂと、１個の端部領域の幅Ｌ２と、が条件１〜３のいずれも満たさない。したがって、対象画像が対象画像２０ｂである場合には、対象画像の上下方向の端に削除すべき端部領域を決定できないと判断される。

対象画像の上下方向の端に削除すべき端部領域を決定できない場合には（Ｓ１４０：ＮＯ）、ＣＰＵ２１０は、Ｓ１４５にて、対象画像の左右方向の端（すなわち、右側の端および／または左側の端）に、削除すべき端部領域を決定できるか否かを判断する。具体的には、対象画像内の左右方向の端に、Ｊ個（Ｊは、１以上の整数）の端部領域を主要領域ＭＡと重ならないように配置できるか否かが判断される。本実施例の付加画像追加処理Ｂ（後述するＳ１５５）では、左右方向の幅（すなわち、左右の端と垂直な方向の幅）がＬ２である２個の端部領域が削除されることによって、幅Ｌ１の配置領域が確保される（２×Ｌ２＝Ｌ１）ので、Ｊ＝２である。

図３（Ｂ）には、削除すべき端部領域の候補となる候補領域ＲＣ１、ＲＣ２、ＬＣ１、ＬＣ２が示されている。図３（Ｂ）に示すように、候補領域ＲＣ１、ＲＣ２、ＬＣ１、ＬＣ２は、左右方向の幅がＬ２であり、上下方向に対象画像の上端から下端まで延びる帯状の領域である。候補領域ＲＣ１、ＲＣ２は、対象領域の右側の端に沿って、右側の端の全長に亘って延びる領域であり、候補領域ＬＣ１、ＬＣ２は、対象領域の左側の端に沿って、左側の端の全長に亘って延びる領域である。候補領域ＲＣ１の右端は、対象画像（例えば、対象画像２０ｂ）の右端と同じ位置にあり、候補領域ＲＣ２は、候補領域ＲＣ１の左側に隣接している。候補領域ＬＣ１の左端は、対象画像（例えば、対象画像２０ｂ）の左端と同じ位置にあり、候補領域ＬＣ２は、候補領域ＬＣ１の右側に隣接している。

本実施例では、主要領域ＭＡの右端から対象画像の右端までの距離ＤＲと、主要領域ＭＡの左端から対象画像の左端までの距離ＤＬと、１個の端部領域の幅Ｌ２と、が以下の条件４〜６のうちの少なくとも一つを満たす場合に、対象画像の左右方向の端に削除すべき端部領域が決定できると判断される。また、距離ＤＲ、ＤＬが以下の条件４〜６のいずれも満たさない場合に、対象画像の左右方向の端に削除すべき端部領域が決定できないと判断される。
条件４）ＤＲ≧（２×Ｌ２）
条件５）ＤＬ≧（２×Ｌ２）
条件６）ＤＲ≧Ｌ２、かつ、ＤＬ≧Ｌ２

条件４が満たされる場合には、少なくとも、右側の２個の候補領域ＲＣ１、ＲＣ２が主要領域ＭＡと重ならない。条件５が満たされる場合には、少なくとも、左側の２個の候補領域ＬＣ１、ＬＣ２が主要領域ＭＡと重ならない。条件６が満たされる場合には、少なくとも、右側の１個の候補領域ＲＣ１と左側の１個の候補領域ＬＣ１とが主要領域ＭＡと重ならない。したがって、条件４〜６のうちの少なくとも一つを満たす場合に、２個の端部領域が決定できることが解る。

図３（Ｂ）の対象画像２０ｂの例では、主要領域ＭＡｂの右端から対象画像２０ｂの右端までの距離ＤＲｂと、主要領域ＭＡｂの左端から対象画像２０ｂの左端までの距離ＤＬｂと、１個の端部領域の幅Ｌ２と、が条件４〜６を満たす。したがって、対象画像が対象画像２０ｂである場合には、対象画像の左右方向の端に削除すべき端部領域を決定できると判断される。

対象画像の上下方向の端に削除すべき端部領域を決定できる場合には（Ｓ１４０：ＹＥＳ）、ＣＰＵ２１０は、Ｓ１５０にて、付加画像追加処理Ａを実行する。そして、対象画像の上下方向の端に削除すべき端部領域を決定できず（Ｓ１４０：ＮＯ）、かつ、対象画像の左右方向の端に削除すべき端部領域を決定できる場合には（Ｓ１４５：ＹＥＳ）、ＣＰＵ２１０は、Ｓ１５５にて、付加画像追加処理Ｂを実行する。また、対象画像の上下方向の端に削除すべき端部領域を決定できず（Ｓ１４０：ＮＯ）、かつ、対象画像の左右方向の端に削除すべき端部領域を決定できない場合には（Ｓ１４５：ＮＯ）、ＣＰＵ２１０は、Ｓ１６０にて、付加画像追加処理Ｃを実行する。付加画像追加処理Ａ〜Ｃについては、後述するが、いずれの処理が実行される場合であっても、これらの処理Ａ〜Ｃによって、対象画像の少なくとも一部の画像と、付加画像と、を含む処理済み画像を表す処理済み画像データが生成される。付加画像追加処理Ａ〜Ｃが終了すると、ＣＰＵ２１０は、Ｓ１６５に処理を進める。

Ｓ１６５では、ＣＰＵ２１０は、印刷処理を実行する。付加画像の印刷の指定がある場合には（Ｓ１１０：ＹＥＳ）、付加画像追加処理Ａ〜Ｃによって生成される処理済み画像データが、印刷処理の対象とされ、付加画像の印刷の指定がない場合には（Ｓ１１０：ＮＯ）、対象画像データが、印刷処理の対象とされる。具体的には、ＣＰＵ２１０は、印刷処理の対象の画像データに対して、色変換処理やハーフトーン処理を実行することによって、印刷データを生成する。ＣＰＵ２１０は、生成された印刷データを印刷装置３００に供給することによって、印刷装置３００に、対象画像、または、処理済み画像を印刷する縁なし印刷を実行させる。

Ａ−３．付加画像追加処理Ａ：
図４は、図２のＳ１５０の付加画像追加処理Ａのフローチャートである。ここでは、対象画像が図３（Ａ）の対象画像２０ａである場合を例に、説明する。Ｓ２００では、ＣＰＵ２１０は、対象画像２０ａ内に、上下方向に１個ずつの候補領域を設定する。具体的には、初回のＳ２００では、対象画像２０ａの上端から幅Ｌ２分の候補領域ＵＣ１が第１候補領域として設定される。そして、対象画像２０ａの下端から幅Ｌ２分の候補領域ＢＣ１が第２候補領域として設定される。

Ｓ２０５では、ＣＰＵ２１０は、主要領域ＭＡａと第１候補領域との上下方向の距離Ｄ１と、主要領域ＭＡａと第２候補領域との上下方向の距離Ｄ２と、を算出する。例えば、図３（Ａ）には、候補領域ＵＣ１が第１候補領域であり、候補領域ＢＣ１が第２候補領域である場合に、算出される距離Ｄ１、Ｄ２が図示されている。

Ｓ２１０では、ＣＰＵ２１０は、距離Ｄ１が閾値Ｄｔｈ１以上であり、かつ、距離Ｄ２がＤｔｈ２以上であるか否かを判断する。例えば、閾値Ｄｔｈ１は、主要領域ＭＡａの上下方向の幅の１０％〜５０％程度の値に決定される。

距離Ｄ１が閾値Ｄｔｈ１未満である場合、または、距離Ｄ２が閾値Ｄｔｈ２未満である場合には（Ｓ２１０：ＮＯ）、すなわち、主要領域ＭＡａと１個の候補領域との間の距離が比較的短い場合には、ＣＰＵ２１０は、Ｓ２１５に処理を進める。

Ｓ２１５では、ＣＰＵ２１０は、第１候補領域と第２候補領域とのうち、主要領域ＭＡａとの間の距離がより長い候補領域を、削除すべき端部領域として決定する。換言すれば、対象画像の互いに対向する異なる端に沿った複数個の候補領域（すなわち、第１候補領域と第２候補領域）のうち、主要領域ＭＡａに含まれる特定の被写体（例えば、顔を含む人物の上体部分）からの距離が離れた領域が優先的に、削除すべき端部領域として決定される。主要領域ＭＡａに過度に近い領域が、後述するトリミング処理（図４のＳ２３０）において端部領域として対象画像から削除されると、処理済み画像において主要領域ＭＡａが中心から離れて画像の端に近づくことによって、処理済み画像が不適切な画像になる可能性がある。本実施例では、このような不都合の発生を防止することができる。すなわち、処理済み画像が不適切な画像となることを抑制できる。

距離Ｄ１が閾値Ｄｔｈ１以上であり、かつ、距離Ｄ２がＤｔｈ２以上である場合（Ｓ２１０：ＹＥＳ）、すなわち、主要領域ＭＡａと各候補領域との距離が比較的長い場合には、ＣＰＵ２１０は、Ｓ２２０にて、端部領域決定処理を実行する。端部領域決定処理は、第１候補領域内の画像の複雑さと、第２候補領域内の画像の複雑さと、の比較に基づいて、第１候補領域と第２候補領域のうちの一方の領域を、削除すべき端部領域として決定する処理である。

図５は、端部領域決定処理のフローチャートである。図６は、端部領域決定処理の説明図である。Ｓ５００では、ＣＰＵ２１０は、第１候補領域と第２候補領域のばらつき値ＶＥ１、ＶＥ２を算出する。候補領域のばらつき値ＶＥは、候補領域内の画像に含まれる複数個の画素の値のばらつきを示す指標値である。図６（Ａ）には、算出対象の候補領域が、図３（Ａ）の候補領域ＵＣ１である場合を例に、ばらつき値ＶＥの算出法が図示されている。候補領域ＵＣ１の短手方向の中心を通り、候補領域ＵＣ１の長手方向の一端から他端まで延びるラインＣＬ上に並ぶ一列分の画素の個数をＮとする（Ｎは、２以上の整数）。当該Ｎ個の一列分の画素のそれぞれに、一端から他端に向かって並ぶ順序を示す番号ｎ（ｎは、１≦ｎ≦Ｎの整数）を付す。この場合には、ばらつき値ＶＥは、図６（Ａ）の式（１）を用いて、表される。ΔＥ（ｎ）は、ｎ番目の画素と（ｎ＋１）番目の画素との色差、すなわち、隣接する２個の画素の間で色が異なる度合を表す値である。ｎ番目の画素の色値（ＲＧＢ値）をＣＩＥＬＡＢ色空間の色値（Ｌ＊値、ａ＊値、ｂ＊値）に変換した値を（Ｌ_ｎ、ａ_ｎ、ｂ_ｎ）とする。ΔＥ（ｎ）は、図６（Ａ）の式（２）を用いて表される。すなわち、ΔＥ（ｎ）は、ｎ番目の画素の色値（Ｌ_ｎ、ａ_ｎ、ｂ_ｎ）と、（ｎ＋１）番目の画素の色値（Ｌ_ｎ＋１、ａ_ｎ＋１、ｂ_ｎ＋１）とのＣＩＥＬＡＢ色空間におけるユークリッド距離である。以上の説明から解るように、ばらつき値ＶＥは、Ｎ個の画素の（Ｎ−１）組の隣接画素間の色差ΔＥ（ｎ）の合計値である。ばらつき値ＶＥは、候補領域内の画像の複雑さを示す値と言うことができる。ばらつき値ＶＥが大きいほど、候補領域内の画像の複雑さが高いことを示している。

Ｓ５０５では、ＣＰＵ２１０は、第２候補領域のばらつき値ＶＥ２から第１候補領域のばらつき値ＶＥ１を減じた差分（ＶＥ２−ＶＥ１）が、所定の閾値ＴＨ１以上である否かを判断する。換言すれば、２個の領域のばらつき値ＶＥ１、ＶＥ２が、第１候補領域内の画像の複雑さが第２候補領域内の画像より十分に低いことを示すか否かが判断される。差分（ＶＥ２−ＶＥ１）が、所定の閾値ＴＨ１以上である場合（Ｓ５０５：ＹＥＳ）、ＣＰＵ２１０は、Ｓ５３５にて、第１候補領域を削除すべき端部領域として決定する。

差分（ＶＥ２−ＶＥ１）が、所定の閾値ＴＨ１より小さい場合には（Ｓ５０５：ＮＯ）、ＣＰＵ２１０は、Ｓ５１０にて、第１候補領域のばらつき値ＶＥ１から第２候補領域のばらつき値ＶＥ２を減じた差分（ＶＥ１−ＶＥ２）が、所定の閾値ＴＨ１以上である否かを判断する。換言すれば、２個の領域のばらつき値ＶＥ１、ＶＥ２が、第２候補領域内の画像の複雑さが第１候補領域内の画像より十分に低いことを示すか否かが判断される。差分（ＶＥ１−ＶＥ２）が、所定の閾値ＴＨ１以上である場合（Ｓ５１０：ＹＥＳ）、ＣＰＵ２１０は、Ｓ５４０にて、第２候補領域を削除すべき端部領域として決定する。

差分（ＶＥ１−ＶＥ２）が、所定の閾値ＴＨ１より小さい場合には（Ｓ５１０：ＮＯ）、ＣＰＵ２１０は、Ｓ５１５にて、第１候補領域の色数ＣＶ１と、第２候補領域の色数ＣＶ２と、を算出する。候補領域の色数ＣＶは、画素の色値（ＲＧＢ値）によって表される色を、色相に応じて複数種類の色（本実施例では、６種類の色）に分類した場合に、候補領域内の画像に含まれる色の種類の数を表す値である。図６（Ｂ）には、ＣＩＥＬＡＢ色空間における、ａ＊値の軸とｂ＊値の軸とを含むａｂ平面が示されている。この図に示すように、ＣＩＥＬＡＢ色空間には、無彩色軸（ａ＊値＝ｂ＊＝０の軸）を含み、ａｂ平面に垂直な３つの平面ＰＬ１〜ＰＬ３によって等分割された６個の部分空間ＣＡ１〜ＣＡ６が設定される。ＣＰＵ２１０は、候補領域内の全ての画素の色値（ＲＧＢ値）を、ＣＩＥＬＡＢ色空間の色値（Ｌ＊値、ａ＊値、ｂ＊値）に変換する。ＣＰＵ２１０は、各画素の色値に応じて、各画素を６つの部分空間ＣＡ１〜ＣＡ６のいずれかに分類する。そして、ＣＰＵ２１０は、６個の部分空間ＣＡ１〜ＣＡ６のうち、基準数以上（例えば、１個以上）の画素が分類された部分空間の個数を色数ＣＶとして算出する。したがって、候補領域の色数ＣＶは、１〜６のうちのいずれかの値を取る。色数ＣＶは、候補領域内の画像の複雑さを示す値と言うことができる。色数ＣＶが大きいほど、候補領域内の画像の複雑さが高いことを示している。なお、ＣＩＥＬＡＢ色空間の分割数は、６に限らず、１２、１８などの他の個数であっても良い。

Ｓ５２０では、ＣＰＵ２１０は、第１候補領域の色数ＣＶ１が第２候補領域の色数ＣＶ２がより小さいか否かを判断する。第１候補領域の色数ＣＶ１が第２候補領域の色数ＣＶ２より小さい場合には（Ｓ５２０：ＹＥＳ）、ＣＰＵ２１０は、Ｓ５３５にて、第１候補領域を削除すべき端部領域として決定する。第１候補領域の色数ＣＶ１が第２候補領域の色数ＣＶ２以上である場合には（Ｓ５２０：ＮＯ）、ＣＰＵ２１０は、Ｓ５２５にて、第２候補領域の色数ＣＶ２が第１候補領域の色数ＣＶ１より小さいか否かを判断する。第２候補領域の色数ＣＶ２が第１候補領域の色数ＣＶ１より小さい場合には（Ｓ５２５：ＹＥＳ）、ＣＰＵ２１０は、Ｓ５４０にて、第２候補領域を削除すべき端部領域として決定する。

第２候補領域の色数ＣＶ２と第１候補領域の色数ＣＶ１とが等しい場合には（Ｓ５２５：ＹＥＳ）、ＣＰＵ２１０は、Ｓ５３０にて、第１候補領域のばらつき値ＶＥ１が第２候補領域のばらつき値ＶＥ２より小さいか否かを判断する。第１候補領域のばらつき値ＶＥ１が第２候補領域のばらつき値ＶＥ２より小さい場合には（Ｓ５３０：ＹＥＳ）、ＣＰＵ２１０は、Ｓ５３５にて、第１候補領域を削除すべき端部領域として決定する。第１候補領域のばらつき値ＶＥ１が第２候補領域のばらつき値ＶＥ２以上である場合には（Ｓ５３０：ＮＯ）、ＣＰＵ２１０は、Ｓ５４０にて、第２候補領域を削除すべき端部領域として決定する。

以上の説明から解るように、この端部領域決定処理によれば、第１候補領域内の画像の複雑さを示す第１の値として、ばらつき値ＶＥ１や色数ＣＶ１が、第１候補領域内の複数個の画素の値を用いて算出される（Ｓ５００、Ｓ５１５）。また、第２候補領域内の画像の複雑さを示す第２の値として、ばらつき値ＶＥ２や色数ＣＶ２が、第２候補領域内の複数個の画素の値を用いて算出される。そして、これらの値（ばらつき値ＶＥ１、ＶＥ２、色数ＣＶ１、ＣＶ２）に基づいて、第１候補領域と第２候補領域とのうち、画像の複雑さが低い領域が優先的に端部領域として決定される（Ｓ５０５、Ｓ５１０、Ｓ５２０〜Ｓ５３０）。画像の複雑さが高い領域には、対象画像の特徴的な部分を含む可能性がある。しがたって、この端部領域決定処理によれば、複雑さが低い領域が優先的に端部領域に決定される。この結果、後述するトリミング処理（図４のＳ２３０）によって、対象画像の特徴的な部分が処理済み画像から除かれることを抑制することができる。

また、ばらつき値ＶＥが比較的大きな候補領域ほど、画像の複雑さが高いと判断されるので、例えば、エッジ量が多い候補領域は、端部領域として決定されにくい。また、ばらつき値ＶＥが比較的小さい候補領域であっても、色数ＣＶが多い領域は、画像の複雑さが高いと判断されるので、端部領域として決定されにくい。例えば、エッジ量が比較的少なく、かつ、比較的広い色相範囲の色が含まれる領域（例えば、グラデーションを含む領域）は、端部領域として決定されにくい。この結果、ＣＰＵ２１０は、ばらつき値ＶＥと、色数ＣＶと、に基づいて、候補領域内の画像の複雑さを適切に評価して、適切な候補領域を削除すべき端部領域として決定することができる。

図４に戻って説明を続ける。Ｓ２１５またはＳ２２０において、１個の候補領域が端部領域として決定されると、Ｓ２３０にて、ＣＰＵ２１０は、トリミング処理を実行する。トリミング処理は、現時点での対象画像２０ａから直前のＳ２１５またはＳ２２０において決定された端部領域を削除して、対象画像２０ａから端部領域を除いた領域内の画像を表す画像データを生成する処理である。例えば、Ｓ２２０にて候補領域ＵＣ１（図３（Ａ））が１個目の端部領域として決定されたとする。この場合には、Ｓ２３０のトリミング処理では、候補領域ＵＣ１が削除されて、対象画像２０ａの上下方向の長さは、候補領域ＵＣ１の幅Ｌ２分だけ短くなる。

Ｓ２３５では、ＣＰＵ２１０は、付加画像の配置領域分の端部領域をトリミング処理によって対象領域から削除したか否かを判断する。本実施例では、図３（Ａ）に示すように、付加画像の配置領域の幅Ｌ１は、１個の端部領域の幅Ｌ２の２倍であるので、２個の端部領域が削除されたか否かが判断される。例えば、最初のＳ２３０にて、候補領域ＵＣ１（図３（Ａ））が１個目の端部領域として対象画像２０ａから削除された場合には、直後のＳ２３５にて、ＣＰＵ２１０は、配置領域分の端部領域を削除していないと判断する。配置領域分の端部領域が削除されていない場合には（Ｓ２３５：ＮＯ）、ＣＰＵ２１０は、Ｓ２００に戻って、上下に１個ずつの候補領域、すなわち、第１候補領域と第２候補領域とを設定する。

付加画像追加処理Ａの第１候補領域は、トリミング処理前の対象画像２０ａの上側の端に沿って配置可能な１個以上の候補領域（例えば、図３（Ａ）の候補領域ＵＣ１、ＵＣ２）であり、かつ、削除すべき端部領域として決定されていない１個以上の候補領域のうち、最も上側に位置する領域である。したがって、例えば、最初のＳ２３０にて候補領域ＵＣ１が１個目の端部領域として対象画像２０ａから削除されている場合には、２回目のＳ２００では、候補領域ＵＣ２が第１候補領域として決定される。

付加画像追加処理Ａの第２候補領域は、トリミング処理前の対象画像の下側の端に沿って配置可能な１個以上の候補領域（例えば、図３（Ａ）の候補領域ＢＣ１、ＢＣ２）であり、かつ、削除すべき端部領域として決定されていない１個以上の候補領域のうち、最も下側に位置する領域である。したがって、例えば、最初のＳ２３０にて候補領域ＵＣ１が１個目の端部領域として対象画像２０ａから削除されている場合には、２回目のＳ２００では、１回目と同じく、候補領域ＢＣ１が第２候補領域として決定される。したがって、２回目のＳ２１０〜Ｓ２２０の処理では、第１候補領域としての候補領域ＵＣ２と、第２候補領域としての候補領域ＢＣ１と、のうちの１個の候補領域が、削除すべき２個目の端部領域として決定される。ここでは、２回目のＳ２１０〜Ｓ２２０の処理では、下側の候補領域ＢＣ１が削除すべき２個目の端部領域として決定され、２回目のＳ２３０では下側の候補領域ＢＣ１が対象画像２０ａから削除されるものとする。

２個目の端部領域が削除された後のＳ２３５では、ＣＰＵ２１０は、配置領域分の端部領域を削除したと判断する。配置領域分の端部領域が削除された場合には（Ｓ２３５：ＹＥＳ）、ＣＰＵ２１０は、Ｓ２４０に処理を進める。配置領域分の端部領域が削除された後の対象画像を、トリミング済み画像とも呼ぶ。

図７は、処理済み画像の一例を示す図である。図７（Ａ）には、図３（Ａ）の対象画像２０ａに対して付加画像追加処理Ａを実行した場合に生成される処理済み画像５０ａが示されている。処理済み画像５０ａは、トリミング済み画像２５ａと、付加画像３０ａと、を含んでいる。また、処理済み画像５０ａは、削除された端部領域内の画像を含んでいない。トリミング済み画像２５ａは、対象画像２０ａから削除すべき２個の端部領域ＵＣ１、ＢＣ２を除いた領域（印刷対象領域とも呼ぶ）内の画像である、と言うことができる。

図７（Ａ）の処理済み画像５０ａの付加画像３０ａは、Ｓ２４０とＳ２４５の処理によって、トリミング済み画像２５ａ（すなわち、対象画像２０ａの印刷対象領域内の画像）の下側にトリミング済み画像２５ａと重ならずに配置される。

先ず、Ｓ２４０では、ＣＰＵ２１０は、付加画像３０ａを配置するための配置領域ＴＡａを設定する。図７（Ａ）に示すように、配置領域ＴＡａは、上下方向の幅がＬ１であり、左右方向の幅がトリミング済み画像２５ａと同じである矩形の領域である。配置領域ＴＡａは、処理済み画像５０ａの下側に、処理済み画像５０ａと重ならずに配置される。

Ｓ２４５では、ＣＰＵ２１０は、対象画像２０ａの配置領域ＴＡａ内に付加画像３０ａを形成して、処理済み画像５０ａを完成させる（図７（Ａ））。付加画像３０ａは、テキスト３１ａとＱＲコード３２ａとを含む（ＱＲコードは登録商標）。テキスト３１ａは、付加情報ＡＩに基づく情報、具体的には、撮影の日時と、撮影の場所と、撮影時の天気と、を示している。ＱＲコード３２ａは、付加情報ＡＩに基づく情報にアクセスするためのＵＲＬ（Uniform Resource Locatorの略）、本実施例では、撮影の場所の地図を示すＷＥＢページにアクセスするためのＵＲＬを示している。

図７（Ａ）に示すように、付加画像３０ａ（配置領域ＴＡａ）の上下方向の幅は、Ｌ１である。そして、トリミング済み画像２５ａの上下方向の幅は、対象画像２０ａより２個の端部領域の上下方向の幅（２×Ｌ２＝Ｌ１）だけ短い。したがって、トリミング済み画像２５ａと付加画像３０ａとを含む処理済み画像５０ａの上下方向の幅は、対象画像２０ａの上下方向の幅と等しい。すなわち、対象画像２０ａのサイズと、処理済み画像５０ａのサイズとは、互いに等しい。さらに、トリミング済み画像２５ａは、対象画像２０ａから上側の端部領域ＵＣ１と下側の端部領域ＢＣ１とを削除した画像である。そして、処理済み画像５０ａにおいて、付加画像３０ａは、トリミング済み画像２５ａの下側に配置されている。このために、処理済み画像５０ａにおける被写体２１ａ〜２３ａの位置は、対象画像２０ａにおける被写体２１ａ〜２３ａの位置より、Ｌ２だけ上側にシフトしている。すなわち、処理済み画像５０ａにおける被写体２１ａ〜２３ａの位置と、対象画像２０ａにおける被写体２１ａ〜２３ａの位置とは、ずれている（一致していない）。

Ａ−４．付加画像追加処理Ｂ：
図８は、図２のＳ１５５の付加画像追加処理Ｂのフローチャートである。ここでは、対象画像が図３（Ｂ）の対象画像２０ｂである場合を例に、説明する。Ｓ３００では、ＣＰＵ２１０は、対象画像２０ｂ内に、左右方向に１個ずつの候補領域を設定する。具体的には、初回のＳ３００では、対象画像２０ｂの右端から幅Ｌ２分の候補領域ＲＣ１（図３（Ｂ））が第１候補領域として設定される。そして、対象画像２０ｂの左端から幅Ｌ２分の候補領域ＢＣ１（図３（Ｂ））が第２候補領域として設定される。

Ｓ３０５では、ＣＰＵ２１０は、主要領域ＭＡｂと第１候補領域との左右方向の距離Ｄ３と、主要領域ＭＡｂと第２候補領域との左右方向の距離Ｄ４と、を算出する。例えば、図３（Ｂ）には、候補領域ＲＣ１が第１候補領域であり、候補領域ＬＣ１が第２候補領域である場合に、算出される距離Ｄ３、Ｄ４が図示されている。

Ｓ３１０では、ＣＰＵ２１０は、距離Ｄ３が閾値Ｄｔｈ３以上であり、かつ、距離Ｄ４がＤｔｈ４以上であるか否かを判断する。例えば、閾値Ｄｔｈ３は、主要領域ＭＡｂの左右方向の幅の１０％〜５０％程度の値に決定される。

距離Ｄ３が閾値Ｄｔｈ３未満である場合、または、距離Ｄ４が閾値Ｄｔｈ４未満である場合には（Ｓ３１０：ＮＯ）、すなわち、主要領域ＭＡｂと１個の候補領域との間の距離が比較的短い場合には、ＣＰＵ２１０は、Ｓ３１５に処理を進める。

Ｓ３１５では、ＣＰＵ２１０は、第１候補領域と第２候補領域とのうち、主要領域ＭＡｂとの間の距離がより長い候補領域を、削除すべき端部領域として決定する。

距離Ｄ３が閾値Ｄｔｈ３以上であり、かつ、距離Ｄ４がＤｔｈ４以上である場合（Ｓ３１０：ＹＥＳ）、すなわち、主要領域ＭＡｂと各候補領域との距離が比較的長い場合には、ＣＰＵ２１０は、Ｓ３２０にて、図５の端部領域決定処理を実行する。端部領域決定処理によって、付加画像追加処理Ａと同様に、第１候補領域と第２候補領域のうちの一方の領域が、削除すべき端部領域として決定される。

Ｓ３１５またはＳ３２０において、１個の候補領域が端部領域として決定されると、Ｓ３３０にて、ＣＰＵ２１０は、トリミング処理を実行する。トリミング処理は、現時点での対象画像２０ｂから、直前のＳ３１５またはＳ３２０において決定された端部領域を削除して、端部領域を除いた部分の画像を表す画像データを生成する処理である。例えば、Ｓ３２０にて候補領域ＲＣ１（図３（Ｂ））が１個目の端部領域として決定されたとする。この場合には、Ｓ３３０のトリミング処理では、候補領域ＲＣ１が削除されて、対象画像２０ｂの左右方向の長さは、候補領域ＲＣ１の幅Ｌ２分だけ短くなる。

Ｓ３３５では、ＣＰＵ２１０は、付加画像の配置領域分の端部領域をトリミング処理によって対象領域から削除したか否かを判断する。本実施例では、図３（Ｂ）に示すように、付加画像の配置領域の幅Ｌ１は、１個の端部領域の幅Ｌ２の２倍であるので、２個の端部領域が削除されたか否かが判断される。配置領域分の端部領域が削除されていない場合には（Ｓ３３５：ＮＯ）、ＣＰＵ２１０は、Ｓ３００に戻って、左右に１個ずつの候補領域、すなわち、第１候補領域と第２候補領域とを設定する。

付加画像追加処理Ｂの第１候補領域は、トリミング処理前の対象画像２０ｂの右側の端に沿って配置可能な１個以上の候補領域（例えば、図３（Ｂ）の候補領域ＲＣ１、ＲＣ２）であり、かつ、削除すべき端部領域として決定されていない１個以上の候補領域のうち、最も右側に位置する領域である。

付加画像追加処理Ｂの第２候補領域は、トリミング処理前の対象画像の左側の端に沿って配置可能な１個以上の候補領域（例えば、図３（Ｂ）の候補領域ＬＣ１、ＬＣ２）であり、かつ、削除すべき端部領域として決定されていない１個以上の候補領域のうち、最も左側に位置する領域である。

ここでは、最初のＳ３１０〜Ｓ３２０の処理では、右側の候補領域ＲＣ１が削除すべき１個目の端部領域として決定され、２回目のＳ３１０〜Ｓ３２０の処理では、右側の候補領域ＲＣ２が削除すべき２個目の端部領域として決定されるものとする。したがって、２回のＳ３３０の処理によって、右側の２個の候補領域ＲＣ１、ＲＣ２が対象画像２０ｂから端部領域として削除されて、トリミング済み画像２５ｂ（図７（Ｂ））を表す画像データが生成される。

２個目の端部領域が削除された後のＳ３３５では、ＣＰＵ２１０は、配置領域分の端部領域を削除したと判断する。配置領域分の端部領域が削除された場合には（Ｓ３３５：ＹＥＳ）、ＣＰＵ２１０は、Ｓ３４０にて、トリミング済み画像２５ｂの右側に付加画像３０ｂを配置するための配置領域ＴＡｂを設定する。図７（Ｂ）に示すように、配置領域ＴＡｂは、左右方向の幅がＬ１であり、上下方向の幅がトリミング済み画像２５ｂと同じである矩形の領域である。

Ｓ３４５では、ＣＰＵ２１０は、対象画像２０ｂの配置領域ＴＡｂ内に付加画像３０ｂを形成して、処理済み画像５０ｂを完成させる（図７（Ｂ））。付加画像３０ｂは、付加画像３０ａ（図７（Ａ））と同様に、テキスト３１ｂとＱＲコード３２ｂとを含む。

図７（Ａ）の処理済み画像５０ａと同様に、処理済み画像５０ｂのサイズは、対象画像２０ｂのサイズと等しい。さらに、トリミング済み画像２５ｂは、対象画像２０ｂから右側の２個の端部領域ＲＣ１、ＲＣ２を削除した画像である。そして、処理済み画像５０ｂにおいて、付加画像３０ｂは、トリミング済み画像２５ｂの右側に配置されている。このために、処理済み画像５０ｂにおける被写体２１ｂ、２２ｂの位置と、対象画像２０ｂにおける被写体２１ｂ、２２ｂの位置とは、一致している（ずれていない）。

Ａ−５．付加画像追加処理Ｃ：
図９は、図２のＳ１６０の付加画像追加処理Ｃのフローチャートである。図１０は、通知画面ＷＰの一例を示す図である。図１１は、付加画像追加処理Ｃの説明図である。図１１に示す対象画像２０ｃは、上下左右の端の近傍にまで、顔領域ＦＡを含む主要領域ＭＡが位置しているために、上下方向の端に沿った端部領域と、左右方向の端に沿った端部領域と、のいずれも削除すべき端部領域として決定できない画像であるとする。以下では、対象画像が図１１の対象画像２０ｃであるとして、説明する。

図９のＳ４００では、ＣＰＵ２１０は、表示部２７０に通知画面ＷＰ（図１０）を表示する。通知画面ＷＰは、メッセージＭＳと、２個のボタンＢＴ１、ＢＴ２と、を含んでいる。メッセージＭＳは、対象画像を縮小することなく付加画像の印刷領域を確保することができないことを示すとともに、対象画像２０ｃを縮小する指示を求めるメッセージである。ボタンＢＴ１は、ユーザが、対象画像２０ｃを縮小する指示を入力するためのボタンである。ボタンＢＴ２は、ユーザが、対象画像２０ｃを縮小しない指示を入力するためのボタンである。ＣＰＵ２１０は、通知画面ＷＰを介して、対象画像を縮小するか否かを示す指示を受け取る。

Ｓ４０５では、ＣＰＵ２１０は、ユーザの指示が、対象画像２０ｃを縮小する縮小指示であるか否かを判断する。ＣＰＵ２１０は、ユーザの指示が縮小指示である場合には（Ｓ４０５：ＹＥＳ）、Ｓ４１０にて、対象画像データに対して縮小処理を実行する。縮小処理によって、対象画像２０ｃは、上下方向の長さがＬ１だけ短くなるように、かつ、上下方向の長さと左右方向の長さの比率（アスペクト比）を維持するように、縮小される。例えば、図１１（Ａ）の対象画像２０ｃが縮小されて、図１１（Ｂ）の縮小画像２５ｃが生成される。

Ｓ４１５では、ＣＰＵ２１０は、縮小画像２５ｃを含む処理済み画像のサイズが、対象画像２０ｃのサイズと同じになるように、縮小画像２５ｃに対して配置領域ＴＡｃと余白２６Ｌ、２６Ｒとを設定する（図１１（Ｂ））。余白２６Ｌ、２６Ｒの左右方向の幅は、互いに等しい。そして、縮小画像２５ｃの下側に、縮小画像２５ｃと重ならないように、配置領域ＴＡｃが配置される。配置領域ＴＡｃは、上下方向の幅がＬ１であり、左右方向の幅が対象画像２０ｃと同じである矩形の領域である。

Ｓ４２０では、ＣＰＵ２１０は、対象画像２０ｃの下側の配置領域ＴＡａ内に付加画像３０ｃ（図１１（Ｂ））を形成して、処理済み画像５０ｃを完成させる（図１１（Ｂ））。付加画像３０ｃは、図７の付加画像３０ａと同様の画像である。

ユーザの指示が縮小指示でない場合には（Ｓ４０５：ＮＯ）、ＣＰＵ２１０は、Ｓ４１０〜Ｓ４２０をスキップして、付加画像追加処理Ｃを終了する。この場合には、付加画像の追加は行われないので、図２のＳ１６５の印刷処理にて、付加画像を含まない対象画像が印刷される。

以上説明した上記実施例によれば、対象画像（例えば、図３の対象画像２０ａ、２０ｂ）内の被写体の特徴に基づいて、対象画像の端に沿った削除すべき端部領域（例えば、端部領域ＵＣ１、ＲＣ１）が決定される。すなわち、顔領域ＦＡを含む主要領域ＭＡの位置に基づいて、削除すべき端部領域と、対象画像から削除すべき端部領域を除いた印刷対象領域と、が決定される。そして、削除すべき端部領域内の画像を含まず、トリミング済み画像（すなわち、印刷対象領域内の画像）と付加画像とを含む処理済み画像（例えば、図７の処理済み画像５０ａ、５０ｂ）を表す処理済み画像データが生成される。この結果、付加画像を含む画像を印刷する場合に、印刷される画像の見栄えが損なわれる可能性を低減することができる。具体的には、特に、本実施例のように、縁なし印刷が行われる場合のように、用紙上の印刷可能領域の全体に対象画像の背景を含む被写体が配置されている場合には、対象画像の外側に付加画像を配置することはできない。このために、例えば、付加画像内の情報（テキスト３１ａ、３１ｂや、ＱＲコード３２ａ、３２ｂ）を対象画像に重ねて配置すると、対象画像内の被写体が見づらくなる可能性や、付加画像内の情報が見づらくなる場合があった。また、対象画像を縮小して付加画像の配置領域を確保すると、対象画像内の被写体が過度に小さく印刷される可能性があった。さらに、被写体の特徴に基づかずに、不用意に端部領域を削除して付加画像の配置領域を確保すると、対象画像内の被写体の特徴的な部分が処理済み画像に含まれなくなる可能性があった。本実施例では、このような不都合を抑制して、印刷される画像の見栄えが損なわれる可能性を低減することができる。

さらに、本実施例では、顔領域ＦＡを含む主要領域ＭＡを除いた領域内に、削除すべき端部領域が決定される（図２のＳ１４０、Ｓ１４５など）。したがって、人物の顔の全体が処理済み画像に含まれるように、適切に処理済み画像データを生成できる。

より具体的には、上側の端に沿った領域と下側の端に沿った領域とのそれぞれについて、削除すべき端部領域として決定するか否かが判断され（図２のＳ１４０）、上側の端に沿った領域と下側の端に沿った領域との両方を端部領域として決定しない場合に（図２のＳ１４０：ＮＯ）、対象画像の右側の端に沿った領域と左側の端に沿った領域とについて、端部領域として決定するか否かを判断する（図２のＳ１４５）。この結果、対象画像の上下方向の端に沿った領域が、左右方向の端に沿った領域より優先的に削除すべき端部領域として決定される。この結果、対象画像内の被写体の特徴に基づいてより適切な方向の端部領域を決定することができる。例えば、特に、付加情報が横書きのテキストを含む場合には、対象画像の上下方向の端に沿った領域を端部領域として削除すると、横長の付加画像を配置できるので、より見やすい。したがって、対象画像の上下方向の端に沿った領域を左右方向の端に沿った領域より優先的に端部領域として決定することが好ましい。

さらに、上側の端に沿った領域と下側の端に沿った領域との両方を端部領域として決定せず（図２のＳ１４０：ＮＯ）、かつ、右側の端に沿った領域と左側の端に沿った領域との両方を端部領域として決定しない場合には（図２のＳ１４５：ＮＯ）、対象画像が縮小された縮小画像（例えば、図１１の縮小画像２５ｃ）を表す縮小画像データが生成される（図２のＳ１６０、図９）。したがって、上下左右の端に沿った領域がいずれも端部領域として決定されない場合には、縮小画像と付加画像とを含む適切な処理済み画像を生成することができる。

さらに、上側の端に沿った領域と下側の端に沿った領域との両方を端部領域として決定せず（図２のＳ１４０：ＮＯ）、かつ、右側の端に沿った領域と左側の端に沿った領域との両方を端部領域として決定しない場合には（図２のＳ１４５：ＮＯ）、端部領域を決定できないこと、すなわち、対象画像を縮小することなく付加画像の印刷領域を確保できないことがユーザに通知される（図９のＳ４００、図１０）。この結果、ユーザは、対象画像から除かれる端部領域を自動で決定できないこと、換言すれば、付加画像を配置するための対象画像の自動的なトリミングができないことを認識することができる。

さらに、上記実施例の付加画像追加処理Ａ（図４）、および、付加画像追加処理Ｂ（図８）では、幅Ｌ１の付加画像を配置するために、幅Ｌ１より小さな幅Ｌ２の複数個の候補領域のそれぞれについて、端部領域として決定するか否かが判断される（図４のＳ２２０、図８のＳ３２０）。そして、Ｋ個の候補領域が前記端部領域として決定される。このように、幅Ｌ１より小さな幅Ｌ２の複数個の候補領域に分けて、削除すべき端部領域を決定するので、例えば、複雑さが比較的高い特徴的な領域が端部領域として決定される可能性をより低減することができる。なお、付加画像の幅Ｌ１と、１個の端部領域（候補領域）の幅Ｌ２のＫ倍は、ほぼ等しいことが好ましい（Ｌ１≒Ｋ×Ｌ２）。こうすれば、必要以上に、対象画像が小さくなることを抑制することができる。

なお、上記実施例の付加画像追加処理Ａ（図４）で、処理済み画像が生成されるパターンには、以下の３つがある。図１２は、処理済み画像が生成されるパターンの一例を示す図である。

パターンＡ（図１２（Ａ））
対象画像２０ｄの上側に位置する２個の端部領域ＵＣ１、ＵＣ２が削除されて、トリミング済み画像２５ｄが生成される。付加画像追加処理Ａでは、トリミング済み画像２５ｄの下側に付加画像３０ｄが配置される。したがって、パターンＡでは、対象画像２０ｄにおいて削除すべき端部領域が位置する側（上側）と、処理済み画像５０ｄにおいて付加画像３０ｄが位置する側（下側）とは、互いに反対側である。

パターンＢ（図１２（Ｂ））
対象画像２０ｅの上側に位置する１個の端部領域ＵＣ１と、対象画像２０ｅの下側に位置する１個の端部領域ＢＣ１が削除されて、トリミング済み画像２５ｅが生成される。上述した図３（Ａ）の対象画像２０ａから図７（Ａ）の処理済み画像５０ａが生成される例は、パターンＢである。

パターンＣ（図１２（Ｃ））
対象画像２０ｆの下側に位置する２個の端部領域ＢＣ１、ＢＣ２が削除されて、トリミング済み画像２５ｆが生成される。付加画像追加処理Ａでは、トリミング済み画像２５ｆの下側に付加画像３０ｆが配置される。したがって、パターンＣでは、対象画像２０ｆにおいて削除すべき端部領域が位置する側（下側）と、処理済み画像５０ｆにおいて付加画像３０ｆが位置する側（下側）とは、同じである。

上記３個のパターンＡ〜Ｃのうち、パターンＡとパターンＢでは、対象画像２０ｄ、２０ｅにおける特定の被写体の位置と、処理済み画像５０ｄ、５０ｅにおける特定の被写体の位置とは、ずれている（一致しない）。一方、パターンＣでは、対象画像２０ｆにおける特定の被写体の位置と、処理済み画像５０ｆにおける特定の被写体の位置とは、一致する（ずれていない）。

なお、上記実施例の付加画像追加処理Ｂ（図８）で、処理済み画像が生成されるパターンも、付加画像追加処理Ａと同様に３個のパターンがある。

Ｂ．変形例：
（１）上記付加画像追加処理Ａでは、対象画像の下側と上側のうち少なくとも一方の端に沿った端部領域が削除されて、対象画像の下側に付加画像が配置される。これに代えて、対象画像の上側に付加画像が配置されても良い。あるいは、付加画像を２個に分けて、対象画像の上側と下側とにそれぞれ付加画像が配置されても良い。同様に、上記付加画像追加処理Ｂでは、対象画像の右側と左側のうち少なくとも一方の端に沿った端部領域が削除されて、対象画像の右側に付加画像が配置される。これに代えて、対象画像の左側に付加画像が配置されても良い。あるいは、付加画像を２個に分けて、対象画像の右側と左側とにそれぞれ付加画像が配置されても良い。なお、これらの複数個の付加画像の配置パターンの中からいずれのパターンを選択するかを利用者が選択することが可能であっても良い

一般的に言えば、１個の付加画像は、矩形の印刷対象領域内の画像（本実施例ではトリミング済み画像）の上端、下端、左端、右端のうちの１個の端に沿って印刷対象領域と重ならずに配置されることが好ましい。より一般的には、１個以上の付加画像は、印刷対象領域の第１の側および第１の側の反対側である第２の側のうちの少なくとも一方に印刷対象領域と重ならずに配置されることが好ましい。

（２）上記実施例では、端部領域を決定する際に考慮される特定の被写体は、「顔を含む人物」である。これに代えて、端部領域を決定する際に考慮される特定の被写体は、特定の動物や植物などの人物とは異なる生物であっても良いし、建物や車や山などの人物とは異なる物であっても良い。

（３）上記実施例では、顔領域特定処理を実行することによって、主要領域ＭＡが決定されている。これに代えて、例えば、特定の被写体が有する特定の色（例えば、人間の肌色を示す所定範囲内の色値を有する色）を有する領域を特定して、当該領域に基づいて主要領域ＭＡが決定されても良い。

（４）上記実施例の端部領域決定処理（図５）において、ばらつき値ＶＥや色数ＣＶは、候補領域内の複雑さを示す値の一例であり、他の値が用いられても良い。例えば、候補領域内のエッジ量を示す値や、候補領域内の画素の値のヒストグラムのピーク数、が用いられても良い。当該エッジ量やピーク数が多いほど、候補領域内の複雑さが高いと考えられる。

（５）上記実施例では、上下方向の端に沿った領域は、左右方向の端に沿った領域より優先的に、削除すべき端部領域として決定される。これに代えて、ＣＰＵ２１０は、上下方向の端に沿った領域と左右方向の端に沿った領域とそれぞれについて、削除すべき端部領域とすることができるか否かを判断し、両方を削除すべき端部領域とすることができると判断する場合には、その旨をユーザに通知しても良い。この場合には、例えば、上下方向の端に沿った領域と左右方向の端に沿った領域とのうち、ユーザによって指定された領域が端部領域として削除されても良い。

（６）上記実施例では、縁なし印刷が行われる場合を例に説明している。これに代えて、印刷媒体の外縁に余白を残す縁あり印刷が行われる場合に上記印刷処理を採用しても良い。例えば、額に格納されるために、額に格納した状態で外部から観察できるように、印刷媒体の特定の観察可能範囲内の全体に処理済み画像の印刷を行う場合に、上記印刷処理が採用されても良い。

（７）図２の印刷処理を実現する画像処理装置は、計算機２００に限らず、種々の装置であってよい。例えば、プリンタ、デジタルカメラ、スキャナなどの画像関連機器の内部のコンピュータ、汎用のパーソナルコンピュータ、ネットワークに接続されたサーバ、スマートフォンなどの携帯端末等を採用可能である。デジタルカメラやデジタルカメラ付きの携帯端末が採用される場合には、例えば、写真の撮影後に、デジタルカメラやデジタルカメラ付きの携帯端末は、図２の印刷処理を実行して、印刷データをプリンタに送信しても良い。サーバが採用される場合には、例えば、サーバは、携帯端末、計算機、プリンタなどのクライアントから画像データＧＤと付加情報ＡＩとを含む画像ファイルを取得し、図２の印刷処理を実行して、印刷データをクライアントへと送信しても良い。また、ネットワークを介して互いに通信可能な複数個のコンピュータが、図２の印刷処理の機能を一部ずつ分担して、全体として、図２の印刷処理の機能を提供してもよい。この場合、複数個のコンピュータの全体が、画像処理装置の例である。

（８）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、実施例の印刷処理の一部または全部の処理は、ＡＳＩＣなどのハードウェアによって実行されても良い。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

２００...計算機、２１０...ＣＰＵ、２２０...揮発性記憶装置、２２２...バッファ領域、２３０...不揮発性記憶装置、２３２...コンピュータプログラム、２３４...画像ファイル、２６０...操作部、２７０...表示部、２８０...通信部、３００...印刷装置

Claims (13)

1. 印刷に用いられる画像データを生成するための画像処理装置であって、
   対象画像を表す対象画像データと、前記対象画像データに付加されている付加情報と、を取得する取得部と、
   前記対象画像内の被写体の特徴に基づいて、前記対象画像の端に沿った前記対象画像の一部の領域である端部領域と、前記対象画像から前記１個以上の端部領域を除いた印刷対象領域と、を決定する決定部と、
   前記対象画像データを用いて、前記端部領域内の画像を含まず、かつ、前記印刷対象領域内の画像と、前記印刷対象領域の第１の側および第２の側のうちの少なくとも一方に前記印刷対象領域と重ならずに配置された付加画像と、を含む処理済み画像を表す処理済み画像データを生成する生成部であって、前記第１の側は、前記対象画像にて前記端部領域が位置する側であり、前記第２の側は、前記第１の側の反対側であり、前記付加画像は前記付加情報に基づく情報を示す、前記生成部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、さらに、
   前記対象画像内の特定の被写体を示す領域を特定する被写体特定部を備え、
   前記決定部は、前記対象画像のうち、前記特定の被写体を示す領域を除いた領域内に、前記端部領域を決定する、画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記決定部は、前記対象画像の互いに対向する異なる端に沿った複数個の候補領域のうち、前記特定の被写体からの距離が離れた前記候補領域を優先的に前記端部領域として決定する、画像処理装置。
4. 請求項１〜３のいずれかに記載の画像処理装置であって、さらに、
   前記対象画像の前記第１の側の端に沿った第１候補領域内の複数個の画素の値を用いて前記第１候補領域内の画像の複雑さを示す第１の値を算出し、前記対象画像の前記第２の側の端に沿った第２候補領域内の複数個の画素の値を用いて前記第２候補領域内の画像の複雑さを示す第２の値を算出する算出部を備え、
   前記決定部は、
   前記第１の値と前記第２の値とに基づいて、前記第１候補領域と前記第２候補領域とのうち、画像の複雑さが低い領域を優先的に前記端部領域として決定する、画像処理装置。
5. 請求項１〜４のいずれかに記載の画像処理装置であって、
   前記決定部は、
   前記対象画像の上側の端に沿った領域と下側の端に沿った領域とのそれぞれについて、前記対象画像内の被写体の特徴に基づいて前記端部領域として決定するか否かを判断し、
   前記上側の端に沿った領域と下側の端に沿った領域との両方を前記端部領域として決定しない場合に、前記対象画像の右側の端に沿った領域と左側の端に沿った領域との少なくとも一方について、前記対象画像内の特徴に基づいて前記端部領域として決定するか否かを判断する、画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記決定部は、前記対象画像の右側の端に沿った領域と左側の端に沿った領域とのそれぞれについて、前記対象画像内の被写体の特徴に基づいて前記端部領域として決定するか否かを判断し、
   前記画像処理装置は、さらに、
   前記右側の端に沿った領域と前記左側の端に沿った領域との両方を前記端部領域として決定しない場合に、前記対象画像が縮小された縮小画像を表す縮小画像データを生成する縮小処理部を備え、
   前記生成部は、前記縮小画像と、前記縮小画像と重ならずに配置された前記付加画像と、を含む処理済み画像を表す処理済み画像データを生成する、画像処理装置。
7. 請求項５に記載の画像処理装置であって、
   前記決定部は、前記対象画像の右側の端に沿った領域と左側の端に沿った領域とのそれぞれについて、前記対象画像内の被写体の特徴に基づいて前記端部領域として決定するか否かを判断し、
   前記画像処理装置は、さらに、
   前記右側の端に沿った領域と前記左側の端に沿った領域との両方を前記端部領域として決定しない場合に、前記端部領域を決定できないことをユーザに通知する通知部を備える、画像処理装置。
8. 請求項１〜７のいずれかに記載の画像処理装置であって、
   前記対象画像および前記処理済み画像は、矩形の画像であり、
   １個の前記端部領域は、矩形の前記対象画像の上端、下端、左端、右端のうちの１個の端の全長に亘る領域である、画像処理装置。
9. 請求項１〜８のいずれかに記載の画像処理装置であって、
   前記印刷対象領域は、矩形の画像であり、
   １個の前記付加画像は、矩形の前記印刷対象領域の上端、下端、左端、右端のうちの１個の端に沿って前記印刷対象領域と重ならずに配置される、画像処理装置。
10. 請求項１〜９のいずれかに記載の画像処理装置であって、
    前記決定部は、前記対象画像内の前記第１の側に位置する前記端部領域を決定し、
    前記生成部は、前記付加画像が前記印刷対象領域の前記第２の側に配置された前記処理済み画像を表す前記処理済み画像データを生成する、画像処理装置。
11. 請求項１〜１０のいずれかに記載の画像処理装置であって、
    前記決定部は、前記対象画像内の前記第１の側に位置する第１の端部領域と、前記対象画像の前記第２の側の第２の端部領域と、を前記端部領域として決定し、
    前記生成部は、前記付加画像が前記印刷対象領域の前記第１の側に配置された前記処理済み画像を表す前記処理済み画像データを生成する、画像処理装置。
12. 請求項１〜１１のいずれかに記載の画像処理装置であって、
    前記決定部は、
    前記対象画像の一端と垂直な方向の幅が、前記付加画像より小さな複数個の候補領域のそれぞれについて、前記端部領域として決定するか否かを判断し、
    ２個以上の前記候補領域を前記端部領域として決定する、画像処理装置。
13. 印刷に用いられる画像データを生成するためのコンピュータプログラムであって、
    対象画像を表す対象画像データと、前記対象画像データに付加されている付加情報と、を取得する取得機能と、
    前記対象画像内の被写体の特徴に基づいて、前記対象画像の端に沿った前記対象画像の一部の領域である端部領域と、前記対象画像から前記１個以上の端部領域を除いた印刷対象領域と、を決定する決定機能と、
    前記対象画像データを用いて、前記端部領域内の画像を含まず、かつ、前記印刷対象領域内の画像と、前記印刷対象領域の第１の側および第２の側のうちの少なくとも一方に前記印刷対象領域と重ならずに配置された付加画像と、を含む処理済み画像を表す処理済み画像データを生成する生成機能であって、前記第１の側は、前記対象画像にて前記端部領域が位置する側であり、前記第２の側は、前記第１の側の反対側であり、前記付加画像は前記付加情報に基づく情報を示す、前記生成機能と、
    をコンピュータに実現させるコンピュータプログラム。

Images