上記のようなアルバムの各ページに割り当てる写真画像データを、当該サービスの利用者である顧客が1つずつ選択する場合には、その選択に時間がかかり、作業が煩雑になるといった問題がある。例えば、写真店などの店舗に設置された注文者用受付端末において上記のような作業を行う場合には、注文者用受付端末の占有時間が長くなり、顧客の回転率が悪くなるといった問題がある。また、写真画像データを選択する作業の簡略化という課題は、上記のような注文者用受付端末を用いて注文する場合だけでなく、例えばインターネット回線などを介して、顧客が自宅に設置されたパーソナルコンピュータを用いて注文する場合などにも生じる課題である。
そこで、本願出願人は、先の出願(特願2008−232378)において、各写真画像データ(アルバム用画像データ)から抽出される要素に基づいて、各写真画像データの採点を行い、その採点結果に基づいて、アルバムの各ページに割り当てる写真画像データを自動的に選択することができる技術を提案した。
上記のような技術の一例として、上記採点結果が所定の条件を満たす写真画像データのみを自動的に選択するような構成が考えられる。しかしながら、アルバムに割り当てる写真画像データの数としては、例えばアルバムのページ数と各ページに割り当てられる写真画像データの数などに基づく適切な規定数があるため、上記のように所定の条件を満たす写真画像データのみを選択した場合には、その選択数が上記規定数よりも多くなったり、少なくなったりする場合がある。
ここで、写真画像データの選択数が上記規定数よりも多い場合には、選択された写真画像データの一部について選択を解除し、写真画像データの選択数が上記規定数よりも少ない場合には、選択されなかった写真画像データの中から新たに写真画像データを選択することが考えられる。しかし、このような場合に、上記採点処理等を用いた複雑な判定を再度行うような構成を採用すると、画像処理の負荷がかかるという問題がある。
上記のような問題は、アルバムを作製する場合に限らず、アルバム以外のプリントを作製する場合にも生じる場合がある。例えば、コラージュ写真のように、規定数の写真画像データを選択して1枚の用紙にプリントするような場合にも、より簡単な処理で上記規定数の写真画像データを選択できることが好ましい。なお、コラージュ写真において1枚の用紙にプリントされる複数の写真画像データに基づく各画像の大きさは、各写真画像データに基づいて1枚の写真プリントとして通常プリントされるサイズ(L判サイズなど)よりも小さい。
本発明は、上記実情に鑑みてなされたものであり、より簡単な処理で規定数の写真画像データを選択することができる画像処理装置、画像形成装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
第1の本発明に係る画像処理装置は、複数の写真画像データの中から所定の写真画像データを選択するための処理を行う画像処理装置であって、所定の条件を満たす写真画像データを選択する画像データ選択手段と、上記画像データ選択手段による写真画像データの選択数が規定数でない場合に、各写真画像データに対応付けられている時間情報に基づいて、上記規定数の写真画像データが選択されるように調整する画像データ数調整手段とを備えたことを特徴とする。
このような構成によれば、所定の条件を満たす写真画像データを選択したときに、その選択数が規定数でない場合であっても、各写真画像データに対応付けられている時間情報に基づいて、上記規定数の写真画像データが選択されるように調整することができる。このように、各写真画像データに対応付けられた時間情報に基づいて写真画像データの数を調整することにより、各写真画像データに対して複雑な判定処理等を行うような構成と比較して、より簡単な処理で規定数の写真画像データを選択することができる。
第2の本発明に係る画像処理装置は、上記画像データ数調整手段が、上記画像データ選択手段による写真画像データの選択数が規定数よりも多い場合に、当該選択された各写真画像データに対応付けられている時間情報に基づいて、上記選択数と上記規定数との差分に応じた数の写真画像データの選択を解除する選択解除手段を備えたことを特徴とする。
このような構成によれば、選択された写真画像データの選択数が規定数よりも多い場合に、上記選択数と上記規定数との差分に応じた数の写真画像データの選択を解除するといった簡単な処理によって、上記規定数の写真画像データを選択するよう調整することができる。
第3の本発明に係る画像処理装置は、上記選択解除手段が、上記選択された各写真画像データの中から、時系列に従って、所定数ごとに写真画像データの選択を解除することを特徴とする。
このような構成によれば、選択された各写真画像データの中から、時系列に従って、所定数ごとに写真画像データの選択を解除することにより、当該選択された写真画像データとして所定時間内に撮影された複数の写真画像データの中から、当該所定時間内においてより満遍なく選択を解除することができるので、より好適に規定数の写真画像データを選択することができる。
第4の本発明に係る画像処理装置は、上記所定数が、上記選択された写真画像データの数を上記差分に応じた数で除算した値に基づいて算出されることを特徴とする。
このような構成によれば、上記選択された写真画像データとして所定時間内に撮影された複数の写真画像データの中から、当該所定時間内においてより満遍なく選択を解除することができるので、さらに好適に規定数の写真画像データを選択することができる。
第5の本発明に係る画像処理装置は、上記選択解除手段が、上記選択された各写真画像データの中から、時系列に従って、所定の時間間隔ごとに写真画像データの選択を解除することを特徴とする。
このような構成によれば、選択された各写真画像データの中から、時系列に従って、所定の時間間隔ごとに写真画像データの選択を解除することにより、当該選択された写真画像データとして所定時間内に撮影された複数の写真画像データの中から、当該所定時間内においてより満遍なく選択を解除することができるので、より好適に規定数の写真画像データを選択することができる。
第6の本発明に係る画像処理装置は、上記画像データ数調整手段が、上記画像データ選択手段による写真画像データの選択数が規定数未満である場合に、上記所定の条件を満たさない各写真画像データに対応付けられている時間情報に基づいて、上記選択数と上記規定数との差分に応じた数の写真画像データを追加選択する追加選択手段を備えたことを特徴とする。
このような構成によれば、選択された写真画像データの選択数が規定数未満である場合に、上記選択数と上記規定数との差分に応じた数の写真画像データを追加選択するといった簡単な処理によって、上記規定数の写真画像データを選択するよう調整することができる。
第7の本発明に係る画像処理装置は、上記追加選択手段が、上記所定の条件を満たさない各写真画像データの中から、時系列に従って、所定数ごとに写真画像データを追加選択することを特徴とする。
このような構成によれば、所定の条件を満たさない各写真画像データの中から、時系列に従って、所定数ごとに写真画像データを追加選択することにより、当該所定の条件を満たさない写真画像データとして所定時間内に撮影された複数の写真画像データの中から、当該所定時間内においてより満遍なく追加選択することができるので、より好適に規定数の写真画像データを選択することができる。
第8の本発明に係る画像処理装置は、上記所定数が、上記所定の条件を満たさない写真画像データの数を上記差分に応じた数で除算した値に基づいて算出されることを特徴とする。
このような構成によれば、上記所定の条件を満たさない写真画像データとして所定時間内に撮影された複数の写真画像データの中から、当該所定時間内においてより満遍なく追加選択することができるので、さらに好適に規定数の写真画像データを選択することができる。
第9の本発明に係る画像処理装置は、上記追加選択手段が、上記所定の条件を満たさない各写真画像データの中から、時系列に従って、所定の時間間隔ごとに写真画像データを追加選択することを特徴とする。
このような構成によれば、所定の条件を満たさない各写真画像データの中から、時系列に従って、所定の時間間隔ごとに写真画像データを追加選択することにより、当該所定の条件を満たさない写真画像データとして所定時間内に撮影された複数の写真画像データの中から、当該所定時間内においてより満遍なく追加選択することができるので、より好適に規定数の写真画像データを選択することができる。
第10の本発明に係る画像処理装置は、各写真画像データの判定を行う画像判定手段を備え、上記画像データ選択手段が、上記画像判定手段による判定結果に基づいて、上記所定の条件を満たす写真画像データを選択することを特徴とする。
このような構成によれば、各写真画像データの判定を行い、その判定結果に基づいて選択された写真画像データの選択数が規定数でない場合に、各写真画像データに対応付けられている時間情報に基づいて、上記規定数の写真画像データが選択されるように調整することができる。このように、写真画像データの数を調整する際には、各写真画像データに対応付けられた時間情報に基づいて調整を行うことにより、複雑な判定処理を再度行うような構成と比較して、処理速度を向上することができる。
第11の本発明に係る画像形成装置は、複数の写真画像データの中から所定の写真画像データを選択して写真プリントを生成する画像形成装置であって、所定の条件を満たす写真画像データを選択する画像データ選択手段と、上記画像データ選択手段による写真画像データの選択数が規定数でない場合に、各写真画像データに対応付けられている時間情報に基づいて、上記規定数の写真画像データが選択されるように調整する画像データ数調整手段と、上記画像データ数調整手段による調整後の写真画像データに基づいて写真プリントを生成する画像形成手段とを備えたことを特徴とする。
このような構成によれば、上記画像処理装置と同様の効果を奏する画像形成装置を提供することができる。
第12の本発明に係る画像処理方法は、複数の写真画像データの中から所定の写真画像データを選択するための処理を行う画像処理方法であって、所定の条件を満たす写真画像データを選択する画像データ選択ステップと、上記画像データ選択ステップにおける写真画像データの選択数が規定数でない場合に、各写真画像データに対応付けられている時間情報に基づいて、上記規定数の写真画像データが選択されるように調整する画像データ数調整ステップとを備えたことを特徴とする。
このような構成によれば、上記画像処理装置と同様の効果を奏する画像処理方法を提供することができる。
第13の本発明に係る画像処理プログラムは、複数の写真画像データの中から所定の写真画像データを選択するための処理をコンピュータに行わせる画像処理プログラムであって、上記コンピュータを、所定の条件を満たす写真画像データを選択する画像データ選択手段と、上記画像データ選択手段による写真画像データの選択数が規定数でない場合に、各写真画像データに対応付けられている時間情報に基づいて、上記規定数の写真画像データが選択されるように調整する画像データ数調整手段として機能させることを特徴とする。
このような構成によれば、上記画像処理装置と同様の効果を奏する画像処理プログラムを提供することができる。
本発明によれば、各写真画像データに対応付けられた時間情報に基づいて写真画像データの数を調整することにより、各写真画像データに対して複雑な判定処理等を行うような構成と比較して、より簡単な処理で規定数の写真画像データを選択することができる。
図1は、本発明の一実施形態に係る画像形成装置3の一構成例を示した概略断面図である。この画像形成装置3は、例えばインクジェットプリンタからなり、画像データに基づく画像を用紙Pの片面又は両面にプリントすることができる。なお、画像形成装置3は、インクジェットプリンタに限定されず、熱転写式プリンタ、レーザープリンタ、銀塩式プリンタでも構成できる。
当該画像形成装置3によるプリント処理は以下の流れである。用紙ストック部30に枚葉の用紙P(インクジェット用紙)がストックされ、用紙送り機構によって用紙Pが1枚ずつ下流側に搬送される構成である。搬送された用紙Pは、画像形成部37の吸引部32によって吸引されて一次保持される。画像形成部37は、C(シアン)、M(マゼンタ)、Y(イエロー)、K(ブラック)のそれぞれのプリントヘッド31を備えている。間欠搬送される用紙Pに対し、プリントヘッド31が主走査方向に一走査し、この走査時に、各色のインク吐出ノズルからインクが吐出し、用紙Pの表面に付着させる。この間欠搬送、主走査動作およびインク吐出動作を繰り返すことで、用紙Pのプリント領域に画像が形成される。
次いで、画像形成された用紙Pは、切断部33に搬送される。片面プリントの場合に、切断部33(例えば、回転刃)は、用紙幅方向に移動することで、用紙P中の不必要部分を切断する。なお、両面プリントの場合は、両面プリント終了後に切断処理を実行してもよい。次いで、片面プリントの場合、用紙Pの裏面に、裏印字手段(図示せず)によって識別番号、コマ番号、日付等の情報がプリントされる。なおこの裏印字処理は任意の処理である。次いで、搬送下流側の乾燥手段34によって、用紙Pの画像形成面を乾燥させる。乾燥処理された用紙Pは、上側に搬送される過程で表裏反転され、排出部36に排出される。両面プリントする場合には、用紙Pの後端がリバース機構35で挟持され、当該リバース機構35が用紙Pを後端から画像形成部37の上流側に搬送するように変位する。画像形成部37では裏面にプリント処理をし、次いで必要に応じて切断処理し、次いで乾燥処理し、排出部36に両面プリントされた用紙P2が排出される。
当該画像形成装置3では、被写体を撮影することにより得られた画像データ(以下、「写真画像データ」と呼ぶ。)に基づいて用紙に画像をプリントすることにより、写真プリントを得ることができる。このような画像形成装置3を用いて、1枚の用紙に多数の写真画像データをプリントすれば、いわゆるコラージュ写真を作製することができる。また、複数ページに割り当てられた複数の写真画像データをページごとにプリントし、それらの複数枚の写真プリントをファイリング又は製本すれば、複数ページからなるアルバムを作製することができる。
本実施形態では、用紙Pの両面にプリント可能であるため、画像が両面に形成された写真プリントを生成し、それらをファイリング又は製本すれば、見開き状態のページ(見開きページ)に画像が配置されたアルバムを作製することができる。このような見開きページに画像が配置されたアルバムでは、より多くの画像を同時に閲覧することができる。ただし、上記のような両面プリント可能な画像形成装置3に限らず、片面プリントのみ可能な画像形成装置にも本発明を適用することができる。
図2及び図3は、本発明の一実施形態に係る画像処理装置1の一構成例を示したブロック図である。この画像処理装置1は、上記画像形成装置3に備えられ、複数の写真画像データの中から所定の写真画像データを選択するための処理を行う。当該画像処理装置1は、例えばCPU(Central Processing Unit)からなる制御部を備えており、当該制御部がコンピュータプログラムを実行することにより、各種機能ブロックとして機能するようになっている。具体的には、上記制御部が、グループ分類部11、グループ判定部12、画像編集判定部13、画像データ抽出部14、コラージュ処理部15及びアルバム処理部16などとして機能するようになっている。
また、画像処理装置1は、メモリを備えており、当該メモリの記憶領域に各種記憶部が割り当てられている。具体的には、上記メモリに、画像データ記憶部21、グループデータ記憶部22、抽出画像データ記憶部23及び代表画像データ記憶部24などが割り当てられている。ただし、上記各記憶部は、別々のメモリにより構成されるものであってもよい。また、上記各記憶部は、画像処理装置1に内蔵されたような構成に限らず、外部メモリにより構成されていてもよい。
画像データ記憶部21には、複数の写真画像データを記憶することができる。当該画像データ記憶部21には、スキャナ装置により読み取った写真画像データ、店舗などに設置された注文者用受付端末に入力された写真画像データ、ユーザ端末からインターネットを介してネット受付端末により受信した写真画像データなどを記憶することができる。この画像データ記憶部21に記憶される写真画像データとしては、現像済み写真フィルムの各コマ画像から読み取った写真画像データや、デジタルカメラで撮影することにより得られた写真画像データなどが挙げられる。
各写真画像データには、いわゆるExifデータが対応付けて記憶されている。当該Exifデータには、例えば各写真画像データの撮影日時、各写真画像データに対する編集日時、各写真画像データに対する縮小処理により得られるサムネイル画像データなどが含まれる。上記撮影日時は時間情報の一例であり、時間を表す情報であれば、撮影時にカメラの機能によって自動的に付与されるものであってもよいし、ユーザの操作によって付与されるものであってもよい。
グループ分類部11は、画像データ記憶部21に記憶されている複数の写真画像データを、各写真画像データに対応付けられた撮影日時に基づいて、所定の時間間隔ごとに異なるグループに分類する。上記所定の時間間隔は、日単位、時間単位、分単位、秒単位などの任意の単位で設定することができる。例えば、同日に撮影された写真画像データが同一のグループに分類されるような構成であってもよいし、連続写真や撮り直しの場合のように撮影間隔が非常に短い(例えば1分以内)写真画像データが同一のグループに分類されるような構成であってもよい。グループ分類部11により分類された写真画像データの情報は、グループデータとしてグループデータ記憶部22に記憶される。
グループ判定部12は、各写真画像データが分類されているグループの種別を判定するためのグループ判定手段である。この例では、非常に短い所定時間内(例えば1分以内)に撮影された写真画像データからなるグループが、連続写真により得られた写真画像データからなる連続写真グループ、又は、所定時間内における撮り直しにより撮影された写真画像データからなる撮り直しグループのいずれであるかを判定することができるようになっている。
より具体的には、各写真画像データに対応付けられている撮影日時に基づいて、各写真画像データの撮影間隔が一定と判断される場合には、カメラの機能により一定間隔で撮影することにより得られた連続写真の写真画像データと判定することができる。一方、各写真画像データに対応付けられている撮影日時に基づいて、各写真画像データの撮影間隔が一定でないと判断される場合には、撮影者が手動で撮り直すことにより得られた写真画像データと判定することができる。
画像編集判定部13は、各写真画像データが編集されているか否かを判定する画像編集判定手段であり、この例では、各写真画像データに対応付けられたExifデータに基づいて判定を行うことができるようになっている。すなわち、写真画像データが編集ソフトなどを用いて編集された場合には、その編集日時がExifデータとして記憶されるようになっているため、当該編集日時が記憶されていれば、編集された写真画像データと判定することができる。ただし、このような構成に限らず、例えば編集された写真画像データに付される特有のファイル名を識別することにより、編集された写真画像データを判定するような構成などを採用することも可能である。
画像データ抽出部14は、写真画像データが分類されている各グループの中から、一部の写真画像データのみを抽出する画像データ抽出手段であり、その後に実行されるコラージュ処理又はアルバム処理に対する前処理として、写真画像データの数を減少させるための処理を行う。当該画像データ抽出部14により各グループから抽出された写真画像データは、抽出画像データとして抽出画像データ記憶部23に記憶される。
各グループには、所定時間内に撮影された複数の写真画像データが含まれており、この例では、各写真画像データに対応付けられた時間情報である撮影日時に基づいて、各グループの中から写真画像データを抽出することができるようになっている。より具体的には、グループ判定部12により撮り直しグループと判定されたグループについては、撮影日時が最も遅い写真画像データのみを抽出する処理が行われるようになっている。
また、画像データ抽出部14は、各グループの中から写真画像データを抽出する際、画像編集判定部13により編集されていると判定された写真画像データは必ず抽出するようになっている。すなわち、画像データ抽出部14により除かれる写真画像データには、画像編集判定部13により編集されていると判定された写真画像データが含まれないようになっている。
コラージュ処理部15は、抽出画像データ記憶部23に記憶されている抽出画像データの中から、さらに所定数の写真画像データを選択することにより、各グループを代表する代表画像データを決定するとともに、選択された複数の代表画像データを1枚の用紙に割り当てる処理(コラージュ処理)を行う。このようにして割り当てられた複数の代表画像データが、画像形成部37において1枚の用紙にプリントされることにより、コラージュ写真が作製される。
アルバム処理部16は、抽出画像データ記憶部23に記憶されている抽出画像データの中から、さらに所定数の写真画像データを選択することにより、各グループを代表する代表画像データを決定するとともに、選択された複数の代表画像データをアルバムの各ページに割り当てる処理(アルバム処理)を行う。このようにして割り当てられた複数の代表画像データが、画像形成部37において複数枚の用紙にプリントされ、それらの写真プリントをファイリング又は製本することによりアルバムが作製される。
本実施形態では、画像処理装置1がコラージュ処理部15及びアルバム処理部16をいずれも備えた構成について説明するが、このような構成に限らず、コラージュ処理部15又はアルバム処理部16のいずれか一方のみを備えた構成であってもよい。
コラージュ処理部15及びアルバム処理部16の構成は、図3に示す通りであり、それぞれ画像判定部17、画像データ選択部18、画像データ数調整部19及び画像データ配置部20が備えられている。
画像判定部17は、抽出画像データとして抽出された各写真画像データの判定を行う画像判定手段である。上記判定は、コラージュ写真又はアルバムの各ページに割り当てる写真画像データとしてより好適な写真画像データを判定するものであり、以下では「ベストショット判定」と呼ぶこととする。本実施形態では、各写真画像データのExifデータに含まれるサムネイル画像データから抽出される要素に基づいてベストショット判定が行われ、その判定結果に基づいて、画像データ選択部18により各グループから所定の写真画像データが選択されるようになっている。すなわち、画像データ選択部18は、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、所定の写真画像データを選択する画像データ選択手段を構成している。
より具体的には、サムネイル画像データから抽出される要素に基づいて、所定の条件を満たすと判断された写真画像データのみが、画像データ選択部18により選択されるようになっている。画像データ選択部18により各グループから選択された写真画像データは、各グループの代表画像データとして代表画像データ記憶部24に記憶される。ただし、本実施形態のようにサムネイル画像データから抽出される要素に基づいて写真画像データを選択するような構成に限らず、写真画像データ(元画像データ)から抽出される要素に基づいて写真画像データを選択するような構成を採用することも可能である。
サムネイル画像データから抽出される要素としては、サムネイル画像データに含まれる人物画像から抽出される要素を挙げることができるが、このような要素に限らず、例えば背景画像から抽出される要素など、他の各種要素を抽出することができる。上記人物画像から抽出される要素には、例えば、撮影された人物の顔の大きさに関する要素、及び、撮影された人物の数に関する要素などが含まれる。ただし、上記2つの要素をいずれも抽出するような構成に限らず、上記2つの要素のいずれか一方の要素のみを抽出するような構成であってもよい。
上記2つの要素は、写真画像データと比べて解像度が低いサムネイル画像データであっても、比較的精度よく抽出可能な要素であるが、精度よく抽出可能であれば、撮影された人物の笑顔度に関する要素、撮影された人物の年齢に関する要素、撮影された人物の目の開閉に関する要素、撮影された人物の顔の露出に関する要素、撮影された人物に対するピントに関する要素、及び、撮影された人物の写真画像データ上での構図に関する要素といった他の各種要素の少なくとも1つが抽出されるような構成であってもよい。
画像データ数調整部19は、画像データ選択部18による写真画像データの選択数が規定数でない場合に、当該規定数の写真画像データが選択されるように調整する画像データ数調整手段である。すなわち、コラージュ写真又はアルバムを作製する場合には、割り当てる写真画像データの数として好適な値が存在するが、その値を規定数とした場合、所定の条件を満たすと判断された写真画像データのみが画像データ選択部18により選択されるような構成では、選択された写真画像データの数が上記規定数よりも多くなったり、上記規定数未満となったりする場合がある。このような場合に、画像データ数調整部19により写真画像データの選択数を調整することによって、コラージュ写真又はアルバムを好適に作製することができる。
本実施形態では、画像データ数調整部19は、各写真画像データのExifデータに含まれる時間情報としての撮影日時に基づいて、写真画像データの選択数を調整するようになっており、写真画像データの選択を解除する選択解除部191と、写真画像データを追加選択する追加選択部192とを備えている。なお、本実施形態では、上記規定数が最小画像数以上かつ最大画像数未満の範囲に設定された場合について説明するが、このような構成に限らず、上記規定数が1つの定数に設定されたような構成であってもよい。
選択解除部191は、画像データ選択部18により選択されて代表画像データ記憶部24に記憶された写真画像データの数が最大画像数よりも多い場合に、その選択数と最大画像数との差分に応じた数の写真画像データを代表画像データ記憶部24から削除することにより、その写真画像データの選択を解除し、写真画像データの選択数を上記規定数の範囲内に調整する選択解除手段である。より具体的には、画像データ選択部18により選択された各写真画像データに対応付けられている撮影日時に基づいて、これらの写真画像データの中から、時系列に従って、所定数ごとに写真画像データの選択を解除する処理が行われる。すなわち、画像データ選択部18により選択された各写真画像データを時系列で並べたときに、上記所定数ごとに等間隔で写真画像データの選択が解除されるようになっている。
上記所定数(選択解除間隔)は、画像データ選択部18により選択された写真画像データの数を、当該選択数と最大画像数との差分に応じた数(超過数)で除算した値に基づいて算出される。例えば、上記超過数は、下記数式(1)により算出することができ、上記選択解除間隔は、下記数式(2)により算出することができる。選択解除間隔として算出された値は、整数とはならない場合があるが、その場合には小数点以下を四捨五入した値を上記選択解除間隔として、当該選択解除間隔ごとに写真画像データの選択が解除される。
(超過数)=(選択数)−(最大画像数) ・・・(1)
(選択解除間隔)={(選択数)/(超過数)}+0.5 ・・・(2)
本実施形態では、上記の通り、選択解除部191が、画像データ選択部18により選択された写真画像データの中から、時系列に従って、所定数ごとに写真画像データの選択を解除するような構成について説明したが、このような構成に限らず、選択解除部191が他の態様で写真画像データの選択を解除するような構成であってもよい。例えば、選択解除部191が、画像データ選択部18により選択された写真画像データの中から、時系列に従って、所定の時間間隔ごとに写真画像データの選択を解除するような構成であってもよい。すなわち、画像データ選択部18により選択された各写真画像データを時系列で並べたときに、上記所定の時間間隔ごとに、対応付けられている撮影日時が最も近い写真画像データの選択が解除されるような構成であってもよい。
追加選択部192は、画像データ選択部18により選択されて代表画像データ記憶部24に記憶された写真画像データの数が最小画像数未満である場合に、その選択数と最小画像数との差分に応じた数の写真画像データを追加選択して代表画像データ記憶部24に記憶することにより、写真画像データの選択数を上記規定数の範囲内に調整する追加選択手段である。より具体的には、上記所定の条件を満たさない各写真画像データ、すなわち抽出画像データ記憶部23に記憶されている写真画像データのうち画像データ選択部18により選択されなかった各写真画像データに対応付けられている撮影日時に基づいて、これらの写真画像データの中から、時系列に従って、所定数ごとに写真画像データを追加選択する処理が行われる。すなわち、抽出画像データ記憶部23に記憶されている写真画像データのうち画像データ選択部18により選択されなかった各写真画像データを時系列で並べたときに、上記所定数ごとに等間隔で写真画像データが追加選択されるようになっている。
上記所定数(追加選択間隔)は、抽出画像データ記憶部23に記憶されている写真画像データのうち画像データ選択部18により選択されなかった写真画像データの数(未選択数)を、上記選択数と最小画像数との差分に応じた数(不足数)で除算した値に基づいて算出される。例えば、上記不足数は、下記数式(3)により算出することができ、上記追加選択間隔は、下記数式(4)により算出することができる。追加選択間隔として算出された値は、整数とはならない場合があるが、その場合には小数点以下を四捨五入した値を上記追加選択間隔として、当該追加選択間隔ごとに写真画像データが追加選択される。
(不足数)=(最小画像数)−(選択数) ・・・(3)
(追加選択間隔)={(未選択数)/(不足数)}+0.5 ・・・(4)
本実施形態では、上記の通り、追加選択部192が、上記所定の条件を満たさない各写真画像データの中から、時系列に従って、所定数ごとに写真画像データを追加選択するような構成について説明したが、このような構成に限らず、追加選択部192が他の態様で写真画像データを追加選択するような構成であってもよい。例えば、追加選択部192が、上記所定の条件を満たさない各写真画像データの中から、時系列に従って、所定の時間間隔ごとに写真画像データを追加選択するような構成であってもよい。すなわち、上記所定の条件を満たさない各写真画像データを時系列で並べたときに、上記所定の時間間隔ごとに、対応付けられている撮影日時が最も近い写真画像データを追加選択するような構成であってもよい。
画像データ数調整部19により選択数が調整され、代表画像データとして代表画像データ記憶部24に記憶されている複数の写真画像データは、画像データ配置部20により読み出される。そして、コラージュ処理部15の画像データ配置部20により1枚の用紙に割り当てられ、又は、アルバム処理部16の画像データ配置部20によりアルバムの各ページに割り当てられる。コラージュ処理部15の画像データ配置部20により割り当てられた写真画像データを画像形成部37でプリントすれば、コラージュ写真を作製することができる。一方、アルバム処理部16の画像データ配置部20により割り当てられた写真画像データを画像形成部37でプリントし、それらの複数枚の写真プリントをファイリング又は製本すれば、アルバムを作製することができる。
上記画像データ配置部20による写真画像データの割り当て態様としては、種々の態様を採用することができるが、例えば時系列に従って割り当てるような構成であってもよい。また、画像判定部17によるベストショット判定時に、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、各写真画像データにポイントを付与し、そのポイントに応じた順序で割り当てるような構成であってもよい。この場合、例えばポイントが高い順又は低い順に各写真画像データを割り当てるような構成であってもよいし、ポイントが高い順又は低い順に一旦配列した各写真画像データをシャッフルして割り当てるような構成であってもよい。
図4は、画像データ抽出部14により写真画像データを抽出する際の処理の一例を示したフローチャートである。画像データ抽出部14による写真画像データの抽出は、グループ分類部11により予め分類されたグループごとに行われる。まず、各グループに分類されている写真画像データの中に、画像編集判定部13により編集されていると判定された写真画像データが含まれている場合には(ステップS101でYes)、その写真画像データが当該グループから抽出され、抽出画像データ記憶部23に記憶される(ステップS102)。
また、画像編集判定部13により編集されていると判定されなかった写真画像データについても、撮影間隔が1分以内である場合には(ステップS104でYes)、以下の処理に従って一部の写真画像データのみが抽出される。すなわち、各写真画像データを撮影日時に基づいて時系列で並べたときに、隣接する写真画像データ同士の撮影日時の間隔(上記撮影間隔)が1分以内である写真画像データが連続して2つ以上ある場合には、それらの連続する写真画像データの一部のみが抽出されるようになっている。ただし、上記撮影間隔の閾値は、「1分」に限られるものではなく、他の値であってもよい。
撮影間隔が1分以内である写真画像データが連続して3つ以上ある場合には(ステップS104でYes)、それらの隣接する写真画像データ同士の撮影間隔が一定であるか否かが判定される(ステップS105)。その結果、隣接する写真画像データ同士の撮影間隔が一定であれば(ステップS105でYes)、カメラの機能により一定間隔で撮影することにより得られた連続写真の写真画像データと判定される(ステップS106)。このようにして連続写真の写真画像データと判定された連続する複数の写真画像データについては、上述のベストショット判定により最も好適と判定された写真画像データのみが抽出され、抽出画像データ記憶部23に記憶される(ステップS107)。
撮影間隔が1分以内である写真画像データが連続して2つだけである場合(ステップS104でNo)、又は、撮影間隔が1分以内である写真画像データが連続して3つ以上あるが(ステップS104でYes)、それらの隣接する写真画像データ同士の撮影間隔が一定でない場合には(ステップS105でNo)、撮影者が手動で撮り直すことにより得られた写真画像データと判定される(ステップS108)。このようにして撮り直しの写真画像データと判定された連続する複数の写真画像データについては、撮影日時が最も遅い写真画像データのみが抽出され、抽出画像データ記憶部23に記憶される(ステップS109)。
本実施形態では、複数の写真画像データの中から、一部の写真画像データのみを自動的に抽出する際に、編集されていると判定された写真画像データは必ず抽出される。編集後の写真画像データは、顧客にとって好ましい写真画像データであると推定できるので、編集されている写真画像データを必ず抽出するといった簡単な処理により、好適に写真画像データを抽出することができる。
特に、本実施形態では、各写真画像データに対応付けられたExifデータに基づいて、写真画像データが編集されているか否かを容易に判定することができるので、より簡単な処理で好適に写真画像データを抽出することができる。
また、本実施形態では、所定時間内に撮影された複数の写真画像データからなるグループ(この例では、撮り直しグループ)の中から、各写真画像データに対応付けられた時間情報(撮影日時)に基づいて、一部の写真画像データのみを自動的に抽出することができる。このように、各写真画像データに対応付けられた時間情報に基づいて写真画像データを抽出することにより、各写真画像データに対して複雑な判定処理等を行うような構成と比較して、より簡単な処理で好適に写真画像データを抽出することができる。
特に、本実施形態では、撮り直しにより撮影された写真画像データからなる撮り直しグループに対して、対応付けられた時間情報が最も遅い写真画像データを抽出するという簡単な処理で、好適に写真画像データを抽出することができる。撮り直しを行った場合には、その撮り直しの時間内に撮影された複数の写真画像データのうち、最後に撮影された写真画像データが撮影者にとって最も好ましい写真画像データであると推定できる。このような場合には、最後に撮影された写真画像データ、すなわち対応付けられた時間情報が最も遅い写真画像データを抽出することによって、より簡単な処理で好適に写真画像データを抽出することができる。
ただし、本実施形態のように、撮り直しにより撮影された写真画像データからなる撮り直しグループに対してのみ、対応付けられた時間情報が最も遅い写真画像データを抽出するような構成に限らず、例えば連続写真により得られた写真画像データからなる連続写真グループに対して、同様に、対応付けられた時間情報が最も遅い写真画像データを抽出するような構成を採用してもよい。また、撮り直しにより撮影された写真画像データからなる撮り直しグループについて、ベストショット判定により最も好適と判定された写真画像データを抽出するような構成を採用してもよい。
なお、ベストショット判定を用いて写真画像データを抽出する際には、当該ベストショット判定により最も好適と判定された写真画像データのみが抽出されるような構成に限らず、例えば好適と判定された写真画像データの上位所定数が抽出されるような構成であってもよい。また、ベストショット判定に限らず、他の手法を用いて、各グループにおける時間情報が最も遅い写真画像データ以外の写真画像データを抽出するような構成であってもよい。また、画像データ抽出部14により写真画像データを抽出する際の態様としては、上記のような構成に限らず、例えば撮影された人物の顔の露出に関する要素に基づいて、その露出度が所定の閾値以下である写真画像データは抽出しないような構成であってもよい。
図5は、画像判定部17によりベストショット判定を行う際の処理の一例を示したフローチャートである。本実施形態におけるベストショット判定は、上述の通り、サムネイル画像データから抽出される要素に基づいて行われる。
より具体的には、サムネイル画像データから抽出される撮影された人物の数に関する要素に基づいて、撮影された人物が4人以上であるか否かが判定されるとともに(ステップS201)、サムネイル画像データから抽出される撮影された人物の顔の大きさに関する要素に基づいて、写真画像データ全体における撮影された人物の顔画像の割合が4割以上であるか否かが判定される(ステップS202)。画像データの中から人物の顔画像を検出するためのアルゴリズムは周知であるため、詳細な説明は省略することとする。
上記撮影された人物の数に関する要素に基づく判定は、例えば写真画像データに含まれる顔画像の数を計数することにより行われる。なお、顔画像の大きさが所定サイズ以下である場合には人数として計数しないような構成を採用してもよい。
上記撮影された人物の顔の大きさに関する要素に基づく判定は、例えば写真画像データ全体に対する顔画像が占める割合を数値化することにより行われる。写真画像データ中に複数の人物の顔画像が含まれている場合には、それらの顔画像のうち最も大きい顔画像に基づいて、写真画像データ全体に対する当該顔画像が占める割合を数値化することにより判定が行われるようになっていてもよい。
撮影された人物が4人以上である場合(ステップS201でYes)、又は、写真画像データ全体における撮影された人物の顔画像の割合が4割以上である場合には(ステップS202でYes)、その写真画像データが代表画像データとして選択され、代表画像データ記憶部24に記憶される。一方、撮影された人物が4人未満である場合(ステップS201でNo)、又は、写真画像データ全体における撮影された人物の顔画像の割合が4割未満である場合には(ステップS202でNo)、その写真画像データは代表画像データとして選択されない。
上記のような処理が、抽出画像データ記憶部23に記憶されている全ての写真画像データについてグループごとに行われることにより(ステップS204でYes)、各グループの代表画像データが選択される。このように、複数のグループから抽出された複数の写真画像データの中から、所定の写真画像データを選択することにより、バラエティに富んだアルバムやコラージュ写真などを作製することができる。特に、複数のグループから抽出された複数の写真画像データについてのみ判定を行うことにより、各グループの全ての写真画像データに対して判定を行う場合と比較して、処理速度を向上することができる。
本実施形態では、複数の写真画像データの中から所定の写真画像データを選択する際、各写真画像データから抽出される要素ではなく、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて、写真画像データが自動的に選択される。このように、写真画像データと比べて解像度が低いサムネイル画像データに基づいて上記所定の写真画像データを選択することにより、処理速度を向上することができる。
特に、本実施形態では、各写真画像データに対応付けられたサムネイル画像データから抽出される要素に基づいて判定(ベストショット判定)が行われ、その判定結果に基づいて上記所定の写真画像データが選択される。したがって、複雑な判定処理を行う場合であっても、解像度が比較的低いサムネイル画像データに基づいて判定を行うことにより、処理速度を効果的に向上することができる。
また、本実施形態では、サムネイル画像データに含まれる人物画像から抽出される要素に基づいて写真画像データを選択することにより、撮影された人物画像に着目して写真画像データを選択することができる。特に、撮影された人物の顔の大きさに関する要素、又は、撮影された人物の数に関する要素に基づいて写真画像データを選択することにより、撮影された人物画像に着目して好適に写真画像データを選択することができる。
コラージュ写真の場合には、1枚の用紙に多数の写真画像データがプリントされるため、数枚の見栄えする写真画像データ以外は細部まで重要視されないという傾向がある。したがって、サムネイル画像データから抽出される要素に基づいて写真画像データを選択することにより、写真画像データから抽出される要素に基づいて選択する場合よりも選択の精度が低くなったとしても、コラージュ写真の見栄えが悪くなるといった問題が生じにくい。また、サムネイル画像データから抽出される要素に基づいて写真画像データを選択することにより、写真画像データから抽出される要素に基づいて選択する場合よりも選択の精度が低くなったとしても、見栄えする写真画像データは確実に選択することができる。すなわち、本実施形態は、コラージュ写真に特に適した形態であるということができる。
図6は、画像データ数調整部19により選択される写真画像データの数を調整する際の処理の一例を示したフローチャートである。図5において説明したような態様でベストショット判定が行われることにより、所定の条件を満たす写真画像データが選択された後(ステップS301)、その選択された写真画像データの数が、最小画像数以上かつ最大画像数未満の範囲にあるか否かが判定される(ステップS302,S303)。
写真画像データの選択数が最大画像数よりも多い場合には(ステップS302でYes)、その選択数と最大画像数との差分に応じた数の写真画像データの選択を解除する処理が行われる(ステップS304)。一方、写真画像データの選択数が最小画像数未満である場合には(ステップS303でYes)、その選択数と最小画像数との差分に応じた数の写真画像データを追加選択する処理が行われる(ステップS305)。
写真画像データの選択を解除し、又は、追加選択することにより選択数を調整する際の処理については、上述した通り、各写真画像データに対応付けられている時間情報に基づいて行われる。しかし、上述の態様により写真画像データの選択数を調整した場合であっても、その調整後の写真画像データの選択数が規定数(最小画像数以上かつ最大画像数未満の範囲)にならない場合がある。この場合には(ステップS306でNo)、ステップS302〜S305の処理が再度実行され、写真画像データの選択数が規定数となった時点で処理が終了する(ステップS306でYes)。
本実施形態では、所定の条件を満たす写真画像データを選択したときに、その選択数が規定数でない場合であっても、各写真画像データに対応付けられている時間情報に基づいて、上記規定数の写真画像データが選択されるように調整することができる。このように、各写真画像データに対応付けられた時間情報に基づいて写真画像データの数を調整することにより、各写真画像データに対して複雑な判定処理等を行うような構成と比較して、より簡単な処理で規定数の写真画像データを選択することができる。
特に、本実施形態では、写真画像データの選択数が規定数よりも多い場合には、上記選択数と上記規定数との差分に応じた数の写真画像データの選択を解除し、写真画像データの選択数が規定数未満である場合には、上記選択数と上記規定数との差分に応じた数の写真画像データを追加選択するといった簡単な処理によって、上記規定数の写真画像データを選択するよう調整することができる。
また、本実施形態では、選択された各写真画像データの中から、時系列に従って、所定数ごとに写真画像データの選択を解除することにより、当該選択された写真画像データとして所定時間内に撮影された複数の写真画像データの中から、当該所定時間内においてより満遍なく選択を解除することができるので、より好適に規定数の写真画像データを選択することができる。一方、所定の条件を満たさない各写真画像データの中から、時系列に従って、所定数ごとに写真画像データを追加選択することにより、当該所定の条件を満たさない写真画像データとして所定時間内に撮影された複数の写真画像データの中から、当該所定時間内においてより満遍なく追加選択することができるので、より好適に規定数の写真画像データを選択することができる。
以上の実施形態では、画像処理装置1が画像形成装置3に備えられた構成について説明したが、このような構成に限らず、画像処理装置1が画像形成装置3とは別個に設けられたような構成であってもよい。