JP2010118943A - 画像処理装置、画像形成装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】全体構成としてバラエティに富んだプリントを作製することができる画像処理装置、画像形成装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】複数の画像データの中から所定の第１時間間隔内にある画像データを第１グループに分類し、それらの画像データの中から第１時間間隔よりも狭い第２時間間隔内にある画像データを第２グループに分類し、それらの画像データの中から互いに類似する画像データを第３グループに分類する。第３グループの画像データの中から第３グループ代表画像データを決定した後、第３グループに含まれる画像データの一部を排除した状態で第２グループ代表画像データを決定し、さらに第２グループに含まれる画像データの一部を排除した状態で第１グループ代表画像データを決定する。これにより、互いに類似しない画像データを満遍なく選択し、全体構成としてバラエティに富んだプリントを作製することができる。
【選択図】 図３

Description

本発明は、それぞれに時間情報が対応付けられた複数の画像データの中から、所定数の画像データを抽出するための処理を行う画像処理装置、画像形成装置、画像処理方法及び画像処理プログラムに関するものである。

近年、写真プリントに関するサービスの一例として、現像済み写真フィルムの各コマ画像から読み取った画像データや、デジタルカメラで撮影することにより得られた画像データに基づいて、複数枚の写真プリントを生成し、それらをファイリング又は製本することによりアルバムを作製するようなサービスが知られている（例えば、特許文献１参照）。

特開２００２−１７８５８８号公報

上記のようなアルバムの各ページに割り当てる画像データを、当該サービスの利用者である顧客が１つずつ選択する場合には、その選択に時間がかかり、作業が煩雑になるといった問題がある。例えば、写真店などの店舗に設置された注文者用受付端末において上記のような作業を行う場合には、注文者用受付端末の占有時間が長くなり、顧客の回転率が悪くなるといった問題がある。また、画像データを選択する作業の簡略化という課題は、上記のような注文者用受付端末を用いて注文する場合だけでなく、例えばインターネット回線などを介して、顧客が自宅に設置されたパーソナルコンピュータを用いて注文する場合などにも生じる課題である。

そこで、本願出願人は、先の出願（特願２００８−２３２３７８）において、複数の画像データにそれぞれ対応付けられた順位に基づいて、アルバムの各ページに割り当てる画像データを自動的に選択することができる技術を提案した。このような技術を採用する場合には、アルバムの全体構成を考えたときにバランスよく画像データが選択されるよう工夫することが好ましい。

しかしながら、連続写真などのように所定時間内に撮影された複数の画像データの中には、互いに類似する画像データが多数含まれている場合がある。このような場合には、互いに類似する複数の画像データにそれぞれ対応付けられる順位が近似し、それらの画像データの全てがアルバムの各ページに割り当てられてしまうおそれがある。このような場合には、類似する画像が多数登場することによりバラエティに乏しいアルバムとなり、様々な被写体を登場させるというアルバムの構成趣旨に適合しないという問題が生じる。

例えば、所定の第１時間間隔内に撮影された複数の画像データの中から、アルバムのページ数に応じた数の画像データを自動的に選択してアルバムを作製する場合には、それらの画像データのうち、上記第１時間間隔よりも狭い第２時間間隔内に撮影された画像データ同士を同一のグループとして、そのグループから所定数の画像データを選択するような構成が考えられる。この場合、比較的狭い時間間隔内に同じ場所で撮影された画像データなどを同一のグループに分類し、そのグループから所定数の画像データを選択することにより、各グループから満遍なく画像データを選択することができる。

しかし、このような構成であっても、上述の連続写真のような場合には、互いに類似する複数の画像データが同一のグループに分類され、それらの複数の画像データが、互いに類似しているにも関わらず、当該グループからそれぞれ選択されてアルバムの各ページに割り当てられてしまうおそれがある。このような場合には、折角、上記のように各グループから満遍なく画像データを選択しても、いずれかのグループから選択された複数の画像データが互いに類似しているため、結果的に、全体構成としてバラエティに富んだアルバムを作製することができない。

上記のような問題は、アルバムを作製する場合に限らず、アルバム以外のプリントを作製する場合にも生じる場合がある。例えば、コラージュ写真のように、複数の画像データを選択して１枚の用紙にプリントするような場合にも、類似する画像が複数選択されることにより、バラエティに富んだプリントを作製することができないという問題が生じる場合がある。

本発明は、上記実情に鑑みてなされたものであり、全体構成としてバラエティに富んだプリントを作製することができる画像処理装置、画像形成装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

第１の本発明に係る画像処理装置は、それぞれに時間情報が対応付けられた複数の画像データの中から、所定数の画像データを抽出するための処理を行う画像処理装置であって、上記複数の画像データの中から、対応付けられている時間情報が所定の第１時間間隔内にある画像データを抽出し、第１グループに分類する第１グループ分類手段と、上記第１グループに分類された画像データの中から、対応付けられている時間情報が上記第１時間間隔よりも狭い第２時間間隔内にある画像データを抽出し、第２グループに分類する第２グループ分類手段と、上記第２グループに分類された画像データの中から、互いに類似する２以上の画像データを抽出し、第３グループに分類する第３グループ分類手段と、上記第３グループに分類された上記２以上の画像データの中から、上記第３グループを代表する第３グループ代表画像データを決定する第３グループ代表画像データ決定手段と、上記第２グループに分類された画像データのうち上記第３グループに分類されなかった画像データ及び上記第３グループ代表画像データの中から、上記第２グループを代表する第２グループ代表画像データを決定する第２グループ代表画像データ決定手段と、上記第１グループに分類された画像データのうち上記第２グループに分類されなかった画像データ及び上記第２グループ代表画像データの中から、上記第１グループを代表する第１グループ代表画像データを決定する第１グループ代表画像データ決定手段とを備えたことを特徴とする。

このような構成によれば、第１時間間隔内かつ第２時間間隔内にある画像データから抽出された互いに類似する２以上の画像データの中から、当該２以上の画像データが分類される第３グループを代表する第３グループ代表画像データを決定することができる。そして、第２グループに分類された画像データのうち第３グループに分類されなかった画像データ及び第３グループ代表画像データの中から、第２グループを代表する第２グループ代表画像データを自動的に決定することができる。さらに、第１グループに分類された画像データのうち第２グループに分類されなかった画像データ及び第２グループ代表画像データの中から、第１グループを代表する第１グループ代表画像データを自動的に決定することができる。

すなわち、互いに類似する第３グループの画像データの中から第３グループ代表画像データを決定した後、第３グループに含まれる画像データの一部を排除した状態で第２グループ代表画像データを決定し、さらに第２グループに含まれる画像データの一部を排除した状態で第１グループ代表画像データを決定することができる。このようにして自動的に決定された画像データをプリントすることにより、互いに類似しない画像データを満遍なく選択してプリントすることができるので、全体構成としてバラエティに富んだプリントを作製することができる。

第２の本発明に係る画像処理装置は、上記第１グループ代表画像データ決定手段、上記第２グループ代表画像データ決定手段又は上記第３グループ代表画像データ決定手段が、撮影された人物の顔の大きさに関する要素、撮影された人物の数に関する要素、撮影された人物の笑顔度に関する要素、撮影された人物の年齢に関する要素、撮影された人物の目の開閉に関する要素、撮影された人物の顔の露出に関する要素、撮影された人物に対するピントに関する要素、及び、撮影された人物の画像データ上での構図に関する要素のうち少なくとも１つの要素に基づいて、代表する画像データを決定することを特徴とする。

このような構成によれば、各要素に基づいて代表する画像データを決定してプリントを作製することにより、撮影された人物画像に着目したプリントをより好適に作製することができる。

第３の本発明に係る画像処理装置は、上記第３グループ分類手段が、撮影された人物の顔の位置に関する要素、撮影された人物の顔の大きさに関する要素、撮影された人物の年代に関する要素、撮影された人物の性別に関する要素、及び、撮影された複数の人物間の距離に関する要素のうち少なくとも１つの要素に基づいて、類似度を判定する類似度判定手段を含むことを特徴とする。

このような構成によれば、各要素に基づいて類似度を判定してプリントを作製することにより、撮影された人物画像に着目したプリントをより好適に作製することができる。

第４の本発明に係る画像処理装置は、上記類似度判定手段が、各画像データに対応付けられた撮影時の倍率情報に基づいて、類似度を判定することを特徴とする。

このような構成によれば、撮影時の倍率情報が異なることにより撮影されている人物の顔の大きさなどが異なる画像データ同士であっても、互いに類似する画像データとして第３グループに分類することができる。

第５の本発明に係る画像処理装置は、上記第１時間間隔又は上記第２時間間隔を設定するための時間間隔設定手段を備えたことを特徴とする。

このような構成によれば、第１時間間隔又は第２時間間隔を設定することにより、選択される画像データの時間的範囲を変更することができるので、旅行記のようなダイジェスト版から、子供の成長日記のようなダイジェスト版まで、ユーザの好みに応じたプリントを容易に作製することができる。

第６の本発明に係る画像処理装置は、上記第１グループ代表画像データ、上記第２グループ代表画像データ又は上記第３グループ代表画像データとして決定される画像データの数を設定するための画像データ数設定手段を備えたことを特徴とする。

このような構成によれば、第１グループ代表画像データ、第２グループ代表画像データ又は第３グループ代表画像データとして決定される画像データの数を設定することにより、選択される画像データの数を変更することができる。例えばアルバムを作製する場合には、第１グループ代表画像データとして決定される画像データの数を設定することにより、アルバムのページ数を変更することができる。また、第２グループ代表画像データ又は第３グループ代表画像データとして決定される画像データの数を設定することにより、類似する画像データが選択される数を調整することができる。

第７の本発明に係る画像形成装置は、それぞれに時間情報が対応付けられた複数の画像データの中から、所定数の画像データを抽出して写真プリントを生成する画像形成装置であって、上記画像処理装置と、上記画像処理装置により決定された第１グループ代表画像データに基づいて写真プリントを生成する画像形成手段とを備えたことを特徴とする。

このような構成によれば、上記画像処理装置と同様の効果を奏する画像形成装置を提供することができる。

第８の本発明に係る画像処理方法は、それぞれに時間情報が対応付けられた複数の画像データの中から、所定数の画像データを抽出するための処理を行う画像処理方法であって、上記複数の画像データの中から、対応付けられている時間情報が所定の第１時間間隔内にある画像データを抽出し、第１グループに分類する第１グループ分類ステップと、上記第１グループに分類された画像データの中から、対応付けられている時間情報が上記第１時間間隔よりも狭い第２時間間隔内にある画像データを抽出し、第２グループに分類する第２グループ分類ステップと、上記第２グループに分類された画像データの中から、互いに類似する２以上の画像データを抽出し、第３グループに分類する第３グループ分類ステップと、上記第３グループに分類された上記２以上の画像データの中から、上記第３グループを代表する第３グループ代表画像データを決定する第３グループ代表画像データ決定ステップと、上記第２グループに分類された画像データのうち上記第３グループに分類されなかった画像データ及び上記第３グループ代表画像データの中から、上記第２グループを代表する第２グループ代表画像データを決定する第２グループ代表画像データ決定ステップと、上記第１グループに分類された画像データのうち上記第２グループに分類されなかった画像データ及び上記第２グループ代表画像データの中から、上記第１グループを代表する第１グループ代表画像データを決定する第１グループ代表画像データ決定ステップとを備えたことを特徴とする。

このような構成によれば、上記画像処理装置と同様の効果を奏する画像処理方法を提供することができる。

第９の本発明に係る画像処理プログラムは、それぞれに時間情報が対応付けられた複数の画像データの中から、所定数の画像データを抽出するための処理をコンピュータに行わせる画像処理プログラムであって、上記コンピュータを、上記複数の画像データの中から、対応付けられている時間情報が所定の第１時間間隔内にある画像データを抽出し、第１グループに分類する第１グループ分類手段と、上記第１グループに分類された画像データの中から、対応付けられている時間情報が上記第１時間間隔よりも狭い第２時間間隔内にある画像データを抽出し、第２グループに分類する第２グループ分類手段と、上記第２グループに分類された画像データの中から、互いに類似する２以上の画像データを抽出し、第３グループに分類する第３グループ分類手段と、上記第３グループに分類された上記２以上の画像データの中から、上記第３グループを代表する第３グループ代表画像データを決定する第３グループ代表画像データ決定手段と、上記第２グループに分類された画像データのうち上記第３グループに分類されなかった画像データ及び上記第３グループ代表画像データの中から、上記第２グループを代表する第２グループ代表画像データを決定する第２グループ代表画像データ決定手段と、上記第１グループに分類された画像データのうち上記第２グループに分類されなかった画像データ及び上記第２グループ代表画像データの中から、上記第１グループを代表する第１グループ代表画像データを決定する第１グループ代表画像データ決定手段として機能させることを特徴とする。

このような構成によれば、上記画像処理装置と同様の効果を奏する画像処理プログラムを提供することができる。

本発明によれば、互いに類似しない画像データを満遍なく選択してプリントすることができるので、全体構成としてバラエティに富んだプリントを作製することができる。

図１は、本発明の一実施形態に係る画像形成装置３の一構成例を示した概略断面図である。この画像形成装置３は、例えばインクジェットプリンタからなり、画像データに基づく画像を用紙Ｐの片面又は両面にプリントすることができる。なお、画像形成装置３は、インクジェットプリンタに限定されず、熱転写式プリンタ、レーザープリンタ、銀塩式プリンタでも構成できる。

当該画像形成装置３によるプリント処理は以下の流れである。用紙ストック部３０に枚葉の用紙Ｐ（インクジェット用紙）がストックされ、用紙送り機構によって用紙Ｐが１枚ずつ下流側に搬送される構成である。搬送された用紙Ｐは、画像形成部３７の吸引部３２によって吸引されて一次保持される。画像形成部３７は、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、Ｋ（ブラック）のそれぞれのプリントヘッド３１を備えている。間欠搬送される用紙Ｐに対し、プリントヘッド３１が主走査方向に一走査し、この走査時に、各色のインク吐出ノズルからインクが吐出し、用紙Ｐの表面に付着させる。この間欠搬送、主走査動作およびインク吐出動作を繰り返すことで、用紙Ｐのプリント領域に画像が形成される。

次いで、画像形成された用紙Ｐは、切断部３３に搬送される。片面プリントの場合に、切断部３３（例えば、回転刃）は、用紙幅方向に移動することで、用紙Ｐ中の不必要部分を切断する。なお、両面プリントの場合は、両面プリント終了後に切断処理を実行してもよい。次いで、片面プリントの場合、用紙Ｐの裏面に、裏印字手段（図示せず）によって識別番号、コマ番号、日付等の情報がプリントされる。なお、この裏印字処理は任意の処理である。次いで、搬送下流側の乾燥手段３４によって、用紙Ｐの画像形成面を乾燥させる。乾燥処理された用紙Ｐは、上側に搬送される過程で表裏反転され、排出部３６に排出される。両面プリントする場合には、用紙Ｐの後端がリバース機構３５で挟持され、当該リバース機構３５が用紙Ｐを後端から画像形成部３７の上流側に搬送するように変位する。画像形成部３７では裏面にプリント処理をした後、必要に応じて切断処理し、次いで乾燥処理し、排出部３６に両面プリントされた用紙Ｐ２が排出される。

このような画像形成装置３を用いて、複数ページに割り当てられた複数の画像データをページごとにプリントし、それらの複数枚の写真プリントをファイリング又は製本することにより、複数ページからなるアルバムを作製することができる。本実施形態では、用紙Ｐの両面にプリント可能であるため、両面に画像が形成された写真プリントを生成し、それらをファイリング又は製本すれば、見開き状態のページ（見開きページ）に画像が配置されたアルバムを作製することができる。このような見開きページに画像が配置されたアルバムでは、より多くの画像を同時に閲覧することができる。ただし、上記のような両面プリント可能な画像形成装置３に限らず、片面プリントのみ可能な画像形成装置にも本発明を適用することができる。

図２は、本発明の一実施形態に係る画像処理装置１の一構成例を示したブロック図である。この画像処理装置１は、上記画像形成装置３に備えられ、複数の画像データの中から上述のような複数ページからなるアルバムの各ページに割り当てられる画像データを抽出するための処理を行う。より具体的には、複数の画像データを複数のグループに分類し、各グループから抽出された画像データを各ページに割り当てることにより、ダイジェスト版のアルバムを作製することができるようになっている。

この画像処理装置１は、例えばＣＰＵ(Central Processing Unit)からなる制御部を備えており、当該制御部がコンピュータプログラムを実行することにより、各種機能ブロックとして機能するようになっている。具体的には、上記制御部が、第１グループ分類部１１、第２グループ分類部１２、第３グループ分類部１３、第１グループ代表画像データ決定部１４、第２グループ代表画像データ決定部１５及び第３グループ代表画像データ決定部１６などとして機能するようになっている。

また、画像処理装置１は、メモリを備えており、当該メモリの記憶領域に各種記憶部が割り当てられている。具体的には、上記メモリに、画像データ記憶部２１、第１グループデータ記憶部２２、第２グループデータ記憶部２３、第３グループデータ記憶部２４、第１グループ代表画像データ記憶部２５、第２グループ代表画像データ記憶部２６及び第３グループ代表画像データ記憶部２７などが割り当てられている。ただし、上記各記憶部は、別々のメモリにより構成されるものであってもよい。また、上記各記憶部は、画像処理装置１に内蔵されたような構成に限らず、外部メモリにより構成されていてもよい。

画像データ記憶部２１には、複数の画像データを記憶することができる。当該画像データ記憶部２１には、読取装置により記録媒体から読み取った画像データや、店舗などに設置された注文者用受付端末に入力された画像データや、ユーザ端末からインターネットを介してネット受付端末により受信した画像データなどを記憶することができる。この画像データ記憶部２１に記憶される画像データとしては、現像済み写真フィルムの各コマ画像から読み取った画像データや、デジタルカメラで撮影することにより得られた画像データなどが挙げられる。

各画像データには、撮影時の付加情報として、いわゆるＥｘｉｆ(Exchangeable Image File Format)情報が対応付けて記憶されている。上記Ｅｘｉｆ情報には、例えば撮影日時などの撮影時の時間情報や、撮影時の拡大又は縮小倍率（レンズ倍率）を表す倍率情報などが含まれている。上記時間情報は、時間を表す情報であれば、撮影時にカメラの機能によって自動的に付与されるものであってもよいし、ユーザの操作によって付与されるものであってもよい。

第１グループ分類部１１は、画像データ記憶部２１に記憶されている複数の画像データの中から、対応付けられている時間情報が所定の第１時間間隔内にある画像データを抽出し、第１グループに分類する第１グループ分類手段である。この分類は、例えば画像データ記憶部２１に記憶されている各画像データに対応付けられている時間情報を順次に基準とし、当該時間情報に対して上記第１時間間隔内ある時間情報が対応付けられた画像データを同一の第１グループに分類することにより行われる。

上記第１グループは、ダイジェスト版のアルバムを作製するにあたり、当該グループ内から少なくとも１つの画像データが抽出される最も大きいグループであり、上記第１時間間隔は、分単位、日単位、月単位又は年単位など任意の単位で設定することができる。この例では、上記第１時間間隔は「１分」に設定されている。第１グループに分類された画像データの情報は、同一の第１グループに分類された画像データごとに、第１グループデータとして第１グループデータ記憶部２２に記憶される。

第２グループ分類部１２は、第１グループに分類された画像データの中から、対応付けられている時間情報が所定の第２時間間隔内にある画像データを抽出し、第２グループに分類する第２グループ分類手段である。この分類は、例えば各第１グループについて、その第１グループに分類されている各画像データに対応付けられている時間情報を順次に基準とし、当該時間情報に対して上記第２時間間隔内ある時間情報が対応付けられた画像データを同一の第２グループに分類することにより行われる。

上記第２グループは、上記第１グループ内で分類される当該第１グループよりも小さいグループであり、上記第２時間間隔は、上記第１時間間隔よりも狭く設定されている。上記第２時間間隔は、例えば分単位又は秒単位など任意の単位で設定することができ、この例では、「２０秒」に設定されている。当該第２時間間隔は、例えばカメラの機能により短時間で連続して撮影を行う連続写真などのように、比較的短時間で連続して撮影された画像データが同一の第２グループに分類されるような値に設定されることが好ましい。そのような値に設定した場合には、同一の第２グループに分類された各画像データが互いに類似する画像データである可能性が高い。

第２グループに分類された画像データの情報は、同一の第２グループに分類された画像データごとに、第２グループデータとして第２グループデータ記憶部２３に記憶される。本実施形態では、第１グループに含まれる複数の画像データを複数の第２グループに分類する場合について説明するが、このような構成に限らず、第１グループの中から分類される第２グループが１つだけであってもよい。

上記第１時間間隔及び上記第２時間間隔は、操作部１０を操作することにより、任意の値に設定することができるようになっている。ただし、上記第１時間間隔及び上記第２時間間隔のいずれか一方のみが、任意の値に設定可能な構成であってもよい。すなわち、操作部１０は、上記第１時間間隔又は上記第２時間間隔を設定するための時間間隔設定手段を構成している。

第３グループ分類部１３は、第２グループに分類された画像データの中から、互いに類似する２以上の画像データを抽出し、第３グループに分類する第３グループ分類手段であり、類似度を判定する類似度判定部１３１を備えている。後述するが、上記類似度判定部１３１は、撮影された人物の顔の位置に関する要素、撮影された人物の顔の大きさに関する要素、撮影された人物の年代に関する要素、撮影された人物の性別に関する要素、及び、撮影された複数の人物間の距離に関する要素のうち少なくとも１つの要素に基づいて、類似度を判定する類似度判定手段である。また、当該類似度判定部１３１は、各画像データに対応付けられた撮影時の倍率情報に基づいて、類似度を判定するようになっている。

上記第３グループは、上記第２グループ内で分類される当該第２グループよりも小さいグループである。第３グループに分類された画像データの情報は、同一の第３グループに分類された画像データごとに、第３グループデータとして第３グループデータ記憶部２４に記憶される。本実施形態では、第２グループに含まれる複数の画像データを複数の第３グループに分類する場合について説明するが、このような構成に限らず、第２グループの中から分類される第３グループが１つだけであってもよい。また、第２グループから第３グループが抽出されない場合もあり得る。

第３グループ代表画像データ決定部１６は、第３グループに分類された互いに類似する複数の画像データの中から、当該第３グループを代表する第３グループ代表画像データを決定する第３グループ代表画像データ決定手段である。複数の第３グループが抽出された場合には、各第３グループを代表する画像データが第３グループ代表画像データとして決定される。決定された第３グループ代表画像データの情報は、第３グループ代表画像データ記憶部２７に記憶される。なお、各第３グループを代表する第３グループ代表画像データは、１つであってもよいし、複数であってもよい。

第３グループ代表画像データ決定部１６は、各第３グループの中からより好適な撮影状態の画像データを第３グループ代表画像データとして選出するものであり、例えば撮影された人物画像から抽出される要素に基づいて採点を行い、より得点の高い画像データを第３グループ代表画像データとして選出する。後述するが、第３グループ代表画像データ決定部１６は、撮影された人物の顔の大きさに関する要素、撮影された人物の数に関する要素、撮影された人物の笑顔度に関する要素、撮影された人物の年齢に関する要素、撮影された人物の目の開閉に関する要素、撮影された人物の顔の露出に関する要素、撮影された人物に対するピントに関する要素、及び、撮影された人物の画像データ上での構図に関する要素のうち少なくとも１つの要素に基づいて、第３グループ代表画像データを決定するようになっている。

ただし、第３グループ代表画像データ決定部１６は、撮影された人物画像から抽出される要素に基づいて第３グループ代表画像データを決定するような構成に限らず、例えば背景画像から抽出される要素など、他の各種要素に基づいて第３グループ代表画像データを決定することができる。また、第３グループ代表画像データ決定部１６は、採点を行うことにより第３グループ代表画像データを決定するような構成に限らず、例えば特定の条件を満たす画像データを第３グループ代表画像データとして決定するような構成などであってもよい。

第２グループ代表画像データ決定部１５は、第２グループに分類された画像データのうち第３グループに分類されなかった画像データ及び第３グループ代表画像データの中から、第２グループを代表する第２グループ代表画像データを決定する第２グループ代表画像データ決定手段である。上記第２グループに分類された画像データのうち第３グループに分類されなかった画像データは、第２グループデータ記憶部２３に記憶されている第２グループに分類された画像データの情報と、第３グループデータ記憶部２４に記憶されている当該第２グループから抽出されて第３グループに分類された画像データの情報とに基づいて特定することができる。そして、その特定された画像データと第３グループ代表画像データ記憶部２７に記憶されている第３グループ代表画像データの中から、１つ又は複数の画像データが第２グループ代表画像データとして決定される。

複数の第２グループが抽出された場合には、各第２グループを代表する画像データが第２グループ代表画像データとして決定される。決定された第２グループ代表画像データの情報は、第２グループ代表画像データ記憶部２６に記憶される。なお、第２グループ代表画像データを決定する際の態様としては、上述のような第３グループ代表画像データを決定する際と同様の態様を採用することもできるし、他の態様を採用することもできる。

第１グループ代表画像データ決定部１４は、第１グループに分類された画像データのうち第２グループに分類されなかった画像データ及び第２グループ代表画像データの中から、第１グループを代表する第１グループ代表画像データを決定する第１グループ代表画像データ決定手段である。上記第１グループに分類された画像データのうち第２グループに分類されなかった画像データは、第１グループデータ記憶部２２に記憶されている第１グループに分類された画像データの情報と、第２グループデータ記憶部２３に記憶されている当該第１グループから抽出されて第２グループに分類された画像データの情報とに基づいて特定することができる。そして、その特定された画像データと第２グループ代表画像データ記憶部２６に記憶されている第２グループ代表画像データの中から、１つ又は複数の画像データが第１グループ代表画像データとして決定される。

複数の第１グループについて上記のような処理が行われることにより、各第１グループを代表する画像データが第１グループ代表画像データとして決定される。決定された第１グループ代表画像データの情報は、第１グループ代表画像データ記憶部２５に記憶される。なお、第１グループ代表画像データを決定する際の態様としては、上述のような第３グループ代表画像データを決定する際と同様の態様を採用することもできるし、他の態様を採用することもできる。

第１グループ代表画像データ、２グループ代表画像データ及び第３グループ代表画像データとして決定される画像データの数は、操作部１０を操作することにより、任意の値に設定することができるようになっている。ただし、第１グループ代表画像データ、２グループ代表画像データ及び第３グループ代表画像データのうち少なくとも１つについて決定される画像データの数を設定可能な構成であればよい。すなわち、操作部１０は、第１グループ代表画像データ、第２グループ代表画像データ又は第３グループ代表画像データとして決定される画像データの数を設定するための画像データ数設定手段を構成している。

画像形成部３７は、第１グループ代表画像データ記憶部２５に記憶されている画像データに基づいて写真プリントを生成する画像形成手段である。すなわち、複数の第１グループ代表画像データをアルバムの各ページに割り当てて、複数枚の写真プリントを生成することにより、画像データ記憶部２１に記憶されている複数の画像データの中から所定の画像データのみを抽出したダイジェスト版のアルバムを作製することができる。

図３は、第１グループ分類部１１、第２グループ分類部１２及び第３グループ分類部１３により画像データを分類する際の処理の一例を示したフローチャートである。第１グループ分類部１１、第２グループ分類部１２及び第３グループ分類部１３により画像データを分類する際には、画像データ記憶部２１に記憶されている各画像データに対応付けられている時間情報を順次に読み出し、その時間情報を基準時間情報として以下に説明するような処理が行われる。

まず、上記基準時間情報と、当該基準時間情報に対応する画像データ以外の各画像データに対応付けられている時間情報とを比較し、上記基準時間情報に対して第１時間間隔内にある時間情報が対応付けられた画像データがあれば（ステップＳ１０１でＹｅｓ）、それらの画像データが同一の第１グループに分類される（ステップＳ１０２）。

同一の第１グループに分類された画像データがあれば、その第１グループに分類されている各画像データに対応付けられている時間情報を上記基準時間情報と比較する。そして、上記基準時間情報に対して第２時間間隔内にある時間情報が対応付けられた画像データが同一の第１グループ内にあれば（ステップＳ１０３でＹｅｓ）、それらの画像データが同一の第２グループに分類される（ステップＳ１０４）。

同一の第２グループに分類された画像データがあれば、その第２グループに分類されている各画像データの中に、上記基準時間情報に対応する画像データと類似する画像データがあるか否かを判定する。そして、互いに類似する画像データが同一の第２グループ内にあれば（ステップＳ１０５でＹｅｓ）、それらの画像データが同一の第３グループに分類される（ステップＳ１０６）。

上記のような処理が、画像データ記憶部２１に記憶されている全ての画像データについて行われることにより（ステップＳ１０７でＹｅｓ）、画像データ記憶部２１に記憶されている画像データを第１グループ、第２グループ又は第３グループに分類する処理が終了する。なお、第３グループに含まれる画像データは、対応する第２グループにも含まれ、第２グループに含まれる画像データは、対応する第１グループにも含まれる。

図４は、第３グループ分類部１３により画像データを分類する際に行われる類似度判定の態様の一例を示したフローチャートである。図３のステップＳ１０５において互いに類似する画像データを抽出する際には、以下のような類似度判定処理が行われる。

まず、比較対象となる各画像データから人物画像を検出する処理が行われる（ステップＳ２０１）。この処理は、例えば画像データに人物の顔画像が含まれているか否かを判定することにより行われる。このような処理を実行するためのアルゴリズムは周知であるため、詳細な説明は省略することとする。

画像データに人物画像が含まれている場合には（ステップＳ２０２でＹｅｓ）、その人物の数が判定される（ステップＳ２０３，Ｓ２１１）。この処理は、例えば画像データに含まれる顔画像の数を計数することにより行われる。

画像データに含まれる人物が１人である場合には（ステップＳ２０３でＹｅｓ）、その画像データに対応付けて画像データ記憶部２１に記憶されている倍率情報が読み出されるとともに（ステップＳ２０４）、顔の大きさ判定（ステップＳ２０５）、顔の位置判定（ステップＳ２０６）、年代判定（ステップＳ２０７）及び性別判定（ステップＳ２０８）が行われる。そして、これらの判定結果に基づき、類似度が所定の条件を満たす場合には（ステップＳ２０９でＹｅｓ）、互いに類似する画像データであると判定される（ステップＳ２１０）。

顔の大きさ判定（ステップＳ２０５）は、比較対象となる各画像データに含まれる人物の顔画像の大きさを比較することにより行われる。また、顔の位置判定（ステップＳ２０６）は、比較対象となる各画像データに含まれる人物の顔画像の画像データ上での位置を比較することにより行われる。これらの判定処理（ステップＳ２０５，Ｓ２０６）は、例えばステップＳ２０４で読み出された倍率情報を用いて行われる。すなわち、比較対象となる各画像データに対応付けられている倍率情報が異なる場合には、同じ倍率としたときの顔の大きさ又は顔の位置を仮定し、判定が行われるようになっている。

年代判定（ステップＳ２０７）は、比較対象となる各画像データに含まれる人物の年代を比較することにより行われる。また、性別判定（ステップＳ２０８）は、比較対象となる各画像データに含まれる人物の性別を比較することにより行われる。これらの判定処理（ステップＳ２０７，Ｓ２０８）は、比較対象となる各画像データに含まれる人物の顔画像を構成している各器官の情報を検出し、年代や性別を推定することにより行われる。これらの処理を実行するためのアルゴリズムは周知であるため、詳細な説明は省略することとする。

画像データに含まれる人物が２人である場合には（ステップＳ２０３でＮｏ、ステップＳ２１１でＹｅｓ）、その画像データに対応付けて画像データ記憶部２１に記憶されている倍率情報が読み出されるとともに（ステップＳ２１２）、比較対象となる各画像データに含まれる２人の人物間の距離を比較することにより距離判定が行われる（ステップＳ２１３）。この距離判定（ステップＳ２１３）は、例えばステップＳ２１２で読み出された倍率情報を用いて行われる。すなわち、比較対象となる各画像データに対応付けられている倍率情報が異なる場合には、同じ倍率としたときの人物間の距離を仮定し、判定が行われるようになっている。そして、この判定結果に基づき、類似度が所定の条件を満たす場合には（ステップＳ２０９でＹｅｓ）、互いに類似する画像データであると判定される（ステップＳ２１０）。

画像データに含まれる人物が３人以上である場合には（ステップＳ２１１でＮｏ）、比較対象となる各画像データに含まれる人物の数が比較され、人数が同じであれば（ステップＳ２１４でＹｅｓ）、互いに類似する画像データであると判定される（ステップＳ２１０）。

類似度判定処理の態様は、撮影された人物画像から抽出される上記のような各要素に基づいて行われるような構成に限らず、他の各種要素に基づいて行うことができる。ただし、本実施形態のように、類似度判定処理が撮影された人物の顔の位置に関する要素、撮影された人物の顔の大きさに関する要素、撮影された人物の年代に関する要素、撮影された人物の性別に関する要素、及び、撮影された複数の人物間の距離に関する要素のうち少なくとも１つの要素に基づいて行われるような構成であれば、各要素に基づいて類似度を判定してアルバムを作製することにより、撮影された人物画像に着目したアルバムをより好適に作製することができる。

また、本実施形態では、類似度判定処理が各画像データに対応付けられた撮影時の倍率情報に基づいて行われるため、撮影時の倍率情報が異なることにより撮影されている人物の顔の大きさなどが異なる画像データ同士であっても、互いに類似する画像データとして第３グループに分類することができる。

図５は、第１グループ代表画像データ決定部１４、第２グループ代表画像データ決定部１５及び第３グループ代表画像データ決定部１６により各グループを代表する画像データを決定する際の処理の一例を示したフローチャートである。本実施形態では、第１グループ代表画像データ決定部１４、第２グループ代表画像データ決定部１５及び第３グループ代表画像データ決定部１６が、以下に説明するような同様の処理を行う場合について説明するが、第１グループ代表画像データ決定部１４、第２グループ代表画像データ決定部１５及び第３グループ代表画像データ決定部１６の少なくとも１つが、下記の態様とは異なる態様で処理を行うような構成であってもよい。

各グループを代表する画像データを決定する際には、まず、各画像データに含まれる人物画像から顔画像を抽出することにより、当該顔画像を構成している各器官に基づいて各種情報を検出する処理が行われる（ステップＳ３０１）。具体的には、顔の向き、性別、年代、笑顔度及び視線などを推定したり、目や口などの各器官の開閉を検出したりする処理が行われる。これらの処理を実行するためのアルゴリズムは周知であるため、詳細な説明は省略することとする。

その後、必要に応じて顔器官検出（ステップＳ３０１）の結果を利用することにより、画像データから抽出される各要素について採点する処理が行われる（ステップＳ３０２〜Ｓ３０９）。このような処理が採点対象となる全ての画像データに対して行われた後（ステップＳ３１０でＹｅｓ）、得点の高い上位所定数（１つ又は複数）の画像データが代表画像データとして決定されるようになっている（ステップＳ３１１）。

顔の大きさ採点（ステップＳ３０２）は、撮影された人物の顔の大きさに関する要素について採点する処理であり、例えば画像データ全体に対する顔画像が占める割合を数値化することにより行われる。画像データ中に複数の人物の顔画像が含まれている場合には、それらの顔画像のうち最も大きい顔画像に基づいて、画像データ全体に対する当該顔画像が占める割合を数値化することにより採点が行われるようになっていてもよい。

人数採点（ステップＳ３０３）は、撮影された人物の数に関する要素について採点する処理であり、例えば画像データに含まれる顔画像の数を計数することにより行われる。なお、顔画像の大きさが所定サイズ以下である場合には人数として計数しないような構成や、顔画像の大きさに応じて加点又は減点するような構成を採用してもよい。

笑顔度採点（ステップＳ３０４）は、撮影された人物の笑顔度に関する要素について採点する処理であり、例えば口の開閉度などに基づいて測定される笑顔度に応じて加点又は減点する処理が行われる。なお、顔画像の大きさが所定サイズ以下である場合や、顔画像の角度が正面に対して所定角度以上傾いている場合などには、減点する又は採点しないような構成を採用してもよい。また、画像データに含まれる顔画像の数に応じて加点又は減点するような構成を採用することも可能である。

年代採点（ステップＳ３０５）は、撮影された人物の年齢に関する要素について採点する処理であり、例えば所定の年代の顔画像が検出された場合に加点又は減点する処理が行われる。なお、顔画像の大きさに応じて加点又は減点するような構成や、顔画像の角度が正面に対して所定角度以上傾いている場合には減点する又は採点しないような構成を採用してもよい。

目開閉採点（ステップＳ３０６）は、撮影された人物の目の開閉に関する要素について採点する処理であり、例えば画像データに含まれる顔画像における目の開閉度に応じて加点又は減点する処理が行われる。なお、顔画像の大きさが所定サイズ以下である場合や、顔画像の角度が正面に対して所定角度以上傾いている場合などには、減点する又は採点しないような構成を採用してもよい。また、画像データ中に複数の人物の顔画像が含まれている場合には、それらの顔画像における目の開閉度を平均化して採点するようになっていてもよい。

顔露出採点（ステップＳ３０７）は、撮影された人物の顔の露出に関する要素について採点する処理であり、例えば画像データに含まれる顔画像における顔全体に対する露出部分（撮影されている部分）の度合に応じて加点又は減点する処理が行われる。画像データ中に複数の人物の顔画像が含まれている場合には、それらの顔画像の露出度を平均化して採点するようになっていてもよい。

ピント採点（ステップＳ３０８）は、撮影された人物に対するピントに関する要素について採点する処理であり、例えば画像データに含まれる顔画像に対するピントの合致度に応じて加点又は減点する処理が行われる。ただし、画像データにおける顔画像に対するピントに限らず、人物画像における顔以外の部分に対するピントや、背景画像などの人物画像以外の部分に対するピントの合致度に応じて加点又は減点する処理を行うような構成であってもよい。

構図採点（ステップＳ３０９）は、撮影された人物の画像データ上での構図に関する要素について採点する処理であり、例えば画像データに含まれる人物画像の当該画像データにおける位置に応じて加点又は減点する処理が行われる。例えば、画像データに含まれる人物画像が当該画像データにおける中心に近いほど配点が高くなるような構成であってもよい。なお、画像データに含まれる人物画像が１つであるか複数であるかによって、異なる態様で採点を行うような構成を採用することも可能である。

第１グループ代表画像データ、第２グループ代表画像データ又は第３グループ代表画像データを決定する際の処理の態様は、撮影された人物画像から抽出される上記のような各要素に基づいて行われるような構成に限らず、他の各種要素に基づいて行うことができる。ただし、本実施形態のように、撮影された人物の顔の大きさに関する要素、撮影された人物の数に関する要素、撮影された人物の笑顔度に関する要素、撮影された人物の年齢に関する要素、撮影された人物の目の開閉に関する要素、撮影された人物の顔の露出に関する要素、撮影された人物に対するピントに関する要素、及び、撮影された人物の画像データ上での構図に関する要素のうち少なくとも１つの要素に基づいて、代表する画像データを決定するような構成であれば、各要素に基づいて代表する画像データを決定してアルバムを作製することにより、撮影された人物画像に着目したアルバムをより好適に作製することができる。

なお、本実施形態では、ファミリー向けやカップル向けなどの各種テーマを選択してアルバムを作製することができるようになっており、この場合、選択されたテーマに応じていずれかの上記要素について特別加点が行われるような構成であることが好ましい。これにより、ユーザの要求に応じて、よりテーマに沿ったアルバムを作製することができる。

本実施形態では、第１時間間隔内かつ第２時間間隔内にある画像データから抽出された互いに類似する２以上の画像データの中から、当該２以上の画像データが分類される第３グループを代表する第３グループ代表画像データを決定することができる。そして、第２グループに分類された画像データのうち第３グループに分類されなかった画像データ及び第３グループ代表画像データの中から、第２グループを代表する第２グループ代表画像データを自動的に決定することができる。さらに、第１グループに分類された画像データのうち第２グループに分類されなかった画像データ及び第２グループ代表画像データの中から、第１グループを代表する第１グループ代表画像データを自動的に決定することができる。

すなわち、互いに類似する第３グループの画像データの中から第３グループ代表画像データを決定した後、第３グループに含まれる画像データの一部を排除した状態で第２グループ代表画像データを決定し、さらに第２グループに含まれる画像データの一部を排除した状態で第１グループ代表画像データを決定することができる。このようにして自動的に決定された画像データをプリントすることにより、互いに類似しない画像データを満遍なく選択してプリントすることができるので、全体構成としてバラエティに富んだプリントを作製することができる。

また、本実施形態では、操作部１０を操作して第１時間間隔又は第２時間間隔を設定することにより、選択される画像データの時間的範囲を変更することができるので、旅行記のようなダイジェスト版から、子供の成長日記のようなダイジェスト版まで、ユーザの好みに応じたプリントを容易に作製することができる。

また、本実施形態では、操作部１０を操作して第１グループ代表画像データ、第２グループ代表画像データ又は第３グループ代表画像データとして決定される画像データの数を設定することにより、選択される画像データの数を変更することができる。アルバムを作製する場合には、第１グループ代表画像データとして決定される画像データの数を設定することにより、アルバムのページ数を変更することができる。また、第２グループ代表画像データ又は第３グループ代表画像データとして決定される画像データの数を設定することにより、類似する画像データが選択される数を調整することができる。

以上の実施形態では、画像処理装置１が画像形成装置３に備えられた構成について説明したが、このような構成に限らず、画像処理装置１が画像形成装置３とは別個に設けられたような構成であってもよい。

また、以上の実施形態では、アルバムを作製する場合について説明したが、本発明は、アルバム以外のプリントを作製する場合にも適用することができる。例えば、コラージュ写真のように、複数の画像データを選択して１枚の用紙にプリントするような場合にも、本発明を適用することにより、全体構成としてバラエティに富んだプリントを作製することができる。

本発明の一実施形態に係る画像形成装置の一構成例を示した概略断面図である。 本発明の一実施形態に係る画像処理装置の一構成例を示したブロック図である。 第１グループ分類部、第２グループ分類部及び第３グループ分類部により画像データを分類する際の処理の一例を示したフローチャートである。 第３グループ分類部により画像データを分類する際に行われる類似度判定の態様の一例を示したフローチャートである。 第１グループ代表画像データ決定部、第２グループ代表画像データ決定部及び第３グループ代表画像データ決定部により各グループを代表する画像データを決定する際の処理の一例を示したフローチャートである。

符号の説明

１ 画像処理装置
３ 画像形成装置
１０ 操作部
１１ 第１グループ分類部
１２ 第２グループ分類部
１３ 第３グループ分類部
１４ 第１グループ代表画像データ決定部
１５ 第２グループ代表画像データ決定部
１６ 第３グループ代表画像データ決定部
２１ 画像データ記憶部
２２ 第１グループデータ記憶部
２３ 第２グループデータ記憶部
２４ 第３グループデータ記憶部
２５ 第１グループ代表画像データ記憶部
２６ 第２グループ代表画像データ記憶部
２７ 第３グループ代表画像データ記憶部
３７ 画像形成部
１３１ 類似度判定部

Claims (9)

1. それぞれに時間情報が対応付けられた複数の画像データの中から、所定数の画像データを抽出するための処理を行う画像処理装置であって、
   上記複数の画像データの中から、対応付けられている時間情報が所定の第１時間間隔内にある画像データを抽出し、第１グループに分類する第１グループ分類手段と、
   上記第１グループに分類された画像データの中から、対応付けられている時間情報が上記第１時間間隔よりも狭い第２時間間隔内にある画像データを抽出し、第２グループに分類する第２グループ分類手段と、
   上記第２グループに分類された画像データの中から、互いに類似する２以上の画像データを抽出し、第３グループに分類する第３グループ分類手段と、
   上記第３グループに分類された上記２以上の画像データの中から、上記第３グループを代表する第３グループ代表画像データを決定する第３グループ代表画像データ決定手段と、
   上記第２グループに分類された画像データのうち上記第３グループに分類されなかった画像データ及び上記第３グループ代表画像データの中から、上記第２グループを代表する第２グループ代表画像データを決定する第２グループ代表画像データ決定手段と、
   上記第１グループに分類された画像データのうち上記第２グループに分類されなかった画像データ及び上記第２グループ代表画像データの中から、上記第１グループを代表する第１グループ代表画像データを決定する第１グループ代表画像データ決定手段とを備えたことを特徴とする画像処理装置。
2. 上記第１グループ代表画像データ決定手段、上記第２グループ代表画像データ決定手段又は上記第３グループ代表画像データ決定手段が、撮影された人物の顔の大きさに関する要素、撮影された人物の数に関する要素、撮影された人物の笑顔度に関する要素、撮影された人物の年齢に関する要素、撮影された人物の目の開閉に関する要素、撮影された人物の顔の露出に関する要素、撮影された人物に対するピントに関する要素、及び、撮影された人物の画像データ上での構図に関する要素のうち少なくとも１つの要素に基づいて、代表する画像データを決定することを特徴とする請求項１に記載の画像処理装置。
3. 上記第３グループ分類手段が、撮影された人物の顔の位置に関する要素、撮影された人物の顔の大きさに関する要素、撮影された人物の年代に関する要素、撮影された人物の性別に関する要素、及び、撮影された複数の人物間の距離に関する要素のうち少なくとも１つの要素に基づいて、類似度を判定する類似度判定手段を含むことを特徴とする請求項１又は２に記載の画像処理装置。
4. 上記類似度判定手段が、各画像データに対応付けられた撮影時の倍率情報に基づいて、類似度を判定することを特徴とする請求項３に記載の画像処理装置。
5. 上記第１時間間隔又は上記第２時間間隔を設定するための時間間隔設定手段を備えたことを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
6. 上記第１グループ代表画像データ、上記第２グループ代表画像データ又は上記第３グループ代表画像データとして決定される画像データの数を設定するための画像データ数設定手段を備えたことを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
7. それぞれに時間情報が対応付けられた複数の画像データの中から、所定数の画像データを抽出して写真プリントを生成する画像形成装置であって、
   請求項１〜６のいずれかに記載の画像処理装置と、
   上記画像処理装置により決定された第１グループ代表画像データに基づいて写真プリントを生成する画像形成手段とを備えたことを特徴とする画像形成装置。
8. それぞれに時間情報が対応付けられた複数の画像データの中から、所定数の画像データを抽出するための処理を行う画像処理方法であって、
   上記複数の画像データの中から、対応付けられている時間情報が所定の第１時間間隔内にある画像データを抽出し、第１グループに分類する第１グループ分類ステップと、
   上記第１グループに分類された画像データの中から、対応付けられている時間情報が上記第１時間間隔よりも狭い第２時間間隔内にある画像データを抽出し、第２グループに分類する第２グループ分類ステップと、
   上記第２グループに分類された画像データの中から、互いに類似する２以上の画像データを抽出し、第３グループに分類する第３グループ分類ステップと、
   上記第３グループに分類された上記２以上の画像データの中から、上記第３グループを代表する第３グループ代表画像データを決定する第３グループ代表画像データ決定ステップと、
   上記第２グループに分類された画像データのうち上記第３グループに分類されなかった画像データ及び上記第３グループ代表画像データの中から、上記第２グループを代表する第２グループ代表画像データを決定する第２グループ代表画像データ決定ステップと、
   上記第１グループに分類された画像データのうち上記第２グループに分類されなかった画像データ及び上記第２グループ代表画像データの中から、上記第１グループを代表する第１グループ代表画像データを決定する第１グループ代表画像データ決定ステップとを備えたことを特徴とする画像処理方法。
9. それぞれに時間情報が対応付けられた複数の画像データの中から、所定数の画像データを抽出するための処理をコンピュータに行わせる画像処理プログラムであって、
   上記コンピュータを、
   上記複数の画像データの中から、対応付けられている時間情報が所定の第１時間間隔内にある画像データを抽出し、第１グループに分類する第１グループ分類手段と、
   上記第１グループに分類された画像データの中から、対応付けられている時間情報が上記第１時間間隔よりも狭い第２時間間隔内にある画像データを抽出し、第２グループに分類する第２グループ分類手段と、
   上記第２グループに分類された画像データの中から、互いに類似する２以上の画像データを抽出し、第３グループに分類する第３グループ分類手段と、
   上記第３グループに分類された上記２以上の画像データの中から、上記第３グループを代表する第３グループ代表画像データを決定する第３グループ代表画像データ決定手段と、
   上記第２グループに分類された画像データのうち上記第３グループに分類されなかった画像データ及び上記第３グループ代表画像データの中から、上記第２グループを代表する第２グループ代表画像データを決定する第２グループ代表画像データ決定手段と、
   上記第１グループに分類された画像データのうち上記第２グループに分類されなかった画像データ及び上記第２グループ代表画像データの中から、上記第１グループを代表する第１グループ代表画像データを決定する第１グループ代表画像データ決定手段として機能させることを特徴とする画像処理プログラム。

Images