JP2007089063A - 画像選択方法、画像選択プログラム及び画像選択装置 - Google Patents

Abstract

【課題】画像の自動取捨選択技術を提供する。
【解決手段】ＣＰＵ１０は、読み出した画像の総容量が、不揮発性記憶媒体１５の制限容量を超えないか否かを判断する。制限容量を超えている場合はＳ４へ、制限容量を超えていない場合はＳ７に移行する。Ｓ４では、画像の特性に基づいて画像の優先順序を決定する。そして決定した優先順序に従い、制限容量に収まる画像群（選択画像群）を決定する（Ｓ５）。最終的な選択画像群が確定すると（Ｓ９）、その選択画像群を吸い出して可搬性記憶媒体４から不揮発性記憶媒体１６に移す。
【選択図】 図２

Description

本発明はプリント処理などの各種画像処理における自動画像選択に関する。

従来、容量制限のある記憶媒体に画像群を収めるための技術が様々開発されている。例えば特許文献１によると、読み取ったイメージサイズ（ｎ）と、蓄積メモリの空きサイズ（ｍ）を計算し、このｎとｍを比較する。その結果ｎとｍが同一かｎの方が小さい場合、蓄積メモリに読み取ったイメージを移動させ、読み取りメモリをクリアする。一方、ｎの方が大きい場合、蓄積メモリを占めるイメージ構成を算出する。そして、すべてのイメージサイズがｎを超えるか否かを判断し、超えていない場合、蓄積メモリがｎ分空くまで待つ。また、すべてのイメージサイズがｎを超えた場合、蓄積メモリを占めているイメージ構成を先に送出する。
特開２０００−２３２５６６号公報

このように、容量制限のある媒体内に画像群を収める必要がある場合は、画像サイズの縮小処理または画像の取捨選択を行う必要がある。ところが、アルバム作成の際には、紙への印刷を想定しているため、画像サイズを変更するのは問題があり、画像の取捨選択をせざるをえない。従来技術では、ユーザに画像を減らす必要があることを知らせ、ユーザ自身に画像の取捨選択をさせてきたが、全く選別されていない画像の中からユーザにいちいち選択を強いるため面倒である。本発明は、画像の自動取捨選択技術を提供することを目的とする。

上述の課題を解決するため、本発明は、所定の収納制限量に収まる画像を選択する画像選択方法を提供する。この画像選択方法は、各画像の特性に従って選択順序を決定するステップと、決定された選択順序に従い、収納制限量に達するまで画像を順に選択するステップと、を含む。

この発明によると、画像の特性に従って選択順序が決定され、決定された選択順序に従って画像が順に選択される。選択すべき画像の順序を特性に従って優劣をつけることができるため、真に必要な画像から優先的に選ぶことができる。

この画像選択方法は、選択順序に従って選択された画像の合計容量が収納制限量に達しない場合、収納制限量から合計容量を減じた量以下の容量の画像のうち最大の容量を有する未選択の画像を選択するステップをさらに含んでいてもよい。

選択順序は、プリント注文者の特性又はプリント注文店舗の特性に関連づけられた特性を有する画像から優先して決定されてもよい。

画像の特性は、顔の数、顔の面積、顔同士の距離、シャープネス、ＩＳＯ感度、撮影時の画質モード、撮影場所、同一の顔の登場回数を含む。ただし、これらはあくまで一例である。

選択順序は、撮影時間が所定の複数の分割期間のいずれかに収まる画像群の各々において撮影時間の最も早い画像から優先して決定されることが好ましい。

こうすると、近接した時間内に撮影された画像群の内、最も早い撮影時間の画像が画像群を代表して選択される。

画像群の内最小の画像数を有する画像群を選択順序から排除するステップをさらに含んでいてもよい。

こうすると、近接した時間内に撮影された数少ない画像を選択すべき画像から排除できる。

また、本発明は、所定の収納制限量に収まる画像を選択する画像選択プログラムを提供する。このプログラムは、各画像の特性に従って選択順序を決定するステップと、決定された選択順序に従い、収納制限量に達するまで画像を順に選択するステップと、を含む。

また、本発明は、所定の収納制限量に収まる画像を選択する画像選択装置を提供する。この画像選択装置は、各画像の特性に従って選択順序を決定する決定部と、決定された選択順序に従い、収納制限量に達するまで画像を順に選択する選択部と、を含む。

この発明によると、画像の特性に従って選択順序が決定され、決定された選択順序に従って画像が順に選択される。選択すべき画像の順序を特性に従って優劣をつけることができるため、真に必要な画像から優先的に選ぶことができる。

以下、添付した図面を参照し本発明の好ましい実施の形態を説明する。

図１は本発明の好ましい実施形態に係る画像処理装置１のブロック構成図である。画像処理装置１は、中央演算処理装置（ＣＰＵ）１０と、各種操作を受け付けるキーボードやマウスなどの操作部１２と、液晶ディスプレイなどの表示部１３と、画像データやＣＰＵ１０の実行するプログラムなどを一時的に記憶するＲＡＭなどのメモリ１４と、ハードディスクユニットやＲＯＭなどの不揮発性記憶媒体１５とを備えている。

また、画像処理装置１には、ＳＤカード、メモリスティック、ＣＤ−Ｒ、ＤＶＤなどの各種の可搬性記録媒体４のデータ読み取り及び記録を行うメディアリーダ／ライタ（ＲＷ）１６が接続されている。

メモリ１４や不揮発性記憶媒体１５に記憶される画像データは、図示しないデジタルカメラからＵＳＢポートなどを介して入力してもよい。あるいは、銀塩プリント写真やネガ・ポジフィルムをスキャナでスキャンして画像データへ変換し、メモリ１４にこの画像データを入力する態様も可能である。あるいは、ネットワーク５経由で画像データを受信し、これを記憶してもよい。

画像処理装置１は各ユーザが個人的に使用するデジタルカメラ、携帯電話、ＰＤＡ、パソコンや、不特定多数のユーザが使用する店頭プリント端末などの各種電子機器で構成可能である。無論、図１の構成はあくまで例示であり、電子機器の種類に応じて、その具体構成は様々変化しうるが、本発明は情報機器のハードウェア構成とは無関係である。

以下、図２のフローチャートに基づき、ＣＰＵ１０の実行する画像選択処理の流れを説明する。この処理は、記憶部１４に保存された画像の中から残しておくべき画像を選択させるアプリケーション（例えば、プリント注文ソフトや、携帯電話のアドレス帳登録機能）で実行される。

可搬性記憶媒体４がメディアリーダ／ライタ１６に挿入されると（Ｓ１）、ＣＰＵ１０は、メディアリーダ／ライタ１６に対し、可搬性記憶媒体４から画像データを読み出すよう指令する（Ｓ２）。また、画像に付帯情報が付与されていれば、これも合わせて読み出すよう指令する。

ＣＰＵ１０は、読み出した画像の総容量が、不揮発性記憶媒体１５の制限容量を超えないか否かを判断する。制限容量を超えている場合はＳ４へ、制限容量を超えていない場合はＳ７に移行する。

Ｓ４では、画像の特性に基づいて画像の優先順序を決定する。そして決定した優先順序に従い、制限容量に収まる画像群（選択画像群）を決定する（Ｓ５）。

最終的な選択画像群が確定すると（Ｓ９）、その選択画像群を吸い出して可搬性記憶媒体４から不揮発性記憶媒体１６に移す。

ここで、Ｓ４の優先順位の決定およびＳ５の画像群の決定は、具体的には図３のようなサブルーチン処理によって行うことができる。

まず、すべての画像から、顔を包含する領域（顔領域）の検出を行う。顔検出の方法は様々考えられるが、例えば、目、口、鼻などの顔の構成部分を含む顔色領域を包含する最小の矩形領域を顔領域として検出する（Ｓ２０１）。

次に、顔領域の面積が最も大きい容量の画像につき、順に１つだけ、選択画像群の合計容量に該画像の容量を加える（Ｓ２０２）。

そして、合計容量が制限容量を超えるか否かを判断し（Ｓ２０３）、超えていなければ、その画像を選択画像に加える（Ｓ２０４）。

こうすると、顔が大きく写っている画像データから優先的に、制限容量に達するまで、選択画像に加えることができる。

あるいは、図４に示すようなフローチャートに従って決定することができる。

まず、すべての画像から、顔領域の検出を行う（Ｓ３０１）。１つの画像から検出される顔領域は１つであるとは限らず、複数検出されることもある。次に、顔領域を検出した画像から、最も面積の大きい顔領域（最大顔領域）と２番目に面積の大きい顔領域（それ以外の顔画像でも可）の中心距離（単位はピクセルなど）Ｌを算出する（Ｓ３０２）。

次に、この距離Ｌの近かった画像から順に顔領域に順番を付与する。すなわち、画像Ｉｎの距離をＬｎとし（ｎ＝１，２．．）、Ｌ１＜Ｌ２＜Ｌ３．．．と仮定すると、Ｉ１には１番、Ｉ２には２番、Ｉ３には３番、のように順番を付与する（Ｓ３０３）。

次に、各画像に付与された順番に従った順に１つだけ、選択画像群の合計容量に該画像の容量を加える（Ｓ３０４）。

そして合計容量が制限容量を超えるか否かを判断し（Ｓ３０５）、超えていなければ、その画像を選択画像に加える（Ｓ３０６）。

こうすると、顔同士が近い、親密な関係の人物同士が写った画像から優先的に、制限容量に達するまで、選択画像群に加えることができる。

また、Ｓ５の選択画像群の決定は、図５に示すようなフローチャートに従って決定することができる。

まず、画像の撮影時間順に画像を並べ、隣接する画像同士の撮影時間間隔を算出する（Ｓ１０１）。次に、撮影時間間隔が所定の第１の閾値α（例えば３０分）よりも大きい画像（境界画像）を特定し（Ｓ１０２）、隣り合う２つの境界画像の撮影時間の間に撮影された画像をおなじ画像群に分離する（Ｓ１０３）。

図６は本ステップによって特定された境界画像Ｉ１〜Ｉ４、境界画像Ｉｎの撮影時間と境界画像Ｉｎ＋１の間の撮影時間ｔｎ（＞α）に撮影された画像群Ｊｎを概念的に示す。ただし、ｎ＝１，２．．であり、ここでは画像群Ｊ３は存在しない。

そして、確定した画像群のうち、一番撮影時間が最も早い画像を選択画像群に追加する（Ｓ１０４）。

こうすると、分離された各画像群を代表して、最も新しい画像を優先的に選択画像群に加えることができる。

また、図３または図４のフローのように、制限容量を考慮して選択画像群を決定した場合におけるＳ６の選択画像群の追加は、以下のようなサブルーチン処理によって行うことができる。

例えば、図７に示すようなフローチャートに従って決定することができる。

まず、制限容量から選択画像群の画像の総容量を減じた残容量Ａ（単位はＭＢなどのデータ容量だけでなく、画像枚数などデータ容量以外の概念も含む）を算出する（Ｓ１１）。

残容量Ａが算出されると、選択画像群に含める画像として、選択されていない画像の中に、残容量Ａ以下の容量の画像が存在するか否かを判断する（Ｓ１２）。残容量Ａ以下の容量の画像が存在すれば、その画像も選択画像群に加える（Ｓ１３）。

こうすると、空いた容量に収まる最大容量の画像を選択して選択画像に加えることができる。

さらに、図５のフローのように、制限容量を考慮せず選択画像群を決定した場合におけるＳ６の選択画像群の追加は、図８に示すようなフローチャートによって行うことができる。

すなわち、まず、選択画像の合計容量が制限容量を超えるか否かを判断し（Ｓ１０５）、制限容量を超える場合は、それぞれの画像群のうち、最も画像数が小さい画像群に属する選択画像を削除する（Ｓ１０６）。これは、画像の枚数が少ない画像群の画像は他の画像群に比べて重要度が低いと考えて削除し容量を確保するためである。

次に、制限容量下の空き容量に収まる画像があるか否かを判断し（Ｓ１０７）、収まる画像があれば、空き容量以下の容量であり、かつそれぞれの画像群のうち、最も画像数が大きい画像群に属する画像を選択する（Ｓ１０８）。これは、多数の画像を有する画像群の画像を優先して空き容量内に収めるためである。

Ｓ１０５の処理では、撮影時間の近接した画像が多数存在するほどその画像の重要度が高いと想定し、画像数の少ない画像群に属する画像を削除して容量を確保し、その代わり画像数の多い画像群の画像を追加している。ただし、連写のように不要な画像ほど撮影時間が近接している場合もありうるし、また、撮影時間の多様性を確保した方がユーザの便宜に資することも想定される。従って、一概に本処理が不要な画像を削除して必要な画像を追加するのに最適とは言えない。このため、基本的には、図３、図４、図７に示す処理により、制限容量内に収まる選択画像を加えることが望ましく、図８の処理はユーザが行うか行わないかを任意に選択できるようにした方が望ましい。

＜第２実施形態＞
上記Ｓ５の具体的処理は、次のように行ってもよい。すなわち、各画像の付帯情報から所定のパラメータ、具体的には、画像ファイルのヘッダ情報やExifタグ情報に含まれる、撮影時間、撮影場所の位置情報、画像データ量などを取得する。

そして、各画像の所定のパラメータを標本値とした平均値Fav、および標本の分散値Vを演算し、これに基づいて画像データの分布（ガウス分布、二項分布など標本に適合するものであれば何でも可）を決定する。分布が決定されたら、平均値からの所定の幅Ｘ（Ｘは例えば±５％、±１０％など。典型的なデータ量を含む幅とすることが好ましい）に属するパラメータを有する画像ファイルの画像データを、選択画像に決定する。

こうすると、例えば、所定のパラメータが撮影時間であれば、撮影時間の集中している画像だけを選択画像に加えることができる。あるいは、所定のパラメータが撮影場所であれば、集中した撮影場所の画像だけを選択画像に加えることができる。

また、上記Ｓ４では、パラメータの大小、高低順に画像の順位を決定してもよい。例えば、付帯情報に含まれるＩＳＯ感度の高いもの、画質モードの高いもの、シャープネスの大きいものから順序を決定し、制限容量に達するまで順に選択画像に加えていけばよい。こうすれば、高感度の画像、画質の高い画像、あるいはシャープネスの高いくっきりした画像から優先して選択画像に加えることができる。

所定のパラメータの取得先は付帯情報でなく画像データ自身のもつ特性であってもよい。例えば、周知の顔検出技術により計数された画像に写っている顔の数、同じ人物の登場回数を取得し、平均値近傍の所定幅内に集中するパラメータを有する画像データを選択画像に加えてもよい。こうすると、例えば、所定のパラメータが顔の数であれば、顔が平均的な数だけ写っている画像を集中的に選択画像に加えることができる。あるいは、所定のパラメータが同じ人物の登場回数であれば、各人物がほぼ同数ずつ写っている画像をまんべんなく選択画像に加えることができる。

また、この場合も、上記と同様、パラメータの大小、高低順に選択画像に加えていってもよい。例えば、顔の写っている数の多い画像、あるいは同じ人物が写っている回数が多い画像から順に、制限容量に達するまで選択画像に加えていってもよい。

さらに、Ｓ５においては、パラメータが満たすべき条件を設定しておき、条件に適合する画像から優先的に選択画像に加えてもよい。

例えば図９に示すように、画像と合成するテンプレートと、そのテンプレートの特性に適合するパラメータの満たすべき優先条件とを対応づけてメモリ１４などに記憶させておく。

そして、ユーザが操作部１２から任意に指定したテンプレートに付与されているテンプレートＩＤに対応する優先条件を抽出し、この優先条件に沿う画像から順に選択画像に加えていく。

優先条件に関連させる特性はテンプレートの特性に限らず何でもよい。例えば図１０に示すように、ユーザが操作部１２から指定する注文者の年齢、注文者の性別ごとに所定のパラメータが満たすべき優先条件を対応づけてメモリ１４などに記憶させておいてもよい。

あるいは図１１に示すように、画像のプリント注文をする店舗名と優先順位とを対応づけて記憶させておいてもよい。

こうすると、図１０の対応づけに従えば、プリントの注文者の年齢および注文者の性別ごとに、選択画像に加えたい画像の特性を変えることができる。たとえば、注文者が１０−２０代女性である場合、顔が大きく写っていて、かつ顔同士の距離が短い画像から優先的に選択画像に加えることができる。あるいは、注文者が６０代男性である場合、シャープネスが高い画像から優先的に選択画像に加えることができる。

あるいは、図１１の対応づけに従えば、例えば、店舗が渋谷の若者向けデパート内であれば、顔が大きく写っていて、かつ顔同士の距離が短い画像から選択画像に優先的に加えることができる。あるいは、店舗が巣鴨商店街内であれば、シャープネスが高い画像から優先的に選択画像に加えることができる。

本発明の好ましい実施形態に係る画像処理装置の概略構成図 第１実施形態に係る画像選択処理の流れを示すフローチャート 顔領域の大きさによる選択画像の決定サブルーチンの流れの一例を示すフローチャート 顔領域間の距離による選択画像の決定サブルーチンの流れの一例を示すフローチャート 撮影時間による選択画像の決定サブルーチンの流れの一例を示すフローチャート 画像群を概念的に示す図 選択画像群の追加サブルーチン処理の流れの一例を示すフローチャート 選択画像群の追加サブルーチン処理の流れの他の一例を示すフローチャート テンプレートの特性に適合するパラメータの満たすべき優先条件の対応づけの一例を示す図 注文者の特性に適合するパラメータの満たすべき優先条件の対応づけの一例を示す図 注文店舗の特性に適合するパラメータの満たすべき優先条件の対応づけの一例を示す図

符号の説明

４：可搬性記憶媒体、１０：ＣＰＵ、１２：操作部、１３：表示部、１４：メモリ、１５：不揮発性記憶媒体、１６：メディアリーダ

Claims (9)

1. 所定の収納制限量に収まる画像を選択する画像選択方法であって、
   各画像の特性に従って選択順序を決定するステップと、
   決定された選択順序に従い、前記収納制限量に達するまで画像を順に選択するステップと、
   を含む画像選択方法。
2. 前記選択順序に従って選択された画像の合計容量が前記収納制限量に達しない場合、前記収納制限量から前記合計容量を減じた量以下の容量の画像のうち最大の容量を有する未選択の画像を選択するステップをさらに含む請求項１に記載の画像選択方法。
3. 前記選択順序は、プリント注文者の特性又はプリント注文店舗の特性に関連づけられた特性を有する画像から優先して決定される請求項１又は２に記載の画像選択方法。
4. 前記画像の特性は、顔の数、顔の面積、顔同士の距離、シャープネス、ＩＳＯ感度、撮影時の画質モード、撮影場所、同一の顔の登場回数を含む請求項１〜３のいずれかに記載の画像選択方法。
5. 前記画像の特性は撮影時間を含む請求項１〜３のいずれかに記載の画像選択方法。
6. 前記選択順序は、前記撮影時間が所定の複数の分割期間のいずれかに収まる画像群の各々において前記撮影時間の最も早い画像から優先して決定される請求項５に記載の画像選択方法。
7. 前記画像群の内最小の画像数を有する画像群を前記選択順序から排除するステップをさらに含む請求項６に記載の画像選択方法。
8. 所定の収納制限量に収まる画像を選択する画像選択方法であって、
   各画像の特性に従って選択順序を決定するステップと、
   決定された選択順序に従い、前記収納制限量に達するまで画像を順に選択するステップと、
   を含む画像選択プログラム。
9. 所定の収納制限量に収まる画像を選択する画像選択装置であって、
   各画像の特性に従って選択順序を決定する決定部と、
   決定された選択順序に従い、前記収納制限量に達するまで画像を順に選択する選択部と、
   を含む画像選択装置。
   

Images