JP2009301325A - 候補画像表示方法および装置ならびにプログラム - Google Patents

Abstract

【課題】台紙に挿入されている画像と所望する他の画像を容易に入れ替えられるようにする。
【解決手段】複数の候補画像からなる候補画像群から１つ選択された選択候補画像が挿入された台紙を表示画面上に表示し、その表示画面上に、候補画像群中の選択候補画像以外の他の候補画像を、選択候補画像と入れ替え可能に表示する。
【選択図】図６

Description

本発明は、台紙に挿入されている画像と所望する他の画像を容易に入れ替えられる候補画像表示方法および装置ならびにプログラムに関するものである。

デジタルカメラやデジタルビデオ等の撮像デバイスにより得られた画像データや、写真フイルムに記録された画像をスキャナにより読取ることにより得られた画像データを、プリンタやモニタのような表示デバイスを用いて再生するシステムが知られている。また、画像データにより表される画像を所望とするレイアウトとなるように配列してアルバムを作成することが行われている。

特許文献１では、画像サーバ等に保管されている多数の画像データに対して、ユーザによる不要な画像の削除や必要な画像の抽出などの処理を容易にするため、互いに類似する複数の画像からなる類似画像群を、画像の好ましさを表した評価値の順に画像を並べて表示させる画像表示方法が提案されている。

また、特許文献２では、上記アルバムの作成時に、各挿入領域に挿入したい画像のユーザによる選択を容易にするため、各挿入領域に予め挿入すべき画像の条件を設定し、画像サーバに保管されている多数の画像の中から、その条件に適合する適合画像を選出し、選出された適合画像の一覧をユーザに提示する画像編集方法が提案されている。

しかしながら、この特許文献２において提案されている方法では、挿入領域毎に提示された適合画像の一覧から挿入したい画像を手動で選択する煩雑な操作が要求される。これに対して、候補画像毎にボケの度合いや赤目の有無などの評価尺度によってその画像の好ましさを表した評価値を取得し、取得した評価値に基づいて自動選択された候補画像を挿入領域に挿入することにより、アルバムの作成を自動化して、利便性を向上させることが考えられる。
特開２００７−９７０９０号公報 特開２００５−２１０６８９号公報

しかしながら、上記従来の自動アルバム作成方法では、候補画像を所定の評価尺度によって機械的に評価し、その評価の結果により画像挿入領域に挿入する画像を自動選択するようにしているので、画像挿入領域に挿入する画像の選択に、個人の意向を充分に反映できない場合が生じる。

例えば、上記従来の方法では、複数の候補画像のうち、画像の品質、被写体の状態などを定量的に評価した評価値が最も高いものが画像挿入領域に挿入する画像として自動選択されるが、アルバムを編集するユーザは、画像の品質などより、画像に撮影されている場面のその個人における面白さ、意味合いなどを重視して画像挿入領域に挿入する画像を選択したい場合がある。

本発明は、上記事情に鑑み、台紙に挿入されている画像と所望する他の画像を容易に入れ替えられる候補画像表示方法および装置ならびにプログラムを提供することを目的とするものである。

本発明の候補画像表示方法は、複数の候補画像からなる候補画像群から１つ選択された選択候補画像が挿入された台紙を表示画面上に表示し、その表示画面上に、候補画像群中の選択候補画像以外の他の候補画像を、選択候補画像と入れ替え可能に表示することを特徴とするものである。

上記方法においては、複数の入力画像を受け付け、受け付けた複数の入力画像から所定の基準に基づいて選択された複数の画像を候補画像群として決定するようにしてもよい。たとえば、複数の入力画像から選択された互いに類似する複数の画像を前記候補画像群として決定することができる。

また、上記方法においては、表示されている他の候補画像の中のいずれかの候補画像の指定を受け付けた場合、指定を受けた指定候補画像を選択候補画像に代えて画像挿入領域に挿入するようにしてもよい。

本発明の候補画像表示装置は、各種表示を行う表示手段と、複数の候補画像からなる候補画像群から１つ選択された選択候補画像が挿入された台紙を表示手段の表示画面に表示させるとともに、その表示画面上に、候補画像群中の選択候補画像以外の他の候補画像を、選択候補画像と入れ替え可能に表示する候補画像表示制御手段とを備えたことを特徴とするものである。

上記装置は、複数の入力画像を入力するための入力手段と、その入力手段により入力された複数の入力画像から所定の基準に基づいて選択された複数の画像を候補画像群として決定する候補画像決定手段を備えることができる。

その候補画像決定手段は、たとえば、複数の入力画像から選択された互いに類似する複数の画像を前記候補画像群として決定するものであってもよい。

また、上記装置は、表示されている他の候補画像の中のいずれかの候補画像の指定を受け付けた場合、指定を受けた指定候補画像を選択候補画像に代えて画像挿入領域に挿入する編集手段を備えることができる。

上記装置においては、他の候補画像の少なくとも１つが画像加工処理が施されたものであり、候補画像表示制御手段が、上記他の候補画像の表示態様を、所定の操作者により過去に採用された画像加工処理の履歴に基づいて決定するものであってもよい。

また、選択候補画像が、所定の選択基準により自動選択されたものであり、候補画像表示制御手段が、上記他の候補画像の中の少なくとも１つについて、その候補画像が選択候補画像として自動選択されなかった理由をその候補画像とともに表示手段に表示させる機能や、選択候補画像がその選択候補画像として選択された理由をその選択候補画像とともに表示手段に表示させる機能をさらに有するものであってもよい。

本発明の候補画像表示プログラムは、上記の方法をコンピュータに実行させるためのものである。

本発明の候補画像表示方法および装置ならびにプログラムによれば、複数の候補画像からなる候補画像群から１つ選択された選択候補画像が挿入された台紙を表示画面上に表示し、その表示画面上に、候補画像群中の選択候補画像以外の他の候補画像を、選択候補画像と入れ替え可能に表示することにより、画像挿入領域に挿入されている画像と所望する他の画像を容易に入れ替えられるようにすることができる。

以下、図面を参照して本発明の候補画像表示装置をアルバム編集装置に適用した実施の形態について説明する。なお、図１に示すアルバム編集装置１の構成は、補助記憶装置に読み込まれたアルバム編集プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。このとき、このアルバム編集プログラムは、CD-ROM等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

アルバム編集装置１は、複数の画像挿入領域を有するアルバムを編集するものであって、各画像挿入領域に写真画像が挿入されたアルバムを作成するアルバム作成部10と、表示部40の表示画面上に、アルバムの編集作業を行うための各種表示を行う表示制御部20と、ユーザによる各種指示に応じてアルバムを編集する編集部30などを備えている。

アルバム作成部10は、図２に示すように、候補画像群生成部11、画像選択部12と、画像挿入部13などを備える。

候補画像群生成部11は、アルバム編集装置１に設けられているハードディスクや、ネットワークで接続されたファイルサーバなどの記憶装置で、ユーザが所望するフォルダーに保存されている複数の写真画像Pm（m=１，２，…）を用いて、それぞれが複数の候補画像からなる画像挿入領域と同数の候補画像群を生成する。

具体的には、複数の写真画像Pmの各々について、たとえば、色相・彩度・明度のヒストグラムなどにより画像の色を解析したり、従来の顔検出手法によって顔を検出し、顔が撮影されている位置・大きさ・顔の向き・顔の数を解析したり、エッジ検出とハフ変換により線分情報を抽出して画像の広がり感・奥行き感・画面分割などの構図を解析したり、タグ情報に記述された撮影日時情報などの付帯情報を解析したりし、画像間でその解析の結果を表す出力値の差異が所定のしきい値を超えない、互いに類似する写真画像の集合が１つの候補画像群に属するようにして、候補画像群を生成する。

また、上記解析などにより１つの候補画像群に属する写真画像に、赤目補正、モノクロやセピアなどへの色変換、トリミング、フレーム付けなどの各種の画像加工処理を施すことにより生成した加工画像も、その写真画像と同じ候補画像群に属する候補画像とすることができる。

図３は、候補画像群生成部11により生成された候補領域群の一例を示す図である。図３に示す候補領域群14は、複数の写真画像Pmから、画像解析などにより互いに類似する画像として選ばれた写真画像P15、P16、P17を表す候補画像15a、16a、17aと、それらの写真画像P15、P16、P17に角丸トリミングが施されてなる候補画像15b、16b、17bと、丸トリミングおよびモノクロへの色変換が施されてなる候補画像15c、16c、17cとから構成される。なお、写真画像P15では赤目が検出されているため、候補画像15b、15cには赤目補正がさらに施されている。

なお、ここでは写真画像およびその写真画像に画像加工処理を施してなる加工画像を両方含む候補領域群を例示して説明したが、候補画像群は、写真画像および加工画像のいずれか一方または両方からなる、２以上の候補画像を含むものであればよい。

画像選択部12は、候補画像群生成部21において生成した候補画像群のそれぞれから候補画像を１つ自動選択するものである。たとえば、候補画像群毎に、その候補画像群を構成する候補画像の各々について、画像挿入領域に挿入する画像としての好ましさを、主要被写体の状態、画像の品質、ユーザの好みへの適合度などの評価尺度を用いて評価し、その評価値が最も高い候補画像を選択する。

具体的には、色再現性やホワイトバランス等の色の好ましさ、画像の明るさ、コントラスト、ピンボケ、手ぶれ、人物画像である場合には顔の大きさが適正であるかどうか、顔の向きが正面かどうか、笑顔などの特定の表情かどうか、目の開閉、赤目、景色画像である場合には水平線・地平線が画像の下段に平行であるかなどを評価尺度とし、これらについて、従来の画質評価の手法によって画質を表す出力値を取得したり、顔や目などのオブジェクト検出手法によって検出されたオブジェクトの状態を表す出力値を取得したりし、取得された出力値と、各々の評価尺度において好ましいとされる基準値との差が小さいほど評価値の値が大きくなるように定義する。

また、過去のアルバムの編集においてそのユーザ（所定の操作者）により画像領域に挿入する画像として選択された画像の傾向や、その画像に採用された画像加工処理の種類などを予め分析することにより、候補画像がユーザの好みに適合する度合いを算出するための指標を取得し、取得した指標に基づいて算出された適合の度合いが大きいほど評価値の値が大きくなるように定義する。

ここで、図４のフローチャートを参照し、ユーザの好みを表す情報を取得する処理の一例について説明する。

まず、編集済みのアルバムについて、印刷の指示（ネットワークを介してアルバムの印刷サービスを提供する業者に印刷を依頼することをも含む）がなされたか否かを監視する（ステップST41）。印刷の指示がなされた場合、その指示がなされたアルバムに用いられている画像処理、トリミング、フレーム付けなどの各画像加工処理の利用頻度を取得する（ステップST42）。ここで、元の写真画像をなんら付加的な処理を施すことなくアルバムに使用している場合には、「無処理」という一種の画像加工処理が用いられているものとしてカウントする。次に、取得した各画像加工処理の利用頻度を用いて、たとえば表１に示すような、ユーザによる画像加工処理の利用頻度のランキングを作成し、ユーザの好みを表す情報として図示していないデータベースに記録する（ステップST43）。

表１のユーザによる画像加工処理の利用頻度のランキングからは、画像処理が、処理なし、赤目補正、モノクロへの色変換、セピアへの色変換の順で、トリミングが、角丸トリミング、トリミングなし、丸トリミングの順で、フレーム付けが、フレームなし、フレームＢ，フレームＣの順でユーザに好んで利用されていることが分かる。

これにより、画像選択部12は、たとえば候補画像群14中の全候補画像15a~15c、16a~16c、17a~17cの中から、赤目やブレがなく、表１においてユーザによる利用頻度が最も高い画像加工処理が施された、つまり画像処理やフレーム付けについては無処理のまま角丸トリミングした候補画像16bを選択候補画像として自動選択する。

画像挿入部13は、画像選択部12において自動選択された各候補画像（選択候補画像）を、たとえば特開２００８-０５２３２６号公報に記載されているレイアウト手法を用いて各画像挿入領域に自動的に配置／挿入する。

表示制御部20は、表示部40の表示画面上に、アルバムの編集作業を行うための各種表示を行うものであって、以下にその詳細を説明する。

表示制御部20は、図５に例示するような、アルバムの編集画面21を表示させる機能を有する。編集画面21には、写真画像が格納されているフォルダーを表示するフォルダー表示領域22と、ユーザが所望するフォルダーに保存されている写真画像の一覧をサムネイル表示する一覧表示領域23と、編集中のアルバムページを表示するアルバムページ表示領域24とが含まれる。

図に示すように、一覧表示領域23には、ユーザが所望するフォルダー「お正月」に保存されている複数の写真画像Pmの一覧がサムネイル表示されており、アルバムページ表示領域24には、アルバム作成部10において候補画像群のそれぞれから選択された選択候補画像を各画像挿入領域R1、R2、R3に挿入して作成されたアルバム「お正月」のページT1、T2が表示されている。特に、画像挿入領域R3には、上述した候補画像群14から選択された選択候補画像16bが挿入されている。

また、表示制御部20は、表示画面上に、各画像挿入領域に対応させて、画像挿入領域に挿入されている選択候補画像が含まれている候補画像群中の選択候補画像以外の他の候補画像を、選択候補画像に代えて画像挿入領域に入れ替え可能に表示させる機能を有する。

たとえば図６に示すように、カーソルＭが挿入領域R3上に位置することに応じて、挿入領域R3に挿入されている選択候補画像16bが含まれている候補画像群14中の他の候補画像15a~15c、16a、16c、17a~17cを、画像挿入領域R3からのふきだし領域25A上に一覧表示させる。なお、選択候補画像16bも、他の候補画像と区別可能に破線で囲んでふきだし領域25A上に表示させ、選択候補画像と他の候補画像との比較を容易にすることができる。

なお、表示制御部20によるこの候補画像の表示は、上記ふきだし領域25Aによる一覧表示に限らず、選択候補画像に代えて画像挿入領域に挿入する他の候補画像の指定を容易にする種々の他の表示態様によるものであってもよい。以下に好ましい表示態様をいくつか例示して説明する。

たとえば図７に示すように、カーソルＭが挿入領域R3上に位置することに応じて、挿入領域R3から表示画面の水平方向（または垂直方向）に伸びた帯状の領域25B上に、候補画像15a~15c、16a、16c、17a~17cを並べて表示させる。なお、表示する候補画像を1画面に表示しきれない場合には、一部の候補画像を領域25B上に表示させ、ユーザによるマウス操作などで候補画像群を領域25B上でシフトさせることにより、表示されていない他の候補画像を表示させるようにしてもよい。

また、画面上に２以上の候補画像を同時に表示させる上述した表示態様に限らず、ユーザによるマウス操作などに応じて、挿入領域R3に候補画像15a~15c、16a、16c、17a~17cを1枚ずつ順次取り替えて表示させるようにしてもよい。この表示態様によれば、各他の候補画像が選択候補画像に代えて画像挿入領域R3に挿入された場合の、仕上がりに近いアルバムページを提供できる。なお、候補画像を順次取り替えて表示させるとき、選択候補画像を挿入領域R3の付近に別途表示させ、選択候補画像と他の候補画像との比較を容易にすることもできる。

なお、このような各態様による候補画像の表示の際には、過去のアルバムの編集においてユーザ（所定の操作者）により採用された画像加工処理の履歴に基づいてその表示を行うようにしてもよい。たとえば、表１のような、ユーザによる画像加工処理の利用頻度のランキングを予め取得し、画面上に２以上の候補画像を同時に表示させる際に、そのランキングにおいて上位の画像加工処理が施されている候補画像であるほど表示領域25A、25B上の左上側に表示されるようにするなど、各候補画像の表示位置を設定することができる。また、候補画像を1枚ずつ取り替えて表示させる際にも、そのランキングにおいて上位の画像加工処理が施されている候補画像であるほど先に表示されるようにするなど、各候補顔像の表示順を設定することができる。

また、表示制御部20は、上記表示の際に、他の候補画像の中の少なくとも１つについて、その候補画像が選択候補画像として選択されなかった理由をその候補画像とともに表示したり、選択候補画像がその選択候補画像として選択された理由をその選択候補画像とともに表示したりし、各候補画像の状態の情報を、画像挿入領域に挿入する画像の選択の際などに参照し得る判断材料として提供することができる。たとえば、図６、図７に示すように、赤目が検出された候補画像には赤目マーク71を、ブレが検出された候補画像にはブレマーク72を、その候補画像とともに表示させる。

また、表示制御部20は、候補画像15a~15c、16a、16c、17a~17cを直接表示画面上に表示させる前に、カーソルＭが挿入領域R3上に位置することに応じて、あるいは、カーソルＭの位置に関係なく、たとえば図８に示すように、選択候補画像16ｂに代えて画像挿入領域R3に挿入可能な他の候補画像が存在することを、その画像挿入領域R3に複数枚の画像が重なっているような装飾73を施すことにより表示させたり、他の候補画像の数を挿入領域R3の付近74に表示させたりし、ユーザに候補画像を表示させる操作を促すこともできる。なお、このような表示を行う機能を使用するか否かは、表示部40の表示画面上に、予めこのような表示を行う機能の使用の設定を可能とする設定画面を表示し、ユーザによる指示の入力に応じてその設定を行うことができる。

編集部30は、表示制御部20により表示画面上に表示されている他の候補画像の中のいずれかの候補画像の、ユーザによる指定を受け付けた場合、その指定を受けた指定候補画像を選択候補画像に代えて画像挿入領域に挿入する。この編集部30による編集に連動して、表示制御部20が、編集されたアルバムページを表示画面上に表示する。

以上、詳細に説明したように、アルバムを編集する際に、複数の候補画像からなる候補画像群から１つ選択された選択候補画像が挿入されたアルバムページを表示画面上に表示させ、表示画面上に、その候補画像群中の選択候補画像以外の他の候補画像を、選択候補画像と入れ替え可能に表示させることにより、画像挿入領域に挿入されている画像と所望する他の画像を容易に入れ替えられるようにすることができる。

なお、上記実施の形態では、挿入領域に挿入する選択候補画像の選択が自動で行なわれる場合について説明したが、手動で行われるようにしてもよい。

また、本発明の候補画像表示装置は、アルバム編集装置に限らず、たとえば、ポストカード、マグカップ、カレンダー、衣類等の対象物を表す画像を台紙とし、その台紙に任意の他の画像を挿入して商材のプレビューを作成する画像処理装置に適用することができる。具体的には、上述したアルバム編集装置の場合と同様に、複数の候補画像からなる候補画像群から１つ選択された選択候補画像が挿入されたプレビューを表示画面上に表示させ、表示画面上に、その候補画像群中の選択候補画像以外の他の候補画像を、選択候補画像と入れ替え可能に表示させる。また、アルバムを編集する場合における上述した種々の対応についても、商材のプレビューを作成する場合に適用することができる。

本発明の一実施の形態であるアルバム編集装置の構成を示すブロック図 図１のアルバム作成部の構成を示すブロック図 図１の候補画像群生成部により生成された候補領域群の一例を示す図 ユーザの好みを表す情報を取得する処理を示すフローチャート 図１の表示制御部により表示される編集画面の一例を示す図 図１の表示制御部による候補画像の表示処理を説明するための図 図１の表示制御部による候補画像の表示処理を説明するための図 図１の表示制御部による候補画像の表示処理を説明するための図

符号の説明

１ アルバム編集装置
１０ アルバム作成部
１１ 候補画像群生成部
１２ 画像選択部
１３ 画像挿入部
２０ 表示制御部
３０ 編集部
４０ 表示部

Claims (12)

1. 複数の候補画像からなる候補画像群から１つ選択された選択候補画像が挿入された台紙を表示画面上に表示し、
   該表示画面上に、前記候補画像群中の前記選択候補画像以外の他の候補画像を、前記選択候補画像と入れ替え可能に表示する候補画像表示方法。
2. 複数の入力画像を受け付け、
   該受け付けた複数の入力画像から所定の基準に基づいて選択された複数の画像を前記候補画像群として決定することを特徴とする請求項１記載の候補画像表示方法
3. 前記複数の入力画像から選択された互いに類似する複数の画像を前記候補画像群として決定することを特徴とする請求項２記載の候補画像表示方法。
4. 前記表示されている他の候補画像の中のいずれかの候補画像の指定を受け付けた場合、該指定を受けた指定候補画像を前記選択候補画像に代えて前記画像挿入領域に挿入することを特徴とする請求項１から３のいずれか１項記載の候補画像表示方法。
5. 各種表示を行う表示手段と、
   複数の候補画像からなる候補画像群から１つ選択された選択候補画像が挿入された台紙を前記表示手段の表示画面に表示させるとともに、該表示画面上に、前記候補画像群中の前記選択候補画像以外の他の候補画像を、前記選択候補画像と入れ替え可能に表示する候補画像表示制御手段と
   を備えたことを特徴とする候補画像表示装置。
6. 複数の入力画像を入力するための入力手段と、
   該入力手段により入力された複数の入力画像から所定の基準に基づいて選択された複数の画像を前記候補画像群として決定する候補画像決定手段と
   を備えたことを特徴とする請求項５記載の候補画像表示装置。
7. 前記候補画像決定手段が、前記複数の入力画像から選択された互いに類似する複数の画像を前記候補画像群として決定するものであることを特徴とする請求項６記載の候補画像表示装置。
8. 前記候補画像表示制御手段により表示されている他の候補画像の中のいずれかの候補画像の指定を受け付けた場合、該指定を受けた指定候補画像を前記選択候補画像に代えて前記画像挿入領域に挿入する編集手段を備えたことを特徴とする請求項５から７のいずれか１項記載の候補画像表示装置。
9. 前記他の候補画像の少なくとも１つが、画像加工処理が施されたものであり、
   前記候補画像表示制御手段が、前記他の候補画像の表示態様を、所定の操作者により過去に採用された画像加工処理の履歴に基づいて決定するものであることを特徴とする請求項５から８のいずれか１項記載の候補画像表示装置。
10. 前記選択候補画像が、所定の選択基準により自動選択されたものであり、
    前記候補画像表示制御手段が、前記他の候補画像の中の少なくとも１つについて、該候補画像が前記選択候補画像として自動選択されなかった理由を該候補画像とともに前記表示手段に表示させる機能をさらに有するものであることを特徴とする請求項５から９のいずれか１項記載の候補画像表示装置。
11. 前記候補画像表示制御手段が、前記選択候補画像が該選択候補画像として自動選択された理由を該選択候補画像とともに前記表示手段に表示させる機能をさらに有するものであることを特徴とする請求項１０記載の候補画像表示装置。
12. コンピュータに、
    複数の候補画像からなる候補画像群から１つ選択された選択候補画像が挿入された台紙を表示画面上に表示し、
    該表示画面上に、前記候補画像群中の前記選択候補画像以外の他の候補画像を、前記選択候補画像と入れ替え可能に表示することを実行させる候補画像表示プログラム。

Images