JP2017037417A - 画像処理装置および方法およびプログラム - Google Patents

Abstract

【課題】従来のアルバム自動作成では、重要でないと決定された人物の写った写真はアルバムに採用されないことがある。
【解決手段】アルバムの対象となる画像群から人物の顔を検出し、検出した顔の人物を識別する。画像群を複数のシーンに分割し、識別した人物が、いくつのシーンに登場したかをカウントする（Step12-03）。各人物の登場シーンの数を用いて重要人物を判定し、その判定結果を用いて画像を選択してアルバムを作成する。
【選択図】図１２

Description

本発明は画像処理装置および方法およびプログラムに関し、より具体的にはアルバム作成アプリケーション（アプリ）における自動レイアウト生成に関する。

デジタルカメラやスマートフォンによる写真撮影が一般的となり、ユーザーが撮り溜めている画像枚数は膨大である。この膨大な枚数の画像の中から画像を選択してアルバムを作成することはユーザーにとって困難な作業となっている。そこで、近年、画像群の中から自動で重要な画像を提案する方法が提案されている。特許文献１では、画像群中に写る人物の登場回数をカウントして、登場回数の多さで人物の重要度を決定し、決定した人物の重要度に基づいて、重要な画像を提案する。また、近年、入力した画像群の画像を使って自動でアルバムを作成するアルバム作成アプリケーションが開発されている。

特許第５３３０５３０号明細書

ところで、例えば１年間の家族のアルバムを作成する場合、アルバムには子供、母親、父親、祖母、祖父が写る写真を採用したいと考える人がいる。カメラを操作して撮影する主な人が父親だと、画像群の中に父親が登場する回数は少ない。また、祖母と祖父が、子供と母親と父親とは離れて生活している場合も、画像群の中に登場する回数は少ない。

しかしながら、特許文献１の方法では、画像群中の登場回数が少ない父親、祖母、祖父の何れかは、重要でないと決定され、重要でないと決定された人物は重要な画像として提案されない。したがって、特許文献１に記載の画像管理方法をアルバム作成の際に用いた場合、アルバムに父親、祖母、祖父の何れかが写る画像が採用されなくなってしまう。

本発明は上記従来例に鑑みて成されたもので、画像群中の登場回数が少ない人物であっても重要度に応じてアルバムに採用される率を高くすることを目的とする。

上記課題を解決する為に、本発明は以下の構成を有する。

複数の画像データを取得する取得手段と、
前記取得手段により取得された複数の画像データに基づく複数の画像の各画像の人物を識別する識別手段と、
前記複数の画像を、少なくとも１つ以上の画像を含む複数のシーンに分割する分割手段と、
前記識別手段により識別した人物ごとに、該人物が登場するシーンの数をカウントする第１のカウント手段と、
前記第１のカウント手段によりカウントしたシーンの数に応じて人物の重要度を評価する評価手段と、
前記評価手段により評価した人物の重要度を用いて前記複数の画像から画像を選択し、前記シーンごとに選択した画像をレイアウトするレイアウト手段と、を有する。

本発明によれば、画像群の中に各人物が登場するシーンの回数を使ってアルバムに採用する画像を決定することで、画像群中の登場回数が少ない人物であってもアルバムに採用される率を高くすることができる。

本発明に係るアプリケーションを実行可能なハードウェアブロック図 本発明に係るアプリケーションのソフトウェアブロック図 本発明に係るアプリケーションのUI（ユーザーインターフェイス）構成図 本発明に係る自動レイアウトの処理フロー図 本発明に係る画像解析情報を説明する図 本発明に係る画像群分割を説明する図 本発明に係るシーン分類を説明する図 本発明に係る画像得点を説明する図 本発明に係る画像選択を説明する図 本発明に係る画像レイアウトを説明する図 、 、 本発明に係る主人公設定を説明する図 本発明に係る画像得点化を説明する図

［第1実施形態］
本実施形態では、画像処理装置上で、アルバム作成アプリケーション（アプリ）を動作させ、自動レイアウトを生成するまでの手順について説明する。

＜ハードウェア構成＞
図１は、本発明に係る画像処理装置のハードウェアの構成を説明するブロック図である。なお、画像処理装置としては、情報処理装置、例えば、ＰＣ、スマートフォン等が挙げられ、本実施形態ではＰＣとする。
図１において、CPU（中央演算装置／プロセッサー）１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する処理部である。図中のCPUは１つであるが、複数ある場合も本実施形態では該CPUの一部として表す。 ＲＯＭ１０２は、CPU１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、CPU１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。ＨＤＤ（ハードディスク）１０４は、画像ファイルや画像解析などの処理結果を保持するデータベースなどを記憶するための記憶媒体である。ＲＯＭ１０２、ＲＡＭ１０３、ハードディスク１０４が記憶部を構成する。ディスプレイ１０５は、本実施形態のUI（ユーザーインターフェイス）や画像のレイアウト結果をユーザーに提示する装置であり、表示部を構成する。ディスプレイ１０５はタッチセンサー機能を備えても良い。キーボード１０６は、ディスプレイ１０５に表示されたUI上に例えば作成したいアルバムの見開き数を入力するためにユーザーが利用する。マウス１０７は座標指示デバイスであり、ディスプレイ１０５に表示されたUI上のボタンをクリックするためなどに使用される。キーボード１０６、マウス１０７が入力部であり、ディスプレイ１０５とあわせてユーザーインターフェイスを構成する。データ通信装置１０８は、自動レイアウトのデータをPCに接続されたプリンタやサーバーに送信する。データバス１０９は前記した各部とCPU１０１を接続する。本発明に係るアルバム作成アプリケーションはHDD１０４に保存され、後述するようにユーザーがディスプレイ１０５に表示されているアプリケーションのアイコンをマウス１０７を使ってダブルクリックして起動する。

＜自動レイアウト処理部＞
図２は、本発明に係るアルバム作成アプリケーションの自動レイアウト処理部２１６に関するソフトウェアブロック図である。アルバム作成アプリケーションは様々な機能を持つが、本実施形態では、特に自動レイアウト処理部２１６により提供される自動レイアウト機能に関して説明する。自動レイアウト機能は、撮影された写真をその内容や属性に基づいて分類し、あるいは選択して写真をレイアウトし、ディスプレイ１０５に表示するアルバム画像を生成するための機能である。
図２において、２０１は条件指定部であり、入力部たとえばマウス１０７による後述のUI操作に応じたアルバム作成条件を自動レイアウト処理部２１６に指定する。 指定はたとえば条件指定部２０１を介してユーザーが行う。指定される条件には、たとえば対象となる画像や主人公のID、アルバムの見開き数、テンプレート情報、画像補正のON／OFF条件等の指定が含まれる。画像の指定は、たとえば撮影日時など個別の画像データの付随情報や属性情報による指定であってもよいし、デバイスやディレクトリの指定など、画像データを含むファイルシステムの構造に基づく指定であってもよい。なお見開きとは、たとえば表示においてはひとつの表示用ウィンドウに相当し、印刷においては、異なるシートに印刷された、互いに隣接する１対のページに相当する。画像取得部２０２は、条件指定部２０１から指定された画像群をHDD１０４から取得する。画像変換部２０３は、以降の処理に使う画像データを所望の画素数や色情報に変換する。本実施形態では、短辺の画素数として４２０画素を持ち、sRGBの色情報の解析画像データ（以下、解析画像と呼ぶ）に変換する。画像解析部２０４は、解析画像から後述の特徴量取得、顔検出、表情認識、個人認識を実施する処理である。また、HDD１０４から取得した画像に付随したデータ、例えばExif情報から撮影日時の取得も画像処理部２０４で実施する。画像分類部２０５は、画像群に対して撮影日時情報や枚数、検出した顔情報を使って後述のシーン分割、シーン分類を実施する処理である。シーンとは、旅行や日常、結婚式等の撮影シーンのことである。シーンとは、例えば、一つの撮影対象について一時期の撮影機会に撮影された画像の集まりであるということもできる。画像得点部２０７は、各画像に対してレイアウトに適した画像が高得点になるように得点付けをする。後述するが、得点付けの際は、本実施形態では画像解析部からの情報と、画像分類部からの情報とを使う。他の情報を付加的に或いは代替的に用いてもよい。主人公情報入力部２０６は、条件指定部２０１から指示された主人公のID（識別情報）を画像得点部に入力する。画像得点部２０７は、主人公情報入力部２０６から入力された主人公IDが含まれる画像の得点をアップできる構成となっている。見開き割当部２０９は、画像群を分割して各見開きに割り当てる。見開き入力部２０８は、条件指定部２０１から指定されたアルバムの見開き数を見開き割当部２０９に入力する。見開き割当部２０９は、入力された見開き数に応じて画像群を分割して各見開きに画像群の一部を割り当てる。画像選択部２１０は、見開き割当部２０９で各見開きに割り当てられた画像群の一部から画像得点部２０７で付けた得点を参考に画像を選択する。

画像レイアウト部２１２は、画像のレイアウトを決定する。テンプレート入力部２１１は、条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部２１２に入力する。画像レイアウト部２１２は、画像選択部２１０に適したテンプレートを、テンプレート入力部２１１から入力された複数のテンプレートから選択し、画像のレイアウトを決定する。レイアウト情報出力部２１５は、画像レイアウト部２１２が決定した画像レイアウトに従って、ディスプレイ１０５に表示する為のレイアウト情報を出力する。レイアウト情報は例えば、選択したテンプレートに選択した画像をレイアウトしたビットマップデータである。画像補正部２１４は、覆い焼き補正、赤目補正、コントラスト補正等の補正をする。画像補正条件入力部２１３は、条件指定部２０１から指定された画像補正のON／OFF（オンまたはオフ）条件を画像補正部２１４に入力する。画像補正のオンまたはオフは、補正の種類ごとに指定されてもよいし、全ての種類についてまとめて指定されてもよい。画像補正部２１４は、画像補正条件がONの場合は、画像に対して補正を実施する。画像補正条件がOFFの場合は、補正を実施しない。尚、画像補正部２１４は、画像変換部２０３から入力された画像に対して、画像補正のON／OFFに従って補正を実施する。画像変換部２０３から画像補正部２１４に入力する画像の画素数は、画像レイアウト部２１２で決定したレイアウトのサイズに合わせて変えられる構成となっている。レイアウト情報出力部２１５から出力される画像データは、例えば図３に示すような形式でディスプレイ１０５に表示される。

＜ユーザー操作＞
本実施形態に係るアルバム作成アプリケーションは、PCにインストールするとPC上で動作するOS（オペレーティングシステム）のトップ画面（デスクトップ）上に起動アイコンが表示される。ユーザーはディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、HDD１０４に保存されているアルバム作成アプリケーションのプログラムがRAM１０３にロードされる。RAM１０３のプログラムがCPU１０１によって実行されて、アルバム作成アプリケーションが起動する。もちろんプログラムはROM１０２に記憶しておいてもよい。

＜表示例＞
図３は起動したアルバム作成アプリケーションが提供するUI構成画面３０１であり、ディスプレイ１０５に表示される。ユーザーは、表示画面であるUI構成画面３０１を介して、後述するアルバムの作成条件を設定することができる。ＵＩ構成画面３０１のパスボックス３０２はアルバム作成の対象となる画像群のHDD１０４中の保存場所（パス）を示す。ユーザーはフォルダ選択ボタン３０３をマウス１０７でクリックして、アルバム作成の対象とする画像群を含むフォルダを、表示されるツリー構成から選択する。選択した画像群を含むフォルダパスがパスボックス３０２に表示される。主人公指定アイコン３０４は、人物の顔画像が表示されるアイコンである。主人公指定アイコン３０４には複数の異なる顔画像のアイコンが並び、それぞれの顔画像は個人IDと関連付けられている。なおこの主人公指定アイコンは、解析対象の画像すなわち写真に写った人物から中心人物である主人公を特定するために用いられる。顔画像は、たとえば予め画像から検出され、個人IDと関連付けて顔データベースに登録されている。主人公アイコン３０４は、たとえば顔データベースに登録された人物の顔画像のうち、ユーザーが選択した人物の顔画像や後述の方法で決めた人物の顔画像である。主人公は図４の手順で自動設定することもできるが、主人公アイコン３０４を指定することで、ユーザーが手動設定することもできる。ユーザーはたとえばマウス１０７によってクリックするなどして顔データベースから主人公アイコンを選択できる。見開き数ボックス３０５には、見開き数を指定するである。ユーザーはキーボード１０６を使って見開き数ボックス３０５に直接数字を入力するか、マウス１０７を使ってリストから見開き数ボックスに数字を入力する。テンプレート指定アイコン３０６は、テンプレートのテイスト（ポップ調やシック調等）が分かるイラスト画像である。複数のテンプレートアイコンが並び、マウス１０７によってクリックして選択できる。チェックボックス３０７は、画像補正のON／OFFを指定することができる。マウス１０７でチェックを入れると画像補正ONであり、チェックを入れないと画像補正OFFである。図３の例ではすべての補正についてまとめてオンまたはオフが指定される。

OKボタン３０８は、UI構成画面３０１上で指定されている状態を条件指定部２０１に伝える為のボタンである。ユーザーがOKボタン３０８をマウス１０７でクリックすると、条件指定部２０１を介して、自動レイアウト処理部２１６にアルバム作成条件が指定される。パスボックス３０２に入力されているパスは画像取得部２０２に伝えられる。主人公指定アイコン３０４で選択されている主人公の個人IDは主人公情報入力部２０６に伝えられる。見開き数ボックス３０５に入力されている見開き数は見開き数入力部２０８に伝えられる。テンプレート指定アイコン３０６で選択されているテンプレート情報はテンプレート入力部２１１に伝えられる。画像補正チェックボックスの画像補正のON／OFFは画像補正条件入力部２１３に伝えられる。リセットボタン３０９はUI構成画面上の各設定情報をリセットするためのボタンである。

＜自動レイアウト処理＞
図４は本実施形態に係るアルバム作成アプリケーションの自動レイアウト処理部２１６に関する処理フロー図である。図４に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４やＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に読み出して実行することにより実現される。図４を使って、自動レイアウトの処理フローを以下説明する。

Step01では、指定された画像群に含まれる画像に順次着目して、画像変換部２０３で着目画像の解析画像を生成する。すなわち、条件指定部２０１で指定されたHDD１０４の画像群の各画像を所望の画素数と色情報に変換する。本実施形態では、短辺４２０画素のサイズとsRGBの色情報とを持つ解析画像に変換する。

Step02では、画像解析部２０４で着目画像の画像特徴量を取得する。HDD１０４から取得した着目画像データに付随する例えばExif情報から撮影日時を取得する。また、Step01で生成された着目画像の解析画像から特徴量を取得する。特徴量としては、例えば、ピントが挙げられる。エッジの検出方法として公知のソーベルフィルタを用いることができる。ソーベルフィルタでエッジ検出して、エッジの始点と終点の輝度差を始点と終点の距離で割ればエッジの傾きすなわち輝度勾配を算出できる。対象画像中のエッジの平均傾きを算出して、平均傾き大の画像は平均傾き小の画像よりもピントが合っていると考えることが出来る。傾きに対して異なる値の複数の閾値を設定し、算出した平均傾きと閾値との比較に基づいてピント量を出せる。本実施形態では異なる２つの閾値を設定し、○△×の３段階でピント量を判別する。例えば、算出した平均輝度勾配が大きい方の閾値以上であれば良好（○）、大きい方の閾値より小さく小さい方の閾値以上であれば許容可（△）、小さい方の閾値より小さければ不良（×）と判定する。そして、アルバムに採用したいピントの傾きを○、許容できるピントの傾きを△、許容できない傾きを×として、実験を通して閾値を設定する。

Step03では、画像解析部２０４で顔検出を実施する。ここではStep01で生成された着目画像の解析画像から顔を検出する。顔の検出は、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するAdaboostが挙げられる。本実施形態では、Adaboostにより作成した強識別器により人物（オブジェクト）の顔を検出する。顔画像を抽出すると共に、検出した顔領域の左上座標値と右下座標値を取得する。この２種の座標を持つ為、顔の位置と顔のサイズを知ることが可能である。顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを顔の代わりの検出対象としてAdaboostによって強識別器を作成することができる。これにより、顔以外のオブジェクトを検出することができる。

Step04では、画像解析部２０４で個人認識をする。Step03で抽出した顔画像と顔辞書データベースに個人ID毎に保存されている代表顔画像との類似性を比較する。類似性が閾値以上で最も類似性が高いIDを抽出した顔画像のIDとする。尚、類似性が閾値未満の場合は新規の顔として新規の個人IDとして顔辞書データベースに抽出した顔画像を登録する。

Step02からStep04で取得した画像解析情報５００は、図５に示すように各画像を識別するID５０１毎に区別して記憶する。Step02で取得した撮影日時情報５０２とピント判別結果５０３、Step03で検出した顔の数５０４と位置情報５０５を保存する。尚、顔の位置情報はStep04で取得した個人ID毎に区別して記憶する。

Step05では、条件指定部２０１で指定されたHDD１０４の画像群の全画像に対してStep01からStep04が終了したか否かを判定する。終了していない場合（No）は新たな画像を着目画像としてStep01に戻る。終了している場合（Yes）はStep06に移行する。

Step06では、画像分類部２０５でシーン分割をする。Step02で取得済みの撮影日時情報から算出した画像と画像との時間差に基づいて画像群を複数に分割する。分割の基準の例は以下のとおりである。画像群のうち、たとえば最も撮影日時が古い（或いは新しい）画像に最初に着目し、その次に古い（新しい）画像との時間差を参照する。これを、着目画像を順次撮影日時が新しい（或いは古い）ものに置き換えつつ以下のいずれの条件に該当するか判定を行う。なお以下の説明で分割するとは、着目した２つの画像間を境に撮影日時の新しい方と古い方とに画像群を分割するという意味である。
１．画像間に撮影していない日が存在する場合は分割する。
２．撮影日が連続し、かつ時間差が１６時間以上空いている場合は分割する。
３．撮影日が連続し、かつ時間差が１６時間未満の場合は、連続する各日の最初の撮影から最後の撮影までの時間差が４時間未満なら分割する。
４．撮影日が連続し、かつ時間差が１６時間未満、かつ連続する各日の最初の撮影から最後の撮影までの時間差が４時間以上の場合は、連続する各日の撮影枚数が５０枚未満なら分割する。
５．上記以外の場合には分割しない。

もちろんこれ以外にも分割の基準はあり得る。たとえば撮影地が画像の付随情報に含まれている場合には、時間的には分割しない場合に該当しても、撮影地が所定距離以上離れていれば分割するものとしてもよい。図６（A）は前記説明したシーン分割方法で分割した結果を示している。なお分割後の画像群を分割と呼ぶ。

Step07では、画像分類部２０６でシーン分類をする。本実施形態では、旅行、日常、セレモニーに分類する例で説明する。シーン分類のためには、予め、旅行、日常、セレモニーだと判定した画像群をそれぞれ複数集める。各画像群について、特徴量を取得する。ここで取得する特徴量の例は、例えば撮影期間、撮影枚数、撮影人数である。撮影期間は画像群の最初の撮影から最後の撮影までの時間差である。撮影枚数は画像群に含まれた画像の撮影枚数である。撮影人数は顔が写っている画像における顔の数である。シーン毎に集めた複数の画像群に対して次の値を求める。撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、１画像あたりの人数の平均値と標準偏差である。図７は本実施形態で求めた各平均値と標準偏差を示しており、シーン分類のためにあらかじめ用意されたテーブル７００を示す。これらの求めた値を含むテーブル７００をアルバム作成アプリケーションのプログラムに予め組み込んでおく。テーブル７００では、シーンID７０１に対応付けて、撮影期間７０２、撮影枚数７０３、撮影人数７０４それぞれの平均値と標準偏差とが登録されている。Step07では、アルバム作成アプリケーションが起動された後、ユーザーがパスボックス３０２で指定した画像群のStep06でシーン分割された各分割群に対して、撮影期間と撮影枚数、撮影人数の平均値を算出する。各分割群の撮影期間、撮影枚数、撮影人数の特徴量について、図７に示したシーン毎の平均値と標準偏差を使って以下の得点化を実施する。なお下式の平均値および標準偏差は、テーブル７００に登録されたシーンの分類ごとの撮影期間、撮影枚数、撮影人数それぞれの平均値および標準偏差であり、特徴量は、分割ごとの撮影期間と撮影枚数、撮影人数それぞれの値である。特徴量項目数は本例では３となる。
シーン分類および特徴量ごとの得点＝５０−｜１０×（シーン分類および特徴量ごとの平均値−分割群ごとの特徴量）／シーン分類および特徴量ごとの標準偏差｜
シーン分類ごとの平均得点＝（シーン分類ごとの撮影期間の得点＋シーン分類ごとの撮影枚数の得点＋シーン分類ごとの撮影人数の得点）／特徴量項目数
上記第１式により、着目分割の、各シーンおよび各特徴量についての得点が求められる。例えば、旅行シーンの撮影期間、撮影枚数、撮影人数それぞれの得点が求められる。これら得点を第２式により平均化して、当該シーン分類に関する得点とする。同様に、日常、セレモニーという他のシーンについても得点が得られる。

以上によって、各分割に対して旅行、日常、セレモニー毎の平均得点が算出される。分割毎に平均得点が最高点のシーンをその分割のシーンだと分類する。同点の場合は、優先シーンに分類する。例えば本実施形態では、日常＞セレモニー＞旅行の優先順であり、日常の優先度を最も高くしている。図６（A）のシーン分割された後の画像群（シーン）５は、たとえば撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であった。旅行の平均得点は４５．３２、日常の平均得点は１８．３８、セレモニーの平均得点は−２９．９２となり、シーンは最高得点のシーンである旅行に分類される。分類したシーンは識別ができるようにシーンIDで管理する。

Step08はStep06で分割された全シーンに対してStep07のシーン分類が終了したか否かを判定する。終了していない場合（No）は処理が済んでいない新たな分割に着目してStep07に戻る。終了している場合（Yes）はStep09に移行する。

Step09では、画像得点化部２０７で主人公設定をする。主人公設定はユーザーが指定した画像群に対して実施され、自動と手動の２種類がある。Step04において実施された個人認識の結果と、Step06において実施されたシーン分割の結果から、画像群に登場する各個人IDの回数、各シーンに登場する各個人IDの回数、各個人IDが登場するシーンの回数等を知ることが可能である。これらの情報から自動で主人公を設定する。本実施形態では、画像群に複数シーンがある場合は複数のシーンに登場する個人IDを主人公IDと設定し、画像群が単一シーンである場合は、単一シーンの登場回数が多い個人IDを主人公IDと設定する。主人公設定アイコン３０４をユーザーが指定している場合は、主人公情報入力部２０６を介して個人IDが画像得点部２０７に伝えられる。ユーザー指定の個人IDがある場合は、前記説明した自動設定の主人公IDは無視して、ユーザー指定の個人IDを主人公IDと設定する。この設定を手動設定と呼ぶ。なお主人公の自動設定については図１１Ａ〜図１１Ｃで説明する。

Step10では、画像得点化部２０７で得点化をする。得点化とは、後述の画像選択時に参照する値であり、画像毎に後述の観点で評価した得点を付ける。図１０は画像のレイアウトに使うテンプレート群を示している。１枚のテンプレート１００１には、メインスロット１００２、サブスロット１００３と１００４とが含まれる。メインスロット１００２とは、テンプレート１００１でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１００３と１００４よりもサイズが大きい特徴を持っている。得点化は、メインスロット用の得点とサブスロット用の得点の両方を画像毎に付ける処理である。図８（A）は旅行、日常、セレモニーの各シーンによってアルバムに採用する画像の特徴をメインスロットとサブスロットに分けてまとめた表である。図８（A）に示す表において、各シーンのメインスロット向き画像特徴とサブスロット向きの特徴それぞれに適合すると判定した複数の画像を予め集めておく。集めた各画像の顔の数、顔の位置、顔のサイズの特徴量を抽出して、それら特徴量の平均値と標準偏差とを、収集した画像が対応する各シーンおよび各スロット種類（メインスロットとサブスロット）に対して求めて、アルバム作成アプリケーションのプログラムとともに記憶しておく。ユーザーが指定した画像群の各画像がどのシーンに属すかはStep07のシーン分類の結果から知ることができる。注目画像のシーンに対応する予め求めた前記平均値と標準偏差、および注目画像の主人公IDの顔数、顔位置、顔サイズの各特徴量に対して以下の式を使って得点と平均得点を出す。下式において得点、平均値、標準偏差は、シーン分類、スロット種類及び特徴量ごとに求められる。
得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜
平均得点＝（顔数の得点＋顔位置の得点＋顔サイズの得点）／特徴量項目数。

得点化をメインスロット用とサブスロット用の両方を実施する。またアルバムに使う画像はピントが合っている方が好ましい為、図５に示すピントの特徴量が○である画像IDの画像に対しては得点を加算してもよい。図８（B）は前記説明の得点化による得点結果の例を示しており、表８００においては、各画像ID８０１に対して、メインスロットとサブスロットのそれぞれの得点化がされて、得点８０２が登録されている。なおStep10については図１２を参照して更に説明する。

Step11では、画像得点部２０７がユーザー指定の画像群の全画像に対してStep10の画像得点化が終了したか否かを判定する。終了していない場合（No）は未処理の次の画像について着目し、Step10に戻る。終了している場合（Yes）はStep12に移行する。

Step12では、見開き割当部２０９が画像分類部２０５のシーン分割（Step06）の分割数が見開き数入力部２０８から入力される見開き数と同じか否かを判定する。同じでない場合（No）はStep13に移行する。同じ場合（Yes）はStep16に移行する。例えば図６（A）のシーン分割数は８であり、見開き数入力部２０８の入力数が８であればStep16に移行する。

Step13では、見開き割当部２０９が、画像分類部２０５のシーン分割（Step06）の分割数が見開き数入力部２０８から入力される見開き数より少ないか否かを判定する。多い場合（No）はStep15に移行する。少ない場合（Yes）はStep14に移行する。図６（A）のシーン分割数は８であり、例えば見開き数入力部２０８の入力数が１０であればStep14に移行する。

Step14では、見開き割当部２０９がサブシーン分割をする。サブシーン分割とは、シーン分割数＜見開き数の場合に、分割されたシーンを更に細分することを指す。図６（A）のシーン分割数８に対して指定見開き数が１０の場合で説明する。図６（B）は図６（A）をサブシーン分割した結果である。破線矢印の箇所で分割したことで、分割数を１０にしている。分割の基準は以下である。図６（A）の分割の中で画像枚数が多い分割箇所を探す。ここでは、分割数を８から１０に２箇所増やす為、画像枚数が多い２箇所を決める。すなわち、再分割すべき数のシーンを、最も多くの画像を含むシーンから順に指定する。画像数が同数のシーンについては、画像間の撮影日時の差の最大値が大きい方のシーンを選択する。それでも決定できない場合には、たとえば時間的に早いシーンを優先的に再分割するなど、適宜決めておけばよい。図６（A）では画像の数が多い方からシーン５、次にシーン１と２である。シーン１と２は同じ枚数だが、シーン２の方が、最初に撮影した画像から最後に撮影した画像の時間差が大きい為、シーン２を分割対象とする。すなわちシーン５とシーン２をそれぞれ分割する。まずシーン２の分割を説明する。シーン２には画像枚数の山が２つあり、この２つは撮影日が違う。そこで図６（B）の破線矢印の箇所で分割する。次にシーン５の分割を説明する。シーン５には画像枚数の山が３つあり、３日連続である。撮影日が変わる箇所が２箇所あるが、分割後の枚数差が小さくなるように、撮影日単位で分割する。すなわち図６（B）の破線矢印の箇所で分割する。以上により分割数すなわちシーン数を８から１０にする。一般的にいえば、シーンの再分割は、選択したシーンに撮影日の異なる画像が含まれていれば、撮影日の相違するそれぞれの画像群を新たなシーンとするよう分割する。撮影日が３日以上にわたるならば、各シーンに含まれる画像の数の差が最小になり、同一撮影日の画像が同一シーンに含まれるよう再分割を行う。ここでは撮影日の違う箇所で分割したが、撮影日が単一日であった場合は、単一日の中で撮影時刻の時間差が最大の箇所で分割する。以上の手順によって見開き数にシーン数を一致させる。なお分割により生成されたシーンについては、改めて分類してもよいし、分割前のシーンの分類を引き継いでもよい。

Step15では、シーン分割数が見開き数より多い場合に、分割されたシーンを統合するシーン統合を行う。図６（A）のシーン分割数８に対して指定見開き数が６の場合を例として説明する。図６（C）は図６（A）をシーン統合した結果である。破線の箇所を統合したことで、分割数を６にしている。統合の基準は以下である。
１．分割された各シーンの中で画像枚数が少ないシーンを探す。ここでは、シーン数を８から６に２減らす為、画像枚数が少ない２つのシーンを決める。図６（Ａ）では少ない方から８、３、７である。シーン３と７は同じ枚数である。
２．まず、画像枚数が最も少ないシーン８を統合対象とする。次に、シーン３とシーン７は、画像の枚数は同じであるため、いずれを統合対象とするか決定する。ここでは、シーン７に隣接するシーン８が統合対象であるため（シーン７とシーン８は統合されるため）、シーン３を統合対象とする。３．統合対象のサブ画像群を、撮影日時が前のシーンに統合するか、撮影日時が後のシーンに統合するかを決定する。統合対象のシーンと隣接する２つのシーンのうち、時間差が小さい方のシーンを統合の相手とする。図６（Ａ）では、シーン３とそれに隣接するシーン２，４のいずれかとを統合の相手とする。シーン３とその前後のシーン２と４それぞれとの時間差を比較すると、シーン３とシーン４と時間差の方が小さい。そのため、シーン３はシーン４に統合すると決定する。すなわち、図６（C）の破線の箇所で統合する。
４．シーン８のように隣接するシーンが１つしかない場合には、唯一の隣接シーンが統合の相手となる。
こうして図６（C）の破線箇所で統合する。このようにして統合するシーンとその相手を決定し、シーンを統合する。統合するとは、たとえばシーンに含まれる画像ファイルを示す情報を、統合後のシーンに応じて更新することを含む。

Step16では、見開き割当部２０９が見開き割当をする。Step12〜Step15によって、シーン分割数と指定見開き数は同じになっている。撮影日時的に先頭の分割から見開きの先頭に順に割り当てる。

Step17では、画像選択部２１０が画像選択をする。ここでは、ある見開きに割り当てられた画像群の分割から画像を４枚選択する例を、図９を使って説明する。図９（A）は見開きに割り当てられた分割の撮影日時的に最初の画像から最後の画像の時間差（分割撮影期間）を示している。テンプレートには１枚のメインスロット１００２が含まれる。１枚目に選択する画像はメインスロット用の画像である。図９（B）に示す分割撮影期間に対応する画像のうちStep10で付けたメインスロット用の得点が最高点の画像（１）を選択する。２枚目以降に選択する画像はサブスロット用の画像である。画像選択は分割撮影期間の一部に集中しないように、以下説明するように工夫をする。図９（C）のように分割撮影期間を２分割する。次に図９（D）のように１枚目が選ばれていない実線の分割撮影期間から２枚目を選択する。２枚目としては、実線の分割撮影期間に対応する画像のうちサブスロット用の得点が最高点の画像（２）を選択する。次に図９（E）のように図９（D）の各分割撮影期間を２分割する。図９（F）のように１枚目と２枚目がいずれも選ばれていない実線の分割撮影期間に対応する画像のうち、サブスロット用の得点が最高点の画像（３）を３枚目として選択する。

次に画像を選択する分割撮影期間に画像が存在せず、画像選択できない例を４枚目の選択を例に説明する。図９（G）のようにまだ画像が選ばれていない斜線の分割撮影期間から４枚目を選択したいが、この斜線の分割撮影期間には画像が存在しないものとする。そこで図９（H）のように各分割撮影期間を２分割する。次に図９（I）のように１〜３枚目が選ばれていない実線の分割撮影期間に対応する画像のうちサブスロット用の最高点の画像（４）を４枚目として選択する。

Step18では、画像レイアウト部２１２が画像レイアウトを決定する。画像レイアウトの決定のために、選択した画像を基にしてテンプレートを選択する。その方法は例えば以下のとおりである。まずテンプレート入力部２１１により入力されたテンプレート群を候補とする。次に、その候補から、テンプレート内のメインスロットの位置が、着目シーンの選択された画像群におけるメインスロット用画像の時系列的な位置に対応しているテンプレートを選択する。この判定は、たとえばテンプレート上のスロットの位置が、左上から右下へと時系列に沿って配置されることを前提として行われる。しかし各スロットの位置と画像とを個別に対応付けるのは煩雑なので、たとえばテンプレートをメインスロットとサブスロットの位置に応じてグループ分けしておき、さらに画像の方向（縦長、横長）に応じてさらにグループ分けしておいてもよい。そしてメインスロット用画像の時系列上の位置及び方向に応じてテンプレートを絞り込み、さらにサブスロットについても同様に絞り込む。このようにして、テンプレートの候補を絞り込み、最終的に採用するテンプレートを決定することができる。

次にStep18を、テンプレート入力部２１１が、指定のテンプレート情報に従ってある見開きに対して図１０の（１−１）〜（４−４）を入力した例で説明する。入力されたテンプレートのスロット数は３である。選択されている画像３枚の画像を撮影日時に対して並べると図９（J）のように縦長、横長、縦長であったとする。ここでは、画像１００５がメインスロット用であり、画像１００６と画像１００７がサブスロット用である。本実施形態で作成するレイアウトは、テンプレートの左上に撮影日時のより古い画像、右下に撮影日時のより新しい画像をレイアウトする。メインスロット用画像１００５は撮影日時が一番新しい為、図１０の（３−１）〜（３−４）と（４−１）〜（４−４）のテンプレートが候補となる。このうちメインスンロット用画像１００５は縦長なので、テンプレート（４−１）〜（４−４）が候補となる。サブスロット用の古い方の画像１００６が縦画像で、新しい方の画像１００７が横画像の為、テンプレート（４−２）が、選択された画像に最も適したテンプレートとしてレイアウトが決まる。本ステップで決まるのは、どの画像をどのテンプレートのどのスロットにレイアウトするかを識別できる情報である。

Step19では、画像補正部２１４が画像補正をする。画像補正条件入力部からONが入力された場合は、画像補正を実施する。画像補正は、覆い焼き補正、赤目補正、コントラスト補正を自動で実施する。画像補正条件入力部からOFFが入力された場合は、画像補正を実施しない。補正する画像の画素数は短辺１２００画素で、sRGBの色空間に変換した画像に対して画像補正ON／OFFを実施する。

Step20では、レイアウト情報出力部２１５がレイアウト情報を作成する。Step18で決まったテンプレートの各スロットに、対応する画像をレイアウトする。補正オンであれば補正済みの画像をレイアウトする。このとき、スロットのサイズ情報に合わせてレイアウトする画像を変倍してレイアウトする。テンプレートに画像をレイアウトしたビットマップデータを生成する。

Step21ではStep17〜Step20が全ての見開きに対して終了したか否かを判定する。終了していない場合（No）はStep17に戻る。終了している場合（Yes）は自動レイアウト処理を終了する。

以上の手順により、画像群をシーンに分割し、分割したシーンを再分割あるいは統合することで、シーンの数を指定された見開き数に一致させる。そして、各シーンの画像群から選択した画像を、見開きにレイアウトしてアルバムを自動作成する。

＜主人公設定＞
次に図４のStep09の自動で実施する主人公設定について詳細に説明する。図１１Ａは本発明に係る主人公設定のフロー図である。主人公とは、画像群中に登場する人物のうちで重要人物あるいは主要人物のことである。Step0９では、画像に表れる人物の重要度を決定する。図１１Ａでは重要度は２段階であり、図１１Ｂ、図１１Ｃでは所定の段階に人物の重要度が分類される。

Step11A-01では初期化をする。主人公設定では、個人ID毎に登場したシーンの回数をカウントする為、個人ID毎のカウンターを設けている。ここでは、顔辞書データベースに登録されている全個人IDのカウンターを0回に初期化する。

Step11A-02では個人IDの取得をする。図４のStep06で分割された各シーン内の画像群に存在する人物の個人IDを取得する。全画像の個人認識は図４のStep06までに済んでいるので、各シーンに含まれた画像に含まれる人物の個人ID（これを各シーンに含まれた個人IDと呼ぶことにする。）は特定できる。したがってここでは、たとえばシーンごとに含まれた個人IDのリストを作成することで、シーンごとの個人IDを取得する。

Step11A-03では、特定した個人ID毎の回数加算をする。シーンに存在した個人IDのカウンターに１を加算する。Step11A-02、Step11A-03では、着目シーンに登場する人物全員を対象として上述した個人IDの特定および登場回数の計数を行う。なお、図１１Ａでは、ひとつのシーンに２回以上出現してもカウントされる数は１である。

Step11A-04では、指定された画像群の全シーンについてStep11A-02とStep11A-03が終了したか否かを判定する。終了していない場合（No）は次のシーンに着目してStep11A-02に戻る。終了している場合（Yes）はStep11A-05に移行する。

Step11A-05では、着目した個人IDのカウント値と閾値との比較をする。個人IDのカウント値が閾値以上の場合（Yes）は、Step11A-06-01においてこの個人IDを主人公IDに設定する。個人IDのカウント値が閾値未満の場合（No）は、Step11A-06-02においてこの個人IDを主人公としない。

Step11A-07では、全個人IDについてStep11A-05〜Step11A-06-02が終了したか否かを判定する。終了していない場合（No）は次の個人IDに着目してStep11A-05に戻る。終了している場合（Yes）は主人公設定処理を終了する。以上の手順によって主人公を自動設定する。主人公は一人とは限らず、カウント値が閾値以上であれば人数に制限なく主人公に設定される。

＜画像得点化＞
図４のStep10の画像得点化について詳細に説明する。図１２は本発明に係る画像得点化のフロー図である。

Step12-01では、主人公IDの取得をする。図４のStep09の主人公設定において設定された主人公IDを取得する。

Step12-02では、シーンIDの取得をする。ここでは分割されたシーンのうちで着目するシーンのシーンIDを着目シーンIDとする。

Step12-03では、着目シーンに含まれた注目画像内に存在する主人公IDの数をカウントする。これによって主人公の顔数を知ることができる。

Step12-04では、注目画像内に存在する主人公IDの顔の位置を特定する。特定する位置は顔領域の中心座標である。図５に示すように顔領域は、その左上座標と右下座標とが管理されている。ＸＹそれぞれについて、右下座標から左上座標を引いた値の半分の値を左上座標値に加算すると、すなわち右下座標と左上座標の中間の座標を求めると顔領域の中心座標を算出できる。また、各主人公IDの顔中心座標を座標軸ごとに加算して前記顔数で割って中心座標の平均値、すなわち主人公の顔の重心を算出する。

Step12-05では、注目画像内に存在する主人公IDの顔のサイズを算出する。前記説明した右下座標から左上座標を引いた値である横方向の値と縦方向の値のそれぞれの絶対値の積が顔のサイズである。各主人公IDの顔サイズを加算して前記顔数で割って顔サイズの平均値を算出する。

Step12-06では、主人公IDの顔数の得点化をする。既に図４のStep10で説明したようにシーン分類毎にメインスロット用およびサブスロット用に顔数、顔位置、顔サイズの平均値と標準偏差が予めプログラムとともに記憶されている。この記憶している平均値と標準偏差から着目シーンの分類に対応した値を読み出す。メインスロット用の読み出した顔数の平均値と標準偏差および注目画像の前記求めた主人公IDの顔数とからメインスロット用の得点を算出する。顔数を特徴量として（式１）を使って得点を算出する。式１において得点は、シーン分類ごとの平均値、標準偏差を用いて、シーン分類ごとに求められる。

得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜ （式１）
サブスロット用の得点も、サブスロット用に読み出した顔数の平均値と標準偏差および注目画像の前記求めた主人公IDの顔数とから算出する。得点算出は式１を使う。

Step12-07では、主人公IDの顔位置の得点化をする。顔数の得点算出と同様に、顔位置に関してメインスロット用とサブスロット用の平均値と標準偏差を読み出し、前記求めた主人公IDの平均中心座標とから得点を算出する。（式１）を使って顔位置に関するメインスロット用とサブスロット用の得点を算出する。

Step12-08では、主人公IDの顔サイズの得点化をする。顔数の得点算出と同様に、顔サイズに関してメインスロット用とサブスロット用の平均値と標準偏差を読み出し、前記求めた主人公IDの平均顔サイズとから得点を算出する。（式１）を使って顔サイズに関するメインスロット用とサブスロット用の得点を算出する。

Step12-09では、平均点を算出する。Step12-06〜Setp12-08で求めたメインスロット用とサブスロット用の得点のそれぞれの平均点を算出する。これらの平均点を注目画像のメインスロット用の得点、サブスロット用の得点とする。またここで、前記説明した図４のStep10のピントの得点をメインスロット用の得点とサブスロット用の得点に加算してもよい。

Step12-10では、シーン内の全画像についてStep12-03〜Step12-09の処理が終了したか否かを判定する。終了していない場合（No）はStep12-03に戻る。終了している場合（Yes）はStep12-11に移行する。

Step12-11では、指定された画像群の全シーンについてStep12-02〜Step12-10の処理が終了したか否かを判定する。終了していない場合（No）はStep12-02に戻る。終了している場合（Yes）は画像得点化の処理を終了する。以上のようにして、シーンごとかつ画像ごとの得点を評価する。なお、図１２では顔の数、位置、サイズすべてを用いて得点を評価したが、そのうちの少なくとも１つを用いて評価してもよい。

＜レイアウト情報作成＞
得点化後は、既に説明した図４のStep12〜Step21を実施してレイアウト情報が作成される。画像得点化において、主人公が写る画像の得点が高くなる為、主人公が写る画像が選択されてレイアウトされる。そして、既に説明したように主人公は登場するシーンの回数で決定する為、画像に写っている枚数は少なくても、登場するシーンが多い人物の画像もレイアウトされる可能性が高くなる。画像に写る枚数は少なくても、登場するシーンが多い人物とは、例えば、カメラを操作して撮影する主な人物である父親である。また、子供と母親と父親とは離れて生活している祖母と祖父である。

また、本実施形態によって次のような効果もある。友人の結婚式のカメラマンを頼まれた場合、ユーザー本人が所有する画像群の中に友人の結婚式の画像が大量に存在する場合がある。友人の結婚式も混じった状態の画像群を使ってユーザー本人向けに家族中心のアルバムを作成したい場合、個人が写っている画像枚数を頼りに主人公を決めると、結婚式の友人が主人公の1人となる。すると、ユーザー本人向けのアルバムに友人の写真が多数レイアウトされることになり、ユーザーの満足度が低下する。しかしながら、本実施形態を適用すると、友人が登場するシーンの数は少ない為、友人は主人公になり難い。その為、アルバムに友人の写真が多数レイアウトされる可能性は低くなる。

以上のように、主人公となる人物を、人物が登場するシーンの数に基づいて決定し、その主人公の顔領域の数、位置、サイズに基づいて、各画像を評価する。そのため、登場するシーンが偏っておらず、あまねく登場する人物がアルバム掲載画像として選択され易くなり、また、メインスロットにレイアウトされ易くなる。

［実施形態２］
実施形態１では、登場するシーンの回数に対して、１つの閾値を使って主人公か否かを設定し、レイアウトを作成する例を説明した。本実施形態では、閾値を複数使って主人公に優先度の差を設けてレイアウトを作成する例を説明する。優先度とは人物の重要度と言い替えることもできる。画像の枚数が少ないが登場するシーンの数が多い人物もアルバムに採用しつつも、登場するシーンの回数が特に多い子供主体のアルバムを好むユーザーも存在する。本実施形態はこのようなユーザーに対して有効である。図１１Ｂは本実施形態における主人公設定のフロー図である。

Step11B-01〜Step11B-04は、図１１ＡのStep11A-01〜Step11A-04に対応し、処理内容は同じである。

Step11B-05-01〜Step11B-05-0Nでは、個人ID毎のシーン数のカウント値と閾値の比較をする。閾値A１＞閾値A２＞・・・＞閾値ANの順で閾値A１が最も大きい値である。個人IDのカウント値がどの閾値以上かによって、Step11B-06-01〜Step11B-06-0Nに示すように個人IDを第１優先主人公ID〜第N優先主人公IDに設定する。第１優先が最も優先度が高く、第Ｎ優先まで、順次優先度が高い主人公となる。

Step11B-07は、全個人IDについてStep11B-05-01〜Step11B-06-0Nが終了したか否かを判定する。終了していない場合（No）はStep11B-05-01に戻る。終了している場合（Yes）は主人公設定処理を終了する。

次に得点化について説明する。処理のフローは図１２である。但し、実施形態１とは次の点が異なる。Step12-03の顔数をカウントする際に主人公の優先度に応じて重みを変える。例えば、最も優先度が高い主人公の重みを１とし、２番目以降はより高い優先度の主人公の重みより小さい重みを設定する。注目画像に主人公IDが存在する場合、設定した重み値でカウントする。重みが１の場合は１を加算し、重みが０．５の場合は０．５を加算する。

得点化後は、既に説明した図４のStep12〜Step21を実施してレイアウト情報が作成される。父親や祖父母のように枚数が少ない人物も登場するシーン数が閾値を超えていれば主人公となる為、レイアウトされる可能性は高くなる。さらに、画像得点化において、優先度が高い主人公が写る画像の得点が高くなる為、子供のように登場するシーン回数がより多い人物を主体としたアルバムを作成することができる。

［実施形態３］
実施形態１と実施形態２では、登場するシーンの数を使って主人公を設定した。本実施形態では、登場するシーンの数に加えて各個人IDが写っている画像枚数も考慮して主人公の優先度を付ける。枚数的にも多い人物主体のアルバムを好むユーザーに対して有効である。図１１Ｃは本実施形態における主人公設定のフロー図である。

Step11C-01では、初期化をする。個人ID毎に画像群中の画像への登場回数をカウントする為の登場回数カウンターを設けている。ここでは、全個人IDの主人公設定では、個人ID毎に登場したシーンの回数をカウントする為、個人ID毎のカウンターを設けている。ここでは、全個人IDの登場回数カウンターを0回に初期化する。

Step11C-02では、初期化をする。個人ID毎に登場したシーンの回数をカウントする為の個人ID毎のシーン回数カウンターを設けている。ここでは、全個人IDのシーン回数カウンターを0回に初期化する。

Step11C-03では、個人IDの登場回数をカウントする。各個人IDの登場回数カウンターをカウントアップしていく。登場回数は全シーンを通してカウントしてよい。すなわちアルバム作成の対象となる複数の画像を対象として、個人IDすなわち人物ごとに表れる画像の数を数える。

Step11C-04は、図１１ＡのStep11A-03と同じ処理である。すなわち着目シーンに登場する個人IDのシーン回数カウンターに１加算する。
Step11C-05では、指定された画像群の全シーンについてStep11C-03とStep11C-04が終了したか否かを判定する。終了していない場合（No）はStep11C-03に戻る。終了している場合（Yes）はStep11C-06-01に移行する。

Step11C-06では、カウント値の得点化をする。個人ID毎に登場回数カウンターの値に応じて得点化する。ここでは、最高点を１０点をとする。カウント値が大きいと１０点に近くなる。たとえば、登場回数カウンターの順位に応じて、最高の値の個人IDに１０点を与え、順序が下がるにつれて１点ずつ低い得点を与える。あるいは、最大の登場回数カウンター値と０との間を１０個の区間（たとえば均等な区間）に分割し、多い区間から順に１０点、９点、...と得点を割り当てる。そして、属する区間に応じた得点を各個人IDに与える。次に個人ID毎にシーン回数カウンターの値を得点化する。例えば、シーン回数カウンター１回あたりの得点を１点や５点と予め設定しておき、シーン回数カウンター値に応じて得点化する。登場回数カウンター値による得点とシーン回数カウンター値による得点を加算して、各個人IDの得点とする。なお、登場回数カウンター値による得点とシーン回数カウンター値による得点を乗算してもよい。

Step11C-07-01〜Step11C-07-0Nでは、個人ID毎の得点と閾値の比較をする。閾値C１＞閾値C２＞・・・＞閾値CNの順で閾値C１が最も大きい値である。個人IDの得点がどの閾値以上かによって、Step11C-08-01〜Step11C-08-0Nに示すように個人IDを第１優先主人公ID〜第N優先主人公IDに設定する。第１優先程、優先度が高い主人公である。

Step11C-09は、全個人IDについてStep11C-07-01〜Step11C-08-0Nが終了したか否かを判定する。終了していない場合（No）はStep11C-07-01に戻る。終了している場合（Yes）は主人公設定処理を終了する。

次に得点化について説明する。処理のフローは図１２である。但し、実施形態１とは次の点が異なる。Step12-03の顔数をカウントする際に主人公の優先度に応じて重みを変える。例えば、最も優先度が高い主人公の重みを１とし、２番目以降はより高い優先度の主人公の重みより小さい重みを設定する。注目画像に主人公IDが存在する場合、設定した重み値でカウントする。重みが１の場合は１を加算し、重みが０．５の場合は０．５を加算する。

得点化後は、既に説明した図４のStep12〜Step21を実施してレイアウト情報が作成される。父親や祖父母のように枚数が少ない人物も登場するシーン回数が閾値を超えていれば主人公となる為、レイアウトされる可能性は高くなる。さらに、画像得点化において、優先度が高い主人公が写る画像の得点が高くなる為、子供のように登場するシーン回数や登場する画像枚数がより多い人物を主体としたアルバムを作成することができる。

［その他の実施例］
実施形態１〜実施形態３で設定した主人公IDの顔画像を主人公指定アイコン３０４にアイコンの顔画像として表示する。同一IDの顔画像は複数存在するが、その中でどれをアイコンの顔画像とするかは例えば次の決め方がある。最も顔サイズが大きい、最もピントが合っている、同一ID内の顔画像間の平均の類似性が最も高い、の何れかを使って決めればよい。実施形態１〜実施形態３で設定した主人公IDの顔画像をアイコン表示することで、画像枚数が少なくてもシーンの登場回数が多い人物を手動で指定することができる。例えば、子供と母親と父親とは一緒に生活していない祖父母にアルバムを送る場合に、手動で子供（祖父母からすると孫）と祖母と祖父のアイコンを指定することで、孫と祖父母主体のアルバムを作成することができる。

実施形態１〜実施形態３では、顔数の得点化は予め記憶している顔数の平均値と標準偏差を使って得点化することを説明したが、単純に顔数を得点にしてもよい。例えば、顔数が５以上の場合は５０点とし、顔数５未満の場合は顔数×１０点とする。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１ アルバム作成条件指定部、２０２ 画像取得部、２０３ 画像変換部、２０４ 画像解析部、２０５ 画像分類部、２０６ 主人公情報入力部、２０７ 画像得点部、２０８ 見開き数入力部、２０９ 見開き割当部、２１０ 画像選択部、２１１ テンプレート入力部、２１２ 画像レイアウト部、２１３ 画像補正条件入力部、２１４ 画像補正部、２１５ レイアウト情報出力部

Claims (11)

1. 複数の画像データを取得する取得手段と、
   前記取得手段により取得された複数の画像データに基づく複数の画像の各画像の人物を識別する識別手段と、
   前記複数の画像を、少なくとも１つ以上の画像を含む複数のシーンに分割する分割手段と、
   前記識別手段により識別した人物ごとに、該人物が登場するシーンの数をカウントする第１のカウント手段と、
   前記第１のカウント手段によりカウントしたシーンの数に応じて人物の重要度を評価する評価手段と、
   前記評価手段により評価した人物の重要度を用いて前記複数の画像から画像を選択し、前記シーンごとに選択した画像をレイアウトするレイアウト手段と、
   を有することを特徴とする画像処理装置。
2. 前記評価手段は、前記第１のカウント手段によりカウントしたシーンの数が所定の閾値より多い人物を重要度が高い人物として評価することを特徴とする請求項１に記載の画像処理装置。
3. 前記評価手段は、前記第１のカウント手段によりカウントしたシーンの数と複数の閾値に基づいて人物の重要度を評価することを特徴とする請求項２に記載の画像処理装置。
4. 前記複数の画像のうち、前記識別手段により識別した人物ごとに、該人物が登場する画像の数をカウントする第２のカウント手段を更に有し、
   前記評価手段は、前記第１のカウント手段によりカウントしたシーンの数と、前記第２のカウント手段によりカウントした画像の数とに応じて人物の重要度を評価することを特徴とする請求項１に記載の画像処理装置。
5. 前記評価手段は、前記第１のカウント手段によりカウントしたシーンの数と、前記第２のカウント手段によりカウントした画像の数のそれぞれについて、値が大きいほどが高い得点を与えることで、人物の重要度を評価することを特徴とする請求項４に記載の画像処理装置。
6. 前記レイアウト手段は前記シーンごとに、前記重要度が高い人物を含む画像を優先して選択することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記レイアウト手段は前記シーンごとに、前記重要度が高い人物を含む画像について、該前記重要度が高い人物の数と、位置と、大きさとの少なくとも１つに基づいて画像を選択することを特徴とする請求項６に記載の画像処理装置。
8. 前記分割手段が分割した複数のシーンのそれぞれに対して、シーンの種類を特定する分類手段を有することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
9. 前記レイアウト手段は、前記重要度が高い人物の数と、位置と、大きさとの少なくとも１つと、前記分類手段が特定したシーンの種類とに基づいて画像を選択することを特徴とする請求項８に記載の画像処理装置。
10. 複数の画像データを取得する取得手段と、
    前記取得手段により取得された複数の画像データに基づく複数の画像の各画像の人物を識別する識別手段と、
    前記複数の画像を、少なくとも１つ以上の画像を含む複数のシーンに分割する分割手段と、
    前記識別手段により識別した人物ごとに、該人物が登場するシーンの数をカウントする第１のカウント手段と、
    前記第１のカウント手段によりカウントしたシーンの数に応じて人物の重要度を評価する評価手段と、
    前記評価手段により評価した人物の重要度を用いて前記複数の画像から画像を選択し、前記シーンごとに選択した画像をレイアウトするレイアウト手段と、
    してコンピュータを機能させるためのプログラム。
11. 複数の画像データを取得する取得工程と、
    前記取得工程により取得された複数の画像データに基づく複数の画像の各画像の人物を識別する識別工程と、
    前記複数の画像を、少なくとも１つ以上の画像を含む複数のシーンに分割する分割工程と、
    前記識別工程により識別した人物ごとに、該人物が登場するシーンの数をカウントする第１のカウント工程と、
    前記第１のカウント工程によりカウントしたシーンの数に応じて人物の重要度を評価する評価工程と、
    前記評価工程により評価した人物の重要度を用いて前記複数の画像から画像を選択し、前記シーンごとに選択した画像をレイアウトするレイアウト工程と、
    を有することを特徴とする画像処理方法。

Images