JP2012160002A - レイアウトテンプレート生成装置および画像レイアウト装置 - Google Patents

Abstract

【課題】コマ割りの異なる複数のレイアウトテンプレート候補をユーザに提示して一つを選択させる際に、ユーザの選択肢が制限されず、かつ所望のレイアウトテンプレートを容易に選択できるようにする。
【解決手段】図４(b)の数値列DSのうち[1233233]部分と同図(a)の数値列DSの[122122]部分とは、木構造は異なるものの見かけ上のレイアウトが同じになる木構造を示しているので、[1233233]を一般化した数値列[k,(k+1,(k+2),Na)Nb]を被置換数値列Za、[122122]を一般化した数値列[(k,(k+1)Nb)Na]を置換数値列Zbと定義し、各順序木の数値列DSから被置換数値列Zaを含むDSを識別し、識別された数値列の被置換数値列Zaを置換数値列Dbに置換して生成されたクエリ数値列と一致する数値列DSを同一グループに分類する。
【選択図】図４

Description

本発明は、コマ割りされた出力ページ上に複数枚の静止画像を貼り付ける画像レイアウト方法および装置に係り、特に、コマ割りの異なる複数の画像レイアウトをユーザに提示して一つを選択させる際に、類似した画像レイアウトばかりが提示されないように分類することで、ユーザがレイアウトを選択する時間を短縮できるレイアウトテンプレート生成装置および画像レイアウト装置に関する。

コマ割りされた出力ページ（レイアウトテンプレート）の各コマに、原画像から各コマ形状に合わせて切り出した画像を貼り付ける画像レイアウトが注目されている。特許文献１，２および非特許文献１には、複数の画像を所定の順序でコミック風にレイアウトする技術が開示されている。特許文献２および非特許文献２には、画像レイアウトを木構造で表現する方法が開示されている。非特許文献３には、コミックのレイアウトを根付き木で表現できる事実を述べており，コミックをスキャンした画像の木構造を分析する技術が開示されている。非特許文献４には、ノードの追加および削除を繰り返して順序木を高速に生成する技術が開示されている。

非特許文献３に開示されたコミックの分析では、図１２に示したように、ギロチンカットと呼ばれる水平分割および垂直分割を繰り返して木構造が推定される。この分析では、ルートノードからレイヤ毎に各ノードで水平分割または垂直分割が順番に繰り返され、子ノードに分岐しない終端のノードが葉すなわちコマとなる。そして、最後に深さ優先探索で左から右へ各葉に序数を割り振れば、それがコミックを読む順番となる。

図１３は、順序木を生成する一般的な手法の一例を示したフローチャートであり、ここでは、図１４に示したように、頂点数（ノード数）が「５」の順序木を網羅的に生成する方法を例にして説明するものとし、各ノード（○印）は、根となるルートノードへの単一の経路を辿れる。図１５に示したように、各ノードからルートノードへ至る枝の数がk本ならば、当該ノードの深さ（レイヤ）はkとなる。

図１３において、ステップＳ５１では、順序木の構造を表現する数値列が記憶されるメモリテーブルMに初期値が登録される。本実施形態では、図１６(a)に一例をしたように、メモリテーブルMのアドレスi=0に「０」、i=1に「１」，i=2に「０」，i=3に「０」，i=4に「０」…が登録される。ステップＳ５２では、図１６(b)に示したように、メモリテーブルM上で注目ノードを指定するためのヘッド位置headが「１」に設定される。ステップＳ５３では、ヘッド位置headに対応したメモリ値M(head)が、注目ノードのレイヤを代表する変数uに登録される。ここでは、ヘッド位置head（＝１）のメモリ値M(head)が「１」なのでu＝１となる。ステップＳ５４では、ヘッド位置headにプラス「１」した値[head＋１]のメモリ値M(head+1)にプラス「１」した値が、新たに分岐させようとする子ノードの分岐先のレイヤを代表する変数vに登録される。ここでは、メモリ値M(head+1)が「０」なのでv＝１となる。

ステップＳ５５では、[ノードの要求数Nreq＞head+1]の第１条件、および[u+2＞v]の第２条件がいずれも満足されているか否かが判定される。前記第１条件は、現在のノード数が要求数Nreqを満足しているための条件であり、第２条件は、親ノードのレイヤと子ノードのレイヤとが隣接するための条件である。ここでは、メモリテーブルMが[０，１，０，０，０…]であり、第１および第２条件がいずれも満足されるのでステップＳ５６へ進む。ステップＳ５６では、図１６(c)に示したように、メモリ値M(head+1)に変数vが登録されて「１」となる。これは、ヘッド位置headのノードと同一のレイヤにルートノードから子ノード（兄弟ノード）を分岐させたことを意味する。

ステップＳ５７では、図１６(d)に示したように、ヘッド位置headがインクリメントされる。ステップＳ５８では、現在までに生成されたノード数が要求数Nreqと比較される。ここでは、ノード数が未だ不足していると判定されるのでステップＳ５３へ戻る。なお、前記ステップＳ５５において、前記第１又は第２条件のいずれかが満足されていないと判定されると、ステップＳ６３へ進んでメモリ値M(head+1)がリセットされる。ステップＳ６４では、ヘッド位置headがデクリメントされる。

その後、上記の処理が繰り返されて子ノードの分岐およびヘッド位置headのインクリメントが進行し、前記ステップＳ５７でヘッド位置をインクリメントした時点で、図１６(e)に示したように、メモリテーブルMが[０，１，１，１，１，０…]、ヘッド位置headが「４」となると、ステップＳ５８では、現在のノード数が要求数Nreq（＝５）に達したと判定されるのでステップＳ５９へ進む。ステップＳ５９では、現時点でのメモリテーブルMの数値列[０，１，１，１，１]が順序木の一つとして採用される。

ステップＳ６０では、メモリ値M(head+1)がリセット（＝０）される。なお、この時点ではメモリ値M(head+1)が元々「０」なので実質的な変化は無い。ステップＳ６１では、図１６(f)に示したように、ヘッド位置headが後退（デクリメント）される。ステップＳ６２では、ヘッド位置headが「０」であるか否かが判定され、ここでは「０」以外と判定されるのでステップＳ５３へ戻る。

ステップＳ５３では、変数uに改めて「１」が登録される。ステップＳ５４では、変数vに「２」が登録される。ステップＳ５５では、前記第１および第２条件のいずれもが満足していると判定されるのでステップＳ５６へ進む。ステップＳ５６では、図１６(g)に示したように、メモリ値M(head+1)に変数vが登録されて「２」になる。これは、ヘッド位置headのノード（親ノード）から子ノードが新たに分岐されたことを意味する。

ステップＳ５７では、図１６(h)に示したように、ヘッド位置headがインクリメントされる。ステップＳ５８では、現在までに生成されたノード数が要求数Nreqと比較される。ここでは、要求数Nreqのノードが生成されているのでステップＳ５９へ進む。ステップＳ５９では、現時点でのメモリテーブルMの数値列[０，１，１，１，２]が順序木の一つとして採用される。ステップＳ６０では、メモリ値M(head+1)がリセット（＝０）される。なお、この時点でもメモリ値M(head+1)が元々「０」なので実質的な変化は無い。ステップＳ６１では、図１６(i)に示したように、ヘッド位置headが後退（デクリメント）される。ステップＳ６２では、ヘッド位置headが「０」であるか否かが判定され、ここでは「０」以外と判定されるのでステップＳ５３へ戻る。

以上の処理は、ステップＳ６２においてヘッド位置headが「０」と判定されるまで繰り返され、その結果、前記図１４に示したように、ノード数が「５」となる全て（１４本）の順序木が抽出されることになる。

上記の処理では、後述する「軽い木」から「重い木」が順番に出力される。他に、コマ数や深さを指定してレイアウトに使う木の生成は、特許文献２に開示した技術を適用することで実施できる。同様に、コマ数や深さを指定して、「軽い木」から「重い木」のような順序木を生成する方法は、本発明者等による先の特許出願（特願2010-179488号）で詳細に説明されているので、その説明をここに援用する。

特許第４１１１９４８号公報 特開２０１０−５０５２８号公報

Janko Calic, David P. Gibson, and Neill W. Campbell, "Efficient Layout of Comic-like Video Summaries", IEEE Transactions on circuited systems for video technology, Vol.17, No.7, pp.931-936, 2007. C.B.Atkins, "Adaptive Photo Collection Page Layout", IEEE International Conference on Image Processing (ICIP) 2004, pp.2897-pp.2900, 2004. Takamasa Tanaka, Kenji Shoji, Fubito Toyama, and Juichi Miyamichi ,"Layout analysis of tree-structured scene frames in comic images" IJCAI-07, pp.2885-pp.2890, 2007. Shinichi Nakano and Takeaki Uno, "Constant Time Generation of Trees with Specified Diameter", LNCS3353, pp.33-45, 2004.

画像のレイアウトテンプレートを手作業で行うと大変である。上記の順序木を用いれば、コマ割りの異なる多数のレイアウトテンプレートを自動的に生成できる。各コマに複数の画像を様々な組み合わせで貼り付ければ多数の画像レイアウトを簡単に試行できる。ただし、各画像レイアウトから主観的な評価値を定量的に求めることは難しいので、多数の画像レイアウトから最終的に一つを採用しようとすれば、既知の評価手法に基づいて、多数の画像レイアウトの中から主観評価が高くなると推定される複数の候補を選抜し、これらをユーザに提示して一つを選択させる必要がある。

しかしながら、順序木に基づくコマ割り手法では、図１７(a)のコマ割りは、同図(b)の順序木から同図(c)のように生成される以外にも、同図(d)の順序木から同図(e)のように生成される。そして、同図(b)の順序木に基づく画像レイアウトの評価が高ければ、同様に同図(d)の順序木に基づく画像レイアウトの評価も高くなるので、テンプレートの枠線の位置が同じとなって見かけ上は同一の複数の画像レイアウトが提示されてしまい、画像レイアウトの多様性が失われてしまう。また、見かけ上が同一のレイアウト画像においては、貼り付ける画像の特徴に合わせてテンプレートの線の位置を少々ずらす方法が有効である。元の木構造が異なれば線をずらす方向が異なるため、同一となる画像レイアウトは無くなるが、レイアウト画像は互いに似てしまうことが多いため、やはり画像レイアウトの多様性が失われてしまう。その結果、評価値の良いレイアウトから順にユーザに提示していく方法では、コマ割りの異なる他の画像レイアウトが、決められた表示数の中に提示されなくなるので、ユーザの選択肢が狭められてしまうという技術課題、またはユーザがレイアウトを選択するのに時間がかかってしまうという技術課題があった。

本発明の目的は、上記した従来技術の課題を解決し、複数の画像レイアウトをユーザに提示して一つを選択させる際に、見かけ上同一となるレイアウト画像候補や、線の位置を調整する前は見かけ上同一であったレイアウト画像候補をユーザに表示せず、候補数を減らすことで、ユーザが画像レイアウトを選択する時間と手間を軽減できるようなレイアウトテンプレート生成装置および画像レイアウト装置を提供することにある。

上記の目的を達成するために、本発明のレイアウトテンプレート生成装置および画像レイアウト装置は、以下のような構成を具備した点に特徴がある。

(1)本発明のレイアウトテンプレート生成装置は、所定のレイアウト条件を満足するレイアウトテンプレートを表現する複数種の順序木を対象に、木構造は異なるものの見かけ上のコマ割りが同一のレイアウトテンプレート同士を同一グループに分類する手段と、各グループから代表テンプレートを選択する手段と、前記各代表テンプレートをレイアウトテンプレート候補として出力する手段とを具備した。

(2)本発明の画像レイアウト装置は、所定のレイアウト条件を満足するレイアウトテンプレートを表現する複数種の順序木を対象に、木構造は異なるものの見かけ上のコマ割りが同一のレイアウトテンプレート同士を同一グループに分類する手段と、各グループから代表テンプレートを選択する手段と、前記各代表テンプレートをレイアウトテンプレート候補として出力する手段と、前記複数のテンプレート候補の各コマに画像を貼り付けて出力する手段と、前記出力した複数のテンプレート候補から一つのテンプレートを選択するユーザ操作を受け付ける手段と、前記選択されたテンプレートの各コマに画像を貼り付けて出力する手段とを具備した。

(3)本発明のレイアウトテンプレート生成装置および画像レイアウト装置は更に、各グループから選択された代表テンプレートを評価する手段と、評価の結果に基づいて、前記代表テンプレートから複数のテンプレート候補を選抜する手段とを具備した。

(4)本発明のレイアウトテンプレート生成装置および画像レイアウト装置では、前記各代表テンプレートを評価する手段が、各代表テンプレートを、その各コマ形状と当該コマに貼り付けられる画像の形状との乖離度に基づいて評価するようにした。

(5)本発明のレイアウトテンプレート生成装置および画像レイアウト装置は更に、各順序木の木構造を一意に表現する数値列を生成する手段を具備し、前記分類手段は、前記各順序木の数値列に基づいて、木構造は異なるものの見かけ上のコマ割りが同一のレイアウトテンプレート同士を同一グループに分類するようにした。

本発明によれば、以下のような効果が達成される。

(1)本発明の本発明のレイアウトテンプレート生成装置によれば、順序木の木構造は異なるものの見かけ上のコマ割りが同一のレイアウトテンプレート同士は一つのグループにまとめられ、同一グループから選択されるテンプレート候補が少数に制限されるので、ユーザに提示するテンプレート候補数が少数に制限される環境下では、ユーザに多種多様なテンプレート候補を提示することができるようになる。また、テンプレート候補数が少数に制限されない環境下でも、ユーザに提示するテンプレート候補は、見かけ上のコマ割りが異なって多様性に富むので、ユーザは所望のレイアウト候補を短時間で選択できるようになる。

(2)本発明の画像レイアウト装置によれば、順序木の木構造は異なるものの見かけ上のコマ割りが同一のレイアウトテンプレート同士は一つのグループにまとめられ、同一グループから選択されるテンプレート候補が少数に制限されるので、ユーザに提示するテンプレート候補数が少数に制限される環境下では、ユーザに多種多様なテンプレート候補を提示することができるようになる。また、テンプレート候補数が少数に制限されない環境下でも、ユーザに提示するテンプレート候補は、見かけ上のコマ割りが異なって多様性に富むので、ユーザは所望のレイアウト候補を短時間で選択できるようになる。その結果、ユーザの嗜好に合致した画像レイアウトを素早く提供できるようになる。

(3)レイアウトテンプレートの各コマに様々な順序で画像を貼り付けて画像レイアウトを評価する際に、評価対象をグループごとに１ないし極めて少数の代表テンプレートのみに制限できるので、評価値を算出するための処理負荷を軽減でき、また処理時間を短縮できる。

(4)各代表テンプレートが、その各コマ形状と当該コマに貼り付けられる画像の形状との乖離度に基づいて評価されるので、定量的な評価が可能になる。

(5)各順序木の木構造が数値列で表現され、レイアウトの類似性が順序木の数値列に基づいて判定されるので、レイアウトの類似性を客観的に評価できる。

本発明に係る画像レイアウト装置の構成を示したブロック図である。 水平分割線および垂直分割線の位置決定方法を示した図である。 順序木の木構造を一意に表現する数値列DSの生成方法を示した図である。 木構造は異なるものの見かけ上のレイアウトが同じになる木構造部分の一例を示した図である。 同一形状のコマが４行２列に配置されるレイアウトの順序木およびその数値列DSを一覧表示した図（その１）である。 同一形状のコマが４行２列に配置されるレイアウトの順序木およびその数値列DSを一覧表示した図（その２）である。 分割線位置の微調整方法を示した図である。 本発明の一実施形態の動作を示したフローチャートである。 レイアウトテンプレートの分類手順を示したフローチャートである。 数値列DSの深さの概念を説明するための図である。 クエリ数値列の生成方法を示した図である。 非特許文献３に開示されたコミック分析方法を示した図である。 順序木を生成する従来技術の一例を示したフローチャートである。 頂点数（ノード数）が「５」の順序木を示した図である。 ノードのレイヤの概念を説明するための図である 従来技術の順序木生成方法を示した図である。 本発明の技術課題を説明するための図である。 本発明による画像レイアウト候補の表示例を示した図である。 従来技術による画像レイアウト候補の表示例を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明に係る画像レイアウト装置の主要部の構成を示したブロック図である。

画像入力部１には、デジタルカメラで撮影された静止画、スキャナで読み取られた静止画、イラストあるいは動画像を構成するフレーム画像等（以下、画像で代表する）が入力される。出力領域設定部２は、画像から切り出してテンプレート上に出力する出力領域を各画像に設定する。この出力領域は、画像の中で特に重要と思われる領域であり、例えば人物を含んだスナップ写真であれば、顔を含む領域が出力領域に設定される。このような出力領域の設定は、ユーザインターフェース（図示せず）を介して利用者が手動で行っても良いし、あるいは周知の顔認識アプリケーションを用いて自動で行っても良い。

なお、注目領域の設定は前記非特許文献１や特許文献２に開示された技術を適用することで実施できる他、一般的にはVisual Attention Model (Itti, L. Koch, C., and Niebur, E., "A model of saliency based visual attention for rapid scene analysis. IEEE Trans. on Pattern Analysis and Machine Intelligence no. 11, pp. 1254-1259, Nov., 1998)を用いて注目物体領域を設定し、それが含まれるように矩形の出力領域を設定すればよい。イラストの場合であれば、書き込みの行われていない白紙の領域で、台紙の端に位置する領域を検出し、それ以外の箇所を注目物体領域と自動判別して設定し、それが含まれるように矩形の出力領域を設定すれば良い。

レイアウト条件設定部３は、出力ページのサイズやコマ数が指定されると、順序木に生成させる葉数N、順序木の最大深さ（最大レイヤ）、順序木のレイヤごとの最大葉数n_maxなどを設定する。前記葉数Nはコマ数であり、順序木の最大深さやレイヤごとの最大葉数n_maxは、前記出力ページのサイズやコマ数に応じて最適化される。

画像レイアウト候補生成部４において、順序木生成部４０は、前記レイアウト条件を満足できるレイアウトテンプレートに対応した多数の順序木を、左側優先の深さ優先探索により網羅的に生成する。分割線位置決定部４１は、前記順序木の木構造に基づいて、水平分割線および垂直分割線の位置を決定する。本実施形態では、出力ページが各分割線により水平方向および垂直方向に等分割されるように各分割線の位置が決定され。等分割は、ルートノードが水平方向の場合、各段の中にあるコマの高さの最小値が、全ての段で同じになるように分割する手法を指すこととする。例えば、図１２は３段から構成されるが、１段目、２段目、３段目のコマの高さの最小値は同じになっている。ルートノードが垂直方向の場合、各段の中にあるコマの幅の最小値が全ての段で同じになるように分割する手法を指すこととする。
このように分割されたとき、図２(a)，(b)に一例を示したように、木構造が異なるために水平および垂直分割の順序が異なる場合でも、各分割線の位置は等しくなって見かけ上のレイアウトが同じになる。

DS生成部４２は、各順序木の木構造を一意に表現する数値列DS(depth sequence)を生成する。この数値列DSは、図３に一例を示したように、左側優先の深さ優先探索で順序木を生成する際に、訪れた頂点の深さ（レイヤ）を前順序で並べることで生成される。

DS分類部４３は、後にフローチャートを参照して詳述するように、見かけ上のコマ割りは類似するものの木構造は異なる順序木を、その数値列DSに基づいて識別し、同一グループに分類する。すなわち、前記図１７(b)，(d)の木構造を比較したとき、図４(a)，(b)に示したように、破線で囲んだ領域は、いずれも水平線と垂直線とが直行する「田」の字状のレイアウトを表現している。したがって、図４(b)の数値列DSのうち[1233233]部分と同図(a)の数値列DSの[122122]部分とは、木構造は異なるものの見かけ上のレイアウトが同じになる木構造を示していることが判る。

換言すれば、木構造の異なる一方および他方の２つの順序木の数値列DSを比較したとき、一方の数値列DSに[1233233]部分が含まれていれば、これを[122122]に置換したとき、置換後の数値列DSが前記他方の数値列DSと一致すれば、両者は見かけ上のコマ割りが同じ順序木同士であることが判る。

そこで、本実施形態では前記[1233233]を一般化した数値列[k,(k+1,(k+2),Na)Nb]（ただし、[k,(k+1,(k+2),Na)Nb]の後続の数値は、k以下の数値であることを確認した数値列[k,(k+1,(k+2),Na)Nb]）を被置換数値列Za、前記[122122]を一般化した数値列[(k,(k+1)Nb)Na]を置換数値列Zbと定義し、各順序木の数値列DSから前記被置換数値列Zaを識別する被置換数値列識別部４3a、前記識別された被置換数値列Zaを前記置換数値列Dbに置換してクエリ数値列を生成するクエリ数値列生成部４３ｂ、および前記クエリ数値列と一致する数値列DSを探索して同一グループに分類する一致判定部４３ｃを設けた。

図５，６は、コマ割りが見かけ上同一となる数値列DS同士を同一グループに分類する方法を模式的に表現した図である。ここでは説明を判り易くするために、葉数Nが「８」、順序木の最大深度（最大レイヤ）が「３」の制約下で多数探索される順序木のうち、図５(a)に示したように、同一形状のコマが４行２列に配置されるレイアウトテンプレートの順序木およびその数値列DSのみに着目している。図５(b)-(e)および図６(a)-(c)の順序木からは、いずれも図５(a)のレイアウトを得られるものの各順序木の木構造は異なっている。これらのレイアウトテンプレートは、木構造は異なるが、見た目の同じレイアウトとして、グループ化される。他にグループ化の方法として、テンプレート中の全ての枠線の位置が同一となるかどうか他の全てのテンプレートに対して確認をしていく方法が考えられるが、非常に時間がかかるため、DSを比較してグループ化をしていく方法に対してメリットはない。
図１に戻り、代表テンプレート選択部４４は、各グループから代表テンプレートを選択する。評価部４５は、分割線調整部４５ａおよび画像貼り付け部４５ｂを備え、前記選択された各代表テンプレートの各コマに前記各画像を貼り付けて画像レイアウトを試行し、各コマの形状と画像の形状との乖離度を計測する。そして、乖離度の１ページ分の総和に基づいて各画像レイアウトを評価し、さらに前記乖離度が小さくなって評価値が最も高くなるように、コマ割りおよび分割線位置の調整を繰り返す。図７は、前記分割線位置の微調整方法を示した図であり、水平分割線は、その位置を上下に微調整され、垂直分割線は、その位置を左右方向に微調整される。

テンプレート候補選抜部４６は、前記評価結果に基づいて、評価が上位の一部の代表テンプレートをテンプレート候補として選抜する。出力部４７は、前記選抜されたテンプレート候補を、その評価値が最も高くなるコマ割りおよび分割線位置の状態で出力し、ユーザにより選択されたテンプレート候補を今回の入力画像に対応したレイアウトテンプレートに決定する。

次いで、フローチャートを参照して本発明の動作を説明する。図８は、本発明の一実施形態の動作を示したフローチャートである。

ステップＳ１１では、作成しようとするレイアウトテンプレートに要求するレイアウト条件として、貼り付け画像数（コマ数）に相当する葉数N、順序木の最大深さ（最大レイヤ）、順序木のレイヤごとの最大葉数n_maxなどが、前記レイアウト条件設定部３により設定される。ステップＳ１２では、前記レイアウト条件を満足する順序木が、前記順序木生成部４０において、従来技術と同様に網羅的に探索される。ステップＳ１３では、各分割線の位置が前記分割線位置決定部４１により決定される。

ステップＳ１４では、探索された全ての順序木について、その木構造を一意に表現できる数値列DS(depth sequence)が前記DS生成部４２により生成される。この数値列DSは、前記図３を参照して説明したように、左側優先の深さ優先探索で経路探索を実施した際に、訪れた頂点の深さ（レイヤ）を前順序で並べることで得られる。ステップＳ１５では、見かけ上のコマ割りが同一となるテンプレートに対応した順序木（ここでは、その数値列DS）が、前記ＤＳ分類部４３により同一グループに分類される。

図９は、前記分類方法の手順を示したフローチャートであり、ここでは説明を判りや易くするために、葉数Nが「８」、順序木の最大深度（最大レイヤ）が「３」に設定され、かつ同制約下で多数探索される順序木のうち、図５(a)に示したように、同一形状のコマが４行２列に配置されるレイアウトテンプレートの順序木およびその数値列DSのみに着目して説明する。

ステップＳ３０では、各順序木の木構造を一意に表現する多数の数値列DSの中から、重い順に数値列DSが一つずつ選択されて今回の注目数値列DStとされる。本実施形態では、ルートノードから左側優先の深さ優先探索により経路探索を行った際に、より早い段階でより深いレイヤまで探索が進んだ順序木の数値列DSがより「重い(hevier)」と定義される。したがって、数値列DS[0123…]は数値列DS[0122…]よりも重く、数値列DS[01230123]は数値列DS[0123012]よりも重いと定義されるので、見かけ上は図５(a)のレイアウトが得られる図５(b)-(e)および図６(a)-(c)の７つの数値列DSのみに着目すれば、その深さの相対関係は図１０に示した通りになり、今回の注目数値列DStとして最も重い[0123332333122]（図５(e)）が選択される。なお、本発明者等による先の特許出願（特願2010-179488号の手法では、重い木から軽い木の順序を保って木を生成している。最も重い木から順番に処理をしていけば、現在注目している木より軽い木のみを対象に数値列を探せばよく、それは比較的近い順番に位置していることが多いため、計算の無駄を省くことができる。ただし、重い木から軽い木への順番に処理を行うことは必須ではない。

ステップＳ３１では、前記被置換数値列識別部４３ａにより、注目数値列DStから置換対象となる被置換数値列Za=[k,(k+1(k+2)*Na)*Nb]の全てが識別される。ステップＳ３２では、被置換数値列Zaを識別出来たか否かが判定され、一つでも識別できればステップＳ３３へ進む。今回の注目数値列DStであれば、図１１(a)に示したように、[123332333]の箇所が被置換数値列(k=1，Na=3，Nb=2)と識別されるのでステップＳ３３へ進む。

ステップＳ３３では、識別された被置換数値列Zaxの組み合わせから一つが選択される。すなわち、注目数値列DStから２つの被置換数値列Za1，Za2が識別できていれば、「Za1」のみ、「Za2」のみ、ならびに「Za1およびZa2」の３通りの組み合わせがあり、ここではその一つが選択される。今回の注目数値列DStからは被置換数値列Zaが一つしか識別されていないので、前記[123332333]が選択される。

ステップＳ３４では、前記注目数値列DStの前記選択された今回の被置換数値列Zaが、前記クエリ数値列生成部４３ｂにより置換数値列Zbに置換されてクエリ数値列が生成される。本実施形態では、被置換数値列Za[123332333]が置換数値列Zb[122122122]に置換されてクエリ数値列[0122122122122]が生成される。

ステップＳ３５では、今回の注目数値列DStよりも浅い全ての数値列DSが前記クエリ数値列と比較される。ステップＳ３６において、前記クエリ数値列と一致する数値列DSが見つかるとステップＳ３７へ進む。本実施形態では、図５(b)の木構造を代表する数値列DSが前記クエリ値列と一致するのでステップＳ３７へ進み、前記見つかった数値列と前記今回の注目数値列DStとに同一のグループIDが付与される。

ステップＳ３８では、前記ステップＳ３１で識別された全ての被置換数値列Zaの組み合わせに関して上記の処理が終了しているか否かが判定され、ここでは終了していると判定される。

以上のようにして、今回の注目通知列DStに対応したレイアウトと見かけ上のコマ割りが一致する他の全てのレイアウトに対応した数値列（順序木）に対して同一のグループIDが付与されると、グルーピングの一つが完了したと判定されてステップＳ３９へ進む。上記のグルーピングは、全ての数値列DSに順次に注目して繰り返されるので、ステップＳ３９において、未だ注目していない値列DSがあると判定されるとステップＳ３０へ戻り、残りの数値列DSを重い順に選択して上記の処理が繰り返される。ここでは、未だ終了していないと判定されるのでステップＳ３０へ戻る。

ステップＳ３０では、２番目に重い数値列DS[123323312332333]が今回の注目数値列として選択され、ステップＳ３１では、注目数値列DStから被置換数値列Zaが識別される。本実施形態では、図１１(b)に示したように、[1233233]の２箇所が前記被置換数値列(k=1，Na=1，Nb=1)と識別される。ステップＳ３２では、注目数値列DStから被置換数値列Zaを識別できたか否かが判定され、ここでは２箇所が識別されたのでステップＳ３３へ進む。

ステップＳ３３では、識別された被置換数値列Zaxの組み合わせから一つが選択される。本実施形態では、被置換数値列Za[1233233]が２箇所で識別されているので、その「一方」のみ、「他方」のみ、および「両方」の３通りの組み合わせがあり、ここでは初めに「一方」が選択される。

ステップＳ３４では、前記注目数値列DStの前記選択された今回の被置換数値列Zaが置換数値列Zbに置換されてクエリ数値列が生成される。ここでは、一方の被置換数値列Za[1233233]のみが置換数値列Zb[122122]に置換されてクエリ値列[01221221233233]が生成される。

ステップＳ３５，Ｓ３６では、今回の注目数値列DStよりも浅い全ての数値列DSが前記クエリ数値列と比較され、一致する数値列DSが見つかるとステップＳ３７へ進む。本実施形態では、図６(a)の木構造を代表する数値列DSが前記クエリ値列と一致するのでステップＳ３７へ進み、前記見つかった数値列と前記今回の注目数値列DStとに同一のグループIDが付与される。

ステップＳ３８では、前記ステップＳ３１で識別された全ての被置換数値列Zaの組み合わせに関して上記の処理が終了しているか否かが判定される。ここでは終了していないと判定されるのでステップＳ３４へ戻り、前記「他方」の被置換数値列Za [1233233]が選択される。ステップＳ３５では、前記他方の被置換数値列Za[1233233]のみが置換数値列Zb[122122]に置換されてクエリ値列[01233233122122]が生成され、ステップＳ３５，Ｓ３６において、今回の注目数値列DStよりも浅い全ての数値列DSが前記クエリ数値列と比較される。その結果、本実施形態では図６(c)の木構造を代表する数値列DSが前記クエリ値列と一致するのでステップＳ３７へ進み、前記見つかった数値列と前記今回の注目数値列DStとに同一のグループIDが付与される。

ステップＳ３８では、前記ステップＳ３２で識別された全ての被置換数値列Zaの組み合わせに関して上記の処理が終了しているか否かが判定される。ここでも終了していないと判定されるのでステップＳ３４へ戻り、前記「両方」の被置換数値列Za [1233233]が選択される。ステップＳ３４では、前記両方の被置換数値列Za[1233233]が置換数値列Zb[122122]に置換されてクエリ値列[0122122122122]が生成され、ステップＳ３５，Ｓ３６では、今回の注目数値列DStよりも浅い全ての数値列DSが前記クエリ数値列と比較される。その結果、本実施形態では図５(b)の木構造を代表する数値列DSが前記クエリ値列と一致するのでステップＳ３７へ進み、前記見つかった数値列と前記今回の注目数値列DStとに同一のグループIDが付与される。

以下同様に、重い数値列DSから順に一つずつ注目して上記の処理が繰り返され、例えば注目数値列DStが[0122123332333]であれば、図１１(c)に示したように、クエリ数値列[0122122122122]が生成されるので、図６(b)の木構造を代表する数値列DSと一致すると判定されて同一のグループIDを付与される。

図８のフローチャートへ戻り、ステップＳ１６では、前記代表テンプレート選択部４４により、グループ毎に代表テンプレートが一つ選択される。ステップＳ１７では、前記評価部４５において、各代表テンプレートの各コマに今回の画像を貼り付けて画像レイアウトが試行され、各コマ形状と各画像の形状との乖離度に基づいて評価値が算出される。なお、各コマ形状と各画像形状との乖離度に基づいて画像レイアウトの評価値を算出する方法は、本発明者等による先の特許出願（特願２０１０−１７９４８８号）で詳細に説明されているので、その説明をここに援用する。

ステップＳ１８では、前記各グループから選択された代表テンプレートの中から、画像レイアウトの評価が高い上位Ua枚の代表テンプレートが選択される。ステップＳ１９では、前記選択されたUa枚の代表テンプレートに対して、その評価値が高くなるように、分割線の微調整および再評価が繰り返される。

ステップＳ２０では、前記微調整処理が実施されて再評価されたUa枚の代表テンプレートの中から、評価値の高い上位Ub(<Ua)枚の代表テンプレートが、前記テンプレート候補選抜部４６によりテンプレート候補として選抜される。ステップＳ２１では、前記テンプレート候補の各コマに各画像が貼り付けられ、画像レイアウト状態で前記出力部４７によりディスプレイに出力されてユーザに提示される。

図１８は、本発明によりユーザに提示される画像レイアウト（テンプレート候補）の上位１０枚の一例を示した図であり、図１９は、従来技術によりユーザに提示されるテンプレート候補の上位１０枚の一例を示した図である。

図１９の従来技術では、上位の７枚までは分割線の位置こそ多少異なるものの基本的なテンプレート構造は全て４行２列で同一である。また、８番目と１０番目も、分割線の位置は多少異なるものの基本的なテンプレート構造は同一である。これに対して、図１８に示した本発明の実施形態では、上位１０枚のテンプレート構造が全て異なっており、ユーザの選択肢が拡がっていることが判る。

図８へ戻り、ユーザが前記提示されたMb枚のテンプレート候補から所望のテンプレート候補を選択すると、この選択がステップＳ２２で受け付けられる。ステップＳ２３では、前記選択されたレイアウトテンプレートの各コマに画像が貼り付けられ、前記出力部４７により画像レイアウトとして出力される。

なお、ユーザが選択したレイアウトに対して、これに類似した、より良いレイアウト候補を表示できるようにしても良い。その場合、選択された代表テンプレートと同一グループの他のレイアウト候補のうち、評価値の高いレイアウトを提示することが望ましい。

また、上記の実施形態では、各順序木の木構造を一意に表現する数値列DSが、順序木を左側優先の深さ優先探索で生成する際に、訪れた頂点の深さ（レイヤ）を前順序で並べることで生成されるものとして説明したが、本発明はこれのみに限定されるものではなく、順序木を片側優先の深さ優先探索で生成する際であれば、右側優先の深さ優先探索の際に生成されるようにしても良い。

１…画像入力部，２…出力領域設定部，３…レイアウト条件設定部，４…画像レイアウト候補生成部，４０…順序木生成部，４１…分割線位置決定部，４２…DS生成部，４３…DS分類部，４４…代表テンプレート選択部，４５…評価部，４６…テンプレート候補選抜部，４７…出力部

Claims (20)

1. 画像を貼り付けられる複数のコマが配置されたレイアウトテンプレートを生成するレイアウトテンプレート生成装置において、
   所定のレイアウト条件を満足するレイアウトテンプレートを表現する複数種の順序木を対象に、木構造は異なるものの見かけ上のコマ割りが同一のレイアウトテンプレート同士を同一グループに分類する手段と、
   各グループから代表テンプレートを選択する手段と、
   前記各代表テンプレートをレイアウトテンプレート候補として出力する手段とを具備したことを特徴とするレイアウトテンプレート生成装置。
2. 前記各グループから選択された代表テンプレートを評価する手段と、
   前記評価の結果に基づいて、前記代表テンプレートから複数のテンプレート候補を選抜する手段とをさらに具備したことを特徴とする請求項１に記載のレイアウトテンプレート生成装置。
3. 前記各代表テンプレートを評価する手段は、各代表テンプレートを、その各コマ形状と当該コマに貼り付けられる画像の形状との乖離度に基づいて評価することを特徴とする請求項２に記載のレイアウトテンプレート生成装置。
4. 前記各代表テンプレートを評価する手段は、各代表テンプレートの水平分割線および垂直分割線の位置を調整する手段を具し、
   各分割線の位置を調整しながら各コマに各画像を貼り付けて評価することを繰り返し、最も評価の高い分割線位置を代表テンプレートとすることを特徴とする請求項３に記載のレイアウトテンプレート生成装置。
5. 前記各順序木の木構造を一意に表現する数値列を生成する手段を具備し、
   前記分類手段は、前記各順序木の数値列に基づいて、木構造は異なるものの見かけ上のコマ割りが同一のレイアウトテンプレート同士を同一グループに分類することを特徴とする請求項１ないし４のいずれかに記載のレイアウトテンプレート生成装置。
6. 前記数値列を生成する手段は、片側優先の深さ優先探索で順序木を生成する際に、訪れた頂点の深さを前順序で並べることで生成することを特徴とする請求項５に記載のレイアウトテンプレート生成装置。
7. 前記所定のレイアウト条件を満足するレイアウトテンプレートを表現する複数種の順序木を生成する手段と、
   各順序木の木構造に基づいて、そのレイアウトテンプレートにおける水平分割線および垂直分割線の位置を決定する手段とをさらに具備したことを特徴とする請求項１ないし６のいずれかに記載のレイアウトテンプレート生成装置。
8. 前記分割線の位置を決定する手段は、出力ページが各分割線により水平方向および垂直方向に等分割されるように各分割線の位置を決定することを特徴とする請求項７に記載のレイアウトテンプレート生成装置。
9. 前記分類する手段は、
   見かけ上のレイアウトが同一となる木構造部分の数値列ペアとして、置換数値列および被置換数値列を設定する手段と、
   木構造を順次に選択してその数値列に注目し、前記被置換数値列を識別する手段と、
   前記被置換数値列を前記置換数値列に置換してクエリ数値列を生成する手段と、
   前記クエリ数値列と一致する数値列を探索する手段とを具備し、
   前記クエリ数値列と一致する数値列が前記注目した数値列と同一のグループに分類されることを特徴とする請求項５に記載のレイアウトテンプレート生成装置。
10. 前記クエリ数値列を生成する手段は、前記注目した数値列から複数の被置換数値列が識別されていると、その全ての組み合わせに関して各被置換数値列を前記置換数値列に置換して複数のクエリ数値列を生成し、
    いずれかのクエリ数値列と一致する数値列が全て前記注目した数値列と同一のグループに分類されることを特徴とする請求項９に記載のレイアウトテンプレート生成装置。
11. 複数の画像をレイアウトテンプレートの各コマに貼り付けて出力する画像レイアウト装置において、
    所定のレイアウト条件を満足するレイアウトテンプレートを表現する複数種の順序木を対象に、木構造は異なるものの見かけ上のコマ割りが同一のレイアウトテンプレート同士を同一グループに分類する手段と、
    各グループから代表テンプレートを選択する手段と、
    前記各代表テンプレートの各コマに画像を貼り付け、テンプレート候補として出力する手段と、
    前記出力された複数のテンプレート候補から一つのテンプレートを選択するユーザ操作を受け付ける手段と、
    前記選択されたテンプレートの各コマに画像を貼り付けて出力する手段とを具備したことを特徴とする画像レイアウト装置。
12. 前記各グループから選択された代表テンプレートを評価する手段と、
    前記評価の結果に基づいて、前記代表テンプレートから複数のテンプレート候補を選抜する手段とをさらに具備したことを特徴とする請求項１１に記載の画像レイアウト装置。
13. 前記各代表テンプレートを評価する手段は、各代表テンプレートを、その各コマ形状と当該コマに貼り付けられる画像の形状との乖離度に基づいて評価することを特徴とする請求項１２に記載の画像レイアウト装置。
14. 前記各代表テンプレートを評価する手段は、各代表テンプレートの水平分割線および垂直分割線の位置を調整する手段を具し、
    各分割線の位置を調整しながら各コマに各画像を貼り付けて評価することを繰り返し、最も評価の高い分割線位置を代表テンプレートとすることを特徴とする請求項１３に記載の画像レイアウト装置。
15. 前記各順序木の木構造を一意に表現する数値列を生成する手段を具備し、
    前記分類手段は、前記各順序木の数値列に基づいて、木構造は異なるものの見かけ上のコマ割りが同一のレイアウトテンプレート同士を同一グループに分類することを特徴とする請求項１１ないし１４のいずれかに記載の画像レイアウト装置。
16. 前記数値列を生成する手段は、片側優先の深さ優先探索で順序木を生成する際に、訪れた頂点の深さを前順序で並べることで生成することを特徴とする請求項１５に記載の画像レイアウト装置。
17. 前記所定のレイアウト条件を満足するレイアウトテンプレートを表現する複数種の順序木を生成する手段と、
    各順序木の木構造に基づいて、そのレイアウトテンプレートにおける水平分割線および垂直分割線の位置を決定する手段とをさらに具備したことを特徴とする請求項１１ないし１６のいずれかに記載の画像レイアウト装置。
18. 前記分割線の位置を決定する手段は、出力ページが各分割線により水平方向および垂直方向に等分割されるように各分割線の位置を決定することを特徴とする請求項１７に記載の画像レイアウト装置。
19. 前記分類する手段は、
    見かけ上のレイアウトが同一となる木構造部分の数値列ペアとして、置換数値列および被置換数値列を設定する手段と、
    木構造を順次に選択してその数値列に注目し、前記被置換数値列を識別する手段と、
    前記被置換数値列を前記置換数値列に置換してクエリ数値列を生成する手段と、
    前記クエリ数値列と一致する数値列を探索する手段とを具備し、
    前記クエリ数値列と一致する数値列が前記注目した数値列と同一のグループに分類されることを特徴とする請求項１５に記載の画像レイアウト装置。
20. 前記クエリ数値列を生成する手段は、前記注目した数値列から複数の被置換数値列が識別されていると、その全ての組み合わせに関して各被置換数値列を前記置換数値列に置換して複数のクエリ数値列を生成し、
    いずれかのクエリ数値列と一致する数値列が全て前記注目した数値列と同一のグループに分類されることを特徴とする請求項１９に記載の画像レイアウト装置。