JP2010050528A - コマ割り方法および装置ならびにコマ割り評価装置 - Google Patents

Abstract

【課題】画像の形状や重要度と、当該画像が貼り付けられるコマの形状やサイズとの関係をコマ割りに反映させることで、主観品質の高いコマ割りを自動で行えるコマ割り方法および装置ならびにコマ割り評価装置を提供する。
【解決手段】複数の画像を所定の出力ページに所定の順序でコミック風に配置するコマ割りを評価するコマ割り評価装置において、出力ページに割り付けるコマ数に応じて複数のコマ割り候補を生成するコマ割り候補作成部４と、コマ割り候補ごとに、各コマの形状と当該コマに貼り付けられる画像の形状との乖離度を算出する形状評価部５ａと、乖離度の総和が小さいコマ割り候補をコマ割りの解に決定するコマ割り決定部６と、決定されたコマ割りの各コマの形状を、乖離度の総和が小さくなるように、乖離の大きいコマから順に微調整する微調整部９とを具備した。
【選択図】図１

Description

本発明は、複数の画像を所定の出力ページに所定の順序でコミック風に配置するコマ割りを決定するコマ割り方法および装置ならびにコマ割り評価装置に係り、特に、主観品質の高いコマ割りを可能にしたコマ割り方法および装置、ならびに主観品質の評価を可能にしたコマ割り評価装置に関する。

映像情報の要約をサムネイル化する手法の一つとして、画像や映像中のキーフレームの画像を抽出し、その時間順を保持した上でコミックマンガのコマ割りのように矩形領域内に配置してサムネイル表示する手法が注目されている。コミック風コマ割りは、マンガを読める人ならば序数を各コマに振らなくてもコマの順序が判るという利点がある。このコミック風コマ割りを実現するためには、(1)各コマに貼り付ける画像の切り出し範囲の設定、(2)出力ページ（矩形領域）へのコマ割りの設定、の２つの要素について同時に主観品質を最大化することが求められる。

非特許文献１には、前記要件(1)に関して、自動生成手法としてVisual Attention Modelingにより各フレーム内の注目領域の重み付けを自動で行い、注目領域が多く含まれるよう画像を切り出す手法が提案されている。

特許文献１には、前記要件(2)に関して、ページ内の最大のコマ数を示す情報である上限コマ数情報、コマとコマの間の隙間を示す情報である隙間情報、内枠と外枠の余白を示す余白情報等をコマ割条件情報として設定すると、全ての条件を満足するコマ割りを自動的に生成する手法が提案されている。

非特許文献２には、裁断線を用いたコマ割り表現手法(ギロチンカット法)を用いることで、実際のマンガをスキャンした画像から様々なコマ割りを自動で分析する手法が提案されている。

図２９は、この非特許文献２により得られる分析結果の一例を示した図であり、同図(a)のようにコマ割りされたマンガがスキャンされると、初めにスキャン画像から水平分割線または垂直分割線が探索される。多くの場合、始めに探索されるのは水平分割線である。ここでは、同図(b)に示した２つの水平分割線L1，L2が検知され、各水平分割線L1，L2に基づいて領域が３つのコマa1，a2，a3に分割される。次いで、一つのコマ（ここではa1）に着目して垂直分割線が探索される。ここでは、同図(c)に示したように、垂直分割線L3が検知され、コマa1がさらに２つのコマa11，a12に分割される。次いで、一つのコマ（ここではa12）に着目して水平分割線が探索される。ここでは、同図(d)に示したように、水平分割線L4が検知され、コマa12がさらに２つのコマa121，a122に分割される。以下同様に、分割により新たに得られたコマごとに垂直分割および水平分割が交互に繰り返され、最終的に同図(f)の木構造が分析結果として得られる。

木構造は、水平分割を示すノード「H」、および垂直分割を示すノード「V」から構成され、水平分割ノードHから下方に延びた枝の数は水平に分割されるコマ数を表し、垂直分割ノードVから下方に延びた枝の数は垂直に分割されるコマ数を表す。同図(f)の木構造は、H(V(H(1,2)3)V(4,5,6)7)と表現され、これはルートの水平分割数が「３」、それぞれの枝の垂直分割数が「２」，「３」，「０」であり、２個に垂直分割された枝の一つが更に水平に２分割されていることを示している。また、それぞれの葉がコマの序数に相当し、第１，２，３，４，５，６，７コマ目となっていることを示す。分割線の数は、分割されるコマ数−１となり、それぞれ出力ページのどの位置で分割されたかという情報を持つ。

特許文献２には、複数の画像の注目領域を抜き出し、出力ページに注目領域が多く含まれるように配置するコラージュ手法が提案されている。
J. Calic, N. Campbell, "Optimising Layout of Video Summaries for Mobile Devices using Visual Attention Modelling", Proc. of the 2nd International Mobile Multimedia Communications Conference MobiMedia 2006, Alghero, Italy. Takamasa Tanaka, Kenji Shoji, Fubito Toyama, and Juichi Miyamich, "Layout Analysis of Tree-Structured Scene Frames in Comic Images", Proc. of IJCAI-07, pp.2885-2890, 2007. 特許第４１１１９４８号公報 米国特許公開公報第２００７−００５８８４号

非特許文献１では、コマ割りは予め用意されたテンプレートの組合せの中から選択しなければならないので、テンプレートを手動で十分に用意できない場合には、各原画像から切り出されるサムネイル画像の形状や重要度と、当該サムネイル画像が貼り付けられるコマの形状やサイズとの関係をコマ割りに反映させることができず、主観品質の高いコマ割りを自動で行うことができない。

非特許文献２によれば、様々な既存のコマ割りを定量的に分析できるものの、コマ割りを自動的に行うことはできない。

特許文献１によれば、出力ページを自動的にコマ割りできるものの、各マンガから切り出される画像の形状や重要度が考慮されておらず、これらを各画像が貼り付けられるコマの形状やサイズに反映させることができないので、主観品質の高いコマ割りを自動で行うことができない。

特許文献２によれば、画像から注目領域を自動的に抽出できるものの、所定の順序を保つコマ割りを自動で行うことができない。

本発明の目的は、上記した従来技術の課題を解決し、各画像から切り出されるサムネイル画像の形状や重要度と、当該サムネイル画像が貼り付けられるコマの形状やサイズとの関係をコマ割りに反映させることで、主観品質の高いコマ割りを自動で行うことができ、さらには、有意な領域が多く含まれ、非有意な領域が少ない、主観品質の高い様々なコマ割り候補を多数提案できるコマ割り方法および装置ならびにコマ割り評価装置を提供することにある。

上記の目的を達成するために、本発明は、複数の画像を所定の出力ページに所定の順序でコミック風に配置するコマ割りを評価するコマ割り方法および装置ならびにコマ割り評価装置において、以下のような手段を講じた点に特徴がある。

(1)コマ割り候補の各コマの形状と当該コマに貼り付けられる画像の形状との乖離度を算出する形状評価手段を具備し、乖離度に基づいてコマ割り候補を評価することを特徴とする。

(2)複数のコマ割り候補を対象に、各コマの形状と当該コマに貼り付けられる画像の形状との乖離度を算出する形状評価手段と、乖離度に基づいてコマ割りの解を決定するコマ割り決定手段とを具備したことを特徴とする。

(3)コマ割り決定手段は、乖離度の総和が小さい複数のコマ割り候補を選抜する手段と、複数のコマ割り候補を出力する手段と、複数のコマ割り候補の中の一つを選択させるユーザインターフェースとを具備し、選択されたコマ割り候補をコマ割りの解とすることを特徴とする。

(4)コマ割り候補を生成する手段が、水平方向への領域分割を枝の分岐で代表する水平分割ノード、および垂直方向への領域分割を枝の分岐で代表する水平分割ノードから構成される木構造を、葉の数が前記コマ数に達するように、分岐させる枝および分岐数を変更しながら繰り返し成長させ、木構造の各葉の位置に基づいてコマ割り候補を生成することを特徴とする。

(5)コマ割りの解の各コマの形状を、各コマに対応した画像の順序を維持したまま、乖離度の総和が小さくなるように微調整する微調整手段を更に具備したことを特徴とする。

(6)コマ割り決定手段は、乖離度の総和が小さい複数のコマ割り候補を選抜し、微調整手段は、前記複数のコマ割り候補の各コマの形状を微調整し、微調整後に乖離度の総和が最小のコマ割り候補をコマ割りの解に決定することを特徴とする。

(7)複数の画像に重要度を設定し、コマ割り候補ごとに、各コマの大きさと当該コマに貼り付けられる画像の重要度との乖離度を算出する大きさ評価手段を具備し、コマ割り決定手段は、形状に関する乖離度および大きさに関する乖離度の各総和の和が小さいコマ割り候補をコマ割りの解に決定することを特徴とする。

(8)形状評価および大きさ評価に重みが設定され、コマ割り決定手段は、形状に関する乖離度の総和および大きさに関する乖離度の総和を前記重みに応じた割合で加算することを特徴とする。

(9)各画像に対して、アスペクト比の異なる複数の出力領域を設定する領域設定手段を具備し、形状評価手段は、各コマの形状と各出力領域の形状との乖離度を算出する際、各コマのアスペクト比が複数の出力領域の各アスペクト比の範囲から外れるほど乖離度を大きくすることを特徴とする。

本発明によれば、以下のような効果が達成される。

特徴(1)によれば、コマ割り候補が、各コマの形状と当該コマに貼り付けられる画像の形状との乖離度に基づいて定量的に評価されるので、主観品質に基づく評価が可能になる。

特徴(2)によれば、各コマ割り候補が、各コマの形状と当該コマに貼り付けられる画像の形状との乖離度に基づいて定量的に評価されるので、コマ形状と画像形状との乖離が小さく、したがって主観品質の高いコマ割りを選択できるようになる。

特徴(3)によれば、評価の高いコマ割り候補を準最適解として利用者に提示し、その中からコマ割りの解を決定させるようにしたので、利用者の嗜好や意志が反映されたコマ割りを選べるようになる。

特徴(4)によれば、コマ数の応じた多数のコマ割り候補を、小さな処理負荷で漏れなく生成できるようになる。

特徴(5)によれば、選択されたコマ割りの各コマ形状を微調整できるので、主観品質を更に向上させることができる。

特徴(6)によれば、最初に評価の高い複数のコマ割り候補が準最適解として選抜され、これらコマ割り候補のみを対象に微調整を行ってコマ割りを決定するので、主観品質の極めて高いコマ割りを選択できるようになる。また、全てのコマ割り候補を微調整する場合に較べて、少ない負荷で主観品質の高いコマ割りを選択できるようになる。

特徴(7)によれば、コマ割り候補を形状評価および大きさ評価の２つの尺度で総合的に評価できるので、主観品質の極めて高いコマ割りを選択できるようになる。

特徴(8)によれば、形状評価の重みと大きさ評価の重みとを調整できるので、目的に見合ったコマ割りを選択できるようになる。

特徴(9)によれば、取り得るコマの形状の自由度が増すため、より主観評価の高いコマ割りを生成できるのみならず、取り得るコマ割りパターンが増えるため、見た目の異なる様々なコマ割りを生成できるようになる。

以下、図面を参照して本発明の最良の実施形態について詳細に説明する。
[第１実施形態]

図１は、本発明に係るコマ割り方法および装置を適用したコミック風サムネイル生成装置の第１実施形態のブロック図である。画像入力部１には、デジタルカメラで撮影された静止画のように、撮影日時や連番のファイル名など、時系列や順序の情報を含む多数の静止画が入力される。なお、画像入力部１に入力される静止画は、デジタルカメラで撮影された静止画やスキャナで読み取られた静止画に限定されるものではなく、動画像を構成するフレーム画像（以下、画像で代表する）であっても良い。

出力領域設定部２は、画像のサムネイル画像として出力するのに好適な出力領域Rtを各画像に設定する。この出力領域Rtは、画像の中で特に重要と思われる領域であり、例えば人物を含んだスナップ写真であれば、顔を含む領域が出力領域Rtに設定される。このような出力領域Rtの設定は、ユーザインターフェース（図示せず）を介して利用者が手動で行っても良いし、あるいは周知の顔認識アプリケーションを用いて自動で行っても良い。

なお、注目領域の設定は非特許文献１や特許文献２に開示された技術を適用することで実施できる他、一般的にはVisual Attention Model (Itti, L. Koch, C., and Niebur, E., “A model of saliency based visual attention for rapid scene analysis. IEEE Trans. on Pattern Analysis and Machine Intelligence no. 11, pp. 1254-1259, Nov., 1998) を用いて注目物体領域を設定し、それが含まれるように矩形の注目領域を設定すればよい。

条件設定部３には、出力ページのサイズSおよびコマ数Nkが設定される。例えば、A4サイズ（縦）の用紙に４枚のサムネイル画像を配置するのであれば、サイズSとして「A4（縦）」、コマ数Nkとして「４」が設定される。コマ割り候補作成部４は、前記設定されたサイズSの出力ページが前記設定されたコマ数Nkに仕切られた多数のコマ割り候補Kcを作成する。

図２は、コマ割り候補の一例を示した図であり、サイズSおよびコマ数Nk（ここでは、「４」）の条件を満足する多種のコマ割り候補Kcj（j：コマ割り候補識別子）が生成され、各コマ割り候補Kcjの各コマKij（i：画像識別子）には、コミックママンガと同様の順序でコマ数分の序数１〜４が仮想的に割り当てられる。本実施形態では、このようなコマ割り候補の作成に木構造表現を用い、木構造における枝の分岐数、葉の位置および枚数でコマの位置および個数を表すようにしている。

図３，４，５，６は、コマ割り候補Kcと木構造との関係を示した図であり、水平分割ノードHから下方に延びた枝の分岐数は、領域を水平方向に分割する際の分割数を表し、垂直分割ノードVから下方に延びた枝の分岐数は、領域を垂直方向に分割する際の分割数を表している。したがって、コマ数Nkが「２」であれば、図３に示したように、ルートノードとしての水平分割ノードHから２本に分岐する木構造[同図(a)]と、ルートノードとしての垂直分割ノードVから２本に分岐する木構造[同図(b)]とが生成され、各木構造表現に基づいてコマ割り候補が生成される。

同様に、コマ数Nkが「３」であれば、図４に示した６つのコマ割り候補が木構造として生成される。コマ数Nkが「４」であれば、図５，６に示した計２２個のコマ割り候補が木構造として生成される。各木構造の葉には、左側から順に丸数字で示したコマ番号が割り当てられる。なお、水平分割ノードHや垂直分割ノードVから下方に延びる枝の分岐数には上限数Nbを設定することができ、この上限数Nbが設定されている場合には、枝の分岐数が上限数Nbに制限される。

図７は、前記コマ割り候補作成部４による木構造表現を用いたコマ割り候補の作成方法の一例を示したフローチャートであり、図８は、木構造の生成過程を模式的に示した図である。ここでは、コマ数Nkが「４」の場合を例にして説明する。

ステップＳ１００では、今回の出力ページに割り付けるコマ数Nkが取得され、枝の分岐数に関する上限数Nbが設定される。ここでは、上限数Nbが「４」に設定されたものとして説明を続ける。ステップＳ１０１では、水平分割ノードHがルートノードに設定される。ステップＳ１０２では、水平分割ノードHからの分岐数を変更しながら木構造を成長させるための繰り返し変数L1に初期値「２」が設定される。ステップＳ１０３では、図８(a)に示したように、水平分割ノードHからL1本（最初は、２本）の枝が分岐される。ステップＳ１０４では、現在の葉の枚数Nleafとコマ数Nkとが比較され、ここではNleafが「２」なので、不一致と判定されてステップＳ１０６へ進む。

ステップＳ１０６では、図８(b)に示したように、水平分割ノードHから分岐した枝に垂直分割ノードVを設定する全てのパターンの一つが実行される。すなわち、水平分割ノードHからの分岐線が２本であれば、いずれか一つに設定するパターンおよび全部に設定するパターンの計３パターンの一つが実行される。また、水平分割ノードHからの分岐線が３本であれば、いずれか一つに設定するパターン、いずれか２つに設定するパターン、および全部に設定するパターンの計７パターンの一つが実行される。

ステップＳ１０７では、垂直分割ノードVからの分岐数を変更しながら木構造を成長させるための繰り返し変数L2に初期値「２」が設定される。ステップＳ１０８では、図８(c)に示したように、前記設定された垂直分割ノードVからL2本（最初は、２本）の枝が分岐される。ステップＳ１０９では、現在の葉の枚数Nleafとコマ数Nkとが比較され、ここではNleafが「３」なので、不一致と判定されてステップＳ１１１へ進む。

ステップＳ１１１では、図８(d)に示したように、垂直分割ノードVから分岐した枝に水平分割ノードHを設定する全てのパターンの一つが実行される。ステップＳ１１２では、水平分割ノードHからの分岐数を変更しながら木構造を成長させるための繰り返し変数L3に初期値「２」が設定される。ステップＳ１１３では、図８(e)に示したように、前記水平分割ノードHからH3本（最初は、２本）の枝が分岐される。ステップＳ１１４では、現在の葉の枚数Nleafとコマ数Nkとが比較され、ここではNleafが「４」なので、一致すると判定されてステップＳ１２０へ進む。ステップＳ１２０では、今回の木構造[同図(e)]がコマ割り候補Kcの一つとして記憶される。

ステップＳ１１５では、繰り返し変数L3と分岐数の上限数Nb（＝４）とが比較され、最初はL3が「２」で不一致と判定されるのでステップＳ１１２へ戻り、繰り返し変数L3をインクリメントしながら上記の処理が繰り返される。但し、本実施形態のようにコマ数Nkが「４」であれば、L3が「２」を超えるとステップＳ１１４の判定が全て否定となるので、ここではL3＝２の場合についてのみコマ割り候補が生成されることになる。

前記ステップＳ１１５において、L3＝Nbと判定されるとステップＳ１１６へ進む。ステップＳ１１６では、前記垂直分割ノードVから分岐した枝に垂直分割ノードVを設定する全てのパターンに関して上記の処理が完了したか否かが判定される。ここでは、未処理のパターンが残っているのでステップＳ１１１へ戻り、同図(f)に示したように、もう一方の枝に水平分割ノードHを設定するパターンについて上記の処理が繰り返され、同図(g)に示した木構造がコマ割り候補Kcの一つとして追加登録される。

一方、ステップＳ１１６において、前記垂直分割ノードVから分岐した枝に垂直分割ノードVを設定する全てのパターンに関して処理が完了したと判定されるとステップＳ１１７へ進む。ステップＳ１１７では、繰り返し変数L2がNbに未だ達していないと判定されるのでステップＳ１０７へ戻り、繰り返し変数L2を「３」にインクリメントして上記の処理が繰り返される。すなわち、ステップＳ１０８では、図８(h)に示したように、垂直分割ノードVから３本の枝が分岐される。

以下同様に、水平分割ノードHから分岐した枝への垂直分割ノードVの設定パターンや、垂直分割ノードVから分岐した枝への水平分割ノードHの設定パターンを変更しながら各処理を繰り返すことで、前記図５に示した１１個のコマ割り候補が作成される。さらに、前記ステップＳ１０１，Ｓ１１１で設定されるルートノードおよび水平分割ノードHをいずれも垂直分割ノードVに変更し、ステップＳ１０６で設定される垂直分割ノードVを水平分割ノードHに変更して上記の各処理を繰り返すことにより、前記図６に示した１１個のコマ割り候補が作成され、合計で２２個のコマ割り候補が、コマ数Nkが「４」の場合のコマ割り候補Kcとして得られる。

なお、前記各木構造表現において各領域を水平方向や垂直方向へ分割する際の分割位置は、領域を等分割する位置であっても良いし、乱数に応じて不規則に分割する位置であっても良い。各領域の分割線の位置は各木構造と対応付けられて管理される。

図１へ戻り、評価部５の形状評価部５ａは、コマ割り候補Kcjごとに、各画像Piに設定された出力領域Rtの形状を代表するパラメータおよび対応位置のコマの形状を代表するパラメータを、各形状の乖離を表す適宜の評価関数に適用して画像単位すなわちコマ単位で評価値を算出し、その一ページ分の総和を当該コマ割り候補Kcjの評価値として出力する。コマ割り決定部６は、評価の高いコマ割り候補を今回のコマ割りの解とする。

図９，１０は、前記評価部５およびコマ割り決定部６の動作を模式的に表現した図であり、ここでは、出力ページが４コマに分割され、各コマk1，k2，k3，k4に、画像P1の出力領域Rt1、画像P2の出力領域Rt2、画像P3の出力領域Rt3および画像P4の出力領域Rt4がそれぞれ貼り付けられるものとする。また、出力領域Rt1、Rt4は正方形、出力領域Rt2、Rt3は縦長の長方形であるものとする。

コマ割り候補kc1では、正方形の出力領域Rt1、Rt4に対応したコマk1，k4がいずれも縦長の長方形であり、形状の乖離性が大きいので低い評価しか得られない。同様に、長方形の出力領域Rt2，Rt3に対応したコマk2，k3は正方形であり、ここでも形状の乖離性が大きいので低い評価しか得られない。したがって、ページ全体の評価も低くなる。

一方、コマ割り候補kc2では、正方形の出力領域Rt1、Rt4に対応したコマk1，k4のうち、一方のコマk1は正方形なので高い評価が得られるものの他方のコマk4は長方形なので低い評価しか得られない。また、長方形の出力領域Rt2，Rt3に対応したコマk2，k3のうち、一方のコマk3は長方形なので高い評価が得られるものの他方のコマk2は正方形なので低い評価しか得られない。したがって、ページ全体の評価は中程度となる。

これに対して、コマ割り候補kc3では、正方形の出力領域Rt1、Rt4に対応したコマk1，k4がいずれも正方形であり、長方形の出力領域Rt2，Rt3に対応したコマk2，k3は長方形である。したがって、いずれのコマでも形状の乖離性が低くなり、高い評価が得られるので、ページ全体の評価も高くなる。同様の理由で、コマ割り候補kc4についても高い評価が得られる。したがって、図１０の例ではコマ割り候補kc3および／またはkc4がコマ割りの解となる。

図１へ戻り、微調整部９は、後に詳述するように、前記コマ割りの解を微調整することで主観的な評価を更に向上させる。画像加工部７は、画像切出部７ａおよび画像拡大縮小部７ｂを含み、画像の出力領域Rtを含む所定範囲を貼り付け先のコマの形状およびサイズに合わせて加工する。

前記切出部７ａは、コマ割りの解の各コマの形状に合わせて各画像から前記出力領域Rtを含むサムネイル画像を切り出す。前記画像拡大縮小部７ｂは、各サムネイル画像を貼り付け先のコマサイズに合わせて拡縮する。画像貼付部８は、各サムネイル画像を前記コマ割りの解の対応するコマに貼り付けてコミック風サムネイル画像を完成する。

次いで、本実施形態の動作を、図１１，１２のフローチャートに沿って更に詳細に説明する。ステップＳ１では、出力対象の全ての画像Piが前記画像入部１に取り込まれる。ステップＳ２では、前記出力領域設定部３において、全ての画像に対して出力領域Rtが設定される。本実施形態では、出力領域Rtとして注目領域R1および推奨領域R2が設定される。

ここで、注目領域R1はコマのサイズや形状にかかわらず必ず表示させたい必須領域である。推奨領域R2は前記注目領域R1と一部が重なる横長、縦長または正方形の領域あり、サムネイル画像に最良と思われる領域である。

図１３は、注目領域R1および推奨領域R2の設定例を示した図であり、画像Piが結婚式の入場シーンであれば、新郎新婦の顔を含む領域が注目領域R1に設定され、前記注目領域R1および新郎新婦の進行方向を包含する横長の範囲が推奨領域R2に設定される。なお、注目領域R1と推奨領域R2とは一部が重なっていることが望ましいが、推奨領域R2が注目領域R1を完全に包含している必要はない。

また、推奨領域R2は一つに限定されず、注目領域R1を含む他の横長領域R21や縦長領域R22を更に設定すると良い。あるいは、推奨領域R2を設定せずに注目領域R1のみを設定しても良い。注目領域R1のみを設定するのであれば、注目領域R1が出力領域Rtとなる。ただし、推奨領域R2が設定されないと取り得る形状の自由度が低くなって評価の高いコマ割りを生成できなくなる可能性があるので、注目領域R1および推奨領域R2の双方を設定することが望ましい。さらに、複数の推奨領域R2のみを設定し、各推奨領域R2の重畳領域が自動的に注目領域となるようにしても良い。

図１１へ戻り、ステップＳ３では、前記条件設定部３において出力ページのサイズSおよびコマ数Nkが設定される。ここでは、サイズSとして「A4（縦）」、コマ数Nkとして「８」が設定されたものとして説明を続ける。ステップＳ４では、前記コマ割り候補作成部４において、「A4」サイズを「８」個のコマに仕切るコマ割りが実行されて多数のコマ割り候補Kcj（j＝1，2…）が生成される。

ステップＳ５では、全ての画像の中から時系列で最初の一ページ分の８枚が抽出される。ここでは、図１４に示した８枚の画像P1〜P8が抽出されたものとし、各画像には、実線枠で示した注目領域R1および波線枠で示した推奨領域R2が、前記ステップＳ２で設定されているものとして説明を続ける。例えば、第８コマに対応したタワーの画像は必ず縦長に表示したいため、このような画像では、注目領域および推奨領域が共に縦長に設定されており、縦長で表示しても横長で表示しても良い画像では双方が設定される。ステップＳ６では、今回の８枚の画像のサムネイル表示に最適な一つのコマ割りを前記多数のコマ割り候補の中から選択するコマ割り決定処理が実行される。

図１２は、このコマ割り決定処理の手順を示したフローチャートであり、ステップＳ３１では、コマ割り候補Kcの一つKcjが今回の注目コマ割り候補として選択される。ステップＳ３２では、時系列で一つの画像Piが今回の注目画像として選択される。ステップＳ３３では、注目画像の注目領域R1の形状を代表するパラメータ、推奨領域R2の形状を代表するパラメータ、および注目コマ割り候補の対応位置のコマ形状を代表するパラメータが評価関数に適用され、各領域R1，R2の形状とコマ形状との乖離に応じた評価値が出力される。

本実施形態では、注目領域R1の形状、推奨領域R2の形状、およびコマの形状を代表するパラメータとしてアスペクト比A[幅(W)／高さ(H)]を採用している。そして、画像Piの注目領域R1のアスペクト比Api_r1および推奨領域R2のアスペクト比Api_r2（複数の場合もあり得る）のうち、最も小さいアスペクト比min（Api_r1，Api_r2）をアスペクト下限値APi_min、最も大きいアスペクト比max（Api_r1，Api_r2）をアスペクト上限値APi_maxとしている。このとき、画像Piに対応したコマKiのアスペクト比AkiがAPi_min≦Aki≦APi_maxであれば、図１５に示したように、注目領域R1に対して推奨領域R2が横長（[同図(a)]）であっても縦長（[同図(b)]）であっても、図１６に示したように、コマKiに注目領域R1および推奨領域R2のみを表示させることができる。

これに対して、Aki＜APi_minまたはAPi_max＜Akiであると、図１７に示したように、コマKiに注目領域R1の全体を表示させようとすれば、コマKiに注目領域R1および推奨領域R2のみならず、不所望の領域R3も表示されてしまうことになる。

そこで、本実施形態では形状（アスペクト比）の乖離を表す評価関数として次式(1)を採用し、コマKiのアスペクト比AkiがAPi_min≦Aki≦APi_maxの範囲から外れると、その乖離度に応じて誤差Eij(aspect)が評価値として出力されるようにしている。

Eij(aspect)＝max(APi_min−Aki，Aki−APi_max，0) …(1)

なお、各画像Piに設定する注目領域R1および推奨領域R2を重要視するか否かに応じて重み値Maiを設定するのであれば、上式(1)を次式(2)のように変形しても良い。

Eij(aspect)＝Mai・max(APi_min−Aki，Aki−APi_max，0) …(2)

図１２へ戻り、ステップＳ３４では、前記コマKiの評価値Eij(aspect)が一時記憶される。ステップＳ３５では、今回の注目コマ割り候補の全てのコマKiおよび画像Piのペアに関して評価値Eij(aspect)の算出が完了したか否かが判定され、完了するまではステップＳ３２へ戻り、注目画像および注目コマのペアを切り換えながら上記の処理が繰り返される。その後、今回の注目コマ割り候補の全てのコマKiおよび画像Piのペアに関して評価値の算出が完了するとステップＳ３６へ進み、一ページ分の評価値の総和ΣEij(aspect)が今回の注目コマ割り候補の評価値とされる。

ステップＳ３７では、全てのコマ割り候補に関して評価値の算出が完了したが否かが判定され、完了するまではステップＳ３１へ戻り、注目コマ割り候補を切り換えながら上記の処理が繰り返される。その後、全てのコマ割り候補に関して評価値の算出が完了するとステップＳ３８へ進み、評価の最も高いコマ割り候補（本実施形態では、評価値ΣEij(aspect)が最小のコマ割り候補）が、今回の８枚の画像Pt1〜Pt8のサムネイル表示に最適なコマ割りの解とされる。ステップＳ３９では、前記微調整部９において、前記コマ割りの解の各コマに対して、表示の時系列や順序を壊さずに、評価の低い順に形状の微調整が行われる。

図１８は、前記微調整の概念を模式的に表現した図であり、微調整前の画像(a)では、前記図１４に示した各画像Piの領域R1，R2の形状と各コマ形状とを比較すれば明らかなように、特に第３，８コマの形状と領域R1，R2との形状が異なるために、各コマ内の上下または左右部分に黒色で示した無画像帯（空白の領域）が発生し、これらが評価を低下させる一因となっている。この第３，８コマに対して微調整が実行されると、同図(b)に示したように、各コマの形状と領域R1，R2の形状との乖離が小さくなるように各コマの分割線が上下または左右方向へ移動される。

すなわち、前記第３コマでは幅が拡大するように横分割線が右方向に移動され、その右側に隣接する第１，２コマでは、前記拡大分だけ幅が縮小する。前記第８コマでは幅が縮小するように横分割線が左方向に移動され、その右側に隣接する第７コマでは、前記縮小分だけ幅が拡大する。さらに、第４，５コマを仕切る横分割線が右方向に移動され、これにより第５コマの幅が拡大し、第４コマの幅が縮小する。

この微調整により、各画像の形状とコマ形状との乖離が減少して定量的な評価が向上するのみならず、本実施形態ではさらに、第１，２コマと第３コマとを仕切る横分割線と、第４コマと第５コマとを仕切る横分割線とが、微調整前(a)は一直線であったが微調整後(b)はずれるので、定量的な評価値には現れない構図上のおもしろさも向上する。

このような微調整処理は、例えば各コマの各辺の長さを元の各辺の長さの±1/4 の範囲内で上下および左右方向へ動かすことを許容した上で、上式(1)の誤差が大きなコマから順に全てのコマの大きさを調整して同式の誤差値を減少させ、最終的に一ページ分の評価値ΣEij(aspect)が最小となったコマ割りを微調整後のコマ割りとすることで実現できる。なお、コマ形状を微調整した後の評価値は、当該微調整により形状が変化したコマに関してのみ実施すれば良い。すなわち、図１８に示した第１，２コマと第３コマとの分割線の位置が調整された場合には、第１，２，３コマに関してのみ評価値を算出し直せば十分である。

図１１のフローチャートへ戻り、ステップＳ７では、前記切出部７ａにおいて、前記コマ割りの解の各コマの形状に合わせて、各画像Piからサムネイル画像が切り出される。ステップＳ８では、前記拡縮部７ｂにおいて、前記切り出されたサムネイル画像が貼り付け先のコマの大きさに合わせて拡縮される。本実施形態では、コマの形状が注目領域R1の形状より横長である場合、注目領域R1の高さを変化させずに幅を変化させることでコマの形状に相似させ、切り抜けば良い。コマの形状が縦長の場合も同様に、R1の幅を変化させずに高さを変化させることでコマの形状に相似させ、切り抜けば良い。ステップＳ９では、前記画像貼付部８において、拡縮された各サムネイル画像が前記コマ割りの解に対応するコマに貼り付けられて一ページ分の処理が完了する。

ステップＳ１０では、全ての画像について貼り付けが完了したか否かが判定される。完了していなければステップＳ１１へ進み、出力ページのサイズSおよびコマ数Nkを変更するか否かが判定される。変更するのであればステップＳ３へ戻り、サイズSおよびコマ数Nkを再設定したのちに上記の処理が繰り返される。変更しないのであればステップＳ５へ戻り、次の８枚の画像を対象に上記の処理が繰り返される。

図１９は、以上の手順を経て完成したコミック風サムネイル表示の一例を示した図であり、前記図１４に示した各領域R1，R2の設定内容と比較すれば明らかなように、全てのサムネイル画像において画像の注目領域R1が表示され、かつ注目領域R1のアスペクト比と推奨領域R2のアスペクト比との間の分散範囲内に各コマ形状のアスペクト比が入っていることが判る。

これに対して、図２０は評価の低いコマ割り候補を採用して実験的に作成したサムネイル画像の一例を示した図であり、全てのサムネイル画像において注目領域R1は表示されているものの、特に第４，８コマで推奨領域R2の形状とコマ形状との乖離が大きいことが判る。
[第２実施形態]

次いで、本発明の第２実施形態について説明する。上記の第１実施形態では、多数のコマ割り候補Kcの中から評価の最も高い唯一のコマ割りを最適解として予め選抜し、このコマ割りのみを対象に微調整が行われるものとして説明したが、本実施形態では、多数のコマ割り候補Kcの中から評価が上位の複数個（例えば、１００個程度）のコマ割り候補を準最適解として選抜し、これらのコマ割り候補を対象に微調整を行い、微調整後に最も評価の高いコマ割り候補を最終的なコマ割りの解として採用するようにしている。

図２１は、本実施形態における「コマ割り決定処理」の動作を示したフローチャートであり、前記図１２と同一の符号を付したステップでは同一または同等の処理が実行されるので、その説明は省略する。

ステップＳ３７において、全てのコマ割り候補の評価が完了したと判定されるとステップＳ３８へ進み、評価が高い上位Nu個のコマ割り候補が準最適解として抽出される。ステップＳ３９では、これらNu個のコマ割り候補を対象に前記第１実施形態と同様にコマ形状の微調整が実行され、微調整後の全てのコマ割り候補が再評価される。ステップＳ４０では、微調整後の評価が最も高い唯一のコマ割り候補が今回のコマ割りの解とされる。

本実施形態によれば、評価の高い複数の準最適解のコマ割り候補を対象に微調整が実行され、微調整後の評価が最も高い唯一のコマ割り候補がコマ割りの解とされるので、より評価の高いコマ割りを採用できるようになる。また、全てのコマ割り候補を微調整する場合に較べて、少ない負荷で主観品質の高いコマ割りを選択できるようになる。
[第３実施形態]

次いで、本発明の第３実施形態について説明する。図２２は、本発明の第３実施形態のブロック図であり、前記と同一の符号は同一または同等部分を表している。

上記の第１，２実施形態では、画像の出力領域Rt（注目領域R1および推奨領域R2）の形状とコマ割り候補の各コマ形状との乖離に基づいて評価値が算出されるものとして説明したが、本実施形態では、各画像に予め重要度Wiを設定しておき、重要度Wiの高い画像のコマサイズが大きいほど高い評価値を出力する大きさ評価部５ｂを前記評価部５に追加し、形状に関する評価値Eij(aspect)および大きさに関する評価値Eij(size)の双方に基づいてコマ割りを選抜するようにした点に特徴がある。

図２３は、本実施形態における「コマ割り決定処理」の動作を示したフローチャートであり、前記図１２と同一の符号を付したステップでは同一または同等の処理が実行されるので、その説明は省略する。

ステップＳ３３ａでは、上記の第１実施形態と同様に、画像Piの注目領域R1のアスペクト比Api_r1、推奨領域R2のアスペクト比Api_r2およびコマKiのアスペクト比Akiに基づいて形状評価値Eij(aspect)が算出される。ステップＳ３３ｂでは、前記大きさ評価部５ｂにおいて、各画像に設定された重要度Wiおよび貼り付け先のコマサイズSkiをパラメータとする次式(3)の評価関数に基づいて、重要度WiとコマサイズSkiとの乖離度に応じた誤差Eij(size)が評価値として出力される。

本実施形態では、各画像Piに重要度Wiが最上位の「１」から最下位の「３」まで３段階に設定され、コマサイズSkiも最大の「１」から最小の「３」まで３段階に分類されている。

Eij(size)＝｜Wi−Ski｜ …(3)

ステップＳ３３ｃでは、次式(4)に基づいて、今回の注目コマ割り候補の評価値Eijが算出される。なお、係数α（0＜α＜1）は形状評価Eij(aspect)および大きさ評価Eij(size)の重み付けである。

Eij＝α・ΣEij(aspect)＋(１−α)・ΣEij(size) …(4)

以上のようにして評価値Eijが求まると、これ以後は前記第１実施形態と同様の手順を経てコマ割りが決定される。なお、コマ割り候補の作成に木構造表現を用いるのであれば、そのレイヤLriで各コマのサイズSkiを代表できる。

すなわち、ギロチンカットと呼ばれる木構造は、図２９に示したように、水平分割ノードHおよび垂直分割ノードVから構成され、ノードHから下方に延びた枝の数は水平に分割されるコマ数を表し、ノードVから下方に延びた枝の数は垂直に分割されるコマ数を表す。このような手法を採用したコマ割りでは、上位のレイヤほどコマサイズが大きくなるので、各コマのサイズを、そのレイヤLriで代表できる。その場合、上式(3)は次式(5)に変更できる。

Ei(size)=｜Wi−Lri｜ …(5)

図２４，２５は、形状評価Eij(aspect)および大きさ評価Eij(size)の重み付けαに応じて出力結果が相違する例を示した図であり、ここでは、画像Pt3，Pt8に重要度１（最上位）が設定され、画像Pt5，Pt6，Pt7に重要度２が設定され、画像Pt1，Pt2，Pt4に重要度３（最下位）が設定された場合を例にしている。

図２４は、α=0.9すなわち大きさ評価Eij(size)よりも形状評価Eij(aspect)を優先させた場合の出力結果であり、画像Pt4，Pt8が貼り付けられた第４，８コマを参照すれば明らかなように、形状の乖離が低く抑えられていることが判る。

これに対して、図２５は、α=0.1すなわち形状評価Eij(aspect)よりも大きさ評価Eij(size)を優先させた場合の出力結果であり、重要度の高い第３，８コマが他のコマに較べて大きくなっていることが判る。

本実施形態によれば、コマ割り候補を形状評価および大きさ評価の２つの尺度で総合的に評価できるので、主観品質の極めて高いコマ割りを選択できるようになる。また、形状評価の重みと大きさ評価の重みとを調整できるので、目的に見合ったコマ割りを選択できるようになる。

なお、第３実施形態のように各画像に重要度Wiを設定した場合、コマ割りの解の評価値に基準値Erefを予め設定しておき、コマ割り候補の中で評価値の最も高いコマ割りの解ですら、その評価値が基準値Erefに満たないような場合には、重要度Wiの低いz個の画像を破棄すると共に次のz個の画像を取り込み、ステップＳ３１へ戻って上記の処理を改めて実行するようにしても良い。

さらに、上記の各実施形態では、各画像の出力領域t（または、注目領域R1および推奨領域R2）と各コマ割り候補の対応するコマの形状との乖離度に基づいて各コマ割り候補を定量的に評価するものとして説明したが、このとき、図２６に示したように、第n番目の画像の出力領域と第n番目のコマの形状との乖離度のみを算出する[同図(a)]のではなく、ある範囲内（例えば、プラス／マイナス１コマ程度）で画像の順序逆転を許容して乖離度を算出[同図(b),(c),(d)]し、評価の高いコマ割り候補および画像順序のペアをコマ割りの解としても良い。画像の順序逆転は、属性が同一の画像同士に限定することが望ましい。例えば、画像がデジカメ画像であって、その撮影日時が既知ならば、順序逆転は撮影日時が同一の画像同士に限定することが望ましい。

さらに、上記の各実施形態では、最終的に一つの最適なコマ割りの解が抽出されるものとして説明したが、本発明はこれのみに限定されるものではなく、評価が上位の複数のコマ割り候補を出力し、その中の一つを利用者にユーザインターフェース等を介して選択させるようにしても良い。このようにすれば、例えば、顔が大きい／小さい、足を写したくない、写真同士の配置の関係、配置の見た目など、画像が提示されるまでは利用者自身でも判らない好みに要素を、少ない負担で視覚的に確認できるようになるので、より主観品質の高いコマ割りを選べるようになる。

さらに、上記の各実施形態ではコマ割り候補作成部４が多数のコマ割り候補を作成するものとして説明したが、図２７に示したように、前記コマ割り候補作成部４に代えてコマ割り候補入力部１１を設け、このコマ割り候補入力部１１が、コマ数Nkごとに多数のコマ割り候補が登録されているデータベース(DB)１０から、サイズSやコマ数Nkに基づいてコマ割り候補を入力するようにしても良い。

さらに、上記の各実施形態では、多数のコマ割り候補の中から評価の高いコマ割り候補をコマ割りの解として決定するコマ割り装置を例にして本発明を説明したが、図２８に示したように、前記コマ割り決定部６を廃止し、１ないし複数のコマ割りを評価するコマ割り評価装置にも同様に適用できる。なお、図２８において、前記と同一の符号は同一または同等部分を表している。

本発明の第１実施形態に係るコマ割り装置のブロック図である。 コマ割り候補の一例を示した図である。 コマ割り候補と木構造との関係（２コマ）を示した図である。 コマ割り候補と木構造との関係（３コマ）を示した図である。 コマ割り候補と木構造との関係（４コマ：その１）を示した図である。 コマ割り候補と木構造との関係（４コマ：その２）を示した図である。 コマ割り候補の作成方法の一例を示したフローチャートである。 木構造の生成過程を模式的に示した図である。 評価部およびコマ割り決定部の動作を模式的に表現した図（その１）である。 評価部およびコマ割り決定部の動作を模式的に表現した図（その２）である。 第１実施形態の動作を示したフローチャートである。 第１実施形態におけるコマ割り決定処理の手順を示したフローチャートである。 注目領域R1および推奨領域R2の設定例を示した図である。 各画像における注目領域R1および推奨領域R2の設定例を示した図である。 注目領域R1および推奨領域R2の機能を説明した図（その１）である。 注目領域R1および推奨領域R2の機能を説明した図（その２）である。 注目領域R1および推奨領域R2の機能を説明した図（その３）である。 微調整の概念を模式的に表現した図である。 第１実施形態において評価の高いサムネイル画像の出力例を示した図である。 第１実施形態において評価の低いサムネイル画像の出力例を示した図である。 本発明の第２実施形態におけるコマ割り決定処理の手順を示したフローチャートである。 本発明の第３実施形態のブロック図である。 第３実施形態におけるコマ割り決定処理の手順を示したフローチャートである。 第３実施形態において形状評価を優先させた際のサムネイル画像の出力例を示した図である。 第３実施形態において大きさ評価を優先させた際のサムネイル画像の出力例を示した図である。 表示の順序逆転を許容した場合のコマ割り方法の一例を示した図である。 コマ割り候補作成部を廃止した第４実施形態のブロック図である。 本発明に係るコマ割り評価装置のブロック図である。 ギロチンカットによるコマ割り方法を示した図である。

符号の説明

１…画像入力部，２…出力領域設定部，３…条件設定部，４…コマ割り候補作成部，５…評価部，５ａ…形状評価部，５ｂ…大きさ評価部，６…コマ割り決定部，７…画像加工部，７ａ…画像切出部，７ｂ…画像拡縮部，８…画像拡縮部，９…微調整部，１０…コマ割り候補DB，１１…コマ割り候補入力部

Claims (19)

1. 複数の画像を所定の出力ページに所定の順序でコミック風に配置するコマ割りを評価するコマ割り評価装置において、
   コマ割り候補の各コマの形状と当該コマに貼り付けられる画像の形状との乖離度を算出する形状評価手段を具備し、
   前記乖離度に基づいてコマ割り候補を評価することを特徴とするコマ割り評価装置。
2. 複数の画像を所定の出力ページに所定の順序でコミック風に配置するコマ割りを決定するコマ割り装置において、
   複数のコマ割り候補を対象に、各コマの形状と当該コマに貼り付けられる画像の形状との乖離度を算出する形状評価手段と、
   前記乖離度に基づいてコマ割りの解を決定するコマ割り決定手段とを具備したことを特徴とするコマ割り装置。
3. 前記コマ割り決定手段は、前記コマ割り候補の中から、出力ページの乖離度の総和に基づいてコマ割りの解を決定することを特徴とする請求項２に記載のコマ割り装置。
4. 前記各コマ割り候補の各コマの形状を、各コマに対応した画像の順序を維持したまま、乖離度が小さくなるように微調整する微調整手段を具備したことを特徴とする請求項２または３に記載のコマ割り装置。
5. 前記コマ割り決定手段は、前記乖離度の総和が最小のコマ割り候補をコマ割りの解とすることを特徴とする請求項３に記載のコマ割り装置。
6. 前記コマ割りの解の各コマの形状を、各コマに対応した画像の順序を維持したまま、乖離度が小さくなるように微調整する微調整手段を具備したことを特徴とする請求項５に記載のコマ割り装置。
7. 前記コマ割り決定手段は、
   前記乖離度の総和が小さい複数のコマ割り候補を選抜する手段と、
   前記複数のコマ割り候補を出力する手段と、
   前記複数のコマ割り候補の一つを選択させるユーザインターフェースとを具備し、
   前記選択されたコマ割り候補をコマ割りの解とすることを特徴とする請求項３に記載のコマ割り装置。
8. 前記選抜された複数のコマ割り候補の各コマの形状を、各コマに対応した画像の順序を維持したまま、乖離度が小さくなるように微調整する微調整手段を具備したことを特徴とする請求項７に記載のコマ割り装置。
9. 各画像から、前記コマ割りの解の対応するコマの形状に合わせてサムネイル画像を切り抜く手段と、
   前記各サムネイル画像を、前記コマ割りの解の対応するコマの大きさに合わせて拡大または縮小する手段と、
   前記拡大または縮小された各サムネイル画像を、前記コマ割りの解の対応するコマに貼り付ける手段とを具備したことを特徴とする請求項２ないし８のいずれかに記載のコマ割り装置。
10. 各画像に対して出力領域を設定する領域設定手段を具備し、
    前記形状評価手段は、各コマの形状と各出力領域の形状との乖離度を算出することを特徴とする請求項２ないし９のいずれかに記載のコマ割り装置。
11. 前記領域設定手段は、アスペクト比の異なる複数の出力領域を設定し、
    前記形状評価手段は、各コマのアスペクト比が前記複数の出力領域の各アスペクト比の範囲から外れるほど乖離度を大きくすることを特徴とする請求項１０に記載のコマ割り装置。
12. 前記複数の出力領域が、注目領域および当該注目領域と一部が重なる少なくとも一つの推奨領域であることを特徴とする請求項１１に記載のコマ割り装置。
13. 前記注目領域が、前記複数の推奨領域の重畳領域であることを特徴とする請求項１２に記載のコマ割り装置。
14. 前記推奨領域の形状が、前記注目領域を包含する長方形および正方形のいずれかであることを特徴とする請求項１２または１３に記載のコマ割り装置。
15. 前記複数の画像に重要度が設定されており、
    コマ割り候補ごとに、各コマの大きさと当該コマに貼り付けられる画像の重要度との乖離度を算出する大きさ評価手段を具備し、
    前記コマ割り決定手段は、形状に関する乖離度および大きさに関する乖離度の各総和の和が小さいコマ割り候補をコマ割りの解に決定することを特徴とする請求項２ないし１４のいずれかに記載のコマ割り装置。
16. 前記形状評価および大きさ評価に重みが設定され、
    前記コマ割り決定手段は、形状に関する乖離度の総和および大きさに関する乖離度の総和を前記重みに応じた割合で加算することを特徴とする請求項１５に記載のコマ割り装置。
17. 出力ページに割り付けるコマ数に応じて複数のコマ割り候補を生成する手段をさらに具備したことを特徴とする請求項２ないし１６のいずれかに記載のコマ割り装置。
18. 前記複数のコマ割り候補を生成する手段は、
    水平方向への領域分割を枝の分岐で代表する水平分割ノード、および垂直方向への領域分割を枝の分岐で代表する水平分割ノードから構成される木構造を、葉の数が前記コマ数に達するように、分岐させる枝および分岐数を変更しながら繰り返し成長させ、木構造の各葉の位置に基づいてコマ割り候補を生成することを特徴とする請求項１７に記載のコマ割り装置。
19. 複数の画像を所定の出力ページに所定の順序でコミック風に配置するコマ割りを決定するコマ割り方法において、
    複数のコマ割り候補を対象に、各コマの形状と当該コマに貼り付けられる画像の形状との乖離度を算出する手順と、
    前記乖離度に基づいてコマ割りの解を決定する手順とを含むことを特徴とするコマ割り方法。