JP2008301264A - 画像ブロックレイアウト方法、並びに画像ブロックレイアウトシステム - Google Patents

Abstract

【課題】既定サイズの画面に必ず全てブロックを収めることが前提として、全ての画像ブロックを同じ倍率で適応的に拡大・縮小して、同一画面上にレイアウトすることを目的とする。

【解決手段】 それぞれに順番が定められている複数の画像ブロックを一画面内に表示させる画像ブロックレイアウト方法であって、一画面内に表示させる画像ブロック数と同数のセルを有するレイアウトパターンであって、予め所定の順番が定められたセルを前記ブロック数と同数個有する、複数のレイアウトパターンを取得するステップと、画像ブロックの順番とその画像ブロックを格納するセルの順番が一致するように、画像ブロックをレイアウトパターンに従って配置した場合、前記レイアウトパターンのそれぞれについてその面積占有率を計算し、面積占有率が最大であるレイアウトパターンを選出するステップとを有する。

【選択図】 図１

Description

本発明は、画像ブロックレイアウト方法、並びに画像ブロックレイアウトシステムに関し、より詳しくは、複数のセイリエント部分のような画像ブロックを、画像ブロックの順番や大きさを考慮しながら、一画面にこれら画像ブロックを表示するための画像ブロックレイアウト方法、並びに画像ブロックレイアウトシステムに関する。

ＤＶＤレコーダやＨＤＤレコーダなどの大容量の記憶媒体を有する映像記録再生装置の普及に従って、記録された映画やテレビ番組などの映像を快適に閲覧できるよう、映像内容の要約を作成したり、所望の箇所を迅速に検索してその箇所からの映像再生を行えるようにするニーズが高まっている。このようなニーズに応える従来の技術として、数十分〜数時間の再生時間を要する動画について、数秒間で画面に動画内容の主要部分である画像ブロックを分かり易く表示させる技術が提案されている。このような従来技術として、動画内容を意味的まとまりごとに自動的に要約し、全体の意味を損なうことなく、映像を短縮する技術がある（例えば、非特許文献１）。

また、サイズや縦横比の異なる画像ブロックを単一の画面や頁にレイアウトする方法が提案されている（例えば、非特許文献２）。但し、この記述は画像ブロック相互の順番は考慮せずにレイアウトを行う。 また、一連の映像を解析し、特定のイベントを検出し、イベントに基づいて抽出した代表画像等を自動的にレイアウトすることで一覧性を持つ本型の電子映像文書に変換する技術も提案されている（例えば、特許文献１）。
是津耕司、上原邦昭 田中克己著. 映像の意味的構造の発見 情報処理学会論文誌Vol.41 No.１ 2000年１月, 社団法人情報処理学会発行、Pages:12〜23 Atkins, B.C.Adaptive photo collection page layout Image Processing, 2004. ICIP '04. 2004 International Conference 特開２００１−５８３８号公開公報

一般に、自動要約された映像の代表画像が同じサイズで画面に並べることやグループに分けてストーリーボードを提示することが映像要約の分野によく使われるが、画面サイズが制限されている条件下で、如何に画面のスペースを効率的に利用して映像情報を表示するかが、ユーザの理解し易さや情報を見つける速さを向上させる上で重要である。また、複数の画像ブロックを１画面に収めながら、各画像ブロックをなるべく大きく表示することがユーザに認識させ易くする上で望ましい。

しかし、上記の従来方法では、映像要約情報から抽出したセイリエント部分のように、画面上に表示する複数のブロックの順番は考慮されないという問題がある。

また、上記特許文献１に記載の技術では、画面上のレイアウト順番が左→右→下の繰り返すZig-Zag順で次のブロックの配置スペースを探すことで、1次元の時間順番へ容易に対応できる反面、配置する順番の制限が厳しくて、可能なレイアウトの選択肢が少ないという問題が残る。

また、特許文献１に開示された技術は、映像を代表画像に要約して、複数の代表画像を画面にレイアウトする提案であった。代表画像（ブロック）をそのサイズのまま画面上に配置し、次の代表画像を画面上に配置するスペースがなくなる時点で、改ページを行うため、同一画面に全部の代表画像を集約して表示することはできず、素早く全体を把握することは難しかった。また、特許文献１に開示された技術は、画面上のレイアウト順番が左→右→下の繰り返すZig-Zag順で次のブロックの配置スペースを探すため、1次元の時間順番へ容易に対応できる反面、配置する順番の制限が厳しいため、可能な画像ブロックのレイアウトの選択肢が少なく、効率的な画像ブロックの配置ができない、無駄なスペースが画面上にできて個々の画像ブロックのサイズを大きくすることが難しいという問題もあった。

本発明は、既定サイズの画面に必ず全てブロックを収めることが前提として、全ての画像ブロックを同じ倍率で適応的に拡大・縮小して、同一画面上にレイアウトすることを目的とする。また、本発明は、それぞれが順番を定められた画像ブロックを画面上の左上→右下（２次元）の順で配置し、画像ブロックのレイアウトパターンの選択肢幅を広めて、より効率的な画像ブロックのレイアウトを可能とすることを目的とする。（順番適応度 の定義により２次元ベクトルと１次元時間順の対応問題を解決した）。

上記課題を解決するための手段として、本発明は以下の特徴を有する。
本発明の第１の態様は、それぞれに順番が定められている複数の画像ブロックを一画面内に表示させる画像ブロックレイアウト方法であって、一画面内に表示させる画像ブロック数と同数のセルを有するレイアウトパターンであって、予め所定の順番が定められたセルを前記ブロック数と同数個有する、複数のレイアウトパターンを取得するステップと、
画像ブロックの順番とその画像ブロックを格納するセルの順番が一致するように、画像ブロックをレイアウトパターンに従って配置した場合、前記レイアウトパターンのそれぞれについてその面積占有率を計算し、面積占有率が最大であるレイアウトパターンを選出するステップとを有することを特徴とする画像ブロックレイアウト方法として提案される。

本発明の第２の態様は、画像ブロックの元となる画像データを記憶した記憶手段と、前記記憶手段に接続された画像ブロックレイアウト生成手段と、前記画像ブロックレイアウト生成手段に接続された出力手段とを有する、画像ブロックレイアウトシステムであって、前記画像ブロックレイアウト生成手段は、一画面内に表示させる画像ブロック数と同数のセルを有するレイアウトパターンであって、予め所定の順番が定められたセルを前記ブロック数と同数個有する、複数のレイアウトパターンを予め記憶しており、画像ブロックの順番とその画像ブロックを格納するセルの順番が一致するように、画像ブロックをレイアウトパターンに従って配置した場合、前記レイアウトパターンのそれぞれについてその面積占有率を計算し、面積占有率が最大であるレイアウトパターンを選出し、前記レイアウトパターンに前記画像ブロックを当て嵌めて生成される画像データを出力装置に表示させることを特徴とする画像ブロックレイアウトシステムとして提案される。

本発明によれば、サイズの限られた画面に、複数のブロックを画面にできる限り大きなサイズで表示することで、１画面に多くの情報量が提示できる。また、本発明によれば、遠隔端末の通信量や通信スピードが制限される場合にも、少ない通信量で所望コンテンツを確認することができる。

以下、図面を参照しながら本発明の実施の形態を説明する。

本実施の形態は、画像ブロックレイアウト方法、画像ブロックレイアウトシステム、並びに画像ブロックレイアウト生成装置として提案される。

本発明は、所定の画像表示領域内（例えば、携帯電話機の液晶ディスプレイ）に、順番を付与された複数の画像ブロックを、各画像ブロックをできる限り大きなサイズで、且つ順番に従ってレイアウトする技術である。ここで、画像ブロック（以下、単にブロックと呼ぶ）とは、ある画像（例えば、動画を構成する各フレーム）の全部又は一部をいうものとする。本発明において取り扱われる複数のブロックは、それぞれに順位、順列、若しくは順番（以下、単に順番という）が定められている。また、各ブロックのサイズ及び縦横比は同じでなくともよい。

本発明は、所定の画像表示領域内に各ブロックを、互いに重なることなく、垂直又は水平方向に、配置する。本発明は、各ブロックを拡大／縮小して配置するが、各ブロックの縦横比及びブロック間の相対サイズは変更しない。従、本発明では全ブロックを画像表示領域に収めるために、全てのブロックを同一倍率で適当に拡大／縮小する。

また、本発明の扱う各ブロックは順番に対応する番号１，２，３，…である順番情報が付与されている。画像表示領域に各ブロックを配置する時には、ブロックに付与された番号に従って画面上の左上から右下へ向かってブロックを配置することを優先する。

［１．画像ブロックレイアウトシステム及び画像ブロックレイアウト生成装置の構成例］
以下、本発明の実施の形態の一つである画像ブロックレイアウトシステム及び画像ブロックレイアウト生成装置について、図面を参照しながら説明する。

図１は画像ブロックレイアウトシステムの構成例のブロック図を示す。画像ブロックレイアウトシステムは、本発明の一態様である画像ブロックレイアウト方法を実行するシステムであって、それぞれに順番が定められている複数のブロックを、各ブロックのサイズを大きく取りながら、ブロックの順番を考慮したレイアウト（配置、割付ともいう）を決定し、決定したレイアウトに従って各ブロックを一画面中に表示させるシステムである。

図１に示す画像ブロックレイアウトシステム１は、画像ブロックレイアウト生成装置１０と、画像ブロックレイアウト生成装置１０（本発明の画像ブロックレイアウト生成手段に相当する）に接続された記憶装置２０（本発明の記憶手段に相当する）と、画像ブロックレイアウト生成装置１０に接続された出力装置３０（本発明の出力手段に相当する）とを有するシステムである。

また、画像ブロックレイアウト生成装置１０は、インターネット、移動体通信網などのネットワークを介して記憶装置２０及び出力装置３０の少なくとも一方と接続される構成としても画像ブロックレイアウトシステム１は成立する。

また、画像ブロックレイアウト生成装置１０、記憶装置２０、出力装置３０は必ずしもそれぞれ別の装置でなくともよく、例えば画像ブロックレイアウト生成装置１０、記憶装置２０はパーソナルコンピュータ、出力装置３０はパーソナルコンピュータに接続されたモニタとしても画像ブロックレイアウトシステム１は成立する。

［１．１．記憶装置］
記憶装置２０は、ブロックの元となる画像を記憶する装置であって、ブロックを生成する元となる複数の画像データを記憶保持しており、複数の画像データを画像ブロックレイアウト生成装置１０に出力する機能を有する。記憶装置２０は、例えば、ＨＤＤレコーダ、ＤＶＤプレーヤ、ハードディスク記憶装置、これらを搭載したパーソナルコンピュータ、携帯電話機、或いはメモリースティックなどである。ここで、「画像」は静止画像でも動画でもよい。ここにいう静止画には、パワーポイントやワードなどの文書作成ソフトウエアで作成された電子文書も含まれる。また、動画の場合は、その動画を構成する各フレームがここにいう画像に相当する。なお、一つの画像から複数のブロックが作成される場合も、当然に本発明の技術的範囲に含まれる。

［１．２．出力装置］
出力装置３０は、画像ブロックレイアウト生成装置１０が出力した画像データをユーザが視認可能な内容で出力する装置であって、例えば液晶ディスプレイ装置、プリンタ装置、ＴＶ受信装置、携帯電話機、携帯ゲーム機、モニタを備えたパーソナルコンピュータなどである。

［１．３．画像ブロックレイアウト生成装置］
画像ブロックレイアウト生成装置１０は、記憶装置２０から入力された画像データから、複数のブロックを生成し、これらブロックを各ブロックに付与された順番にできる限り従って、各ブロックの大きさができる限り大きくなるように決定した、画像ブロックのレイアウトを決定し、決定したレイアウトに従った画像レイアウトデータ（各ブロックを一画面中にレイアウトに従って配置した画像を表示させるデータ）を出力装置３０に出力する。

画像ブロックレイアウト生成装置１０は、演算処理装置（ＣＰＵ）４０、主メモリ（ＲＡＭ）５０、読出し専用メモリ（ＲＯＭ）６０、入力装置（例えば、キーボード、操作パネルなど）７０、必要な場合にはハードディスク装置等の外部記憶装置（図略）を具備している装置であって、例えばコンピュータ、ワークステーションなどの情報処理装置、或いは家電製品に搭載可能なマイクロコンピュータなどである。演算処理装置（ＣＰＵ）４０、主メモリ（ＲＡＭ）５０、読出し専用メモリ（ＲＯＭ）６０、及び入力装置７０はバス８０を介して互いにデータの受け渡しが可能に接続されている。また、バス８０にはグラフィック・ボード９０が接続されており、グラフィック・ボード９０は、ＣＰＵ４０からの制御に従って画像レイアウトを表示させるための画像データ（例えば、ビットマップ形式の画像データ）を生成する。また、演算処理装置（ＣＰＵ）４０、主メモリ（ＲＡＭ）５０、読出し専用メモリ（ＲＯＭ）６０によって演算部１５を構成する。演算部１５は、後述する序列データ生成部１０１，ブロック生成部１０２，レイアウト生成部１０３として機能する。

前記ＲＯＭ６０、若しくは外部記憶装置（図略）などに、情報処理装置を画像ブロックレイアウト生成装置１０として機能させるためのプログラム、又は画像レイアウト生成方法をコンピュータに実行させるためのプログラムが記憶されており、このプログラムを主メモリ上に載せ、ＣＰＵがこれを実行することにより画像ブロックレイアウト生成装置１０が実現され、若しくは画像レイアウト生成方法が実行される。

図２は、画像ブロックレイアウト生成装置１０の演算部１５の構成例を示す機能ブロック図である。画像ブロックレイアウト生成装置１０の演算部１５は、序列データ生成部１０１、ブロック生成部１０２、レイアウト生成部１０３とを有している。

序列データ生成部１０１は、記憶装置２０から複数の単位画像データ（一枚の静止画像に相当する）から構成される画像データ（例えば、動画データファイル）を取得し、順番情報を付与した複数の連続性ある単位画像データの集まり（以下、序列化画像データと呼ぶ）を生成する。典型的には、序列化画像データは、連続した画像フレームが時系列（再生順）に従って配列可能な画像フレーム列である。各フレームには、時間（再選順）に従った順番が定められている。序列データ生成部１０１は、画像フレームに順番に応じて順番情報を付与する。すなわち、序列データ生成部１０１は、動画像を構成する各フレームに、そのフレームの時間順に応じた順番情報を設定する。例えば、第１番のフレームには順番情報「１」が設定され、第２番のフレームには順番情報「２」が設定される。なお、同じフレームから２以上のブロックを抽出する場合も考えられる。このような場合には単に時間順でブロックの前後の区別はできないが、ブロックのフレーム中の位置に応じて、フレームの上から下、左から右への方向に従って順番情報を設定すればよい。

ブロック生成部１０２は、序列データ生成部１０１から取得した序列化画像データ（例えば、動画ファイルを構成する全フレームの集合）を、意味的まとまりごとに基づく序列化画像データを意味単位に分割して、それぞれの意味単位例えば、動画中のあるひとまとまりのシーンを構成するフレームの集合）から代表画像（あるフレーム）を選出し、さらに代表画像の中にあるセイリエント部分（重要部分；例えば俳優の顔部分など）を特定して切り出す処理を実行する。ここにいうセイリエント部分は、本発明のブロックに該当する。なお、ブロックには順番情報が付与されており、この順番情報は代表画像に設定されている順番情報に基づいて、付与される。なお、同じフレームから２以上のブロックを抽出する場合も考えられる。このような場合には単に時間順でブロックの前後の区別はできないが、ブロックのフレーム中の位置に応じて、フレームの上から下、左から右への方向に従って順番情報を設定すればよい。

映像を意味単位に分割する方法として、ドラマ映像の物理的様相としてのトラック構造に現れるパターンを推測することで映像の重要部分を選出する方法は既に知られている。あるいは、映像のメタデータからストーリー分割や重要なストーリーを選出する方法を用いることができる。いずれにしても、従来の技術を用いて、映像を意味単位に分割する処理が可能であり、ここではその詳細な説明は省略する。

「セイリエント部分」は、代表画像中の重要な矩形部分である。例えば、代表画像に登場人物の顔部分があれば、その顔部分を中心とした矩形領域をセイリエント部分、すなわちブロックとして抽出する。なお、代表画像中に顔部分がなければ、代表画像の中にある目立つ部分を中心とした矩形部分をセイリエント部分として切り出し、ブロックとする。このようなセイリエント部分を特定する方法は、顔特徴ベクトルや画像重要度マップなどの従来方法を使うことができる。

レイアウト生成部１０３は、前記ブロック生成部１０２からのブロックを受け取り、これらのブロックを縦横比を変更することなく、必要に応じて拡大若しくは縮小を行い、可能な限り順番情報に応じて、画像表示領域内に占めるブロックの面積が可能な限り大きくなるように、定められた画像表示領域内にレイアウトする。

一画面にレイアウトするブロック数は、前記のブロック生成部１０２が出力するブロック数に依存する。例えば、映画やＴＶ番組録画のような一つの動画ファイルを、大きな映像単位に分けて、映像単位ごとにブロックを抽出し、抽出された複数のブロックを一画面で表示するレイアウトを生成することで、映画や番組の全体の流れやストーリーが一目でわかるようになる。また、上記の一つの大きな映像単位をさらに複数の小さい映像単位に分割して、小さい映像単位ごとにブロックを抽出し、抽出した複数のブロックを１画面で表示することで、大きな映像単位の中身が一目でわかるようにすることもできる。

前記レイアウト生成部１０３は、生成したレイアウトデータ（各ブロックの表示位置及び大きさを指定するデータ）をグラフィック・ボード９０に出力する。グラフィック・ボード９０はレイアウトに基づいて複数のブロックを一画面で表示させるための画像データを生成し、出力装置３０に画像データを出力する。出力装置３０は受け取った画像データを出力し、ユーザにレイアウトされたブロックの一覧を閲覧させる。

以下、レイアウト生成部１０３について、さらに詳しく説明する。
図３は、レイアウト生成部１０３によって生成されたレイアウトに応じて、出力装置３０が表示する一覧化されたブロックの一例を示す図である。図３に示すように、出力装置３０の画像表示領域３０１内には、複数のブロック３０２が、レイアウト生成部１０３によって生成されたレイアウトに従って表示されている。画像表示領域３０１内に表示された複数のブロック３０２を囲む最小の矩形枠はバウンディングボックス（Bounding Box）３０３と呼ぶ。また、画像表示領域３０１内に配置された全てのブロック３０２を囲む最小の矩形枠をルート・バウンディングボックスと呼ぶ。また、バウンディングボックス３０３内には、ブロック３０２ごとに配分されたスペースがあり、これをセル３０４と呼ぶ。

画像ブロックレイアウト生成装置１０によるレイアウトは、複数のブロック３０２を画像表示領域３０１内に全て配置し、各ブロックに付与された順番情報の順番に可能な限り従って、且つ各ブロックをなるべく画面に大きく表示することを目標としている。

ブロック３０２を画像表示領域内３０１に各ブロックをレイアウトする、すなわち、画像表示領域３０１内での各ブロック３０２の位置及び大きさを決定する処理であるレイアウトの決定プロセスの一例を図４のフローチャートに示す。

図４に示すように、レイアウトの決定プロセスを開始すると、まずレイアウト生成部１０３は、レイアウト生成のための基本データを取得する（ステップＳ１０１）。ここで、基本データとは、画像表示領域１０１の大きさ（高さ及び幅など）、ブロック数、各ブロックの大きさ（高さ及び幅、縦横比など）などであって、予め演算部１５に記憶されているデータである。

次に、レイアウト生成部１０３は、レイアウトの対象となるブロック数Ｎが所定数Ｍを超えるか否かを判定する（ステップＳ１０２）。所定数Ｍを超える場合（Ｓ１０２，Ｙｅｓ）は、レイアウト生成部１０３は、後述する第２のレイアウト選出法を実行する（Ｓ１０５〜Ｓ１１０）。なお、所定数Ｍは、自然数であればどのような数字でも構わない。但し、所定数Ｍを大きくすれば予め準備しなければならないレイアウトパターンが多数となる。この実施の形態では、所定数Ｍ＝４として説明を行うが、所定数Ｍが「４」に限定される趣旨ではない。

レイアウトされるべきブロック数Ｎが所定数Ｍ（ここでは、Ｍ=4）個以下であれば、レイアウト生成部１０３は、第１のレイアウト選出法を用いて、ブロックの順番情報とサイズに関する条件を満たした最適なレイアウトを決定する（Ｓ１０３）。ここで、ブロック数Ｍ=４としたのは、例挙できるレイアウト候補が少なからず、多からず、処理の分岐点として適当なブロック数であるためである。先に述べたように、所定数Ｍが４以外の数を取っても、本発明は成立する。

次に、第１のレイアウト選出法について詳しく説明する。
図４は、第１のレイアウト選出法（Ｓ１０３）の一例を示すフローチャートである。
レイアウト生成部１０３は、ブロック数が１の場合、２の場合、３の場合、４の場合のそれぞれに対応するレイアウトパターンを予め有している。ブロック数が１の場合、選択可能なレイアウトパターンは１個、２の場合選択可能なレイアウトパターンは２個、３の場合選択可能なレイアウトパターンは８個、４の場合選択可能なレイアウトパターンは３７個である。これら複数のレイアウトパターンの中から、当該レイアウトパターンに全ブロック３０２を適宜拡大／縮小して配置した場合、配置された全ブロック３０２の面積の合計が最大となるレイアウトパターンを最適レイアウトパターンとして選択する。

レイアウトパターンを選択した後、各ブロック３０２に対応するセル３０４の位置とサイズを計算して（ステップＳ２０２）、それぞれのブロック３０２を拡大縮小して対応するセル３０４に当て嵌める（Ｓ２０３）。なお、各レイアウトパターンの各セル３０４には予め順番情報が設定されており、ブロック３０２の順番情報とセル３０４の順番情報が対応するように、ブロック３０２のセル３０４への当て嵌めが行われる。

まず、ブロック数が１の場合を図６を参照して詳しく説明する。図６（ａ）、図６（ｂ）は、一個のブロック３０２を画像表示領域３０１内に配置した場合の図である。一つのブロック３０２を画面に出来る限り大きく表示させるように配置するために、画像表示領域３０１に収まるように拡大/縮小する。すなわち、ブロック３０２の縦横比が画像表示領域３０１の縦横比より大きい場合、ブロック３０２の高さが画像表示領域３０１の高さ以内となるようにブロック３０２を拡大/縮小して、縦横比を保持するために横方向に同じ倍率で拡大/縮小する（図６（ａ））。一方、ブロック３０２の縦横比が画像表示領域３０１の縦横比より小さい場合、ブロック３０２の幅が画像表示領域３０１の幅以内となるように拡大/縮小して、縦横比を保持するために縦方向に同じ倍率で拡大/縮小する（図６（ｂ））。

なお、ブロック３０２を分かり易く表示するために、ブロック３０２の縦横が同じ倍率としながら、ブロック３０２の周囲に余白が残るようブロック３０２の拡大／縮小を行うようにしてよい。

図５に戻り、第１のレイアウト選出法の説明を続ける。

ステップＳ２０１の判定に置いて、ブロック数Ｎは１でないと判定した場合（Ｓ２０１，Ｎｏ）、レイアウト生成部１０３はブロック数が２であるか否かを判定する（Ｓ２０４）。ブロック数Ｎが２であると判定した場合（Ｓ２０４、Ｙｅｓ）、レイアウト生成部１０３はブロック数が２の場合に用意されている２種類のレイアウトパターンから最適なレイアウトパターンを決定し、選択する（Ｓ２０５）。

図７に、ステップＳ２０５において選択対象となる２種類のレイアウトパターンを示す。図７（ａ）はバウンディングボックス３０３を水平方向に二分した２つのセル３０４が配置されたレイアウトパターンであり、図７（ｂ）は、バウンディングボックス３０３を垂直方向に二分したセル３０４を有するレイアウトパターンである。いずれのレイアウトパターンにおいても、配置されるブロック３０２の順番は、画面表示領域３０１の左上から右下へ向かって進むように、各セル３０４の順番情報が定められている。図７中セル３０４内に示したローマ数字は、当該セル３０４の順番情報を示す。

なお、バウンディングボックス３０３の大きさ、縦横比、及び区分は、固定されたものではなく、そのバウンディングボックス３０３内に配置されるブロック３０２の縦横比、大きさによって変化する。

図７（ａ）（ｂ）の上部分には、それぞれのレイアウトパターンに対応する二分木構造を示している。この二分木構造において、記号「Ｈ」は水平方向でバウンディングボックス３０３を分けることを示し、記号「Ｖ」が垂直方向にバウンディングボックス３０３を分けることを意味する。２ブロックの場合に、バウンディングボックス３０３の相対サイズが計算できれば、このバウンディングボックス３０３を前記の１ブロックの場合と同様に、画面に配置するサイズと位置が決められる。

さて、図７に示した２種類のレイアウトパターンからどちらを選び、また、第１のブロック３０２（順番情報は１、以下、ブロック３０２Ａとする）と第２のブロック３０２（順番情報は２，以下、ブロック３０２Ｂとする）の位置とサイズをどのように決めるかを図８を参照しながら詳しく説明する。

まず、ブロック３０２Ａとブロック３０２Ｂを囲む２種類のバウンディングボックス３０３の相対サイズを計算する。これらのバウンディングボックス３０３を１ブロックとして画面に配置するため、画面のサイズを合わせて、配置するサイズを決める。

次に、それぞれのレイアウトパターンにおける面積占有率（ブロック３０２Ａとブロック３０２Ｂの面積を画像表示領域３０１の面積で割った値）を比べて、より大きい面積占有率を有するレイアウトパターンを最適レイアウトパターンとして選択する。

さらに、それぞれのブロック３０２Ａ、３０２Ｂを配置するセルの位置とサイズを計算する（Ｓ２０２）。最後に、ブロック３０２Ａとブロック３０２Ｂを拡大/縮小して、それぞれの対応セルに当て嵌める（Ｓ２０３）。

さて、複数のブロック３０２の面積占有率Ｓ_Ｎは一般に下式で計算される。

上記式において、Ｎはブロック数を示し、Ａ_ｉは順位情報ｉ番のブロック３０２の相対面積を示し、ａ_pageは画像表示領域３０１の縦横比を示し、ａｒｏｏｔ、Ａｒｏｏｔはそれぞれルートバウンディングボックスの縦横比と相対面積を示す。

図８に２つのブロック３０２Ａ、３０２Ｂについて最適レイアウトを選択する場合の計算例を示す。図８（ａ）は、ブロック３０２Ａ、ブロック３０２Ｂの縦横比、相対面積を示し、図８（ｂ）は、図７（ａ）のレイアウトパターンでブロック３０２Ａ、ブロック３０２Ｂが配置された場合の例を示し、図８（ｃ）は、図７（ｂ）のレイアウトパターンでブロック３０２Ａ、ブロック３０２Ｂが配置された場合の例を示している。

図８に示す例では、ブロック３０２Ａの縦横比ａ_１＝１／３、相対面積Ａ_１＝１／３、ブロック３０２Ｂの縦横比ａ_２＝１、相対面積Ａ_２＝２／５、画像表示領域３０１の縦横比ａ_ｐａｇｅ＝３／２,面積w×h＝３００×２００である。図８（ａ）、図８（ｂ）の二つのレイアウトパターンについて別々に面積占有率Ｓ_Ｎを計算する。

まず、図７（ａ）のレイアウトパターンを用いてブロック３０２Ａ、３０２Ｂを配置した場合について、以下のように面積占有率Ｓ_Ｎを計算する。

まず、ブロック３０２Ａとブロック３０Ｂを囲むバウンディングボックス３０３の相対幅ｗ_１２、相対高さｈ_１２、縦横比ａ_１２、及び相対面積Ａ_１２を以下の計算によって算出する。

そして、ブロック３０２Ａ、及びブロック３０２Ｂの面積占有率Ｓ_Ｎ（以下、区別のために面積占有率Ｓ_ＮＶと呼ぶ）は以下のように計算される。

一方、図７（ｂ）のレイアウトパターンを用いてブロック３０２Ａ，３０２Ｂを配置する場合のバウンディングボックス３０３について、その相対幅ｗ_１２、相対高さｈ_１２、縦横比ａ_１２、及び相対面積Ａ_１２は以下のように計算される。

上記の計算結果に従い、図８（ｂ）のレイアウトパターンにおける二つのブロック３０２Ａ、３０２Ｂが占有する相対面積の比率、すなわち面積占有率Ｓ_Ｎ（以下、区別のために面積占有率Ｓ_ＮＨと呼ぶ）は以下のように計算される。

これらの計算結果より、図７（ａ）に示すレイアウトパターンを用いた場合の面積占有率Ｓ_ＮＶ＝０．４８８８９は、図７（ｂ）に示すレイアウトパターンを用いた場合の面積占有率Ｓ_ＮＨ＝０．２７５１８より大きいことが判定できる。すなわち、二つのブロック３０２Ａ，３０２Ｂを縦に並べるレイアウトパターンを用いた場合の面積占有率Ｓ_Ｎが大きいため、Ｓ２０５においてレイアウト生成部１０３は図７（ａ）のレイアウトパターンを最適レイアウトパターンとして選ぶこととなる。

次に、バウンディングボックス３０３の縦横比ａ_１２は

である。

一方、画像表示領域３０１の縦横比は、３００／２００＝１．５であり、バウンディングボックス３０３の縦横比は、画像表示領域３０１の縦横比より小さい。従、図５（ｂ）のケースのように、バウンディングボックス３０３の幅を画像表示領域３０１の幅（＝２００）に合わせるように決定する。

また、バウンディングボックス３０３を構成するセル３０３_１とセル３０３_２の高さの比率は下記式により定まる。

この比率に従ってバウンディングボックス３０３をセル３０３_１とセル３０３_２に分ける。セル３０３_１とセル３０３_２の幅はそれぞれ画像表示領域３０１の幅をとり、それぞれの高さは下記式のように

となる（図８（ａ）参照）。

また、画面に表示されるブロック３０２を互いに区別し易くするために、ブロック３０２の周囲に余白を設けるようにする。上述の例では、ブロック３０２の幅と高さが対応するセル幅と高さの、例えば、９８％までになるように拡大／縮小を行う。この例では、ブロック３０２Ａの（幅, 高さ）とブロック３０２Ｂの（幅, 高さ）はそれぞれ（196, 65）と（124, 124）になる。

なお、縦並べのレイアウトパターンで配置された場合との比較のため、図８（ｃ）に、横並べのレイアウトパターンで配置された場合を示した。図８（ｃ）の横並べのレイアウトパターンに比べて、最適レイアウトパターンとして選択された縦並べのレイアウトパターンはブロック３０２Ａ、及び３０２Ｂが大きく表示されることが一目でわかる。

最後に、レイアウト生成部１０３は、ブロック３０２Ａ、３０２Ｂをそれぞれ上記のサイズまで拡大/縮小して、ブロックの配置位置（例えば、ブロックの中心と、セルの中心とが一致する位置）を決定する。これにより、各ブロックの大きさ、及び配置位置が決定し、レイアウト生成部１０３は、各ブロックの大きさ、及び配置位置をレイアウトデータとして出力する。

図５に戻り、第１のレイアウト選出法の説明を続ける。
ステップＳ２０４においてブロック数Ｎが２でなかった場合（Ｓ２０４，Ｎｏ）、レイアウト生成部１０３はブロック数Ｎが３であるか否かを判定する（Ｓ２０６）。ブロック数Ｎが３であると判定した場合（Ｓ２０６、Ｙｅｓ）、レイアウト生成部１０３はブロック数が３の場合に用意されている８種類のレイアウトパターンから最適なレイアウトパターンを決定し、選択する（Ｓ２０７）。

図９は、ブロック数が３の場合に用意されている８種類のレイアウトパターン（ａ）〜（ｈ）を示している。

これらのレイアウトパターンから、画面の面積占有率Ｓ_Ｎを最大にすることを条件として、最適レイアウトパターンを選択するために、それぞれのレイアウトパターンを二つの二分木構造に分解し、前記２個のブロック３０２の計算と同じ方法で、各ブロック３０２の配置位置とサイズを決めることができる。

図１０に図９（ａ）に示したレイアウトパターンにおける例を示す。
例えば、図９（ａ）に示したレイアウトパターンでは、図１０に示すように、ブロック３０２_２とブロック３０２_３を有する水平分割の二分木Ｂ（９０１）と、二分木Ｂ（９０１）に相当するノードＩＩとブロック３０２_１を持つ垂直分割二分木Ａ（９０２）から構成される。二分木Ａ（９０２）と二分木Ｂ（９０１）は、それぞれに図７（ａ）、図７（ｂ）のレイアウトパターンに対応する。

ブロック３０２_２とブロック３０２_３を用いて、二分木Ｂ（９０１）に対応するバウンディングボックス３０３の相対サイズを計算する。続いて、ブロック３０２_１と二分木Ｂ（９０１）に対応するバウンディングボックス３０３を用いて、二分木Ａ（９０１）のバウンディングボックスの相対サイズを計算する。その後バウンディングボックス３０３の相対サイズに基づいて、各ブロックの画面に置かれた場合の大きさを計算し、各ブロックの大きさに基づいてそのレイアウトパターンにおける面積占有率Ｓ_Ｎを算出する。

以下、レイアウト生成部１０３は、図９（ｂ）〜図９（ｈ）に示す他のレイアウトパターンのそれぞれについて、同様に面積占有率Ｓ_Ｎを計算して、一番大きい面積占有率Ｓ_Ｎを有するレイアウトパターンを最適レイアウトパターンとして選択する（Ｓ２０７）。

最後に、選択したレイアウトパターンにおけるそれぞれのセル３０４の位置とサイズを計算し（Ｓ２０２）、各ブロック３０２を拡大/縮小して相応位置に当て嵌めるように、各ブロックの大きさ及び配置位置を決定して出力する（Ｓ２０３）。

例えば、前記図９（ａ）のレイアウトレイアウトパターンが、最大の面積占有率Ｓ_Ｎをゆうするものとして選ばれたとすると、レイアウト生成部１０３は、画像表示領域３０１のサイズに合わせて、二分木Ａに対応するバウンディングボックス３０３の実際サイズを決める。そして、ブロック３０２_１とノードＢの実際サイズを決める。さらに、ブロック３０２_２とブロック３０２_３の実際サイズを決める。

図４に戻り、第１のレイアウト選出法の説明を続ける。
ステップＳ２０６においてブロック数が３でなかった場合（Ｓ２０６，Ｎｏ）、レイアウト生成部１０３はブロック数が４の場合に用意されている３７種類のレイアウトパターンから最適なレイアウトパターンを決定し、選択する（Ｓ２０８）。ブロック数が４の場合、ブロックの既定順番を考慮した３７種類のレイアウトパターンを図１０に示す。これらのレイアウトパターンから、レイアウト生成部１０３は、画像表示領域３０１の面積占有率Ｓ_Ｎを最大にするレイアウトパターンを最適レイアウトとして選出する。より具体的には、前述のブロック数Ｎが３の場合と同様に、それぞれのレイアウトパターンを三つの二分木構造に分解し、前記２個のブロックにおける計算と同様の方法で、各二分木構造に対応するバウンディングボックス３０３の大きさの決定、ブロック３０２の配置する位置及びサイズを決定し、各レイアウトパターンにおける面積占有率Ｓ_Ｎを計算し、最大の面積占有率Ｓ_Ｎを有するレイアウトパターンを最適レイアウトパターンとして選択する。

図１２に、図１１に示すレイアウトパターンの一つについて面積占有率Ｓ_Ｎを算出する手法の例を示す。
図１２（ａ）は、図１１の左上隅に掲げたレイアウトパターンである。このレイアウトパターンは、図１２（ｂ）の二分木構造に相当する。図１２（ｂ）に示す二分木構造は、図１１（ｃ）のように、上から下への順番で二分木Ａ、二分木Ｂ、二分木Ｃの三つのに分木構造に分解される。

次に、ブロックＩ〜ＩＶを用いて、各二分木Ａ〜Ｃに対応するバウンディングボックス３０３の相対サイズを計算する。二分木Ａに対応するバウンディングボックス３０３の計算は、ノードＩＩの相対サイズに依存する。また、二分木Ｂに対応するバウンディングボックス３０３の計算は、ノードＩＩＩの相対サイズに依存する。この様に、二分木Ｃ、二分木Ｂ、二分木Ａの順番でそれぞれの相対サイズを決める。

さらに、レイアウト生成部１０３は、画像表示領域３０１の実際のサイズを用いて、上記バウンディングボックス３０３の実際サイズ、そしてブロック３０２の配置する実際サイズを計算する。二分木Ａ（に対応するバウンディングボックス３０３）は、画像表示領域３０１のサイズに合わせて自分の実際サイズを決める。ノードＢとブロックＩＶは二分木Ａに対応するバウンディングボックス３０３の実際サイズに合わせて、それぞれの実際サイズを決める。ノードＣとブロックＩは二分木Ｂに対応するバウンディングボックス３０３の実際サイズに合わせて、それぞれの実際サイズを決める。ブロックＩＩとブロックＩＩＩは二分木Ｃに対応するバウンディングボックス３０３の実際サイズに合わせて、それぞれの実際サイズを決める。この様に、（ブロックＩＶ, ノードＢ）組、(ブロックＩ, ノードＣ)組、(ブロックＩＩ, ブロックＩＩＩ)組という順番で、それぞれの実際サイズを計算する。

ブロックの位置と実際サイズが決めたら、ブロックＩ〜ＩＶをそれぞれの実際サイズまで拡大/縮小して、対応するセル３０４に当て嵌める（Ｓ２０３）。
以上で、第１のレイアウト選定法（図５）の説明を終了する。

図３に戻り、レイアウト生成部１０３の動作例の説明を続ける。
ステップＳ１０２において、レイアウト生成部１０３はブロック数Ｎが所定数Ｍを超えると判定した場合（Ｓ１０２，Ｙｅｓ）、レイアウト生成部１０３はレイアウト対象であるＮ個のブロック３０２を面積の降順に配列する（Ｓ１０５）。次に、面積が大きい上位Ｍ個のブロック３０２を選択する（Ｓ１０６）。このＭ個のブロック３０２について、前述の第１のレイアウト選定法によりこれらＭ個のブロック３０２のレイアウトパターン及び各ブロックの配置位置及びサイズを決定する（Ｓ１０７）。

次に、残ったブロック３０２のうち最大の面積を有するブロック３０２（残余最大ブロックと呼ぶ）を選択する（Ｓ１０８）。選択した残余最大ブロック３０２と、直前のステップＳ１０７において各ブロックの配置位置及びサイズを決定されたブロック３０２について、後述する第２のレイアウト選出法を実行する（Ｓ１０９）。

次に、第２のレイアウト選出法（Ｓ１０９）について詳しく説明する。
第１のレイアウト選出法では、ブロック数の増加に従い、選択可能なレイアウトパターン数、使用メモリや計算時間が急増し、レイアウトパターンからの最適レイアウトパターンの全探索が難しくなる。そこで、第２のレイアウト選出法は、Ｋ（４＜Ｋ＜Ｎ、Ｎは全ブロック数）個のブロック３０２の最適レイアウトパターンに基づいて、（Ｋ＋１）個のブロックの最適レイアウトパターンを求める手法である。

具体的には、ブロック３０２を一つずつ決定済のレイアウトパターンに追加する。どの部分に追加のブロックを嵌め込むかで複数のレイアウトパターンが生成可能であり、生成された複数のレイアウトパターンから最適レイアウトを選出する。

ブロック３０２の追加により生成されたレイアウトパターン数は、ブロック数Ｋに正比例する。Ｋ個のブロックのレイアウトパターンに対応する全二分木のノード数は（２Ｋ−１）個である。それぞれのノードは、垂直方向及び水平方向の２つのパターンに二分することができる。従、Ｋ個のブロック３０２に１個のブロック３０２を追加して得られるレイアウトパターンは、２×（２Ｋー１）個となる。

図１３はＫ個（Ｋ≧４）個のブロック３０２のレイアウトから（Ｋ＋１）個のブロック３０２のレイアウトパターンを生成し、その中から最適レイアウトパターンを選出する、第２のレイアウト選出法の一例を示すフローチャートである。

第２のレイアウト選出法の実行を開始したレイアウト生成部１０３は、まず、基本データの取得を行う（Ｓ３０１）。ここに言う基本データは、Ｋ個のブロック３０２_１、３０２_２、…３０２_Ｋについて生成されたレイアウトパターンの二分木Ｙ_Ｋ、二分木Ｙ_Ｋのノード列Ｎ_１、Ｎ_２、…Ｎ_{（２Ｋ−１）}、追加しようとする残余最大ブロック３０２_(K+1)の縦横比、相対面積である。

次に、レイアウト生成部１０３は、カウント用の変数「ｉ」に値１をセットする（Ｓ３０２）。これは、ブロック３０２_（K+1）を用いて（２Ｋ−１）個のノードを二分するためのループのための処理で、その他の方法であってももちろん構わない。

次に、レイアウト生成部１０３は、ｉ番目のノードＮ_ｉに対応するバウンディングボックス３０３内に残余最大ブロック３０２_(K+1)を縦に並べるレイアウトパターンを生成し（Ｓ３０３）、続いてそのレイアウトパターンについて後述する目標関数値Ｓ_ｉｖを算出する（Ｓ３０４）。

次に、レイアウト生成部１０３は、このｉ番目のノードＮ_ｉに対応するバウンディングボックス３０３内に残余最大ブロック３０２_(K+1)を横に並べるレイアウトパターンを生成し（Ｓ３０５）、続いてそのレイアウトパターンについて後述する目標関数値Ｓ_ｉｈを算出する（Ｓ３０６）。

ここで４個のブロックI〜ブロックIVの決定済レイアウトパターンＹ_４に１個のブロック３０２を追加する場合を一例としてあげる。４個のブロック３０２に対応した二分木Ｙ_４のノード数Ｎ_４は2*4-1 =7個であり、ブロックＶを追加する場合には、２＊７＝１４種類のレイアウトパターンが最適レイアウトパターンの候補となる。

図１４は二分木Ｙ_４のノードを二分する方法を示す。図１４（ａ）の左側は、４ブロックのレイアウトパターン１３０１と、これに対応した二分木Ｙ_４の二分木構造１３０２を示している。二分木構造１３０２中に記号「●」をつけたノードに対応するセル３０４Ｘを水平方向及び縦方向に二分して一つの新しいセルを追加することにより、２つのレイアウトパターン１３０３、１３０４が得られる。

図１４（ｂ）は、二分木Ｙ_４の内部ノードを垂直/水平方向に二分して、ブロックＶを追加する場合を示す。図１３（ｂ）の左側は、４個のブロック３０２のレイアウトパターン１３０１と、これに対応した二分木Ｙ_４の二分木構造１３０２を示している。二分木構造１３０２中に記号「●」をつけたノードに対応するバウンディングボックス３０３Ｙを水平方向及び縦方向に二分して一つの新しいセルを追加することにより、２つのレイアウトパターン１３０５、１３０６が得られる。

ここで、説明したいのは、二分木に対応するレイアウトパターンが画面で表示されるが、セル３０４の実際のサイズを示すわけではない。また、どのノードを二分しても、他のノードに実際の画面上のサイズに影響を及ぼす。一つのブロック３０２を追加することで、ルートバウンディングボックスから全てのセル３０４/ブロック３０２までのサイズが変わる。

また、実際のセル３０４，ブロック３０２のサイズの計算について、前述４個のブロックの方法と同じように、二分木の葉（ノード）から、ルートまで順次に、バウンディングボックス/セルの相対サイズを計算する。さらに、画像表示領域３０１のサイズに合わせて、バウンディングボックス３０３/セル３０４の実際のサイズを決める。最後に、各レイアウトパターンの面積占有率Ｓ_Ｎを求め、最終的に目標関数値ＴＳ_iv、ＴＳ_ｉｈを計算する。

ここで、上記の目標関数値ＴＳ_ｉｖ、ＴＳ_ｉｈ（以下、ＴＳ_iv、ＴＳ_ihの両者を総括して「ＴＳ_ｎ」と表記する）の算出方法につて説明する。
目標関数値を以下のように定める

この目標関数値は、以下の式で計算する。

上記の式に置いて面積占有率Ｓ_ｎは前述の方法で計算する。また、順番調整係数χは以下の式により定まる。

上記式中、Ｋ(但し、Ｋ＞４)はレイアウトされたブロック数であり、αは任意の係数である。また、順番適応度ｒ_ｎ（ｎは、Ｋ≧ｎ≧１を満たす整数）は以下のように求められる。

ブロック３０２の既定順番を画面上の左上から右下への順番で表す。レイアウトパターン中に配置されたブロック３０２の順番情報に従って、先の番号を有するブロック３０２から後の番号を有するブロック３０２へ、対応するセル３０４の左上角から左上角へ向かうベクトルを引き、このベクトルの方向を順番適応度ｒ_ｎで表す。順番適応度ｒ_ｎは以下の式により定義される。

上記式において、（Ｘ_１、Ｙ_１）は先の番号のブロック３０２に対応するセル３０４の左上角の座標（画面の左上角が原点とする）であり、（Ｘ_２、Ｙ_２）は後の番号のブロック３０２に対応するセル３０４の左上角の座標である。

図１５は、順番適応度ｒ_ｎの値とベクトルの方向を示す図である。図１４に示すように、左向きと上向きベクトルに対して、順番適応度ｒ_ｎはそれぞれ値-０．５を取る。左上向きベクトルに対して、順番適応度ｒ_ｎは値-１．０を取る。その他の方向に対して、順番適応度ｒ_ｎは値0.0を取る。但し、上記の定義方法はあくまでベクトルに点数をつける一つの例である。その他の点数をつける方法であっても、画像表示領域３０１における各ブロック３０２の配列がブロック３０２の順番情報に合致する程度を反映できる方法であれば、本発明の範囲内である。

また、係数αは、ブロック３０２に付与された順番情報の重要性を調整するための要素である。例えば係数α=1.0と設定する。ここで、図１６（ａ）に示すように６個のブロック３０２が配置されたものとする。なお、各ブロック３０２内に示されたローマ数字はそのブロック３０２の順番情報である。図１６（ａ）のレイアウトパターンにおける順番適応度r_nを求めるためのベクトルは図１５（ｃ）に示すようになる。このとき、順番調整係数χは以下の値を取る。

図１６（ａ）のブロック配置では、ブロック３０２の順番が左上から右下に従い配置されているため、順番調整係数χは１．０となり、その結果目標関数値ＴＳ_ｎは画面の面積占有率Ｓ_ｎと同じ値となる。一方、図１６（ｂ）のレイアウトパターンに対して、６個のブロック３０２が配置されたものとする。なお、各ブロック３０２内に示されたローマ数字はそのブロック３０２の順番情報である。図１５（ｂ）のレイアウトパターンにおける順番適応度r_nを求めるためのベクトルは図１５（ｄ）に示すようになる。このとき、順番調整係数χは以下の値を取る。

図１６（ｂ）のレイアウトパターンにおいて、ブロックＶは、左上から右下へ向かう順番に違反して配置されているため、順番調整計数χの値は、左上から右下へ向かう順番に適した配列がなされている図１６（ａ）の順番調整計数χに比べて小さな値となり、目標関数値ＴＳ_ｎの値は画面の面積占有率Ｓ_ｎの92%となる。図１６（ａ）と図１６（ｂ）の面積占有率Ｓ_ｎが同じであるとすれば、図１６（ａ）の目標関数値ＴＳ_ｎがより大きいことになり、最適レイアウトパターンとして図１６（ａ）に示されたレイアウトパターンが選択される。

なお、最適レイアウトパターンの選択においてブロック３０２の配列順番の重要性をもっと増やすためには係数αの値を大きく取る。逆に、ブロック３０２の配列順番の重要性をより低く評価する（面積占有率Ｓ_ｎをより重視する）場合、係数αを小さな値（例えば１未満）にすればよい。
以上で、目標関数値ＴＳ_ｎの算出方法の説明を終了する。

再び図１３に戻り、第２のレイアウト選出法の説明を続ける。
ステップＳ３０３〜ステップＳ３０６によって、目標関数値ＴＳ_ｉｖ、ＴＳ_ｉｈを算出したレイアウト生成部１０３は、カウンタ値ｉを＋１インクリメントする（Ｓ３０７）。次に、レイアウト生成部１０３は、インクリメントされたカウンタ値ｉがレイアウトパターンの二分木Ｙ_Ｋのノード数（２Ｋ−１）を超えたか否かを判定する（Ｓ３０８）。

カウンタ値ｉがレイアウトパターンの二分木Ｙ_Ｋのノード数（２Ｋ−１）を超えていないと判定した場合（Ｓ３０８，Ｎｏ）は、レイアウト生成部１０３は、ステップ３０３に戻り、次のノードに対応するバウンディングボックス３０３について、縦に分割して残余最大ブロック３０２を追加した場合の目標関数値ＴＳ_ｉｖ、及び横に分割して残余最大ブロック３０２を追加した場合の目標関数値ＴＳ_ｉｈを算出する（Ｓ３０３〜Ｓ３０６）。以下、カウンタ値ｉがノード数（２Ｋ−１）を超えるまで、すなわち、二分木Ｙ_ｋの全てのノードＮ１、Ｎ２、…、Ｎ_{（２ｋ−１）}に対応するバウンディングボックス３０３について縦に分割して残余最大ブロック３０２を追加した場合の目標関数値ＴＳ_１ｖ、ＴＳ_２ｖ、…、ＴＳ_{（２ｋ−１）ｖ}と、横に分割して残余最大ブロック３０２を追加した場合の目標関数値ＴＳ_１ｈ、ＴＳ_２ｈ、…、ＴＳ_{（２ｋ−１）ｈ}とを算出する。

一方、カウンタ値ｉがレイアウトパターンの二分木Ｙ_Ｋのノード数（２Ｋ−１）を超えたと判定した場合（Ｓ３０８，Ｙｅｓ）は、レイアウト生成部１０３は、目標関数値ＴＳ_１ｖ、ＴＳ_２ｖ、…、ＴＳ_{（２ｋ−１）ｖ}、及び目標関数値ＴＳ_１ｈ、ＴＳ_２ｈ、…、ＴＳ_{（２ｋ−１）ｈ}のうち最大の値である最大目標関数値ＴＳ_ｍａｘを抽出する（Ｓ３０９）。最大目標関数値ＴＳ_ｍａｘに対応する態様で残余最大ブロック３０２_Ｋが追加されたレイアウトパターンが、（Ｋ＋１）このブロックを画面に配置したときの最適レイアウトパターンである。

最後に、上記最大目標関数値Ｓ_ｍａｘに対応するレイアウトパターン（若しくは当該パターンに対応する二分木構造Ｙ_{（Ｋ＋１）}）を出力する（Ｓ３１０）。

以上で、Ｋ個のブロック３０２が配置された最適レイアウトパターンに追加のブロック３０２_{（Ｋ＋１）}を追加した場合の最適レイアウトパターンを選出する場合の、第２のレイアウト選出法が終了する。

図４に戻り、レイアウト生成部１０３の動作例の説明を続ける。
第２のレイアウト選出法の実行（Ｓ１０９）を終了すると、レイアウト生成部１０３は全てのブロック３０２について第２のレイアウト選出法を実行したか否かを判定する（Ｓ１１０）。全てのブロック３０２について第２のレイアウト選出法を実行していないと判定した場合（Ｓ１１０，Ｎｏ）、レイアウト生成部１０３はステップＳ１０８に戻り、次の残余最大ブロック３０２を追加して、第２のレイアウト選出法を実行し（Ｓ１０９）、最適レイアウトパターンを求める。

一方、全てのブロック３０２について第２のレイアウト選出法を実行したと判定した場合（Ｓ１１０，Ｙｅｓ）、レイアウト生成部１０３は、直前の第２のレイアウト選出法で取得したレイアウトパターンをグラフィック・ボード９０に出力する。

［まとめ］
本発明によれば、映像などから抽出した複数の順番ある矩形ブロック（例えば映像のセイリエント部分）を画面に大きく表示するためのレイアウト方法として、ブロック数がＭ個（例えばM＝4）以下の時に全探索方法で、且つブロック数がM以上の時に累積方法で、画面レイアウト結果を求め、上記の全探索方法や累積方法において、ブロックの順番が画面左上から画面右下への順番で反映することができる。

本発明は主に以下の三つの特徴がある。１、ブロック数がＭ（例えばM＝4）以下の場合、時間順を考慮した候補レイアウト類を例挙して、面積占有率最大を条件として画面レイアウトを選択する。２、ブロック数がM以上の場合、候補レイアウト類選択する全探索方法とブロックを一つずつ追加する累積方法を使え分けて、全体最適レイアウトに近い結果が得られる。３、ブロックの順番が画面上の左上から右下への順番で反映される。

画像ブロックレイアウトシステムの構成例を示すブロック図 画像ブロックレイアウト生成装置の構成例を示す機能ブロック図 出力装置に表示される画面例を示す図 画像ブロックレイアウト生成装置の動作例を示すフローチャート 第１のレイアウト選出法の例を示すフローチャート ブロック数が１の場合のレイアウト例を示す図 ブロック数が２の場合のレイアウトパターン例を示す図 ブロック数が２の場合の計算例を示す図 ブロック数が３の場合のレイアウトパターン例を示す図 ブロック数が３の場合の計算例を示す図 ブロック数が４の場合のレイアウトパターン例を示す 図１１に示すレイアウトパターンの一つについて面積占有率を算出する手法の例を示す図 第２のレイアウト選出法の一例を示すフローチャート 二分木Ｙ_４のノードを二分する方法を示す図 順番適応度の値とベクトルの方向を示す図 係数αの計算例及びその効果の例を示す図

符号の説明

１ … 画像ブロックレイアウトシステム
１０ … 画像ブロックレイアウト装置
２０ … 記憶装置
３０ … 出力装置
１０１ … 序列データ生成部
１０２ … ブロック生成部
１０３ … レイアウト生成部

Claims (7)

1. それぞれに順番が定められている複数の画像ブロックを一画面内に表示させる画像ブロックレイアウト方法であって、
   一画面内に表示させる画像ブロック数と同数のセルを有するレイアウトパターンであって、予め所定の順番が定められたセルを前記ブロック数と同数個有する、複数のレイアウトパターンを取得するステップと、
   画像ブロックの順番とその画像ブロックを格納するセルの順番が一致するように、画像ブロックをレイアウトパターンに従って配置した場合、前記レイアウトパターンのそれぞれについてその面積占有率を計算し、面積占有率が最大であるレイアウトパターンを選出するステップと
   を有することを特徴とする画像ブロックレイアウト方法。
2. それぞれに順番が定められている複数の画像ブロックを一画面内に表示させる画像ブロックレイアウト方法であって、
   前記複数の画像ブロックをサイズの大きさの順に順位を決めるステップと、
   前記順位において上位Ｍ個の画像ブロックについて、請求項１に記載の方法を用いて最適レイアウトパターンを決めるステップと、
   前記複数の画像ブロックのうち残余のもので最も順位の高い残余最大ブロックを前記最適レイアウトパターンに追加して得られる複数のレイアウトパターンについて、目標関数値を算出し、目標関数値の最も大きいレイアウトパターンを最適レイアウトパターンとして選択するステップと、
   前記画像ブロックの全てが追加されるまで、前記目標関数値の最も大きいレイアウトパターンを最適レイアウトパターンとして選択するステップを繰り返すステップと
   を有することを特徴とする画像ブロックレイアウト方法。
3. 一画面内に表示させる画像ブロック数に応じて、画像ブロックを所定の規則に従って順番に並べることができるレイアウトパターンが事前に定められていることを特徴とする、請求項１又は請求項２に記載の画像ブロックレイアウト方法。
4. 前記目標関数値は、画像ブロックの順番と、予め定めた画像ブロックを画面上に配置する基準とが一致する程度を表す数値である順番調整係数に、前記画像ブロックに関する面積占有率を乗じた値であることを特徴と有する、請求項２又は請求項３に記載された画像ブロックレイアウト方法。
5. ある順位を有する画像ブロックを格納するセルにより定まる座標から、その次順位の画像ブロックを格納するセルにより定まる座標へ向かうベクトルを定め、そのベクトルの方向に従って定まる点数を、一画面中に表示される全画像ブロックについて定まるベクトルのそれぞれについて定め、前記点数の総計に基づいて前記調整係数を算出することを特徴と有する請求項４に記載の画像ブロックレイアウト方法。
6. 画像ブロックの元となる画像データを記憶した記憶手段と、前記記憶手段に接続された画像ブロックレイアウト生成手段と、前記画像ブロックレイアウト生成手段に接続された出力手段とを有する、画像ブロックレイアウトシステムであって、
   前記画像ブロックレイアウト生成手段は、一画面内に表示させる画像ブロック数と同数のセルを有するレイアウトパターンであって、予め所定の順番が定められたセルを前記ブロック数と同数個有する、複数のレイアウトパターンを予め記憶しており、
   画像ブロックの順番とその画像ブロックを格納するセルの順番が一致するように、画像ブロックをレイアウトパターンに従って配置した場合、前記レイアウトパターンのそれぞれについてその面積占有率を計算し、面積占有率が最大であるレイアウトパターンを選出し、
   前記レイアウトパターンに前記画像ブロックを当て嵌めて生成される画像データを出力装置に表示させる
   ことを特徴とする画像ブロックレイアウトシステム。
7. 前記画像ブロックレイアウト生成手段は、前記複数の画像ブロックをサイズの大きさの順に順位を決め、前記順位において上位Ｍ個の画像ブロックについて、請求項１に記載の方法を用いて最適レイアウトパターンを決め、
   前記複数の画像ブロックのうち残余のもので最も順位の高い残余最大ブロックを前記最適レイアウトパターンに追加して得られる複数のレイアウトパターンについて、目標関数値を算出し、目標関数値の最も大きいレイアウトパターンを最適レイアウトパターンとして選択し、
   前記画像ブロックの全てが追加されるまで、前記目標関数値の最も大きいレイアウトパターンを最適レイアウトパターンとして選択することを繰り返す
   ことを特徴とする画像ブロックレイアウトシステム。

Images