JP2014199509A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】配置バランスが崩れた場合に、バランスをとるためにユーザが手動で他のコンテンツをあらためて選択し直す手間を不要にする。
【解決手段】まず、ユーザの操作に応じて初期のレイアウトを作成する。そして、置き換え可能なコンテンツの候補を登録する。次に、ユーザの操作によりレイアウトの中の１つのコンテンツを置き換える場合に、置き換え前後のバランス要素の差分を算出し、最も差分が小さくなるように、他のコンテンツの組み合わせを決定するようにして、ユーザにより他のコンテンツを選択し直す手間を不要する。
【選択図】図１

Description

本発明は、特に、レイアウトを作成するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

画像のレイアウトに関し、予め定められたテンプレートに選択した画像を当てはめてレイアウトを行う技術が広く知られている。しかし、この方法では、選択画像の内容を考慮しないため、画像の内容に応じた見栄えのよいレイアウトを実現するのは困難であった。したがって、異なる複数のテンプレートの中から適切なものを選択し、一つ一つの画像を見ながらテンプレートの適切な位置に配置するなど、ユーザが手動で調整する必要があった。そこで、手間や労力を低減し、画像の内容に応じて見栄えのよいレイアウトを実現するための方法が提案されている。

例えば、レイアウトの対象となる候補画像から「視覚の誘導場」に関する画像特徴を求める方法がある。この方法では、特定人物情報として、特定人物ごとに主観評価に適合した視覚の誘導場特徴量を保持する。そして、この特徴を用いて画像の評価値を算出し、画像を評価してレイアウトを自動的に決定している（例えば、特許文献１参照）。

特許第４０２９６３６号公報

しかしながら、見栄えのよさはユーザの主観に依存する部分が多い。すなわち、レイアウトの良し悪しを決める重要な要素として人物や風景などのバランスがあるが、このバランスはユーザの体験や思いなどによって決められるものである。従来の方法では、レイアウトの是非を特定の評価値のみで決めており、ユーザの主観に十分な配慮がなされていない。そのため、ページ内の配置バランスが崩れた場合に、バランスをとるためにユーザが手動で他のコンテンツをあらためて選択し直す必要が生じ、労力が多大になる。

本発明は前述の問題点に鑑み、配置バランスが崩れた場合に、バランスをとるためにユーザが手動で他のコンテンツをあらためて選択し直す手間を不要にすることを目的としている。

本発明の画像処理装置は、レイアウトを構成するコンテンツを設定する設定手段と、前記設定手段によって設定されるコンテンツをユーザの操作に応じて選択する選択手段と、前記設定手段によって設定されるコンテンツを記憶する記憶手段と、前記レイアウトの特徴を示す要素を分析する分析手段とを備え、前記設定手段は、前記選択手段によってコンテンツが選択された場合に、前記選択される前と後で前記分析手段によって分析される要素の変化が小さくなるように、前記レイアウトを構成する他のコンテンツを前記記憶手段に記憶されているコンテンツの中から決定することを特徴とする。

本発明によれば、レイアウト済みのコンテンツの一部を変更した場合に、バランスを考慮して他のコンテンツを変更する手間を削減することができる。

本発明の実施形態に係るレイアウト装置の構成例を示すブロック図である。 第１及び第２の実施形態に係るレイアウト装置による初期設定フェーズの処理手順の一例を示すフローチャートである。 第１〜第３の実施形態に係るレイアウト装置による修正フェーズの処理手順の一例を示すフローチャートである。 初期レイアウトの設定例を示す図である。 置き換え可能な画像候補の登録イメージを示す図である。 人物写真の画像候補として登録された登録写真の一例を示す図である。 風景写真の画像候補として登録された登録写真の一例を示す図である。 建物写真の画像候補として登録された登録写真の一例を示す図である。 植物写真の画像候補として登録された登録写真の一例を示す図である。 第１の実施形態において、画像に対してバランス要素を設定した例を説明するための図である。 第１の実施形態において、置き換え前後のバランス要素の変化の一例を説明するための図である。 第１の実施形態において、着目コンテンツに置き換えた後に他の置き換え候補を選択した例を示す図である。 第１の実施形態において、置き換え後のバランス要素のデータの変化の一例を示す図である。 第２の実施形態において、画像に対してバランス要素を設定した例を説明するための図である。 第２の実施形態において、置き換え前後のバランス要素の変化の一例を説明するための図である。 第２の実施形態において、着目コンテンツに置き換えた後に他の置き換え候補を選択した例を示す図である。 第２の実施形態において、置き換え後のバランス要素のデータの変化の一例を示す図である。 第３の実施形態に係るレイアウト装置による初期設定フェーズの処理手順の一例を示すフローチャートである。

（第１の実施形態）
本実施形態では、画像処理装置の一例として、表示コンテンツのレイアウトの修正を補助するレイアウト装置の動作について説明する。

図１は、本実施形態に係るレイアウト装置１００の構成例を示すブロック図である。
図１において、レイアウト装置１００は、レイアウト設定部１０１、分析部１０２、記憶装置１０３、表示部１０４、および操作部１０５を備えている。図１に示すレイアウト装置１００では、ユーザは初期設定フェーズで初期レイアウトを決定する。そして、初期レイアウトからレイアウトを修正する場合には、修正フェーズによってレイアウトを修正する。

次に、図１から図３を参照しながら、本実施形態におけるレイアウト装置１００の動作を説明する。まず、初期設定フェーズの動作について説明する。初期設定フェーズでは、レイアウト設定部１０１において初期レイアウトを設定するための機能を提供する。

図２は、本実施形態に係るレイアウト装置１００による初期設定フェーズの処理手順の一例を示すフローチャートである。
まず、ステップＳ２０１において、レイアウト設定部１０１は、初期レイアウトを設定するための画面を表示部１０４に表示し、ユーザによる操作部１０５の操作に応じて、初期レイアウトを設定する。ここで、レイアウトされる静止画像および動画像は記憶装置１０３に予め格納されているものとする。

図４は、初期レイアウトの設定例を示す図である。図４における初期レイアウトでは、４枚の静止画像が配置されている。以下、説明のため、初期レイアウト後のあるページに着目し、そのページにはレイアウトコンテンツとして、ハイキングで撮影した写真（静止画像）の一部を配置するものとする。また、レイアウトされる写真の種類としては、左上には人物写真、右上には風景写真、左下には建物写真、右下には植物写真を配置するものとする。

なお、本実施形態では、静止画像を配置することとして説明を進めるが、動画像の中の１フレームを配置するように構成してもよい。この場合、レイアウト設定部１０１に対する初期レイアウト設定用のユーザインターフェースには、配置された動画像を再生、一時停止、逆再生、コマ送りするための機能を実装する。コマ送り機能には、さらにスキップフレーム数を設定できる機能を備えるように構成してもよい。これにより、動画像の中の１フレームを容易に選択して表示することができる。

初期レイアウトが完了すると、初期レイアウトに関する情報をレイアウト設定ファイルに書き込み、記憶装置１０３に記憶する。レイアウトに関する情報は、表示動画・画像ファイルへのパスおよびファイル名、表示フレーム番号、表示位置、表示サイズなどである。

次に、ステップＳ２０２において、レイアウト設定部１０１は、レイアウトしたコンテンツ（写真）ごとに、置き換え可能な画像候補を登録する。本実施形態では、各配置位置に同じ種類の他の写真を登録することとする。すなわち、左上には人物写真、右上には風景写真、左下には建物写真、右下には植物写真を登録する。図５には、置き換え可能な画像候補の登録イメージを示している。また、図６から図９に、本実施形態で登録したそれぞれの種類の登録写真を示す。

最後に、ステップＳ２０３において、分析部１０２は、バランス要素の設定を行う。本実施形態では、バランス要素としてオブジェクト数を用いる。この処理ではまず、オブジェクトの抽出およびカウントを、そのときにレイアウトされている画像に対して行う。具体的には、画像を領域分割し、次に認識技術を適用して分割した領域ごとにラベルを付与する。最後に、同一ラベルを持つ領域をカウントする。本実施形態では、オブジェクト名（ラベル名）とオブジェクト数（着目ラベルを持つ領域のカウント数）とがバランス要素となる。図１０には、画像に対してバランス要素を設定した例を示す。このように、ステップＳ２０３では、ステップＳ２０１で設定された画像からバランス要素の設定を行う。

以上の手順によりバランス要素を設定した後、初期レイアウト状態でのバランス要素のデータをバランス条件設定ファイルとして記憶装置１０３に記憶する。なお、それぞれのバランス要素については、後述の置き換え時に考慮するかしないかを設定することが可能である。

次に、修正フェーズの動作を説明する。レイアウトの修正フェーズではレイアウト設定部１０１において、初期設定フェーズで配置したコンテンツごとに、置き換え可能なコンテンツ候補内のコンテンツと置き換える機能を提供する。

図３は、本実施形態に係るレイアウト装置１００による修正フェーズの処理手順の一例を示すフローチャートである。
まず、ステップＳ３０１において、レイアウト設定部１０１は、置き換える画像候補を表示部１０４に表示し、ユーザによる操作部１０５の操作に応じてレイアウト済み画像の１つを置き換える。以下、置き換えようとしている画像を着目コンテンツと呼ぶ。

置き換え先の画像は、ステップＳ２０２において着目コンテンツに対して登録した画像候補から選択される。ここでは、初期設定フェーズの説明と同様に静止画像を前提に説明するが、動画像が登録されている場合には動画像中の１フレームを選択するように構成してもよい。この場合、レイアウト設定部１０１における初期レイアウト設定用のユーザインターフェースには、配置された動画像を再生、一時停止、逆再生、コマ送りするための機能を実装する。コマ送り機能には、さらにスキップフレーム数を設定できる機能を備えるように構成してもよい。これにより、動画像中の１フレームを容易に選択し、表示できるようになる。

置き換え先の画像を選択すると、次のステップＳ３０２において、まず、分析部１０２は、置き換え先の画像に対してオブジェクトの抽出およびカウントを行って、置き換え後のレイアウト状態でバランス要素のデータを収集する。以下、ここで収集したデータを置き換え後バランス要素データと呼ぶ。次に、ステップＳ２０３で記憶装置１０３に記憶したバランス条件設定ファイルから初期レイアウトでのバランス要素のデータを読み出す。以下、ここで読み出したデータを置き換え前バランス要素データと呼ぶ。なお、図１１には、置き換え前後のバランス要素データの変化の一例を説明する図を示している。

次に、ステップＳ３０３において、分析部１０２は、まず、置き換え前バランス要素データと置き換え後バランス要素データとのバランス距離を差分として算出する。本実施形態では、図１１に示したように、バランス要素として画像内の人、湖、花の数を考慮するものとして説明する。すなわち、バランス要素データの構成要素として、人、湖、花のラベルを持つオブジェクト数を用い、以下の式（１）によりバランス距離Ｄｂを算出する。
Ｄｂ＝Ｗｈ（Ｎｈ−Ｎｈ'）＋Ｗｐ（Ｎｐ−Ｎｐ'）＋Ｗｆ（Ｎｆ−Ｎｆ'）
・・・（１）

ここで、Ｎｈ、Ｎｐ、Ｎｆは置き換え前バランス要素データの構成要素である。具体的にＮｈは「人（ｈｕｍａｎ）」ラベルを持つオブジェクト数、Ｎｐは「湖（ｐｏｎｄ）」ラベルを持つオブジェクト数、Ｎｆは「花（ｆｌｏｗｅｒ）」ラベルを持つオブジェクト数である。Ｎｈ'、Ｎｐ'、Ｎｆ'は置き換え後バランス要素データの構成要素である。また、Ｗｈ、Ｗｐ、Ｗｆは各構成要素の重み係数である。本実施形態では、Ｗｈ＝Ｗｐ＝Ｗｆ＝１と仮定して説明する。

ステップＳ３０３では、次に、バランス距離Ｄｂを小さくするように着目コンテンツ以外の画像の置き換えを試みる。置き換える画像はステップＳ３０１での置き換えと同様、ステップＳ２０２において各画像に対して登録した画像候補から選択する。本実施形態では、置き換えのすべての組み合わせに対してバランス距離を算出し、バランス距離が最も小さくなる置き換えの組み合わせを置き換え候補とする。図１２には、着目コンテンツに置き換えた後に他の置き換え候補を選択した例を示し、図１３には、その時のバランス要素データの変化イメージを示す。

次に、ステップＳ３０４において、レイアウト設定部１０１は、前記置き換え候補を表示部１０４に表示し、ユーザに対して置き換え可否の判断を促す。そして、ユーザの操作により、提示された置き換え候補でよいと操作部１０５から指示を受けたか否かを判定する。この判定の結果、提示された置き換え候補でよいと指示を受けた場合には、ステップＳ３０５において、レイアウト設定部１０１は、置き換え候補を置き換えコンテンツとして決定する。その後、ステップＳ３０６において、レイアウト設定部１０１は、コンテンツを前記置き換え後のコンテンツで置き換えるとともに、置き換え後のレイアウト状態でのバランス要素のデータをバランス条件設定ファイルに更新する。

一方、ステップＳ３０４の判定の結果、提示された置き換え候補でよいと指示を受けなかった場合には、ステップＳ３０１に戻り、再設定を行う。

本実施形態では、以上のように構成したので、レイアウト済みのコンテンツの一部を変更した場合に、バランスを考慮して他のコンテンツを変更する手間を削減することができる。なお、本実施形態では、バランス距離Ｄｂの算出時にバランス要素として人、湖、花のみを考慮するように説明したが、他の要素も考慮するように構成しても構わない。また、上記の説明では、重み係数の値をすべて同じ値として説明したが、もちろん異なるように構成しても構わない。

また、上記の説明では、バランス要素にオブジェクト数を用いて説明したが、さらに当該オブジェクトの領域の面積も考慮するように構成してもよい。例えば、オブジェクト数をカウントするとき、単純に足し合わせるのではなく、面積に比例する重み係数を設定し、重み係数を足し合わせるように構成してもよい。

また、上記の説明では、バランス要素にオブジェクト数を用いて説明したが、オブジェクト数ではなく人物オブジェクトを人物認識して個人毎に人物ＩＤを設定するなど、ラベルを詳細化するように構成してもよい。

（第２の実施形態）
第１の実施形態では、バランス要素としてオブジェクト数を用いるように構成したが、本実施形態ではバランス要素としてコンテンツから抽出あるいは算出した低次画像特徴を用いる方法について説明する。具体的には、色配分、人物数、ゴチャゴチャ度合いの３つの要素をバランス要素として設定する。なお、本実施形態に係るレイアウト装置の構成については、第１の実施形態と同様であるため、説明は省略する。以下、第１の実施形態と異なる点について説明する。

初期設定フェーズでは、ステップＳ２０２までの動作は第１の実施形態と同様である。ステップＳ２０３においては、バランス要素として色配分、人物数、ゴチャゴチャ度合いの３つの要素を設定する。それぞれのバランス要素については、分析部１０２がレイアウトした画像から算出する。

本実施形態では、色配分は、ピクセル値のＲＧＢそれぞれの値を積算した値である。人物数は、写真から人物検出器を用いて検出された人物の数である。ゴチャゴチャ度合いは、初期レイアウトでレイアウトされた表示画像をそれぞれ周波数変換し、各周波数成分の値を量子化ビンに積算したものである。なお、それぞれのバランス要素は、後述の置き換え時に考慮するかしないかを設定することが可能である。図１４には、画像に対してバランス要素の設定した例を示している。バランス要素を設定した後は、初期レイアウト状態でのバランス要素のデータをバランス条件設定ファイルに保存する。バランス条件設定ファイルは記憶装置１０３に記憶される。

次に、修正フェーズの動作について説明する。ステップＳ３０１は、第１の実施形態と同様である。ステップＳ３０１で置き換え先の画像を選択すると、ステップＳ３０２において、まず、分析部１０２は、置き換え後のレイアウト状態でのバランス要素のデータを収集する。次に、ステップＳ２０３で記憶装置１０３に記憶したバランス条件設定ファイルから初期レイアウトでのバランス要素のデータを読み出す。図１５には、置き換え前後のバランス要素データの変化イメージを示す。図１５に示す例では、置き換え後の棒グラフには「白」の部分と「黒」の部分が追加されている。この追加部分について、「白」の部分は値の減少を表し、「黒」の部分は値の増加を表す。

次に、ステップＳ３０３において、分析部１０２は、まず、置き換え前バランス要素データと置き換え後バランス要素データとのバランス距離を算出する。本実施形態では、以下の式（２）によりバランス距離Ｄｂを算出する。
Ｄｂ＝ Ｗｃ｛（Ｖｃ・Ｖｃ'）／（｜Ｖｃ｜｜Ｖｃ'｜）｝＋Ｗｈ（Ｎｈ−Ｎｈ'）＋Ｗｆ｛（Ｖｆ・Ｖｆ'）／（｜Ｖｆ｜｜Ｖｆ'｜）｝ ・・・（２）

ここで、Ｖｃ、Ｎｈ、Ｖｆは置き換え前バランス要素データの構成要素であり、Ｖｃ'、Ｎｈ'、Ｖｆ'は置き換え後バランス要素データの構成要素である。具体的にはＶｃ、Ｖｃ'は色配分ベクトルであり、Ｒ、Ｇ、Ｂの値を要素として持つ。Ｎｈ、Ｎｈ'は検出された人物数である。Ｖｆ、Ｖｆ'は空間周波数ベクトルであり、その要素はレイアウトされた表示画像をそれぞれフーリエ変換し、各周波数成分の値を量子化ビンに積算した後の各量子化ビンの値を低域成分から順に並べたものである。また、Ｗｃ、Ｗｈ、Ｗｆは重み係数である。なお、考慮しないバランス要素がある場合には、式（２）中の対応する項を取り除けばよい。

ステップＳ３０３では、次に、バランス距離Ｄｂを小さくするように着目コンテンツ以外の画像の置き換えを試みる。基本的な手順については第１の実施形態と同様である。図１６には、ステップＳ３０３で自動的に選択された置き換え候補例を示し、図１７には、その時のバランス要素のデータの変化のイメージを示す。ステップＳ３０４〜Ｓ３０６については、第１の実施形態と同様である。

本実施形態では、以上のように構成したので、レイアウト済みのコンテンツの一部を変更した場合に、バランスを考慮して他のコンテンツを変更する手間を削減することができる。なお、本実施形態では、レイアウトされるコンテンツとして静止画像のみがレイアウトされるものとして説明したが、動画像をレイアウトするように構成してもよい。その場合、バランス要素として動き度合いを用いるように構成してもよい。動き度合いは、例えばオプティカルフローを用いてピクセルごとにピクセルの移動量（移動距離）を算出し、その平均をとって算出した平均移動ピクセル数として定義することが可能である。

（第３の実施形態）
第１の実施形態では、ユーザの操作により初期レイアウトを設定するように構成したが、本実施形態では、レイアウト装置側で初期レイアウトの候補を設定する場合について説明する。本実施形態においては、初期レイアウトの候補を設定する場合に、レイアウト設定部１０１における処理の順番が第１の実施形態と異なっている。なお、本実施形態に係るレイアウト装置の構成については、第１の実施形態と同様であるため、説明は省略する。以下、第１の実施形態と異なる点について説明する。

図１８は、本実施形態において、初期設定フェーズの処理手順の一例を示すフローチャートである。図２の処理手順と異なる点は、図１８では、図２のステップＳ２０３の処理をステップＳ１８０１として最初に行う点である。

まず、ステップＳ１８０１において、レイアウト設定部１０１はバランス要素の設定用画面を表示部１０４に表示し、ユーザによる操作部１０５の操作に応じて、バランス要素の設定を行う。本実施形態では、第１の実施形態と同様にバランス要素としてオブジェクト数を用いる。

ユーザの操作によりオブジェクト数を設定すると、次に、ステップＳ１８０２において、レイアウト設定部１０１は記憶装置１０３を検索し、バランス要素の設定と合致するコンテンツを探し出す。すなわち、ステップＳ１８０１で設定したオブジェクト数を持つ画像を探し出す。

なお、オブジェクト抽出およびカウントについては、第１の実施形態と同様に、分析部１０２により、記憶装置１０３内の画像に対して行われる。なお、ステップＳ１８０１で設定されたオブジェクト数を持つ画像が見つからない場合は、最も近いオブジェクト数を持つ画像を探し出す。そして、探し出した画像を配置し、初期レイアウトの候補として設定する。また、ユーザにより設定されたオブジェクトを含む画像が見つからない場合は、無地の画像を配置する。あるいは配置前に警告を表示するように構成したり、警告を表示した後で再設定を促すように構成したりしてもよい。

ユーザが設定された初期レイアウト候補でよいと判断した場合は、ユーザにより操作部１０５から確定する指示を受信することにより当該初期レイアウト候補を初期レイアウトとして確定する。ユーザが設定された初期レイアウト候補で満足できない場合は、ユーザの操作により画像を置き換えることによって、初期レイアウト候補を修正して初期レイアウトを確定する。初期レイアウトが完了すると、レイアウト設定部１０１は、初期レイアウトに関する情報をレイアウト設定ファイルとして記憶装置１０３に書き込む。

次に、ステップＳ１８０３において、第１の実施形態で説明した図２のステップＳ２０２と同様の手順によりレイアウトしたコンテンツ（写真）ごとに置き換え可能な画像候補を登録する。なお、修正フェーズの動作については第１の実施形態と同様である。

本実施形態では、以上のように構成したので、レイアウト済みのコンテンツの一部を変更した場合に、バランスを考慮して他のコンテンツを変更する手間を削減することが可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ レイアウト設定部
１０２ 分析部
１０３ 記憶装置
１０４ 表示部
１０５ 操作部

Claims (9)

1. レイアウトを構成するコンテンツを設定する設定手段と、
   前記設定手段によって設定されるコンテンツをユーザの操作に応じて選択する選択手段と、
   前記設定手段によって設定されるコンテンツを記憶する記憶手段と、
   前記レイアウトの特徴を示す要素を分析する分析手段とを備え、
   前記設定手段は、前記選択手段によってコンテンツが選択された場合に、前記選択される前と後で前記分析手段によって分析される要素の変化が小さくなるように、前記レイアウトを構成する他のコンテンツを前記記憶手段に記憶されているコンテンツの中から決定することを特徴とする画像処理装置。
2. 前記分析手段は、前記コンテンツを領域分割し、前記分割した領域ごとに要素を分析することを特徴とする請求項１に記載の画像処理装置。
3. 前記要素は、前記分割した領域の面積を含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記要素は、コンテンツの中の人物ＩＤを含むことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 前記分析手段は、前記コンテンツから前記要素として低次画像特徴を抽出することを特徴とする請求項１に記載の画像処理装置。
6. 前記低次画像特徴として、色配分、ピクセルの移動量、及び空間周波数のうち、少なくとも１つを含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記設定手段は、ユーザの操作に応じて選択された要素に基づいて、前記レイアウトのコンテンツを初期設定することを特徴とする請求項１に記載の画像処理装置。
8. レイアウトを構成するコンテンツを設定する設定工程と、
   前記設定工程において設定されるコンテンツをユーザの操作に応じて選択する選択工程と、
   前記レイアウトの特徴を示す要素を分析する分析工程とを備え、
   前記設定工程においては、前記選択工程においてコンテンツが選択された場合に、前記選択される前と後で前記分析工程において分析される要素の変化が小さくなるように、前記レイアウトを構成する他のコンテンツを記憶手段に記憶されているコンテンツの中から決定することを特徴とする画像処理方法。
9. レイアウトを構成するコンテンツを設定する設定工程と、
   前記設定工程において設定されるコンテンツをユーザの操作に応じて選択する選択工程と、
   前記レイアウトの特徴を示す要素を分析する分析工程とをコンピュータに実行させ、
   前記設定工程においては、前記選択工程においてコンテンツが選択された場合に、前記選択される前と後で前記分析工程において分析される要素の変化が小さくなるように、前記レイアウトを構成する他のコンテンツを記憶手段に記憶されているコンテンツの中から決定することを特徴とするプログラム。

Images