JP2016194857A - 画像検索装置及びプログラム - Google Patents

Abstract

【課題】画像における特徴となる箇所を表す見た目印象要素に基づいて画像を提示する画像検索装置及びプログラムを提供する。【解決手段】本発明の一形態に係る画像検索装置は、画像と比較画像との間の類似度を、画像における特徴となる箇所を表す見た目印象要素を示すラベル、箇所及び類似度として画像に対応付けて格納する見た目印象要素記憶部と、前記見た目印象要素記憶部に格納された画像を提示する画像提示部と、前記画像提示部において提示された画像が選択された場合、選択された画像の比較画像を取得し、選択された画像の見た目印象要素を示すラベルに従って、選択された画像と取得された比較画像とを提示する見た目印象要素提示部と、を有する。【選択図】図１

Description

本発明は、画像検索装置及びプログラムに関し、例えば、ビジュアルデザインの作品をプロのデザイナーの視点を基に画像を検索することを可能とする装置及びプログラムに関する。

視覚的に情報を伝達することを目的としたビジュアルデザインは、その表現方法や表現の意図を言葉にすることが難しいため、学ぶことが難しいという問題がある。

特に、プロのデザイナーが、ビジュアルを用いた作品（ビジュアルを用いた作品とは、視覚的な表現で伝達することを目的とした作品のことであり、例えば、絵や写真などの静止画だけでなく、動画などを含む）を作成する際に、考慮するべき点を言葉にすることが難しい。

そのため、作品の作成方法は暗黙知となっており、プロのデザイナーの個人の感性や、センスに依存する。その結果、初心者のデザイナーやビジュアルデザインの知識が少ない人に知識を継承することが難しい。

これらの問題を解決するための手段の一つとして、書籍や論文など（例えば、Robin Williams. The Non-Designer's Design Book. Peachpit Press, 2009（発行年月日：2008/2/12））で、作品を作成する際に考慮するべき点を、「デザイン指針」としてまとめてきた。デザイン指針を用いるとデザインをする上で考慮すべき指針については、ある程度学ぶことができる。

また、言葉で表現することが難しい画像をクエリーにして検索する装置も発明されている。特許文献１では、クエリー用の画像の部分領域に類似した画像を含む映像ファイルを精度良く検索することができる。

特開２０１３−９２９４１号公報

しかし、従来の技術を活用する際に下記の二点の課題がある。

第一に、デザイン指針を記載した書籍の場合、掲載できる量が限られていることが挙げられる。そのため、具体例よりも、抽象化された一般論が掲載される。その結果、作成する作品に、具体的にどのように指針を応用すればよいかがわからず、上手く活用できないという課題がある。また、紙面の都合から、掲載される情報が、一部の限られたデザイナーの知識や事例に偏ってしまうことが課題である。

第二に、既存の画像検索装置では、画像をクエリーとして、画像に部分的に類似している画像を含む画像を検索することができるが、デザイナーがデザインをする上で重要とする視覚的な箇所や要素については考慮されておらず、それらの箇所を登録したり、その箇所を基に検索することはできない。

本発明は、例えば、ビジュアルデザインの作品をプロのデザイナーの視点を用いて画像を検索することを可能とするような、画像における特徴となる箇所を表す見た目印象要素に基づいて画像を提示する画像検索装置及びプログラムを提供することを目的とする。

本発明の一形態に係る画像検索装置は、
画像と比較画像との間の類似度を、画像における特徴となる箇所を表す見た目印象要素を示すラベル、箇所及び類似度として画像に対応付けて格納する見た目印象要素記憶部と、
前記見た目印象要素記憶部に格納された画像を提示する画像提示部と、
前記画像提示部において提示された画像が選択された場合、選択された画像の比較画像を取得し、選択された画像の見た目印象要素を示すラベルに従って、選択された画像と取得された比較画像とを提示する見た目印象要素提示部と、
を有することを特徴とする。

また、本発明の一形態に係るプログラムは、
上記の画像検索装置としてコンピュータを機能させるためのプログラムであることを特徴とする。

本発明によれば、画像における特徴となる箇所を表す見た目印象要素に基づいて画像を提示することにより、例えば、ビジュアルデザインの作品をプロのデザイナーの視点を用いて画像を検索することが可能になる。

本発明の実施例に係る画像検索装置の構成図 見た目印象要素データベースに格納される情報の例を示す図 画像提示部により提示される画像の例 見た目印象要素提示部により提示される画像 見た目印象要素類似度提示部により提示される画像の例 見た目印象要素の箇所の例を示す図 見た目印象要素をリンクでつないだ例 画像提示部の処理を示すフローチャート 見た目印象要素提示部の処理を示すフローチャート 見た目印象要素類似度計算部の処理を示すフローチャート 見た目印象要素類似度計算部において計算される見た目印象要素の類似度の例を示す図 見た目印象要素類似度提示部の処理を示すフローチャート

以下、図面を参照して本発明の実施例について説明する。

本発明の実施例では、一例として、ビジュアルデザインの作品をプロのデザイナーの視点を用いて検索することを可能とするための画像検索装置について説明する。

本発明の実施例に係る画像検索装置は、画像（各々の作品の静止画および動画を含む）の一部を、ビジュアルデザインを表現する上で特徴となる箇所（見た目印象要素と呼ぶ）として指定することで、ビジュアルデザインを表現する上で特徴となる箇所を具体的に表現・保持することを可能とする。動画の場合は、動画から得られる静止画に対して、見た目印象要素を指定する。

また、見た目印象要素を二つ以上用意し、その要素同士の類似度と、その見た目印象要素がなぜ似ているのかを示すラベルを画像検索装置に登録することで、デザイナーの着目する視点を保持することを可能とする。

更に、登録した見た目印象要素及びその要素同士の類似度を、画像（静止画、動画）上に重畳させ、さらに見た目印象要素同士をリンクで結ぶことで、視覚的にそれらの情報を把握しやすくすることを可能とする。

更に、本発明の実施例に係る画像検索装置は、見た目印象要素間の類似度を自動的に算出することも可能とする。

このようにして、収集した見た目印象要素とその類似度を用いて、作品を作成する上で参考になる作品の静止画および動画を「見た目印象要素」を基に検索し、利用者に提示することで、同じ見た目印象要素を持つ画像どうしを比較しながら、目的の参考になる作品に素早くたどり着くことが可能となる。

以下、本発明の実施例に係る画像検索装置について詳細に説明する。

＜画像検索装置の構成＞
図１は、本発明の実施例に係る画像検索装置１００の構成図である。画像検索装置１００は、見た目印象要素データベース１０１と、画像提示部１０３と、見た目印象要素提示部１０５と、見た目印象要素類似度計算部１０７と、見た目印象要素類似度提示部１０９とを有する。

画像検索装置１００は、プロセッサ等のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の記憶装置等から構成されたコンピュータでもよい。例えば、画像検索装置１００の機能及び処理は、記憶装置又はメモリ装置に格納されているデータやプログラムをＣＰＵが実行することによって実現される。

見た目印象要素データベース１０１は、画像と、例えばデザイナーなどが入力した見た目印象要素の箇所とそのラベルのデータとをあらかじめ保存しておくことができる。ただし、入力する人は、デザイナーでなくても良い。具体的には、見た目印象要素データベース１０１は、画像と比較画像との間の類似度を、画像における特徴となる箇所を表す見た目印象要素を示すラベル、箇所及び類似度として画像に対応付けて格納する。

図２は、見た目印象要素データベース１０１に格納される情報の例を示す図である。見た目印象要素データベース１０１には、IDの割り当てられている２つの画像（主画像のID、比較画像のID）の、見た目印象要素の箇所（ノード）と、その箇所同士の類似度、その理由（ラベル）が格納される。ただし、画像にはあらかじめ、固有のIDが割り当てられているものとする。

画像提示部１０３は、見た目印象要素データベース１０１に格納された画像を提示する。

図３は、画像提示部１０３により提示される画像の例を示す図である。画像提示部１０３により、見た目印象要素データベース１０１の中から、１枚〜複数枚の画像がディスプレイなどに提示される。提示順は例えば、見た目印象要素のラベル毎に表示しても良いが、表示順は問わない。

見た目印象要素提示部１０５は、画像提示部１０３において提示された画像（主画像）が選択された場合、選択された画像の比較画像を取得し、選択された画像の見た目印象要素を示すラベルに従って、選択された画像と取得された比較画像とを提示する。

図４は、見た目印象要素提示部１０５により提示される画像の例を示す図である。例えば、画像提示部１０３の中の画像をユーザが一つ選択すると、見た目印象要素提示部１０５は、画像提示部１０３でユーザが選択した画像と、その画像が保持している見た目印象要素のラベル（比較画像のラベル）と、そのラベルを含む比較画像と比較画像の見た目印象要素の箇所を、見た目印象要素データベースから取得し、ディスプレイなどに表示する。図４に示すように、選択された画像の見た目印象要素と、比較画像の見た目印象要素とがリンクで結ばれる。なお、表示された比較画像を主画像とみなし、その比較画像を更に表示することで、複数階層の比較画像が表示されてもよい。

見た目印象要素類似度計算部１０７は、ユーザが選択した画像の見た目印象要素と、見た目印象要素データベース１０１に格納された画像の見た目印象要素の類似度を計算する。例えば、見た目印象要素類似度計算部１０７は、ユーザが選択した画像の見た目印象要素と同じラベルを含む画像を見た目印象要素データベース１０１から取得する。取得した画像間の類似度が目印象要素データベース１０１に格納されている場合、見た目印象要素間をリンクで結ぶことができる。そして、見た目印象要素間の類似度をリンクの距離によって表現する。取得した画像間の類似度が目印象要素データベース１０１に格納されていない場合、見た目印象要素類似度計算部１０７は、見た目印象要素間を結ぶリンクの距離の和によって類似度を計算する。
見た目印象要素間の類似度を見た目印象要素を結ぶリンクの距離で表現する。見た目印象要素類似度計算部１０７は、ユーザが選択した画像の見た目印象要素に対する類似度が見た目印象要素データベース１０１に格納されていない場合には、見た目印象要素間の類似度をリンクの距離に変換し、見た目印象要素間を結ぶリンクの距離の和によって類似度を計算する。

見た目印象要素類似度提示部１０９は、ディスプレイなどに見た目印象要素の箇所の類似度順に画像を表示する。ただし、画像を表示する媒体は、ディスプレイに限らす、電子ペーパーなど表示できる媒体であれば何でも良い。

図５は、見た目印象要素類似度提示部１０９により提示される画像の例を示す図である。例えば、ユーザが選択した画像について、線の細さという見た目印象要素に着目した場合、線の細さの類似度順に画像が提示される。

次に、各機能部の処理について詳細に説明する。

＜見た目印象要素データベース１０１＞
図２に示すように、見た目印象要素データベース１０１には、主画像ID、比較画像ID、見た目印象要素の箇所と、ラベル、類似度が保存してある。ただし、見た目印象要素の箇所は一つのラベルにつき一つとは限らず、図６に示すように複数存在しても良い。例えば、見た目印象箇所のラベルを「空間の空き方」とした場合、図６に示すように２つの箇所が存在しても良い。その場合、複数の箇所をデータベースに保存する。

見た目印象要素の箇所は、例えば、画像の左上の角を座標０として、左上の位置と右下の位置の座標を指定するか、画像の左上の角の座標を０として、中心の座標とその半径の長さを決め、円で囲むことで指定する。箇所は位置を指定することさえできればどのような形でも良い。

ラベルは、例えば「線が細い」「色が青い」「グラデーション」など、見た目印象要素の箇所を表現できるものである。ラベルは基本的には、「線が細い」のように主語＋述語か、もしくは単語で表現するが、他の記載方法でも良い。

類似度は、主画像と比較画像に含まれる、見た目印象要素の箇所の類似度を表す。類似度はデデイナーが入力した、例えば１〜７点の点数（１点が全く似ていない、７点がとても良くにているなどと定める）であり類似度を表現さえできれば、その方法は問わない。

これらのデータにより、図７に示すように、見た目印象要素をリンクでつないだ図を作成することができる。具体的には、例えば、基準となるビジュアルデザインの作品（Ａ）の中にある、「見た目印象要素」をノード（ａ）として表現し、その見た目印象要素と類似する「見た目印象要素」（ｂ）をリンクで結び、その類似度をリンクの重み（ｃ）として表現する。なおリンクの類似度は例えば１〜７点のスコアで表現する。さらに、リンクには、どのような見た目印象要素なのかを説明するラベル（ｄ）（例：線の細さ）が付与される。

ただし、上述した画像は、静止画像に限らず動画でも良い。動画の場合は、動画から得られる静止画像に対して、静止画と同様にノードとリンクをつないだ図を作成する。

このように表現することで、デザイナーが今まで暗黙的に認識、抽出していた「見た目印象要素」を表現できる。これにより、デザイナーの持つ着眼点を共有したり、教え合ったりすることができるようになる。

＜画像提示部１０３＞
図８は、画像提示部１０３の処理を示すフローチャートである。

画像提示部１０３は、見た目印象要素データベース１０１から画像データを取得し、例えば図３に示すように、画像データの一覧を表示する（Ｓ１０１）。

ユーザが１枚または複数の画像の中から特定の画像を選択すると（Ｓ１０３、Ｓ１０５）、選択された画像（主画像）のIDを取得する（Ｓ１０７）。

主画像のIDを基に、見た目印象要素データべース１０１から見た目印象要素のラベルとその箇所の位置、そのラベルを表現する画像（比較画像）とその画像の見た目印象要素の箇所の位置取得する（Ｓ１０９）。

取得した「ラベル」と「その箇所の位置」、「そのラベルを表現する画像（比較画像）」と「比較画像の箇所の位置」を見た目印象要素提示部１０５に渡す（Ｓ１１１）。

＜見た目印象要素提示部１０５＞
図９は、見た目印象要素提示部１０５の処理を示すフローチャートである。

見た目印象要素提示部１０５では、例えば図４に示すように、見た目印象要素のラベル、見た目印象要素の箇所の位置、ラベルを表現する画像（比較画像）、比較画像の箇所の位置が表示される（Ｓ２０１）。

ユーザが特定の見た目印象要素のラベルと画像を選択すると（Ｓ２０３、Ｓ２０５）、選択された画像のID（主画像ID）とラベルを取得する（Ｓ２０７）。更に、選択された画像のID（主画像ID）と選択された画像のラベルを見た目印象要素類似度計算部１０７に渡す（Ｓ２０９）。

＜見た目印象要素類似度計算部１０７＞
図１０は、見た目印象要素類似度計算部１０７の処理を示すフローチャートである。

見た目印象要素類似度計算部１０７では、見た目印象要素提示部１０５から、主画像のIDと画像のラベルが入力される（Ｓ３０１）。

見た目印象要素のデータベース１０１から、主画像IDの中で、入力されたラベルを含む比較画像IDと見た目印象要素の箇所と類似度を取得する（Ｓ３０３）。

例えば、図２に示す見た目印象要素データベース１０１の中で、見た目印象要素提示部１０５から入力された主画像IDが１、ラベルが「線が細い」の場合は、比較画像ID3とその箇所の位置（左上の座標(60,60)、右下の座標(100,70)）と、その類似度6を取得し、更に、比較画像ID4の見た目印象要素の箇所の位置とその類似度を取得する。

さらに、取得した比較画像IDと同じID番号の主画像IDを取得する（Ｓ３０５）。例えば、主画像ID1から取得した比較画像ID3、ID4と同じID番号主画像の中で、「線が細い」というラベルをもつ比較画像を取得する。図２の場合は、「線が細い」というラベルをもつ主画像ID3の比較画像であるID7の見た目印象要素の箇所と類似度を同様に取得する。これを画像が取得できるまで繰り返す。

このことで、図１１のように、入力された主画像ID1のラベル「線が細い」と同じラベルを含む画像群の関係をリンクで表現することができる。図１１のようなデータを取得できればこの方法でなくても良い。

次に、見た目印象要素の箇所間の類似度を計算する（Ｓ３０７）。例えば、図１１のID1と、ID7間は類似度のデータがないので、ID１とID3のリンクの類似度、ID3とID7のリンクの類似度を用いて、類似度を計算することで、類似度を推定する。

見た目印象要素類似度提示部１０９に、取得した複数の画像ID（図１１の場合、ID1の画像および、ID3とID4とID7の画像）と、それらの見た目印象要素の箇所と類似度を渡す（Ｓ３０９）。

図１０のステップＳ３０７における見た目印象要素の箇所間の類似度の計算方法について、一例として以下に説明する。

類似度（似ているほど、数値が大きく、例えば１〜７点の点数で表現される）を距離（似ているほど、数値が小さい）に変換する。例えば、距離＝８−類似度の式を用いる。変換式により、類似度が距離に変換される。距離が求められていない２つのノード間の距離は、距離の合計で求める。距離を類似度に変換した値が２つのノード間の類似度である。

具体的には、図１１のように、線の細さについて、ID1のノードuと、ID3のノードvの類似度が6点の場合、その距離は8-6=2により2と求められる。またID3とID7のノード間の距離は、8-5=3により3と求められる。ID1とID7の距離は、ID1とID3の距離（2）に、ID3とID7の距離(3)を足した値(2+3=5)である。つまり、距離が小さいと見た目印象要素の距離が近くなる（類似度が高い）。例えばこのように計算することで、リンクの無いノードの類似度も自動的に計算することができる。ただし、類似度が計算できれば、この方法でなくても良い。これらの計算方法を用いることで、デザイナーが全ての二対の画像に対して類似度を入力しなくても、自動的に類似度を推定することができる。

さらに、経路が複数存在する際は、類似度の高い値（距離の近い値）を採用する。例えば、図１１のID4とID7の間にも類似度が定められていた場合、ID1とID7の類似度は、ID3経由の類似度と、ID4経由の類似度のうち、類似度の高い値を採用する。ただし、最短経路など他の基準をもうけても良い。

＜見た目印象要素類似度提示部１０９＞
図１２は、見た目印象要素類似度提示部１０９の処理を示すフローチャートである。

見た目印象要素類似度提示部１０９は、見た目印象要素類似度計算部１０７から、画像IDと、見た目印象要素の箇所と類似度をうけとる（Ｓ４０１）。

見た目印象要素類似度提示部１０９は、例えば図５に示すように、画像IDを基に、画像と見た目印象要素の箇所を類似度順に提示する（Ｓ４０３）。

上記の画像検索装置１００を用いて画像を検索するときのインタフェース例について更に説明する。

まず、ユーザは、オリジナルのデザインの作品を作成する際に、図３のように提示された１枚〜複数の画像の中で、作品をデザインする時に、参考にしたい画像を選択する。

ユーザが参考にしたい画像を選択すると、図４に示すように、選択した画像の見た目印象要素の箇所（ノード）とそのラベル、選択した画像のノードに類似した箇所を含む画像（比較画像）と選択された画像の見た目印象要素の箇所が表示される。表示される画像の個数は問わない。ユーザは参考にしたい画像の中に含まれる見た目印象要素を知ることができるので、作品を作る上で参考にするべき部分を知ることができ、プロのデザイナーの視点を学ぶことができる。

ユーザは、図４のように表示された比較画像の中から、参考にしたい見た目印象要素の箇所とそのラベルを含む画像を選択する。

ユーザが選択した見た目印象要素の箇所とそのラベルを基に、他の画像を検索することができる。具体的には、同じラベルの見た目印象要素の箇所を含む画像を表示する。その際、例えば図５に示すように、見た目印象要素の箇所の類似度が類似した順に表示される。類似度を基準にして表示しさえすれば、類似度が低い順番や、類似度が中間なものから表示しても良い。

例えば、ユーザの選択した見た目印象要素のラベルが「線の細さ」の場合、「線の細さ」のラベルのついた見た目印象要素の箇所が類似した画像の順番に表示される。ユーザは、ある画像の線の細さを参考にしたい時に、類似した他の画像の線の細さも同時に参考にすることができるので、画像を比較しながら、ビジュアルデザインの参考画像を探すことができる。

＜本発明の実施例の効果＞
本発明の実施例によれば、画像における特徴となる箇所を表す見た目印象要素に基づいて画像を提示することにより、例えば、ビジュアルデザインの作品をプロのデザイナーの視点を用いて画像を検索することが可能になる。具体的には、ビジュアルデザインの各々の作品の静止画および動画に対して、デザインをする時に参考にするそれらの一部の箇所を、ビジュアルデザインを表現する上で特徴となる箇所（見た目印象要素）として、指定し登録することで、それらの箇所を基に新たに参考になるデザインを探すことが可能になる。

説明の便宜上、本発明の実施例に係る画像検索装置は機能的なブロック図を用いて説明しているが、本発明の実施例に係る画像検索装置は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。例えば、本発明の実施例は、コンピュータに対して本発明の実施例に係る画像検索装置の各機能を実現させるプログラム、コンピュータに対して本発明の実施例に係る方法の各手順を実行させるプログラム等により、実現されてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。また、本発明の実施例に係る方法は、実施例に示す順序と異なる順序で実施されてもよい。

以上、画像における特徴となる箇所を表す見た目印象要素に基づいて画像を提示することにより、例えば、ビジュアルデザインの作品をプロのデザイナーの視点を用いて画像を検索するための手法について説明したが、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。

１００ 画像検索装置
１０１ 見た目印象要素データベース
１０３ 画像提示部
１０５ 見た目印象要素提示部
１０７ 見た目印象要素類似度計算部
１０９ 見た目印象要素類似度提示部

Claims (5)

1. 画像と比較画像との間の類似度を、画像における特徴となる箇所を表す見た目印象要素を示すラベル、箇所及び類似度として画像に対応付けて格納する見た目印象要素記憶部と、
   前記見た目印象要素記憶部に格納された画像を提示する画像提示部と、
   前記画像提示部において提示された画像が選択された場合、選択された画像の比較画像を取得し、選択された画像の見た目印象要素を示すラベルに従って、選択された画像と取得された比較画像とを提示する見た目印象要素提示部と、
   を有する画像検索装置。
2. 前記見た目印象要素提示部は、選択された画像の見た目印象要素と、比較画像の見た目印象要素とを、リンクで結んで提示する、請求項１に記載の画像検索装置。
3. 選択された画像の見た目印象要素と、前記見た目印象要素記憶部に格納された画像の見た目印象要素との類似度を計算する見た目印象要素類似度計算部と、
   前記見た目印象要素類似度計算部において計算された類似度に従って、画像を提示する見た目印象要素類似度提示部と、
   を更に有する、請求項１又は２に記載の画像検索装置。
4. 前記見た目印象要素類似度計算部は、選択された画像の見た目印象要素と同じラベルを含む画像を前記見た目印象要素記憶部から取得し、取得した画像間の類似度が前記見た目印象要素記憶部に格納されている場合、見た目印象要素間をリンクで結び、見た目印象要素間の類似度をリンクの距離によって表現し、
   更に、前記見た目印象要素類似度計算部は、取得した画像間の類似度が前記見た目印象要素記憶部に格納されていない場合、見た目印象要素間を結ぶリンクの距離の和によって類似度を計算する、請求項３に記載の画像検索装置。
5. 請求項１乃至４のうちいずれか１項に記載の画像検索装置としてコンピュータを機能させるためのプログラム。

Images