JP2019049898A - 画像マップ作成装置、表示装置及びプログラム - Google Patents

Abstract

【課題】ユーザが所望する目的に最適な画像を探し出すための画像マップ作成装置、表示装置及びプログラムを提供する。【解決手段】画像マップ作成装置１は、画像を解析して複数の単語を抽出する単語抽出部１２と、単語抽出部１２により抽出した複数の単語をクラスタリングして分類語を生成する分類語生成部１４と、分類語生成部１４によって生成した分類語をカウントすることによりマップ８０を作成するマップ作成部１５と、を備える。【選択図】図２

Description

本発明は、画像マップ作成装置、表示装置及びプログラムに関する。

多数のデータからユーザが所望する目的に最適なデータを探し出すことは、容易ではない。そこで、従来、多数のデータから目的に最適なデータを探すことができるように、全体の俯瞰的な位置づけを把握可能なデータのマップを作成する技術が開示されている（例えば、特許文献１）。

特開２００８−８４１５１号公報

ところで、多数のデータからユーザが所望する目的に最適なデータを探し出すニーズは、文書データに限らない。例えば、多数の画像データからユーザが所望する目的に最適な画像データを探し出したいニーズがある。

そこで、本発明は、ユーザが所望する目的に最適な画像を探し出すための画像マップ作成装置、表示装置及びプログラムを提供することを目的とする。

本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、画像を解析して複数の単語を抽出する単語抽出手段と、前記単語抽出手段により抽出した複数の単語をクラスタリングして分類語を生成する分類語生成手段と、前記分類語生成手段によって生成された分類語をカウントすることによりマップを作成するマップ作成手段と、を備える画像マップ作成装置である。
第２の発明は、第１の発明の画像マップ作成装置において、前記単語抽出手段により抽出した複数の単語を、複数のグループに分ける分類手段を備え、前記分類語生成手段は、前記分類手段により分けられた各グループの単語をクラスタリングして分類語を生成し、前記マップ作成手段は、前記分類手段により分けられた前記複数のグループうち少なくとも２つのグループの各分類語によって分類された前記マップを作成すること、を特徴とする画像マップ作成装置である。
第３の発明は、第１の発明又は第２の発明の画像マップ作成装置において、前記分類語生成手段は、前記単語抽出手段により抽出した複数の単語から、上位概念にあたる語を前記分類語として生成すること、を特徴とする画像マップ作成装置である。
第４の発明は、第１の発明から第３の発明までのいずれかの画像マップ作成装置において、前記分類語生成手段は、前記単語抽出手段により抽出した複数の単語の出現頻度に基づいて、前記分類語を生成すること、を特徴とする画像マップ作成装置である。
第５の発明は、第１の発明から第３の発明までのいずれかの画像マップ作成装置において、画像を解析して前記画像の特徴を表す複数の特徴画像を抽出し、前記画像の領域に対して抽出した前記特徴画像の占める割合を算出する画像割合算出手段を備え、前記単語抽出手段は、前記特徴画像の特徴を表す単語を抽出し、前記分類語生成手段は、前記画像割合算出手段により算出した割合に応じて、前記単語抽出手段により抽出した単語から前記分類語を生成すること、を特徴とする画像マップ作成装置である。
第６の発明は、第１の発明から第５の発明までのいずれかの画像マップ作成装置において、前記単語抽出手段は、前記画像の特徴ごとに関連付いた単語を参照して説明文を生成し、生成した説明文から複数の単語を抽出すること、を特徴とする画像マップ作成装置である。
第７の発明は、第１の発明から第６の発明までのいずれかの画像マップ作成装置において、前記分類語生成手段は、複数の画像の各々から前記単語抽出手段により抽出された複数の単語をクラスタリングして分類語を生成すること、を特徴とする画像マップ作成装置である。
第８の発明は、第１の発明から第７の発明までのいずれかの画像マップ作成装置に対して通信可能に接続された表示装置であって、前記マップ作成手段により作成された前記マップを出力するマップ出力手段と、前記マップ出力手段により出力された前記マップに示され、前記分類語に対応付けられた要素の選択を受け付ける要素受付手段と、前記要素受付手段により受け付けた前記要素に対応する画像を出力する画像出力手段と、を備えること、を特徴とする表示装置である。
第９の発明は、第８の発明の表示装置において、前記画像出力手段は、前記要素受付手段により受け付けた前記要素に対応する画像が複数ある場合に、複数の前記画像の類似度に応じて各画像を配置して、前記複数の画像を関連画像として出力すること、を特徴とする表示装置である。
第１０の発明は、第９の発明の表示装置において、前記類似度は、各画像の特徴量と、各画像に対応した単語との少なくとも一方に基づいて算出されるものであること、を特徴とする表示装置である。
第１１の発明は、第９の発明又は第１０の発明の表示装置において、前記関連画像は、類似度を、画像間の線の長さ若しくは太さ、又は、基準にした画像からの奥行方向の距離によって表したものであること、を特徴とする表示装置である。
第１２の発明は、第１の発明から第７の発明までのいずれかの画像マップ作成装置としてコンピュータを機能させるためのプログラムである。
第１３の発明は、第８の発明から第１１の発明までのいずれかの表示装置としてコンピュータを機能させるためのプログラムである。

本発明によれば、ユーザが所望する目的に最適な画像を探し出すための画像マップ作成装置、表示装置及びプログラムを提供することができる。

本実施形態に係る画像マップ出力システムの全体概要図である。 本実施形態に係る画像マップ作成装置及び表示装置の機能ブロック図である。 本実施形態に係る画像マップ作成装置で作成されるマップの例を示す図である。 本実施形態に係る画像マップ出力システムのマップ出力処理を示すフローチャートである。 本実施形態に係る表示装置での表示例を示す図である。 本実施形態に係る画像マップ作成装置のマップ作成処理を示すフローチャートである。 本実施形態に係る画像マップ作成装置によるマップ作成処理での具体例を示す図である。 本実施形態に係る画像マップ作成装置によるマップ作成処理での具体例を示す図である。 本実施形態に係る画像マップ出力システムの関連画像出力処理を示すフローチャートである。 本実施形態に係る画像マップ作成装置の関連画像生成処理を示すフローチャートである。 本実施形態に係る表示装置での表示例を示す図である。

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（実施形態）
＜画像マップ出力システム１００＞
図１は、本実施形態に係る画像マップ出力システム１００の全体概要図である。
図２は、本実施形態に係る画像マップ作成装置１及び表示装置４の機能ブロック図である。
図３は、本実施形態に係る画像マップ作成装置１で作成されるマップ８０の例を示す図である。

図１に示す画像マップ出力システム１００は、画像ＤＢ（データベース）３に記憶された画像データを、画像の特徴に基づく分類語によって分類し、画像の分類を可視化したマップを作成するためのシステムである。また、画像マップ出力システム１００は、マップを構成する、画像データの集合を表す要素のうち１つの選択を受け付けた場合に、選択された要素に含まれる画像データを出力する。
以下の説明において、画像ＤＢ３に記憶される画像データは、例えば、美術館や博物館等で展示されている絵画等を、画像データ化したものであるとする。そして、画像データは、例えば、その画像を保有する美術館等を識別するための美術館ＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を含むデータを、メタデータとして有するものとする。
一例として、画像マップ出力システム１００では、美術館や博物館で保有する絵画に関するマップを、美術館や博物館ごとに作成するものを説明する。

画像マップ出力システム１００は、画像マップ作成装置１と、画像ＤＢ３と、表示装置４とを備える。画像マップ作成装置１と、画像ＤＢ３と、表示装置４とは、通信ネットワークＮを介して通信可能に接続されている。通信ネットワークＮは、例えば、インターネット回線等であり、有線であるか無線であるかを問わない。

＜画像マップ作成装置１＞
画像マップ作成装置１は、画像ＤＢ３に記憶された画像データを用いる。画像マップ作成装置１は、画像データが示す画像を解析して、画像の内容を表す複数の単語を抽出する。画像マップ作成装置１は、抽出した複数の単語を、画像データに関連付けて、画像ＤＢ３に記憶させてもよい。そして、画像マップ作成装置１は、抽出した複数の単語から、例えば、上位概念にあたる語を生成して、生成した語を、マップで用いる分類語にし、分類語を用いた、例えば、バブルチャートで表されたマップを作成する。

画像マップ作成装置１は、例えば、サーバである。画像マップ作成装置１は、その他、パーソナルコンピュータ（ＰＣ）等であってもよい。
図２（Ａ）に示すように、画像マップ作成装置１は、制御部１０と、記憶部２０と、通信インタフェース部２９とを備える。
制御部１０は、画像マップ作成装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。

制御部１０は、画像受付部１１と、単語抽出部１２（単語抽出手段）と、分類部１３（分類手段）と、分類語生成部１４（分類語生成手段）と、マップ作成部１５（マップ作成手段）と、マップ登録部１６と、関連画像生成部１７とを備える。
画像受付部１１は、マップの作成対象になる画像データを受け付ける。画像受付部１１は、例えば、画像データのメタデータに有する美術館ＩＤに基づいて、画像ＤＢ３に記憶された、対象の美術館が保有する絵画の画像データを受け付ける。

単語抽出部１２は、受け付けた画像データの内容を表す単語を抽出する。
単語抽出部１２は、例えば、公知の説明文生成ソフトウェアである“ＤｅｎｓｅＣａｐ”を使用して、画像データに関する説明文を生成する。“ＤｅｎｓｅＣａｐ”を使用する場合、単語抽出部１２により生成した説明文は、英語で記載されている。なお、単語抽出部１２は、“ＤｅｎｓｅＣａｐ”の代わりに、公知の説明文生成ソフトウェアである“ＮｅｕｒａｌＴａｌｋ２”等を用いてもよい。但し、説明文を複数生成する“ＤｅｎｓｅＣａｐ”の方が、画像内を複数領域に分けて、各領域の説明文を生成するため、画像に関する説明文から多くの単語を得ることができる。

次に、説明文が英語で記載されている場合、単語抽出部１２は、英文の説明文を、日本語に翻訳する。単語抽出部１２は、例えば、公知の自動翻訳のソフトウェアを用いて、説明文を翻訳することができる。なお、その他として、単語抽出部１２は、通信ネットワークＮを介して接続された翻訳のウェブサービスを行うサーバ（図示せず）に対して通信をして、英語から日本語に翻訳してもよい。

なお、“ＤｅｎｓｅＣａｐ”や“ＮｅｕｒａｌＴａｌｋ２”の場合、説明文の生成にあたって、現在の画像データを使用して学習した学習器を用いている。そのため、“ＤｅｎｓｅＣａｐ”等は、学習結果として、画像データから現在においてありふれた物を用いた説明文を生成する。他方、美術館や博物館等の絵画の画像データは、古い時代の絵画の画像データを含むため、“ＤｅｎｓｅＣａｐ”等では、誤変換が生じる場合がある。例えば、人物が手に持っている聖書を、現在においてありふれた物であるタブレットに、誤って変換する場合がある。よって、その場合には、生成された説明文に含まれるタブレットを、聖書に置き換えたり、絵画がモチーフとしている時代にはない物の説明については、削除したりする必要がある。

その後、単語抽出部１２は、説明文から複数の単語を抽出する。具体的には、単語抽出部１２は、例えば、説明文に対して形態素解析を行うことによって、説明文から複数の単語を抽出する。ここで、単語抽出部１２が抽出する単語としては、名詞、形容詞、動詞等がある。
なお、上述では、“ＤｅｎｓｅＣａｐ”を用いた説明文の生成及び単語の抽出を説明したが、これに限定するものではない。

分類部１３は、マップを作成する対象である複数の画像データから抽出した単語を、複数のグループに分ける。ここで、マップを作成する対象である複数の画像データは、例えば、対象の美術館が保有する複数の絵画の画像データである。
分類部１３は、例えば、マップを作成する対象である複数の画像データに基づいて取得した処理対象の単語から、品詞によってフィルタリングすることで、名詞、形容詞、動詞等のグループに分けることができる。
なお、分類部１３は、「彼」や「これ」等の代名詞や、「側」や「製」等の接尾名詞、「中」や「一部」等の副詞可能名詞等を除外するようにしてもよい。また、分類部１３による分類は、品詞によるものに限定されない。一例として、分類部１３による分類は、予め決められたカテゴリ（ジャンル）によるものであってもよい。

分類語生成部１４は、処理対象の単語をクラスタリングして、分類語を生成する。
分類語生成部１４は、例えば、処理対象の単語を上位概念化して、分類語にする。一例として、単語抽出部１２によって「少女」、「男性」という単語が抽出された場合、分類語生成部１４は、「少女」、「男性」に共通した上位概念の語である「人」を、分類語として生成してもよい。
また、分類語生成部１４は、処理対象の単語の出現頻度に基づいて、出現頻度の高い単語を、分類語にしてもよい。具体的には、出現した単語と、出現数とを対応付けて記憶した上で、分類語生成部１４は、出現数が多い方から上位ｎ個（ｎは１以上の整数）の単語や、ある閾値以上の出現数の単語を、分類語として取得してもよい。

さらに、分類語生成部１４は、処理対象の単語の出現頻度の高い単語から、上位概念化する単語を選択して、上位概念の語を分類語にしてもよい。
さらにまた、分類語生成部１４は、処理対象の単語が分類部１３によって分類された場合には、分類されたグループごとにクラスタリングをして分類語を生成してもよい。
その他、分類語生成部１４は、単語の意味の類似性に基づいてクラスタリングして、分類語を生成してもよい。

マップ作成部１５は、分類部１３によりグループ分けがされた各グループを軸にして分類語を並べ、分類語に対応する位置に、対応する各画像データの数をカウントして円領域（要素）の大きさで表したバブルチャートであるマップ８０を作成する。
ここで、マップ作成部１５は、分類語に対応する位置が、複数の分類語を含む場合、つまり２軸以上の場合に、全ての分類語を含む説明文があるか否かを、各画像データについて判断する。そして、マップ作成部１５は、全ての分類語を含む説明文がある場合に、その画像データの画像ＩＤを、対応する円領域の要素ＩＤに関連付ける。ここで、画像ＩＤは、画像データを識別するための識別情報である。また、要素ＩＤは、マップ８０に含まれる円領域を識別するための識別情報である。

図３は、分類部１３によるグループ分けから２つのグループを選んだ場合のマップ８０の例を示す。マップ８０は、縦軸をクラスタ代表語とし、横軸を形容詞として、縦軸と横軸との交わる位置に、両方の分類語で分類される画像データの数を、円領域の大きさで表して配置した２次元マトリックスでの表示態様である。
ここで、１つの画像データに対して、複数の分類語が対応する場合、複数の円領域に、ある１つの画像データを含んでもよい。例えば、ある画像データに、「丸くて赤い果物」の説明文が含まれる場合、その画像データは、分類語として、「丸い」「果物」と、「赤い」「果物」とを含む。よって、「丸い」と「果物」とが交差する位置の円領域と、「赤い」と「果物」とが交差する位置の円領域との両方に、この画像データが含まれる。

図２（Ａ）に戻り、マップ登録部１６は、マップ作成部１５により作成されたマップ８０を、マップ記憶部２２に記憶させる。また、マップ登録部１６は、マップ８０を構成する画像データの画像ＩＤを、円領域を表す要素ＩＤに対応付けて、マップ記憶部２２に記憶させる。
関連画像生成部１７は、マップ８０に含まれる円領域に関連付けられた画像データを、類似度に基づいて配置した、関連画像データを生成する。
ここで、類似度は、円領域に関連付けられた複数の画像データの中から２つの画像データの組合せを選択し、選択した各組合せの画像データの類似度合いを表す。
類似度は、２つの画像データの特徴量に基づいて算出してもよい。特徴量としては、例えば、２つの画像データを構成する色調の類似度合い等である。また、類似度は、２つの画像データに対応した単語の一致度合いや、類似度合いであってもよい。そして、類似度は、その度合いが高いほど、２つの画像データが似ていることを示す。

関連画像生成部１７は、より具体的には、円領域に関連付けられた複数の画像データを含み、算出した類似度を、２つの画像データを結ぶ線の長さや、線の太さによって表した関連画像データを生成する。なお、関連画像データは、２つの画像データの類似度が閾値以上である場合に、２つの画像データを線で結ぶようにしてもよい。その他、関連画像データは、類似度を、基準にした画像からの奥行方向の距離によって表してもよい。

記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部２０は、プログラム記憶部２１と、マップ記憶部２２とを備える。
プログラム記憶部２１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部２１は、上述した公知の説明文生成ソフトウェアや、公知の自動翻訳ソフトウェアの他、マップ作成プログラム２１ａを記憶している。マップ作成プログラム２１ａは、画像マップ作成装置１の制御部１０が実行する各種機能を行うためのプログラムである。なお、マップ作成プログラム２１ａは、公知の説明文生成ソフトウェアや、公知の自動翻訳ソフトウェアを含むものであってもよい。

マップ記憶部２２は、マップ作成部１５によって作成されたマップ８０のデータを記憶する記憶領域である。
マップ記憶部２２は、マップ８０のデータの他、マップ８０を構成する円領域ごとに、円領域に含まれる各画像の画像ＩＤを記憶する。
通信インタフェース部２９は、通信ネットワークＮを介して画像ＤＢ３や、表示装置４との間の通信を行うためのインタフェースである。

＜画像ＤＢ３＞
図１に示す画像ＤＢ３は、ハードディスク、半導体メモリ素子等の記憶領域を有する、例えば、画像のデータベースサーバである。画像ＤＢ３は、画像ＩＤに対応付けて、画像データを記憶する。画像ＤＢ３は、この例では、美術館ごとに、画像データを、物理的に又は論理的に分けて記憶してもよい。また、画像ＤＢ３は、図示しない他の端末等から画像データを受信して記憶してもよい。なお、画像ＤＢ３は、図示しないが、制御部、記憶部、通信インタフェース部等を備える。

＜表示装置４＞
表示装置４は、例えば、タブレットに代表されるコンピュータの機能を併せ持った携帯型の装置である。表示装置４は、その他、スマートフォンや携帯電話機等でもよいし、ＰＣ等であってもよい。
表示装置４は、ユーザが所望する画像のマップ８０を表示させる。また、表示装置４は、表示されたマップ８０の要素を受け付け、要素に対応した画像データを、画像ＤＢ３から抽出して表示させる。
図２（Ｂ）に示すように、表示装置４は、制御部４０と、記憶部５０と、タッチパネルディスプレイ５７と、通信インタフェース部５９とを備える。

制御部４０は、表示装置４の全体を制御するＣＰＵである。制御部４０は、記憶部５０に記憶されているＯＳやアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部４０は、マップ出力部４１（マップ出力手段）と、要素受付部４２（要素受付手段）と、画像出力部４３（画像出力手段）とを備える。
マップ出力部４１は、画像マップ作成装置１のマップ作成部１５により作成され、又は、画像マップ作成装置１のマップ登録部１６によりマップ記憶部２２に登録されたマップ８０のデータを、タッチパネルディスプレイ５７に出力する。これにより、表示装置４のユーザは、タッチパネルディスプレイ５７に表示されたマップ８０を視認できる。
要素受付部４２は、マップ８０が表示されている画面において、ユーザにより選択された１つの円領域を受け付ける。
画像出力部４３は、画像マップ作成装置１の関連画像生成部１７により生成された、受け付けた円領域に対応する関連画像データを、タッチパネルディスプレイ５７に出力する。

記憶部５０は、制御部４０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。記憶部５０は、プログラム記憶部５１を備える。
プログラム記憶部５１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部５１は、画像表示プログラム５１ａを記憶している。画像表示プログラム５１ａは、制御部４０が実行する各種機能を行うためのプログラムである。
タッチパネルディスプレイ５７は、液晶パネル等で構成される表示部としての機能と、ユーザからの指等によるタッチ入力を検出する入力部としての機能とを有する。
通信インタフェース部５９は、通信ネットワークＮを介して画像マップ作成装置１等との間で通信を行うためのインタフェースである。

ここで、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、画像マップ作成装置１及び表示装置４は、各々制御部、記憶部等を備えた情報処理装置であり、コンピュータの概念に含まれる。

＜画像マップ出力システム１００の処理＞
次に、表示装置４にマップ８０を表示させる処理について説明する。
図４は、本実施形態に係る画像マップ出力システムのマップ出力処理を示すフローチャートである。
図５は、本実施形態に係る表示装置４での表示例を示す図である。
図６は、本実施形態に係る画像マップ作成装置１のマップ作成処理を示すフローチャートである。
図７及び図８は、本実施形態に係る画像マップ作成装置１によるマップ作成処理での具体例を示す図である。

図４のステップＳ（以下、単に「Ｓ」という。）１０において、表示装置４の制御部４０は、画像表示プログラム５１ａを実行する。そして、制御部４０は、表示装置４のタッチパネルディスプレイ５７に、美術館選択画面７０を出力する。
図５（Ａ）に、美術館選択画面７０の一例を示す。制御部４０は、画像表示プログラム５１ａを実行した後に、画像マップ作成装置１に対して問合せを行って、画像マップ作成装置１が送信した美術館選択画面７０を出力してもよい。また、制御部４０は、画像表示プログラム５１ａに予め用意された美術館選択画面７０を出力してもよい。
表示装置４のユーザは、マップを表示させたい対象の美術館名の左横のチェックボックスにチェックを入れて、実行ボタンを選択する。そうすることで、Ｓ１１において、制御部４０は、美術館名の選択を受け付けて、画像マップ作成装置１にその美術館の美術館ＩＤを送信する。制御部４０は、美術館ＩＤ以外の美術館を特定可能なデータを送信しても、もちろんよい。
Ｓ１２において、画像マップ作成装置１の制御部１０は、美術館ＩＤを受信する。
Ｓ１３において、制御部１０は、マップ作成処理を行う。

ここで、マップ作成処理について、図６に基づき説明する。
図６のＳ２０において、画像マップ作成装置１の制御部１０（画像受付部１１）は、受信した美術館ＩＤを有する画像データを、画像ＤＢ３から抽出する。
Ｓ２１において、制御部１０（単語抽出部１２）は、抽出した画像データから１つの画像データを選択し、画像データが示す画像の内容を言語化して単語を抽出する。
図７（Ａ）は、言語化する対象の画像データが示す画像６０の例である。
図７（Ｂ）は、画像６０に対して“ＤｅｎｓｅＣａｐ”を使用した場合の結果画像６１及びキャプション６２の例である。“ＤｅｎｓｅＣａｐ”では、画像６０の領域ごとに文を出力する。そして、結果画像６１が示すように、領域は、画像６０に複数生成されるので、文も複数生成される。なお、画像６０の画素数が６４０ｐｘ（ピクセル）である場合には、“ＤｅｎｓｅＣａｐ”は、約８０個のキャプション６２を生成する。

図７（Ｃ）は、キャプション６２を翻訳した翻訳文（説明文）６３の例である。
制御部１０は、翻訳文６３を、画像データに対応付けて画像ＤＢ３に記憶してもよい。
図８（Ａ）は、図７（Ｃ）に示す翻訳文６３に対して形態素解析をして得られた結果データ６４を示す。
図８（Ｂ）は、結果データ６４に基づいて作成した単語と品詞とを対応付けた単語テーブル６５の例を示す。

図６に戻り、Ｓ２２において、制御部１０は、抽出した全ての画像データについて、言語化して単語を抽出する処理を行ったか否かを判断する。抽出した全ての画像データについて処理を行った場合（Ｓ２２：ＹＥＳ）には、制御部１０は、処理をＳ２３に移す。他方、抽出した全ての画像データについて処理を行っていない場合（Ｓ２２：ＮＯ）には、制御部１０は、処理をＳ２１に移し、未だ言語化をしていない画像データについて、言語化する処理を行う。

Ｓ２３において、制御部１０（分類部１３、分類語生成部１４）は、抽出した全ての画像データから抽出された単語を、２つのグループに分けて、各グループでクラスタリングをする。制御部１０は、例えば、名詞と、形容詞との２つのグループに分ける。これにより、２つのグループに含まれない動詞等は、除外される。また、制御部１０は、グループごとに、クラスタリングをして分類語を抽出する。その際、制御部１０は、単語の出現頻度が一定の閾値以上のものを、クラスタリングの対象としてもよい。また、分類語を、単語の出現頻度に応じて、所定数に制限してもよい。
Ｓ２４において、制御部１０（マップ作成部１５）は、２つのグループを縦軸及び横軸にし、各軸の分類語が交わる位置に、カウントすることで得た分類語を含む画像データの件数を円領域の大きさで表したバブルチャートのマップ８０を作成する。
Ｓ２５において、制御部１０（マップ登録部１６）は、作成したマップ８０のデータと、円領域を示す要素ＩＤと画像データのＩＤとの対応付けを、マップ記憶部２２に記憶させる。その後、制御部１０は、本処理を終了し、処理を図４に移す。

なお、この例では、画像データを言語化してからマップ８０を作成し、マップ記憶部２２に記憶させるものを例に説明したが、これに限定されない。例えば、予め画像ＤＢ３に記憶された画像データに対して言語化する処理までを行って、画像データに単語を関連付けておき、マップ作成処理として、Ｓ２３以降の処理を行うようにしてもよい。

図４に戻り、Ｓ１４において、制御部１０は、作成したマップ８０のデータを、表示装置４に対して送信する。その後、制御部１０は、本処理を終了する。
Ｓ１５において、表示装置４の制御部４０（マップ出力部４１）は、マップ８０のデータを受信して、タッチパネルディスプレイ５７にマップ８０を含むマップ表示画面７１を出力する。
図５（Ｂ）は、タッチパネルディスプレイ５７に表示されたマップ表示画面７１の例を示す。マップ表示画面７１に表示されたマップ８０は、分類語によって、選択した美術館の絵画の特徴が分かりやすく示されるので、ユーザが所望の画像を探しやすいものにできる。
その後、制御部４０は、本処理を終了する。

次に、マップ８０に示される円領域を１つ選択することで、円領域に含まれる画像データを出力する処理について説明する。
図９は、本実施形態に係る画像マップ出力システム１００の関連画像出力処理を示すフローチャートである。
図１０は、本実施形態に係る画像マップ作成装置１の関連画像生成処理を示すフローチャートである。
図１１は、本実施形態に係る表示装置４での表示例を示す図である。

例えば、図５（Ｂ）に示すように、マップ表示画面７１の１つの円領域（バブル）をユーザが選択することで、図９のＳ３０において、表示装置４の制御部４０（要素受付部４２）は、マップ８０上の円領域に対する選択を受け付ける。
Ｓ３１において、制御部４０は、選択された円領域を識別する要素ＩＤを、画像マップ作成装置１に対して送信する。
Ｓ３２において、画像マップ作成装置１の制御部１０は、要素ＩＤを受信する。
Ｓ３３において、制御部１０（関連画像生成部１７）は、関連画像生成処理を行う。

ここで、関連画像生成処理について、図１０に基づき説明する。
Ｓ４０において、制御部１０は、要素ＩＤに対応付けられた画像データを、画像ＤＢ３から抽出する。具体的には、制御部１０は、マップ記憶部２２を参照して、要素ＩＤに対応付けられた画像データの画像ＩＤを特定する。そして、制御部１０は、画像ＩＤに対応した画像データを、画像ＤＢ３から抽出する。
Ｓ４１において、制御部１０は、抽出した画像データの類似度を算出する。複数の画像データが抽出された場合には、制御部１０は、２つの画像データの各組合せに対して、類似度を算出する。

Ｓ４２において、制御部１０は、算出した類似度に応じて各画像データを配置した関連画像９０を生成する。
図１１は、関連画像９０を含む関連画像画面７２の例を示す。関連画像９０は、図５（Ｂ）でユーザにより選択された円領域に含まれる７つの画像データを、類似度に基づいて配置したものになっている。ここで、関連画像９０は、ユーザにより選択された円領域に含まれる７つの画像データのうち、太さの異なる線によって２つの画像データが結び付けられている。この線の太さは、２つの画像データの類似度を表す。
図１０に戻り、その後、制御部１０は、本処理を終了し、処理を図９に移す。

図９に戻り、Ｓ３４において、制御部１０は、生成した関連画像９０のデータを、表示装置４に対して送信する。その後、制御部１０は、本処理を終了する。
Ｓ３５において、表示装置４の制御部４０は、関連画像９０のデータを受信し、タッチパネルディスプレイ５７に関連画像９０を表示させる。その後、制御部４０は、本処理を終了する。

このように、本実施形態の画像マップ出力システム１００によれば、以下のような効果がある。
（１）画像マップ作成装置１は、画像データに関する説明文に形態素解析を行って、得られた単語から分類語を抽出し、分類語によるマップ８０を作成する。よって、抽出した単語から抽出する分類語は、画像の特徴を表すものにできる。また、マップ８０は、画像データの特徴を分類語により示したものであるので、マップ８０を参照することで、ユーザが所望する目的に最適な画像を探し出すことができる。
（２）画像マップ作成装置１は、複数の単語を複数のグループに分け、各グループの単語をクラスタリングして分類語を生成し、分けられた複数のグループうち少なくとも２つのグループの各分類語によって分類されたマップ８０を作成する。よって、マップ８０を２次元以上のものにできる。

（３）画像マップ作成装置１は、抽出した複数の単語から上位概念を抽出して分類語を生成する。よって、上位概念の語によるマップ８０を作成でき、分類語の数を最適な数に抑えることができる。
（４）画像マップ作成装置１は、複数の画像データの各々から抽出された複数の単語をクラスタリングして分類語を生成するので、複数の画像データに共通の分類語を生成でき、分類しやすくできる。
（５）画像マップ作成装置１は、マップ８０に示され、分類語に対応付けられた円領域の選択を受け付けたことに応じて、円領域に対応する画像データを出力するので、分類語に対応する画像データを見ることができる。

（６）画像マップ作成装置１は、円領域に対応する画像データが複数ある場合に、複数の画像データの類似度に応じて各画像データを配置して、複数の画像データを含む関連画像９０を表示装置４に出力するので、表示装置４では、類似度に対応した画像データの配置によって、各画像データの類似度合いを分かりやすく示すことができる。
（７）類似度は、各画像データの特徴量と、各画像データに対応した単語との少なくとも一方に基づいて算出されるので、各画像データの特徴を反映させたものにできる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。

（変形形態）
（１）本実施形態では、２つのグループに分けて各グループでクラスタリングするものを例に説明したが、これに限定されない。グループ分けせず、全体でクラスタリングしてもよいし、３つ以上のグループに分けて各グループでクラスタリングしてもよい。
（２）本実施形態では、バブルチャートのマップを作成するものを例に説明したが、これに限定されない。全体の俯瞰的な位置づけを把握可能なものであれば、他の方法によって表示可能なマップであってもよい。
（３）本実施形態では、複数の画像データに対するマップを作成するものを説明したが、これに限定されない。１つの画像データに対するマップを作成するものであってもよい。その場合、マップに表示される円領域内の数は、全て１になる。

（４）本実施形態では、抽出した複数の単語から上位概念を抽出して、分類語を生成するものを例に説明したが、これに限定されない。例えば、抽出した複数の単語の出現頻度に基づいて、分類語を生成してもよい。また、例えば、画像データ全体の面積に対して、抽出した単語の元になる画像（特徴画像）の領域が占める割合を算出する画像割合算出手段を制御部が備え、例えば、割合の高い語を分類語として取得する等、算出した割合に応じて分類語を取得してもよい。
（５）本実施形態では、画像ＤＢは、通信ネットワークを介して接続されているものとして説明したが、これに限定されない。例えば、本実施形態であれば、画像マップ作成装置の記憶部に有していてもよい。

（６）本実施形態では、美術館や博物館で保有する絵画の画像データを対象とした例を説明したが、これに限定されない。画像化されているデータであればよく、例えば、特許図面の画像データであってもよいし、写真等の画像データであってもよい。
（７）本実施形態では、画像データのメタデータとして、その画像データを保有する美術館等の美術館ＩＤを有するものとして説明したが、これに限定されない。画像データが絵画の場合には、例えば、絵画の画家や、絵画のモチーフの年代等を、メタデータに含んでもよい。また、画像データが、写真の場合には、例えば、撮影日や撮影場所等を、メタデータに含んでもよい。
そして、類似度を、メタデータを使用して算出してもよい。例えば、絵画の場合、同じ画家のものであれば、類似度を高くしてもよい。

（８）本実施形態では、関連画像を表示する際に、類似度を線の太さで表すものを例に説明したが、これに限定されない。例えば、類似度を、各画像間の距離によって表すようにしてもよい。その際、各画像間の距離を、画像の大きさによって表してもよい。具体例としては、マップから関連画像を表示させる際には、本実施形態で説明したものを出力し、さらに、ユーザが表示された関連画像から１つの画像を選択した場合に、選択した画像を中心にして、類似度を、奥行方向で表して出力するようにしてもよい。そのようにすることで、選択した画像との類似度合いを分かりやすく示すことができる。

１ 画像マップ作成装置
３ 画像ＤＢ
４ 表示装置
１０，４０ 制御部
１２ 単語抽出部
１４ 分類語生成部
１５ マップ作成部
１７ 関連画像生成部
２０，５０ 記憶部
２１ａ マップ作成プログラム
２２ マップ記憶部
４１ マップ出力部
４２ 要素受付部
４３ 画像出力部
５１ａ 画像表示プログラム
５７ タッチパネルディスプレイ
８０ マップ
９０ 関連画像
１００ 画像マップ出力システム

Claims (13)

1. 画像を解析して複数の単語を抽出する単語抽出手段と、
   前記単語抽出手段により抽出した複数の単語をクラスタリングして分類語を生成する分類語生成手段と、
   前記分類語生成手段によって生成された分類語をカウントすることによりマップを作成するマップ作成手段と、
   を備える画像マップ作成装置。
2. 請求項１に記載の画像マップ作成装置において、
   前記単語抽出手段により抽出した複数の単語を、複数のグループに分ける分類手段を備え、
   前記分類語生成手段は、前記分類手段により分けられた各グループの単語をクラスタリングして分類語を生成し、
   前記マップ作成手段は、前記分類手段により分けられた前記複数のグループうち少なくとも２つのグループの各分類語によって分類された前記マップを作成すること、
   を特徴とする画像マップ作成装置。
3. 請求項１又は請求項２に記載の画像マップ作成装置において、
   前記分類語生成手段は、前記単語抽出手段により抽出した複数の単語から、上位概念にあたる語を前記分類語として生成すること、
   を特徴とする画像マップ作成装置。
4. 請求項１から請求項３までのいずれかに記載の画像マップ作成装置において、
   前記分類語生成手段は、前記単語抽出手段により抽出した複数の単語の出現頻度に基づいて、前記分類語を生成すること、
   を特徴とする画像マップ作成装置。
5. 請求項１から請求項３までのいずれかに記載の画像マップ作成装置において、
   画像を解析して前記画像の特徴を表す複数の特徴画像を抽出し、前記画像の領域に対して抽出した前記特徴画像の占める割合を算出する画像割合算出手段を備え、
   前記単語抽出手段は、前記特徴画像の特徴を表す単語を抽出し、
   前記分類語生成手段は、前記画像割合算出手段により算出した割合に応じて、前記単語抽出手段により抽出した単語から前記分類語を生成すること、
   を特徴とする画像マップ作成装置。
6. 請求項１から請求項５までのいずれかに記載の画像マップ作成装置において、
   前記単語抽出手段は、前記画像の特徴ごとに関連付いた単語を参照して説明文を生成し、生成した説明文から複数の単語を抽出すること、
   を特徴とする画像マップ作成装置。
7. 請求項１から請求項６までのいずれかに記載の画像マップ作成装置において、
   前記分類語生成手段は、複数の画像の各々から前記単語抽出手段により抽出された複数の単語をクラスタリングして分類語を生成すること、
   を特徴とする画像マップ作成装置。
8. 請求項１から請求項７までのいずれかに記載の画像マップ作成装置に対して通信可能に接続された表示装置であって、
   前記マップ作成手段により作成された前記マップを出力するマップ出力手段と、
   前記マップ出力手段により出力された前記マップに示され、前記分類語に対応付けられた要素の選択を受け付ける要素受付手段と、
   前記要素受付手段により受け付けた前記要素に対応する画像を出力する画像出力手段と、
   を備えること、
   を特徴とする表示装置。
9. 請求項８に記載の表示装置において、
   前記画像出力手段は、前記要素受付手段により受け付けた前記要素に対応する画像が複数ある場合に、複数の前記画像の類似度に応じて各画像を配置して、前記複数の画像を関連画像として出力すること、
   を特徴とする表示装置。
10. 請求項９に記載の表示装置において、
    前記類似度は、各画像の特徴量と、各画像に対応した単語との少なくとも一方に基づいて算出されるものであること、
    を特徴とする表示装置。
11. 請求項９又は請求項１０に記載の表示装置において、
    前記関連画像は、類似度を、画像間の線の長さ若しくは太さ、又は、基準にした画像からの奥行方向の距離によって表したものであること、
    を特徴とする表示装置。
12. 請求項１から請求項７までのいずれかに記載の画像マップ作成装置としてコンピュータを機能させるためのプログラム。
13. 請求項８から請求項１１までのいずれかに記載の表示装置としてコンピュータを機能させるためのプログラム。

Images