JP2016095669A - 画像分析方法及び画像分析装置 - Google Patents

Abstract

【課題】本発明は、通信ネットワーク上に配置された画像を画像の意味的類似性に基づいて検索可能にすることを目的とする。【解決手段】本発明に係る画像分析システムは、画像分析装置１０と、ストレージ２０と、ユーザ端末３０を備え、画像分析装置１０は、ストレージ２０に格納されている通信ネットワーク上に配置された画像を、画像に付随するデータの内容の近さに基づいて面上に配置するマップ作成部１２１と、各画像のサムネイルを面上に配置したマップを表示するマップ表示部１２２と、を備える。【選択図】図１

Description

本発明は、通信ネットワーク上に配置された画像を画像の内容の近さに基づいて表示する画像分析方法及び画像分析装置に関する。

キーワードを用いてインターネット上で公開されている情報を検索した結果から、そこに含まれる画像を表示する検索サービスが提供されている。一方で、画像を検索するために、画像に含まれる物理的な特徴の類似性を評価する方法が提案されている。

ＷＯ２００８／１４３１１６号公報

検索サービスでは、限られたキーワードから検索を行うため、検索結果の範囲が広く表示数も膨大なため、特定の内容の画像を探し出すには多大な時間を要していた。さらには、検索結果に含まれる画像が相互の関係性のないリスト形式で表示されるため、検索サービスを用いて欲しい画像を発見するのは困難であった。また、画像の意味的類似性を評価する方法は提案されていない。

そこで、本発明は、通信ネットワーク上に配置された画像を画像の意味的類似性に基づいて検索可能にすることを目的とする。

本発明は、画像に付随するデータの意味的類似度を使って画像をマップ化する。これにより、通信ネットワーク上に配置された画像の意味的類似性を簡単かつ直感的に検索可能とする。

具体的には、本発明に係る画像分析装置は、
画像に付随するデータの内容の近さに基づき、通信ネットワーク上に配置された画像を面上に配置したマップを作成するマップ作成部と、
前記画像のサムネイルを前記マップ上に配置したマップを表示するマップ表示部と、
を備える。

本発明に係る画像分析装置では、前記マップ表示部が、閲覧数の多い画像のサムネイルを強調表示してもよい。

本発明に係る画像分析装置では、前記マップ表示部の表示したサムネイルが選択されると、選択されたサムネイルの元画像を表示する画像表示部をさらに備えてもよい。

本発明に係る画像分析装置では、データの内容で定められるグループに分類する分類部をさらに備え、前記マップ作成部は、前記分類部の分類したグループごとに、画像のマップを作成してもよい。

具体的には、本発明に係る画像分析方法は、
画像に付随するデータの内容の近さに基づき、通信ネットワーク上に配置された画像を面上に配置したマップを作成するマップ作成手順と、
各画像のサムネイルを前記マップ上に配置したマップを表示するマップ表示手順と、
を順に有する。

本発明に係る画像分析方法では、前記マップ表示手順において、閲覧数の多い画像のサムネイルを強調表示してもよい。

本発明に係る画像分析方法では、画像のサムネイルが選択されると、選択されたサムネイルの元画像を表示する画像表示手順を、前記マップ表示手順の後にさらに有してもよい。

本発明に係る画像分析方法では、画像に付随するデータの内容で分類する分類手順を、前記マップ作成手順の前にさらに有し、前記マップ作成手順において、前記分類手順で分類したグループごとに、画像のマップを作成してもよい。

なお、上記各発明は、可能な限り組み合わせることができる。

本発明によれば、通信ネットワーク上に配置された画像を画像の意味的類似性に基づいて検索可能にすることができる。

実施形態１に係る画像分析システムの一例を示す。 実施形態１に係る画像分析システムのシーケンスの一例を示す。 ユーザ端末に表示されるマップの一例を示す。 画像の表示例を示す。 実施形態２に係る画像分析システムの一例を示す。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本発明は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

（実施形態１）
図１に、本実施形態に係る画像分析システムの一例を示す。本実施形態に係る画像分析システムは、画像分析装置１０と、ストレージ２０と、ユーザ端末３０を備える。画像分析装置１０、ストレージ２０及びユーザ端末３０は、いずれも任意の数を採用しうるが、本実施形態では、画像分析装置１０が１台、ストレージ２０が２台、ユーザ端末３０が１台の場合について示す。

ストレージ２０は、画像分析装置１０からアクセス可能な任意の記憶媒体であり、通信ネットワーク上に配置された画像を格納するサーバである。画像は、静止画だけでなく動画も含む。画像に付随するデータは、例えば、ホームページのテキスト情報、掲示板の書き込み、ツイッター（登録商標）又はブログに掲載されたコメントなどのテキストデータのほか、画像の属性情報も含む。画像の属性情報は、例えば、画像の撮影者名又は配信者名、撮影又は配信した日時又は地理的な位置情報である。

通信ネットワーク上への配置は、通信ネットワークを介して画像分析装置１０からが取得可能な状態であればよく、公開及び非公開を問わない。例えば、公衆網上で公開された画像のほか、非公衆網で接続されたノードに格納されている企業内データや医療データなどの非公開の画像であってもよい。

画像分析装置１０は、通信ネットワークを介してユーザ端末３０及びストレージ２０と情報の送受信を行う通信部１３と、マップを作成するための構成を備える。マップを作成するための構成は、例えばマップ作成部１２１と、マップ表示部１２２と、画像表示部１２３を備える。画像分析装置１０は、画像分析プログラムをコンピュータに実行させることで実現してもよい。この場合、情報処理部１２が記憶部１１に記憶された画像分析プログラムを実行することで、各構成を実現する。

図２に、本実施形態に係る画像分析システムのシーケンスを示す。本実施形態に係る画像分析方法は、マップ作成手順と、マップ表示手順と、画像表示手順と、を順に有する。マップ作成手順ではステップＳ１０１を実行し、マップ表示手順ではステップＳ１０２を実行し、画像表示手順ではステップＳ１０３を実行する。

画像分析装置１０は、ストレージ２０に格納されている画像を収集して記憶部１１に格納する。画像の収集は、例えば、通信部１３が、ストレージ２０内の画像が更新される都度、その画像を受信する。記憶部１１は、画像が通信ネットワーク上に配置された日時と紐付けて当該画像を記憶する。

画像分析装置１０は、予め定められた契機に、マップ作成手順を実行する（Ｓ１０１）。予め定められた契機は、例えば、ユーザ装置３０からのマップ表示要求又は一定時間である。このとき、マップ作成部１２１は、記憶部１１から画像及びこれに付随するデータｄ_ｉを取得し、取得したデータで構成される情報母集団を用いてマップを作成する（Ｓ１０１）。マップの作成は、データｄ_ｉの内容の近さに基づいて、画像を面上に配置する。

情報母集団は、一定期間内にストレージ２０に格納された画像であることが好ましい。一定期間は、ユーザ端末３０が任意に設定でき、例えば、１週間、２４時間又は１時間などの人の生活の単位となっている任意の期間であることが考えられる。

データｄ_ｉが、要素ｔ_ｊに対してマトリクス表記できる場合、データｄ_ｉをベクトル空間モデルｄ_ｉ＝（ｔ_１，ｔ_２，ｔ_３，……）で記述することができる。データｄ_ｉがテキスト情報ｄ_ｉであり、要素ｔ_ｉが単語ｔ_ｊであり、テキスト情報ｄ_ｉ中に出現する単語ｔ_ｊの出現頻度をｎ_ｉｊとすると、テキスト情報ｄ_ｉはベクトルｄ_ｉ＝（ｎ_ｉ１，ｎ_ｉ２，ｎ_ｉ３，……）で表すことができる。

情報母集団ｄ＝Σｄ_ｉにおいて、各データｄ_ｉのベクトル相互間の近さを計算する。データの内容が近いと、使用する単語の種類が類似するため、ベクトルの指し示す点は互いに近くに配置される。データの情報相互間の近さを算出することで、画像の内容の近さを求めることができる。演算は、ベクトル相互間の距離であってもよいし、内積、外積等の任意の演算を用いてもよい。

ここで、どの画像にも共通に使用される単語は画像の内容の近さに影響を与えない。そこで、ベクトルの算出においては、各画像に特徴的な単語とそれ以外の単語のベクトルへの寄与に差を設けることが好ましい。例えば、ｔｆｉｄｆ（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）法を使って重み付けを行う。これにより、画像の内容の近さの精度を向上することができる。

得られた内容の近さをベースに、マップ化アルゴリズムによりマップ化する。例えば、ベクトルの指し示す点を面上に配置する。このとき、意味的距離が離れている画像同士は、画像同士の平面上の距離の精度を落として配置することが好ましい。また、平面に配置してもよいが、球面に配置してもよい。

マップ表示手順では、マップ表示部１２２が、マップ作成部１２１の作成したマップをユーザ端末３０に表示する（Ｓ１０２）。このとき、マップには、画像を縮小したサムネイルが各画像として表示される。図３に、表示されるマップの一例を示す。

マップ表示手順では、閲覧数の多い画像のサムネイルを強調表示することが好ましい。例えば、画像のサムネイルＳ１とＳ２が重なる場合、閲覧数の多い画像のサムネイルＳ２をサムネイルＳ１よりも前面に表示する。また、閲覧数の多い画像のサムネイルＳ２を閲覧数の少ない画像のサムネイルＳ１よりも大きく表示する。

マップ表示手順において表示されたサムネイルＳ３がユーザ端末３０から選択されると、画像分析装置１０は画像表示手順を実行する。このとき、画像表示部１２３は、図４に示すように、サムネイルの元画像Ｍ３を表示する（Ｓ１０３）。ユーザ端末３０の選択方法は任意である。例えば、ユーザ端末３０がマップ上のサムネイルをクリックしたことによって選択する。

本実施形態に係る発明は、画像の内容をマップ化し、画像のサムネイルをマップ上に表示する。画像のサムネイルは相互に付随するデータの内容が近いもの同士が近くに配置されるため、ユーザ端末３０の利用者は、自分の興味のある内容の画像をマップ上でまとまって発見できるため、欲しい画像を短時間に効率よく見つけることができる。

レストランやホテルなどの評価やコメントを投稿できるポータルサイトが存在する。しかし、このようなポータルサイトの評価やコメントは、作為的なものである可能性があり、純粋な口コミ情報とは言えない場合がある。これに対し、本実施形態に係る発明は、ポータルサイト上の評価やコメントではなく、個人的に通信ネットワーク上に投稿した画像の類似性を評価できるため、純粋な口コミ情報を収集することができる。

さらに、ユーザ端末３０は、気になる画像が集合したクラスタＣ３を発見した場合、そのクラスタに絞ってさらにマップ化すれば、ユーザ端末３０のユーザのプライベートマップを作成することができる。

（実施形態２）
本実施形態では、マップ化する画像を内容で定められるグループに分類し、グループごとにマップ化する。通信ネットワーク上に配置される画像は多様である。例えば、政治、芸能、スポーツ、国内事件及び国際事件などのニュースに関連するものであったり、商品やサービスなどの日常生活に関連するものであったりである。そこで、本実施形態に係る画像分析方法は、マップ作成手順の前に分類手順をさらに有する。

図５に、本実施形態に係る画像分析システムの一例を示す。本実施形態に係る画像分析システムは、情報処理部１２に分類部１２４がさらに備わる。マップ作成部１２１は、分類部１２４の分類したグループごとに含まれる画像を、付随するデータの内容の近さに基づいてマップ化する。

分類手順では、分類部１２４が、記憶部１１から画像を取得し、取得した画像で構成される情報母集団を用いて画像を分類する。画像の分類は、画像に付随するデータｄ_ｉの内容の近さに基づいて行う。例えば、ベクトル空間モデルを用いてデータｄ_ｉの内容の近さを判定することができる。これにより、図３に示すように、分野ごとに複数の画像が集合したクラスタＣ１〜Ｃ５が形成される。このクラスタごとに画像をグループ化することで、画像を分類することができる。

クラスタＣ１〜Ｃ５を形成する際、マップ化する画像だけでなく、マップ化しない過去の画像を用いてクラスタを形成してもよい。

本発明は情報通信産業に適用することができる。

１０：画像分析装置
１１：記憶部
１２：情報処理部
１２１：マップ作成部
１２２：マップ表示部
１２３：画像表示部
１２４：分類部
１３：通信部
２０：ストレージ
３０：ユーザ端末

Claims (8)

1. 画像に付随するデータの内容の近さに基づき、通信ネットワーク上に配置された画像を面上に配置したマップを作成するマップ作成部と、
   前記画像のサムネイルを前記マップ上に配置したマップを表示するマップ表示部と、
   を備える画像分析装置。
2. 前記マップ表示部が、閲覧数の多い画像のサムネイルを強調表示する、
   請求項１に記載の画像分析装置。
3. 前記マップ表示部の表示したサムネイルが選択されると、選択されたサムネイルの元画像を表示する画像表示部をさらに備える、
   請求項１又は２に記載の画像分析装置。
4. 画像に付随するデータの内容で定められるグループに分類する分類部をさらに備え、
   前記マップ作成部は、前記分類部の分類したグループごとに、画像のマップを作成する、
   請求項１から３のいずれかに記載の画像分析装置。
5. 画像に付随するデータの内容の近さに基づき、通信ネットワーク上に配置された画像を面上に配置したマップを作成するマップ作成手順と、
   各画像のサムネイルを前記マップ上に配置したマップを表示するマップ表示手順と、
   を順に有する画像分析方法。
6. 前記マップ表示手順において、閲覧数の多い画像のサムネイルを強調表示する、
   請求項５に記載の画像分析方法。
7. 画像のサムネイルが選択されると、選択されたサムネイルの元画像を表示する画像表示手順を、前記マップ表示手順の後にさらに有する、
   請求項５又は６に記載の画像分析方法。
8. 画像に付随するデータの内容で分類する分類手順を、前記マップ作成手順の前にさらに有し、
   前記マップ作成手順において、前記分類手順で分類したグループごとに、画像のマップを作成する、
   請求項５から７のいずれかに記載の画像分析方法。

Images