JP2013120548A - 画像付コメント検索システムおよび画像付コメント検索プログラム - Google Patents

Abstract

【課題】投稿された画像付コメントから、画像データにおけるシーンを特定した上でコメントをキーワード検索し、シーンに合致する画像データおよび指定されたキーワードを含む画像付コメントを得る。
【解決手段】投稿システム２に投稿された画像付コメントを収集してコメントＤＢ１５に記録するクローラ１１と、コメントＤＢ１５に記録された各画像付コメントについて、画像データとシーンＤＢ１６に登録されたシーン判定用の画像データとの画像間の類似度に基づいて各画像付コメントとシーンとの間の類似度を計算してコメント・シーンＤＢ１７に記録する類似度計算部１２と、検索条件１８に指定されたキーワードをコメントに含む画像付コメントをコメントＤＢ１５から抽出し、コメント・シーンＤＢ１７から検索条件１８に指定されたシーンとの間の類似度を取得して、類似度の順に抽出した画像付コメントを検索結果１９として出力する検索処理部１３とを有する。
【選択図】図１

Description

本発明は、情報検索の技術に関し、特に、画像データ付で投稿されたテキスト情報を検索する画像付コメント検索システムおよび画像付コメント検索プログラムに適用して有効な技術に関するものである。

近年、例えばブログサービスや、掲示板サイトなどの各種の投稿サービスや、Ｔｗｉｔｔｅｒ（登録商標）やＦａｃｅｂｏｏｋ（登録商標）などを始めとする各種のＳＮＳ（Social Network Service）などが広く普及し、多くのユーザがＰＣ（Personal Computer）やタブレット型端末、スマートフォンや携帯電話等の各種の情報処理端末から、これらのサービスを利用して文章（以下では「コメント」と総称する場合がある）を気軽に投稿するという状況が増えている。また、このとき、コメントだけではなく関連する写真などの画像データも合わせて投稿するという場合も多い（このようなコメントを以下では「画像付コメント」と記載する場合がある）。

ネットワーク上にはこれらのサービスにより投稿された膨大な数の画像やコメントが蓄積されていることになる。そこで、例えば、蓄積された情報に潜在するニーズや課題などをテキストマイニング等の手法により掘り起こしてマーケティングに活用する等、蓄積された画像付コメントのデータを有効活用したいという要望がある。

そのためには、蓄積された画像付コメントに対してある程度の精度で条件検索することができる必要がある。ここで、コメントなどのテキストデータについてのキーワードによる検索は比較的容易であり、これまでにも十分な実績を持つ技術が存在する。一方で、画像データの検索については用途等により各種の技術が検討され提案されている。

画像データの検索について、例えば、特開２０１１−２０３７７６号公報（特許文献１）には、画像ごとに、画像特徴量と、画像に関連するテキストに基づくテキスト特徴量と、を特徴記憶手段に記憶し、ユーザから画像の指定を伴う類似画像検索の要求指示を受け付けた際に、検索される候補である各画像について前記特徴記憶手段を参照することにより、前記要求指示に際し指定された画像に対する画像特徴量の類似度と、前記要求指示に際し指定された画像に関連付けられたテキストに対するテキスト特徴量の類似度とに基づいて類似画像を検索することで、画像をキーとして類似画像検索を行う際の検索精度の低下を防止する技術が記載されている。

特開２０１１−２０３７７６号公報

特許文献１に記載されたような画像検索の技術では、ユーザが、検索条件として画像と当該画像に関連するキーワードとを指定することで、当該画像との画像特徴量の類似度だけではなく、指定したキーワードに対するテキスト特徴量の類似度に基づいて類似画像を絞り込むことができるため、類似画像検索を行う際の検索精度の低下を防止することができる。なお、テキスト特徴量の類似度については、蓄積された画像に予め付されたタグ（キーワード）と、ユーザが検索条件として指定したキーワードとに基づいて算出している。

上記のような技術では、検索結果として得られるのはあくまで（タグ等の情報が予め付された）画像データであり、画像とコメントが一体となった画像付コメント自体ではない。また、検索条件として指定するものはキーワードと画像であり、指定した画像に類似する画像を得ることはできるが、これと同じテーマやシーンなどにマッチする画像にまで検索条件を拡張して類似画像（およびテキスト）を検索するということはできない。

すなわち、上記のような技術では、画像に関連するテーマやシーンなどの情報を予めタグ等として画像に指定しておくことで、これをキーワードに指定して対象画像を絞り込むことは可能であるが、あくまで検索条件として指定した元の画像と類似する画像の範囲内でさらに絞り込むために用いられるものである。従って、「ある画像に類似する画像を得る」ということは可能であるものの、上述したような蓄積された画像付コメントのデータを有効活用したいという要望に応えるため、例えば、「あるシーンにおいて撮影されたと思われる画像を有し、かつ指定されたキーワードをコメントに含む画像付コメントを得る」というようなことを実現するのは困難である。

そこで本発明の目的は、ネットワークを介して投稿された多数の画像付コメントから、画像データにおけるシーンを特定した上でコメントをキーワード検索し、シーンに合致する画像データおよび指定されたキーワードを含む画像付コメントを得ることを可能とする画像付コメント検索システムおよび画像付コメント検索プログラムを提供することにある。本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

本発明の代表的な実施の形態による画像付コメント検索システムは、１つ以上の投稿サービスに投稿された画像データを有するコメントである画像付コメントに対して、ユーザから検索条件として指定された、画像データの内容を示すシーンと、コメントに含まれるキーワードとに基づいて、前記画像付コメントの検索を行う画像付コメント検索システムであって、以下の特徴を有するものである。

すなわち、画像付コメント検索システムは、ネットワークを介して前記各投稿サービスにアクセスし、前記各投稿サービスに対して投稿された前記画像付コメントを収集して、コメント記録部に記録するクローラと、前記コメント記録部に記録された前記各画像付コメントについて、前記各画像付コメントの画像データと、シーン記録部に予め登録されたシーン判定用の１つ以上の画像データとの画像間の類似度に基づいて、前記各画像付コメントとシーンとの間の類似度を計算してコメント・シーン記録部に記録する類似度計算部と、前記検索条件に指定されたキーワードをコメントに含む前記画像付コメントを前記コメント記録部から抽出し、抽出した前記各画像付コメントについて前記コメント・シーン記録部から前記検索条件に指定されたシーンとの間の前記類似度を取得して、取得した前記類似度の順に、抽出した前記各画像付コメントの全部もしくは一部を検索結果として出力する検索処理部とを有することを特徴とする。

また、本発明は、コンピュータを上記のような画像付コメント検索システムとして機能させる画像付コメント検索プログラムにも適用することができる。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

すなわち、本発明の代表的な実施の形態によれば、ネットワークを介して投稿された多数の画像付コメントから、画像データにおけるシーンを特定した上でコメントをキーワード検索して、シーンに合致する画像データおよび指定されたキーワードを含む画像付コメントを得ることができ、蓄積された画像付コメントのデータを有効活用することが可能となる。

本発明の一実施の形態である画像付コメント検索システムの構成例について概要を示した図である。 （ａ）、（ｂ）は、本発明の一実施の形態における画像付コメントを検索する際のユーザインタフェースの例について概要を示した図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。

本発明の一実施の形態である画像付コメント検索システムは、ブログサービスや掲示板サイトなどの各種の投稿サイトや、Ｔｗｉｔｔｅｒ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）などを始めとする各種のＳＮＳなどの投稿サービスに投稿された画像付コメントについて、コメントに含まれるキーワードおよび画像データが撮影されたシーンを検索条件として指定して検索を行うシステムである。

画像付コメントを検索可能とするため、本実施の形態では、各種投稿サービスのＷｅｂサイトをクローリングして検索対象となる画像付コメントのデータを予め収集して蓄積しておく。一方で、収集した画像付コメントに対してシーンを検索条件として指定可能とするため、予めユーザにより、シーンを判定するための基礎となる判定用の画像データをシーン毎に１つ以上登録しておく。さらに、収集して蓄積した画像付コメントにおける各画像データについて、シーン判定用の各画像データとの間で計算した画像の類似度からシーンとの類似度を計算し、画像付コメントに対するシーンのインデックスを作成しておく。

これにより、ユーザが検索条件としてシーンとキーワードを指定した場合に、例えば、指定されたキーワードをコメントに含む各画像付コメントについて、指定されたシーンとの間の類似度が高い画像データを有する画像付コメントを類似度に従ってランク付けして出力するという検索方法を実現することができる。

図１は、本発明の一実施の形態である画像付コメント検索システムの構成例について概要を示した図である。画像付コメント検索システム１は、例えば、サーバ機器やＰＣ等のコンピュータシステムにより構成され、図示しないＯＳ（Operating System）やデータベース管理システムなどのミドルウェア上で動作するソフトウェアプログラムとして実装されるクローラ１１、類似度計算部１２、検索処理部１３、および入出力部１４などの各処理部を有する。また、データベースやファイルテーブル等として実装されるコメントデータベース（ＤＢ）１５、シーンデータベース（ＤＢ）１６、およびコメント・シーンデータベース（ＤＢ）１７などの各記録部を有する。

クローラ１１は、図示しないインターネット等のネットワークを介して、各種の投稿サービスを提供する１つ以上の投稿システム２に対して周期的に巡回してアクセスし、各投稿サービスにおいて不特定多数のユーザにより投稿された画像付コメントが蓄積された画像付コメントデータベース（ＤＢ）２１から画像付コメントを自動的に収集する（クローリングする）プログラムである。クローラ１１の具体的な実装については、公知の各種クローラプログラムや技術を利用することができるため、ここでの詳細な説明は省略する。

収集した画像付コメントは、コメントＤＢ１５に記録して蓄積する。コメントＤＢ１５は、データ構成として、例えば、コメントＩＤ、コメント、および画像などの項目を有する。ここで、コメントＩＤはキー項目であり、クローラ１１によって採番され、各画像付コメントを一意に識別するＩＤ情報を保持する。また、コメントおよび画像の各項目は、対象の画像付コメントにおけるコメントおよび画像のデータ（画像データ自体もしくは画像データを特定するファイル名等）をそれぞれ保持する。

類似度計算部１２は、クローラ１１によりコメントＤＢ１５に蓄積された各画像付コメントの画像データと、シーンＤＢ１６に予め登録されたシーン判定用の画像データとの画像類似度から、各画像付コメントとシーンとの類似度を計算し、コメント・シーンＤＢ１７に記録する。

類似度の計算に際しては、まず、コメントＤＢ１５に蓄積された各画像付コメントの画像データと、シーンＤＢ１６に登録されたシーン判定用の各画像データとの画像類似度をシーン毎に計算する。画像データ間の画像類似度の計算手法は特に限定されず、各種の公知技術を適宜採用することができる。対象の画像付コメントの画像データとシーン判定用の各画像データとの間の画像類似度について、例えば、シーン毎に最大の値を、対象の画像付コメントと当該シーンとの類似度とする。シーン毎の平均など他の統計値を計算して類似度としてもよい。

換言すれば、類似度計算部１２における処理は、コメントＤＢ１５に蓄積された各画像データについて、いわゆるタグやキーワード等のようにＯＮ／ＯＦＦで設定されるような情報ではなく、シーンとの類似度という程度を示す数値によって予め画像に意味づけをしているということができる。また、シーン毎に複数の異なる判定用の画像データをシーンＤＢ１６に登録しておくことで、特定の画像データにのみ類似するのではなく幅広く柔軟にシーンを判定することが可能となる。

ここで、シーンＤＢ１６は、データ構成として、例えば、シーン名および画像などの項目を有する。ここで、シーン名はキー項目であり、ユーザによって指定されたシーン名の情報を保持する。また、画像の項目は、ユーザによって指定された対象のシーン名に対する判定用の画像のデータ（画像データ自体もしくは画像データを特定するファイル名等）を保持する。また、コメント・シーンＤＢ１７は、データ構造として、例えば、コメントＩＤ、シーン名、および類似度などの項目を有する。ここで、コメントＩＤおよびシーン名は複合キー項目であり、コメントＤＢ１５のコメントＩＤおよびシーンＤＢ１６のシーン名の項目とそれぞれ同じものである。類似度の項目は、対象の画像付コメントとシーンの組み合わせについて類似度計算部１２により計算された類似度の値を保持する。

なお、上述した各ＤＢのデータ構成（項目）はあくまで一例であり、同様のデータを保持・管理することが可能な構成であれば、他のデータ構成であってもよい。また、上記のクローラ１１による画像付コメントの収集と、類似度計算部１２によるシーン毎の類似度の計算、すなわち、コメントＤＢ１５およびコメント・シーンＤＢ１７の構築は、例えば夜間等の画像付コメント検索システム１の負荷が小さい（検索要求が少ない）時間帯等にバッチ処理的に実行しておくのが望ましい。また、上述したように、シーンＤＢ１６へのシーン判定用の画像データの登録や更新は、ユーザにより別途行われているものとする。

検索処理部１３は、入出力部１４を介したユーザからの画像付コメントの検索条件１８の指定を受け付け、コメントＤＢ１５およびコメント・シーンＤＢ１７を参照して検索条件１８に該当する画像付コメントのデータを抽出し、入出力部１４を介して検索結果１９として出力する。検索条件１８には、例えば、シーン名とキーワードが含まれる。検索処理部１３は、例えば、コメントＤＢ１５を参照して、指定されたキーワードを含むコメントを有する画像付コメントのデータを取得し、取得した各データに対して、コメント・シーンＤＢ１７を参照して、指定されたシーン名についての類似度の値を取得し、順位付けして検索結果１９として出力する。類似度の値が所定の値以上のものや、所定の順位までのもののみに出力範囲を制限してもよい。

入出力部１４は、ユーザが検索処理を行う際のユーザインタフェースを提供する。例えば、画像付コメント検索システム１自身が有するディスプレイ等の表示装置に画面を表示し、キーボードから入力を受け付けるものであってもよいし、ネットワークを介して接続されるクライアントの情報処理端末からの要求により、当該情報処理端末上のＷｅｂブラウザ上に画面表示するＷｅｂサーバプログラムとして動作するようなものであってもよい。なお、入出力部１４は、これ以外に例えば、ユーザがシーンＤＢ１６に対するシーン判定用の画像データの登録を行うためのインタフェースも合わせて有するものとする。

図２は、画像付コメントを検索する際のユーザインタフェースの例について概要を示した図である。図２の例では、ユーザが、検索条件１８として画面上部においてシーンをプルダウンメニュー等から選択して指定し、さらにキーワードを入力して指定した上で検索ボタンを押下したことにより、指定したキーワードをコメントに含む画像付コメントが、指定したシーンとの類似度の順に検索結果１９として画面下部にリスト表示されている状態を示している。

図２（ａ）では、シーンとして「子供」を選択し、キーワードとして「抹茶アイスＡＢＣ」という商品名を入力して検索を行った場合を例としている。なお、シーンの例としては、これ以外に例えば、「海辺」「パーティー」「電車内」「室内」等、画像が撮影されたシーンや画像のテーマ、写っている物など、画像の内容と関連するものを広く設定することができる。シーンの指定は、キーワードと同様にユーザが直接入力してもよいが、例えば、ユーザが予めシーンＤＢ１６に登録したシーン名の項目から入出力部１４が抽出してプルダウンリスト等に設定することで入力を簡略化し、かつ入力ミスを回避することができる。

ユーザは、得られた検索結果を参照し、画像付コメントにおける画像およびコメントの内容を複合的に分析することで、例えば、「抹茶アイスＡＢＣ」について、「子供には味が苦いのかもしれない」や、「子供のおやつにもよく食べられているようだ」「食べるときは２、３人で分けて食べているようだ」のような情報を読み取ることができる。さらに、これらの情報に基づいて、例えば、「大きさが半分、マイルドな味の子供用の商品にニーズがあるかもしれない」というようなマーケティング上の仮説を得ることができる。

また同様に、図２（ｂ）では、シーンとして「バッグの中」を選択し、キーワードとして「歯ブラシ」を入力して検索を行った場合を例としている。ユーザは、得られた検索結果を参照し、画像付コメントにおける画像およびコメントの内容を複合的に分析することで、例えば、「歯磨き粉を入れるスペースがなさそう」や「携帯電話やゲーム機と同じスペースに入れられることも多いようだ」などの情報を読み取ることができる。さらに、これらの情報に基づいて、例えば、「歯ブラシと歯磨き粉を同時に入れることができ、水漏れしない細長いケースにニーズがあるかもしれない」というような仮説を得ることができる。

以上に説明したように、本発明の一実施の形態である画像付コメント検索システム１によれば、画像付コメントを検索可能とするため、各種投稿システム２のＷｅｂサイトをクローリングして検索対象となる画像付コメントのデータを予めコメントＤＢ１５に収集しておく。一方で、収集した画像付コメントに対してシーンを検索条件として検索可能とするため、予めユーザにより、シーンを判定するための基礎となる画像データをシーン毎にシーンＤＢ１６に１つ以上登録しておく。さらに、収集した画像付コメントにおける画像データについて、シーン判定用の各画像データとの間で計算した画像類似度からシーンとの類似度を計算し、画像付コメントに対するシーンのインデックスを作成しておく。

これにより、ユーザが検索条件としてシーン名とキーワードを指定した場合に、例えば、指定されたキーワードをコメントに含む各画像付コメントについて、指定されたシーンとの間の類似度が高い画像データを有する画像付コメントを類似度の高い順に検索結果１９として出力するという検索方法を実現することができ、蓄積された画像付コメントのデータを有効活用することが可能となる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

本発明は、画像データ付で投稿されたテキスト情報を検索する画像付コメント検索システムおよび画像付コメント検索プログラムに利用可能である。

１…画像付コメント検索システム、２…投稿システム、
１１…クローラ、１２…類似度計算部、１３…検索処理部、１４…入出力部、１５…コメントデータベース（ＤＢ）、１６…シーンデータベース（ＤＢ）、１７…コメント・シーンデータベース（ＤＢ）、１８…検索条件、１９…検索結果、
２１…画像付コメントデータベース（ＤＢ）。

Claims (4)

1. １つ以上の投稿サービスに投稿された画像データを有するコメントである画像付コメントに対して、ユーザから検索条件として指定された、画像データの内容を示すシーンと、コメントに含まれるキーワードとに基づいて、前記画像付コメントの検索を行う画像付コメント検索システムであって、
   ネットワークを介して前記各投稿サービスにアクセスし、前記各投稿サービスに対して投稿された前記画像付コメントを収集して、コメント記録部に記録するクローラと、
   前記コメント記録部に記録された前記各画像付コメントについて、前記各画像付コメントの画像データと、シーン記録部に予め登録されたシーン判定用の１つ以上の画像データとの画像間の類似度に基づいて、前記各画像付コメントとシーンとの間の類似度を計算してコメント・シーン記録部に記録する類似度計算部と、
   前記検索条件に指定されたキーワードをコメントに含む前記画像付コメントを前記コメント記録部から抽出し、抽出した前記各画像付コメントについて前記コメント・シーン記録部から前記検索条件に指定されたシーンとの間の前記類似度を取得して、取得した前記類似度の順に、抽出した前記各画像付コメントの全部もしくは一部を検索結果として出力する検索処理部とを有することを特徴とする画像付コメント検索システム。
2. 請求項１に記載の画像付コメント検索システムにおいて、
   ユーザが前記検索条件としてシーンを指定する際に、前記シーン記録部に登録されている前記シーン判定用の画像データに対応するシーンの情報を抽出して、抽出したシーンのリストをユーザに提示してシーンを選択させることを特徴とする画像付コメント検索システム。
3. 請求項１または２に記載の画像付コメント検索システムにおいて、
   前記クローラは、前記各投稿サービスに対して周期的に巡回してアクセスし、前記各投稿サービスに対して投稿された前記画像付コメントを収集して、前記コメント記録部に記録することを特徴とする画像付コメント検索システム。
4. １つ以上の投稿サービスに投稿された画像データを有するコメントである画像付コメントに対して、ユーザから検索条件として指定された、画像データの内容を示すシーンと、コメントに含まれるキーワードとに基づいて、前記画像付コメントの検索を行う画像付コメント検索システムとしてコンピュータを動作させる画像付コメント検索プログラムであって、
   ネットワークを介して前記各投稿サービスにアクセスし、前記各投稿サービスに対して投稿された前記画像付コメントを収集して、コメント記録部に記録するクローリング処理と、
   前記コメント記録部に記録された前記各画像付コメントについて、前記各画像付コメントの画像データと、シーン記録部に予め登録されたシーン判定用の１つ以上の画像データとの画像間の類似度に基づいて、前記各画像付コメントとシーンとの間の類似度を計算してコメント・シーン記録部に記録する類似度計算処理と、
   前記検索条件に指定されたキーワードをコメントに含む前記画像付コメントを前記コメント記録部から抽出し、抽出した前記各画像付コメントについて前記コメント・シーン記録部から前記検索条件に指定されたシーンとの間の前記類似度を取得して、取得した前記類似度の順に、抽出した前記各画像付コメントの全部もしくは一部を検索結果として出力する検索処理とを実行することを特徴とする画像付コメント検索プログラム。

Images