JP2014021757A - コンテンツ評価値予測装置、方法、及びプログラム - Google Patents

コンテンツ評価値予測装置、方法、及びプログラム Download PDF

Info

Publication number
JP2014021757A
JP2014021757A JP2012160439A JP2012160439A JP2014021757A JP 2014021757 A JP2014021757 A JP 2014021757A JP 2012160439 A JP2012160439 A JP 2012160439A JP 2012160439 A JP2012160439 A JP 2012160439A JP 2014021757 A JP2014021757 A JP 2014021757A
Authority
JP
Japan
Prior art keywords
content
evaluation value
feature
learning
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012160439A
Other languages
English (en)
Other versions
JP5771573B2 (ja
Inventor
Katsuhiko Ishiguro
勝彦 石黒
Shogo Kimura
昭悟 木村
Takashi Takeuchi
孝 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012160439A priority Critical patent/JP5771573B2/ja
Publication of JP2014021757A publication Critical patent/JP2014021757A/ja
Application granted granted Critical
Publication of JP5771573B2 publication Critical patent/JP5771573B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】評価値を予測する対象コンテンツのフォーマットやサイズ等の影響を受けることなく、対象コンテンツについて、主観的な評価に基づく客観的な評価値を予測する。
【解決手段】学習用特徴量生成部４１が、特徴抽出部２０で学習データから抽出された、対象コンテンツが含まれる要約コンテンツの構造、要約コンテンツに対するユーザの動作、及び複数の学習データに含まれる全要約コンテンツと対象コンテンツとの関係を示すソーシャル特徴と、要約コンテンツが有する文章情報から抽出される文章特徴とをまとめた学習用特徴ベクトルを生成し、パラメータ決定部４２が、学習用特徴ベクトルを用いて、予測部３０の回帰手法に応じた回帰パラメータを決定して、回帰パラメータ記憶部３１に記憶する。予測評価値回帰部３２で、テスト対象コンテンツについて抽出されたテスト特徴ベクトルと回帰パラメータとを用いて、テスト対象コンテンツの予測評価値を計算する。
【選択図】図２

Description

本発明は、コンテンツ評価値予測装置、方法、及びプログラムに係り、特に、ソーシャルメディアに投稿された画像や動画像等の対象コンテンツに対する閲覧数等の評価値を予測するコンテンツ評価値予測装置、方法、及びプログラムに関する。
誰もがインターネット上で発言できるソーシャルメディアの時代が到来した一方で、大量な情報が出回り、その全てを閲覧・利用することが難しくなってきており、有用な情報のみを取り出して提示する仕組みが強く求められている。その中で、近年、ソーシャルメディア上では、コンテンツの作者(creator)が作り出した大量のコンテンツを整理・要約して消費者(consumer)に提示する編集者(curator)の存在が注目を集めている。例えば、代表的なソーシャルメディアの一つであるTwitter（登録商標）の情報を編集者がまとめるサイトとして、Togetter（登録商標）やNAVERまとめ（登録商標）等の「まとめサイト」が広く利用されている。これらのサイトを提供するサービスはソーシャルキュレーションサービスと呼ばれ、編集者が既存のコンテンツを収集し、編集者自身の視点から整理し、できあがった要約を再び消費者に配信する仕組みが作られている。消費者としては、作者からのコンテンツを直接読むよりも、編集者を通して要約されたコンテンツを読んだ方が、効率的に情報を収集でき、理解が容易になる。この仕組みを概略として示した図が、図１である。
ソーシャルキュレーションサービス上で整理される要約記事は上記のように消費者にとって魅力的なものとなるが、この要約記事にはさらに別の特性がある。それは、ある一つの要約記事は編集者のもつある特定のポリシーによって整理されていることである。従って、ある要約記事について、その中の全ての記事はある一定の共通の意見・目的などを共有することが期待できる。これは記事の多くを占める短い文章メッセージだけでなく、近年急速に増えている画像コンテンツ、映像コンテンツ、音声コンテンツ等の投稿も同様である。
画像コンテンツの持つ情報や意図の自動理解は、多くの画像処理技術の究極の技術目標である。これが可能になれば、例えばある画像コンテンツがソーシャルネットワーク上でどれだけ人気がでるか、どれだけ閲覧数を集めるか、など、コンテンツの評価値の予測に利用できる。
そのため、様々な画像特徴量（例えば、非特許文献１及び非特許文献２等参照）や識別モデルを用いた物体検出、領域分割、物体認識などといった画像認識技術が開発されてきたが、画像コンテンツの内容自動理解はいまだ実現されていない。
一方、ソーシャルキュレーションサービス上の要約記事に含まれる画像コンテンツは、その正確な内容は分からないが、その記事内に含まれる他の多数の文章メッセージや画像コンテンツと類似した内容を持つことは期待できる。
画像コンテンツの持つ特徴量から、画像に関する何らかの評価値を計算する手法は、特に画像検索などの文脈でこれまでに多数考案されている（例えば、非特許文献３及び非特許文献４等参照）。
一方、ソーシャルキュレーションサービスの情報から何らかの予測を行う手法も提案されている（例えば、非特許文献５参照）。非特許文献５では、ソーシャルキュレーションに投稿されたテキストメッセージから抽出した特徴量を利用し、要約記事作成に必要となる素材メッセージのランキングを利用したユーザ支援手法を提案している。
D. G. Lowe, "Distinctive image features from scale invariant keypoints", International Journal of Computer Vision, 60, 2, pp. 91−110, 2004. A. Torralba, K. P. Murphy and M. A. Freeman,W. T. Rubin, "Context-based vision system for place and object recognition", Proceedings of the Ninth IEEE International Conference of Computer Vision (ICCV), 2003. Grangier, D. and Bengio, S., "A Discriminative Kernel-Based Model to Rank Images from Text Queries", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 30, No. 8, pp. 1371-1384, 2008. Jing, Y. and Baluja, S., "VisualRank: Applying PageRank to Large-Scale Image Search", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 30, No. 11, pp. 1877-1890, 2008. Duh, K., Hirao, T., Kimura, A., Ishiguro, K., Iwata, T. and Au Yeung, C.-M., "Creating Stories: Social Curation on Twitter Messages", In Proceedings of the Sixth AAAI Conference on Weblogs and Social Media (ICWSM).
しかし、非特許文献３及び非特許文献４に代表される方法は、いずれも画像コンテンツに対する画像処理に基づくものであり、コンテンツに対する主観的な評価に基づく客観的な評価値を予測することができない、という問題がある。また、画像処理に基づく手法では、処理対象となる画像のフォーマットやサイズなどの相違が、評価値の予測に影響を与える場合が多い、という問題がある。これらの問題は、対象コンテンツを映像コンテンツや音声コンテンツとした場合にも同様に生じ得る。
一方、非特許文献５に記載の手法は、ソーシャルキュレーションの情報を利用するという点では共通しているものの、非特許文献５では、評価の対象とするデータであるメッセージ（テキストデータ）から、その内容に直接関係する特徴量を抽出しており、画像コンテンツ等の評価値の予測には適用した場合には、画像コンテンツ自体から特徴量を抽出することに対応し、上述の問題を解消することはできない。
本発明は、上記の事実を鑑みてなされたもので、評価値を予測する対象コンテンツのフォーマットやサイズ等の影響を受けることなく、対象コンテンツについて、主観的な評価に基づく客観的な評価値を予測することができるコンテンツ評価値予測装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明のコンテンツ評価値予測装置は、複数種類のコンテンツの少なくとも１種類のコンテンツを含み、ソーシャルメディアに投稿された複数のソーシャルメディアコンテンツが、特定のテーマに基づいて収集及び要約された要約コンテンツ、前記要約コンテンツに含まれ、かつ評価値の予測対象となるコンテンツの種類に該当する対象コンテンツ、及び該対象コンテンツに対する真の評価値からなる複数の学習データに含まれる前記対象コンテンツの各々について、前記対象コンテンツが含まれる要約コンテンツを表す特徴を抽出する特徴抽出手段と、前記複数の学習データに含まれる前記対象コンテンツの各々について、前記特徴抽出手段により抽出された特徴と前記真の評価値との対応関係を用いて、評価値が未知のテスト対象コンテンツの評価値を予測するためのパラメータを学習する学習手段と、を含んで構成されている。
本発明のコンテンツ評価値予測装置によれば、複数種類のコンテンツの少なくとも１種類のコンテンツを含み、ソーシャルメディアに投稿された複数のソーシャルメディアコンテンツが、特定のテーマに基づいて収集及び要約された要約コンテンツ、要約コンテンツに含まれ、かつ評価値の予測対象となるコンテンツの種類に該当する対象コンテンツ、及び対象コンテンツに対する真の評価値からなる複数の学習データを用いる。要約コンテンツは、編集者の主観の上で、一貫した共通の意見や目的など（特定のテーマ）を共有した記事の集合とみなすことができる。
まず、特徴抽出手段が、複数の学習データに含まれる対象コンテンツの各々について、対象コンテンツが含まれる要約コンテンツを表す特徴を抽出する。そして、学習手段が、複数の学習データに含まれる対象コンテンツの各々について、特徴抽出手段により抽出された特徴と真の評価値との対応関係を用いて、評価値が未知のテスト対象コンテンツの評価値を予測するためのパラメータを学習する。
このように、対象コンテンツ自体の特徴ではなく、特定のテーマに基づいて収集及び要約された要約コンテンツの特徴を用いることで、評価値を予測する対象コンテンツのフォーマットやサイズ等の影響を受けることなく、対象コンテンツについて、主観的な評価に基づく客観的な評価値を予測するためのパラメータを学習することができる。
また、前記特徴抽出手段は、前記要約コンテンツを表す特徴を、前記対象コンテンツが含まれる要約コンテンツの構造、該要約コンテンツに対するユーザの動作、及び前記複数の学習データに含まれる全要約コンテンツと前記対象コンテンツとの関係の少なくとも１つを示すソーシャル特徴、並びに前記対象コンテンツが含まれる要約コンテンツが有する文章情報から抽出される文章特徴の少なくとも一方とすることができる。これにより、例えば、各対象コンテンツのソーシャルメディア上の関係や影響力、各対象コンテンツの内容に関わる情報などを利用することができ、対象コンテンツの評価値を精度良く予測するための特徴を抽出することができる。
また、前記特徴抽出手段は、前記文章特徴を、前記要約コンテンツに付与された文章情報、該要約コンテンツに含まれるソーシャルメディアコンテンツが有する文章情報、及び前記対象コンテンツと関連した内容の文章情報の少なくとも１つから抽出することができる。これにより、各対象コンテンツの内容を間接的に表現した特徴を利用することができ、対象コンテンツの評価値を精度良く予測することができる。
また、前記特徴抽出手段は、要約コンテンツに含まれる前記テスト対象コンテンツについて、前記テスト対象コンテンツが含まれる要約コンテンツを表す特徴を抽出し、本発明のコンテンツ評価値予測装置は、前記特徴抽出手段により抽出された前記テスト対象コンテンツの特徴と、前記学習手段により学習されたパラメータとを用いて、前記テスト対象コンテンツの評価値を予測する予測手段を含んで構成することができる。これにより、評価値を予測する対象コンテンツのフォーマットやサイズ等の影響を受けることなく、対象コンテンツについて、主観的な評価に基づく客観的な評価値を予測することができる。
また、本発明のコンテンツ評価値予測方法は、特徴抽出手段と、学習手段とを含むコンテンツ評価値予測装置におけるコンテンツ評価値予測方法であって、前記特徴抽出手段が、複数種類のコンテンツの少なくとも１種類のコンテンツを含み、ソーシャルメディアに投稿された複数のソーシャルメディアコンテンツが、特定のテーマに基づいて収集及び要約された要約コンテンツ、前記要約コンテンツに含まれ、かつ評価値の予測対象となるコンテンツの種類に該当する対象コンテンツ、及び該対象コンテンツに対する真の評価値からなる複数の学習データに含まれる前記対象コンテンツの各々について、前記対象コンテンツが含まれる要約コンテンツを表す特徴を抽出し、前記学習手段が、前記複数の学習データに含まれる前記対象コンテンツの各々について、前記特徴抽出手段により抽出された特徴と前記真の評価値との対応関係を用いて、評価値が未知のテスト対象コンテンツの評価値を予測するためのパラメータを学習する方法である。
また、前記特徴抽出手段は、前記要約コンテンツを表す特徴を、前記対象コンテンツが含まれる要約コンテンツの構造、該要約コンテンツに対するユーザの動作、及び前記複数の学習データに含まれる全要約コンテンツと前記対象コンテンツとの関係の少なくとも１つを示すソーシャル特徴、並びに前記対象コンテンツが含まれる要約コンテンツが有する文章情報から抽出される文章特徴の少なくとも一方とすることができる。
また、本発明のコンテンツ評価値予測方法は、予測手段をさらに含むコンテンツ評価値予測装置におけるコンテンツ評価値予測方法であって、前記特徴抽出手段は、要約コンテンツに含まれる前記テスト対象コンテンツについて、前記テスト対象コンテンツが含まれる要約コンテンツを表す特徴を抽出し、前記予測手段は、前記特徴抽出手段により抽出された前記テスト対象コンテンツの特徴と、前記学習手段により学習されたパラメータとを用いて、前記テスト対象コンテンツの評価値を予測することができる。
また、本発明のコンテンツ評価値予測プログラムは、コンピュータを、上記のコンテンツ評価値予測装置を構成する各手段として機能させるためのプログラムである。
以上説明したように、本発明のコンテンツ評価値予測装置、方法、及びプログラムによれば、対象コンテンツ自体の特徴ではなく、特定のテーマに基づいて収集及び要約された要約コンテンツの特徴を用いることで、評価値を予測する対象コンテンツのフォーマットやサイズ等の影響を受けることなく、対象コンテンツについて、主観的な評価に基づく客観的な評価値を予測することができる、という効果が得られる。
ソーシャルメディアの作者、編集者、消費者の関係を示す図である。 本実施の形態に係るコンテンツ評価値予測装置の構成を示す概略図である。 本実施の形態における学習処理ルーチンの内容を示すフローチャートである。 本実施の形態における予測処理ルーチンの内容を示すフローチャートである。 実施例における実験結果を示す図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、Twitter（登録商標）などのソーシャルメディアに投稿された画像コンテンツの評価値を予測するコンテンツ評価値予測装置に、本発明を適用した場合を例に説明する。
＜コンテンツ評価値予測装置の構成＞
本実施の形態に係るコンテンツ評価値予測装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する学習処理及び予測処理を含むコンテンツ評価値予測処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図２に示すように、特徴抽出部２０と、予測部３０と、学習部４０と、出力部５０とを含んだ構成で表すことができる。
まず、コンテンツ評価値予測装置１０に入力されるデータについて説明する。学習時には、学習データとして、要約コンテンツ集合Ｓ、画像コンテンツ集合Ｉ、及び評価値集合Ｙが入力される。
学習データとして編集された要約コンテンツ集合Ｓは、Ｎｓ個の要素からなる。すなわちＳ＝｛Ｓ１，Ｓ２，・・・，ＳＮｓ｝である。各要約コンテンツは、例えばツイートなどのソーシャルメディアコンテンツの集合である。図１に示す通り、多くのソーシャルキュレーションサービスにおいて、一つの要約コンテンツＳｉは複数のソーシャルメディアコンテンツの集合である。ソーシャルメディアコンテンツは、例えば、テキストメッセージ、画像コンテンツ、映像コンテンツ、音声コンテンツ等の複数種類のコンテンツの少なくとも１種類のコンテンツを含み、ソーシャルメディアに投稿されたコンテンツである。また、各要約コンテンツは、複数のソーシャルメディアコンテンツを編集者が特定のテーマに基づいて収集及び要約したものである。
学習データとして要約コンテンツ集合Ｓ内に存在する画像コンテンツ集合Ｉは、ＮＩ個の要素からなる。すなわちＩ＝｛Ｉ１，Ｉ２，・・・，ＩＮＩ｝である。各画像コンテンツは、例えばツイート上ではハイパーリンクなど、ある画像ファイルを同定できる情報であればよい。
学習データとして画像コンテンツ集合Ｉの要素全てに対する真の評価値の集合である評価値集合Ｙは、ＮＩ個の要素からなる。すなわちＹ＝｛ｙ１，ｙ２，・・・，ｙＮＩ｝である。各評価値ｙは、自然数、実数、離散値など目的に応じて設定できるが、本実施の形態ではｙを実数値として説明する。
評価値の予測時には、評価値を予測したいテストデータとして、テスト要約コンテンツ集合Ｓ＊及びテスト画像コンテンツ集合Ｉ＊が入力される。テスト要約コンテンツ集合Ｓ＊は、Ｎ＊ｓ個の要素からなる。すなわちＳ＊＝｛Ｓ＊１，Ｓ＊２，・・・，Ｓ＊Ｎ＊ｓ｝である。テスト画像コンテンツ集合Ｉ＊は評価値を予測したい画像コンテンツの集合である。テスト画像コンテンツ集合Ｉ＊はＮ＊Ｉ個の要素からなる。すなわちＩ＊＝｛Ｉ＊１，Ｉ＊２，・・・，Ｉ＊Ｎ＊Ｉ｝である。
本実施の形態では、学習データ内の画像コンテンツＩｊは必ず要約コンテンツ集合Ｓ内のいずれかの要約コンテンツに含まれるものとする。また、テスト画像コンテンツＩ＊ｊは必ずテスト要約コンテンツＳ＊に含まれるものとする。
以下、コンテンツ評価値予測装置１０の各部について詳述する。
特徴抽出部２０は、ある画像コンテンツＩｊ及び要約コンテンツ集合Ｓが入力されたときに、要約コンテンツ及び画像コンテンツのデータから、画像コンテンツの内容や中身によらない特徴量を抽出する。多くのソーシャルメディアはテキスト（文章）情報によって表現されることが多いため、本実施の形態における特徴抽出部２０は、文章情報によらない特徴量を抽出するソーシャル特徴抽出部２１と、文章情報による特徴量を抽出する文章特徴抽出部２２とを含む。
ソーシャル特徴抽出部２１は、画像コンテンツＩｊが含まれる要約コンテンツＳｉが入力されたときに、要約コンテンツＳｉがソーシャルキュレーションサービス上で持つ情報をソーシャル特徴として抽出する。ソーシャル特徴としては、要約コンテンツＳｉの構造、要約コンテンツＳｉに対するユーザの動作、要約コンテンツ集合Ｓと画像コンテンツＩｉとの関係を示す特徴を抽出することができる。より具体的には、以下のようなものを抽出することができる。
１．要約コンテンツＳｉ内に含まれるソーシャルメディアコンテンツ数
２．要約コンテンツＳｉ内に含まれるソーシャルメディアコンテンツの投稿者・作成者数
３．要約コンテンツＳｉ内に含まれる画像・動画像コンテンツの種類数（重複なしのコンテンツ数）
４．要約コンテンツＳｉが閲覧された回数
５．要約コンテンツＳｉがブックマーク機能に登録された回数
さらに、画像コンテンツＩｊに対しても以下のようなソーシャル特徴を抽出することができる。
６．要約コンテンツ集合Ｓのうち、画像コンテンツＩｊを含む要約コンテンツ数
７．要約コンテンツ集合Ｓ内の全てのソーシャルメディアコンテンツのうち、画像コンテンツＩｊに言及している、あるいはハイパーリンクなどを持つソーシャルメディアコンテンツ数
なお、画像コンテンツに言及しているか否かは、例えば、ソーシャルメディアコンテンツに含まれるテキストメッセージに「この（あの）画像は・・・」、「添付（リンク先）の画像は・・・」等の記述があるか否かにより判断することができる。
これらの特徴を、一つのベクトルへとまとめてソーシャル特徴ベクトルｘｊ Ｓとする。なお、以上のソーシャル特徴の組み合わせ方は自由であり、また他の非文章情報に基づく特徴量を含めることも自由である。また、テスト画像コンテンツ及びテスト要約コンテンツに関しても同様にソーシャル特徴を抽出することができる。テスト画像コンテンツＩ＊ｊ及びテスト要約コンテンツＳ＊に対するソーシャル特徴ベクトルはｘ＊ｊ Ｓとする。
文章特徴抽出部２２は、要約コンテンツ及び画像コンテンツのデータから、主にテキスト情報を利用した特徴量を抽出する。ある画像コンテンツＩｊ及び要約コンテンツ集合Ｓが与えられたときに、それらについてソーシャルメディアのユーザがコメントなどの文章（テキスト）で投稿した意見などは、画像コンテンツの内容を推定する情報として有用であると考えられる。そこで、要約コンテンツ集合Ｓが持つ文章情報から文章特徴を抽出する。
文章特徴の表現には様々なものが考えられるが、例えば以下のように３種類の文章データを考えることができる。要約コンテンツ集合Ｓのうち、画像コンテンツＩｊが含まれる要約コンテンツＳｉに対して、
タイトル文章集合：各要約コンテンツに対して編集者が付与するタイトル、説明文、タグなど、編集者が操作可能な文章のデータである。この文章は要約コンテンツＳｉの内容を端的に表していると考えられる。
概要コンテンツ文章集合：要約コンテンツＳｉに収録されている全てのソーシャルメディアコンテンツ内に存在する文章から、タイトル文章を除いたものである。つまり、編集者が操作できない文章である。
画像コンテンツ文章集合：概要コンテンツ文章の中から、画像コンテンツＩｊに言及している、あるいはハイパーリンクなどを持つソーシャルメディアの文章のみを抽出したものである。つまり、目的の画像に対する直接的な文章表現である。
次に、上記のような文章から特徴量を抽出する。文章特徴の選択は色々な種類が考えられるが、ここでは近年頻繁に利用されるＢｏＷ（Bag of Word）表現に基づく手法を考える。
ここで、上記の各文章集合中に現れる単語の種類数をＶとする。まず、各文章集合に対し、Ｖ種類の単語が現れる回数を数え、ベクトルとする。このベクトルをＶ次元のＢｏＷベクトルと呼ぶ。また、各文章集合についてのＢｏＷベクトルの各要素を、一定の閾値以上か否かで１か０の値に書き換えたベクトルも計算する。このベクトルを二値化したＢｏＷベクトルと呼ぶ。以上、３種類の文章集合×２種類のベクトルから、以下のような類似度特徴を抽出する。
１．タイトル文章集合のＢｏＷベクトルと概要コンテンツ文章集合のＢｏＷベクトルとのコサイン類似度
２．概要コンテンツ文章集合のＢｏＷベクトルと画像コンテンツ文章集合のＢｏＷベクトルとのコサイン類似度
３．タイトル文章集合のＢｏＷベクトルと画像コンテンツ文章集合のＢｏＷベクトルとのコサイン類似度
４．タイトル文章集合の二値化したＢｏＷベクトルと概要コンテンツ文章集合の二値化したＢｏＷベクトルとのコサイン類似度
５．概要コンテンツ文章集合の二値化したＢｏＷベクトルと画像コンテンツ文章集合の二値化したＢｏＷベクトルとのコサイン類似度
６．タイトル文章集合の二値化したＢｏＷベクトルと画像コンテンツ文章集合のＢｏＷベクトルとのコサイン類似度
これらの特徴を、一つのベクトルへとまとめて文章特徴ベクトルｘｊ Ｔとする。なお、以上の文章特徴の組み合わせ方は自由であり、また他の文章情報に基づく特徴量を含めることも自由である。また、テスト画像コンテンツ及びテスト要約コンテンツに関しても同様に文章特徴を抽出することができる。テスト画像コンテンツＩ＊ｊ及び要約コンテンツ集合Ｓ＊に対する文章特徴ベクトルはｘ＊ｊ Ｔとする。
なお、上記各特徴を計算するための類似度としては、コサイン類似度以外にも、情報検索の分野で頻繁に用いられるＢＭ２５類似度（非特許文献６「Robertson, S., Zarazoga, H., and Taylor, M. 2004. Simple BM25 Extension to multiple weighted fields. Proc. Of CIKM.」参照）等も利用可能である。
予測部３０は、評価値の予測に必要な回帰手法を実装し、特徴抽出部２０で抽出された特徴量を入力することで、テスト画像コンテンツの評価値を予測する。回帰手法は既存の数多くの技術を利用することが可能であるが、本実施の形態では、Support Vector Regression（ＳＶＲ）（非特許文献７「Smola, A. J. and Scholkopf, B. :”A Tutorial on Support Vector Regression”, Statistics and Computing, Vol.14(3), 199-222, 2004.」参照）と呼ばれる手法を用いる。予測部３０は、回帰パラメータ記憶部３１と、予測評価値回帰部３２とを含んだ構成で表すことができる。
回帰パラメータ記憶部３１は、事前に決定した回帰手法に必要なパラメータを保持する。ＳＶＲの場合は、トレードオフ項の正規化重み、サポートベクター、サポートベクターの重みなどになる（詳しくは非特許文８を参照）。
予測評価値回帰部３２は、特徴抽出部２０で抽出されたある画像コンテンツの特徴ベクトルを入力として、選択した回帰手法と回帰パラメータ記憶部３１に保持された回帰パラメータとに従って、当該画像コンテンツの評価値を予測した予測評価値を計算する。本実施の形態では、ソーシャル特徴と文章特徴とを利用して、ＳＶＲによる評価値予測を行う。ＳＶＲの実装は多数公開されているが、本実施の形態では、非特許文献８（Chang, C. C. and Lin, C. J. :”LibSVM: A library for support vector machines”, ACM Transactions on Intelligent Systems and Technology , Vol. 2(27), 1-27, 2011.）による実装を利用する。
学習部４０は、学習データから予測部３０で利用する回帰パラメータを決定する。学習部４０は、学習用特徴量生成部４１と、パラメータ決定部４２とを含んだ構成で表すことができる。
学習用特徴量生成部４１は、学習データの要約コンテンツ集合Ｓ及び画像コンテンツ集合Ｉと特徴抽出部２０とを利用して、回帰手法のパラメータ決定に必要な学習用特徴量を生成する。手順は次のようになる。
まず、画像コンテンツ集合Ｉ内の全ての画像コンテンツＩｊに対し、ソーシャル特徴抽出部２１と要約コンテンツ集合Ｓとを利用して、ソーシャル特徴ベクトルｘｊ Ｓを計算する。続いて、文章特徴抽出部２２と要約コンテンツ集合Ｓとを利用して、文章特徴ベクトルｘｊ Ｔを計算する。この２つの特徴ベクトルをまとめて画像コンテンツＩｊに対する学習用特徴ベクトルｘｊとする。この処理を繰り返し、全ての画像コンテンツに対して学習用特徴ベクトルを計算し、パラメータ決定部４２に渡す。
パラメータ決定部４２は、学習用特徴量生成部４１が生成した学習用特徴ベクトルと評価値集合Ｙとを利用して、回帰手法のパラメータを決定する。パラメータの決定法は利用する回帰手法に依存する。本実施の形態ではＳＶＲを利用するため、各画像コンテンツＩｊに対して、学習用特徴ベクトルと評価値との組｛ｘｊ，ｙｊ｝を準備する。この組を全ての画像コンテンツについて準備した後、非特許文献８で公開されている方法に基づいてパラメータを決定する。決定したパラメータは、予測部３０の回帰パラメータとして、回帰パラメータ記憶部３１に保存する。
出力部５０は、テストデータ内の各テスト画像コンテンツＩ＊ｊに対して、その予測評価値ｙ＊ｊを計算して、所定の方法で出力する。まず、テスト画像コンテンツ集合Ｉ＊内の全てのテスト画像コンテンツＩ＊ｊに対し、ソーシャル特徴抽出部２１とテスト要約コンテンツ集合Ｓ＊とを利用して、ソーシャル特徴ベクトルｘ＊ｊ Ｓを計算する。続いて、文章特徴抽出部２２と要約コンテンツ集合Ｓ＊とを利用して、文章特徴ベクトルｘ＊ｊ Ｔを計算する。この２つの特徴ベクトルをまとめてテスト画像コンテンツＩ＊ｊに対するテスト特徴ベクトルｘ＊ｊとする。このテスト特徴ベクトルｘ＊ｊを予測部３０の予測評価値回帰部３２に渡すことで、当該テスト画像コンテンツＩ＊ｊに対する評価値を予測した予測評価値ｙ＊ｊを得る。以上の処理を全てのテスト画像コンテンツに対して繰り返し、得られた予測評価値集合Ｙ＊を所定の方法で出力する。予測評価値集合Ｙ＊は、Ｎ＊Ｉ個の要素からなる。すなわちＹ＊＝｛ｙ＊１，ｙ＊２，・・・，ｙ＊Ｎ＊Ｉ｝である。
＜コンテンツ評価値予測装置の作用＞
次に、本実施の形態に係るコンテンツ評価値予測装置１０の作用について説明する。まず、予測部３０で利用する回帰パラメータを決定する際には、コンテンツ評価値予測装置１０に学習データが入力され、コンテンツ評価値予測装置１０において、図３に示す学習処理ルーチンが実行される。
ステップ１００で、学習部４０が、入力された学習データ（要約コンテンツ集合Ｓ、画像コンテンツ集合Ｉ、及び評価値集合Ｙ）を受け付ける。
次に、ステップ１０２で、学習用特徴量生成部４１が、上記ステップ１００で受け付けた画像コンテンツ集合Ｉ内の全ての画像コンテンツＩｊに対し、受け付けた要約コンテンツ集合Ｓを利用して、ソーシャル特徴抽出部２１にソーシャル特徴ベクトルｘｊ Ｓを計算させる。
次に、ステップ１０４で、学習用特徴量生成部４１が、上記ステップ１００で受け付けた画像コンテンツ集合Ｉ内の全ての画像コンテンツＩｊに対し、受け付けた要約コンテンツ集合Ｓを利用して、文章特徴抽出部２２に文章特徴ベクトルｘｊ Ｔを計算させる。
次に、ステップ１０６で、学習用特徴量生成部４１が、上記ステップ１０２及び１０４で計算された２つの特徴ベクトルをまとめて画像コンテンツＩｊに対する学習用特徴ベクトルｘｊとする。この処理を繰り返し、全ての画像コンテンツに対して学習用特徴ベクトルを計算し、パラメータ決定部４２に渡す。
次に、ステップ１０８で、パラメータ決定部４２が、上記ステップ１０６で学習用特徴量生成部４１から受け渡された学習用特徴ベクトルと、上記ステップ１００で受け付けた評価値集合Ｙとを利用して、予測部３０で利用する回帰パラメータを決定する。決定したパラメータを予測部３０の回帰パラメータ記憶部３１に記憶して、学習処理ルーチンを終了する。
そして、テストデータの画像コンテンツの評価値を予測する際には、コンテンツ評価値予測装置１０にテストデータが入力され、コンテンツ評価値予測装置１０において、図４に示す回帰処理ルーチンが実行される。
ステップ１２０で、予測部３０が、入力されたテストデータ（テスト要約コンテンツ集合Ｓ＊及びテスト画像コンテンツ集合Ｉ＊）を受け付ける。
次に、ステップ１２２で、出力部５０が、上記ステップ１２０で受け付けたテスト画像コンテンツ集合Ｉ＊内の全てのテスト画像コンテンツＩ＊ｊに対し、受け付けたテスト要約コンテンツ集合Ｓ＊を利用して、ソーシャル特徴抽出部２１にソーシャル特徴ベクトルｘ＊ｊ Ｓを計算させる。
次に、ステップ１２４で、出力部５０が、上記ステップ１００で受け付けたテスト画像コンテンツ集合Ｉ＊内の全てのテスト画像コンテンツＩ＊ｊに対し、受け付けたテスト要約コンテンツ集合Ｓ＊を利用して、文章特徴抽出部２２に文章特徴ベクトルｘ＊ｊ Ｔを計算させる。
次に、ステップ１２６で、出力部５０が、上記ステップ１２２及び１２４で計算された２つの特徴ベクトルをまとめてテスト画像コンテンツＩ＊ｊに対するテスト特徴ベクトルｘ＊ｊとする。この処理を繰り返し、全てのテスト画像コンテンツに対してテスト特徴ベクトルを計算し、予測評価値回帰部３２に渡す。
次に、ステップ１２８で、予測評価値回帰部３２が、上記ステップ１２６で出力部５０から受け渡されたテスト特徴ベクトルと、回帰パラメータ記憶部３１に記憶された回帰パラメータとを利用して、テスト画像コンテンツＩ＊ｊに対する予測評価値ｙ＊ｊを得る。以上の処理を全てのテスト画像コンテンツに対して繰り返す。
次に、ステップ１３０で、出力部５０が、上記ステップ１２８で得られた予測評価値集合Ｙ＊を所定の方法で出力して、回帰処理ルーチンを終了する。
＜実施例＞
以下に実施例を示す。本実施例では、ソーシャルキュレーションサービスであるTogetter（登録商標）から収集したソーシャルキュレーションコンテンツを使用した。従って、評価値を予測する画像コンテンツはTwitter（登録商標）においてコメント等が付与された静止画像の投稿となる。また、予測する評価値は、画像コンテンツの閲覧数の自然対数値とした。
およそ33,000の画像及び動画像コンテンツを含む要約コンテンツを収集し、そのうち正解となる真の閲覧数が拾得可能な画像コンテンツ22,024枚を対象とする。画像コンテンツ毎に、その画像が含まれる要約コンテンツを同定し、その和集合を要約コンテンツ集合とする。
本実施例では、この要約コンテンツ集合を対象に、10-fold cross validationによってＳＶＲの予測値評価を行った。10-fold cross validationでは、データ集合をランダムに１０の部分集合へと重複なく分割し、うち１つの部分集合をテストデータとして、残りの９つの部分集合を学習データとして予測値評価を行う。このプロセスをテストデータに用いる部分集合を取り換えることで１０回繰り返し、１０回の予測精度の平均を最終的な予測精度として採用する手続きである。
比較対象として、現在画像認識の研究でデファクトスタンダードとなっているＳＩＦＴ特徴量（非特許文献１参照）に基づく画像処理ベースの特徴量を使った評価値予測も行った。特徴量の抽出には非特許文献９（van de Sande, K. E. A., Gevers, T. and Snoek, C. G. M. : “Evaluating color descriptors for object and scene recognition”, IEEE Transactions on Pattern Analysis and Machine Intteligence, Vol. 32(9), 1582-1596, 2010.）で公開されているプログラムを利用した。また、同プログラムでカバーされているC-SIFT, OpponentSIFT, Transformed Color Histogram特徴も同時に利用した場合も評価に用いた。
評価基準は、真の閲覧数の自然対数値に対する予測の平均二乗誤差で行った。評価結果を図５に示す。真の閲覧数はそれ自体が図５に示すようなある程度の分散を持っており、これよりも小さい値の平均二乗誤差を達成すれば、予測精度はチャンスレベル以上と考えられる。図５より明らかなように、ソーシャル特徴、さらに文章特徴を利用した場合、二乗誤差を大きく低減することができた。これにより、上記の実施の形態の有効性が実験的に示された。
以上説明したように、本実施の形態に係るコンテンツ評価値予測装置によれば、ソーシャルキュレーションサービス上の要約が、編集者の主観の上では一貫した共通の意見・目的などを共有した記事の集合である、という仮定のもとに、画像コンテンツに対する多人数の主観的な評価を、要約記事から抽出した特徴量で間接的に表現し、その特徴量によって画像コンテンツの客観的な評価値を予測する。このため、画像コンテンツのフォーマットやサイズ等の影響を受けることなく、画像コンテンツについて、主観的な評価に基づく客観的な評価値を予測することができる。
また、特徴量として、ソーシャルキュレーションからテキスト以外のリンク情報などに基づくソーシャル特徴と、テキストなどの文章情報に基づく文章特徴とを抽出して利用するため、各画像コンテンツのソーシャルメディア上の関係や影響力と、各画像コンテンツの内容に関わる情報という異なる情報を両方使用することができるため、評価値を精度良く予測することができる。
さらに、文章特徴として、要約コンテンツのタイトルなど編集者の意図が反映された文章、編集者が操作不可能な文章、画像コンテンツに対して直接言及した文章のそれぞれから特徴を抽出して利用するため、各画像コンテンツの内容や投稿されたコンテキストを間接的に表現できる。結果、評価値を精度良く予測できる。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上記実施の形態では、ソーシャルメディアの一例としてTwitter（登録商標）を挙げて説明したが、その他にも、電子掲示板、ブログ、画像や動画の共有サイト、通販サイトのカスタマーレビューなど、その他のソーシャルメディアにも本発明を適用可能である。また、評価値の予測対象のコンテンツも画像コンテンツに限定されず、映像コンテンツ、音声・音楽コンテンツ等を対象とすることもできる。
また、上記実施の形態では、ソーシャル特徴及び文章特徴の両方を利用する場合について説明したが、いずれか一方のみを利用するようにしてもよい。
また、上記実施の形態では、回帰手法を用いて対象コンテンツの評価値を予測する場合について説明したが、分類アルゴリズムを用いた手法により、段階的な評価値を予測するようにしてもよい。
また、上記実施の形態では、予測部３０と学習部４０とが同一のコンピュータ上に構成される場合について説明したが、学習部４０及び特徴抽出部２０を含み、学習処理を実行する装置と、予測部３０及び特徴抽出部２０を含み、予測処理を実行する装置とを別々のコンピュータで構成してもよい。
また、本発明は、周知のコンピュータに媒体もしくは通信回線を介して、プログラムをインストールすることによっても実現可能である。
また、上述のコンテンツ評価値予測装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
１０ コンテンツ評価値予測装置
２０ 特徴抽出部
２１ ソーシャル特徴抽出部
２２ 文章特徴抽出部
３０ 予測部
３１ 回帰パラメータ記憶部
３２ 予測評価値回帰部
４０ 学習部
４１ 学習用特徴量生成部
４２ パラメータ決定部
５０ 出力部

Claims (7)

  1. 複数種類のコンテンツの少なくとも１種類のコンテンツを含み、ソーシャルメディアに投稿された複数のソーシャルメディアコンテンツが、特定のテーマに基づいて収集及び要約された要約コンテンツ、前記要約コンテンツに含まれ、かつ評価値の予測対象となるコンテンツの種類に該当する対象コンテンツ、及び該対象コンテンツに対する真の評価値からなる複数の学習データに含まれる前記対象コンテンツの各々について、前記対象コンテンツが含まれる要約コンテンツを表す特徴を抽出する特徴抽出手段と、
    前記複数の学習データに含まれる前記対象コンテンツの各々について、前記特徴抽出手段により抽出された特徴と前記真の評価値との対応関係を用いて、評価値が未知のテスト対象コンテンツの評価値を予測するためのパラメータを学習する学習手段と、
    を含むコンテンツ評価値予測装置。
  2. 前記特徴抽出手段は、前記要約コンテンツを表す特徴を、前記対象コンテンツが含まれる要約コンテンツの構造、該要約コンテンツに対するユーザの動作、及び前記複数の学習データに含まれる全要約コンテンツと前記対象コンテンツとの関係の少なくとも１つを示すソーシャル特徴、並びに前記対象コンテンツが含まれる要約コンテンツが有する文章情報から抽出される文章特徴の少なくとも一方とした請求項１記載のコンテンツ評価値予測装置。
  3. 前記特徴抽出手段は、要約コンテンツに含まれる前記テスト対象コンテンツについて、前記テスト対象コンテンツが含まれる要約コンテンツを表す特徴を抽出し、
    前記特徴抽出手段により抽出された前記テスト対象コンテンツの特徴と前記学習手段により学習されたパラメータとを用いて、前記テスト対象コンテンツの評価値を予測する予測手段を含む
    請求項１または請求項２記載のコンテンツ評価値予測装置。
  4. 特徴抽出手段と、学習手段とを含むコンテンツ評価値予測装置におけるコンテンツ評価値予測方法であって、
    前記特徴抽出手段が、複数種類のコンテンツの少なくとも１種類のコンテンツを含み、ソーシャルメディアに投稿された複数のソーシャルメディアコンテンツが、特定のテーマに基づいて収集及び要約された要約コンテンツ、前記要約コンテンツに含まれ、かつ評価値の予測対象となるコンテンツの種類に該当する対象コンテンツ、及び該対象コンテンツに対する真の評価値からなる複数の学習データに含まれる前記対象コンテンツの各々について、前記対象コンテンツが含まれる要約コンテンツを表す特徴を抽出し、
    前記学習手段が、前記複数の学習データに含まれる前記対象コンテンツの各々について、前記特徴抽出手段により抽出された特徴と前記真の評価値との対応関係を用いて、評価値が未知のテスト対象コンテンツの評価値を予測するためのパラメータを学習する
    コンテンツ評価値予測方法。
  5. 前記特徴抽出手段は、前記要約コンテンツを表す特徴を、前記対象コンテンツが含まれる要約コンテンツの構造、該要約コンテンツに対するユーザの動作、及び前記複数の学習データに含まれる全要約コンテンツと前記対象コンテンツとの関係の少なくとも１つを示すソーシャル特徴、並びに前記対象コンテンツが含まれる要約コンテンツが有する文章情報から抽出される文章特徴の少なくとも一方とした請求項４記載のコンテンツ評価値予測方法。
  6. 予測手段をさらに含むコンテンツ評価値予測装置におけるコンテンツ評価値予測方法であって、
    前記特徴抽出手段は、要約コンテンツに含まれる前記テスト対象コンテンツについて、前記テスト対象コンテンツが含まれる要約コンテンツを表す特徴を抽出し、
    前記予測手段は、前記特徴抽出手段により抽出された前記テスト対象コンテンツの特徴と、前記学習手段により学習されたパラメータとを用いて、前記テスト対象コンテンツの評価値を予測する
    請求項４または請求項５記載のコンテンツ評価値予測方法。
  7. コンピュータを、請求項１〜請求項３のいずれか１項記載のコンテンツ評価値予測装置を構成する各手段として機能させるためのコンテンツ評価値予測プログラム。
JP2012160439A 2012-07-19 2012-07-19 コンテンツ評価値予測装置、方法、及びプログラム Active JP5771573B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012160439A JP5771573B2 (ja) 2012-07-19 2012-07-19 コンテンツ評価値予測装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012160439A JP5771573B2 (ja) 2012-07-19 2012-07-19 コンテンツ評価値予測装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2014021757A true JP2014021757A (ja) 2014-02-03
JP5771573B2 JP5771573B2 (ja) 2015-09-02

Family

ID=50196555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012160439A Active JP5771573B2 (ja) 2012-07-19 2012-07-19 コンテンツ評価値予測装置、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP5771573B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017217242A1 (ja) * 2016-06-15 2017-12-21 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
KR101909267B1 (ko) * 2017-05-17 2018-10-17 주식회사 카카오 열독률 제공 장치 및 방법
JP2020009114A (ja) * 2018-07-06 2020-01-16 キヤノン株式会社 画像評価装置、システム、画像評価装置の制御方法およびプログラム
JP2020017054A (ja) * 2018-07-25 2020-01-30 富士ゼロックス株式会社 コンテンツ評価装置
CN112861001A (zh) * 2021-02-18 2021-05-28 咪咕数字传媒有限公司 数字内容的推荐值生成方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008234431A (ja) * 2007-03-22 2008-10-02 Toshiba Corp コメント蓄積装置、コメント作成閲覧装置、コメント閲覧システムおよびプログラム
JP2011248831A (ja) * 2010-05-31 2011-12-08 Sony Corp 情報処理装置および方法、並びに、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008234431A (ja) * 2007-03-22 2008-10-02 Toshiba Corp コメント蓄積装置、コメント作成閲覧装置、コメント閲覧システムおよびプログラム
JP2011248831A (ja) * 2010-05-31 2011-12-08 Sony Corp 情報処理装置および方法、並びに、プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017217242A1 (ja) * 2016-06-15 2017-12-21 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JPWO2017217242A1 (ja) * 2016-06-15 2019-04-04 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
KR101909267B1 (ko) * 2017-05-17 2018-10-17 주식회사 카카오 열독률 제공 장치 및 방법
JP2020009114A (ja) * 2018-07-06 2020-01-16 キヤノン株式会社 画像評価装置、システム、画像評価装置の制御方法およびプログラム
JP7171275B2 (ja) 2018-07-06 2022-11-15 キヤノン株式会社 画像評価装置、システム、画像評価装置の制御方法およびプログラム
JP2020017054A (ja) * 2018-07-25 2020-01-30 富士ゼロックス株式会社 コンテンツ評価装置
JP7187865B2 (ja) 2018-07-25 2022-12-13 富士フイルムビジネスイノベーション株式会社 コンテンツ評価装置
CN112861001A (zh) * 2021-02-18 2021-05-28 咪咕数字传媒有限公司 数字内容的推荐值生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP5771573B2 (ja) 2015-09-02

Similar Documents

Publication Publication Date Title
Boididou et al. Detection and visualization of misleading content on Twitter
JP6526329B2 (ja) ウェブページトレーニング方法及び装置、検索意図識別方法及び装置
Qian et al. Multi-modal event topic model for social event analysis
Kordopatis-Zilos et al. Near-duplicate video retrieval by aggregating intermediate cnn layers
CN107463605B (zh) 低质新闻资源的识别方法及装置、计算机设备及可读介质
KR101754473B1 (ko) 문서를 이미지 기반 컨텐츠로 요약하여 제공하는 방법 및 시스템
Yang et al. Discriminative tag learning on youtube videos with latent sub-tags
Bisandu et al. Clustering news articles using efficient similarity measure and N-grams
JP5771573B2 (ja) コンテンツ評価値予測装置、方法、及びプログラム
JP5012078B2 (ja) カテゴリ作成方法、カテゴリ作成装置、およびプログラム
Dong et al. The automated acquisition of suggestions from tweets
Chen et al. Doctag2vec: An embedding based multi-label learning approach for document tagging
Fernandez-Beltran et al. Incremental probabilistic latent semantic analysis for video retrieval
Shawon et al. Website classification using word based multiple n-gram models and random search oriented feature parameters
Kumar et al. Key-lectures: keyframes extraction in video lectures
ur Rehman et al. Learning a semantic space for modeling images, tags and feelings in cross-media search
Viet et al. Analyzing recent research trends of computer science from academic open-access digital library
Feng et al. Multiple style exploration for story unit segmentation of broadcast news video
Magdy et al. Bridging social media via distant supervision
CN111950265A (zh) 一种领域词库构建方法和装置
Pobar et al. Multi-label poster classification into genres using different problem transformation methods
Omidvar et al. A novel approach to determining the quality of news headlines
Fang et al. Towards MSR-Bing challenge: Ensemble of diverse models for image retrieval
Zhang et al. Large scale incremental web video categorization
McGuinness et al. Insight Centre for Data Analytics (DCU) at TRECVid 2014: instance search and semantic indexing tasks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150629

R150 Certificate of patent or registration of utility model

Ref document number: 5771573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150