JP2019133496A - コンテンツ特徴量抽出装置、方法、及びプログラム - Google Patents
コンテンツ特徴量抽出装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2019133496A JP2019133496A JP2018016372A JP2018016372A JP2019133496A JP 2019133496 A JP2019133496 A JP 2019133496A JP 2018016372 A JP2018016372 A JP 2018016372A JP 2018016372 A JP2018016372 A JP 2018016372A JP 2019133496 A JP2019133496 A JP 2019133496A
- Authority
- JP
- Japan
- Prior art keywords
- content
- feature amount
- digital content
- digital
- prediction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
【課題】予め用意されたディジタルコンテンツ集合を考慮したコンテンツの特徴量を抽出することができる。【解決手段】ディジタルコンテンツの各々から抽出したコンテンツ基本特徴量、及びコンテンツグラフに基づいて、ディジタルコンテンツ集合への所属の有無をディジタルコンテンツのコンテンツ基本特徴量から予測するモデルであるリンク予測モデルを学習し、学習されたリンク予測モデルに基づいて、ディジタルコンテンツ集合に含まれるディジタルコンテンツ、及び新規ディジタルコンテンツの少なくとも一方について、ディジタルコンテンツの特徴量であるコンテンツ特徴量を計算する。【選択図】図１
Description
本発明は、コンテンツ特徴量抽出装置、方法、及びプログラムに係り、特に、コンテンツの特徴量を抽出するためのコンテンツ特徴量抽出装置、方法、及びプログラムに関する。
画像や映像の中に含まれる物体を特定する物体認識、画像や映像の中に含まれる物体の位置を特定する物体検出、画像や映像の内容を記述する説明文生成など、画像・映像に関わる様々なタスクの遂行において、画像や映像の特性を表現する画像特徴量は、極めて重要な役割を担っている。近年の画像特徴量抽出は、大量の画像・映像と、それら画像・映像の各々に付与されたラベルで構成される大規模データセットを用いて、畳み込みニューラルネットワークに代表される特徴量モデルを学習する、教師付学習に基づいている。しかし、これら教師付学習に基づく手法は、非常に大規模なラベル付データセットを必要とする。画像・映像の各々に正確なラベルを付与する作業は、非常に多くの人的稼働が必要であり、この点が特徴量抽出のボトルネックの一つとなっている。
このボトルネックを解消するために、ｗｅｂ画像を利用した特徴量抽出方法が考案されている。Web画像を利用する利点は、人手で付与するラベルほど正確ではないものの、特徴量学習に有用なラベル相当の情報を人的稼働なしに獲得することができる点にある。例えば、web画像検索システムを用いて画像を収集する際には、検索の際に用いたクエリをラベル相当の情報として用いることができる（非特許文献１）。また、コンテンツ共有サイトから画像を収集する際には、共有サイト上で付与されたテキストタグを用いることができる（非特許文献２）。
Sukhbaatar, Bruna, Paluri, Bourdev and Fergus, "Training convolutional networks from noisy labels," Proc. International Conference on Learning Representations (ICLR), 2015.
Joulin, van der Maaten and Jabri, "Learning visual features from large weakly supervised data," Proc. European Conference on Computer Vision (ECCV), 2016.
しかし、これらの既存技術では、web画像を利用した獲得したラベル相当の情報に関する重要な性質を反映していない。すなわち、人手で付与したラベルとは異なり、ある特定のラベルが画像に付与されていないことが、当該ラベルに関連づけられた内容を当該画像に含まないことを示しているわけではない、という点である。例えば、web画像検索システムを用いて画像を収集する場合、収集した画像が検索の際に用いたクエリ以外の内容を含むことは当然想定されるが、それらの内容をすべて網羅するラベルを収集することは極めて困難である。上記既存技術を含む一般的な特徴量学習方法では、ラベルがないことと関連内容を画像が含まないこととを同一視して、識別的学習を実行するため、適切な画像特徴量の学習を行うことができない。
本発明は、上記問題点を解決するために成されたものであり、予め用意されたディジタルコンテンツ集合を考慮したコンテンツの特徴量を抽出することができるコンテンツ特徴量抽出装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明に係るコンテンツ特徴量抽出方法は、予め用意されたディジタルコンテンツからなる複数のディジタルコンテンツ集合を用いて、前記ディジタルコンテンツ集合に含まれるディジタルコンテンツ、及び前記ディジタルコンテンツ集合とは別に与えられた新規ディジタルコンテンツの少なくとも一方の特徴量を抽出する、コンテンツ特徴量抽出装置におけるコンテンツ特徴量抽出方法において、コンテンツ基本特徴量抽出部が、前記ディジタルコンテンツ集合に含まれるディジタルコンテンツの各々について、前記ディジタルコンテンツの基本的な特徴量であるコンテンツ基本特徴量を抽出するステップと、グラフ構築部が、前記ディジタルコンテンツの各々がいずれのディジタルコンテンツ集合に含まれるかを表現するグラフであるコンテンツグラフを構築するステップと、リンク予測モデル学習部が、前記ディジタルコンテンツの各々から抽出したコンテンツ基本特徴量、及び前記コンテンツグラフに基づいて、前記ディジタルコンテンツ集合への所属の有無を前記ディジタルコンテンツの前記コンテンツ基本特徴量から予測するモデルであるリンク予測モデルを学習するステップと、コンテンツ特徴量算出部が、学習された前記リンク予測モデルに基づいて、前記ディジタルコンテンツ集合に含まれるディジタルコンテンツ、及び新規ディジタルコンテンツの少なくとも一方について、前記ディジタルコンテンツの特徴量であるコンテンツ特徴量を計算するステップと、を含んで実行することを特徴とする。
本発明に係るコンテンツ特徴量抽出装置は、予め用意されたディジタルコンテンツからなる複数のディジタルコンテンツ集合を用いて、前記ディジタルコンテンツ集合に含まれるディジタルコンテンツ、及び前記ディジタルコンテンツ集合とは別に与えられた新規ディジタルコンテンツの少なくとも一方の特徴量を抽出する、コンテンツ特徴量抽出装置において、前記ディジタルコンテンツ集合に含まれるディジタルコンテンツの各々について、前記ディジタルコンテンツの基本的な特徴量であるコンテンツ基本特徴量を抽出するコンテンツ基本特徴量抽出部と、前記ディジタルコンテンツの各々がいずれのディジタルコンテンツ集合に含まれるかを表現するグラフであるコンテンツグラフを構築するグラフ構築部と、前記ディジタルコンテンツの各々から抽出したコンテンツ基本特徴量、及び前記コンテンツグラフに基づいて、前記ディジタルコンテンツ集合への所属の有無を前記ディジタルコンテンツの前記コンテンツ基本特徴量から予測するモデルであるリンク予測モデルを学習するリンク予測モデル学習部と、学習された前記リンク予測モデルに基づいて、前記ディジタルコンテンツ集合に含まれるディジタルコンテンツ、及び新規ディジタルコンテンツの少なくとも一方について、前記ディジタルコンテンツの特徴量であるコンテンツ特徴量を計算するコンテンツ特徴量算出部と、を含んで構成されている。
本発明に係るプログラムは、コンピュータに、本発明のコンテンツ特徴量抽出方法の各ステップを実行させるためのプログラムである。
本発明のコンテンツ特徴量抽出装置、方法、及びプログラムによれば、予め用意されたディジタルコンテンツ集合を考慮したコンテンツの特徴量を抽出することができる、という効果が得られる。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜本発明の実施の形態に係る概要＞
まず、本発明の実施の形態における概要を説明する。
本発明の実施の形態に係る手法は、例えばｗｅｂ画像から獲得するラベル相当の情報の性質を反映したラベル予測モデルを提供すると共に、このラベル予測モデルを活用した新しい特徴量学習の手段を提供するものである。
より具体的には、（１）同一のラベル相当の情報を保持する画像集合を定義し、（２）この画像集合への画像の所属の有無を表現するグラフを構築し、（３）グラフのエッジの有無を予測することでラベル予測を行うと共に、（４）ラベル予測の結果、もしくはラベル予測のためのモデルの誤差関数を用いて、画像特徴量を学習により求めるものである。
ここまでの記述では、説明の明快さのために、画像のみを対象とした特徴量学習の手段を説明してきた。しかし、以降に記載する発明の実施の形態において、学習したラベル予測モデルを用いて特徴量を抽出する対象は画像に限定されるものではなく、音響信号、テキスト、センサ信号など、様々な対象に適用可能である。以降では、これら特徴量を抽出す対象をディジタルコンテンツと総称することとする。また、同一のラベル相当の情報を保持するディジタルコンテンツの集合を、ディジタルコンテンツ集合と呼ぶ。
本発明の実施の形態は、あらかじめ用意された複数のディジタルコンテンツ集合を用いて，ディジタルコンテンツ集合に含まれるディジタルコンテンツ、あるいはそれらとは別に与えられた新規ディジタルコンテンツの特徴量を抽出する、コンテンツ特徴量抽出の手段を提供するものである。
＜本発明の第１の実施の形態に係るコンテンツ特徴量抽出装置の構成＞
次に、本発明の第１の実施の形態に係るコンテンツ特徴量抽出装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係るコンテンツ特徴量抽出装置１００は、ＣＰＵと、ＲＡＭと、後述するコンテンツ特徴量抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このコンテンツ特徴量抽出装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
入力部１０は、学習用に、ラベル付きのディジタルコンテンツからなる複数のディジタルコンテンツ集合を受け付ける。また、入力部１０は、ラベルが未知の新規ディジタルコンテンツを受け付ける。
演算部２０は、リンク予測モデル記憶部２２と、コンテンツ特徴量モデル記憶部２４と、コンテンツ基本特徴量抽出部３０と、コンテンツ集合基本特徴量抽出部３２と、グラフ構築部３４と、リンク予測モデル学習部３６と、コンテンツ特徴量モデル学習部４０と、コンテンツ特徴量算出部４２と、モデル交互最適化部４４とを含んで構成されている。
コンテンツ基本特徴量抽出部３０は、入力部１０で受け付けた複数のディジタルコンテンツ集合に含まれるディジタルコンテンツの各々について、ディジタルコンテンツの基本的な特徴量であるコンテンツ基本特徴量を抽出する。
コンテンツ基本特徴量を抽出する方法は特に限定されるものではなく、ディジタルコンテンツの種類に応じて様々な特徴量抽出方法を選択することができる、本実施の形態では、その一例として、画像を対象とした基本特徴量抽出方法として、以下の非特許文献３に記載のVGG-netを用いた特徴量を説明する。
（非特許文献３）Simonyan and Zisserman, “Very deep convolutional networks for large-scale image recognition,” arXiv preprint, arXiv:1409.1556, http://arxiv.org/abs/1409.1556.
VGG-netは16層もしくは19層の畳み込みニューラルネットワークで構成される物体認識モデルであり、大規模物体認識データセットを用いた教師付学習によって学習する。このVGG-netを画像特徴量抽出モデルとして用いる場合には、物体認識データセットで学習した物体認識モデルの途中経過、例えば、16層VGG-net（VGG16）の第14層（FC6：4096次元）、第15層（FC7：4096次元）あるいは最終層（FC8：1000次元）の出力を利用することが一般的である。コンテンツ基本特徴量抽出部３０は、このようにして学習された物体認識モデルにディジタルコンテンツを入力してコンテンツ基本特徴量を抽出する。
コンテンツ集合基本特徴量抽出部３２は、入力部１０で受け付けた複数のディジタルコンテンツ集合の各々について、ディジタルコンテンツ集合の基本的な特徴量であるコンテンツ集合基本特徴量を抽出する。
コンテンツ集合基本特徴量の抽出方法は特に限定されるものではなく、ディジタルコンテンツ集合を表現するディジタルコンテンツに応じて、様々な特徴量抽出方法を選択することができる。本実施の形態では、その一例として、ディジタルコンテンツ集合に含まれるテキスト情報を対象とした基本特徴量抽出方法として、以下の非特許文献４に記載の方法に代表される単語・単語系列埋め込み手法を用いる方法を説明する。
（非特許文献４）Mikolov, Sutsekver, Chen, Corrado and Dean, “Distributed representations of words and phrases and their compositionality,” Advances in Neural Information Processing Systems 26 (NIPS 2013).
非特許文献４に記載の方法は、単語あるいは単語系列を１つの多次元ベクトルに変換するモデルを用いる方法であり、このモデルは大規模文書データセットを用いた教師なし学習によって学習する。ディジタルコンテンツ集合に含まれるテキスト情報が一つの単語もしくは一つの単語系列である場合には、この単語もしくは単語系列をモデルに与えたときの出力をそのままコンテンツ集合基本特徴量として利用できる。単語もしくは単語系列が複数含まれる場合には、例えば、すべての単語もしくは単語系列から得られたベクトルを平均してコンテンツ集合基本特徴量として用いる。
グラフ構築部３４は、ディジタルコンテンツの各々がいずれのディジタルコンテンツ集合に含まれるかを表現するグラフであるコンテンツグラフを構築する。
コンテンツグラフの形式及びその構築方法は各種考えられるが、本実施の形態においては、各ディジタルコンテンツ及び各ディジタルコンテンツ集合をノードに対応させ、あるディジタルコンテンツＩｉがあるディジタルコンテンツ集合Ｇｃに含まれるときにディジタルコンテンツＩｉに対応するノードとディジタルコンテンツ集合Ｇｃに対応するノードとの間にエッジを張る。ディジタルコンテンツの総数をＮＩ、ディジタルコンテンツ集合の総数をＮＣと表現すると、このコンテンツグラフは、ＮＣ×ＮＩ二値隣接行列
で表現され、この隣接行列の要素 ａｃ,ｉが１となるノード対(ｃ,ｉ)の間にリンクが存在し，それ以外のノード対にはリンクが存在しないことを示す。このように構成されたコンテンツグラフは二部グラフとなり、一方のノード集合がディジタルコンテンツ、もう一方のノード集合がディジタルコンテンツ集合に対応するノードが含まれることになる。
リンク予測モデル学習部３６は、コンテンツ基本特徴量抽出部３０でディジタルコンテンツの各々から抽出したコンテンツ基本特徴量、コンテンツ集合基本特徴量抽出部３２で複数のディジタルコンテンツ集合の各々から抽出したコンテンツ集合基本特徴量、及びグラフ構築部３４で構築したコンテンツグラフに基づいて、ディジタルコンテンツ集合への所属の有無を、コンテンツ基本特徴量及びコンテンツ集合基本特徴量から予測するリンク予測モデルを学習し、リンク予測モデル記憶部２２に記憶する。
リンク予測モデル及びリンク予測モデルの学習方法は特に限定されるものではないが、本実施の形態では、特に以下に示す線型モデルと順位損失に基づく方法について説明する。
まず、ＮＩ個のディジタルコンテンツから抽出したコンテンツ基本特徴量を
、ＮＣ個のディジタルコンテンツ集合から抽出したコンテンツ集合基本特徴量を
と表現する。
これらの基本特徴量を用いて，ｉ番目のディジタルコンテンツに対応するノードと、ｃ番目のディジタルコンテンツ集合に対応するノードとの間にリンクが存在するかどうかの指標であるリンク予測値
を以下（１）式でモデル化する。
・・・（１）
ここで、
はすべてモデルパラメータであり、リンク予測モデルはこれらモデルパラメータによって特徴付けられる。コンテンツ集合基本特徴量が利用可能である場合には、モデルパラメータ
を追加することにより、リンク予測モデルを以下（２）式のように修正する。
・・・（２）
また、各ディジタルコンテンツに対応するモデルパラメータであるコンテンツ潜在変数ｚIi及び各ディジタルコンテンツ集合に対応するモデルパラメータであるコンテンツ集合潜在変数ｚＣｃを利用しないリンク予測モデルも可能である。コンテンツ潜在変数ｚIiを利用しない場合、リンク予測モデルは以下（３）式のように修正される。
・・・（３）
コンテンツ集合潜在変数ｚＣｃを利用しない場合も、同様にコンテンツ集合潜在変数と関連するモデルパラメータを省略する。以降では、説明の簡略化のため、（３）式によるリンク予測モデルを用いるものとする。なお、他のリンク予測モデルを用いる場合でも、扱いはほぼ同様である．
（３）式でモデル化したリンク予測値
を、コンテンツグラフを特徴付ける隣接行列Ａの対応する成分ａｉ,ｃに近づけることが、リンク予測モデル学習部３６の主要工程となる。具体的には、以下（４）式に示す順位損失関数を最小化するモデルパラメータを導出する。
・・・（４）
ここで、ｌ(・)は損失関数，Ω(・)は正則化項であり，モデルパラメータに対して劣微分可能となるように選択する必要があり、例えば損失関数としてはヒンジロスや自乗ノルム、正則化項として例えば各パラメータ行列の自乗ノルムの重み付き線形和などを用いることができる。また、
である。
（４）式に示す順位損失関数をすべてのパラメータのついて同時に最小化することは困難であることから、確率的勾配降下法を用いて、損失関数を減らすように個々のパラメータを個別に逐次更新する。（４）式に示す順位損失関数は、モデルパラメータに対して劣微分可能であることから、（４）式の和の内部の式
及び正則化項
を各モデルパラメータで個々に偏微分することにより、ディジタルコンテンツｉ、当該ディジタルコンテンツを含むディジタルコンテンツ集合ｃ及び当該ディジタルコンテンツを含まないディジタルコンテンツ集合ｃ’を固定した際の各モデルパラメータの更新式を導出できる。この更新式を用いて、確率的勾配降下法を用いることでモデルパラメータを更新する。すなわち、ディジタルコンテンツｉ、当該ディジタルコンテンツを含むディジタルコンテンツ集合ｃ及び当該ディジタルコンテンツを含まないディジタルコンテンツ集合ｃ’の三つ組みごとにモデルパラメータを更新する。
モデルパラメータの更新は、所定の条件を満たした際に停止する。停止条件としては、モデルパラメータ更新回数が所定数を超える、リンク予測モデル記憶部２２を参照し、更新前パラメータと更新後パラメータとの差分が所定の閾値よりも小さくなる、などの条件が考えられる。
以上がリンク予測モデル学習部３６のリンク予測モデルの学習処理である。
コンテンツ特徴量モデル学習部４０は、リンク予測モデル学習部３６で学習されたリンク予測モデル、及びディジタルコンテンツ集合に含まれるディジタルコンテンツから、ディジタルコンテンツのコンテンツ特徴量を抽出するためのモデルであるコンテンツ特徴量モデルを学習し、コンテンツ特徴量モデル記憶部２４に記憶する。
コンテンツ特徴量モデルの学習方法は特に限定されるものではないが、本実施の形態では、その一例として、VGG-Netを、コンテンツ特徴量モデルの一例とし、リンク予測モデル記憶部２２に記憶されたリンク予測モデルを用いたVGG-Netの再学習による方法を説明する。
VGG-Netは、コンテンツ基本特徴量抽出部３０にて説明したとおり、１６層もしくは１９層の畳み込みニューラルネットワークで構成されるモデルであり、通常は大規模物体認識データセットを用いた教師付学習によって学習する。すなわち、あらかじめ準備された複数種類の物体のうち、いずれの物体が与えられた画像に含まれるかを示すラベルを教師として、モデルの予測と正解ラベルとの差を小さくするように、モデルパラメータを更新する。
一方、本実施の形態では、まず、リンク予測モデルの学習に用いたディジタルコンテンツをVGG-Netに入力し、コンテンツ基本特徴量抽出部３０と同様にしてコンテンツ基本特徴量を抽出する。続いて、学習済のリンク予測モデルにコンテンツ基本特徴量を入力し、（４）式に示した順位損失関数で順位損失を計算する。最後に、この順位損失が小さくなるように、VGG-Netのモデルパラメータを更新する。この手順において、リンク予測モデルは固定されているため、VGG-Netの学習における損失関数が一般的に用いられる関数と異なるだけと見なすことができ、誤差逆伝搬などの一般的なニューラルネットワークの学習手法をそのまま援用することができる。
VGG-Netのモデルパラメータの学習において、モデルパラメータにランダムな初期値に設定して学習を開始してもよいが、大規模物体認識データセットを用いてあらかじめモデルを学習しておき、そのモデルパラメータを初期値として用いることもできる。また、本実施形態におけるVGG-Netのモデルパラメータの学習において、すべての層のモデルパラメータを更新しても良いが、畳み込み層（第１層から第１３層まで）、あるいはこれら畳み込み層のうち入力に近い層（第１層から第１０層まで、第１層から第６層まで、など）のモデルパラメータを固定して、それ以外のモデルパラメータを更新することもできる。
コンテンツ特徴量算出部４２は、コンテンツ特徴量モデル学習部４０で学習されたコンテンツ特徴量モデルを用いて、ディジタルコンテンツ集合に含まれるディジタルコンテンツから、コンテンツ特徴量を算出する。
コンテンツ特徴量算出部４２は、コンテンツ特徴量モデルを用いる場合と、用いない場合が考えられるが、本実施の形態ではコンテンツ特徴量モデルを用いている。コンテンツ特徴量モデルを用いる場合は、コンテンツ基本特徴量抽出部３０と同様にして、その途中経過、例えば、16層VGG-net（VGG16）の第14層（FC6：4096次元）、第15層（FC7：4096次元）あるいは最終層（FC8：1000次元）の出力を利用することができる。
モデル交互最適化部４４は、リンク予測モデル学習部３６の処理と、コンテンツ特徴量モデル学習部４０の処理とを交互に繰り返し実行することで、リンク予測モデル及びコンテンツ特徴量モデルを最適化する。モデル交互最適化部４４により、繰り返し終了条件を満たすかを判定し、満たしていれば学習処理を終了し、満たしていなければ、リンク予測モデル学習部３６の処理と、コンテンツ特徴量モデル学習部４０の処理とを実行することを繰り返す。
このモデル交互最適化部４４は、必ずしも必須となる構成要素ではないが、この構成要素を追加することにより、リンク予測モデル及びコンテンツ特徴量モデルが精緻化され、より有用なコンテンツ特徴量を抽出することが可能となる。
交互最適化の方法は特に限定されるものではないが、本実施の形態では、コンテンツ特徴量モデル学習部４０においてVGG-Netの再学習を用いる場合の方法について述べる。
コンテンツ特徴量モデル学習部４０においてVGG-Netの再学習を用いる場合、コンテンツ基本特徴量抽出部３０とコンテンツ特徴量算出部４２とは、ほぼ同様の機能を有することとなる。すなわち、いずれの処理部においても、VGG-Netを特徴量モデルとして採用し、入力されたディジタルコンテンツから特徴量を抽出することとなる。
そこで、モデル交互最適化部４４は、以下の手順によってリンク予測モデルとコンテンツ特徴モデルを交互に最適化する。
（１）リンク予測モデル学習部３６により、コンテンツ基本特徴量もしくはコンテンツ特徴量を用いて、リンク予測モデルを学習する。
（２）コンテンツ特徴量モデル学習部４０により、固定したリンク予測モデルを用いて、コンテンツ特徴量モデルを学習する。
（３）コンテンツ特徴量算出部４２により、固定したコンテンツ特徴量モデルを用いて、コンテンツ特徴量を学習する。
（４）（１）〜（３）を繰り返し実行する。繰り返しは、所定の条件を満たした際に停止する。繰り返し終了条件としては、更新回数が所定数を超える、リンク予測モデル及びコンテンツ特徴量モデルについて、更新前パラメータと更新後パラメータとの差分が所定の閾値よりも小さくなる、などの条件が考えられる。
（２）コンテンツ特徴量モデル学習部４０により、固定したリンク予測モデルを用いて、コンテンツ特徴量モデルを学習する。
（３）コンテンツ特徴量算出部４２により、固定したコンテンツ特徴量モデルを用いて、コンテンツ特徴量を学習する。
（４）（１）〜（３）を繰り返し実行する。繰り返しは、所定の条件を満たした際に停止する。繰り返し終了条件としては、更新回数が所定数を超える、リンク予測モデル及びコンテンツ特徴量モデルについて、更新前パラメータと更新後パラメータとの差分が所定の閾値よりも小さくなる、などの条件が考えられる。
以上の処理によって、リンク予測モデル及びコンテンツ特徴量モデルが学習される。
以上のように学習されたコンテンツ特徴量モデルを用いて、コンテンツ特徴量算出部４２は、入力部１０で受け付けた新規ディジタルコンテンツのコンテンツ特徴量を算出し、リンク予測部４６に出力する。
リンク予測部４６は、リンク予測モデル記憶部２２に記憶されたリンク予測モデル、及び新規ディジタルコンテンツのディジタルコンテンツ特徴量を入力とし、これらからディジタルコンテンツ集合の各々への新規ディジタルコンテンツの所属の有無を予測し、出力部５０に予測結果を出力する。
＜本発明の第１の実施の形態に係るコンテンツ特徴量抽出装置の作用＞
次に、本発明の第１の実施の形態に係るコンテンツ特徴量抽出装置１００の作用について説明する。入力部１０においてラベル付きのディジタルコンテンツからなる複数のディジタルコンテンツ集合を受け付けると、コンテンツ特徴量抽出装置１００は、図２に示すコンテンツ特徴量抽出処理ルーチンを実行する。
まず、ステップＳ１００では、入力部１０で受け付けた複数のディジタルコンテンツ集合に含まれるディジタルコンテンツの各々について、ディジタルコンテンツの基本的な特徴量であるコンテンツ基本特徴量を抽出する。
ステップＳ１０２では、入力部１０で受け付けた複数のディジタルコンテンツ集合の各々について、ディジタルコンテンツ集合の基本的な特徴量であるコンテンツ集合基本特徴量を抽出する。
ステップＳ１０４では、ディジタルコンテンツの各々がいずれのディジタルコンテンツ集合に含まれるかを表現するグラフであるコンテンツグラフを構築する。
ステップＳ１０６では、ステップＳ１００でディジタルコンテンツの各々から抽出したコンテンツ基本特徴量、又はステップＳ１１０で抽出したコンテンツ特徴量、ステップＳ１０２で複数のディジタルコンテンツ集合の各々から抽出したコンテンツ集合基本特徴量、及びステップＳ１０４で構築したコンテンツグラフに基づいて、ディジタルコンテンツ集合への所属の有無を、コンテンツ基本特徴量及びコンテンツ集合基本特徴量から予測するリンク予測モデルを学習し、リンク予測モデル記憶部２２に記憶する。
ステップＳ１０８では、ステップＳ１０６で学習されたリンク予測モデル、及びディジタルコンテンツ集合に含まれるディジタルコンテンツから、ディジタルコンテンツのコンテンツ特徴量を抽出するためのモデルであるコンテンツ特徴量モデルを学習し、コンテンツ特徴量モデル記憶部２４に記憶する。
ステップＳ１１０では、ステップＳ１０８で学習されたコンテンツ特徴量モデルを用いて、ディジタルコンテンツ集合に含まれるディジタルコンテンツから、コンテンツ特徴量を算出する。
ステップＳ１１２では、繰り返し終了条件を満たすかを判定し、満たしていればステップＳ１１４へ移行し、満たしていなければステップＳ１０６〜Ｓ１１０の処理を繰り返す。
ステップＳ１１４では、ステップＳ１０８で学習されたコンテンツ特徴量モデルを用いて、入力部１０で受け付けた新規ディジタルコンテンツのコンテンツ特徴量を算出する。
ステップＳ１１６では、ステップＳ１０６で学習されたリンク予測モデルと、ステップＳ１１４で算出されたコンテンツ特徴量とを用いて、ディジタルコンテンツ集合の各々への新規ディジタルコンテンツの所属の有無を予測し、出力部５０に出力して処理を終了する。
以上説明したように、本発明の第１の実施の形態に係るコンテンツ特徴量抽出装置によれば、ディジタルコンテンツ集合に含まれるディジタルコンテンツの各々について、ディジタルコンテンツの基本的な特徴量であるコンテンツ基本特徴量を抽出し、ディジタルコンテンツの各々がいずれのディジタルコンテンツ集合に含まれるかを表現するグラフであるコンテンツグラフを構築し、ディジタルコンテンツの各々から抽出したコンテンツ基本特徴量、及びコンテンツグラフに基づいて、ディジタルコンテンツ集合への所属の有無をディジタルコンテンツのコンテンツ基本特徴量から予測するモデルであるリンク予測モデルを学習し、学習されたリンク予測モデルに基づいて、ディジタルコンテンツ集合に含まれるディジタルコンテンツ、及び新規ディジタルコンテンツの少なくとも一方について、ディジタルコンテンツの特徴量であるコンテンツ特徴量を計算することにより、ラベルの性質を考慮したコンテンツ特徴量を抽出することができ、新規ディジタルコンテンツについて、精度よくラベルを予測することができる。
＜本発明の第２の実施の形態に係るコンテンツ特徴量抽出装置の構成＞
次に、本発明の第２の実施の形態に係るコンテンツ特徴量抽出装置の構成について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
第２の実施の形態では、コンテンツ特徴量モデル学習部、及びモデル交互最適化部を用いずに、学習したリンク予測モデルを用いてコンテンツ特徴量を算出する。
図３に示すように、本発明の第２の実施の形態に係るコンテンツ特徴量抽出装置２００は、ＣＰＵと、ＲＡＭと、後述するコンテンツ特徴量抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このコンテンツ特徴量抽出装置２００は、機能的には図３に示すように入力部２１０と、演算部２２０と、出力部２５０とを備えている。
入力部２１０は、学習用に、ラベル付きのディジタルコンテンツからなる複数のディジタルコンテンツ集合を受け付ける。また、入力部２１０は、ラベルが未知の新規に与えられた新規ディジタルコンテンツを受け付ける。
演算部２２０は、リンク予測モデル記憶部２２と、コンテンツ基本特徴量抽出部３０と、コンテンツ集合基本特徴量抽出部３２と、グラフ構築部３４と、リンク予測モデル学習部３６と、コンテンツ特徴量算出部２４２と、リンク予測部４６とを含んで構成されている。
コンテンツ特徴量算出部２４２は、リンク予測モデル記憶部に２２記憶されたリンク予測モデルに基づいて、ディジタルコンテンツ集合に含まれるディジタルコンテンツから、コンテンツ特徴量を算出する。
コンテンツ特徴量算出部２４２でリンク予測モデルに基づいてコンテンツ特徴量を算出する場合には、パース符号化に基づく方法により算出を行う。スパース符号化に基づく方法では、コンテンツ基本特徴量をコンテンツ集合基本特徴量（及び利用可能な場合には加えてコンテンツ集合潜在変数）の疎な線形和で表現する方法である。（３）式でモデル化したリンク予測モデルは、モデルパラメータで変換したコンテンツ基本特徴量
と、ディジタルコンテンツ集合を特徴付けるベクトル
との内積が大きい。すなわち両ベクトルが類似しているときに、リンク予測値
が大きくなることを示している。この点に着目して、以下（５）式の最小化問題の解として得られる線形和の重み係数αを、コンテンツ基本特徴量ｘから得られる新しい特徴量、すなわちコンテンツ特徴量として算出する。
・・・（５）
なお、第２の実施の形態の他の構成は第１の実施の形態と同様であるため、説明を省略する。
・・・（５）
なお、第２の実施の形態の他の構成は第１の実施の形態と同様であるため、説明を省略する。
＜本発明の第２の実施の形態に係るコンテンツ特徴量抽出装置の作用＞
次に、本発明の第２の実施の形態に係るコンテンツ特徴量抽出装置２００の作用について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
入力部２１０においてラベル付きのディジタルコンテンツからなる複数のディジタルコンテンツ集合を受け付けると、コンテンツ特徴量抽出装置２００は、図４に示すコンテンツ特徴量抽出処理ルーチンを実行する。
ステップＳ２００では、リンク予測モデル記憶部２２に記憶されたリンク予測モデルに基づいて、上記（５）式に従って、新規ディジタルコンテンツについて、ディジタルコンテンツの特徴量であるコンテンツ特徴量を計算する。
以上説明したように、本発明の第２の実施の形態に係るコンテンツ特徴量抽出装置によれば、ディジタルコンテンツ集合に含まれるディジタルコンテンツの各々について、ディジタルコンテンツの基本的な特徴量であるコンテンツ基本特徴量を抽出し、ディジタルコンテンツの各々がいずれのディジタルコンテンツ集合に含まれるかを表現するグラフであるコンテンツグラフを構築し、ディジタルコンテンツの各々から抽出したコンテンツ基本特徴量、及びコンテンツグラフに基づいて、ディジタルコンテンツ集合への所属の有無をディジタルコンテンツのコンテンツ基本特徴量から予測するモデルであるリンク予測モデルを学習し、学習されたリンク予測モデルに基づいて、ディジタルコンテンツ集合に含まれるディジタルコンテンツ、及び新規ディジタルコンテンツの少なくとも一方について、ディジタルコンテンツの特徴量であるコンテンツ特徴量を計算することにより、ラベルの性質を考慮したコンテンツ特徴量を抽出することができ、新規ディジタルコンテンツについて、精度よくラベルを予測することができる。
＜本発明の第３の実施の形態に係るコンテンツ特徴量抽出装置の構成＞
＜本発明の第３の実施の形態に係るコンテンツ特徴量抽出装置の構成＞
次に、本発明の第３の実施の形態に係るコンテンツ特徴量抽出装置の構成について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
第３の実施の形態は、ディジタルコンテンツの新規ディジタルコンテンツ集合への所属の有無を予測する場合である。
図５に示すように、本発明の第３の実施の形態に係るコンテンツ特徴量抽出装置３００は、ＣＰＵと、ＲＡＭと、後述するコンテンツ特徴量抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このコンテンツ特徴量抽出装置３００は、機能的には図５に示すように入力部３１０と、演算部３２０と、出力部３５０とを備えている。
入力部３１０は、学習用に、ラベル付きのディジタルコンテンツからなる複数のディジタルコンテンツ集合を受け付ける。また、入力部３１０は、新規のディジタルコンテンツ集合である新規ディジタルコンテンツ集合を受け付ける。また、入力部３１０は、ラベルが未知の新規に与えられた新規ディジタルコンテンツを受け付ける。
演算部３２０は、リンク予測モデル記憶部２２と、コンテンツ特徴量モデル記憶部２４と、コンテンツ基本特徴量抽出部３０と、コンテンツ集合基本特徴量抽出部３２と、グラフ構築部３４と、リンク予測モデル学習部３６と、コンテンツ特徴量モデル学習部４０と、コンテンツ特徴量算出部４２と、モデル交互最適化部４４と、新規ディジタルコンテンツ集合リンク予測部３４０とを含んで構成されている。
新規ディジタルコンテンツ集合リンク予測部３４０は、入力部３１０で受け付けた新規ディジタルコンテンツについて、リンク予測モデル学習部３６で学習された、リンク予測モデルに対応する、新規ディジタルコンテンツ集合についての潜在変数予測モデルと、リンク予測モデルとに基づいて、新規ディジタルコンテンツ集合への新規ディジタルコンテンツの所属の有無を予測する。
新規ディジタルコンテンツ集合リンク予測部３４０により、リンク予測モデル学習部３６において考慮されていなかった新規ディジタルコンテンツ集合を考慮することが可能となる。ディジタルコンテンツ集合が、特定のテキストラベルが付与されたディジタルコンテンツの集合である場合には、新規ディジタルコンテンツ集合へのリンク予測は、学習の際には考慮されていなかったテキストラベルをディジタルコンテンツに付与するかどうかを判断する過程に相当する。
新規ディジタルコンテンツ集合へのリンク予測の手段は特に限定されるものではないが、本実施の形態においては、以下に示す状況を想定した方法について述べる。
新規ディジタルコンテンツ集合に何らかのテキスト情報が含まれており、コンテンツ集合基本特徴量抽出部３２に記載の方法を用いてディジタルコンテンツ集合基本特徴量が抽出できる。また、新規ディジタルコンテンツ集合が空集合、すなわち、新規ディジタルコンテンツ集合にディジタルコンテンツが１つも含まれていない、状況を想定する。また、ディジタルコンテンツが含まれていても良いが、以降に示す方法では利用しないものとする。
新規ディジタルコンテンツ集合リンク予測部３４０は、潜在変数予測モデル学習部３４３と、潜在変数予測部３４４と、リンク予測部３４６とを含んで構成されている。
潜在変数予測モデル学習部３４３は、リンク予測モデル記憶部２２に記憶されたリンク予測モデル、及びリンク予測モデル学習部３６で用いたディジタルコンテンツ集合基本特徴量から、リンク予測モデルのモデルパラメータの一部である潜在変数を予測するモデルである潜在変数予測モデルを学習する。
ディジタルコンテンツ集合ｃへのディジタルコンテンツｉの所属の有無を示すスコアであるリンク予測値は、上記（３）式の通り、ディジタルコンテンツ基本特徴量ｘｉ、ディジタルコンテンツ集合基本特徴量ｙｃ、及びディジタルコンテンツ集合潜在変数ｚＣｃから計算される。
しかし、新規ディジタルコンテンツ集合ｃ’においては、ディジタルコンテンツ集合基本特徴量ｙｃ’は計算可能であるものの、ディジタルコンテンツ集合潜在変数ｚＣｃ’が利用できない。そこで、リンク予測モデル学習部３６で用いたディジタルコンテンツ集合基本特徴量Ｙ、及びリンク予測モデル学習部３６で学習したリンク予測モデルのモデルパラメータであるディジタルコンテンツ集合潜在変数ＺＣを利用して、以下（６）式のディジタルコンテンツ集合基本特徴量からディジタルコンテンツ集合潜在変数を予測するモデルを考え、この潜在変数予測モデルｆ(・；θ)を学習により求める。
・・・（６）
ここで、θは潜在変数予測モデルのモデルパラメータである。つまり、上記の潜在変数予測モデルｆ(・；θ)は、ｙｃ’からｚＣｃ’を予測する。この学習は、ディジタルコンテンツ集合基本特徴量Ｙとディジタルコンテンツ集合潜在変数ＺＣとを学習データとして、コンテンツ集合基本特徴量ｙからディジタルコンテンツ集合潜在変数ｚＣｃへの変換関数ｆ()を求めるものである。
潜在変数予測モデルの構成は特に限定されるものではないが、例えば、以下のような方法が考えられる。
単純な線形回帰モデルを採用し、リンク予測モデルを固定して以下（７）式のモデルパラメータθを学習により求める。
・・・（７）
（３）式のリンク予測モデルに上記（７）式の線形回帰モデルを代入した式を、新たなリンク予測モデルとして採用し、リンク予測モデルを再学習する。
また、リンク予測モデルの損失関数（４）式に、上記の線形回帰モデルを考慮した新たな正則化項を加えて、リンク予測モデルを再学習する。このとき、リンク予測モデルの損失関数（４）式は、以下（８）式のように修正される。
・・・（８）
サポートベクトル回帰などの非線形回帰モデルを採用し、リンク予測モデルを固定して非線形回帰モデルのモデルパラメータを学習により求める。
ニューラルネットワークモデルを採用し、リンク予測モデルを固定してニューラルネットワークのモデルパラメータを学習により求める。
潜在変数予測部３４４は、潜在変数予測モデル学習部３４３で学習された潜在変数予測モデル、及び新規ディジタルコンテンツ集合を入力とし、新規ディジタルコンテンツ集合からコンテンツ集合基本特徴量を抽出し、新規ディジタルコンテンツ集合についてのコンテンツ集合基本特徴量、及び潜在変数予測モデルからコンテンツ集合潜在変数を予測し、新規ディジタルコンテンツ集合についてのコンテンツ集合潜在変数を出力する。
潜在変数予測部３４４は、まず、新規ディジタルコンテンツ集合からコンテンツ集合基本特徴量を抽出する。抽出方法は、コンテンツ集合基本特徴量抽出部３２に記載の方法と同様である。
潜在変数予測部３４４は、続いて、抽出したコンテンツ集合基本特徴量である新規コンテンツ集合基本特徴量ｙｃ’、及び潜在変数予測モデルｆ(・；θ)から、以下（９）式のコンテンツ集合潜在変数を予測する。
・・・（９）
リンク予測部３４６は、リンク予測モデル記憶部２２に記憶されたリンク予測モデル、予測されたコンテンツ集合潜在変数である予測コンテンツ集合潜在変数、新規ディジタルコンテンツについてのディジタルコンテンツ特徴量、及び新規コンテンツ集合基本特徴量を入力とし、これらから新規ディジタルコンテンツ集合を含むディジタルコンテンツ集合の各々への新規ディジタルコンテンツの所属の有無を予測し、出力部２５０に予測結果を出力する。
新規ディジタルコンテンツ集合ｃ’への新規ディジタルコンテンツｉ’の所属の有無の予測は、リンク予測モデル（３）式を用いることで実現できる。ただし、（３）式では、新規ディジタルコンテンツ集合に関するコンテンツ集合潜在変数は未知であるため、以下（１０）式の予測コンテンツ集合潜在変数を代わりに用いる。
・・・（１０）
この（１０）式で得られたリンク予測値
がある一定以上大きな値を取るときに、ディジタルコンテンツｉ’が新規ディジタルコンテンツ集合ｃ’に所属すると判断する。
以上の各部の処理によって、新規ディジタルコンテンツ集合リンク予測部３４０は、新規ディジタルコンテンツ集合へのディジタルコンテンツの所属の有無を予測し、新規ディジタルコンテンツ集合についての予測結果を出力する。
＜本発明の第３の実施の形態に係るコンテンツ特徴量抽出装置の作用＞
＜本発明の第３の実施の形態に係るコンテンツ特徴量抽出装置の作用＞
次に、本発明の第３の実施の形態に係るコンテンツ特徴量抽出装置３００の作用について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
＜本発明の第３の実施の形態に係るコンテンツ特徴量抽出装置の作用＞
＜本発明の第３の実施の形態に係るコンテンツ特徴量抽出装置の作用＞
次に、本発明の第３の実施の形態に係るコンテンツ特徴量抽出装置３００の作用について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
入力部３１０においてラベル付きのディジタルコンテンツからなる複数のディジタルコンテンツ集合を受け付けると、コンテンツ特徴量抽出装置３００は、図６に示すコンテンツ特徴量抽出処理ルーチンを実行する。
ステップＳ３０２では、リンク予測モデル記憶部２２に記憶されたリンク予測モデル、及びリンク予測モデルの学習に利用したディジタルコンテンツ集合基本特徴量から、リンク予測モデルのモデルパラメータの一部である潜在変数を予測するモデルである潜在変数予測モデルを学習する。
ステップＳ３０４では、ステップＳ３０２で学習された潜在変数予測モデル、及び新規ディジタルコンテンツ集合を入力とし、新規ディジタルコンテンツ集合からコンテンツ集合基本特徴量を抽出し、新規ディジタルコンテンツ集合についてのコンテンツ集合基本特徴量、及び潜在変数予測モデルからコンテンツ集合潜在変数を予測し、新規ディジタルコンテンツ集合についてのコンテンツ集合潜在変数を出力する。
ステップＳ３０６では、リンク予測モデル記憶部２２に記憶されたリンク予測モデル、予測されたコンテンツ集合潜在変数である予測コンテンツ集合潜在変数、及び新規ディジタルコンテンツについてのディジタルコンテンツ特徴量を入力とし、これらから新規ディジタルコンテンツ集合を含むディジタルコンテンツ集合の各々への新規ディジタルコンテンツの所属の有無を予測し、予測結果を出力する。
以上説明したように、本発明の第３の実施の形態に係るコンテンツ特徴量抽出装置によれば、ディジタルコンテンツ集合に含まれるディジタルコンテンツの各々について、ディジタルコンテンツの基本的な特徴量であるコンテンツ基本特徴量を抽出し、ディジタルコンテンツの各々がいずれのディジタルコンテンツ集合に含まれるかを表現するグラフであるコンテンツグラフを構築し、ディジタルコンテンツの各々から抽出したコンテンツ基本特徴量、及びコンテンツグラフに基づいて、ディジタルコンテンツ集合への所属の有無をディジタルコンテンツのコンテンツ基本特徴量から予測するモデルであるリンク予測モデルを学習し、学習されたリンク予測モデルに基づいて、ディジタルコンテンツ集合に含まれるディジタルコンテンツ、及び新規ディジタルコンテンツの少なくとも一方について、ディジタルコンテンツの特徴量であるコンテンツ特徴量を計算し、新規ディジタルコンテンツ集合の潜在変数を予測することにより、ラベルの性質を考慮したコンテンツ特徴量を抽出することができ、新規ディジタルコンテンツについて、精度よくラベルを予測することができる。
＜実験結果＞
これまでに示した実施形態を検証するために、独自にデータセットを収集し、このデータセットを用いて、リンク予測モデル及びコンテンツ特徴量モデルを学習した。このデータセットは、65,000個のディジタルコンテンツ集合、及び150万個のディジタルコンテンツ（静止画像）から校正される。図７に各ディジタルコンテンツが所属しているディジタルコンテンツ集合の数の統計、及び図８に各ディジタルコンテンツ集合が含むディジタルコンテンツの数の統計を、それぞれ示す。
以降に示す検証では、コンテンツ基本特徴量としてVGG-Netの第15層（FC7）の出力、4096次元を、コンテンツ集合基本特徴量として前記非特許文献４に記載のテキスト埋め込み300次元を用いた。これの各基本特徴量、及びデータセットから構築したコンテンツグラフを用いて、リンク予測モデルを学習すると共に、リンク予測モデルから直接コンテンツ特徴量を抽出する方法、及びリンク予測モデルを用いてコンテンツ特徴量モデルを学習した後にコンテンツ特徴量を抽出する方法、の２つの方法を実施した。
このように抽出したコンテンツ特徴量の性能を評価するために、公開画像データセットを用いた実験を行った。用いたデータセットは以下の通りである。
・食事画像の分類を目的としたデータセット： UECFOOD100、 UECFOOD256
・衣類画像の分類を目的としたデータセット： Apparel、Hipster
・画像から受ける印象の予測（positive or negative）を目的としたデータセット： Instagram
・衣類画像の分類を目的としたデータセット： Apparel、Hipster
・画像から受ける印象の予測（positive or negative）を目的としたデータセット： Instagram
また、これらの公開データセットに加えて、画像の共有を目的とするSNSの一つであるPinterestから独自に収集したデータセットを評価用として用意した。このデータセットは、32種類のクラスラベルと、63,000枚の画像を含み、women’s fashion、 holiday’s events、 tattoos、 science and nature、 sportsなど、様々なカテゴリのクラスラベルを含む。また、各画像が複数のクラスラベルを持つ可能性がある、マルチラベル予測をタスクとする。
評価実験では、以下の７種類の方法を比較した。
1.VGG：コンテンツ基本特徴量をそのまま各タスクの特徴量として利用。
2.FT-GRP：リンク予測モデルを用いず、代わりにディジタルコンテンツ集合を正解ラベルとしてVGG-Netを再学習し、この再学習後のVGG-Netを各タスクの特徴量として利用。
3.FT-WORD：リンク予測モデルを用いず、代わりにディジタルコンテンツ集合に含まれるテキスト単語を正解ラベルとしてVGG-Netを再学習し、この再学習後のVGG-Netを各タスクの特徴量として利用。
4.PROP-SC：前記実施形態のうち、コンテンツ特徴量モデルを用いず、スパース符号化を用いてリンク予測モデルから直接コンテンツ特徴量を抽出する方法。
5.PROP-FT：前記実施形態のうち、コンテンツ特徴量モデルを学習して、このコンテンツ特徴量モデルからコンテンツ特徴量を抽出する方法。
6.VGG+SC：PROP-SCのコンテンツ特徴量とVGGのコンテンツ特徴量を連結して用いる方法。
7.VGG+FT：PROC-FTのコンテンツ特徴量とVGGのコンテンツ特徴量を連結して用いる方法。
2.FT-GRP：リンク予測モデルを用いず、代わりにディジタルコンテンツ集合を正解ラベルとしてVGG-Netを再学習し、この再学習後のVGG-Netを各タスクの特徴量として利用。
3.FT-WORD：リンク予測モデルを用いず、代わりにディジタルコンテンツ集合に含まれるテキスト単語を正解ラベルとしてVGG-Netを再学習し、この再学習後のVGG-Netを各タスクの特徴量として利用。
4.PROP-SC：前記実施形態のうち、コンテンツ特徴量モデルを用いず、スパース符号化を用いてリンク予測モデルから直接コンテンツ特徴量を抽出する方法。
5.PROP-FT：前記実施形態のうち、コンテンツ特徴量モデルを学習して、このコンテンツ特徴量モデルからコンテンツ特徴量を抽出する方法。
6.VGG+SC：PROP-SCのコンテンツ特徴量とVGGのコンテンツ特徴量を連結して用いる方法。
7.VGG+FT：PROC-FTのコンテンツ特徴量とVGGのコンテンツ特徴量を連結して用いる方法。
評価指標として、二値分類をタスクとするInstagramデータセット及びマルチラベル予測をタスクとするPinterestについてはmean average precision(MAP)、多クラス分類をタスクとするUECFOOD100/256、 Apparel、Hipsterについては分類正解率(ACC)を用いた。いずれの指標も、0を最小値、1を最大値として、値が大きいほどタスクの性能が良いことを示す。
表１に検証実験の結果を示す。
大規模物体認識データセットを用いて学習したVGGが各データセットにおいて優れた性能を示したが、web画像データを用いて学習したPROP-SC及びPROP-FTもそれに近い性能を得た。このことは、前記の実施形態に示した方法の有用性を示すものである。また、VGG+SC及びVGG+FTがVGGを上回る性能を得た。このことは、前述の実施形態に示した方法で抽出したコンテンツ特徴量が、大規模物体認識データセットで学習した特徴量とは大きく異なる性質の特徴量を抽出でき、かつそれが様々なドメインで適用可能であることを示している。
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば上述した各実施の形態では、リンク予測モデル、コンテンツ特徴量モデルの学習と、コンテンツ特徴量の抽出、及びリンク予測とを、同一の装置で行うコンテンツ特徴量抽出について説明したがこれに限定されるものではない。例えば、リンク予測モデル、コンテンツ特徴量モデルの学習を行う装置と、コンテンツ特徴量の抽出、及びリンク予測を行う装置とに分けてもよい。
１０、２１０、３１０ 入力部
２０、２２０、３２０ 演算部
２２ リンク予測モデル記憶部
２４ コンテンツ特徴量モデル記憶部
３０ コンテンツ基本特徴量抽出部
３２ コンテンツ集合基本特徴量抽出部
３４ グラフ構築部
３６ リンク予測モデル学習部
４０ コンテンツ特徴量モデル学習部
４２ コンテンツ特徴量算出部
４４ モデル交互最適化部
４６、２４６ リンク予測部
５０、２５０、３５０ 出力部
１００、２００、３００ コンテンツ特徴量抽出装置
２４３ コンテンツ特徴量算出部
３４０ 新規ディジタルコンテンツ集合リンク予測部
３４２ 潜在変数予測モデル学習部
３４４ 潜在変数予測部
２０、２２０、３２０ 演算部
２２ リンク予測モデル記憶部
２４ コンテンツ特徴量モデル記憶部
３０ コンテンツ基本特徴量抽出部
３２ コンテンツ集合基本特徴量抽出部
３４ グラフ構築部
３６ リンク予測モデル学習部
４０ コンテンツ特徴量モデル学習部
４２ コンテンツ特徴量算出部
４４ モデル交互最適化部
４６、２４６ リンク予測部
５０、２５０、３５０ 出力部
１００、２００、３００ コンテンツ特徴量抽出装置
２４３ コンテンツ特徴量算出部
３４０ 新規ディジタルコンテンツ集合リンク予測部
３４２ 潜在変数予測モデル学習部
３４４ 潜在変数予測部
Claims (7)
- 予め用意されたディジタルコンテンツからなる複数のディジタルコンテンツ集合を用いて、前記ディジタルコンテンツ集合に含まれるディジタルコンテンツ、及び前記ディジタルコンテンツ集合とは別に与えられた新規ディジタルコンテンツの少なくとも一方の特徴量を抽出する、コンテンツ特徴量抽出装置におけるコンテンツ特徴量抽出方法において、
コンテンツ基本特徴量抽出部が、前記ディジタルコンテンツ集合に含まれるディジタルコンテンツの各々について、前記ディジタルコンテンツの基本的な特徴量であるコンテンツ基本特徴量を抽出するステップと、
グラフ構築部が、前記ディジタルコンテンツの各々がいずれのディジタルコンテンツ集合に含まれるかを表現するグラフであるコンテンツグラフを構築するステップと、
リンク予測モデル学習部が、前記ディジタルコンテンツの各々から抽出したコンテンツ基本特徴量、及び前記コンテンツグラフに基づいて、前記ディジタルコンテンツ集合への所属の有無を前記ディジタルコンテンツの前記コンテンツ基本特徴量から予測するモデルであるリンク予測モデルを学習するステップと、
コンテンツ特徴量算出部が、学習された前記リンク予測モデルに基づいて、前記ディジタルコンテンツ集合に含まれるディジタルコンテンツ、及び新規ディジタルコンテンツの少なくとも一方について、前記ディジタルコンテンツの特徴量であるコンテンツ特徴量を計算するステップと、
を含むコンテンツ特徴量抽出方法。 - 前記コンテンツ特徴量抽出方法は、更に、
コンテンツ集合基本特徴量抽出部が、前記複数のディジタルコンテンツ集合の各々について、前記ディジタルコンテンツ集合の基本的な特徴量であるコンテンツ集合基本特徴量を抽出するステップを備え、
前記リンク予測モデル学習部のステップは、前記ディジタルコンテンツの各々から抽出したコンテンツ基本特徴量、前記複数のディジタルコンテンツ集合の各々から抽出したコンテンツ集合基本特徴量、及び前記コンテンツグラフに基づいて、前記ディジタルコンテンツ集合への所属の有無を、前記コンテンツ基本特徴量及び前記コンテンツ集合基本特徴量から予測するリンク予測モデルを学習する請求項１に記載のコンテンツ特徴量抽出方法。 - 前記コンテンツ特徴量抽出方法は、更に、
コンテンツ特徴量モデル学習部が、前記リンク予測モデル、及び前記ディジタルコンテンツ集合に含まれるディジタルコンテンツから、ディジタルコンテンツのコンテンツ特徴量を抽出するためのモデルであるコンテンツ特徴量モデルを学習するステップを備え、
前記コンテンツ特徴量算出部のステップは、学習された前記コンテンツ特徴量モデルを用いて、前記ディジタルコンテンツ集合に含まれるディジタルコンテンツ、及び前記新規ディジタルコンテンツの少なくとも一方から、前記コンテンツ特徴量を算出する請求項１又は請求項２に記載のコンテンツ特徴量抽出方法。 - 前記コンテンツ特徴量抽出方法は、更に、
モデル交互最適化部が、前記リンク予測モデル学習部のステップと、前記コンテンツ特徴量モデル学習部のステップとを交互に繰り返し実行することで、前記リンク予測モデル及び前記コンテンツ特徴量モデルを最適化するステップを備え、
前記リンク予測モデル学習部のステップは、学習された前記コンテンツ特徴量モデルを用いて前記ディジタルコンテンツの各々から抽出したコンテンツ特徴量、及び前記コンテンツグラフに基づいて、前記ディジタルコンテンツ集合への所属の有無を前記ディジタルコンテンツの前記コンテンツ特徴量から予測するモデルであるリンク予測モデルを学習する請求項３に記載のコンテンツ特徴量抽出方法。 - 前記コンテンツ特徴量抽出方法は、更に、
新規ディジタルコンテンツ集合リンク予測部が、新規に与えられたディジタルコンテンツ集合である新規ディジタルコンテンツ集合について、予め学習された、前記リンク予測モデルに含まれる潜在変数を予測する潜在変数予測モデルに基づいて、新規ディジタルコンテンツ集合についての潜在変数を予測し、予測された潜在変数と、前記リンク予測モデルとに基づいて、新規ディジタルコンテンツ集合へのディジタルコンテンツの所属の有無を予測するステップを備える請求項１〜請求項４のいずれか１項に記載のコンテンツ特徴量抽出方法。 - 予め用意されたディジタルコンテンツからなる複数のディジタルコンテンツ集合を用いて、前記ディジタルコンテンツ集合に含まれるディジタルコンテンツ、及び前記ディジタルコンテンツ集合とは別に与えられた新規ディジタルコンテンツの少なくとも一方の特徴量を抽出する、コンテンツ特徴量抽出装置において、
前記ディジタルコンテンツ集合に含まれるディジタルコンテンツの各々について、前記ディジタルコンテンツの基本的な特徴量であるコンテンツ基本特徴量を抽出するコンテンツ基本特徴量抽出部と、
前記ディジタルコンテンツの各々がいずれのディジタルコンテンツ集合に含まれるかを表現するグラフであるコンテンツグラフを構築するグラフ構築部と、
前記ディジタルコンテンツの各々から抽出したコンテンツ基本特徴量、及び前記コンテンツグラフに基づいて、前記ディジタルコンテンツ集合への所属の有無を前記ディジタルコンテンツの前記コンテンツ基本特徴量から予測するモデルであるリンク予測モデルを学習するリンク予測モデル学習部と、
学習された前記リンク予測モデルに基づいて、前記ディジタルコンテンツ集合に含まれるディジタルコンテンツ、及び新規ディジタルコンテンツの少なくとも一方について、前記ディジタルコンテンツの特徴量であるコンテンツ特徴量を計算するコンテンツ特徴量算出部と、
を含むコンテンツ特徴量抽出装置。 - コンピュータに、請求項１〜請求項５のいずれか１項に記載のコンテンツ特徴量抽出方法の各ステップを実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018016372A JP6993250B2 (ja) | 2018-02-01 | 2018-02-01 | コンテンツ特徴量抽出装置、方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018016372A JP6993250B2 (ja) | 2018-02-01 | 2018-02-01 | コンテンツ特徴量抽出装置、方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019133496A true JP2019133496A (ja) | 2019-08-08 |
| JP6993250B2 JP6993250B2 (ja) | 2022-01-13 |
Family
ID=67547520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018016372A Active JP6993250B2 (ja) | 2018-02-01 | 2018-02-01 | コンテンツ特徴量抽出装置、方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6993250B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239924A (zh) * | 2021-05-21 | 2021-08-10 | 上海交通大学 | 一种基于迁移学习的弱监督目标检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014026455A (ja) * | 2012-07-26 | 2014-02-06 | Nippon Telegr & Teleph Corp <Ntt> | メディアデータ解析装置、方法、及びプログラム |
| JP2014238793A (ja) * | 2013-06-10 | 2014-12-18 | 日本電信電話株式会社 | ディジタルコンテンツ分類装置、ディジタルコンテンツ検索装置、方法、及びプログラム |
| JP2015158739A (ja) * | 2014-02-21 | 2015-09-03 | 日本電信電話株式会社 | 画像分類装置、画像分類方法及び画像分類プログラム |
-
2018
- 2018-02-01 JP JP2018016372A patent/JP6993250B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014026455A (ja) * | 2012-07-26 | 2014-02-06 | Nippon Telegr & Teleph Corp <Ntt> | メディアデータ解析装置、方法、及びプログラム |
| JP2014238793A (ja) * | 2013-06-10 | 2014-12-18 | 日本電信電話株式会社 | ディジタルコンテンツ分類装置、ディジタルコンテンツ検索装置、方法、及びプログラム |
| JP2015158739A (ja) * | 2014-02-21 | 2015-09-03 | 日本電信電話株式会社 | 画像分類装置、画像分類方法及び画像分類プログラム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239924A (zh) * | 2021-05-21 | 2021-08-10 | 上海交通大学 | 一种基于迁移学习的弱监督目标检测方法及系统 |
| CN113239924B (zh) * | 2021-05-21 | 2022-04-26 | 上海交通大学 | 一种基于迁移学习的弱监督目标检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6993250B2 (ja) | 2022-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Progressive neural architecture search | |
| WO2023000574A1 (zh) | 一种模型训练方法、装置、设备及可读存储介质 | |
| CN112119411A (zh) | 用于统合不同数据模态的统计模型的系统和方法 | |
| CN110347932B (zh) | 一种基于深度学习的跨网络用户对齐方法 | |
| US20200167659A1 (en) | Device and method for training neural network | |
| WO2021089013A1 (zh) | 空间图卷积网络的训练方法、电子设备及存储介质 | |
| CN114298158A (zh) | 一种基于图文线性组合的多模态预训练方法 | |
| CN110837602A (zh) | 基于表示学习和多模态卷积神经网络的用户推荐方法 | |
| CN114398491A (zh) | 一种基于知识图谱的语义分割图像实体关系推理方法 | |
| CN107491782B (zh) | 利用语义空间信息的针对少量训练数据的图像分类方法 | |
| WO2022252455A1 (en) | Methods and systems for training graph neural network using supervised contrastive learning | |
| CN113190688A (zh) | 基于逻辑推理和图卷积的复杂网络链接预测方法及系统 | |
| CN116049459B (zh) | 跨模态互检索的方法、装置、服务器及存储介质 | |
| WO2023087953A1 (zh) | 搜索神经网络集成模型的方法、装置和电子设备 | |
| JP2018185771A (ja) | 文ペア分類装置、文ペア分類学習装置、方法、及びプログラム | |
| CN114943017A (zh) | 一种基于相似性零样本哈希的跨模态检索方法 | |
| CN113378938B (zh) | 一种基于边Transformer图神经网络的小样本图像分类方法及系统 | |
| CN115062779A (zh) | 基于动态知识图谱的事件预测方法及装置 | |
| JP6993250B2 (ja) | コンテンツ特徴量抽出装置、方法、及びプログラム | |
| Janković Babić | A comparison of methods for image classification of cultural heritage using transfer learning for feature extraction | |
| CN111126443A (zh) | 基于随机游走的网络表示学习方法 | |
| CN115828100A (zh) | 基于深度神经网络的手机辐射源频谱图类别增量学习方法 | |
| CN114298290A (zh) | 一种基于自监督学习的神经网络编码方法及编码器 | |
| CN113051408A (zh) | 一种基于信息增强的稀疏知识图谱推理方法 | |
| CN112085040A (zh) | 对象标签确定方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190426 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6993250 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |