JP2018180628A - 感情分類装置および感情分類方法 - Google Patents

Abstract

【課題】テキスト付き画像の感情分類に適した感情分類装置を提供する。【解決手段】画像特徴の算出方法を学習するとともに画像特徴を算出する画像特徴量算出機構１０と、テキスト特徴の算出方法を学習するとともにテキスト特徴を算出するテキスト特徴量算出機構２０と、画像特徴およびテキスト特徴の算出方法を学習するとともにテキスト付き画像の感情極性を予測する感情極性予測機構３０とを備える。【選択図】図１

Description

本発明は、テキスト付き画像の感情分類を行う感情分類装置および感情分類方法に関する。

ソーシャルメディアに投稿されたテキスト付き画像の感情極性の自動分類（以下、感情分類）においては、従来から、感情分類に適した画像特徴の設計方法が検討されてきた。しかしながら、画像特徴と感情との間には意味的な隔たりが大きい。そこで、本願発明者は、画像に付与されたテキスト情報を利用できる点に着目し、画像・テキスト・感情語という三つの側面に基づく画像の感情分類方法を提案した（例えば、非特許文献１参照）。

桂井麻里衣、佐藤真一、"画像・テキスト・感情語の潜在的な相関に基づく画像の感情分類"、[online]、2016年3月1日、第8回データ工学と情報マネジメントに関するフォーラム（DEIM2016）、[平成29年3月27日検索]、インターネット<URL: http://db-event.jpn.org/deim2016/papers/336.pdf>

上記非特許文献１に記載の感情分類方法では、画像特徴、テキスト特徴および感情語特徴をそれぞれ抽出（算出）する必要がある。これらの特徴のうち画像特徴およびテキスト特徴は、従来の画像認識（例えば、犬や猫の分類など）に用いられている特徴であり、感情分類に特化しているとはいえない。

また、特徴抽出は一般に高次元の情報を低次元の情報に削減するため、上記非特許文献１に記載の感情分類方法では、画像特徴およびテキスト特徴を抽出する際に、感情分類に有用な特徴が欠落するおそれがあった。

本発明は上記事情に鑑みてなされたものであって、その課題とするところは、テキスト付き画像の感情分類に適した感情分類装置および感情分類方法を提供することにある。

上記課題を解決するために、本発明に係る感情分類装置は、
テキスト付き画像の感情分類を行う感情分類装置であって、
前記テキスト付き画像の画像特徴の算出方法を学習するとともに、前記画像特徴に関する第１特徴量を算出する画像特徴量算出機構と、
前記テキスト付き画像のテキスト特徴の算出方法を学習するとともに、前記テキスト特徴に関する第２特徴量を算出するテキスト特徴量算出機構と、
前記画像特徴および前記テキスト特徴の算出方法を学習するとともに、前記第１特徴量および前記第２特徴量に基づいて前記テキスト付き画像の感情極性を予測する感情極性予測機構と、
を備え、
前記画像特徴量算出機構、前記テキスト特徴量算出機構および前記感情極性予測機構は、画像と前記画像に関するテキストのペアに感情ラベルが付与された第１データセットを用いて、学習されたものである
ことを特徴とする。

上記感情分類装置において、
前記テキスト特徴量算出機構は、
単語の意味に対して感情スコアが割り振られた感情語辞書を含み、前記第２特徴量を算出する際に前記感情語辞書を用いて前記感情スコアによる重み付けを行う
ことが好ましい。

上記感情分類装置において、
前記画像特徴量算出機構は、
画像に物体ラベルが付与された第２データセットおよび前記第１データセットを用いて学習された、前記テキスト付き画像の画像が入力されると前記画像の前記第１特徴量を出力する第１ニューラルネットワークを含む構成にすることができる。

上記感情分類装置において、
前記テキスト特徴量算出機構は、
感情語を含むテキストデータで構成された第３データセットを用いて事前学習された、前記テキスト付き画像のテキストが入力されると前記テキストを構成する各単語の特徴量を出力する第２ニューラルネットワークと、
前記各単語の特徴量に対して前記感情スコアによる重み付けを行い、前記テキストの特徴量を算出する重み付け手段と、
前記第１データセットを用いて学習された、前記テキストの特徴量が入力されると前記第２特徴量を出力する第３ニューラルネットワークと、を含む構成にすることができる。

上記感情分類装置において、
前記感情極性予測機構は、
前記第１特徴量を正規化する第１正規化手段と、
前記第２特徴量を正規化する第２正規化手段と、
正規化された前記第１特徴量と正規化された前記第２特徴量とを結合し、結合された特徴量を出力する結合手段と、
前記第１データセットを用いて学習された、前記結合された特徴量が入力されると前記感情極性を予測する第４ニューラルネットワークと、を含む構成にすることができる。

また、上記課題を解決するために、本発明に係る感情分類方法は、
テキスト付き画像の感情分類を行う感情分類方法であって、
画像と前記画像に関するテキストのペアに感情ラベルが付与された第１データセットを用いて、画像特徴量算出機構、テキスト特徴量算出機構および感情極性予測機構の各ニューラルネットワークに学習させる学習ステップと、
前記画像特徴量算出機構により、前記テキスト付き画像の画像特徴に関する第１特徴量を算出する画像特徴量算出ステップと、
前記テキスト特徴量算出機構により、前記テキスト付き画像のテキスト特徴に関する第２特徴量を算出するテキスト特徴量算出ステップと、
前記感情極性予測機構により、前記第１特徴量および前記第２特徴量に基づいて前記テキスト付き画像の感情極性を予測する感情極性予測ステップと、を含む
ことを特徴とする。

上記感情分類方法において、
前記テキスト特徴量算出ステップでは、
単語の意味に対して感情スコアが割り振られた感情語辞書を用いて、前記第２特徴量を算出する際に前記感情スコアによる重み付けを行う
ことが好ましい。

上記感情分類方法において、
前記学習ステップでは、
画像に物体ラベルが付与された第２データセットを用いて前記画像特徴量算出機構の第１ニューラルネットワークに事前学習させた後に、前記第１データセットを用いて前記第１ニューラルネットワークに学習させる構成にすることができる。

上記感情分類方法において、
前記学習ステップでは、
感情語を含むテキストデータで構成された第３データセットを用いて前記テキスト特徴量算出機構の第２ニューラルネットワークに事前学習させるとともに、前記第１データセットを用いて前記テキスト特徴量算出機構の第３ニューラルネットワークに学習させ、
前記テキスト特徴量算出ステップは、
前記第２ニューラルネットワークにより、前記テキスト付き画像のテキストを構成する各単語の特徴量を算出するステップと、
前記各単語の特徴量に対して前記感情スコアによる重み付けを行い、前記テキストの特徴量を算出するステップと、
前記第３ニューラルネットワークにより、前記テキストの特徴量に基づいて前記第２特徴量を算出するステップと、を含む構成にすることができる。

上記感情分類方法において、
前記感情極性予測ステップは、
前記第１特徴量を正規化するステップと、
前記第２特徴量を正規化するステップと、
正規化された前記第１特徴量と正規化された前記第２特徴量とを結合し、結合された特徴量を算出するステップと、
前記第１データセットで学習された前記感情極性予測機構の第４ニューラルネットワークにより、前記結合された特徴量から前記感情極性を予測するステップと、を含む構成にすることができる。

本発明によれば、テキスト付き画像の感情分類に適した感情分類装置および感情分類方法を提供することができる。

本発明の第１実施形態に係る感情分類装置を示す図である。 本発明の第２実施形態に係る感情分類装置を示す図である。 第１比較例に係る感情分類装置を示す図である。 第２比較例に係る感情分類装置を示す図である。

以下、添付図面を参照して、本発明に係る感情分類装置および感情分類方法の実施形態について説明する。

［第１実施形態］
（感情分類装置）
図１に、本発明の第１実施形態に係る感情分類装置１Ａを示す。感情分類装置１Ａは、画像特徴量算出機構１０と、テキスト特徴量算出機構２０と、感情極性予測機構３０とを備え、テキスト付き画像の感情極性（本実施形態では、ポジティブまたはネガティブ）の自動分類（以下、感情分類）を行う。

本発明におけるテキスト付き画像とは、例えば、ソーシャルメディアに投稿された画像と、その画像に関する説明文および／またはその画像を検索しやすくするためのタグを含むテキストと、のペアをいう。本実施形態では、テキストとして、説明文とタグの両方を使用する。

感情分類装置１Ａは、画像特徴量算出機構１０、テキスト特徴量算出機構２０および感情極性予測機構３０が、教師データを用いて、画像特徴の算出方法（パラメータ）および／またはテキスト特徴の算出方法（パラメータ）を学習する点において、上記非特許文献１に記載の方法と大きく異なる。感情分類装置１Ａでは、教師データとして、下記の第１〜第３データセットを用いる。

第１データセットは、テキスト付き画像（画像と当該画像に関するテキストのペア）に感情ラベルが付与されたもので、本願発明者が独自に構築したものである。例えば、テキスト付き画像の画像が「猫の画像」で、テキストとして「Cat .. after drinking milk.」の説明文と「cat, pet, animal, depth of field, mammal, texture, outdoor, people, eye」のタグが付与されている場合、第１データセットでは、この画像とテキストのペアに「ポジティブ」のような感情ラベルを付与している。このように、第１データセットでは、第１データセットに含まれるテキスト付き画像のそれぞれに「ポジティブ」、「ネガティブ」、「ニュートラル」のいずれかの感情ラベルが付与されている。

第２データセットは、画像に物体ラベル（例えば、犬や猫などのカテゴリラベル）が付与されたもので、従来から知られている画像認識用の画像データセットである。本実施形態では、第２データセットとして、約１２０万枚の高品質な画像を含むＩｍａｇｅＮｅｔの画像データセットを用いる。

第３データセットは、感情語を含むテキストデータで構成されたもので、単語の類似性（例えば、猫はトラに近い、空は海に似ている、ｈａｐｐｙはｊｏｙに近いなど）を学習させるためのデータセットである。本実施形態では、第３データセットとして、ウェブ上で公開されている約１６０万件のツイートデータを用いる。

画像特徴量算出機構１０は、第１データセットおよび第２データセットにより、感情分類に適した画像特徴の算出方法を学習する。テキスト特徴量算出機構２０は、第１データセットおよび第３データセットにより、感情分類に適したテキスト特徴の算出方法を学習する。感情極性予測機構３０は、第１データセットにより、感情分類に適した画像特徴およびテキスト特徴の算出方法を学習する。これらの学習のうち第１データセットによる学習は、「誤差逆伝搬法」に基づいて同時に行われる。

画像特徴量算出機構１０は、本発明の「第１ニューラルネットワーク」に相当する畳み込みニューラルネットワーク（以下、ＣＮＮ）１１を備える。画像特徴量算出機構１０は、テキスト付き画像から画像を取得するデータ取得手段（例えば、ＡＰＩ）と、画像を適正サイズにリサイズして中心化する入力手段と、を備えていてもよい。

ＣＮＮ１１は、第１データセットおよび第２データセットにより、感情分類に適した画像特徴の算出方法を学習する。ＣＮＮ１１は、テキスト付き画像の画像が入力されると、当該画像の画像特徴に関する第１特徴量を出力する。本実施形態では、ＣＮＮ１１として、ＡｌｅｘＮｅｔと呼ばれる８層ＣＮＮ構造を用いる。ＣＮＮ１１の８層目の次元数は、１００次元に変更した。このため、ＣＮＮ１１は、画像特徴に関する第１特徴量を１００次元のベクトルとして出力する。

ＣＮＮ１１は、第２データセットで事前学習された後に、第１データセットで学習される。第２データセットで先に学習されることで、ＣＮＮ１１では、大量のパラメータが効果的に初期化される。その後、第１データセットで学習されることで、ＣＮＮ１１は、第２データセットで学習したパラメータをもとに、感情分類に適した画像特徴のパラメータを学習することができる。すなわち、ＣＮＮ１１は、第２データセットで事前学習したパラメータを、第１データセットで感情分類に適したパラメータにファインチューニングする。

テキスト特徴量算出機構２０は、本発明の「第２ニューラルネットワーク」に相当するＷｏｒｄ２Ｖｅｃ（Ｗ２Ｖ）２１と、感情語辞書２２と、重み付け手段２３と、本発明の「第３ニューラルネットワーク」に相当する多層パーセプトロン（以下、ＭＬＰ）２４と、を備える。テキスト特徴量算出機構２０は、テキスト付き画像からテキストを取得するデータ取得手段（例えば、ＡＰＩ）を備えていてもよい。

Ｗｏｒｄ２Ｖｅｃ２１は、第３データセットを用いて事前学習される。Ｗｏｒｄ２Ｖｅｃ２１は、テキスト付き画像のテキストが入力されると、当該テキストを構成する各単語の特徴量を出力する。本実施形態では、Ｗｏｒｄ２Ｖｅｃ２１として、Ｓｋｉｐｇｒａｍを用いる。Ｗｏｒｄ２Ｖｅｃ２１の出力層の次元数は、ＣＮＮ１１と同様、１００次元である。このため、Ｗｏｒｄ２Ｖｅｃ２１は、テキストを構成する各単語の特徴量を１００次元のベクトルとして出力する。

感情語辞書２２は、単語の意味に対して感情スコアが割り振られた辞書である。感情語辞書２２は、テキスト付き画像のテキストが入力されると、当該テキストを構成する各単語の感情スコアを出力する。本実施形態では、感情語辞書２２として、ＳｅｎｔｉＷｏｒｄＮｅｔを用いる。

感情語辞書２２では、例えば、ｓｕｒｐｒｉｓｅｄという単語に、４つの意味が付与されている。１つ目の意味には、ポジティブスコア０．１２５、ネガティブスコア０が割り振られている。２つ目の意味には、ポジティブスコア０、ネガティブスコア０が割り振られている。３つ目の意味には、ポジティブスコア０、ネガティブスコア０が割り振られている。４つ目の意味には、ポジティブスコア０．１２５、ネガティブスコア０．２５が割り振られている。

感情語辞書２２は、ポジティブスコアの平均とネガティブスコアの平均の和を、単語の感情スコアとして出力する。ｓｕｒｐｒｉｓｅｄという単語の場合、ポジティブスコアの平均が０．０６２５で、ネガティブスコアの平均も０．０６２５であるため、感情語辞書２２は、ｓｕｒｐｒｉｓｅｄという単語の感情スコアとして０．１２５を出力する。

重み付け手段２３は、Ｗｏｒｄ２Ｖｅｃ２１から入力された各単語の特徴量に対して、感情語辞書２２から入力された感情スコアによる重み付けを行う。例えば、ｓｕｒｐｒｉｓｅｄという単語の場合、重みを１．１２５（＝１＋感情スコア）にする。次いで、重み付け手段２３は、重み付け後の各単語の特徴量を加算して、当該各単語で構成されるテキストの特徴量を算出する。これにより、Ｗｏｒｄ２Ｖｅｃ２１に入力されたテキストに対して、感情語を考慮した特徴量を１００次元のベクトルとして得ることができる。

ＭＬＰ２４は、第１データセットを用いて学習される。ＭＬＰ２４は、重み付け手段２３からテキストの特徴量が入力されると、テキスト特徴に関する第２特徴量を出力する。本実施形態では、ＭＬＰ２４として、３層構造のＭＬＰを用いる。ＭＬＰ２４の出力層（３層目）の次元数は、１００次元である。このため、ＭＬＰ２４は、テキスト特徴に関する第２特徴量を１００次元のベクトルとして出力する。

ＭＬＰ２４は、第１データセットを用いることで、感情分類に適したテキスト特徴のパラメータを学習することができる。すなわち、ＭＬＰ２４は、Ｗｏｒｄ２Ｖｅｃ２１で事前学習した特徴量（テキストの特徴量）を、第１データセットで感情分類に適した特徴量にファインチューニングする。

感情極性予測機構３０は、第１正規化手段３１と、第２正規化手段３２と、結合手段３３と、本発明の「第４ニューラルネットワーク」に相当する多層パーセプトロン（以下、ＭＬＰ）３４と、を備える。

第１正規化手段３１は、ＣＮＮ１１から出力された画像特徴に関する第１特徴量に対して、Ｌ２正規化を行う。第２正規化手段３２は、ＭＬＰ２４から出力されたテキスト特徴に関する第２特徴量に対して、Ｌ２正規化を行う。なお、第１正規化手段３１および第２正規化手段３２は、Ｌ２正規化以外の正規化を行ってもよい。

結合手段３３は、正規化された第１特徴量と正規化された第２特徴量とを結合し、結合された特徴量を出力する。結合された特徴量は、２００次元のベクトルとして出力される。

ＭＬＰ３４は、第１データセットを用いて学習される。これにより、ＭＬＰ３４は、感情分類に適した画像特徴およびテキスト特徴のパラメータを学習することができる。ＭＬＰ３４は、結合手段３３から特徴量が入力されると、感情極性の予測対象であるテキスト付き画像の感情極性を予測（出力）する。本実施形態では、ＭＬＰ３４として、３層構造のＭＬＰを用いる。ＭＬＰ３４の出力層（３層目）の次元数は、２次元である。このため、ＭＬＰ２４は、感情極性（ポジティブまたはネガティブ）を２次元のベクトルとして出力する。

上記のとおり、感情分類装置１Ａでは、画像特徴量算出機構１０のＣＮＮ１１、テキスト特徴量算出機構２０のＭＬＰ２４、および感情極性予測機構３０のＭＬＰ３４が、第１データセットを用いた学習により、感情分類に適した画像特徴および／またはテキスト特徴の算出方法を学習する。したがって、感情分類装置１Ａによれば、テキスト付き画像の感情分類を高精度に行うことができる。

また、感情分類装置１Ａは、テキスト特徴に関する第２特徴量を算出する際に感情語辞書２２を用いて感情スコアによる重み付けを行う。これにより、感情分類装置１Ａは、感情分類の精度をさらに高めることができる。

（感情分類方法）
次に、本発明の第１実施形態に係る感情分類方法について説明する。

本実施形態に係る感情分類方法は、例えば、コンピュータを感情分類装置１Ａとして機能させるプログラムを実行することで、実現することができる。すなわち、本実施形態に係る感情分類方法の各ステップで行うことは、感情分類装置１Ａの各機構１０、２０、３０で行われることと共通している。よって、以下では、説明を一部省略する。

本実施形態に係る感情分類方法は、学習ステップと、画像特徴量算出ステップと、テキスト特徴量算出ステップと、感情極性予測ステップと、を含む。最初に学習ステップが実行され、次に画像特徴量算出ステップとテキスト特徴量算出ステップが実行され、最後に感情極性予測ステップが実行される。

学習ステップは、教師データ（第１〜第３データセット）を用いて、画像特徴量算出機構１０、テキスト特徴量算出機構２０および感情極性予測機構３０に学習させるステップである。

具体的には、第２データセットを用いて画像特徴量算出機構１０のＣＮＮ１１に事前学習させるとともに、第３データセットを用いてテキスト特徴量算出機構２０のＷｏｒｄ２Ｖｅｃ２１に事前学習させる。次に、第１データセットを用いて、ＣＮＮ１１、テキスト特徴量算出機構２０のＭＬＰ２４および感情極性予測機構３０のＭＬＰ３４に同時に学習させる。これにより、ＣＮＮ１１およびＭＬＰ２４、３４は、感情分類に適した画像特徴および／またはテキスト特徴の算出方法（パラメータ）を学習する。

画像特徴量算出ステップは、感情極性の予測対象であるテキスト付き画像の画像特徴に関する第１特徴量を算出するステップである。画像特徴量算出ステップでは、テキスト付き画像の画像をＣＮＮ１１に入力すると、ＣＮＮ１１が入力画像の画像特徴に関する第１特徴量を出力する。

テキスト特徴量算出ステップは、感情極性の予測対象であるテキスト付き画像のテキスト特徴に関する第２特徴量を算出するステップである。テキスト特徴量算出ステップは、下記の第１〜第３ステップを含む。

テキスト特徴量算出ステップの第１ステップは、テキスト付き画像のテキストを構成する各単語の特徴量を算出するステップであり、Ｗｏｒｄ２Ｖｅｃ２１により実行される。第２ステップは、各単語の特徴量に対して感情スコアによる重み付けを行いテキストの特徴量を算出するステップであり、感情語辞書２２および重み付け手段２３により実行される。第３ステップは、テキストの特徴量に基づいて第２特徴量を算出するステップであり、ＭＬＰ２４により実行される。

感情極性予測ステップは、感情極性の予測対象であるテキスト付き画像の感情極性（ポジティブまたはネガティブ）を予測するステップである。感情極性予測ステップは、下記の第１〜第４ステップを含む。

感情極性予測ステップの第１ステップは、ＣＮＮ１１から出力された第１特徴量をＬ２正規化するステップであり、第１正規化手段３１により行われる。第２ステップは、ＭＬＰ２４から出力された第２特徴量をＬ２正規化するステップであり、第２正規化手段３２により行われる。第３ステップは、正規化された第１特徴量と正規化された第２特徴量とを結合するステップであり、結合手段３３により行われる。第４ステップは、結合手段３３で結合された特徴量に基づいて感情極性を予測するステップであり、ＭＬＰ３４で行われる。

上記のとおり、本実施形態に係る感情分類方法では、学習ステップにおいて、ＣＮＮ１１およびＭＬＰ２４、３４が感情分類に適した画像特徴および／またはテキスト特徴の算出方法を学習する。したがって、本実施形態に係る感情分類方法によれば、テキスト付き画像の感情分類を高精度に行うことができる。

また、本実施形態に係る感情分類方法では、テキスト特徴量算出ステップにおいて、テキスト特徴に関する第２特徴量を算出する際に感情語辞書２２を用いて感情スコアによる重み付けを行う。これにより、本実施形態に係る感情分類方法は、感情分類の精度をさらに高めることができる。

［比較実験］
比較実験では、上記第１実施形態に係る感情分類装置１Ａと他の感情分類装置１Ｂ〜１Ｄで感情極性予測の精度を比較した。また、比較実験では、テキスト付き画像のトレーニングサンプル数を１５０００、バリデーションサンプル数を５０００、テストサンプル数を５０００とした。

感情分類装置１Ｂは、図２に示すように、感情分類装置１Ａから感情語辞書２２および重み付け手段２３を除去したものである。感情分類装置１Ｂでは、Ｗｏｒｄ２Ｖｅｃ２１の出力に対して平均化を行いＭＬＰ２４に入力した。感情分類装置１Ｂを、本発明の第２実施形態に係る感情分類装置とする。

感情分類装置１Ｃは、図３に示すように、畳み込みニューラルネットワーク（ＣＮＮ）１１Ｃのみで構成される。ＣＮＮ１１Ｃは、ＣＮＮ１１の８層目の次元数を２次元（ポジティブまたはネガティブ）にしたものである。感情分類装置１Ｃは、テキスト付き画像の画像のみで感情極性を予測する。感情分類装置１Ｃを、第１比較例に係る感情分類装置とする。

感情分類装置１Ｄは、図４に示すように、Ｗｏｒｄ２Ｖｅｃ２１とＭＬＰ２４Ｄとで構成される。Ｗｏｒｄ２Ｖｅｃ２１の出力は平均プーリングされてＭＬＰ２４Ｄに入力される。ＭＬＰ２４Ｄは、ＭＬＰ２４の出力層の次元数を２次元（ポジティブまたはネガティブ）にしたものである。感情分類装置１Ｄは、テキスト付き画像のテキストのみで感情極性を予測する。感情分類装置１Ｄを、第２比較例に係る感情分類装置とする。

比較実験の結果、感情分類装置１Ｄ（テキストのみ）の感情極性予測の精度は、０．６６７であった。感情分類装置１Ｃ（画像のみ）の感情極性予測の精度は、０．７０８であった。感情分類装置１Ｂ（画像＋テキスト）の感情極性予測の精度は、０．７３０であった。そして、感情分類装置１Ａ（画像＋テキスト＋感情語辞書）の感情極性予測の精度は、０．７４１であった。

この結果から、本発明の第２実施形態に係る感情分類装置１Ｂは、画像のみで感情極性を予測する感情分類装置１Ｃや、テキストのみで感情極性を予測する感情分類装置１Ｄよりも、テキスト付き画像の感情分類に適していることが分かる。また、感情分類装置１Ａと感情分類装置１Ｂとの比較から、感情語辞書２２を用いることで、より精度の高い感情分類が可能になることが分かる。

以上、本発明に係る感情分類装置および感情分類方法の実施形態について説明したが、本発明は上記実施形態に限定されるものではない。

本発明に係る感情分類装置および感情分類方法が行う感情分類は、ポジティブ、ネガティブ以外のものが含まれていてもよい。すなわち、本発明に係る感情分類装置および感情分類方法は、３種類以上の感情分類を行うことができる。

画像特徴量算出機構１０は、テキスト付き画像の画像特徴の算出方法を学習するとともに、画像特徴に関する第１特徴量を算出するのであれば、適宜構成を変更することができる。例えば、ＣＮＮ１１以外のニューラルネットワークを用いることができる。

テキスト特徴量算出機構２０は、テキスト付き画像のテキスト特徴の算出方法を学習するとともに、テキスト特徴に関する第２特徴量を算出するのであれば、適宜構成を変更することができる。例えば、Ｗｏｒｄ２Ｖｅｃ２１やＭＬＰ２４以外のニューラルネットワークを用いることができる。

感情極性予測機構３０は、画像特徴およびテキスト特徴の算出方法を学習するとともに、第１特徴量および第２特徴量に基づいてテキスト付き画像の感情極性を予測するのであれば、適宜構成を変更することができる。例えば、ＭＬＰ３４以外のニューラルネットワークを用いることができる。

１Ａ、１Ｂ 感情分類装置
１０ 画像特徴量算出機構
１１ ＣＮＮ
２０、２０Ｂ テキスト特徴量算出機構
２１ Ｗｏｒｄ２Ｖｅｃ
２２ 感情語辞書
２３ 重み付け手段
２４ ＭＬＰ
３０ 感情極性予測機構
３１ 第１正規化手段
３２ 第２正規化手段
３３ 結合手段
３４ ＭＬＰ

Claims (10)

1. テキスト付き画像の感情分類を行う感情分類装置であって、
   前記テキスト付き画像の画像特徴の算出方法を学習するとともに、前記画像特徴に関する第１特徴量を算出する画像特徴量算出機構と、
   前記テキスト付き画像のテキスト特徴の算出方法を学習するとともに、前記テキスト特徴に関する第２特徴量を算出するテキスト特徴量算出機構と、
   前記画像特徴および前記テキスト特徴の算出方法を学習するとともに、前記第１特徴量および前記第２特徴量に基づいて前記テキスト付き画像の感情極性を予測する感情極性予測機構と、
   を備え、
   前記画像特徴量算出機構、前記テキスト特徴量算出機構および前記感情極性予測機構は、画像と前記画像に関するテキストのペアに感情ラベルが付与された第１データセットを用いて、学習されたものである
   ことを特徴とする感情分類装置。
2. 前記テキスト特徴量算出機構は、
   単語の意味に対して感情スコアが割り振られた感情語辞書を含み、前記第２特徴量を算出する際に前記感情語辞書を用いて前記感情スコアによる重み付けを行う
   ことを特徴とする請求項１に記載の感情分類装置。
3. 前記画像特徴量算出機構は、
   画像に物体ラベルが付与された第２データセットおよび前記第１データセットを用いて学習された、前記テキスト付き画像の画像が入力されると前記画像の前記第１特徴量を出力する第１ニューラルネットワークを含む
   ことを特徴とする請求項２に記載の感情分類装置。
4. 前記テキスト特徴量算出機構は、
   感情語を含むテキストデータで構成された第３データセットを用いて事前学習された、前記テキスト付き画像のテキストが入力されると前記テキストを構成する各単語の特徴量を出力する第２ニューラルネットワークと、
   前記各単語の特徴量に対して前記感情スコアによる重み付けを行い、前記テキストの特徴量を算出する重み付け手段と、
   前記第１データセットを用いて学習された、前記テキストの特徴量が入力されると前記第２特徴量を出力する第３ニューラルネットワークと、を含む
   ことを特徴とする請求項２または３に記載の感情分類装置。
5. 前記感情極性予測機構は、
   前記第１特徴量を正規化する第１正規化手段と、
   前記第２特徴量を正規化する第２正規化手段と、
   正規化された前記第１特徴量と正規化された前記第２特徴量とを結合し、結合された特徴量を出力する結合手段と、
   前記第１データセットを用いて学習された、前記結合された特徴量が入力されると前記感情極性を予測する第４ニューラルネットワークと、を含む
   ことを特徴とする請求項２〜４のいずれか一項に記載の感情分類装置。
6. テキスト付き画像の感情分類を行う感情分類方法であって、
   画像と前記画像に関するテキストのペアに感情ラベルが付与された第１データセットを用いて、画像特徴量算出機構、テキスト特徴量算出機構および感情極性予測機構の各ニューラルネットワークに学習させる学習ステップと、
   前記画像特徴量算出機構により、前記テキスト付き画像の画像特徴に関する第１特徴量を算出する画像特徴量算出ステップと、
   前記テキスト特徴量算出機構により、前記テキスト付き画像のテキスト特徴に関する第２特徴量を算出するテキスト特徴量算出ステップと、
   前記感情極性予測機構により、前記第１特徴量および前記第２特徴量に基づいて前記テキスト付き画像の感情極性を予測する感情極性予測ステップと、を含む
   ことを特徴とする感情分類方法。
7. 前記テキスト特徴量算出ステップでは、
   単語の意味に対して感情スコアが割り振られた感情語辞書を用いて、前記第２特徴量を算出する際に前記感情スコアによる重み付けを行う
   ことを特徴とする請求項６に記載の感情分類方法。
8. 前記学習ステップでは、
   画像に物体ラベルが付与された第２データセットを用いて前記画像特徴量算出機構の第１ニューラルネットワークに事前学習させた後に、前記第１データセットを用いて前記第１ニューラルネットワークに学習させる
   ことを特徴とする請求項７に記載の感情分類方法。
9. 前記学習ステップでは、
   感情語を含むテキストデータで構成された第３データセットを用いて前記テキスト特徴量算出機構の第２ニューラルネットワークに事前学習させるとともに、前記第１データセットを用いて前記テキスト特徴量算出機構の第３ニューラルネットワークに学習させ、
   前記テキスト特徴量算出ステップは、
   前記第２ニューラルネットワークにより、前記テキスト付き画像のテキストを構成する各単語の特徴量を算出するステップと、
   前記各単語の特徴量に対して前記感情スコアによる重み付けを行い、前記テキストの特徴量を算出するステップと、
   前記第３ニューラルネットワークにより、前記テキストの特徴量に基づいて前記第２特徴量を算出するステップと、を含む
   ことを特徴とする請求項７または８に記載の感情分類方法。
10. 上記感情分類方法において、
    前記感情極性予測ステップは、
    前記第１特徴量を正規化するステップと、
    前記第２特徴量を正規化するステップと、
    正規化された前記第１特徴量と正規化された前記第２特徴量とを結合し、結合された特徴量を算出するステップと、
    前記第１データセットで学習された前記感情極性予測機構の第４ニューラルネットワークにより、前記結合された特徴量から前記感情極性を予測するステップと、を含む
    ことを特徴とする請求項７〜９のいずれか一項に記載の感情分類方法。

Images