JP2018092347A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】創造的なタスクを装置により効果的に実行することに関する技術を提供する。【解決手段】情報処理装置は、文書データから抽出された概念間のネットワークを構築する構築部と、第１の属性値を有する文書から前記構築部により構築された概念間の第１のネットワークを説明変数とし、第２の属性値を有する文書から前記構築部により構築された概念間の第２のネットワークを目的変数として機械学習を行い、概念間の第３のネットワークに応じて概念間の第４のネットワークを出力するために使用される関数を生成する生成部とを備える。【選択図】図４

Description

本発明は、情報処理技術に関する。

新規性と効果を兼ね備えたコンセプトの創出は、新しい発想が重視される芸術分野や学術分野、継続的なイノベーションが求められる企業や公共部門にとって重要な課題である。ここで、本明細書の記載において、「コンセプト」という用語は、作品や商品の全体に貫かれた、骨格となる発想や観点（非特許文献１参照）という意味で用いられる。例えば、「新しい商品のコンセプトを検討する。」という文は、商品の全体に貫かれた、骨格となる発想や観点を検討することを意味する。

コンセプトの検討は、芸術作品、学術研究、新しい事業や商品といった様々な事物の創作や実施に先立って行われており、コンセプトの良し悪しが成果に与える影響は大きい。コンセプトの創出は、創造性と専門知識を兼ね備えた限られた一部の人々によって行われる属人性の高いタスクである。

松村明、「デジタル大辞泉」、小学館、２０１６年 Ｌｕｕ, Ｌ.＆Ｚｈｏｕ, Ｔ、「Ｌｉｎｋ ｐｒｅｄｉｃｔｉｏｎ ｉｎ ｃｏｍｐｌｅｘ ｎｅｔｗｏｒｋｓ: Ａ ｓｕｒｖｅｙ. Ｐｈｙｓｉｃａ Ａ」、Ｓｔａｔｉｓｔｉｃａｌ Ｍｅｃｈａｎｉｃｓ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ、２０１１年 Ｋｕｄｏ, Ｔ., Ｙａｍａｍｏｔｏ, Ｋ., ＆ Ｍａｔｓｕｍｏｔｏ, Ｙ.、「Ａｐｐｌｙｉｎｇ Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄｓ ｔｏ Ｊａｐａｎｅｓｅ Ｍｏｒｐｈｏｌｏｇｉｃａｌ Ａｎａｌｙｓｉｓ」、ＥＭＮＬＰ、Ｖｏｌ．４、２００４年 Ｍｉｋｏｌｏｖ,Ｔ., Ｓｕｔｓｋｅｖｅｒ,Ｉ., Ｃｈｅｎ,Ｋ., Ｃｏｒｒａｄｏ,Ｇ.Ｓ.,＆ Ｄｅａｎ, Ｊ.、「Ｄｉｓｔｒｉｂｕｔｅｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｏｆ ｗｏｒｄｓ ａｎｄ ｐｈｒａｓｅｓ ａｎｄ ｔｈｅｉｒ ｃｏｍｐｏｓｉｔｉｏｎａｌｉｔｙ」、Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ、２０１３年 Ｂｅｒｇｓｔｒａ, Ｊ. ＆ Ｂｅｎｇｉｏ, Ｙ．、「Ｒａｎｄｏｍ ｓｅａｒｃｈ ｆｏｒ ｈｙｐｅｒ−ｐａｒａｍｅｔｅｒ ｏｐｔｉｍｉｚａｔｉｏｎ」、Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ， １３ （Ｆｅｂ）、２０１２年 Ｌａｎｄｉｓ, Ｊ. Ｒ. ＆ Ｋｏｃｈ, Ｇ. Ｇ.、「Ｔｈｅ ｍｅａ−ｓｕｒｅｍｅｎｔ ｏｆ ｏｂｓｅｒｖｅｒ ａｇｒｅｅｍｅｎｔ ｆｏｒ ｃａｔｅｇｏｒｉ−ｃａｌ ｄａｔａ」、ＪＳＴＯＲ、１９７７年

人間が行うコンセプトの創出を含む創造的なタスクの多くは、人間の脳が行う情報処理によって解決されていると考えられるが、創造性を実現する情報処理の過程には明らかになっていない点が多い。そのため、創造的なタスクを効果的に実行するための情報処理を装置により実装することは、困難を伴う。

本発明は上記に鑑みてなされたものであり、その目的は、創造的なタスクを装置により効果的に実行することに関する技術を提供することにある。

本発明に係る情報処理装置は、文書データから抽出された概念間のネットワークを構築する構築部と、第１の属性値を有する文書から前記構築部により構築された概念間の第１のネットワークを説明変数とし、第２の属性値を有する文書から前記構築部により構築された概念間の第２のネットワークを目的変数として機械学習を行い、概念間の第３のネットワークに応じて概念間の第４のネットワークを出力するために使用される関数を生成する生成部とを備える。

本発明に係る情報処理方法は、文書データから抽出された概念間のネットワークを構築する構築ステップと、第１の属性値を有する文書から前記構築ステップにより構築された概念間の第１のネットワークを説明変数とし、第２の属性値を有する文書から前記構築ステップにより構築された概念間の第２のネットワークを目的変数として機械学習を行い、概念間の第３のネットワークに応じて概念間の第４のネットワークを出力するために使用される関数を生成する生成ステップとを備える。

本発明に係るプログラムは、コンピュータを、文書データから抽出された概念間のネットワークを構築する構築部、第１の属性値を有する文書から前記構築部により構築された概念間の第１のネットワークを説明変数とし、第２の属性値を有する文書から前記構築部により構築された概念間の第２のネットワークを目的変数として機械学習を行い、概念間の第３のネットワークに応じて概念間の第４のネットワークを出力するために使用される関数を生成する生成部、として機能させる。

また、本明細書等において、「部」とは、単に物理的構成を意味するものではなく、その構成が有する機能をソフトウェアによって実現する場合も含む。また、１つの構成が有する機能が２つ以上の物理的構成により実現されても、２つ以上の構成の機能が１つの物理的構成により実現されてもよい。

本発明によれば、創造的なタスクを装置により効果的に実行することに関する技術を提供することができる。

一実施形態におけるコンセプト創出を説明するための概念図である。 一実施形態におけるコンセプト創出を説明するための概念図である。 一実施形態におけるコンセプト創出装置のハードウェア構成を示すブロック図である。 一実施形態におけるコンセプト創出装置の機能構成を示すブロック図である。 一実施形態におけるコンセプト創出装置による処理の実験結果を示す表である。 一実施形態におけるコンセプト創出装置による処理の実験結果を示す表である。 一実施形態におけるコンセプト創出装置による処理の実験結果を示す表である。 一実施形態におけるコンセプト創出装置による処理の実験結果を示す表である。 一実施形態におけるコンセプト創出装置による処理の実験結果を示す図である。

以下、本発明の実施形態について、図面を参照しつつ詳細に説明する。ただし、発明の範囲をこれらに限定するものではない。

１．概要
創造的なタスクとして、コンセプトを創出するタスクを実施する手法の概要について説明する。コンセプトを創出するタスクには、コンセプト創出過程のモデルの生成と、当該モデルに基づいたコンセプトの生成とが含まれる。

本実施形態において、「コンセプト」という用語は、作品や商品の全体に貫かれた、骨格となる発想や観点という意味で用いられる。例えば、「新しい商品のコンセプトを検討する。」という文は、商品の全体に貫かれた、骨格となる発想や観点を検討することを意味する。また、本実施形態において「概念」という用語は、「物事の概括的な意味内容」という意味で用いられる。例えば、「犬の概念」は、４本の足、及び尾を持ち、ペットとして人気があるという概括的な意味を有する。

コンセプト創出過程のモデルについて説明する。本実施形態において、コンセプトは、概念の組み合わせにより表現できるものとして定義する。この定義のもとでは、新しいコンセプトの創造は、既存の概念の新しい組み合わせとしてとらえることができる。また、対象となる概念の意味は、他の概念とのつながり方で定義されるものとする。

例えば、「日本車」という概念（対象となる概念）の以前のコンセプトは、「高燃費」及び「高耐久性」という概念を含む概念の組み合わせにより表現されるとする。これらの概念に、「高級感」という概念を新たに組み合わせることにより「日本車」という概念についての新しいコンセプトを創出することができる。このように概念の新しい組み合わせにより新しいコンセプトが登場することで、人々がある概念に対して共通して認識する意味も変化すると考えられる。

本実施形態において、コンセプト創出過程のモデルは、対象概念について、従来のコンセプトから新しいコンセプトが創出されたときに引き起こされる対象概念の意味の経時変化を計算機（情報処理装置）で扱える形式で表現したものである。計算機で扱える形式の概念やコンセプトのモデル（概念間のネットワークのモデル）として、意味ネットワーク、フレーム又はクラス図などが用いられる。

意味ネットワークは、関連する概念をエッジでつないだネットワークにより、概念とその意味を表現するモデルである。意味ネットワークは、ある対象概念の意味をその概念に接続された他の概念の集合で表すので、概念の新たな意味の付与（つまりコンセプトの創出）を、概念間の新しい接続の生成とモデル化できる。一方、フレームは概念の継承関係（親-子，動物-イヌ等）を容易に扱えるといった利点がある。また、クラス図を用いた場合、概念をクラスとして表現することにより、概念の承継関係に加え、各概念が有する特徴をクラスが有する属性として表現することができる。

本実施形態では、コンセプトの表現に意味ネットワークを用いる。また、コンセプトの生成（創出）を意味ネットワークへの新しい接続の付与とモデル化する。このモデルのもとでは、どのような接続を意味ネットワークに新たに付与すべきかが決まれば新しいコンセプトが生成できる。もし、過去に成功したコンセプトにおいて、新しい接続の選択のされ方が共通した法則に従っていることを見いだせれば、その法則性に従ってコンセプトを生成することによりコンセプトの成功の確率を高めることができると考えられる。

コンセプトの生成は、従来から知られた知識に基づいた新しい意味付け（つまり新しい意味ネットワークの接続）の発見である。そのため、従来の知識を表現した意味ネットワークから新しい接続を生成する入出力関係が、コンセプト生成の法則性の計算論的な表現になる。このネットワークの新しい接続（リンク）を推定する問題は、リンク予測問題の一種である。

リンク予測問題において、新しく付与される接続に共通する法則性を見いだす方法には、探索的な方法と機械学習を用いる方法がある。探索的な方法を用いた場合、その法則性を表すために必要な指標とその指標を用いた入出力関係をデータに合うように試行錯誤で決める必要がある。一方、機械学習を用いる場合、入出力関係の解釈が難しいという短所はあるが、試行錯誤の手間をかけずに、入出力関係が何らかの法則性に従っていることの確認とその法則性に従った新しい接続の推定を行うことができる。本実施形態では、機械学習を用いたリンク予測問題としてコンセプトの創出過程のモデルを生成する。生成されたモデルに対して、従来のコンセプトを表す意味ネットワークを入力することにより、新しいコンセプトを出力（すなわち、コンセプトを創出）する。

また、本実施形態は、（例えば、商業的に）成功したコンセプトに付与された新しい意味付けの選択のされ方が、何らかの法則性にしたがっていることを前提としている。この前提によれば、従来のコンセプトを表した意味ネットワークを入力とし、新たに付与する接続を出力とした時、その入出力関係を表現する関数が存在することになる。ただし、この意味ネットワークを用いた入出力関係で、法則性の全てを表現できることは必ずしも必要ではない。一部でもコンセプト生成の法則性を抽出できれば、抽出できた法則性を用いることでコンセプトが成功する確率を高められる。

２．コンセプトとその創出過程のモデル
２．１ コンセプトの意味ネットワークによる表現
概念のコンセプトとその意味を計算機（情報処理装置）で扱える形式でモデル化して表現するために、本実施形態では意味ネットワークのノードとその接続関係を用いる。意味ネットワークではノードが概念に対応しており、意味的に関連のある概念同士がエッジで接続されている。

意味ネットワークを用いて、各概念は各ノードで表現され、ある概念の意味はその概念に直接接続された概念の集合で表現される。意味ネットワークにおいて概念の意味には複数の定義が考えられる。この定義は最も単純なもののひとつである。さらに複雑な方法による定義として、例えば「ある次数の隔たり以下で共通の隣接ノードの数が一定数以上の概念の集合」が考えられる。以下で述べる手法において、「直接つながった概念」を「意味として採用される概念」と読み替えれば、本実施形態における手法は意味をより複雑に定義した場合にも拡張できる。概念と意味の定義をフォーマルに次のように表現できる。

ノードの集合Vとエッジの集合Eを用いて意味ネットワークSを次のように表現できる。
S = (V, E)

このとき、Vはすべての概念の集合である。ある概念
の意味
はエッジで直接つながった概念の集合として次のように表すことができる。

ここで、
はv'とv''とのエッジを表す。v'〜v''は、v'とv''がエッジで接続されていることを表す。

図１を参照して意味ネットワークにより表現されたコンセプトの例を説明する。図１は、対象とする概念「日本車」のコンセプトを意味ネットワークで表現している。対象概念「日本車」は、「耐久性」、「安全性」、「信頼性」、「重厚感」、及び「高級感」などの他の概念と接続されている。点線で囲まれた概念は、従来から「日本車」に接続されていた概念を示す。実線で囲まれた概念は、近年、「日本車」に接続された概念を示す。よって、図１の例において、従来の「日本車」のコンセプトは、「耐久性」、「安全性」及び「信頼性」といった特徴で表現でき、近年の「日本車」のコンセプトは、「重厚感」、及び「高級感」など特徴で表現できることを示している。

意味ネットワークS = (V, E)と概念v^target ∈ V が与えられたとき、v^targetの新しいコンセプトとは、概念v^targetの従来の意味
には含まれない新たな概念を含む概念集合V^newと、V^new及びv^targetの間の接続とからなる意味ネットワークである。よりフォーマルに計算論的表現で記載すれば、まず、
を満たす概念集合V^new ⊂V にv^targetを加えた集合V^new+は次式で示される。

また、v^targetとv ∈ V^newとの間のエッジは次式で示される。

このとき、意味ネットワーク(V^new+, E^new)がv^targetのコンセプトである。ここで、
と
はそれぞれ集合A, Bの差集合と空集合である。

２．２ コンセプト創出過程のモデル
本実施形態において、既存のコンセプトを表す意味ネットワークに新しい接続を付与した新しい意味ネットワークを生成することとしてコンセプト創出過程をモデル化する。

従来のコンセプトを表現する意味ネットワークS^before = (V^before, E^before)と、生成されるコンセプトの対象の概念v^targetが与えられたとき、意味ネットワークと対象概念の組から新しい接続E^newを与える次の関数により、v^targetのコンセプトを創出する過程を表現できる。

図２を参照して、人間の専門家が新しいコンセプトを創出する際の認知モデルを説明する。上記のようにモデル化されたコンセプト創出過程を図２に示すような人間の専門家が新しいコンセプトを創出する際の認知モデルとして解釈することも可能である。すなわち、意味ネットワークS^beforeで表される知識を持つ専門家が、Ψの入出力関係で表される規則性を保持しており、v^targetがコンセプトのいわばテーマとして与えられているとする。このとき、S^beforeを参照しながらΨの規則性に従ってコンセプトを生成するというモデルが専門家の持つ認知モデルである。以下の記載において、成功したコンセプトを生み出せる専門家によるコンセプト創出過程Ψを，特にΨ*と表現する

３．コンセプトの情報処理装置による創出
コンセプトの創出を従来の知識（コンセプト）を表す意味ネットワークS^beforeから新しい接続を生成する過程と捉えれば、情報処理装置によるコンセプトの自動生成（創出）には、入力データである意味ネットワークS^beforeと、式（３）で示した関数Ψが必要である。これらが与えられれば、コンセプトの生成ために定められた対象v^targetと、S^beforeとを関数Ψに入力することにより、新しい接続が出力される。出力された接続を用いてコンセプトを生成できる。

このコンセプトの自動生成を機械学習で行うためには、過去におけるあるコンセプトの登場前後の意味ネットワークを構築し、構築された意味ネットワークを用いて学習データを得る必要がある。以下に、意味ネットワークの情報処理装置による自動構築と、構築された意味ネットワークから作成された学習データで機械学習モデルを訓練することにより関数Ψを情報処理装置により得る方法を説明する。

３．１ 意味ネットワークの構築
ノードに概念が紐付けられ、ノード間の意味的なつながりがエッジで表されたような意味ネットワークを構築するためには、すべての概念の集合と概念のあいだの接続関係がわかればよい。すべての概念が与えられ、その概念の任意のペアの意味的なつながりの有無（例えば、「日本車」と「安全性」は接続され、「日本車」と「辛い」は接続されない等）を特定できれば、概念に対応するノードの集合をV、つながりのある概念間のエッジの集合をEとしたときに、意味ネットワーク(V, E)を構築できる。

概念の集合と、概念の間の接続関係は、形態素解析と統計的意味論の手法を用いることで、十分な量の文書データから得ることができる。まず、文書に形態素解析で分かち書き処理（膠着語である日本語の文章を、文の最小単位である形態素に分割する処理）をほどこし、形態素を概念として扱うことにすれば、その文書データに含まれる全ての概念を得ることができる。十分に多くの文書データを収集すれば、その十分な規模を持った文書データには対象とする概念やその概念に新たに付与されるであろう概念が全て含まれているので、得られた概念に対応するノード群を意味ネットワークのノード集合Vとして用いる。

次に、統計的意味論の手法を用いると、それぞれの概念の実数値ベクトルでの表現を得ることができる。多くの統計的意味論の手法は、概念の意味の近さがベクトルの間の距離となるようにベクトル表現が与えられる。そこで、二つの概念v₁とv₂のベクトル表現v₁, v₂の距離d(v₁, v₂)がしきい値より小さい場合、すなわちd(v1, v2) < λである場合に、v₁とv₂に対応するノードをエッジで接続することにより、意味の近い概念が接続された意味ネットワークを得ることができる。λはハイパーパラメーターであり、距離d(・, ・)には例えばコサイン類似度を用いることができる。

３．２ リンク予測問題としてのコンセプト創出
専門家に共通したコンセプト創出の過程であるΨ*を近似的に再現するモデルを構築できれば、現在の知識を表現した意味ネットワークをΨ*に入力することにより、（例えば、商業的に）成功する確率の高いコンセプトを自動で生成することができる。そのためには、過去に成功したコンセプトについてΨ*の入出力関係に対応するデータを作成すればよい。作成したデータを学習データに用いて機械学習モデルを訓練することで、成功したコンセプトを創出した専門家に共通する生成過程を近似したモデルを得られることが期待される。

Ψ*の入力は、成功したコンセプト登場前（第１のタイミング）の知識を表現した意味ネットワークS^beforeと、そのコンセプトの対象概念v^targetである。まずS^beforeは、成功したコンセプトが登場する前の文書データを用いて４．１で説明した方法により生成した意味ネットワークを用いることができる。

文書の作成者は、作成時に持っていた知識を使ってその文書を作成するため、成功した新しいコンセプト登場前の文書データから作成した意味ネットワークは、その当時に人々が持っていた知識を表している。文書データから得られるコンセプト登場前の人々の知識と、コンセプトを作成するために専門家が用いた知識を同一視すれば、S^beforeを文書データから作成した意味ネットワークとすることができる。

人々が持っている概念やその意味は個々人で異なるため、成功したコンセプト登場前の文書から作成した意味ネットワークは専門家がコンセプト作成に用いた知識と完全に一致することはない。ただし、web上の文書は不特定多数の人々が書いているので、十分な量の文書から社会全体で共有されている意味的な関係性を抽出できる。そのため、コンセプト登場前の文書データから作成した意味ネットワークは、コンセプト発案の際に専門家が参照しうる社会の不特定多数の人々が共有していた知識として用いることができる。

また対象概念v^targetは、例えば商品コンセプトであれば、その商品の一般名や商品カテゴリとすることで特定できる。例えば、「食べるラー油」なら「ラー油」に対応するノードがv^targetである。中には「携帯電話」と「携帯音楽プレイヤ」とを組み合わせた新しいコンセプトの「スマートフォン」のように、複数のv^targetを考えるべきケースもある。簡単のため、以下の説明ではv^targetはただ一つに定まるとするが、本実施形態で説明するアプローチを複数の対象概念の場合に拡張することは自然に行える。最も単純な拡張は、別々の概念のそれぞれに対してΨが作用して新しいコンセプトができたとみなすことである。例えば、「携帯電話」と「携帯音楽プレイヤ」とから別々に新しいコンセプトの「スマートフォン」が２回発明されたと形式的にみなすことができる。

v^targetへの新しい接続であるΨ*の出力は、成功したコンセプト登場後（第２のタイミング）に書かれた文書から作成した意味ネットワークS^afterから得られる。コンセプト登場後の文書には、コンセプト登場によって変化した概念の意味が反映されている。したがって、その文書から作成した意味ネットワークS^afterの接続をS^beforeの接続と比較することで、概念に付与された新しい接続を抽出できる。S^before, S^afterのエッジの集合をそれぞれE^before, E^afterとすれば、Ψ*の出力データを次のように表すことができる。

このようにコンセプト登場前後の意味ネットワークから得たΨの入出力関係を表すデータを次式で表す。

入力である
は、(S^before, v^target)に対応しており、出力である
は、E^newに対応している。Dは過去に成功したコンセプトが生み出された際の入出力関係を表したデータであるため、次式で表される写像φを近似するために十分に良い性能を持つ機械学習モデルがあり、
かつ、データ数N_Dが十分に大きいという仮定のもとで、経験誤差を最小にするψ、すなわち次式で表されるψが成功したコンセプトを生み出した専門家の持つΨ*の良い近似になる。
ここで，Lは任意の損失関数、
は機械学習モデルの出力である。

このψを用いた推定は、新たな接続の組み合わせV^newの全てを一度に推定する問題である。だが、機械学習の問題としてはノードの接続を個別に予測する問題のほうが、研究の蓄積のある２値分類問題であるため扱うことが比較的容易である。２値分類問題としてエッジの接続関係を予測する問題はリンク予測問題と呼ばれる。

新たな接続E^newの推定を個別に接続を推定する問題に書き換えると、新たな接続E^newの推定は、S^beforeに含まれる概念vⁱ ∈ V^beforeのそれぞれについて、S^afterにおけるv^targetとの新しい接続の有無を分類する問題となる。つまり、学習データとして入力(S^before, v^target, vⁱ)と出力
のペアからなるデータを使用し、学習モデルψの代わりに２値分類のモデルψ^binを使用することができる。ここで、vⁱはv^targetとの接続を判定したいノードであり、
は、vⁱ, v^targetの間のエッジがE^newに含まれるかを表す２値のラベルを返す２項演算子である。以下、E^newに含まれる場合のラベルを1、含まれない場合のラベルを0で表すことにする。例えば、S^beforeにおいてはvⁱとv^targetの接続が無く、S^afterにおいてvⁱとv^targetの接続があれば、出力されるラベルは1である。また、S^beforeでvⁱとv^targetの接続がある場合は、新しい接続にはならないので出力されるラベルは0である。

この
の出力を特定するためには、S^newにおいてvⁱとv^targetが接続されているかを確認すればよい。このように定式化できることから、コンセプト創出過程のモデルΨ*を得る問題は、グラフの接続の有無を推定するリンク予測問題のひとつであることがわかる。

さらに、機械学習が扱える形式で表現された特徴量に、(S^before, v^target, vⁱ)を変換する必要がある。グラフであるS^beforeを表現する最も単純な特徴量のひとつは、グラフS^beforeの隣接行列を1次元に並びかえたベクトルである。このような生データに特段の処理を加えない単純な特徴量は、例えば画像のＲＧＢ値を特徴量とする深層学習を用いた画像認識のように、タスクによっては十分な性能を示すこともある。しかしリンク予測問題においては、問題の性質にあわせて(S^before, v^target, vⁱ)から適切な特徴量を抽出することが必要である。

これまでリンク予測問題の研究で、リンクの接続を推定するための様々な指標が提案されてきた。本実施形態では、それらの指標を組み合わせたものを特徴量として用いる。例えば、非特許文献２で報告されている指標の任意の組合せを用いることができる。具体的には、vⁱ, v^targetのS^beforeにおける隔たりや、共通の隣接ノードの数などがある。また、リンク予測問題の研究の進展次第では、隣接行列のような素朴な量を特徴量として用いることも可能である。リンク予測問題で用いられてきた指標のほとんどは実数値ベクトルなので、用いる指標を羅列して作成した特徴量をN^f次元の実数値ベクトルとし、特徴量を与える関数を次式で表すことにする。

fで得られる特徴量から概念の接続の有無を推定するモデルを構築するためには、まず、概念vⁱに関する特徴量と接続関係の有無を表す次のｘ及びｙの組からなる学習データを作成する。
生成されたこれらの学習データで２値分類の識別モデルψ^binを訓練すればよい。

L^binは2値分類モデルの任意の損失関数とすれば、学習データを用いた訓練によって経験誤差を十分小さくすることで得られる次式で表されるψ^binが、概念の接続を推定できる２値の識別モデルとなる。

この識別モデルを用いれば、新たな意味付けとする概念を取捨選択して新しいコンセプトを生成できる。このモデルは過去に成功したコンセプトに関するデータを学習しているので、式(5)で得られるモデルと同様にΨ*を近似したコンセプト創出過程のモデルとみなすことができる。

３．３ コンセプト創出のための情報処理装置
上記で説明したコンセプト生成の手法は、以下に説明する情報処理装置（計算機）であるコンセプト創出装置で実装することで実現できる。

［ハードウェア構成］
図３を参照して、本実施形態に係るコンセプト創出装置のハードウェアの概略構成の例を説明する。図３に示すように、コンセプト創出装置１０は、制御部１１、通信部１４、記憶部１５及び入出力部１６を主に備える。制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２及びメモリ１３を主に備えて構成される。コンセプト創出装置１０は、専用若しくは汎用のサーバ・コンピュータ又はパーソナルコンピュータなどの情報処理装置を用いて実現することができる。また、コンセプト創出装置１０は、例えば、ＣＰＵ１２がメモリ１３等に格納された所定のプログラムを実行することにより、各種の機能実現手段として機能する。なお、コンセプト創出装置１０は、単一の情報処理装置より構成されるものであっても、ネットワーク上に分散した複数の情報処理装置より構成されるものであってもよい。

制御部１１では、ＣＰＵ１２は、記憶部１５等に記憶されたプログラムをメモリ１３に展開して実行することにより、コンセプト創出装置１０が備える各種構成の動作を制御し、また、各種処理の実行を制御する。制御部１１において実行される処理の詳細は後述する。

通信部１４は、ネットワークを介して外部の各種情報処理装置との間で通信をするための通信インタフェースである。通信部１４は、例えば、コンセプト創出装置１０における処理に必要な情報を外部装置から受信し、また、コンセプト創出装置１０における処理結果の情報を外部装置に送信することができる。

記憶部１５は、ハードディスク等の記憶装置によって構成される。記憶部１５は、制御部１１における処理の実行に必要な各種プログラムや、制御部１１による処理結果の情報など、各種の情報を記憶する。

入出力部１６は、各種の情報の入出力を行うための処理部である。入出力部１６には、例えば、操作部及び表示部などのユーザインタフェースとしての構成や、外付けの記憶装置を接続するためのインタフェースなどが含まれる。

［機能構成］
本実施形態におけるコンセプト創出装置１０の機能構成について説明する。コンセプト創出装置１０は、機能構成として、意味ネットワーク構築モジュール１２，１５，２０、学習機１７、及びコンセプト創出モジュール１８を主に備える。意味ネットワーク構築モジュール１２，１５及び学習機１７によりコンセプト創出過程のモデルが生成される。当該生成されたモデルに基づいて、コンセプト創出モジュール１８及び意味ネットワーク構築モジュール２０によりコンセプトが創出される。コンセプト創出過程のモデル及びコンセプトの創出については、前述したとおりである。

これらの機能構成は、例えば、制御部１１において、ＣＰＵ１２が、記憶部１５等に記憶されたプログラムをメモリ１３に展開して実行することにより実現される。また、各機能構成による処理の結果出力されるデータ（又は情報）は、記憶部１５等に記憶される。以下に、各機能構成による処理について説明する。

意味ネットワーク構築モジュール１２は、第１の文書データを入力として、概念を抽出し、当該概念間の第１の意味ネットワーク１３（S^before）を構築する処理を実行する。第１の文書データは、第１の属性値を有する文書のデータである。第１の文書データは、例えば、ある概念について成功したコンセプトの登場前に作成された文書データ（第１のタイミングに関連付けられた文書）とすることができる。このような文書データは、例えば、インターネットを介して取得することができる。意味ネットワークを構築する処理の実装方法は前述のとおりであり、例えば、形態素解析と統計的意味論の手法を使用して文書データから概念を抽出し、当該概念間の接続を特定する処理を実装することができる。以下で説明する文書データの取得及び意味ネットワークの構築処理の方法についても上記と同様である。

意味ネットワーク構築モジュール１５は、第２の文書データを入力として、概念を抽出し、当該概念間の第２の意味ネットワーク１６（S^after）を構築する処理を実行する。第２の文書データは、第２の属性値を有する文書のデータである。第２の文書データは、例えば、ある概念について成功したコンセプトの登場後に作成された文書データ（第２のタイミングに関連付けられたデータ）とすることができる。

以上のように、意味ネットワーク構築モジュール１２，１５は、後述する学習機１７による処理の入力となる概念間のネットワークを文書データから構築する（第１の処理ステップ）。

学習機１７は、対象概念（v^target）、第１の意味ネットワーク１３（S^before）及び第２の意味ネットワーク１６（S^after）（に基づいて取得された特徴量）を入力として機械学習を行い、前述の識別モデルψ^binを訓練する。または、学習機１７は、上記の機械学習により、入力された意味ネットワークに基づいて、対象概念に対する新しい接続（E^new）を出力するための関数を生成する。当該機械学習のための処理の詳細は前述のとおりである。対象概念は、任意の方法で設定することができ、例えば、ユーザ入力に基づいて設定される。なお、学習機１７は、対象概念に対する新しい接続（E^new）のみを出力する関数を生成するのではなく、入力された意味ネットワークに当該新しい接続（E^new）が加えられた新しい意味ネットワークを出力する関数を生成することもできる。

以上のように、学習機１７は、第１の属性値を有する文書から概念間の第１のネットワークを説明変数とし、第２の属性値を有する文書から構築された概念間の第２のネットワークを目的変数として機械学習を行い、概念間の第３のネットワークに応じて概念間の第４のネットワークを出力するために使用される関数の生成の処理（第２の処理ステップ）を実行することができる。

意味ネットワーク構築モジュール２０は、最近の文書データ１９を入力として現在の意味ネットワーク２１を構築する処理を実行する。最近の文書データ１９は、例えば、創出したいコンセプトの概念についての文書データとすることができる。具体的には、スマートフォンという概念についての新しいコンセプトを創出したい場合、最近の文書データ１９をスマートフォンについての文書データとすることができる。

コンセプト創出モジュール１８は、現在の意味ネットワーク２１（第３のネットワーク）及び対象概念を入力とし、学習機１７の出力を使用して、創出された意味ネットワーク２２（第４のネットワーク）を出力する（第３の処理ステップ）。ここで入力される対象概念として、創出したいコンセプトの概念が設定され、例えば、ユーザ入力に基づいて設定される。

以上のようにコンセプト創出装置１０によれば、現在の意味ネットワーク２１（第３のネットワーク）に基づいて、新しいコンセプトの表現する意味ネットワーク２２（第４のネットワーク）を創出することができる。すなわち、コンセプト創出装置１０は、新しいコンセプトの創出という創造的なタスクを効果的に実行することができる。

４．実験
以下に二つの実験結果について説明する。まず、過去に成功した商品コンセプトが持つ接続を本実施形態で説明した機械学習モデルで予測できることを検証する実験の結果を説明する。次に、本実施形態で説明した機械学習モデルを用いて新しいコンセプトを生成した実験結果を説明する。

４．１ コンセプト生成の法則性の検証
過去に成功したコンセプトについて、意味ネットワークの接続のされ方に何らかの法則があることの検証には、過去に成功したコンセプトについての入出力データを作成し、その入出力データを近似する関数の存在を交差検定によって確認すればよい。交差検定は機械学習等の統計モデルの精度検証にしばしば用いられる方法で、正解付きのデータを訓練用データと検証用データに分割して精度検証を行う方法である。Ψの入出力データを近似する関数の存在を交差検定で確認するためには、過去のコンセプトについて入出力データを作成し、そのデータの一部を機械学習モデルの訓練に用い、残りのデータを検証用に用いて訓練済みモデルの推定精度を算出する。その精度がランダムに推定を行うモデルに比べて高ければ、訓練済みのモデルがデータの入出力関係を近似していることになり、入出力データを近似する関数が存在するという仮説が成立することになる。

実験では、単一のコンセプトに絞った入出力データと、複数のコンセプトについての入出力データのそれぞれについて、交差検定を用いて機械学習モデルとランダムな推定との精度比較を行った。単一のコンセプトに絞った実験では、ある成功したコンセプトの登場前後に書かれた文書を収集し、そこからコンセプト登場前後の知識を表す二つの意味ネットワークを３．１で説明した方法で構築した。この意味ネットワークから式(6)と式(7)を用いて入出力データＤを作成した。Ｄを用いた交差検定で機械学習モデルと、ランダムな推定を行うモデルの精度の比較を行った。交差検定の分割数をkとすれば、データＤをｋ分割し、分割したうちのｋ-１個を訓練用データに用いてモデルを訓練した。訓練に使わなかった検証用データのｘを訓練済みのモデルに与えて得られる出力と、検証用データのyがどれだけ一致するか評価した。

複数のコンセプトを用いた実験では、それぞれのコンセプト
について登場前後の意味ネットワークを構築し、そこからの入出力データを作成した。交差検定での分割には、ひとつのコンセプトに関するデータと、それ以外のコンセプトのデータに分ける方法を用いた。つまり、あるコンセプトｃ_iの特徴量とラベルの組のセットを次式で示す。
ｉ^test番目のコンセプトをテストデータに用いるとしたとき、訓練データとテストデータはそれぞれ次式のとおりである。

評価に用いた精度は、ｉ^test = １, ．．． , Ｎｃのそれぞれについて算出したN^c個の精度の平均を用いた。

４．１．１ データと実験の設定
インターネット検索エンジンで、「ラー油」、「携帯電話」、「日本車」というキーワードで検索して得られたウェブページを文書データとして用いた。これらキーワードは食べるラー油、ｉＰｈｏｎｅ（登録商標）、レクサス（登録商標）という成功した商品の対象概念である。これらの商品が登場した前後の意味ネットワークを作成するため、文書が公開された時期で検索結果を絞り込める検索エンジンを用いて、商品の登場前後についてそれぞれ文書を取得した。

「ラー油」については食べるラー油が発売された２００８年以前と２００９年以降に書かれた文書に分けて取得し、「携帯電話」についてはｉＰｈｏｎｅの発売前後の２００６年以前と２００７年以降に、「日本車」についてはレクサスが本格的に投入された2011年以前と２０１２年以降に分けて文書を取得した。取得した文書は形態素解析の手法であるMecab（非特許文献３参照）を用いて分かち書きをした。分かち書きをして得られた個々の形態素を意味ネットワークの概念に用いた。ただし、記号等を除外する目的で出現回数が２００回未満の形態素は無視し、新製品の登場の前と後の文書の一方にしか現れない形態素も分析対象から除外した。

意味ネットワークの構築に必要な概念の距離の計算のためには、ｗｏｒｄ２ｖｅｃ（非特許文献４参照）を用いて単語のベクトル表現を求め、そのベクトルの距離を概念の距離に用いた。コンセプト登場前後の意味ネットワークを得る必要があるので、コンセプト登場前後の文書データを別々に学習させた異なるｗｏｒｄ２ｖｅｃのモデルを構築した。概念の距離はｗｏｒｄ２ｖｅｃで得たベクトルのコサイン類似度とし、接続のしきい値を0.2として意味ネットワークを構築した。取得した文書とそこから作成した意味ネットワークについて、文書数、文書長（総単語数）、語彙数、意味ネットワークにおける対象概念の次数を図５の表１に整理した。

意味ネットワークから作成する特徴量には、非特許文献２で報告されている指標を全て並べた実数値ベクトルとした。２値の識別モデルにはランダムフォレスト（Random Forests、以下、「ＲＦ」）を用いた。ＲＦの適切なハイパーパラメーターは、Random Search法（非特許文献５参照）で見出して用いた。比較に用いるランダム推定を行うモデル(以下、ランダムモデルまたはRandom)は、１／２の確率で接続有りを表すラベルである１か接続無しを表すラベル０のいずれかをランダムに出力するモデルとした。

４．１．２ 接続予測の精度
以上の設定のもとで行った実験の精度を図６の表２及び図７の表３に示す。表２の結果は「ラー油」を検索キーワードとして収集した文書を用いて行った、単一コンセプトについての実験の精度であり、表３は、３つの全ての検索キーワードの文書を用いた複数コンセプトについての精度である。単一のコンセプトに関する実験の交差検定の分割数は３とし、複数コンセプトについては式（９）（１０）にしたがってコンセプトごとに分割した。分割ごとの得られる精度の平均と分散が表に示した値である。データの正負のラベルの数が大きく偏っていることをふまえ、評価指標には、Precision、 Recall、 F値、 Cohen's kappaを用いた。Ｆ値はPrecisionとRecallの調和平均である。Cohen's kappaはラベルに偏りがある教師有り学習タスクの評価にしばしば用いられる指標であり、−１から１をとる。

Landis and Koch（非特許文献６参照）によると０未満は「no agreement」、０から０．２は「slight」、０．２から０．４は「Fair」、０．４から０．６は「Moderate」、０．６から０．８は「Substantial」、０．８から１．０は「Almost perfect agreement」とCohen's Kappaの結果は解釈される。

まず、ランダムモデルは０．５の確率で1または0を出力するため、Recallはおよそ０．５になるはずである。実際、表２及び表３によると、ランダムモデルのRecallは単一コンセプトの実験で０．４６、複数コンセプトの実験で０．５０とおよそ０．５になっている。Precisionについては、本来はコンセプトに採用すべきではない概念に対しても確率０．５で１を出力するため、単一コンセプトの実験で０．０４８、複数コンセプトの実験で０．０５０と低い値になっている。結果、PrecisionとRecallの調和平均であるＦ値もランダムモデルではそれぞれ０．０８７、０．０８０と低い値になっている。

一方、成功したコンセプトに関する学習データで訓練したＲＦでは、Precisionが単一コンセプトの実験で０．５１、複数コンセプトの実験で０．３８とランダムモデルの精度（０．０４８及び０．０５０）より明らかに良い精度となり、Recallもそれぞれ０．５５、０．７３と０．５をこえる結果となった。Ｆ値についても０．５３、０．４４となり、ランダムモデルの０．０８７、０．０８０を明らかにこえる精度となった。学習モデルがランダムモデルよりも十分に高い精度であったことは、ヒット商品のコンセプト創出における新たな意味付けのされかたに、非特許文献２で報告されている意味ネットワークの特徴量を説明変数とする法則性が存在していることを示唆している。

表１のデータから抽出したコンセプト生成の法則性が、どのような指標で表現されているかを確認するため、Random Forestsで構築したモデルに対する特徴量の寄与率を表４に整理した。表に示した寄与率の高い特徴量は、いずれも二つの概念の間の関係性を表現した指標である。例えば、Adamic-AdarIndexは、二つの概念の共通した隣接ノードの次数の対数の逆数の和である。また、Resource Allocation Indexは、二つの概念の共通した隣接ノードの次数の逆数の和である。Common Neighborsは共通した隣接ノードの数であり、Union Neighborsは二つの概念の隣接ノードの和集合である。一方、概念の次数といった関係性の表現ではない指標の寄与度は低い。例えば、ターゲット概念の次数や、接
続を予測したい概念の個々の次数の寄与度は１％であった。

本実験ではｗｏｒｄ２ｖｅｃで得られる実数ベクトルは特徴量に用いていないが、作成が比較的簡単であるという点では本研究で用いたリンク予測問題の指標と比べてメリットがある。しかし、ｗｏｒｄ２ｖｅｃが与える概念のベクトル表現は、Adamic-Adar Indexのような概念の間の関係性を与える量ではない。そのため、ｗｏｒｄ２ｖｅｃの与えるベクトル表現を特徴量に加えたとしても、概念の次数を表す特徴量のようにリンク予測への寄与は小さくなると考えられる。

４．２ 新しい商品コンセプトの創出
過去に成功したコンセプトの法則性を抽出したモデルを用いて、「醤油」、「ケチャップ」、「塩」の新しい商品コンセプトの創出を試みた。モデルの学習データには、４．１に示した「食べるラー油」についての単一コンセプトの実験のために作成した学習データをそのまま用いた。交差検定が不要なので訓練データとテストデータを分割せず、データの全てを訓練用のデータとしてRFを訓練した。すなわち、ランダムフォレストを用いて機械学習を行った。対象概念である「醤油」、「ケチャップ」、「塩」の、それぞれについて特徴量のデータを作成した。作成された特徴量のデータを訓練済みの学習機に入力することで、新たな意味付けに用いるべき概念の集合を得た。

リンク予測の精度が５０％前後であることと直観的に分かりやすいコンセプトを出力するため、学習機の出力に対して次のような処理を加えてコンセプトを創出した。まず、新たに接続すべきと判断された概念の集合Ｖ^newからランダムに一つ選んだ。次に、選ばれた概念ｖ⁰との意味的な距離をＶ^newの全ての概念について計算し、上位７個の概念を新しい意味として採用した。意味的な距離はｗｏｒｄ２ｖｅｃで得たベクトルのコサイン類似度を用いた。

その結果生成された「醤油」、「ケチャップ」、「塩」の新しいコンセプトの一例を図９に示す。新しく結合した概念群は、いずれも食品に関連した概念である一方、多くの概念は「醤油」、「ケチャップ」、「塩」とそれぞれ直接関係していない概念である。つまり、遠からず近からずの概念が選ばれている。例えば、「ケチャップ」と「レバー」は直接関係がない（ケチャップをレバーにかけることは一般的とはいえない）が、共に食品カテゴリに属する概念である。これらの意味ネットワークで表されたコンセプトを自然言語で表すことは容易である。

例えば「ケチャップ」の新しいコンセプトを“新たに「うまみ」を訴求することで、「ロース」や「レバー」といった肉に使ってもらえるケチャップ。特に「串」にする鳥や「丼」物に使ってもらう”といった具合である。このように、意味ネットワークで表現された新しいコンセプトを自動で創出することにより、誰でも理解が可能な自然言語で表現されたコンセプトを生成することが可能である。

以上のように、本手法が出力した意味ネットワークに類似した概念を抽出するといった簡便な処理を追加することで、「肉料理用のケチャップ」、「デザートに適した塩」といった、これまであまり一般的ではなかったが、商品として大きな違和感は感じさせないコンセプトを得ることができた。このことは、本手法を用いて新規で有効な商品コンセプトの生成、すなわち、装置による効果的な創造的なタスクの実行を行えることを示している。

５． 変形例
本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。

例えば、上記の実施形態において、第１の属性値を有する文書のデータを第１のタイミングに関連付けられた文書とし、第２の属性値を有する文書のデータを第２のタイミングに関連付けられた文書とした。すなわち、成功したコンセプトの登場前（第１のタイミング）及び登場後（第２のタイミング）の文書データを用いて、コンセプト創出のための関数を生成した。変形例として、第１の属性値を有する文書のデータを第１の著者による文書とし、第２の属性値を有する文書を第２の著者による文書としてもよい。ここで、第２の著者は、ベストセラーの書籍の著者や、著名な著者とし、第１の著者は、その他の著者、又は第１の著者を含む全ての著者として設定される。第１の属性値を有する文書のデータ及び第２の属性値を有する文書のデータを設定して前述の機械学習を実施し、コンセプト創出のための関数を生成することにより、書籍という対象概念について、商業的にに成功するコンセプトを創出することができる。

また、上記の実施形態において、図４に示すように、コンセプト創出装置１０は、３つの意味ネットワーク構築モジュールを有した。変形例として、３つの意味ネットワーク構築モジュールを２つ又は１の意味ネットワーク構築モジュールに統合してもよい。当該統合の結果、３つの意味ネットワーク構築モジュールにより行われていた処理と同様の処理が、統合後の意味ネットワーク構築モジュールにより実行される。

また、本発明のプログラムは、ＣＤ−ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。

１０ コンセプト創出装置、１１ 制御部、１２ ＣＰＵ、１３ メモリ、１４ 通信部、１５ 記憶部、１６ 入出力部

Claims (8)

1. 文書データから抽出された概念間のネットワークを構築する構築部と、
   第１の属性値を有する文書から前記構築部により構築された概念間の第１のネットワークを説明変数とし、第２の属性値を有する文書から前記構築部により構築された概念間の第２のネットワークを目的変数として機械学習を行い、概念間の第３のネットワークに応じて概念間の第４のネットワークを出力するために使用される関数を生成する生成部と
   を備えた情報処理装置。
2. 前記第１の属性値を有する文書は、第１のタイミングに関連付けられた文書であり、
   前記第２の属性値を有する文書は、前記第１のタイミングより後のタイミングである第２のタイミングに関連付けられた文書である、請求項１に記載の情報処理装置。
3. 前記第１の属性値を有する文書は、第１の著者による文書であり、
   前記第２の属性値を有する文書は、第２の著者による文書である、請求項１に記載の情報処理装置。
4. 前記機械学習は、ランダムフォレストを用いて行われる、請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記構築部により構築されるネットワークは、意味ネットワークにより表現される、請求項１から４のいずれか一項に記載の情報処理装置。
6. 前記構築部により構築されるネットワークは、前記概念をクラスとするクラス図により表現される、請求項１から４のいずれか一項に記載の情報処理装置。
7. 文書データから抽出された概念間のネットワークを構築する構築ステップと、
   第１の属性値を有する文書から前記構築ステップにより構築された概念間の第１のネットワークを説明変数とし、第２の属性値を有する文書から前記構築ステップにより構築された概念間の第２のネットワークを目的変数として機械学習を行い、概念間の第３のネットワークに応じて概念間の第４のネットワークを出力するために使用される関数を生成する生成ステップと
   を備える情報処理方法。
8. コンピュータを、
   文書データから抽出された概念間のネットワークを構築する構築部、
   第１の属性値を有する文書から前記構築部により構築された概念間の第１のネットワークを説明変数とし、第２の属性値を有する文書から前記構築部により構築された概念間の第２のネットワークを目的変数として機械学習を行い、概念間の第３のネットワークに応じて概念間の第４のネットワークを出力するために使用される関数を生成する生成部、
   として機能させるためのプログラム。