JP2018190136A - 興味判定装置、興味判定方法、及びプログラム - Google Patents

興味判定装置、興味判定方法、及びプログラム Download PDF

Info

Publication number
JP2018190136A
JP2018190136A JP2017091246A JP2017091246A JP2018190136A JP 2018190136 A JP2018190136 A JP 2018190136A JP 2017091246 A JP2017091246 A JP 2017091246A JP 2017091246 A JP2017091246 A JP 2017091246A JP 2018190136 A JP2018190136 A JP 2018190136A
Authority
JP
Japan
Prior art keywords
word
vector
user
interest
data group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017091246A
Other languages
English (en)
Other versions
JP6794921B2 (ja
Inventor
通将 稲葉
Michimasa Inaba
通将 稲葉
優矢 縄手
Yuya Nawate
優矢 縄手
智哉 高谷
Tomoya Takatani
智哉 高谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017091246A priority Critical patent/JP6794921B2/ja
Priority to KR1020180048008A priority patent/KR102057184B1/ko
Priority to BR102018008297-3A priority patent/BR102018008297A2/pt
Priority to RU2018115766A priority patent/RU2692427C1/ru
Priority to CN201810396276.4A priority patent/CN108804526B/zh
Priority to US15/964,388 priority patent/US11024326B2/en
Priority to EP18170121.0A priority patent/EP3399470A1/en
Publication of JP2018190136A publication Critical patent/JP2018190136A/ja
Application granted granted Critical
Publication of JP6794921B2 publication Critical patent/JP6794921B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】ユーザの対話に出現しない単語についても該ユーザの興味の有無を高精度に判定できること。
【解決手段】興味判定装置は、ユーザの対話情報に含まれる単語の特徴を示すデータ情報を取得するデータ取得手段と、データ取得手段により取得されたデータ群と、所定単語の特徴を示すデータ群と、を関連付けたデータ群を入力値とし、ユーザの興味の有無を示す情報を出力値とし、該入力値及び出力値を用いて学習する第１学習手段と、判定対象である単語の特徴を示すデータ群と、データ取得手段によって取得されたデータ群と、を関連付けたデータ群が第１学習手段に入力された場合に、該第１学習手段から出力された出力値に基づいて、該判定対象の単語に対するユーザの興味の有無を判定する判定手段と、を備える。
【選択図】図１

Description

本発明は、ユーザの興味を判定する興味判定装置、興味判定方法、及びプログラムに関する。
ユーザの対話に出現する単語の特徴を表すベクトルを用いて、そのユーザの興味の有無を判定する装置が知られている（例えば、特許文献１参照）。
特開２０１７−０２７１６８号公報
上記装置においては、ユーザの対話に出現する単語を用いて、そのユーザの興味の有無を判定している。このため、ユーザの対話に出現しない単語に対して、そのユーザの興味の有無を判定するのは困難となる。
本発明は、このような問題点を解決するためになされたものであり、ユーザの対話に出現しない単語についても該ユーザの興味の有無を高精度に判定できる興味判定装置、興味判定方法、及びプログラムを提供することを主たる目的とする。
上記目的を達成するための本発明の一態様は、ユーザの対話情報に含まれる単語の特徴を示すデータ情報を取得するデータ取得手段と、前記データ取得手段により取得されたデータ群と、所定単語の特徴を示すデータ群と、を関連付けたデータ群を入力値とし、ユーザの興味の有無を示す情報を出力値とし、該入力値及び出力値を用いて学習する第１学習手段と、判定対象である単語の特徴を示すデータ群と、前記データ取得手段によって取得されたデータ群と、を関連付けたデータ群が前記第１学習手段に入力された場合に、該第１学習手段から出力された出力値に基づいて、該判定対象の単語に対するユーザの興味の有無を判定する判定手段と、を備える、ことを特徴とする興味判定装置である。
この一態様において、前記データ取得手段によって取得される前記データ群は、ユーザの対話情報に含まれる単語の特徴を、定量化しベクトル化された情報として表現されるベクトル情報であり、前記第１学習手段は、前記データ取得手段により取得された前記ベクトル情報と、予め設定された所定単語の特徴を示すデータ群としてのベクトル情報と、を関連付けたベクトル情報を入力値とし、ユーザの興味の有無を示す情報を出力値とし、該入力値及び出力値を用いて学習し、前記判定手段は、判定対象である単語の特徴を示す前記ベクトル情報と、前記データ取得手段によって取得されたベクトル情報と、を関連付けたベクトル情報が前記第１学習手段に入力された場合に、該第１学習手段から出力された出力値に基づいて、該判定対象の単語に対するユーザの興味の有無を判定してもよい。
この一態様において、前記データ取得手段によって取得される前記データ群は、ユーザの対話情報に含まれる単語の特徴を、該ユーザの嗜好を示すモデルとして表した嗜好モデルであってもよい。
この一態様において、前記データ取得手段は、前記ユーザの対話情報の中で、該ユーザが興味を示す興味推定単語と、該興味推定単語から所定個前の前半文脈語と、該興味推定単語から所定個後の後半文脈語と、を単語のベクトルに変換する単語ベクトル変換部と、前記単語ベクトル変換部により変換された前半文脈語及び後半文脈語のベクトルを、第２学習手段を用いて、それぞれ、文の特徴を示す前文脈ベクトルおよび後文脈ベクトルを変換し、該変換した前文脈ベクトルおよび後文脈ベクトルと前記興味推定単語のベクトルと、を結合した結合ベクトルを生成する文ベクトル生成部と、を有していてもよい。
この一態様において、前記文ベクトル生成部は、ユーザが興味を示した対話情報に関して、前記結合ベクトルをそれぞれ生成し、前記データ取得手段は、前記文ベクトル生成部により生成された前記各結合ベクトルの平均値を、前記嗜好モデルにおけるユーザのベクトル情報として算出する嗜好モデル生成部を更に有していてもよい。
この一態様において、前記文ベクトル生成部により生成される結合ベクトルを入力値とし、ユーザの興味の有無を示す情報を出力値とし、該入力値及び出力値を用いて最適化される第３学習手段を更に備えていてもよい。
この一態様において、前記第１乃至第３学習手段は、同時に最適化されてもよい。
この一態様において、前記第１乃至第３学習手段は、ニューラルネットワークで構成されていてもよい。
上記目的を達成するための本発明の一態様は、ユーザの対話情報に含まれる単語の特徴を示すデータ情報を取得するステップと、前記取得されたデータ群と、所定単語の特徴を示すデータ群と、を関連付けたデータ群を入力値とし、ユーザの興味の有無を示す情報を出力値とし、該入力値及び出力値を用いて第１学習手段を学習させるステップと、判定対象である単語の特徴を示すデータ群と、前記取得されたデータ群と、を関連付けたデータ群が前記第１学習手段に入力された場合に、該第１学習手段から出力された出力値に基づいて、該判定対象の単語に対するユーザの興味の有無を判定するステップと、を含む、ことを特徴とする興味判定方法であってもよい。
上記目的を達成するための本発明の一態様は、ユーザの対話情報に含まれる単語の特徴を示すデータ情報を取得する処理と、前記取得されたデータ群と、所定単語の特徴を示すデータ群と、を関連付けたデータ群を入力値とし、ユーザの興味の有無を示す情報を出力値とし、該入力値及び出力値を用いて第１学習手段を学習させる処理と、判定対象である単語の特徴を示すデータ群と、前記取得されたデータ群と、を関連付けたデータ群が前記第１学習手段に入力された場合に、該第１学習手段から出力された出力値に基づいて、該判定対象の単語に対するユーザの興味の有無を判定する処理と、をコンピュータに実行させることを特徴とするプログラムであってもよい。
本発明によれば、ユーザの対話に出現しない単語についても該ユーザの興味の有無を高精度に判定できる興味判定装置、興味判定方法、及びプログラムを提供することができる。
本発明の一実施形態に係る興味判定装置の概略的なシステム構成を示すブロック図である。 対話ログから文ベクトルを生成する一例を示す図である。 第１及び第２ニューラルネットワークの構造を説明するための図である。 第１及び第２ニューラルネットワークの最適化方法を説明するための図である。 嗜好モデルの生成過程の一例を説明した図である。 第３ニューラルネットワークの構造を示す図である。 第３ニューラルネットワークの最適化方法を説明するための図である。 判定対象の単語に対するユーザの興味の有無判定方法を説明する図である。 本発明の一実施形態に係る興味判定方法のフローを示す概略的なフローチャートである。 使用したデータの統計情報の一例を示す図である。 実験結果を示す図である。 実験で用いた１対話の前半から一部を抜き出した図である。 uniteモデルで潜在的興味の推定を行った結果の一部を示す図である。 ＳＶＭで推定を行った結果の一部を示す図である。
以下、図面を参照して本発明の実施の形態について説明する。
本発明の一実施形態に係る興味判定装置は、ユーザの対話ログ（対話情報）に出現していないがユーザが興味を示す可能性がある潜在的な単語（以下、潜在的興味対象単語）に対しても、ユーザの興味を高精度に判定できるものである。
例えば、従来、ユーザの対話に出現する単語を用いてそのユーザの興味の有無を判定していた。このため、ユーザの対話に出現しない単語に対しては、そのユーザの興味の有無を判定するのは困難となっていた。
これに対し、本実施形態に係る興味判定装置は、ユーザの対話情報に含まれる単語の特徴を示すベクトル情報であって、ユーザの嗜好を示す嗜好モデルを取得し、取得された嗜好モデルのベクトル情報と、予め設定された所定単語の特徴を示すベクトル情報と、を関連付けたベクトル情報を入力値とし、ユーザの興味の有無を示す情報を出力値とした学習器（後述の第３ニューラルネットワーク９）を、該入力値及び出力値を用いて学習させ、判定対象である単語の特徴を示すベクトル情報と、嗜好モデルのベクトル情報と、を関連付けたベクトル情報が学習器に入力された場合に、該学習器から出力された出力値に基づいて、該判定対象の単語に対するユーザの興味の有無を判定する。ここで学習とは、ニューラルネットワークを最適化することを意味する。
本実施形態に係る興味判定装置において、上述の如く、ユーザの嗜好を総合的に集約した嗜好モデルと、対話情報には出現していない任意の所定単語と、を関連付けたベクトル情報を用いて、学習器（学習手段）を学習させる。したがって、学習器には、対話情報に出現するユーザが興味を示す単語による嗜好だけでなく、対話情報には出現しないがユーザが興味を示す単語も含む所定単語による嗜好も反映される。すなわち、この学習器を用いて、判定対象の単語に対するユーザの興味の有無を判定することで、ユーザの対話に出現する単語だけでなく、出現しない単語についても該ユーザの興味の有無を高精度に判定できる。
本実施形態において、上述の如く、「予め設定された所定単語」と「判定対象の単語」とは、これらがたまたま同じ場合であっても、違う場合でもあっても良い。本実施形態に係る興味判定装置１は、後者のような違う場合であっても、ユーザの興味の有無を精度良く判定できる。
なお、対話ログに出現しない、例えば、名詞などの単語を判定する上で、対話ログ中の話題に対するユーザの興味が手がかりとなると考えられる。そこで、本実施形態においては、後述の如く、まず対話ログ中の全単語に対してユーザが興味を持っているか否かを判定する。また、ユーザがある単語に興味があるか否かは、その単語の前後の文脈が重要であると推定できる。従って、本実施形態においては、この単語前後の文脈を考慮して、ユーザが興味を持っているか否かを判定する。
図１は、本発明の一実施形態に係る興味判定装置の概略的なシステム構成を示すブロック図である。本実施形態に係る興味判定装置１は、形態素解析を行う形態素解析部２と、単語をベクトルに変換する単語ベクトル変換部３と、文ベクトルを生成する文ベクトル生成部４と、嗜好モデルを生成する嗜好モデル生成部５と、ユーザの興味を判定する興味判定部６と、学習器である第１乃至第３ニューラルネットワーク７、８、９と、を備えている。
なお、興味判定装置１は、例えば、演算処理等を行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるマイクロコンピュータを中心にして、ハードウェア構成されている。ＣＰＵ、メモリ、及びインターフェイス部は、データバスなどを介して相互に接続されている。
形態素解析部２は、対話ログ（対話のテキスト情報）に対し形態素解析を行う。対話ログは、例えば、メモリなどに記憶されている。なお、対話ログは、入力装置などを介して、適宜、形態素解析部２に入力される構成であってもよい。形態素解析部２は、対話ログを形態素（単語）に分割し、単語の集合である単語列を生成する。形態素解析部２は、例えば、Ｍｅｃａｂ（日本語形態素解析システム）などを用いて、形態素解析を行う。
単語ベクトル変換部３は、単語列を、その単語列の意味を表す単語ベクトルに変換することで、単語の意味を数値化する。単語ベクトル変換部３は、形態素解析部２により生成された単語列を、単語ベクトル列に変換する。単語ベクトル変換部３は、例えば、Ｗｏｒｄ２Ｖｅｃ［Ｍｉｋｏｌｏｖ１３］（単語をベクトル化して表現する定量化手法）などを用いて、形態素解析部２により生成された単語列を、ｄ次元の単語ベクトル列ｘ＝（ｘ１、ｘ２、・・・・、ｘｔ、ｘｋ）に変換する。ここで、興味推定単語ｘｔとは、例えば、ユーザが興味を持っていると推定される単語であり、メモリなどに予め設定されている。
文ベクトル生成部４は、単語ベクトル列を、その文の特徴を示す文ベクトルに変換することで、その文の意味を凝縮する。文ベクトル生成部４は、単語ベクトル変換部３により変換された単語ベクトル列を、文ベクトル列に変換する。
ここで、上記文ベクトル列への変換方法について、具体例を用いて詳細に説明する。
ユーザの興味推定に有用なのは、興味推定単語ｘtの周辺の単語であると考えられる。このため、文ベクトル生成部４は、この興味推定単語ｘｔの前後J個の単語のベクトルを文脈として用いる。
すなわち、文ベクトル生成部４は、興味推定単語ｘｔより前の単語のベクトル列ｘｆ＝（ｘｔ−１、ｘｔ−（ｌ＋１）、・・・、ｘｔ−１）と、後の単語のベクトル列ｘｓ＝（ｘｔ＋１、ｘｔ＋２、・・・、ｘｔ＋ｌ）とを、それぞれ、第１ニューラルネットワーク７を用いて、文ベクトルに変換する。
第１ニューラルネットワーク７は、第２学習手段の一具体例である。第１ニューラルネットワーク７は、例えば、ＲＮＮ（Recurrent neural Network）である。このＲＮＮは、中間層にＬＳＴＭ（Long Short Term Memory）を有している。第１ニューラルネットワーク７の代わりに、ＳＶＭ（Support Vector Machine）などの他の学習器が用いられてもよい。なお、後述の実験結果が示すように、ＲＮＮの第１ニューラルネットワーク７を用いるのが、判定精度が良好となるためより好ましい。
第１ニューラルネットワーク７への入力時には、各単語ベクトル列の終端を意味する＜ＥＯＳ＞を挿入する。この＜ＥＯＳ＞もベクトルであり、その要素は１次元目から、ｄ次元目までが０、ｄ＋１次元目が１のベクトルである。各単語ベクトル列は、逐次第１ニューラルネットワーク７に入力され、＜ＥＯＳ＞ベクトルが入力された時点の第１ニューラルネットワーク７の出力が文ベクトルとなる。
文ベクトル生成部４は、このｘｆとｘｓをそれぞれ第１ニューラルネットワーク７によって文ベクトル列ｖｉ ｆ、ｖｉ ｓにそれぞれ変換する。例えば、図２に示す如く、文ベクトル生成部４は、「寝る前ＳＮＳを見ます」という対話ログに基づいて、文ベクトルを生成する。この対話ログにおける興味推定単語は「ＳＮＳ」である。なお、図２の単語は、日本語で表記されているが、実際にはｗｏｒｄ２ｖｅｃなどで変換済みのベクトルである。
文ベクトル生成部４は、最初に、単語ベクトル列ｘｆ(「寝る」、「前」、「＜ＥＯＳ＞」)を、文頭から１単語ずつ第１ニューラルネットワーク７に入力していき、＜ＥＯＳ＞が入力された時点での第１ニューラルネットワーク７の出力を、前文脈ベクトルｖｆとする。文ベクトル生成部４は、同様に、単語ベクトル列ｘｓ（「を」、「見」、「ます」、「＜ＥＯＳ＞」に基づいて、後文脈ベクトルｖｉ ｓを生成する。文ベクトル生成部４は、興味推定単語（「ＳＮＳ」）を第１ニューラルネットワーク７に入力せず、その単語ベクトルをそのまま興味推定単語ｘｔとして利用する。
次に、文ベクトル生成部４は、前文脈ベクトルｖｆ、興味推定単語ｘｔのベクトル、および後文脈ベクトルｖｓを結合した結合ベクトルｖｓｅｎｔ＝［ｖｆ；ｘｔ；ｖｓ］を生成する。なお、セミコロンはベクトルの結合を表し、以下同様に表記する。文ベクトル生成部４は、この結合ベクトルｖｓｅｎｔを用いて、興味推定単語ｘｔに対するユーザの興味有無の判定を行う。文ベクトル生成部４は、結合ベクトルｖｓｅｎｔを第２ニューラルネットワーク８に入力する。
第２ニューラルネットワーク８は、第３学習手段の一具体例である。この第２ニューラルネットワーク８は、２次元の確率分布であり、それぞれ興味推定単語ｘｔに興味がある「興味；有り」の確率と、興味がない「興味；無し」の確率と、を出力する。第２ニューラルネットワーク８は、「興味；有り」の確率のみを出力する構成であってもよい。
第２ニューラルネットワーク８の代わりに、ＳＶＭ（Support Vector Machine）などの他の学習器が用いられてもよい。なお、後述の実験結果が示すように、全結合層の第２ニューラルネットワーク８を用いるのが、判定精度が良好となるためより好ましい。
図３は、上述した第１及び第２ニューラルネットワーク７、８の構造を説明するための図である。図３に示す如く、形態素解析部２は、対話ログに対し形態素解析を行い、興味推定単語（判定単語）と、その判定単語より前の前半文脈語（単語１、・・・、単語Ｎ、ＥＯＳ）と、その判定単語より後の後半文脈語（単語１、・・・、単語Ｎ、ＥＯＳ）と、を単語ベクトル変換部３に出力する。単語ベクトル変換部３は、形態素解析部２からの前半文脈語、興味推定単語、および後半文脈語をそれぞれ単語ベクトル列に変換し、変換した単語ベクトル列を文ベクトル生成部４に出力する。
文ベクトル生成部４は、単語ベクトル変換部３からの前半文脈語、および後半文脈語、の単語ベクトル列を、第１ニューラルネットワーク７に入力する。第１ニューラルネットワーク７は、その入力に応じて、前文脈ベクトルおよび後文脈ベクトルを出力する。文ベクトル生成部４は、第１ニューラルネットワーク７から出力される前文脈ベクトルおよび後文脈ベクトルと、興味推定単語のベクトルと、を、ベクトル結合器を用いて結合することで結合ベクトルｖｓｅｎｔを生成し、生成した結合ベクトルｖｓｅｎｔを第２ニューラルネットワーク８に入力する。
ここで、第２ニューラルネットワーク８は、例えば、全結合層（Ｒｅｓ−Ｎｅｔ８層）として構成されている。第２ニューラルネットワーク８は、上記入力に対して、２次元のクラス「興味；有り」の確率と、クラス「興味；無し」の確率と、を出力する。
文ベクトル生成部４は、例えば、メモリなどに記憶された学習データを用いて、上述した第１及び第２ニューラルネットワーク７、８を最適化する。
図４は、第１及び第２ニューラルネットワークの最適化方法を説明するための図である。学習データは、例えば、対話ログ（ｎ）と、その対話ログ（ｎ）（ｎ＝１、・・・、Ｎ）に対するユーザの興味を示す興味タグ（ｎ）と、を対応付けたデータである。クラス「興味；有り」の場合、興味タグ（ｎ）には１が設定され（興味タグ（ｎ）＝１）、クラス「興味；無し」の場合、興味タグ（ｎ）には０が設定される（興味タグ（ｎ）＝０）。
図４に示す如く、全対話ログ（ｎ）（ｎ＝１、・・・、Ｎ）に関して上述した処理を繰り返し、さらにエポック（epoch）回数繰返し、第１及び第２ニューラルネットワーク７、８を最適化する。このとき、文ベクトル生成部４は、対話ログ（ｎ）に対し、第２ニューラルネットワーク８から出力されるクラス「興味；有り」の確率およびクラス「興味；無し」の確率と、対話ログ（ｎ）に対応付けられた興味タグ（ｎ）と、の誤差を最小化するように、第１及び第２ニューラルネットワーク７、８を最適化する。
文ベクトル生成部４は、上述の最適化した第２ニューラルネットワーク８に基づいて、興味推定単語ｘｔに関するユーザの興味有無を判定する。このとき「興味あり」と判定された結合ベクトルｖｓｅｎｔは、主目的である潜在的興味推定のための手掛かりと見なせる。したがって、文ベクトル生成部４は、「興味あり」と判定した場合に、その結合ベクトルｖｓｅｎｔをメモリなどに保存する。本実施形態に係る興味判定装置１は、後述の如く、このメモリに保存された結合ベクトルｖｓｅｎｔを基づいて嗜好モデルの生成し、この嗜好モデルに基づいて、判定対象の単語に対するユーザの興味有無の判定を行う。
嗜好モデル生成部５は、ユーザ嗜好を表現する嗜好モデルを生成する。これにより、ユーザが興味を持つ単語情報を集約できる。すなわち、この嗜好モデルは、ユーザの嗜好を総合的に集約した情報となる。したがって、このユーザ嗜好を高精度に反映した嗜好モデルを用いることで、後述の如く、ユーザの興味有無を高精度に判定できる。
次に、嗜好モデルの生成方法について詳細に説明する。
嗜好モデルは、各ユーザの対話ログに含まれる単語の特徴を示すベクトル情報をユーザ毎に分類した情報である。嗜好モデル生成部５は、文ベクトル生成部４により生成された結合ベクトルｖｓｅｎｔに基づいて、嗜好モデルを生成する。
嗜好モデル生成部５は、上記メモリに保存した結合ベクトルｖｓｅｎｔに基づいて、例えば、ユーザ毎の結合ベクトルｖｓｅｎｔの平均値を嗜好モデルとして算出する。このように、結合ベクトルｖｓｅｎｔの平均値を算出することで、より高精度にユーザ嗜好を表現した嗜好モデルを生成でき、この嗜好モデルを用いて、後述の如く、判定対象の単語に対して、ユーザの興味の有無をより高精度に判定できる。
なお、嗜好モデル生成部５は、ユーザ毎の結合ベクトルｖｓｅｎｔの平均値を嗜好モデルとして算出しているが、これに限定されない。例えば、嗜好モデル生成部５は、上記メモリに保存した結合ベクトルｖｓｅｎｔを加算した加算値を嗜好モデルとして算出してもよい。さらに、嗜好モデル生成部５は、上記メモリに保存した結合ベクトルｖｓｅｎｔにそれぞれ重み付けを行い、加算した加算値を嗜好モデルとして算出してもよく、ユーザ嗜好がより適切に反映できれば任意の算出方法を適用してもよい。
図５は、嗜好モデルの生成過程の一例を説明した図である。
例えば、図５に示す如く、形態素解析部２は、学習データ（興味タグ＝１（興味有り判定）である対話ログ（１）〜対話ログ（Ｎ１））に対し形態素解析を行い、前半文脈語と、興味推定単語と、後半文脈語と、を単語ベクトル変換部３に出力する。単語ベクトル変換部３は、形態素解析部２からの前半文脈語、興味推定単語、および後半文脈語をそれぞれ単語ベクトル列に変換し、変換した単語ベクトル列を文ベクトル生成部４に出力する。
文ベクトル生成部４は、単語ベクトル変換部３からの前半文脈語および後半文脈語の単語ベクトル列を、上記最適化された第１ニューラルネットワーク７に入力する。最適化された第１ニューラルネットワーク７は、その入力に応じて、前文脈ベクトルおよび後文脈ベクトルを出力する。文ベクトル生成部４は、最適化された第１ニューラルネットワーク７から出力される前文脈ベクトルおよび後文脈ベクトルと、興味推定単語のベクトルと、を、ベクトル結合器を用いて、結合し、結合ベクトルｖｓｅｎｔを生成する。
文ベクトル生成部４のベクトル結合器は、上述の如く、対話ログ（１）〜対話ログ（Ｎ１）に関して、それぞれ、結合ベクトルｖｓｅｎｔを生成し、出力する。
嗜好モデル生成部５は、ベクトル結合器からの対話ログ（１）〜対話ログ（Ｎ１）の結合ベクトルｖｓｅｎｔの平均値を算出（平均化処理）することで、嗜好モデルを生成する。
なお、嗜好モデルは、予めメモリになどに記憶されていてもよい。この場合、興味判定部６は、メモリに記憶された嗜好モデルを適宜読み込むようにしてもよい。
興味判定部６は、任意の判定対象の単語に対して、ユーザの興味の有無を判定することで、対話ログにない単語に対しても興味の有無を判定する。興味判定部６は、判定手段の一具体例である。興味判定部６は、嗜好モデル生成部５により生成された嗜好モデルに基づき、第３ニューラルネットワーク９を用いて、任意の単語に対して、ユーザの興味の有無を判定する。第３ニューラルネットワーク９は、第１学習手段の一具体例である。
図６は、第３ニューラルネットワークの構造を示す図である。第３ニューラルネットワーク９は、例えば、第２ニューラルネットワーク８と同様に、全結合層（Ｒｅｓ−Ｎｅｔ８層）として構成されている。
なお、第３ニューラルネットワーク９の代わりに、ＳＶＭ（Support Vector Machine）などの他の学習器が用いられてもよい。なお、後述の実験結果が示すように、全結合層の第３ニューラルネットワーク９を用いるのが、判定精度が良好となるため最も好ましい。
単語ベクトル変換部３は、単語を単語ベクトル列に変換し、変換した単語ベクトル列を文ベクトル生成部４に出力する。文ベクトル生成部４のベクトル結合器は、単語ベクトル変換部３からの単語ベクトル列と、嗜好モデル生成部５からの嗜好モデルの結合ベクトルｖｓｅｎｔの平均値と、を結合した結合ベクトルを第３ニューラルネットワーク９に入力する。ここで、単語の単語ベクトル列に、嗜好モデルの結合ベクトルｖｓｅｎｔの平均値を結合するのは、その単語に嗜好モデルの嗜好を付与する意味合いがあり、この結合により、単語に嗜好モデルの嗜好が反映される。
例えば、ユーザｕｊ（ｊ＝０、１、・・・）に関する結合ベクトルｖｓｅｎｔの平均値をａｕｊとする。また、任意の単語の単語ベクトル列をｗｕｊ＝（ｗ１ ｕｊ、ｗ２ ｕｊ、・・・、ｗｎ ｕｊ）とする。ベクトル結合器は、結合ベクトルｖｓｅｎｔの平均値ａｕｊと、単語ベクトル列ｗｕｊと、を結合した結合ベクトル［ａｕｊ；ｗｉ ｕｊ］を第３ニューラルネットワーク９に入力する。第３ニューラルネットワーク９は、その入力に応じて、２次元のクラス「興味；有り」の確率と、クラス「興味；無し」の確率と、を出力する。第３ニューラルネットワーク９は、その入力に応じて、「興味；有り」の確率のみを出力する構成であってよい。
興味判定部６は、上述のように構成された第３ニューラルネットワーク９を最適化する。興味判定部６は、例えば、メモリなどに記憶された学習データを用いて、上述した第３ニューラルネットワーク９を最適化する。
図７は、第３ニューラルネットワークの最適化方法を説明するための図である。
第３ニューラルネットワーク９の最適化に用いられる学習データは、例えば、所定単語（ｍ）と、その所定単語（ｍ）（ｍ＝１、・・・、Ｍ）に対するユーザの興味を示す興味タグ（ｍ）と、を対応付けたデータである。所定単語は、例えば、ユーザの対話ログに出現しない単語も含む任意の単語である。
クラス「興味；有り」の場合、興味タグ（ｍ）には１が設定され（興味タグ（ｍ）＝１）、クラス「興味；無し」の場合、興味タグ（ｍ）には０が設定される（興味タグ（ｍ）＝０）。学習データは、例えば、メモリなどに予め記憶されている。
図７に示す如く、全所定単語（ｍ）（ｍ＝１、・・・、Ｍ）に関して上述した処理を繰り返し、さらにエポック（epoch）回数繰返し、第３ニューラルネットワーク９を最適化する。このとき、興味判定部６は、所定単語（ｍ）に対し、第３ニューラルネットワーク９から出力されるクラス「興味；有り」の確率およびクラス「興味；無し」の確率と、所定単語（ｍ）に対応付けられた興味タグ（ｍ）と、の誤差を最小化するように、第３ニューラルネットワーク９を最適化する。
興味判定部６は、嗜好モデル生成部５により生成された嗜好モデルに基づき、上述のように最適化された第３ニューラルネットワーク９を用いて、判定対象の単語に対して、ユーザの興味の有無を判定する。
上述の如く、所定単語の単語ベクトル列に、嗜好モデルの結合ベクトルｖｓｅｎｔの平均値を結合するのは、その所定単語に嗜好モデルの嗜好を付与する意味合いがあり、この結合により、所定単語に嗜好モデルの嗜好が反映される。そして、所定単語は対話ログに出現しない単語も含む任意の単語であることから、対話ログに出現しない単語についてもユーザの嗜好を反映することができる。このようにして、生成した学習データを用いて第３ニューラルネットワーク９を最適化し、この最適化した第３ニューラルネットワーク９を用いることで、ユーザの対話に出現する単語だけでなく、出現しない単語についても該ユーザの興味の有無を高精度に判定できる。
図８は、判定対象の単語に対するユーザの興味の有無判定方法を説明するための図である。単語ベクトル変換部３は、判定対象の単語を単語ベクトル列に変換し、変換した単語ベクトル列を文ベクトル生成部４に出力する。文ベクトル生成部４のベクトル結合器は、単語ベクトル変換部３からの単語ベクトル列ｗｕｊと、嗜好モデル生成部５からの嗜好モデルの結合ベクトルｖｓｅｎｔの平均値ａｕｊと、を結合した結合ベクトル［ａｕｊ；ｗｉ ｕｊ］を生成する。
そして、文ベクトル生成部４は、生成した結合ベクトル［ａｕｊ；ｗｉ ｕｊ］を第３ニューラルネットワーク９に入力する。第３ニューラルネットワーク９は、その入力に応じて、２次元のクラス「興味；有り」の確率と、クラス「興味；無し」の確率と、を出力する。この第３ニューラルネットワーク９の出力は、対話ログ中の単語の興味推定時と同様、興味の有無に関する２次元の確率分布である。興味判定部６は、第３ニューラルネットワーク９から出力されるクラス「興味；有り」の確率と、クラス「興味；無し」の確率と、に基づいて、判定対象の単語に対する潜在的興味有無を判定できる。
本実施形態において、上述した第１乃至第３ニューラルネットワーク７、８、９は、互いに独立ではなく、相互に関連していてもよい。すなわち、第１および第２ニューラルネットワーク８の出力に応じて、第３ニューラルネットワーク９の入力が変化する関係となっていてもよい。
さらに、これら第１乃至第３ニューラルネットワーク７、８、９を効率良く学習させるため、例えば、上述した第２ニューラルネットワーク８の最適化時における正解との誤差と、第３ニューラルネットワーク９の最適化時における正解との誤差と、の和を損失関数とする。このように、損失関数を用いて第１乃至第３ニューラルネットワーク９を同時に最適化することで、対話ログからの適切な文ベクトルの抽出できつつ、潜在的興味対象単語に対しても興味の有無を高精度に判定できる。
次に、上述した本実施形態に係る興味判定装置１による興味判定方法のフローを説明する。図９は、本実施形態に係る興味判定方法のフローを示す概略的なフローチャートである。
第１及び第２ニューラルネットワーク７、８は、ユーザの対話ログに基づいて、最適化される（ステップＳ１０１）。
嗜好モデル生成部５は、最適化された第１ニューラルネットワーク７から出力される文ベクトルを結合した結合ベクトルｖｓｅｎｔの平均値を算出することで、嗜好モデルを生成する（ステップＳ１０２）。
第３ニューラルネットワーク９は、嗜好モデルの結合ベクトルの平均値と、予め設定された所定単語のベクトルと、を結合した結合ベクトルと、を用いて、学習し、最適化される（ステップＳ１０３）。
最適化された第３ニューラルネットワーク９は、判定対象の単語のベクトルと、嗜好モデルの結合ベクトルの平均値と、を結合したベクトルが入力されると、クラス「興味；有り」の確率、および、クラス「興味；無し」の確率を、出力する（ステップＳ１０４）。
興味判定部６は、最適化された第３ニューラルネットワーク９から出力されるクラス「興味；有り」の確率、および、クラス「興味；無し」の確率に基づいて、該判定対象の単語に対するユーザの興味の有無を判定する（ステップＳ１０５）。
次に、本実施形態に係る興味判定装置１において、２人のユーザによる対話データを用いて性能評価実験を行った。その実験結果について、以下に説明する。
対話データ中の全ての名詞には、ユーザの興味の有無を意味するラベルを付与している。性能評価実験において、対話データは、１対話に含まれる発話数で２等分され、前半部を興味判定装置１に与える対話ログ、後半部の名詞を潜在的興味の推定対象とした(後半部の対話データは興味判定装置１には与えない)。潜在的興味推定の名詞は、後半部の対話データにおいて、どのユーザの発話に含まれていたかという観点からユーザ別に与えられ、その名詞を含む発話を行ったユーザが興味を持つか否かを判定することで本実施形態に係る興味判定装置１を評価する。
ここで、実験で使用した対話データについて詳細に説明する。
対話データはクラウドソーシングサービスで被験者を募集し、１対話１時間のデータを１００件収集した。学習および評価のため、収集した対話データに含まれる全ての名詞に対してユーザが興味を持っているか否かのアノテーションを付与した。名詞の抽出は形態素解析部２により自動で行った。アノテータは、対話データと対話中で使用された名詞が与えられ、各名詞に対し、「興味あり」もしくは「判断不能ｏｒ興味なし」の２種類のラベルのいずれかを付与した。付与基準は「アノテーション対象の名詞を含む発話をしたユーザに「あなた〇〇(当該名詞が入る)」に興味がありますか?」もしくは「あなたは「〇〇(当該名詞が入る)」に関する話題に興味がありますか?」という質問をした際の、そのユーザの予想回答」とした。質問の「〇〇に名詞を入れた際、日本語として意味が通らない場合は「判断不能・興味なし」のラベルを付与することとした。以上の基準により、募集したアノテータ１０名が個別にアノテーションを行い、多数決により正解ラベルを決定した。「興味あり」と「判断不能ｏｒ興味なし」がそれぞれ同数(５名ずつ)だった場合は「判断不能or興味なし」とした。図１０は、使用したデータの統計情報の一例を示す図である。アノテータ間のアノテーションの一致度を示すFleiss'Kappaは０．５０であり、中程度の一致を示した。
次に、実験設定について詳細に説明する。
Ｗｏｒｄ２Ｖｅｃは、ウインドウサイズは５、最小出現頻度は１０、ベクトルの次元数は１０００とし、約１００ＧＢのデータを用いて学習を行った。文脈ベクトルヘのエンコードには、興味推定名詞の前後５個ずつを用いた(Ｊ＝５)。文脈ベクトルヘのエンコードを行うＲＮＮ（第１ニューラルネットワーク７）の入力層は１００１次元、対話中の名詞の興味推定のための第２ニューラルネットワーク８の入力層は３０００次元、潜在的興味推定のための第３ニューラルネットワーク９の入力層は４０００次元、その他の中間層の次元は全て１０００次元とした。また、全ての中間層にdropoutを適用し、dropout率は３０％とした。学習エポック数は３０とし、１０分割交差検定で「興味あり」判定の精度、再現率、Ｆ値により評価した。
次に、比較手法について詳細に説明する。
本実施形態に係る手法の評価のため、２つのニューラルネットワークを同時に更新するuniteモデルと、潜在的興味推定のための第３ニューラルネットワーク９を分離したseparateモデル、および第１乃至第３ニューラルネットワーク７、８、９の層の数を全て１層としたshallowモデルと、全て８層のＲｅｓＮｅｔ[Ｈｅ１６]としたdeepモデルを用意した。separateモデルは、文脈ベクトルヘのエンコードのための第１及び第２ニューラルネットワーク７、８と、第３ニューラルネットワーク９と、を分離し、損失関数も別とした。また、この第３ニューラルネットワーク９を分離するため、潜在的興味推定のために第１ニューラルネットワーク７の出力(文脈ベクトル)を使用せず、平均文ベクトルの代わりに平均単語ベクトルを用いる。平均する単語ベクトルの選択には、uniteモデルと同じく、第２ニューラルネットワーク８の結果を用いる。実験では、上記のそれぞれを組み合せたseparate shallow、separate deep、unite shallow、unite deepの４つの設定で実験を行った。またベースライン手法として、以下の２つの手法による実験を行った。
ベースライン１:単語類似度
ベースラインとして、対話ログ中の名詞との類似度により、潜在的興味の推定を行う。本手法は、対話ログに含まれる全名詞をＷｏｒｄ２Ｖｅｃにより単語ベクトルに変換し、その単語ベクトルの平均と、潜在的興味推定名詞のベクトルとのコサイン類似度により「興味あり」か「判断不能ｏｒ興味なし」か、を判定する。類似度の閾値は０．０から１．０まで０．１刻みで変更させて評価を行い、Ｆ値が最大となった結果をこの手法の結果とする。
ベースライン２:ＳＶＭ
もう一つのベースラインとして、ＳＶＭによる判定を行う。本手法では、ベースライン１の単語類似度で用いた平均ベクトルと、潜在的興味推定名詞のベクトルを結合したベクトルを入カベクトルとし、潜在的興味の有無をＳＶＭにより２値分類する。
次に、実験結果について、詳細に説明する。
図１１は、実験結果を示す図である。図１１に示す如く、unite deepのＦ値が最も高く、続いて、unite shallow、separate shallow、separate deepの順となり、上記ベースライン手法の単語類似度およびＳＶＭよりも優れた性能を示した。
単語類似度の手法では、対話ログに含まれる全名詞を用いたため、平均単語ベクトルの計算に興味の有無とは無関係の単語も多く使用されることになったため、低い性能に留まったと考えられる。
上記ニューラルネットベースの興味判定方法がＳＶＭよりも優れていた理由としては、ニューラルネットベースの４つのモデルがＲＮＮを用いて発話の文脈情報を利用しているのに対し、ＳＶＭモデルが発話中の名詞のみに注目して推定していることが考えられる。
ニューラルネットベースのモデル同士で比較すると、separate shallowモデルとseparate deepモデルに対して、unite shal1owモデルおよびunite deepモデルが優れた推定結果を示している。
このことから、２つの累積誤差を統合してモデル全体を学習させるという本実施形態に係る興味判定方法が有効であったことが分かる。simpleとdeepの違いに注目すると、separateモデルにおいては、shallowの方がdeepよりＦ値が大きく良い結果となっている。一方でuniteモデルにおいては、shallowよりdeepの方が、わずかにＦ値が大きく良い結果になっている。特に、unite deepモデルは全ての手法の中でも最良の結果となっている。このことから、多くの層を持つニューラルネットワークとuniteモデルの組み合わせが有効であったことが示唆された。
図１２は、実験で用いた１対話の前半から一部を抜き出した図である。この対話中の後半から抽出した潜在的興味推定名詞に対して、uniteモデルで潜在的興味の判定を行った結果の一部を図１３に、ＳＶＭで判定を行った結果の一部を図１４に示す。図１３及び１４では「興味あり」を○、「不明・興味なし」を×で表す。
対話例より、ユーザ１とユーザ２はともにお酒に興味を持っていることがわかる。ここから、酒のおつまみに対して一定の興味があると考えられるが、本実施形態に係るニューラルネットワーク、ＳＶＭともに「チーズ」、「燻製」、「生ハム」に対して正しく興味判定ができていることがわかる。また、本実施形態に係るニューラルネットワークによれば、ユーザ１は「楽器」や「ギター」など音楽に関するものに興味があり、ユーザ２はあまり興味が無いことも正しく判定できている。一方、ＳＶＭでは、話者別の判定に失敗しており、ユーザ１とユーザ２で共通している単語「チーズ」、「楽器」、「ギター」は両者とも全て興味ありと判定されていることがわかる。以上の結果から、本実施形態に係るニューラルネットワークによって、ユーザ別に正しく潜在的興味が判定できていることが確認できた。
以上、本実施形態に係る興味判定装置において、第３ニューラルネットワーク９は、ユーザの嗜好を示す嗜好モデルのベクトル情報と、予め設定された所定単語のベクトルと、を関連付けたベクトル情報を入力値とし、ユーザの興味の有無を示す情報を出力値とし、該入力値及び出力値を用いて学習する。判定対象である単語の特徴を示すベクトル情報と、嗜好モデルのベクトル情報と、を関連付けたベクトル情報が第３ニューラルネットワーク９に入力される。興味判定部６は、第３ニューラルネットワーク９から出力された出力値に基づいて、該判定対象の単語に対するユーザの興味の有無を判定する。
これにより、ユーザの嗜好を総合的に集約した嗜好モデルと、対話情報に出現していない任意の所定単語と、を関連付けたベクトル情報を用いて、第３ニューラルネットワーク９を学習させる。したがって、第３ニューラルネットワーク９には、対話情報に出現するユーザが興味を示す単語による嗜好だけでなく、対話情報には出現しないがユーザが興味を示す単語も含む所定単語による嗜好も反映される。すなわち、この第３ニューラルネットワーク９を用いて、判定対象の単語に対するユーザの興味の有無を判定することで、ユーザの対話に出現する単語だけでなく、出現しない単語についても該ユーザの興味の有無を高精度に判定できる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、上記実施形態において、興味判定装置１に含まれる各構成（形態素解析部２、単語ベクトル変換部３、文ベクトル生成部４、嗜好モデル生成部５、興味判定部６、第１乃至第３ニューラルネットワーク７、８、９）や図４等に記載の「学習データ」は、それらが一つ装置、ＣＰＵ等の中に閉じている場合だけでなく、それぞれ又は任意の組み合わせごとにＣＰＵやＰＣを設けるようにしても良く、それらを通信回線でつなぐことも可能である。
本発明は、例えば、図９に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
１ 興味判定装置、２ 形態素解析部、３ 単語ベクトル変換部、４ 文ベクトル生成部、５ 嗜好モデル生成部、６ 興味判定部、７ 第１ニューラルネットワーク、８ 第２ニューラルネットワーク、９ 第３ニューラルネットワーク

Claims (10)

  1. ユーザの対話情報に含まれる単語の特徴を示すデータ情報を取得するデータ取得手段と、
    前記データ取得手段により取得されたデータ群と、所定単語の特徴を示すデータ群と、を関連付けたデータ群を入力値とし、ユーザの興味の有無を示す情報を出力値とし、該入力値及び出力値を用いて学習する第１学習手段と、
    判定対象である単語の特徴を示すデータ群と、前記データ取得手段によって取得されたデータ群と、を関連付けたデータ群が前記第１学習手段に入力された場合に、該第１学習手段から出力された出力値に基づいて、該判定対象の単語に対するユーザの興味の有無を判定する判定手段と、
    を備える、
    ことを特徴とする興味判定装置。
  2. 請求項１記載の興味判定装置であって、
    前記データ取得手段によって取得される前記データ群は、ユーザの対話情報に含まれる単語の特徴を、定量化しベクトル化された情報として表現されるベクトル情報であり、
    前記第１学習手段は、
    前記データ取得手段により取得された前記ベクトル情報と、予め設定された所定単語の特徴を示すデータ群としてのベクトル情報と、を関連付けたベクトル情報を入力値とし、ユーザの興味の有無を示す情報を出力値とし、該入力値及び出力値を用いて学習し、
    前記判定手段は、
    判定対象である単語の特徴を示す前記ベクトル情報と、前記データ取得手段によって取得されたベクトル情報と、を関連付けたベクトル情報が前記第１学習手段に入力された場合に、該第１学習手段から出力された出力値に基づいて、該判定対象の単語に対するユーザの興味の有無を判定する、
    ことを特徴とする興味判定装置。
  3. 請求項２記載の興味判定装置であって、
    前記データ取得手段によって取得される前記データ群は、ユーザの対話情報に含まれる単語の特徴を、該ユーザの嗜好を示すモデルとして表した嗜好モデルである、
    ことを特徴とする興味判定装置。
  4. 請求項３記載の興味判定装置であって、
    前記データ取得手段は、
    前記ユーザの対話情報の中で、該ユーザが興味を示す興味推定単語と、該興味推定単語から所定個前の前半文脈語と、該興味推定単語から所定個後の後半文脈語と、を単語のベクトルに変換する単語ベクトル変換部と、
    前記単語ベクトル変換部により変換された前半文脈語及び後半文脈語のベクトルを、第２学習手段を用いて、それぞれ、文の特徴を示す前文脈ベクトルおよび後文脈ベクトルを変換し、該変換した前文脈ベクトルおよび後文脈ベクトルと前記興味推定単語のベクトルと、を結合した結合ベクトルを生成する文ベクトル生成部と、
    を有する、ことを特徴とする興味判定装置。
  5. 請求項４記載の興味判定装置であって、
    前記文ベクトル生成部は、ユーザが興味を示した対話情報に関して、前記結合ベクトルをそれぞれ生成し、
    前記データ取得手段は、前記文ベクトル生成部により生成された前記各結合ベクトルの平均値を、前記嗜好モデルにおけるユーザのベクトル情報として算出する嗜好モデル生成部を更に有する、
    ことを特徴とする興味判定装置。
  6. 請求項４又は５記載の興味判定装置であって、
    前記文ベクトル生成部により生成される結合ベクトルを入力値とし、ユーザの興味の有無を示す情報を出力値とし、該入力値及び出力値を用いて最適化される第３学習手段を更に備える、
    ことを特徴とする興味判定装置。
  7. 請求項６記載の興味判定装置であって、
    前記第１乃至第３学習手段は、同時に最適化される、ことを特徴とする興味判定装置。
  8. 請求項６又は７記載の興味判定装置であって、
    前記第１乃至第３学習手段は、ニューラルネットワークで構成されている、ことを特徴とする興味判定装置。
  9. ユーザの対話情報に含まれる単語の特徴を示すデータ情報を取得するステップと、
    前記取得されたデータ群と、所定単語の特徴を示すデータ群と、を関連付けたデータ群を入力値とし、ユーザの興味の有無を示す情報を出力値とし、該入力値及び出力値を用いて第１学習手段を学習させるステップと、
    判定対象である単語の特徴を示すデータ群と、前記取得されたデータ群と、を関連付けたデータ群が前記第１学習手段に入力された場合に、該第１学習手段から出力された出力値に基づいて、該判定対象の単語に対するユーザの興味の有無を判定するステップと、
    を含む、
    ことを特徴とする興味判定方法。
  10. ユーザの対話情報に含まれる単語の特徴を示すデータ情報を取得する処理と、
    前記取得されたデータ群と、所定単語の特徴を示すデータ群と、を関連付けたデータ群を入力値とし、ユーザの興味の有無を示す情報を出力値とし、該入力値及び出力値を用いて第１学習手段を学習させる処理と、
    判定対象である単語の特徴を示すデータ群と、前記取得されたデータ群と、を関連付けたデータ群が前記第１学習手段に入力された場合に、該第１学習手段から出力された出力値に基づいて、該判定対象の単語に対するユーザの興味の有無を判定する処理と、
    をコンピュータに実行させることを特徴とするプログラム。
JP2017091246A 2017-05-01 2017-05-01 興味判定装置、興味判定方法、及びプログラム Active JP6794921B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2017091246A JP6794921B2 (ja) 2017-05-01 2017-05-01 興味判定装置、興味判定方法、及びプログラム
KR1020180048008A KR102057184B1 (ko) 2017-05-01 2018-04-25 흥미 판정 장치, 흥미 판정 방법, 및 기억 매체
BR102018008297-3A BR102018008297A2 (pt) 2017-05-01 2018-04-25 Sistema de determinação de interesse, método de determinação de interesse e meio de armazenamento
RU2018115766A RU2692427C1 (ru) 2017-05-01 2018-04-26 Система определения интереса, способ определения интереса и носитель информации
CN201810396276.4A CN108804526B (zh) 2017-05-01 2018-04-27 兴趣确定系统、兴趣确定方法及存储介质
US15/964,388 US11024326B2 (en) 2017-05-01 2018-04-27 Interest determination system, interest determination method, and storage medium
EP18170121.0A EP3399470A1 (en) 2017-05-01 2018-04-30 Interest determination system, interest determination method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017091246A JP6794921B2 (ja) 2017-05-01 2017-05-01 興味判定装置、興味判定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2018190136A true JP2018190136A (ja) 2018-11-29
JP6794921B2 JP6794921B2 (ja) 2020-12-02

Family

ID=62196322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017091246A Active JP6794921B2 (ja) 2017-05-01 2017-05-01 興味判定装置、興味判定方法、及びプログラム

Country Status (7)

Country Link
US (1) US11024326B2 (ja)
EP (1) EP3399470A1 (ja)
JP (1) JP6794921B2 (ja)
KR (1) KR102057184B1 (ja)
CN (1) CN108804526B (ja)
BR (1) BR102018008297A2 (ja)
RU (1) RU2692427C1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020175692A1 (ja) * 2019-02-28 2021-10-07 旭化成株式会社 学習装置および判断装置
JP7454630B2 (ja) 2021-11-30 2024-03-22 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ラベル推奨モデルのトレーニング方法及び装置、ラベル取得方法及び装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190019748A (ko) * 2017-08-18 2019-02-27 삼성전자주식회사 자연어 생성 방법 및 장치
GB2568233A (en) * 2017-10-27 2019-05-15 Babylon Partners Ltd A computer implemented determination method and system
US10891352B1 (en) * 2018-03-21 2021-01-12 Optum, Inc. Code vector embeddings for similarity metrics
US10921245B2 (en) * 2018-06-08 2021-02-16 Ball Aerospace & Technologies Corp. Method and systems for remote emission detection and rate determination
US11100288B1 (en) * 2018-06-21 2021-08-24 SoundHound Inc. Factored neural networks for language modeling
US10978189B2 (en) 2018-07-19 2021-04-13 Optum, Inc. Digital representations of past, current, and future health using vectors
US11321312B2 (en) * 2019-01-14 2022-05-03 ALEX—Alternative Experts, LLC Vector-based contextual text searching

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6029195A (en) * 1994-11-29 2000-02-22 Herz; Frederick S. M. System for customized electronic identification of desirable objects
US7606714B2 (en) * 2003-02-11 2009-10-20 Microsoft Corporation Natural language classification within an automated response system
US8156427B2 (en) * 2005-08-23 2012-04-10 Ricoh Co. Ltd. User interface for mixed media reality
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
WO2009085336A1 (en) * 2007-12-27 2009-07-09 Inc. Arbor Labs System and method for advertisement delivery optimization
JP5351182B2 (ja) * 2008-02-25 2013-11-27 アティジオ リミテッド ライアビリティ カンパニー 関心領域についての関連情報の決定
BRPI0904540B1 (pt) * 2009-11-27 2021-01-26 Samsung Eletrônica Da Amazônia Ltda método para animar rostos/cabeças/personagens virtuais via processamento de voz
US9135326B2 (en) * 2009-12-10 2015-09-15 Nec Corporation Text mining method, text mining device and text mining program
RU2440610C1 (ru) * 2010-06-21 2012-01-20 Геннадий Борисович Бронфельд Система для работы с интеллектуальной электронной книгой - элингой
JP5466119B2 (ja) * 2010-09-21 2014-04-09 Ｋｄｄｉ株式会社 同一の共有コンテンツに興味を持つ視聴者の属性の観点を推定する最適観点推定プログラム、装置及び方法
US9536269B2 (en) * 2011-01-19 2017-01-03 24/7 Customer, Inc. Method and apparatus for analyzing and applying data related to customer interactions with social media
US8452772B1 (en) * 2011-08-01 2013-05-28 Intuit Inc. Methods, systems, and articles of manufacture for addressing popular topics in a socials sphere
US9244908B2 (en) * 2012-03-27 2016-01-26 Accenture Global Services Limited Generation of a semantic model from textual listings
US9570090B2 (en) * 2015-05-26 2017-02-14 Google Inc. Dialog system with automatic reactivation of speech acquiring mode
US10242036B2 (en) * 2013-08-14 2019-03-26 Ricoh Co., Ltd. Hybrid detection recognition system
US20150081696A1 (en) * 2013-09-19 2015-03-19 Marketwire L.P. Systems and Methods for Actively Composing Content for Use in Continuous Social Communication
US20150248651A1 (en) * 2014-02-28 2015-09-03 Christine E. Akutagawa Social networking event planning
KR101500900B1 (ko) * 2014-04-28 2015-03-12 한양대학교 산학협력단 학습 데이터로부터 생성된 최종 분류기를 이용하여 텍스트를 분류하는 방법 및 시스템
US9627532B2 (en) * 2014-06-18 2017-04-18 Nuance Communications, Inc. Methods and apparatus for training an artificial neural network for use in speech recognition
US9381434B2 (en) * 2014-06-30 2016-07-05 Linkedin Corporation Social network interaction via games
JP6710907B2 (ja) * 2015-07-16 2020-06-17 Tis株式会社 嗜好学習方法、嗜好学習プログラム、及び嗜好学習装置
US9633282B2 (en) * 2015-07-30 2017-04-25 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
US9875258B1 (en) * 2015-12-17 2018-01-23 A9.Com, Inc. Generating search strings and refinements from an image
KR101652433B1 (ko) * 2016-02-11 2016-08-30 주식회사 위즈벤처스 Sns 문서에서 추출된 토픽을 기반으로 파악된 감정에 따른 개인화 광고 제공 방법
JP6549500B2 (ja) 2016-02-26 2019-07-24 トヨタ自動車株式会社 話題推定学習装置及び話題推定学習方法
US10116757B2 (en) * 2016-04-25 2018-10-30 Chian Chiu Li Location-based open social networks
CN107704482A (zh) * 2016-08-09 2018-02-16 松下知识产权经营株式会社 方法、装置以及程序
US11347374B2 (en) * 2016-11-17 2022-05-31 Meta Platforms, Inc. Systems and methods for managing shared content
CN106897263A (zh) * 2016-12-29 2017-06-27 北京光年无限科技有限公司 基于深度学习的机器人对话交互方法及装置
US10347244B2 (en) * 2017-04-21 2019-07-09 Go-Vivace Inc. Dialogue system incorporating unique speech to text conversion method for meaningful dialogue response

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020175692A1 (ja) * 2019-02-28 2021-10-07 旭化成株式会社 学習装置および判断装置
JP7213948B2 (ja) 2019-02-28 2023-01-27 旭化成株式会社 学習装置および判断装置
JP7454630B2 (ja) 2021-11-30 2024-03-22 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ラベル推奨モデルのトレーニング方法及び装置、ラベル取得方法及び装置

Also Published As

Publication number Publication date
US20180315440A1 (en) 2018-11-01
EP3399470A1 (en) 2018-11-07
KR20180121831A (ko) 2018-11-09
CN108804526A (zh) 2018-11-13
BR102018008297A2 (pt) 2019-03-12
KR102057184B1 (ko) 2019-12-18
RU2692427C1 (ru) 2019-06-24
JP6794921B2 (ja) 2020-12-02
CN108804526B (zh) 2023-03-31
US11024326B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
JP2018190136A (ja) 興味判定装置、興味判定方法、及びプログラム
Liu et al. A study in machine learning from imbalanced data for sentence boundary detection in speech
US10643032B2 (en) Output sentence generation apparatus, output sentence generation method, and output sentence generation program
CN109062902B (zh) 一种文本语义表达方法及装置
CN109857846B (zh) 用户问句与知识点的匹配方法和装置
Del Rio et al. Earnings-21: A practical benchmark for ASR in the wild
CN104199825A (zh) 一种信息查询方法和系统
CN113157727B (zh) 提供召回结果的方法、设备和存储介质
Fiscus et al. Multiple Dimension Levenshtein Edit Distance Calculations for Evaluating Automatic Speech Recognition Systems During Simultaneous Speech.
Zhu et al. Robust spoken language understanding with unsupervised asr-error adaptation
Xu et al. Audio caption in a car setting with a sentence-level loss
Zhu et al. Catslu: The 1st chinese audio-textual spoken language understanding challenge
Soboleva et al. Replacing human audio with synthetic audio for on-device unspoken punctuation prediction
Broughton et al. Improving end-to-end neural diarization using conversational summary representations
Thapliyal et al. Cross-modal language generation using pivot stabilization for web-scale language coverage
JP7211103B2 (ja) 系列ラベリング装置、系列ラベリング方法、およびプログラム
Chen et al. Speaker and expression factorization for audiobook data: Expressiveness and transplantation
Fujita et al. Long short-term memory networks for automatic generation of conversations
JP6261669B2 (ja) クエリ校正システムおよび方法
WO2020162240A1 (ja) 言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体
JP2014160168A (ja) 学習データ選択装置、識別的音声認識精度推定装置、学習データ選択方法、識別的音声認識精度推定方法、プログラム
Kang et al. Lattice based transcription loss for end-to-end speech recognition
JP7411149B2 (ja) 学習装置、推定装置、学習方法、推定方法及びプログラム
TW200935399A (en) Chinese-speech phonologic transformation system and method thereof
Wu et al. EMO-SUPERB: An In-depth Look at Speech Emotion Recognition

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201026

R151 Written notification of patent or utility model registration

Ref document number: 6794921

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151