JP2018077698A - 発話文抽出装置、不適切話題語リスト生成装置、方法、及びプログラム - Google Patents

Abstract

【課題】システムの発話として不適切な話題の発話文を抽出することができる。【解決手段】発話文抽出装置１０は、ユーザ発話を受け付ける入力部１０と、ユーザ発話を文単位に分割し、分割された文を形態素単位に分割することによりテキスト解析情報を生成するテキスト解析部２２と、不適切話題語とユーザ発話の不適切度合いを表すスコアとの対応関係を表す不適切話題語リストと、テキスト解析情報とに基づいてスコアを求め、求めたスコアに基づいて、ユーザ発話が不適切発話か否かを判定する不適切発話検出部２４と、不適切発話検出部２４の判定結果と前記ユーザ発話とを対応付けてデータベースに登録するデータベース登録部２６と、を備える。【選択図】図１

Description

本発明は、発話文抽出装置、不適切話題語リスト生成装置、方法、及びプログラムに関し、特に、物議を醸す可能性のある話題を含む発話文を抽出するための発話文抽出装置、不適切話題語リスト生成装置、方法、及びプログラムに関するものである。

大量のユーザの発話文から自動的に発話候補文を獲得する方法として、たとえば特許文献１や非特許文献１に開示された方法がある。これらは発話が日本語として正しいかどうかを判定することで、質の良い発話文を抽出する方法である。

特許第５６７６６８３号公報

稲葉通将，神園彩香，高橋健一，Twitterを用いた非タスク指向型対話システムのための発話候補文獲得，人工知能学会論文誌 Vol.29 No.1 2014. （https://www.jstage.jst.go.jp/article/tjsai/29/1/29_C-DSD48/_pdf）

上記の従来の手法は、上述したように日本語としての正しさを判定するものであり、システムの発話として不適切な発話をフィルタリングすることができない。例えば、「北方領土は日本のものだ」という発話は日本語として問題のない文であるが、聞く人によっては問題と感じる可能性があるためシステムの発話として適切ではない。

本発明は、上記従来技術の問題点に鑑みて成されたものであり、システムの発話として不適切な話題の発話文を抽出することができる発話文抽出装置、不適切話題語リスト生成装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る発話文抽出装置は、ユーザ発話を受け付ける入力部と、前記ユーザ発話を文単位に分割し、分割された文を形態素単位に分割することによりテキスト解析情報を生成するテキスト解析部と、不適切話題語と前記ユーザ発話の不適切度合いを表すスコアとの対応関係を表す不適切話題語リストと、前記テキスト解析情報とに基づいてスコアを求め、求めたスコアに基づいて、前記ユーザ発話が不適切発話か否かを判定する不適切発話検出部と、前記不適切発話検出部の判定結果と前記ユーザ発話とを対応付けてデータベースに登録するデータベース登録部と、を有する。

本発明に係る不適切話題語リスト生成装置は、テキスト集合を受け付ける入力部と、前記テキスト集合を文単位に分割し、分割された文を形態素単位に分割することによりテキスト解析情報を生成するテキスト解析部と、前記テキスト解析情報に基づいて、不適切話題語候補を抽出するための予め定められた用語を伴う前記不適切話題語候補を抽出して、前記用語を伴って前記不適切話題語候補が出現する第１の頻度を算出すると共に、前記不適切話題語候補が出現する第２の頻度を算出する頻度算出部と、前記第１の頻度及び前記第２の頻度に基づいて、前記不適切話題語候補の不適切度合いを表すスコアを算出するスコア算出部と、前記スコアが予め定めた閾値以上の場合に、前記スコアに対応する前記不適切話題語候補を不適切話題語として不適切話題語リストデータベースに登録するデータベース登録部と、を有する。

本発明に係る発話文抽出方法は、入力部が、ユーザ発話を受け付け、テキスト解析部が、前記ユーザ発話を文単位に分割し、分割された文を形態素単位に分割することによりテキスト解析情報を生成し、不適切発話検出部が、不適切話題語と前記ユーザ発話の不適切度合いを表すスコアとの対応関係を表す不適切話題語リストと、前記テキスト解析情報とに基づいてスコアを求め、求めたスコアに基づいて、前記ユーザ発話が不適切発話か否かを判定し、データベース登録部が、前記不適切発話検出部の判定結果と前記ユーザ発話とを対応付けてデータベースに登録する。

本発明に係る不適切話題語リスト生成方法は、入力部が、テキスト集合を受け付け、テキスト解析部が、前記テキスト集合を文単位に分割し、分割された文を形態素単位に分割することによりテキスト解析情報を生成し、頻度算出部が、前記テキスト解析情報に基づいて、不適切話題語候補を抽出するための予め定められた用語を伴う前記不適切話題語候補を抽出して、前記用語を伴って前記不適切話題語候補が出現する第１の頻度を算出すると共に、前記不適切話題語候補が出現する第２の頻度を算出し、スコア算出部が、前記第１の頻度及び前記第２の頻度に基づいて、前記不適切話題語候補の不適切度合いを表すスコアを算出し、データベース登録部が、前記スコアが予め定めた閾値以上の場合に、前記スコアに対応する前記不適切話題語候補を不適切話題語として不適切話題語リストデータベースに登録する。

本発明に係るプログラムは、コンピュータを、請求項１に記載の発話文抽出装置、又は請求項２に記載の不適切話題語リスト生成装置の各部として機能させるためのプログラムである。

以上説明したように、本発明の発話文抽出装置、不適切話題語リスト生成装置、方法、及びプログラムによれば、システムの発話として不適切な話題の発話文を抽出することができる、という効果が得られる。

本発明の実施形態に係る発話文抽出装置分類器学習装置の機能的構成を示すブロック図である。 本発明の実施形態に係るテキスト解析情報の一例を示す図である。 本発明の実施形態に係る不適切話題語リストの一例を示す図である。 本発明の実施形態に係る不適切話題語リスト生成装置の機能的構成を示すブロック図である。 本発明の実施形態に係る発話文抽出装置における発話文抽出処理ルーチンのフローチャート図である。 本発明の実施形態に係る発話文抽出装置における不適切話題語リスト生成処理ルーチンのフローチャート図である。

以下、図面を参照して本発明の実施形態を詳細に説明する。

＜本発明の実施の形態に係る発話文抽出装置の構成＞

本発明の実施の形態に係る発話文抽出装置の構成について説明する。図１に示すように、本実施の形態に係る発話文抽出装置１００は、ＣＰＵと、ＲＡＭと、後述する発話文抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この発話文抽出装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、発話文データベース３０と、不適切話題語リストデータベース４０を含んで構成されている。

入力部１０は、ユーザ発話の集合を受け付ける。

演算部２０は、図１に示すように、テキスト解析部２２、不適切発話検出部２４、及びデータベース登録部２６を備えて構成されている。

テキスト解析部２２は、入力部１０が受け付けたユーザ発話の集合のユーザ発話の各々について、ユーザ発話を文単位に分割し、分割された文を既知の技術である形態素解析により分割することにより、文を形態素単位に分割し、出現表記、品詞、及び標準表記の情報を含むテキスト解析情報を生成する。

図２には、一例として「北方領土は日本のものだ」というユーザ発話を受け付けた場合にテキスト解析部２２が生成するテキスト解析情報５０を示した。図２に示すように、受け付けたユーザ発話を形態素単位に分割し、出現表記、品詞、及び標準表記を含むテキスト解析情報５０が生成される。

不適切発話検出部２４は、不適切話題語とユーザ発話の不適切度合いを表すスコアとの対応関係を表す不適切話題語リストと、テキスト解析情報とに基づいてスコアを求め、求めたスコアに基づいて、ユーザ発話が不適切発話か否かを判定する。

具体的には、テキスト解析部２２で解析したユーザ発話のテキスト解析情報を入力とし、予め不適切話題語リストデータベース４０に記憶された不適切話題語リストを用いて、ユーザ発話の不適切度合を表すスコアを求め、データベース登録部２６に出力する。

不適切話題語リストは、図３に示すように、不適切話題語とスコアとの対応関係を表すテーブルデータである。不適切話題語リストはユーザが作成したものを用いても良いが、後述する不適切話題語リスト生成装置１５０により自動で生成されたものを用いても良い。

不適切発話検出部２４は、まず、入力されたユーザ発話から焦点となっている話題語を検出する。話題語の検出は、助詞を手がかりに行うことができる。例えば助詞「は」「が」「って」「なんて」を伴う名詞句相当を抽出することで実現できる。受け付けたユーザ発話が、図２に示した「北方領土は日本のものだ」の場合、連用助詞「は」を伴う名詞である「北方領土」が話題語として抽出される。なお、ここでは規則による話題語抽出について述べたが、一般的な固有表現抽出手法（例えば下記非特許文献２）で用いられるようなチャンキングの手法（ＣＲＦなど）を用いて実現してもよい。

［非特許文献２］ 笹野遼平、黒橋禎夫、大域的情報を用いた日本語固有表現認識、情報処理学会論文誌Vol.49 No.11, 2008.

次に、不適切発話検出部２４は、抽出された話題語が不適切話題語リストに存在するか否かを判定する。抽出された話題語が不適切話題語リストに存在した場合、存在した不適切話題語に対応するスコアが予め設定した閾値よりも大きければ不適切発話フラグを「１」、閾値以下であれば不適切発話フラグを「０」とする。また、抽出された話題語が不適切話題語リストに存在しなければ不適切発話フラグを「−１」とする。

なお、本実施形態では、抽出された話題語が不適切話題語リストに存在した場合、不適切発話フラグが取り得る値を「１」か「０」の２値としているが、スコアの高さに応じて不適切発話フラグが取り得る値として「３」、「２」などを加えてもよい。すなわち、抽出された話題語が不適切話題語リストに存在した場合に不適切発話フラグが取り得る値を３値以上としてもよい。

そして、不適切発話検出部２４は、ユーザ発話と不適切発話フラグとを対としてデータベース登録部２６に出力する。

データベース登録部２６は、不適切発話検出部２４の判定結果とユーザ発話とを対応付けて発話文データベース３０に登録する。すなわち、不適切発話検出部２４から出力された不適切発話フラグとユーザ発話とを対として発話文データベース３０に出力し、登録する。

＜本発明の実施の形態に係る不適切話題語リスト生成装置の構成＞

次に、本発明の実施の形態に係る不適切話題語リスト生成装置の構成について説明する。図４に示すように、本実施の形態に係る不適切話題語リスト生成装置１５０は、ＣＰＵと、ＲＡＭと、後述する不適切話題語リスト生成処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この不適切話題語リスト生成装置１５０は、機能的には図４に示すように入力部６０と、演算部７０と、不適切話題語リストデータベース８０とを含んで構成されている

入力部６０は、インターネット上の新聞記事やブログ記事などのテキスト集合を受け付ける。

演算部２０は、図４に示すように、テキスト解析部７２、頻度算出部７４、スコア算出部７６、データベース登録部７８を備えて構成されている。

テキスト解析部７２は、入力部６０が受け付けたテキスト集合のテキストの各々について、テキストを文単位に分割を文単位に分割し、分割された文を既知の技術である形態素解析により分割することにより、文を形態素単位に分割し、出現表記、品詞、及び標準表記の情報が付与されたテキスト解析情報を生成する。

頻度算出部７４は、テキスト解析情報に基づいて、不適切話題語候補を抽出するための予め定められた用語を伴う不適切話題語候補を抽出して、予め定められた用語を伴って不適切話題語候補が出現する第１の頻度を算出すると共に、不適切話題語候補が出現する第２の頻度を算出する。

具体的には、頻度算出部７４は、テキスト解析部７２により生成されたテキスト解析情報の出現表記から、不適切話題語を抽出するための予め定められた用語として、「問題」という用語を伴う名詞句相当表現を抽出し、その頻度（第１の頻度）をカウントする。例えば、受け付けたテキストが「北方領土問題についての政府の見解は・・・」というテキストであった場合、「問題」という用語を伴う「北方領土」を抽出し、１とカウントする。この処理により、不適切話題語候補を抽出するための用語として例えば「問題」という用語を伴う名詞句相当表現（以下、不適切話題語候補と称する）と頻度とを対応付けた不適切話題語候補リストが作成される。

次に、頻度算出部７４は、テキスト解析情報に基づいて、テキスト中における予め定められた用語を伴わずに不適切話題語候補が出現する頻度（第２の頻度）をカウントする。例えば「ここから北方領土を見ることができます」というテキストがあった場合、「北方領土」を１とカウントする。これにより、不適切話題語候補の頻度が算出される。

スコア算出部７６は、第１の頻度及び第２の頻度に基づいて、不適切話題語の不適切度合いを表すスコアを算出する。

具体的には、頻度算出部７４は、不適切話題語候補の各々に対し、「問題」という用語を伴って出現した不適切話題語候補の第１の頻度を、「問題」という用語を伴わずに不適切話題語候補が出現した第２の頻度で除算した値に、「問題」という用語を伴って出現した不適切話題語候補の第１の頻度を乗算した値をスコアとする。以下にスコアｓｃｏｒｅ（ｃ）の計算式を示す。

ｓｃｏｒｅ（Ｃ）＝ｆｒｅｑ（Ｃ問題）＊（ｆｒｅｑ（Ｃ問題）／ｆｒｅｑ（Ｃ））

ここで、Ｃは不適切話題語候補、ｆｒｅｑ（Ｘ）はＸの頻度、Ｃ問題は「問題」という不適切話題語候補を抽出するための用語を伴ってＣという不適切話題語候補が出現したことを表す。

データベース登録部７８は、スコア算出部７６が算出したスコアが予め定めた閾値以上の場合に、そのスコアに対応する不適切話題語候補を不適切話題語として、スコアと共に不適切話題語リストデータベース８０に出力し、登録する。

＜本発明の実施形態に係る発話文抽出装置の作用＞

次に、本発明の実施形態に係る発話文抽出装置１００の作用について説明する。発話文抽出装置１００は、入力部１０によって、ユーザ発話の集合を受け付けると、発話文抽出装置１００によって、図５に示す発話文抽出処理ルーチンが実行される。

まず、ステップＳ１００で、テキスト解析部２２が、入力部１０が受け付けたユーザ発話の集合のユーザ発話の各々について、ユーザ発話を文単位に分割を文単位に分割し、分割された文を既知の技術である形態素解析により分割することにより、文を形態素単位に分割し、出現表記、品詞、及び標準表記の情報が付与されたテキスト解析情報を生成する。

ステップＳ１０２では、不適切発話検出部２４が、不適切話題語とユーザ発話の不適切度合いを表すスコアとの対応関係を表す不適切話題語リストと、テキスト解析情報とに基づいてスコアを求め、求めたスコアに基づいて、ユーザ発話が不適切発話か否かを判定し、ユーザ発話と不適切発話フラグとを対としてデータベース登録部２６に出力する。

ステップＳ１０４では、データベース登録部２６が、ステップＳ１０２の判定結果とユーザ発話とを対応付けて発話文データベース３０に登録する。

＜本発明の実施形態に係る不適切話題語リスト生成装置の作用＞

次に、本発明の実施形態に係る不適切話題語リスト生成装置１５０の作用について説明する。不適切話題語リスト生成装置１５０は、入力部６０によって、テキスト集合を受け付けると、不適切話題語リスト生成装置１５０によって、図６に示す発話文抽出処理ルーチンが実行される。

まず、ステップＳ１５０で、テキスト解析部７２が、入力部６０が受け付けたテキスト集合のテキストの各々について、テキストを文単位に分割を文単位に分割し、分割された文を既知の技術である形態素解析により分割することにより、文を形態素単位に分割し、出現表記、品詞、及び標準表記の情報が付与されたテキスト解析情報を生成する。

ステップＳ１５０では、頻度算出部７４が、テキスト解析情報に基づいて、不適切話題語候補を抽出するための予め定められた用語を伴う不適切話題語候補を抽出して、予め定められた用語を伴って不適切話題語候補が出現した第１の頻度を算出すると共に、予め定められた用語を伴わずに不適切話題語候補が出現した第２の頻度を算出する。

ステップＳ１５４では、スコア算出部７６が、第１の頻度及び第２の頻度に基づいて、不適切話題語の不適切度合いを表すスコアを算出する。

ステップＳ１５６では、データベース登録部７８が、スコア算出部７６が算出したスコアが予め定めた閾値以上の場合に、そのスコアに対応する不適切話題語候補を不適切話題語として、スコアと共に不適切話題語リストデータベース８０に出力し、登録する。

以上説明したように、本発明の実施の形態に係る発話文抽出装置によれば、ユーザ発話のテキスト解析情報を生成し、不適切話題語リストとテキスト解析情報とに基づいてスコアを求め、求めたスコアに基づいて、ユーザ発話が不適切発話か否かを判定するので、システムの発話として不適切な話題の発話文を抽出することができる。また、ユーザ発話から問題のある話題を検出することができ、ユーザの親近感を高めることのできる対話装置を実現することが可能となる。

また、本発明の実施の形態に係る不適切話題語リスト生成装置によれば、テキスト集合のテキスト解析情報を生成し、テキスト解析情報に基づいて、不適切話題語候補を抽出するための用語を伴って不適切話題語候補が出現した第１の頻度及び不適切話題語候補を抽出するための用語を伴わずに不適切話題語候補が出現した第２の頻度を算出し、算出した第１の頻度及び第２の頻度に基づいて、不適切話題語の不適切度合いを表すスコアを算出し、スコアが予め定めた閾値以上の場合に、スコアに対応する不適切話題語を不適切話題語リストデータベースに登録するので、発話文抽出装置でユーザ発話が不適切発話か否かを判定する際に用いられる不適切話題語リストを自動で生成することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上記の実施の形態では、発話文抽出装置と不適切話題語リスト生成装置とを別々に設ける場合を例に説明したが、発話文抽出装置と不適切話題語リスト生成装置とを、１つの装置で実現するようにしてもよい。

本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。

１０、６０ 入力部
２０、７０ 演算部
２２、７２ テキスト解析部
２４ 不適切発話検出部
２６、７８ データベース登録部
３０ 発話文データベース
４０、８０ 不適切話題語リストデータベース
５０ テキスト解析情報
７４ 頻度算出部
７６ スコア算出部
１００ 発話文抽出装置
１５０ 不適切話題語リスト生成装置

Claims (5)

1. ユーザ発話を受け付ける入力部と、
   前記ユーザ発話を文単位に分割し、分割された文を形態素単位に分割することによりテキスト解析情報を生成するテキスト解析部と、
   不適切話題語と前記ユーザ発話の不適切度合いを表すスコアとの対応関係を表す不適切話題語リストと、前記テキスト解析情報とに基づいてスコアを求め、求めたスコアに基づいて、前記ユーザ発話が不適切発話か否かを判定する不適切発話検出部と、
   前記不適切発話検出部の判定結果と前記ユーザ発話とを対応付けてデータベースに登録するデータベース登録部と、
   を有する発話文抽出装置。
2. テキスト集合を受け付ける入力部と、
   前記テキスト集合を文単位に分割し、分割された文を形態素単位に分割することによりテキスト解析情報を生成するテキスト解析部と、
   前記テキスト解析情報に基づいて、不適切話題語候補を抽出するための予め定められた用語を伴う前記不適切話題語候補を抽出して、前記用語を伴って前記不適切話題語候補が出現する第１の頻度を算出すると共に、前記不適切話題語候補が出現する第２の頻度を算出する頻度算出部と、
   前記第１の頻度及び前記第２の頻度に基づいて、前記不適切話題語候補の不適切度合いを表すスコアを算出するスコア算出部と、
   前記スコアが予め定めた閾値以上の場合に、前記スコアに対応する前記不適切話題語候補を不適切話題語として不適切話題語リストデータベースに登録するデータベース登録部と、
   を有する不適切話題語リスト生成装置。
3. 入力部が、ユーザ発話を受け付け、
   テキスト解析部が、前記ユーザ発話を文単位に分割し、分割された文を形態素単位に分割することによりテキスト解析情報を生成し、
   不適切発話検出部が、不適切話題語と前記ユーザ発話の不適切度合いを表すスコアとの対応関係を表す不適切話題語リストと、前記テキスト解析情報とに基づいてスコアを求め、求めたスコアに基づいて、前記ユーザ発話が不適切発話か否かを判定し、
   データベース登録部が、前記不適切発話検出部の判定結果と前記ユーザ発話とを対応付けてデータベースに登録する
   発話文抽出方法。
4. 入力部が、テキスト集合を受け付け、
   テキスト解析部が、前記テキスト集合を文単位に分割し、分割された文を形態素単位に分割することによりテキスト解析情報を生成し、
   頻度算出部が、前記テキスト解析情報に基づいて、不適切話題語候補を抽出するための予め定められた用語を伴う前記不適切話題語候補を抽出して、前記用語を伴って前記不適切話題語候補が出現する第１の頻度を算出すると共に、前記不適切話題語候補が出現する第２の頻度を算出し、
   スコア算出部が、前記第１の頻度及び前記第２の頻度に基づいて、前記不適切話題語候補の不適切度合いを表すスコアを算出し、
   データベース登録部が、前記スコアが予め定めた閾値以上の場合に、前記スコアに対応する前記不適切話題語候補を不適切話題語として不適切話題語リストデータベースに登録する
   不適切話題語リスト生成方法。
5. コンピュータを、請求項１に記載の発話文抽出装置、又は請求項２に記載の不適切話題語リスト生成装置の各部として機能させるためのプログラム。