JP2020154790A - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP2020154790A JP2020154790A JP2019053170A JP2019053170A JP2020154790A JP 2020154790 A JP2020154790 A JP 2020154790A JP 2019053170 A JP2019053170 A JP 2019053170A JP 2019053170 A JP2019053170 A JP 2019053170A JP 2020154790 A JP2020154790 A JP 2020154790A
- Authority
- JP
- Japan
- Prior art keywords
- score
- phrase
- character
- character string
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 36
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000014509 gene expression Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 26
- 239000000284 extract Substances 0.000 claims description 11
- 238000004891 communication Methods 0.000 description 12
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 239000002245 particle Substances 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000008520 organization Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 2
- 241000277269 Oncorhynchus masou Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Abstract
Description
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.
文章に含まれる固有表現(例えば固有名詞)を特徴量として用いることで、その文章の内容を、機械学習に利用可能な表現に置き換えることが研究されている。これに関連し、入力テキストを、形態素解析によってフレーズに区分し、予め印象要素とそのスコアがフレーズに対応付けられた印象辞書を用いて、入力テキストを区分したフレーズ毎に、印象要素及びスコアを対応付けたフレーズリストを生成し、入力テキストのフレーズ全体から各印象要素の尤度を算出し、当該尤度を、各印象要素のスコアとして対応付けた客観的印象を算出し、主観的印象に基づく当該印象要素のスコアと、客観的印象に基づく該印象要素のスコアとを比較した印象差分情報を算出する技術が知られている(例えば、特許文献1参照)。 Research is being conducted to replace the content of a sentence with an expression that can be used for machine learning by using a proper expression (for example, a proper noun) contained in the sentence as a feature quantity. In relation to this, the input text is divided into phrases by morphological analysis, and the impression element and score are divided for each phrase in which the input text is divided using an impression dictionary in which the impression element and its score are associated with the phrase in advance. Generate an associated phrase list, calculate the likelihood of each impression element from the entire phrase of the input text, calculate the objective impression associated with the likelihood as the score of each impression element, and make it a subjective impression. There is known a technique for calculating impression difference information by comparing the score of the impression element based on the score of the impression element based on the score of the impression element based on an objective impression (see, for example, Patent Document 1).
世間では、新語や造語といった今まで使われていなかった新しい言葉が流行する場合がある。例えば、ユニークなタイトルが付けられた新作のコンテンツが公開され、そのコンテンツが人々の間で話題となれば、ユニークなタイトルが新しい言葉として流行することになる。しかしながら、従来の技術では、流行に合わせて辞書を頻繁に更新するのは困難な場合が多く、更には、どのような文章から辞書に登録すべき固有表現を探すべきなのかが十分に検討されていなかった。このようなことから、従来の技術では、文書から固有表現を精度よく抽出できない場合があった。 New words that have not been used until now, such as new words and coined words, may become popular in the world. For example, if new content with a unique title is released and the content becomes a hot topic among people, the unique title will become popular as a new word. However, with the conventional technology, it is often difficult to update the dictionary frequently according to the fashion, and further, it is thoroughly examined from what kind of sentence the unique expression to be registered in the dictionary should be searched for. I wasn't. For this reason, conventional techniques may not be able to accurately extract named entities from a document.
本発明は、上記の課題に鑑みてなされたものであり、文書から精度よく固有表現を抽出することができる情報処理装置、情報処理方法、及びプログラムを提供することを目的としている。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an information processing device, an information processing method, and a program capable of accurately extracting a named entity from a document.
本発明の一態様は、文章を、少なくとも一文字以上を含む文字列に分割する分割部と、ユーザによって入力された複数のクエリに基づいて、前記分割部により分割された前記文字列ごとにスコアを算出する算出部と、前記算出部によって算出された前記スコアに基づいて、前記文章から固有表現を抽出する抽出部と、を備える情報処理装である。 One aspect of the present invention is a division unit that divides a sentence into character strings including at least one character, and a score for each character string divided by the division unit based on a plurality of queries input by the user. It is an information processing device including a calculation unit for calculation and an extraction unit for extracting a named entity from the sentence based on the score calculated by the calculation unit.
本発明の一態様によれば、文書から精度よく固有表現を抽出することができる。 According to one aspect of the present invention, named entity can be accurately extracted from a document.
以下、本発明を適用した情報処理装置、情報処理方法、及びプログラムを、図面を参照して説明する。 Hereinafter, an information processing apparatus, an information processing method, and a program to which the present invention is applied will be described with reference to the drawings.
[概要]
情報処理装置は、一以上のプロセッサにより実現される。情報処理装置は、文章を、少なくとも一文字以上を含む文字列に分割し、ユーザによって入力された複数のクエリの履歴である検索ログに基づいて、文字列ごとにスコアを算出する。そして、情報処理装置は、算出したスコアに基づいて、文章から固有表現を抽出する。これによって、文書から精度よく固有表現を抽出することができる。この結果、例えば、文章の内容を的確に表した分散表現を得ることができる。
[Overview]
The information processing device is realized by one or more processors. The information processing device divides a sentence into a character string including at least one character, and calculates a score for each character string based on a search log which is a history of a plurality of queries input by a user. Then, the information processing device extracts the named entity from the sentence based on the calculated score. As a result, the named entity can be accurately extracted from the document. As a result, for example, it is possible to obtain a distributed expression that accurately represents the content of the sentence.
<第1実施形態>
[全体構成]
図1は、第1実施形態における情報処理装置100を含む情報処理システム1の一例を示す図である。第1実施形態における情報処理システム1は、例えば、一つ以上の端末装置10と、サービス提供装置20と、情報処理装置100とを備える。これらの装置のうち一部または全部は、ネットワークNWを介して互いに接続される。なお、これらの装置のうち一部は、仮想的な装置として他の装置に包含されてもよく、例えば、サービス提供装置20の機能の一部または全部が、情報処理装置100の機能によって実現される仮想マシンであってもよいし、これとは反対に、情報処理装置100の機能の一部または全部が、サービス提供装置20の機能によって実現される仮想マシンであってもよい。
<First Embodiment>
[overall structure]
FIG. 1 is a diagram showing an example of an
図1に示す各装置は、ネットワークNWを介して種々の情報を送受信する。ネットワークNWは、例えば、無線基地局、Wi‐Fiアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、図1に示す各装置の全ての組み合わせが相互に通信可能である必要はなく、ネットワークNWは、一部にローカルなネットワークを含んでもよい。 Each device shown in FIG. 1 transmits and receives various information via the network NW. The network NW includes, for example, a radio base station, a Wi-Fi access point, a communication line, a provider, the Internet, and the like. It should be noted that not all combinations of the devices shown in FIG. 1 need to be able to communicate with each other, and the network NW may partially include a local network.
端末装置10は、例えば、スマートフォンなどの携帯電話、タブレット端末、各種パーソナルコンピュータなどの、入力装置、表示装置、通信装置、記憶装置、および演算装置を備える端末装置である。通信装置は、NIC(Network Interface Card)などのネットワークカード、無線通信モジュールなどを含む。端末装置10では、ウェブブラウザやアプリケーションプログラムなどのUA(User Agent)が起動し、ユーザの入力に応じたリクエストをサービス提供装置20に送信する。また、UAが起動された端末装置10は、サービス提供装置20から取得した情報に基づいて、表示装置に各種画像を表示させる。
The
サービス提供装置20は、例えば、UAとして起動されたウェブブラウザからのリクエストに応じてウェブページを端末装置10に提供するウェブサーバである。ウェブページは、例えば、ショッピングサイトやオークションサイト、フリーマーケットサイトといった各種ウェブサイトを構成するウェブページであってよい。また、サービス提供装置20は、検索サイトやSNS(Social Networking Service)、メールサービスなどの各種サービスを提供するウェブページを端末装置10に提供してもよい。また、サービス提供装置20は、UAとして起動されたアプリケーションからのリクエストに応じてコンテンツを端末装置10に提供することで、販売サイトなどの各種ウェブサイトと同様のサービスを提供するアプリケーションサーバであってもよい。
The
情報処理装置100は、サービス提供装置20から検索ログを取得し、その検索ログを用いて、文章から固有表現を抽出する。本実施形態に係る固有表現には、例えば、名詞のような一つの単語(ワード)だけでなく、名詞と名詞とが他の品詞(例えば助詞)で接続された一つの句(フレーズ)や、名詞や動詞、助詞、助動詞などの種々の品詞を含む一つの文(センテンス)が含まれる。すなわち、人間が固有の表現として用いた言葉であれば、どんなに長い文章であっても固有表現となり得る。
The
[情報処理装置の構成]
図2は、第1実施形態における情報処理装置100の構成の一例を示す図である。図示のように、情報処理装置100は、例えば、通信部102と、制御部110と、記憶部130とを備える。
[Information processing device configuration]
FIG. 2 is a diagram showing an example of the configuration of the
通信部102は、例えば、NIC(Network Interface Card)等の通信インターフェースやDMA(Direct Memory Access)コントローラを含む。通信部102は、ネットワークNWを介して、サービス提供装置20や他のウェブサーバと通信する。
The
制御部110は、例えば、取得部112と、テキスト分割部114と、フレーズスコア算出部116と、固有表現抽出部118とを備える。制御部110の構成要素は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのプロセッサが記憶部130に格納されたプログラムを実行することにより実現される。また、制御部110の構成要素の一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などのハードウェア(回路部;circuitry)により実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
The
記憶部130は、例えば、HDD(Hard Disc Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、RAM(Random Access Memory)などにより実現される。記憶部130には、ファームウェアやアプリケーションプログラムなどの各種プログラムの他に、検索ログ132が格納される。
The
図3は、検索ログ132の一例を示す図である。図示の例のように、検索ログ132は、集計した期間ごとに、ユーザが検索エンジンに入力した各クエリや、そのクエリの入力回数などが対応付けられた履歴情報である。入力回数は、例えば、ユニークブラウザクッキー数であってよい。この場合、同じブラウザを介して同じクエリが何度も入力されても、そのクエリの入力回数は1回としてカウントされる。
FIG. 3 is a diagram showing an example of the
[処理フロー]
以下、第1実施形態における制御部110の一連の処理の流れをフローチャートを用いて説明する。図4は、第1実施形態における制御部110の一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。
[Processing flow]
Hereinafter, a series of processing flows of the
まず、取得部112は、通信部102を介して、サービス提供装置20からコンテンツの一つであるテキストを取得する(S100)。例えば、テキストは、ユーザが検索エンジンを利用して検索可能なテキストであり、具体的には、組織や団体、著名人などが自ら運営主体となっている公式サイトに掲載された記事や、組織や団体、著名人などと関係のない第三者が運営主体となっている一般サイト(非公式サイト)に記載された記事などである。
First, the
次に、取得部112は、通信部102を介して、サービス提供装置20から検索ログ132を取得する(S102)。例えば、取得部112は、直近の数か月の間にユーザが入力したクエリの履歴を含む検索ログ132を取得する。
Next, the
次に、テキスト分割部114は、取得部112によって取得されたテキストを一つまたは複数のフレーズに分割する(S104)。本実施形態に係るフレーズは、「は」、「が」、「を」といった助詞のように一文字であってもよいし、複数の文字を含む文字列であってもよい。すなわち、本実施形態の説明では、フレーズという用語を、複数の単語の集まりであるという辞書的な意味で使用するのではなく、一つの文字や、一つの単語、一つの句、一つの文といった、もう少し広義な意味で使用する。
Next, the
例えば、テキスト分割部114は、テキストに含まれる文字数をNとした場合、2の(N−1)乗通りのフレーズの組み合わせのパターンで、テキストを分割する。例えば、テキストは、N=1であれば1通りのパターンで分割され、N=2であれば2通りのパターンで分割され、N=3であれば4通りのパターンで分割され、N=4であれば8通りのパターンで分割される。
For example, when the number of characters included in the text is N, the
次に、フレーズスコア算出部116は、検索ログ132に基づいて、テキスト分割部114によって分割されたフレーズごとに、そのフレーズが固有表現であることの確からしさを定量化した指標値(以下、フレーズスコアと称する)を算出する(S106)。例えば、フレーズスコア算出部116は、数式(1)に基づいて、フレーズスコアを算出する。
Next, the phrase
式中Sは、フレーズスコアを表し、βは、スコア算出対象とするフレーズと一致するクエリの入力回数(そのクエリを使った検索回数)を表し、αは、1よりも大きい実数(例えば10など)を表し、Lは、スコア算出対象とするフレーズの長さ、すなわちフレーズに含まれる文字数を表している。 In the formula, S represents the phrase score, β represents the number of times a query is input that matches the phrase for which the score is to be calculated (the number of searches using that query), and α is a real number greater than 1 (for example, 10). ), And L represents the length of the phrase for which the score is to be calculated, that is, the number of characters included in the phrase.
例えば、スコア算出対象とするフレーズが、検索ログ132に含まれるクエリのいずれかと一致している場合、すなわち、スコア算出対象とするフレーズがクエリとして1回以上入力されている場合、フレーズスコア算出部116は、クエリの入力回数βが多く、且つフレーズ長Lが大きいほど、対象のフレーズのフレーズスコアSを大きくし、クエリの入力回数βが少なく、且つフレーズ長Lが小さいほど、対象のフレーズのフレーズスコアSを小さくする。なお、スコア算出対象とするフレーズが、検索ログ132に含まれるクエリのいずれかと一致しない場合、すなわち、スコア算出対象とするフレーズがクエリとして入力されていない場合、フレーズスコア算出部116は、対象のフレーズのフレーズスコアSを0にする。
For example, if the phrase to be scored matches any of the queries included in the
次に、固有表現抽出部118は、フレーズスコア算出部116によってフレーズごとに算出されたフレーズスコアに基づいて、テキストから固有表現を抽出する(S108)。これによって本フローチャートの処理が終了する。
Next, the named
図5から図8は、3文字のテキストから固有表現を抽出する方法を模式的に示す図である。これらの図は、「ABC」という3文字のテキストが一つまたは複数のフレーズに分割されていることを模式的に示している。従って、テキストは、4(22)通りのパターンで分割される。 5 to 8 are diagrams schematically showing a method of extracting a named entity from a three-character text. These figures schematically show that the three-letter text "ABC" is divided into one or more phrases. Therefore, the text is divided into 4 ( 22 ) patterns.
例えば、図5は、「ABC」という一つのテキストを、「A」という一文字だけのフレーズと、「B」という一文字だけのフレーズと、「C」という一文字だけのフレーズとに分割するパターン1を表している。フレーズスコア算出部116は、パターン1の場合、「A」のフレーズについては、フレーズスコアSAを算出し、「B」のフレーズについては、フレーズスコアSBを算出し、「C」のフレーズについては、フレーズスコアSCを算出している。
For example, FIG. 5 shows
図6は、「ABC」という一つのテキストを、「AB」という二文字のフレーズと、「C」という一文字だけのフレーズとに分割するパターン2を表している。フレーズスコア算出部116は、「AB」のフレーズについては、フレーズスコアSABを算出し、「C」のフレーズについては、フレーズスコアSCを算出している。
FIG. 6 represents pattern 2 in which one text "ABC" is divided into a two-letter phrase "AB" and a one-letter phrase "C". Phrase
図7は、「ABC」という一つのテキストを、「A」という一文字だけのフレーズと、「BC」という二文字のフレーズとに分割するパターン3を表している。フレーズスコア算出部116は、「A」のフレーズについては、フレーズスコアSAを算出し、「BC」のフレーズについては、フレーズスコアSBCを算出している。
FIG. 7 represents pattern 3 in which one text "ABC" is divided into a one-letter phrase "A" and a two-letter phrase "BC". The phrase
図8は、「ABC」という一つのテキストを、そのまま一つのフレーズとするパターン4を表している。フレーズスコア算出部116は、「ABC」のフレーズについて、フレーズスコアSABCを算出している。
FIG. 8 shows a pattern 4 in which one text "ABC" is used as it is as one phrase. The phrase
フレーズスコア算出部116は、上記のように各パターンについて個々のフレーズのフレーズスコアSを算出すると、パターンごとにフレーズスコアSの和を算出する。図5に例示するパターン1では、フレーズスコアSの和は、(SA+SB+SC)となり、図6に例示するパターン2では、フレーズスコアSの和は、(SAB+SC)となり、図7に例示するパターン3では、フレーズスコアSの和は、(SA+SBC)となり、図8に例示するパターン4では、フレーズスコアSの和は、(SABC)となる。
When the phrase
固有表現抽出部118は、これら4つのパターンの中から、フレーズスコアSの和が最大となるパターンを選択し、そのパターンが表すフレーズを固有表現として抽出する。例えば、パターン4のフレーズスコアSの和SABCが最大である場合、固有表現抽出部118は、「ABC」という一つのフレーズを固有表現として抽出する。また、例えば、パターン2のフレーズスコアSの和(SAB+SC)が最大である場合、固有表現抽出部118は、「AB」というフレーズと「C」というフレーズとをそれぞれ固有表現として抽出する。
The named
図9から図16は、4文字のテキストから固有表現を抽出する方法を模式的に示す図である。これらの図は、「ABCD」という4文字のテキストが一つまたは複数のフレーズに分割されていることを模式的に示している。従って、テキストは、8(23)パターンで分割される。 9 to 16 are diagrams schematically showing a method of extracting a named entity from a four-character text. These figures schematically show that the four-letter text "ABCD" is divided into one or more phrases. Therefore, the text is divided into 8 (2 3 ) patterns.
例えば、図9は、「ABCD」という一つのテキストを、一文字ごとのフレーズに分割するパターン1−1を表している。図10は、「ABCD」という一つのテキストを、「A」、「B」、「AB」という3つのフレーズに分割するパターン1−2を表している。図11は、「ABCD」という一つのテキストを、「AB」、「C」、「D」という3つのフレーズに分割するパターン2−1を表している。図12は、「ABCD」という一つのテキストを、「AB」、「CD」という2つのフレーズに分割するパターン2−2を表している。図13は、「ABCD」という一つのテキストを、「A」、「BC」、「D」という3つのフレーズに分割するパターン3−1を表している。図14は、「ABCD」という一つのテキストを、「A」、「BCD」という2つのフレーズに分割するパターン3−2を表している。図15は、「ABCD」という一つのテキストを、「ABC」、「D」という2つのフレーズに分割するパターン4−1を表している。図16は、「ABCD」という一つのテキストを、そのまま一つのフレーズとするパターン4−2を表している。上記同様に、フレーズスコア算出部116は、各パターンについて個々のフレーズのフレーズスコアSを算出すると、パターンごとにフレーズスコアSの和を算出する。そして、固有表現抽出部118は、これら8つのパターンの中から、フレーズスコアSの和が最大となるパターンを選択し、そのパターンが表すフレーズを固有表現として抽出する。
For example, FIG. 9 shows a pattern 1-1 in which one text "ABCD" is divided into phrases for each character. FIG. 10 represents a pattern 1-2 that divides one text "ABCD" into three phrases "A", "B", and "AB". FIG. 11 represents a pattern 2-1 that divides one text "ABCD" into three phrases "AB", "C", and "D". FIG. 12 represents a pattern 2-2 that divides one text "ABCD" into two phrases "AB" and "CD". FIG. 13 represents a pattern 3-1 that divides one text "ABCD" into three phrases "A", "BC", and "D". FIG. 14 represents a pattern 3-2 that divides one text "ABCD" into two phrases "A" and "BCD". FIG. 15 represents a pattern 4-1 that divides one text "ABCD" into two phrases "ABC" and "D". FIG. 16 shows a pattern 4-2 in which one text "ABCD" is used as it is as one phrase. Similarly to the above, when the phrase
以上説明した第1実施形態によれば、テキストの文字数Nに基づく数の組み合わせのパターンで、そのテキストを一つまたは複数のフレーズに分割し、各パターンにおいて、分割したフレーズごとにフレーズスコアを算出し、パターンごとにフレーズスコアの和を算出し、算出した和が最大となるパターンのフレーズを固有表現として抽出する。これによって、文書から精度よく固有表現を抽出することができる。 According to the first embodiment described above, the text is divided into one or a plurality of phrases in a pattern of a combination of numbers based on the number of characters N of the text, and a phrase score is calculated for each divided phrase in each pattern. Then, the sum of the phrase scores is calculated for each pattern, and the phrase of the pattern having the maximum calculated sum is extracted as a named entity. As a result, the named entity can be accurately extracted from the document.
従来より、予め固有表現が登録された辞書を用いて、テキストから固有表現を抽出することが行われているが、新語などの固有表現は日々出現しており、頻繁に辞書を更新する必要がある。しかしながら、辞書を日々更新することは現実的に困難である。また、一部のコミュニティで新語として使われ始めたニッチな用語などについては、固有表現として辞書に登録されにくい。 Traditionally, named entities have been extracted from text using a dictionary in which named entities are registered in advance, but named entities such as new words are appearing every day, and it is necessary to update the dictionary frequently. is there. However, it is practically difficult to update the dictionary daily. In addition, it is difficult for niche terms that have begun to be used as new words in some communities to be registered in the dictionary as named entities.
そのため、例えば、新作コンテンツのタイトルが「〇〇〇公式ガイドブック・◇◇から△△までの歩き方」のような一文であり、このタイトルを含むテキストに辞書を適用して固有表現を抽出する場合、「〇〇〇」、「公式」、「ガイドブック」、「◇◇」、「△△」、「歩き方」のような複数の単語が固有表現として抽出され、本来抽出すべき「〇〇〇公式ガイドブック・◇◇から△△までの歩き方」という一文が固有表現として抽出されないことになる。 Therefore, for example, the title of the new content is a sentence such as "○○○ Official Guidebook ・ How to walk from ◇◇ to △△", and a named entity is extracted by applying a dictionary to the text containing this title. In this case, multiple words such as "○○○", "official", "guidebook", "◇◇", "△△", and "how to walk" are extracted as named entities, and "○" should be extracted. 〇〇 Official guidebook ・ The sentence "How to walk from ◇◇ to △△" will not be extracted as a named entity.
一方で、クエリという性質について考えた場合、ある新作コンテンツのタイトルが文のように長いタイトルであれば、ユーザは、公式サイトや第三者のウェブサイトなどからタイトルを表す文字列をコピーし、検索サイトの入力欄に、コピーした文字列を張り付けることが想定される。この場合、固有表現であるコンテンツのタイトルと一語一句同じクエリが検索ログ132として収集されることになる。特に、直近数か月のようなごく最近の検索ログ132には、今現在流行しているような新語などがクエリとして含まれやすい。そのため、本実施形態では、テキストを分割したフレーズと検索ログ132のクエリとを比較することで、固有表現が長くても、或いは真新しい固有表現であっても、テキストから精度よく固有表現を抽出することができる。
On the other hand, when considering the nature of queries, if the title of a new content is as long as a sentence, the user copies the character string representing the title from the official website or the website of a third party, and then It is assumed that the copied character string will be pasted in the input field of the search site. In this case, the query that is the same word by word as the title of the content that is a named entity is collected as the
また、括弧やアポストロフィ、プライムといった約物(記述記号)によって囲まれたテキストの一部を、固有表現として抽出することも考えられる。しかしながら、この手法では、人物の台詞や引用文などを固有表現として抽出する場合があり、それが一つの名詞として使用されている固有表現なのか、単に台詞や引用文なのかを区別することができない。また、コンテンツのキャラクター名や人名などは固有表現であるものの、通常括弧などで囲まれていないことから、テキストから抽出することができない。 It is also conceivable to extract a part of the text surrounded by punctuation marks (descriptive symbols) such as parentheses, apostrophes, and primes as named entities. However, in this method, a person's dialogue or quotation may be extracted as a named entity, and it is possible to distinguish whether it is a named entity used as one noun or simply a dialogue or quotation. Can not. In addition, although the character name and personal name of the content are unique expressions, they cannot be extracted from the text because they are usually not enclosed in parentheses.
これに対して、本実施形態では、約物に依らずに固有表現を抽出することができる。また、映画や書籍のタイトルには、しばしば副題が付けられており、その副題が約物によって囲まれている場合がある。仮に固有表現が約物で囲まれていたとしても、ユーザが約物で囲まれた固有表現をクエリとして入力していれば、本実施形態の手法によって、その約物を含む固有表現も抽出することができる。 On the other hand, in the present embodiment, named entity can be extracted regardless of punctuation marks. Also, movie and book titles often have subtitles, which may be surrounded by punctuation marks. Even if the named entity is surrounded by punctuation marks, if the user inputs the named entity surrounded by punctuation marks as a query, the named entity including the punctuation marks is also extracted by the method of the present embodiment. be able to.
また、単にテキストのフレーズと検索ログ132のクエリとを比較した場合、テキストには、「は」、「を」、「です」、「ます」といった比較的短いフレーズが出現しやすいため、それらのフレーズがクエリと偶然に一致し、フレーズスコアSが大きくなる傾向となる。これに対して、本実施形態では、指数をフレーズ長Lとした任意の基数αと入力回数βとの積をフレーズスコアSとするため、入力回数βが少ないフレーズであっても、フレーズ長Lが大きければフレーズスコアSを大きくし、入力回数βが多いフレーズであっても、フレーズ長Lが小さければフレーズスコアSを低くすることができる。この結果、助詞などを固有表現として抽出することを抑制しつつ、複数の名詞が助詞などで接続された句や文を一つの固有表現として精度よく抽出することができる。
Also, if you simply compare the phrase in the text with the query in the
<第2実施形態>
以下、第2実施形態について説明する。上述した第1実施形態では、フレーズの組み合わせである全パターンについてフレーズスコアの和を算出し、その和が最大となるパターンのフレーズを固有表現として抽出するものとして説明した。これに対して、第2実施形態では、全パターンについてフレーズスコアの和を算出するのではなく、検証すべきパターンを合理的に決定した上でフレーズスコアの和を算出する点で上述した第1実施形態と相違する。以下、第1実施形態との相違点を中心に説明し、第1実施形態と共通する点については説明を省略する。なお、第2実施形態の説明において、第1実施形態と同じ部分については同一符号を付して説明する。
<Second Embodiment>
Hereinafter, the second embodiment will be described. In the first embodiment described above, the sum of phrase scores is calculated for all patterns that are a combination of phrases, and the phrase of the pattern having the maximum sum is extracted as a named entity. On the other hand, in the second embodiment, the sum of the phrase scores is calculated after rationally determining the pattern to be verified, instead of calculating the sum of the phrase scores for all the patterns. Different from the embodiment. Hereinafter, the differences from the first embodiment will be mainly described, and the points common to the first embodiment will be omitted. In the description of the second embodiment, the same parts as those of the first embodiment will be described with the same reference numerals.
図17から図19は、スコア算出対象のパターンの決定方法を説明するための図である。例えば、「ABCD」という4文字のテキストが与えられた場合、第2実施形態に係るテキスト分割部114は、図17に例示するように、テキストの先頭の第1文字「A」とそれに続く第2文字「B」との間を分割し、「A」というフレーズと「B」というフレーズとを生成するとともに、これらの文字の間を分割せず、「AB」という2文字のフレーズを生成する。第2実施形態に係るフレーズスコア算出部116は、検索ログ132を用いて、フレーズ「A」のフレーズスコアSAとフレーズ「B」のフレーズスコアSBとの和(SA+SB)を算出するとともに、フレーズ「AB」のフレーズスコアSABを算出する。テキスト分割部114は、これらを比較し、よりスコアが小さい方のパターンから派生したパターンを、次に検証するパターン候補から消去する。第1文字「A」は、「第1文字列」の一例であり、第2文字「B」は、「第2文字列」の一例であり、フレーズ「AB」は、「第3文字列」の一例である。
17 to 19 are diagrams for explaining a method of determining a pattern to be scored. For example, when a four-character text "ABCD" is given, the
図17の例では、(SA+SB)よりもSABの方が大きい。この場合、第2文字に続く第3文字「C」を含めたフレーズの組み合わせのパターンは、上述したパターン1とパターン2とパターン3とパターン4の計4種類となる。これらの4種類のパターンのうち、少なくともパターン1とパターン2とは、第3文字「C」を含める以前の結果と同じになる。例えば、パターン1のフレーズスコアの和は(SA+SB+SC)であり、パターン2のフレーズスコアの和は(SAB+SC)であることから、前回が(SA+SB)よりもSABの方が大きいという結果であれば、パターン1およびパターン2のフレーズスコアの和の大小関係は変化しない。従って、フレーズスコア算出部116は、テキストの先頭の第1文字「A」とそれに続く第2文字「B」との間を分割するというパターン1についてはスコアを算出しない。
In the example of FIG. 17, the larger S AB than (S A + S B). In this case, the pattern of the phrase combination including the third character "C" following the second character is a total of four types of the above-mentioned
次に、テキスト分割部114は、図18に例示するように、残された3種類のパターン3のスコアを比較する。図18の例では、パターン4のフレーズスコアSABCが最も大きい。従って、フレーズスコア算出部116は、テキストの先頭の一文字「A」とそれに続く三文字の組み合わせ「BCD」との間を分割するパターン3−1と、テキストの先頭の二文字の組み合わせ「AB」とそれに続く二文字の組み合わせ「CD」との間を分割するパターン2−2と、テキストの先頭の三文字の組み合わせ「ABC」とそれに続く一文字「D」との間を分割するパターン4−1と、テキストを分割せず一つのフレーズとするパターン4−2の合計4パターンについてのみスコアを算出する。このように、本手法では、文字列の最後のk文字目について検討するときには、k個のパターンを比較する。
Next, the
次に、フレーズスコア算出部116は、上記の4パターン(3−1、2−2、4−1、−2)のそれぞれのフレーズスコアの和を算出する。例えば、パターン4−1のフレーズスコアの和(SABCD+SD)が最も大きい場合、固有表現抽出部118は、「ABC」というフレーズと「D」というフレーズとをそれぞれ固有表現として抽出する。このように、テキストの先頭の文字から順番に組み合わせていき、各組み合わせの候補をスコアの大きさに応じて、その組み合わせのパターンを取捨選択することで、最適な組み合わせを探索することができる。
Next, the phrase
なお、あるパターンのフレーズスコアが0となった場合、そのパターンに一文字追加した派生パターンについては、以後考慮しなくてもよい。フレーズスコアが0ということは、そのフレーズと一致するクエリの入力回数βが0であることを意味する。すなわち、どのユーザも、そのパターンによって表されるフレーズをクエリとして入力したことがないことを意味しており、そのパターンのフレーズが固有表現であるという蓋然性が極めて低いことを表している。 When the phrase score of a certain pattern becomes 0, it is not necessary to consider the derived pattern in which one character is added to the pattern. When the phrase score is 0, it means that the number of inputs β of the query matching the phrase is 0. That is, it means that no user has input the phrase represented by the pattern as a query, and it is extremely unlikely that the phrase of the pattern is a named entity.
以上説明した第2実施形態によれば、テキストの先頭の文字から順番に組み合わせていき、その時点で各パターンのフレーズスコアを比較し、フレーズスコアがより小さいパターンを以降の処理対象から除外する。 According to the second embodiment described above, the characters are combined in order from the first character of the text, the phrase scores of each pattern are compared at that time, and the patterns having a smaller phrase score are excluded from the subsequent processing targets.
例えば、映画やドラマ、アニメといったコンテンツには、ある単語Aと、ある単語Bとの間に「の」や「と」といった助詞などを挟んだ固有名詞をタイトルとしているものがある。具体的には、「〇〇と□□」や「〇〇の△△」といったタイトルである。このようなコンテンツのタイトルを、全パターンについてフレーズスコアを求めた場合、「の」や「と」のような助詞が名詞の先頭に出現するようなフレーズについてもスコアを算出することになる。しかしながら、現実世界では、フレーズの冒頭に助詞が出現することは極めて稀であり、そのフレーズそのものが世に存在していないと見做すことができる。従って、テキストの先頭の文字から順番に組み合わせていき、その時点で各パターンのフレーズスコアを比較し、フレーズスコアがより小さいパターンを以降の処理対象から除外することで、効率よく固有名詞を抽出することができる。 For example, some contents such as movies, dramas, and animations have proper nouns whose titles are particles such as "no" and "to" between a certain word A and a certain word B. Specifically, the titles are "○○ and □□" and "○○ △△". When the phrase score is obtained for all patterns of the title of such content, the score is also calculated for the phrase in which particles such as "no" and "to" appear at the beginning of the noun. However, in the real world, particles rarely appear at the beginning of a phrase, and it can be considered that the phrase itself does not exist in the world. Therefore, by combining in order from the first character of the text, comparing the phrase scores of each pattern at that point, and excluding patterns with smaller phrase scores from the subsequent processing targets, proper nouns are efficiently extracted. be able to.
上述した第1実施形態のように、全パターンの区切り方を試した場合、テキストに含まれる文字数をNとすれば、2N−1のようにスコアの算出回数が増加する。これに対して、第2実施形態では、文字の連続性を考慮して、パターン数を減らすため、スコアの算出回数をN2回に抑えることができる。 When the method of separating all patterns is tried as in the first embodiment described above, if the number of characters included in the text is N, the number of times the score is calculated increases as in 2 N-1 . In contrast, in the second embodiment, in consideration of the character of continuity, to reduce the number of patterns, it is possible to suppress the number of calculations of the score 2 times N.
<ハードウェア構成>
上述した実施形態の情報処理装置100は、例えば、図19に示すようなハードウェア構成により実現される。図19は、実施形態の情報処理装置100のハードウェア構成の一例を示す図である。
<Hardware configuration>
The
情報処理装置100は、NIC100−1、CPU100−2、RAM100−3、ROM100−4、フラッシュメモリやHDDなどの二次記憶装置100−5、およびドライブ装置100−6が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置100−6には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置100−5、またはドライブ装置100−6に装着された可搬型記憶媒体に格納されたプログラムがDMAコントローラ(不図示)などによってRAM100−3に展開され、CPU100−2によって実行されることで、制御部110が実現される。制御部110が参照するプログラムは、ネットワークNWを介して他の装置からダウンロードされてもよい。
The
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 Although the embodiments for carrying out the present invention have been described above using the embodiments, the present invention is not limited to these embodiments, and various modifications and substitutions are made without departing from the gist of the present invention. Can be added.
1…情報処理システム、10…端末装置、20…サービス提供装置、100…情報処理装置、102…通信部、110…制御部、112…取得部、114…テキスト分割部、116…フレーズスコア算出部、118…固有表現抽出部、130…記憶部 1 ... Information processing system, 10 ... Terminal device, 20 ... Service providing device, 100 ... Information processing device, 102 ... Communication unit, 110 ... Control unit, 112 ... Acquisition unit, 114 ... Text segmentation unit, 116 ... Phrase score calculation unit , 118 ... Named entity extraction unit, 130 ... Storage unit
Claims (6)
ユーザによって入力された複数のクエリに基づいて、前記分割部により分割された前記文字列ごとにスコアを算出する算出部と、
前記算出部によって算出された前記スコアに基づいて、前記文章から固有表現を抽出する抽出部と、
を備える情報処理装置。 A division part that divides a sentence into a character string containing at least one character,
A calculation unit that calculates a score for each of the character strings divided by the division unit based on a plurality of queries input by the user.
An extraction unit that extracts a named entity from the sentence based on the score calculated by the calculation unit.
Information processing device equipped with.
請求項1に記載の情報処理装置。 The calculation unit calculates the score based on the number of times the query is input that matches the character string and the length of the character string.
The information processing device according to claim 1.
請求項1または2に記載の情報処理装置。 The extraction unit extracts one or more of the character strings obtained when the division unit divides the sentence at a position where the sum of the scores for each character string is maximized, as the named entity.
The information processing device according to claim 1 or 2.
前記算出部は、前記第1位置の直前に出現する、少なくとも一文字以上を含む第1文字列のスコアと、前記第1位置の直後に出現する、少なくとも一文字以上を含む第2文字列のスコアと、前記第1文字列および前記第2文字列を組み合わせた第3文字列のスコアとを算出し、
前記抽出部は、前記第1文字列のスコアと前記第2文字列のスコアとの和と、前記第3文字列のスコアとを比較し、よりスコアが小さい方の文字列を、前記固有表現の抽出対象から除外する、
請求項1から3のうちいずれか一項に記載の情報処理装置。 The division portion divides the sentence at the first position and
The calculation unit includes a score of a first character string containing at least one character appearing immediately before the first position and a score of a second character string containing at least one character appearing immediately after the first position. , The score of the third character string which is a combination of the first character string and the second character string is calculated.
The extraction unit compares the sum of the score of the first character string and the score of the second character string with the score of the third character string, and expresses the character string having the smaller score as the unique expression. Exclude from the extraction target of
The information processing device according to any one of claims 1 to 3.
文章を、少なくとも一文字以上を含む文字列に分割し、
ユーザによって入力された複数のクエリに基づいて、前記分割した文字列ごとにスコアを算出し、
前記算出したスコアに基づいて、前記文章から固有表現を抽出する、
情報処理方法。 The computer
Divide the sentence into a string containing at least one character,
Based on a plurality of queries entered by the user, a score is calculated for each of the divided character strings.
Based on the calculated score, the named entity is extracted from the sentence.
Information processing method.
文章を、少なくとも一文字以上を含む文字列に分割する処理と、
ユーザによって入力された複数のクエリに基づいて、前記分割した文字列ごとにスコアを算出する処理と、
前記算出したスコアに基づいて、前記文章から固有表現を抽出する処理と、
を実行させるためのプログラム。 On the computer
The process of dividing a sentence into a character string containing at least one character,
A process of calculating a score for each of the divided character strings based on a plurality of queries entered by the user, and
A process of extracting a named entity from the sentence based on the calculated score,
A program to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019053170A JP7139271B2 (en) | 2019-03-20 | 2019-03-20 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019053170A JP7139271B2 (en) | 2019-03-20 | 2019-03-20 | Information processing device, information processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020154790A true JP2020154790A (en) | 2020-09-24 |
JP7139271B2 JP7139271B2 (en) | 2022-09-20 |
Family
ID=72559218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019053170A Active JP7139271B2 (en) | 2019-03-20 | 2019-03-20 | Information processing device, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7139271B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100180199A1 (en) * | 2007-06-01 | 2010-07-15 | Google Inc. | Detecting name entities and new words |
JP2013134625A (en) * | 2011-12-26 | 2013-07-08 | Fujitsu Ltd | Extraction device, extraction program and extraction method |
JP2016110441A (en) * | 2014-12-08 | 2016-06-20 | 日本電信電話株式会社 | Term extraction device, method and program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3880087B2 (en) | 1995-11-28 | 2007-02-14 | 富士通株式会社 | Morphological analyzer |
-
2019
- 2019-03-20 JP JP2019053170A patent/JP7139271B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100180199A1 (en) * | 2007-06-01 | 2010-07-15 | Google Inc. | Detecting name entities and new words |
JP2013134625A (en) * | 2011-12-26 | 2013-07-08 | Fujitsu Ltd | Extraction device, extraction program and extraction method |
JP2016110441A (en) * | 2014-12-08 | 2016-06-20 | 日本電信電話株式会社 | Term extraction device, method and program |
Non-Patent Citations (1)
Title |
---|
沢井 康孝: "Web検索を用いた複合名詞同定", 言語処理学会第14回年次大会発表論文集, JPN6022000001, 17 March 2008 (2008-03-17), pages 205 - 208, ISSN: 0004679445 * |
Also Published As
Publication number | Publication date |
---|---|
JP7139271B2 (en) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10210243B2 (en) | Method and system for enhanced query term suggestion | |
US9881059B2 (en) | Systems and methods for suggesting headlines | |
JP5379138B2 (en) | Creating an area dictionary | |
US10810374B2 (en) | Matching a query to a set of sentences using a multidimensional relevancy determination | |
WO2019037258A1 (en) | Information recommendation method, device and system, and computer-readable storage medium | |
US20110238413A1 (en) | Domain dictionary creation | |
US20110040769A1 (en) | Query-URL N-Gram Features in Web Ranking | |
CN106095845B (en) | Text classification method and device | |
US20230177360A1 (en) | Surfacing unique facts for entities | |
US10152478B2 (en) | Apparatus, system and method for string disambiguation and entity ranking | |
US8793120B1 (en) | Behavior-driven multilingual stemming | |
US8825620B1 (en) | Behavioral word segmentation for use in processing search queries | |
Ghosh et al. | A rule based extractive text summarization technique for Bangla news documents | |
CN108280081B (en) | Method and device for generating webpage | |
US10621261B2 (en) | Matching a comment to a section of a content item based upon a score for the section | |
JP2017045196A (en) | Ambiguity evaluation device, ambiguity evaluation method, and ambiguity evaluation program | |
JP2018081394A (en) | Information processing apparatus, information processing method, and program | |
US11803796B2 (en) | System, method, electronic device, and storage medium for identifying risk event based on social information | |
CN107665442B (en) | Method and device for acquiring target user | |
JP2019109654A (en) | Similar text extraction device, automatic response system, similar text extraction method, and program | |
JP7333931B2 (en) | Post analysis system, post analysis device and post analysis method | |
WO2019192122A1 (en) | Document topic parameter extraction method, product recommendation method and device, and storage medium | |
CN105740436B (en) | Method and device for pushing written works based on Internet search technology | |
JP7139271B2 (en) | Information processing device, information processing method, and program | |
CN107533545B (en) | Information presentation device, information presentation method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220907 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7139271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |