JP2020154790A - Information processing device, information processing method, and program - Google Patents

Information processing device, information processing method, and program Download PDF

Info

Publication number
JP2020154790A
JP2020154790A JP2019053170A JP2019053170A JP2020154790A JP 2020154790 A JP2020154790 A JP 2020154790A JP 2019053170 A JP2019053170 A JP 2019053170A JP 2019053170 A JP2019053170 A JP 2019053170A JP 2020154790 A JP2020154790 A JP 2020154790A
Authority
JP
Japan
Prior art keywords
score
phrase
character
character string
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019053170A
Other languages
Japanese (ja)
Other versions
JP7139271B2 (en
Inventor
俊平 大倉
Shumpei Okura
俊平 大倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2019053170A priority Critical patent/JP7139271B2/en
Publication of JP2020154790A publication Critical patent/JP2020154790A/en
Application granted granted Critical
Publication of JP7139271B2 publication Critical patent/JP7139271B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To extract a unique expression from a document with high accuracy.SOLUTION: An information processing device includes a division part for dividing a sentence into a character string including at least one or more characters, a calculation part for calculating a score in each character string divided by the division part on the basis of a plurality of queries inputted by a user, and an extraction part for extracting a unique expression from the sentence on the basis of the score calculated by the calculation part.SELECTED DRAWING: Figure 2

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.

文章に含まれる固有表現(例えば固有名詞)を特徴量として用いることで、その文章の内容を、機械学習に利用可能な表現に置き換えることが研究されている。これに関連し、入力テキストを、形態素解析によってフレーズに区分し、予め印象要素とそのスコアがフレーズに対応付けられた印象辞書を用いて、入力テキストを区分したフレーズ毎に、印象要素及びスコアを対応付けたフレーズリストを生成し、入力テキストのフレーズ全体から各印象要素の尤度を算出し、当該尤度を、各印象要素のスコアとして対応付けた客観的印象を算出し、主観的印象に基づく当該印象要素のスコアと、客観的印象に基づく該印象要素のスコアとを比較した印象差分情報を算出する技術が知られている(例えば、特許文献1参照)。 Research is being conducted to replace the content of a sentence with an expression that can be used for machine learning by using a proper expression (for example, a proper noun) contained in the sentence as a feature quantity. In relation to this, the input text is divided into phrases by morphological analysis, and the impression element and score are divided for each phrase in which the input text is divided using an impression dictionary in which the impression element and its score are associated with the phrase in advance. Generate an associated phrase list, calculate the likelihood of each impression element from the entire phrase of the input text, calculate the objective impression associated with the likelihood as the score of each impression element, and make it a subjective impression. There is known a technique for calculating impression difference information by comparing the score of the impression element based on the score of the impression element based on the score of the impression element based on an objective impression (see, for example, Patent Document 1).

特開2017−84015号公報JP-A-2017-84015

世間では、新語や造語といった今まで使われていなかった新しい言葉が流行する場合がある。例えば、ユニークなタイトルが付けられた新作のコンテンツが公開され、そのコンテンツが人々の間で話題となれば、ユニークなタイトルが新しい言葉として流行することになる。しかしながら、従来の技術では、流行に合わせて辞書を頻繁に更新するのは困難な場合が多く、更には、どのような文章から辞書に登録すべき固有表現を探すべきなのかが十分に検討されていなかった。このようなことから、従来の技術では、文書から固有表現を精度よく抽出できない場合があった。 New words that have not been used until now, such as new words and coined words, may become popular in the world. For example, if new content with a unique title is released and the content becomes a hot topic among people, the unique title will become popular as a new word. However, with the conventional technology, it is often difficult to update the dictionary frequently according to the fashion, and further, it is thoroughly examined from what kind of sentence the unique expression to be registered in the dictionary should be searched for. I wasn't. For this reason, conventional techniques may not be able to accurately extract named entities from a document.

本発明は、上記の課題に鑑みてなされたものであり、文書から精度よく固有表現を抽出することができる情報処理装置、情報処理方法、及びプログラムを提供することを目的としている。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an information processing device, an information processing method, and a program capable of accurately extracting a named entity from a document.

本発明の一態様は、文章を、少なくとも一文字以上を含む文字列に分割する分割部と、ユーザによって入力された複数のクエリに基づいて、前記分割部により分割された前記文字列ごとにスコアを算出する算出部と、前記算出部によって算出された前記スコアに基づいて、前記文章から固有表現を抽出する抽出部と、を備える情報処理装である。 One aspect of the present invention is a division unit that divides a sentence into character strings including at least one character, and a score for each character string divided by the division unit based on a plurality of queries input by the user. It is an information processing device including a calculation unit for calculation and an extraction unit for extracting a named entity from the sentence based on the score calculated by the calculation unit.

本発明の一態様によれば、文書から精度よく固有表現を抽出することができる。 According to one aspect of the present invention, named entity can be accurately extracted from a document.

第1実施形態における情報処理装置100を含む情報処理システム1の一例を示す図である。It is a figure which shows an example of the information processing system 1 including the information processing apparatus 100 in 1st Embodiment. 第1実施形態における情報処理装置100の構成の一例を示す図である。It is a figure which shows an example of the structure of the information processing apparatus 100 in 1st Embodiment. 検索ログ132の一例を示す図である。It is a figure which shows an example of the search log 132. 第1実施形態における制御部110の一連の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a series of processing of the control unit 110 in 1st Embodiment. 3文字のテキストから固有表現を抽出する方法を模式的に示す図である。It is a figure which shows typically the method of extracting a named entity from a three-character text. 3文字のテキストから固有表現を抽出する方法を模式的に示す図である。It is a figure which shows typically the method of extracting a named entity from a three-character text. 3文字のテキストから固有表現を抽出する方法を模式的に示す図である。It is a figure which shows typically the method of extracting a named entity from a three-character text. 3文字のテキストから固有表現を抽出する方法を模式的に示す図である。It is a figure which shows typically the method of extracting a named entity from a three-character text. 4文字のテキストから固有表現を抽出する方法を模式的に示す図である。It is a figure which shows typically the method of extracting a named entity from a four-character text. 4文字のテキストから固有表現を抽出する方法を模式的に示す図である。It is a figure which shows typically the method of extracting a named entity from a four-character text. 4文字のテキストから固有表現を抽出する方法を模式的に示す図である。It is a figure which shows typically the method of extracting a named entity from a four-character text. 4文字のテキストから固有表現を抽出する方法を模式的に示す図である。It is a figure which shows typically the method of extracting a named entity from a four-character text. 4文字のテキストから固有表現を抽出する方法を模式的に示す図である。It is a figure which shows typically the method of extracting a named entity from a four-character text. 4文字のテキストから固有表現を抽出する方法を模式的に示す図である。It is a figure which shows typically the method of extracting a named entity from a four-character text. 4文字のテキストから固有表現を抽出する方法を模式的に示す図である。It is a figure which shows typically the method of extracting a named entity from a four-character text. 4文字のテキストから固有表現を抽出する方法を模式的に示す図である。It is a figure which shows typically the method of extracting a named entity from a four-character text. スコア算出対象のパターンの決定方法を説明するための図である。It is a figure for demonstrating the method of determining the pattern of the score calculation target. スコア算出対象のパターンの決定方法を説明するための図である。It is a figure for demonstrating the method of determining the pattern of the score calculation target. スコア算出対象のパターンの決定方法を説明するための図である。It is a figure for demonstrating the method of determining the pattern of the score calculation target.

以下、本発明を適用した情報処理装置、情報処理方法、及びプログラムを、図面を参照して説明する。 Hereinafter, an information processing apparatus, an information processing method, and a program to which the present invention is applied will be described with reference to the drawings.

[概要]
情報処理装置は、一以上のプロセッサにより実現される。情報処理装置は、文章を、少なくとも一文字以上を含む文字列に分割し、ユーザによって入力された複数のクエリの履歴である検索ログに基づいて、文字列ごとにスコアを算出する。そして、情報処理装置は、算出したスコアに基づいて、文章から固有表現を抽出する。これによって、文書から精度よく固有表現を抽出することができる。この結果、例えば、文章の内容を的確に表した分散表現を得ることができる。
[Overview]
The information processing device is realized by one or more processors. The information processing device divides a sentence into a character string including at least one character, and calculates a score for each character string based on a search log which is a history of a plurality of queries input by a user. Then, the information processing device extracts the named entity from the sentence based on the calculated score. As a result, the named entity can be accurately extracted from the document. As a result, for example, it is possible to obtain a distributed expression that accurately represents the content of the sentence.

<第1実施形態>
[全体構成]
図1は、第1実施形態における情報処理装置100を含む情報処理システム1の一例を示す図である。第1実施形態における情報処理システム1は、例えば、一つ以上の端末装置10と、サービス提供装置20と、情報処理装置100とを備える。これらの装置のうち一部または全部は、ネットワークNWを介して互いに接続される。なお、これらの装置のうち一部は、仮想的な装置として他の装置に包含されてもよく、例えば、サービス提供装置20の機能の一部または全部が、情報処理装置100の機能によって実現される仮想マシンであってもよいし、これとは反対に、情報処理装置100の機能の一部または全部が、サービス提供装置20の機能によって実現される仮想マシンであってもよい。
<First Embodiment>
[overall structure]
FIG. 1 is a diagram showing an example of an information processing system 1 including an information processing device 100 according to the first embodiment. The information processing system 1 in the first embodiment includes, for example, one or more terminal devices 10, a service providing device 20, and an information processing device 100. Some or all of these devices are connected to each other via a network NW. A part of these devices may be included in other devices as a virtual device. For example, a part or all of the functions of the service providing device 20 are realized by the functions of the information processing device 100. The virtual machine may be a virtual machine, or conversely, a part or all of the functions of the information processing device 100 may be realized by the functions of the service providing device 20.

図1に示す各装置は、ネットワークNWを介して種々の情報を送受信する。ネットワークNWは、例えば、無線基地局、Wi‐Fiアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、図1に示す各装置の全ての組み合わせが相互に通信可能である必要はなく、ネットワークNWは、一部にローカルなネットワークを含んでもよい。 Each device shown in FIG. 1 transmits and receives various information via the network NW. The network NW includes, for example, a radio base station, a Wi-Fi access point, a communication line, a provider, the Internet, and the like. It should be noted that not all combinations of the devices shown in FIG. 1 need to be able to communicate with each other, and the network NW may partially include a local network.

端末装置10は、例えば、スマートフォンなどの携帯電話、タブレット端末、各種パーソナルコンピュータなどの、入力装置、表示装置、通信装置、記憶装置、および演算装置を備える端末装置である。通信装置は、NIC(Network Interface Card)などのネットワークカード、無線通信モジュールなどを含む。端末装置10では、ウェブブラウザやアプリケーションプログラムなどのUA(User Agent)が起動し、ユーザの入力に応じたリクエストをサービス提供装置20に送信する。また、UAが起動された端末装置10は、サービス提供装置20から取得した情報に基づいて、表示装置に各種画像を表示させる。 The terminal device 10 is a terminal device including an input device, a display device, a communication device, a storage device, and a calculation device, such as a mobile phone such as a smartphone, a tablet terminal, and various personal computers. The communication device includes a network card such as a NIC (Network Interface Card), a wireless communication module, and the like. In the terminal device 10, a UA (User Agent) such as a web browser or an application program is activated, and a request corresponding to a user's input is transmitted to the service providing device 20. Further, the terminal device 10 in which the UA is activated causes the display device to display various images based on the information acquired from the service providing device 20.

サービス提供装置20は、例えば、UAとして起動されたウェブブラウザからのリクエストに応じてウェブページを端末装置10に提供するウェブサーバである。ウェブページは、例えば、ショッピングサイトやオークションサイト、フリーマーケットサイトといった各種ウェブサイトを構成するウェブページであってよい。また、サービス提供装置20は、検索サイトやSNS(Social Networking Service)、メールサービスなどの各種サービスを提供するウェブページを端末装置10に提供してもよい。また、サービス提供装置20は、UAとして起動されたアプリケーションからのリクエストに応じてコンテンツを端末装置10に提供することで、販売サイトなどの各種ウェブサイトと同様のサービスを提供するアプリケーションサーバであってもよい。 The service providing device 20 is, for example, a web server that provides a web page to the terminal device 10 in response to a request from a web browser started as a UA. The web page may be, for example, a web page constituting various websites such as a shopping site, an auction site, and a flea market site. Further, the service providing device 20 may provide the terminal device 10 with a web page that provides various services such as a search site, an SNS (Social Networking Service), and a mail service. Further, the service providing device 20 is an application server that provides the same services as various websites such as sales sites by providing contents to the terminal device 10 in response to a request from an application started as a UA. May be good.

情報処理装置100は、サービス提供装置20から検索ログを取得し、その検索ログを用いて、文章から固有表現を抽出する。本実施形態に係る固有表現には、例えば、名詞のような一つの単語(ワード)だけでなく、名詞と名詞とが他の品詞(例えば助詞)で接続された一つの句(フレーズ)や、名詞や動詞、助詞、助動詞などの種々の品詞を含む一つの文(センテンス)が含まれる。すなわち、人間が固有の表現として用いた言葉であれば、どんなに長い文章であっても固有表現となり得る。 The information processing device 100 acquires a search log from the service providing device 20, and uses the search log to extract a unique expression from the text. The proper expression according to the present embodiment includes, for example, not only one word (word) such as a noun, but also one phrase (phrase) in which a noun and a noun are connected by another part of speech (for example, a particle). A sentence containing various parts of speech such as nouns, verbs, particles, and particles is included. That is, any word used by humans as a named entity can be a named entity, no matter how long the sentence.

[情報処理装置の構成]
図2は、第1実施形態における情報処理装置100の構成の一例を示す図である。図示のように、情報処理装置100は、例えば、通信部102と、制御部110と、記憶部130とを備える。
[Information processing device configuration]
FIG. 2 is a diagram showing an example of the configuration of the information processing apparatus 100 according to the first embodiment. As shown in the figure, the information processing device 100 includes, for example, a communication unit 102, a control unit 110, and a storage unit 130.

通信部102は、例えば、NIC(Network Interface Card)等の通信インターフェースやDMA(Direct Memory Access)コントローラを含む。通信部102は、ネットワークNWを介して、サービス提供装置20や他のウェブサーバと通信する。 The communication unit 102 includes, for example, a communication interface such as a NIC (Network Interface Card) and a DMA (Direct Memory Access) controller. The communication unit 102 communicates with the service providing device 20 and another web server via the network NW.

制御部110は、例えば、取得部112と、テキスト分割部114と、フレーズスコア算出部116と、固有表現抽出部118とを備える。制御部110の構成要素は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのプロセッサが記憶部130に格納されたプログラムを実行することにより実現される。また、制御部110の構成要素の一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などのハードウェア(回路部;circuitry)により実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。 The control unit 110 includes, for example, an acquisition unit 112, a text segmentation unit 114, a phrase score calculation unit 116, and a named entity extraction unit 118. The components of the control unit 110 are realized, for example, by a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit) executing a program stored in the storage unit 130. In addition, some or all of the components of the control unit 110 are realized by hardware (circuit unit; circuitry) such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array). It may be done, or it may be realized by the cooperation of software and hardware.

記憶部130は、例えば、HDD(Hard Disc Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、RAM(Random Access Memory)などにより実現される。記憶部130には、ファームウェアやアプリケーションプログラムなどの各種プログラムの他に、検索ログ132が格納される。 The storage unit 130 is realized by, for example, an HDD (Hard Disc Drive), a flash memory, an EEPROM (Electrically Erasable Programmable Read Only Memory), a ROM (Read Only Memory), a RAM (Random Access Memory), or the like. The storage unit 130 stores the search log 132 in addition to various programs such as firmware and application programs.

図3は、検索ログ132の一例を示す図である。図示の例のように、検索ログ132は、集計した期間ごとに、ユーザが検索エンジンに入力した各クエリや、そのクエリの入力回数などが対応付けられた履歴情報である。入力回数は、例えば、ユニークブラウザクッキー数であってよい。この場合、同じブラウザを介して同じクエリが何度も入力されても、そのクエリの入力回数は1回としてカウントされる。 FIG. 3 is a diagram showing an example of the search log 132. As shown in the illustrated example, the search log 132 is historical information associated with each query input by the user to the search engine, the number of times the query is input, and the like for each aggregated period. The number of inputs may be, for example, the number of unique browser cookies. In this case, even if the same query is input many times through the same browser, the number of times the query is input is counted as one.

[処理フロー]
以下、第1実施形態における制御部110の一連の処理の流れをフローチャートを用いて説明する。図4は、第1実施形態における制御部110の一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。
[Processing flow]
Hereinafter, a series of processing flows of the control unit 110 in the first embodiment will be described with reference to a flowchart. FIG. 4 is a flowchart showing a series of processing flows of the control unit 110 according to the first embodiment. The processing of this flowchart may be repeated, for example, at a predetermined cycle.

まず、取得部112は、通信部102を介して、サービス提供装置20からコンテンツの一つであるテキストを取得する(S100)。例えば、テキストは、ユーザが検索エンジンを利用して検索可能なテキストであり、具体的には、組織や団体、著名人などが自ら運営主体となっている公式サイトに掲載された記事や、組織や団体、著名人などと関係のない第三者が運営主体となっている一般サイト(非公式サイト)に記載された記事などである。 First, the acquisition unit 112 acquires a text, which is one of the contents, from the service providing device 20 via the communication unit 102 (S100). For example, a text is a text that can be searched by a user using a search engine. Specifically, an article or an organization posted on an official website operated by an organization, an organization, a celebrity, or the like. Articles posted on general sites (unofficial sites) operated by third parties unrelated to organizations, celebrities, etc.

次に、取得部112は、通信部102を介して、サービス提供装置20から検索ログ132を取得する(S102)。例えば、取得部112は、直近の数か月の間にユーザが入力したクエリの履歴を含む検索ログ132を取得する。 Next, the acquisition unit 112 acquires the search log 132 from the service providing device 20 via the communication unit 102 (S102). For example, the acquisition unit 112 acquires the search log 132 including the history of queries entered by the user in the last few months.

次に、テキスト分割部114は、取得部112によって取得されたテキストを一つまたは複数のフレーズに分割する(S104)。本実施形態に係るフレーズは、「は」、「が」、「を」といった助詞のように一文字であってもよいし、複数の文字を含む文字列であってもよい。すなわち、本実施形態の説明では、フレーズという用語を、複数の単語の集まりであるという辞書的な意味で使用するのではなく、一つの文字や、一つの単語、一つの句、一つの文といった、もう少し広義な意味で使用する。 Next, the text segmentation unit 114 divides the text acquired by the acquisition unit 112 into one or a plurality of phrases (S104). The phrase according to the present embodiment may be a single character such as particles such as "ha", "ga", and "o", or may be a character string including a plurality of characters. That is, in the description of the present embodiment, the term phrase is not used in the dictionary sense of being a collection of a plurality of words, but is referred to as one character, one word, one phrase, one sentence. , Used in a broader sense.

例えば、テキスト分割部114は、テキストに含まれる文字数をNとした場合、2の(N−1)乗通りのフレーズの組み合わせのパターンで、テキストを分割する。例えば、テキストは、N=1であれば1通りのパターンで分割され、N=2であれば2通りのパターンで分割され、N=3であれば4通りのパターンで分割され、N=4であれば8通りのパターンで分割される。 For example, when the number of characters included in the text is N, the text segmentation unit 114 divides the text by a pattern of a combination of phrases according to 2 (N-1) power. For example, if N = 1, the text is divided into one pattern, if N = 2, it is divided into two patterns, if N = 3, it is divided into four patterns, and N = 4. If so, it is divided into eight patterns.

次に、フレーズスコア算出部116は、検索ログ132に基づいて、テキスト分割部114によって分割されたフレーズごとに、そのフレーズが固有表現であることの確からしさを定量化した指標値(以下、フレーズスコアと称する)を算出する(S106)。例えば、フレーズスコア算出部116は、数式(1)に基づいて、フレーズスコアを算出する。 Next, the phrase score calculation unit 116 quantifies the certainty that the phrase is a named entity for each phrase divided by the text segmentation unit 114 based on the search log 132 (hereinafter, phrase). (Referred to as a score) is calculated (S106). For example, the phrase score calculation unit 116 calculates the phrase score based on the mathematical formula (1).

Figure 2020154790
Figure 2020154790

式中Sは、フレーズスコアを表し、βは、スコア算出対象とするフレーズと一致するクエリの入力回数(そのクエリを使った検索回数)を表し、αは、1よりも大きい実数(例えば10など)を表し、Lは、スコア算出対象とするフレーズの長さ、すなわちフレーズに含まれる文字数を表している。 In the formula, S represents the phrase score, β represents the number of times a query is input that matches the phrase for which the score is to be calculated (the number of searches using that query), and α is a real number greater than 1 (for example, 10). ), And L represents the length of the phrase for which the score is to be calculated, that is, the number of characters included in the phrase.

例えば、スコア算出対象とするフレーズが、検索ログ132に含まれるクエリのいずれかと一致している場合、すなわち、スコア算出対象とするフレーズがクエリとして1回以上入力されている場合、フレーズスコア算出部116は、クエリの入力回数βが多く、且つフレーズ長Lが大きいほど、対象のフレーズのフレーズスコアSを大きくし、クエリの入力回数βが少なく、且つフレーズ長Lが小さいほど、対象のフレーズのフレーズスコアSを小さくする。なお、スコア算出対象とするフレーズが、検索ログ132に含まれるクエリのいずれかと一致しない場合、すなわち、スコア算出対象とするフレーズがクエリとして入力されていない場合、フレーズスコア算出部116は、対象のフレーズのフレーズスコアSを0にする。 For example, if the phrase to be scored matches any of the queries included in the search log 132, that is, if the phrase to be scored is entered as a query more than once, the phrase score calculation unit. In 116, the larger the number of query inputs β and the larger the phrase length L, the larger the phrase score S of the target phrase, and the smaller the number of query inputs β and the smaller the phrase length L, the larger the phrase score S of the target phrase. Decrease the phrase score S. If the phrase to be scored does not match any of the queries included in the search log 132, that is, if the phrase to be scored is not entered as a query, the phrase score calculation unit 116 is the target. Set the phrase score S of the phrase to 0.

次に、固有表現抽出部118は、フレーズスコア算出部116によってフレーズごとに算出されたフレーズスコアに基づいて、テキストから固有表現を抽出する(S108)。これによって本フローチャートの処理が終了する。 Next, the named entity extraction unit 118 extracts the named entity from the text based on the phrase score calculated for each phrase by the phrase score calculation unit 116 (S108). This ends the processing of this flowchart.

図5から図8は、3文字のテキストから固有表現を抽出する方法を模式的に示す図である。これらの図は、「ABC」という3文字のテキストが一つまたは複数のフレーズに分割されていることを模式的に示している。従って、テキストは、4(2)通りのパターンで分割される。 5 to 8 are diagrams schematically showing a method of extracting a named entity from a three-character text. These figures schematically show that the three-letter text "ABC" is divided into one or more phrases. Therefore, the text is divided into 4 ( 22 ) patterns.

例えば、図5は、「ABC」という一つのテキストを、「A」という一文字だけのフレーズと、「B」という一文字だけのフレーズと、「C」という一文字だけのフレーズとに分割するパターン1を表している。フレーズスコア算出部116は、パターン1の場合、「A」のフレーズについては、フレーズスコアSを算出し、「B」のフレーズについては、フレーズスコアSを算出し、「C」のフレーズについては、フレーズスコアSを算出している。 For example, FIG. 5 shows pattern 1 in which one text "ABC" is divided into a one-letter phrase "A", a one-letter phrase "B", and a one-letter phrase "C". Represents. In the case of pattern 1, the phrase score calculation unit 116 calculates the phrase score S A for the phrase "A", calculates the phrase score S B for the phrase "B", and calculates the phrase score S B for the phrase "C". is to calculate the phrase score S C.

図6は、「ABC」という一つのテキストを、「AB」という二文字のフレーズと、「C」という一文字だけのフレーズとに分割するパターン2を表している。フレーズスコア算出部116は、「AB」のフレーズについては、フレーズスコアSABを算出し、「C」のフレーズについては、フレーズスコアSを算出している。 FIG. 6 represents pattern 2 in which one text "ABC" is divided into a two-letter phrase "AB" and a one-letter phrase "C". Phrase score calculating unit 116, the phrase "AB" computes the phrase score S AB, the phrase "C", calculates the phrase score S C.

図7は、「ABC」という一つのテキストを、「A」という一文字だけのフレーズと、「BC」という二文字のフレーズとに分割するパターン3を表している。フレーズスコア算出部116は、「A」のフレーズについては、フレーズスコアSを算出し、「BC」のフレーズについては、フレーズスコアSBCを算出している。 FIG. 7 represents pattern 3 in which one text "ABC" is divided into a one-letter phrase "A" and a two-letter phrase "BC". The phrase score calculation unit 116 calculates the phrase score S A for the phrase "A" and calculates the phrase score S BC for the phrase "BC".

図8は、「ABC」という一つのテキストを、そのまま一つのフレーズとするパターン4を表している。フレーズスコア算出部116は、「ABC」のフレーズについて、フレーズスコアSABCを算出している。 FIG. 8 shows a pattern 4 in which one text "ABC" is used as it is as one phrase. The phrase score calculation unit 116 calculates the phrase score S ABC for the phrase "ABC".

フレーズスコア算出部116は、上記のように各パターンについて個々のフレーズのフレーズスコアSを算出すると、パターンごとにフレーズスコアSの和を算出する。図5に例示するパターン1では、フレーズスコアSの和は、(S+S+S)となり、図6に例示するパターン2では、フレーズスコアSの和は、(SAB+S)となり、図7に例示するパターン3では、フレーズスコアSの和は、(S+SBC)となり、図8に例示するパターン4では、フレーズスコアSの和は、(SABC)となる。 When the phrase score calculation unit 116 calculates the phrase score S of each phrase for each pattern as described above, the phrase score calculation unit 116 calculates the sum of the phrase scores S for each pattern. In pattern 1 illustrated in FIG. 5, the sum of the phrase score S, (S A + S B + S C) next to, in the pattern 2 illustrated in FIG. 6, the sum of the phrase score S is, (S AB + S C), and the in pattern 3 illustrated in FIG. 7, the sum of a phrase score S is, in the pattern 4 illustrated (S a + S BC), and the 8, the sum of a phrase score S becomes (S ABC).

固有表現抽出部118は、これら4つのパターンの中から、フレーズスコアSの和が最大となるパターンを選択し、そのパターンが表すフレーズを固有表現として抽出する。例えば、パターン4のフレーズスコアSの和SABCが最大である場合、固有表現抽出部118は、「ABC」という一つのフレーズを固有表現として抽出する。また、例えば、パターン2のフレーズスコアSの和(SAB+S)が最大である場合、固有表現抽出部118は、「AB」というフレーズと「C」というフレーズとをそれぞれ固有表現として抽出する。 The named entity extraction unit 118 selects a pattern having the maximum sum of the phrase scores S from these four patterns, and extracts the phrase represented by the pattern as a named entity. For example, if the sum S ABC phrase score S of the pattern 4 is the largest, named entity extraction unit 118 extracts one phrase "ABC" as a named entity. Further, for example, if the sum of the phrase score S of the pattern 2 (S AB + S C) is the maximum, named entity extraction unit 118 extracts a phrase and phrase "AB", "C" as the respective named entities ..

図9から図16は、4文字のテキストから固有表現を抽出する方法を模式的に示す図である。これらの図は、「ABCD」という4文字のテキストが一つまたは複数のフレーズに分割されていることを模式的に示している。従って、テキストは、8(2)パターンで分割される。 9 to 16 are diagrams schematically showing a method of extracting a named entity from a four-character text. These figures schematically show that the four-letter text "ABCD" is divided into one or more phrases. Therefore, the text is divided into 8 (2 3 ) patterns.

例えば、図9は、「ABCD」という一つのテキストを、一文字ごとのフレーズに分割するパターン1−1を表している。図10は、「ABCD」という一つのテキストを、「A」、「B」、「AB」という3つのフレーズに分割するパターン1−2を表している。図11は、「ABCD」という一つのテキストを、「AB」、「C」、「D」という3つのフレーズに分割するパターン2−1を表している。図12は、「ABCD」という一つのテキストを、「AB」、「CD」という2つのフレーズに分割するパターン2−2を表している。図13は、「ABCD」という一つのテキストを、「A」、「BC」、「D」という3つのフレーズに分割するパターン3−1を表している。図14は、「ABCD」という一つのテキストを、「A」、「BCD」という2つのフレーズに分割するパターン3−2を表している。図15は、「ABCD」という一つのテキストを、「ABC」、「D」という2つのフレーズに分割するパターン4−1を表している。図16は、「ABCD」という一つのテキストを、そのまま一つのフレーズとするパターン4−2を表している。上記同様に、フレーズスコア算出部116は、各パターンについて個々のフレーズのフレーズスコアSを算出すると、パターンごとにフレーズスコアSの和を算出する。そして、固有表現抽出部118は、これら8つのパターンの中から、フレーズスコアSの和が最大となるパターンを選択し、そのパターンが表すフレーズを固有表現として抽出する。 For example, FIG. 9 shows a pattern 1-1 in which one text "ABCD" is divided into phrases for each character. FIG. 10 represents a pattern 1-2 that divides one text "ABCD" into three phrases "A", "B", and "AB". FIG. 11 represents a pattern 2-1 that divides one text "ABCD" into three phrases "AB", "C", and "D". FIG. 12 represents a pattern 2-2 that divides one text "ABCD" into two phrases "AB" and "CD". FIG. 13 represents a pattern 3-1 that divides one text "ABCD" into three phrases "A", "BC", and "D". FIG. 14 represents a pattern 3-2 that divides one text "ABCD" into two phrases "A" and "BCD". FIG. 15 represents a pattern 4-1 that divides one text "ABCD" into two phrases "ABC" and "D". FIG. 16 shows a pattern 4-2 in which one text "ABCD" is used as it is as one phrase. Similarly to the above, when the phrase score calculation unit 116 calculates the phrase score S of each phrase for each pattern, the phrase score calculation unit 116 calculates the sum of the phrase scores S for each pattern. Then, the named entity extraction unit 118 selects the pattern having the maximum sum of the phrase scores S from these eight patterns, and extracts the phrase represented by the pattern as the named entity.

以上説明した第1実施形態によれば、テキストの文字数Nに基づく数の組み合わせのパターンで、そのテキストを一つまたは複数のフレーズに分割し、各パターンにおいて、分割したフレーズごとにフレーズスコアを算出し、パターンごとにフレーズスコアの和を算出し、算出した和が最大となるパターンのフレーズを固有表現として抽出する。これによって、文書から精度よく固有表現を抽出することができる。 According to the first embodiment described above, the text is divided into one or a plurality of phrases in a pattern of a combination of numbers based on the number of characters N of the text, and a phrase score is calculated for each divided phrase in each pattern. Then, the sum of the phrase scores is calculated for each pattern, and the phrase of the pattern having the maximum calculated sum is extracted as a named entity. As a result, the named entity can be accurately extracted from the document.

従来より、予め固有表現が登録された辞書を用いて、テキストから固有表現を抽出することが行われているが、新語などの固有表現は日々出現しており、頻繁に辞書を更新する必要がある。しかしながら、辞書を日々更新することは現実的に困難である。また、一部のコミュニティで新語として使われ始めたニッチな用語などについては、固有表現として辞書に登録されにくい。 Traditionally, named entities have been extracted from text using a dictionary in which named entities are registered in advance, but named entities such as new words are appearing every day, and it is necessary to update the dictionary frequently. is there. However, it is practically difficult to update the dictionary daily. In addition, it is difficult for niche terms that have begun to be used as new words in some communities to be registered in the dictionary as named entities.

そのため、例えば、新作コンテンツのタイトルが「〇〇〇公式ガイドブック・◇◇から△△までの歩き方」のような一文であり、このタイトルを含むテキストに辞書を適用して固有表現を抽出する場合、「〇〇〇」、「公式」、「ガイドブック」、「◇◇」、「△△」、「歩き方」のような複数の単語が固有表現として抽出され、本来抽出すべき「〇〇〇公式ガイドブック・◇◇から△△までの歩き方」という一文が固有表現として抽出されないことになる。 Therefore, for example, the title of the new content is a sentence such as "○○○ Official Guidebook ・ How to walk from ◇◇ to △△", and a named entity is extracted by applying a dictionary to the text containing this title. In this case, multiple words such as "○○○", "official", "guidebook", "◇◇", "△△", and "how to walk" are extracted as named entities, and "○" should be extracted. 〇〇 Official guidebook ・ The sentence "How to walk from ◇◇ to △△" will not be extracted as a named entity.

一方で、クエリという性質について考えた場合、ある新作コンテンツのタイトルが文のように長いタイトルであれば、ユーザは、公式サイトや第三者のウェブサイトなどからタイトルを表す文字列をコピーし、検索サイトの入力欄に、コピーした文字列を張り付けることが想定される。この場合、固有表現であるコンテンツのタイトルと一語一句同じクエリが検索ログ132として収集されることになる。特に、直近数か月のようなごく最近の検索ログ132には、今現在流行しているような新語などがクエリとして含まれやすい。そのため、本実施形態では、テキストを分割したフレーズと検索ログ132のクエリとを比較することで、固有表現が長くても、或いは真新しい固有表現であっても、テキストから精度よく固有表現を抽出することができる。 On the other hand, when considering the nature of queries, if the title of a new content is as long as a sentence, the user copies the character string representing the title from the official website or the website of a third party, and then It is assumed that the copied character string will be pasted in the input field of the search site. In this case, the query that is the same word by word as the title of the content that is a named entity is collected as the search log 132. In particular, the most recent search log 132, such as the last few months, tends to include new words that are currently popular as queries. Therefore, in the present embodiment, by comparing the phrase in which the text is divided with the query of the search log 132, the named entity is accurately extracted from the text even if the named entity is long or is a brand new named entity. be able to.

また、括弧やアポストロフィ、プライムといった約物(記述記号)によって囲まれたテキストの一部を、固有表現として抽出することも考えられる。しかしながら、この手法では、人物の台詞や引用文などを固有表現として抽出する場合があり、それが一つの名詞として使用されている固有表現なのか、単に台詞や引用文なのかを区別することができない。また、コンテンツのキャラクター名や人名などは固有表現であるものの、通常括弧などで囲まれていないことから、テキストから抽出することができない。 It is also conceivable to extract a part of the text surrounded by punctuation marks (descriptive symbols) such as parentheses, apostrophes, and primes as named entities. However, in this method, a person's dialogue or quotation may be extracted as a named entity, and it is possible to distinguish whether it is a named entity used as one noun or simply a dialogue or quotation. Can not. In addition, although the character name and personal name of the content are unique expressions, they cannot be extracted from the text because they are usually not enclosed in parentheses.

これに対して、本実施形態では、約物に依らずに固有表現を抽出することができる。また、映画や書籍のタイトルには、しばしば副題が付けられており、その副題が約物によって囲まれている場合がある。仮に固有表現が約物で囲まれていたとしても、ユーザが約物で囲まれた固有表現をクエリとして入力していれば、本実施形態の手法によって、その約物を含む固有表現も抽出することができる。 On the other hand, in the present embodiment, named entity can be extracted regardless of punctuation marks. Also, movie and book titles often have subtitles, which may be surrounded by punctuation marks. Even if the named entity is surrounded by punctuation marks, if the user inputs the named entity surrounded by punctuation marks as a query, the named entity including the punctuation marks is also extracted by the method of the present embodiment. be able to.

また、単にテキストのフレーズと検索ログ132のクエリとを比較した場合、テキストには、「は」、「を」、「です」、「ます」といった比較的短いフレーズが出現しやすいため、それらのフレーズがクエリと偶然に一致し、フレーズスコアSが大きくなる傾向となる。これに対して、本実施形態では、指数をフレーズ長Lとした任意の基数αと入力回数βとの積をフレーズスコアSとするため、入力回数βが少ないフレーズであっても、フレーズ長Lが大きければフレーズスコアSを大きくし、入力回数βが多いフレーズであっても、フレーズ長Lが小さければフレーズスコアSを低くすることができる。この結果、助詞などを固有表現として抽出することを抑制しつつ、複数の名詞が助詞などで接続された句や文を一つの固有表現として精度よく抽出することができる。 Also, if you simply compare the phrase in the text with the query in the search log 132, relatively short phrases such as "ha", "o", "desu", and "masu" are likely to appear in the text. The phrase coincides with the query by chance, and the phrase score S tends to increase. On the other hand, in the present embodiment, the product of an arbitrary radix α with the phrase length L as the exponent and the number of inputs β is the phrase score S. Therefore, even if the phrase has a small number of inputs β, the phrase length L If is large, the phrase score S can be increased, and even if the phrase has a large number of inputs β, the phrase score S can be decreased if the phrase length L is small. As a result, it is possible to accurately extract a phrase or sentence in which a plurality of nouns are connected by particles or the like as one named entity while suppressing the extraction of particles or the like as a named entity.

<第2実施形態>
以下、第2実施形態について説明する。上述した第1実施形態では、フレーズの組み合わせである全パターンについてフレーズスコアの和を算出し、その和が最大となるパターンのフレーズを固有表現として抽出するものとして説明した。これに対して、第2実施形態では、全パターンについてフレーズスコアの和を算出するのではなく、検証すべきパターンを合理的に決定した上でフレーズスコアの和を算出する点で上述した第1実施形態と相違する。以下、第1実施形態との相違点を中心に説明し、第1実施形態と共通する点については説明を省略する。なお、第2実施形態の説明において、第1実施形態と同じ部分については同一符号を付して説明する。
<Second Embodiment>
Hereinafter, the second embodiment will be described. In the first embodiment described above, the sum of phrase scores is calculated for all patterns that are a combination of phrases, and the phrase of the pattern having the maximum sum is extracted as a named entity. On the other hand, in the second embodiment, the sum of the phrase scores is calculated after rationally determining the pattern to be verified, instead of calculating the sum of the phrase scores for all the patterns. Different from the embodiment. Hereinafter, the differences from the first embodiment will be mainly described, and the points common to the first embodiment will be omitted. In the description of the second embodiment, the same parts as those of the first embodiment will be described with the same reference numerals.

図17から図19は、スコア算出対象のパターンの決定方法を説明するための図である。例えば、「ABCD」という4文字のテキストが与えられた場合、第2実施形態に係るテキスト分割部114は、図17に例示するように、テキストの先頭の第1文字「A」とそれに続く第2文字「B」との間を分割し、「A」というフレーズと「B」というフレーズとを生成するとともに、これらの文字の間を分割せず、「AB」という2文字のフレーズを生成する。第2実施形態に係るフレーズスコア算出部116は、検索ログ132を用いて、フレーズ「A」のフレーズスコアSとフレーズ「B」のフレーズスコアSとの和(S+S)を算出するとともに、フレーズ「AB」のフレーズスコアSABを算出する。テキスト分割部114は、これらを比較し、よりスコアが小さい方のパターンから派生したパターンを、次に検証するパターン候補から消去する。第1文字「A」は、「第1文字列」の一例であり、第2文字「B」は、「第2文字列」の一例であり、フレーズ「AB」は、「第3文字列」の一例である。 17 to 19 are diagrams for explaining a method of determining a pattern to be scored. For example, when a four-character text "ABCD" is given, the text segmentation unit 114 according to the second embodiment has the first character "A" at the beginning of the text followed by the first character "A" as illustrated in FIG. The two-letter "B" is split to generate the phrase "A" and the phrase "B", and the two-letter phrase "AB" is generated without splitting between these letters. .. Phrase score calculating unit 116 according to the second embodiment, by using the search log 132, calculates the sum of the phrase score S B phrase phrase score S A and phrases "A", "B" (S A + S B) as well as, to calculate the phrase score S AB of the phrase "AB". The text segmentation unit 114 compares these and deletes the pattern derived from the pattern having the smaller score from the pattern candidates to be verified next. The first character "A" is an example of "first character string", the second character "B" is an example of "second character string", and the phrase "AB" is "third character string". This is an example.

図17の例では、(S+S)よりもSABの方が大きい。この場合、第2文字に続く第3文字「C」を含めたフレーズの組み合わせのパターンは、上述したパターン1とパターン2とパターン3とパターン4の計4種類となる。これらの4種類のパターンのうち、少なくともパターン1とパターン2とは、第3文字「C」を含める以前の結果と同じになる。例えば、パターン1のフレーズスコアの和は(S+S+S)であり、パターン2のフレーズスコアの和は(SAB+S)であることから、前回が(S+S)よりもSABの方が大きいという結果であれば、パターン1およびパターン2のフレーズスコアの和の大小関係は変化しない。従って、フレーズスコア算出部116は、テキストの先頭の第1文字「A」とそれに続く第2文字「B」との間を分割するというパターン1についてはスコアを算出しない。 In the example of FIG. 17, the larger S AB than (S A + S B). In this case, the pattern of the phrase combination including the third character "C" following the second character is a total of four types of the above-mentioned pattern 1, pattern 2, pattern 3, and pattern 4. Of these four types of patterns, at least pattern 1 and pattern 2 are the same as the results before including the third character "C". For example, the sum of the phrase score pattern 1 is (S A + S B + S C), the sum of the phrase scores pattern 2 because it is (S AB + S C), than the previous time (S A + S B) If the result is that S AB is larger, the magnitude relationship of the sum of the phrase scores of pattern 1 and pattern 2 does not change. Therefore, the phrase score calculation unit 116 does not calculate the score for the pattern 1 in which the first character "A" at the beginning of the text and the second character "B" following it are divided.

次に、テキスト分割部114は、図18に例示するように、残された3種類のパターン3のスコアを比較する。図18の例では、パターン4のフレーズスコアSABCが最も大きい。従って、フレーズスコア算出部116は、テキストの先頭の一文字「A」とそれに続く三文字の組み合わせ「BCD」との間を分割するパターン3−1と、テキストの先頭の二文字の組み合わせ「AB」とそれに続く二文字の組み合わせ「CD」との間を分割するパターン2−2と、テキストの先頭の三文字の組み合わせ「ABC」とそれに続く一文字「D」との間を分割するパターン4−1と、テキストを分割せず一つのフレーズとするパターン4−2の合計4パターンについてのみスコアを算出する。このように、本手法では、文字列の最後のk文字目について検討するときには、k個のパターンを比較する。 Next, the text segmentation unit 114 compares the scores of the remaining three types of patterns 3 as illustrated in FIG. In the example of FIG. 18, the phrase score S ABC of pattern 4 is the largest. Therefore, the phrase score calculation unit 116 has a pattern 3-1 that divides between the first character "A" of the text and the combination "BCD" of the following three characters, and the combination "AB" of the first two characters of the text. Pattern 2-2 that divides between and the following two-letter combination "CD", and pattern 4-1 that divides between the first three-letter combination "ABC" and the following one-letter "D". And, the score is calculated only for a total of 4 patterns of pattern 4-2, which is a single phrase without dividing the text. As described above, in this method, when examining the last k-th character of the character string, k patterns are compared.

次に、フレーズスコア算出部116は、上記の4パターン(3−1、2−2、4−1、−2)のそれぞれのフレーズスコアの和を算出する。例えば、パターン4−1のフレーズスコアの和(SABCD+S)が最も大きい場合、固有表現抽出部118は、「ABC」というフレーズと「D」というフレーズとをそれぞれ固有表現として抽出する。このように、テキストの先頭の文字から順番に組み合わせていき、各組み合わせの候補をスコアの大きさに応じて、その組み合わせのパターンを取捨選択することで、最適な組み合わせを探索することができる。 Next, the phrase score calculation unit 116 calculates the sum of the phrase scores of each of the above four patterns (3-1, 2-2, 4-1 and -2). For example, when the sum of the phrase scores of the pattern 4-1 (S ABCD + SD ) is the largest, the named entity extraction unit 118 extracts the phrase "ABC" and the phrase "D" as named entities, respectively. In this way, the optimum combination can be searched for by combining the characters in order from the first character of the text and selecting the candidates for each combination according to the size of the score.

なお、あるパターンのフレーズスコアが0となった場合、そのパターンに一文字追加した派生パターンについては、以後考慮しなくてもよい。フレーズスコアが0ということは、そのフレーズと一致するクエリの入力回数βが0であることを意味する。すなわち、どのユーザも、そのパターンによって表されるフレーズをクエリとして入力したことがないことを意味しており、そのパターンのフレーズが固有表現であるという蓋然性が極めて低いことを表している。 When the phrase score of a certain pattern becomes 0, it is not necessary to consider the derived pattern in which one character is added to the pattern. When the phrase score is 0, it means that the number of inputs β of the query matching the phrase is 0. That is, it means that no user has input the phrase represented by the pattern as a query, and it is extremely unlikely that the phrase of the pattern is a named entity.

以上説明した第2実施形態によれば、テキストの先頭の文字から順番に組み合わせていき、その時点で各パターンのフレーズスコアを比較し、フレーズスコアがより小さいパターンを以降の処理対象から除外する。 According to the second embodiment described above, the characters are combined in order from the first character of the text, the phrase scores of each pattern are compared at that time, and the patterns having a smaller phrase score are excluded from the subsequent processing targets.

例えば、映画やドラマ、アニメといったコンテンツには、ある単語Aと、ある単語Bとの間に「の」や「と」といった助詞などを挟んだ固有名詞をタイトルとしているものがある。具体的には、「〇〇と□□」や「〇〇の△△」といったタイトルである。このようなコンテンツのタイトルを、全パターンについてフレーズスコアを求めた場合、「の」や「と」のような助詞が名詞の先頭に出現するようなフレーズについてもスコアを算出することになる。しかしながら、現実世界では、フレーズの冒頭に助詞が出現することは極めて稀であり、そのフレーズそのものが世に存在していないと見做すことができる。従って、テキストの先頭の文字から順番に組み合わせていき、その時点で各パターンのフレーズスコアを比較し、フレーズスコアがより小さいパターンを以降の処理対象から除外することで、効率よく固有名詞を抽出することができる。 For example, some contents such as movies, dramas, and animations have proper nouns whose titles are particles such as "no" and "to" between a certain word A and a certain word B. Specifically, the titles are "○○ and □□" and "○○ △△". When the phrase score is obtained for all patterns of the title of such content, the score is also calculated for the phrase in which particles such as "no" and "to" appear at the beginning of the noun. However, in the real world, particles rarely appear at the beginning of a phrase, and it can be considered that the phrase itself does not exist in the world. Therefore, by combining in order from the first character of the text, comparing the phrase scores of each pattern at that point, and excluding patterns with smaller phrase scores from the subsequent processing targets, proper nouns are efficiently extracted. be able to.

上述した第1実施形態のように、全パターンの区切り方を試した場合、テキストに含まれる文字数をNとすれば、2N−1のようにスコアの算出回数が増加する。これに対して、第2実施形態では、文字の連続性を考慮して、パターン数を減らすため、スコアの算出回数をN回に抑えることができる。 When the method of separating all patterns is tried as in the first embodiment described above, if the number of characters included in the text is N, the number of times the score is calculated increases as in 2 N-1 . In contrast, in the second embodiment, in consideration of the character of continuity, to reduce the number of patterns, it is possible to suppress the number of calculations of the score 2 times N.

<ハードウェア構成>
上述した実施形態の情報処理装置100は、例えば、図19に示すようなハードウェア構成により実現される。図19は、実施形態の情報処理装置100のハードウェア構成の一例を示す図である。
<Hardware configuration>
The information processing device 100 of the above-described embodiment is realized by, for example, a hardware configuration as shown in FIG. FIG. 19 is a diagram showing an example of the hardware configuration of the information processing apparatus 100 of the embodiment.

情報処理装置100は、NIC100−1、CPU100−2、RAM100−3、ROM100−4、フラッシュメモリやHDDなどの二次記憶装置100−5、およびドライブ装置100−6が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置100−6には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置100−5、またはドライブ装置100−6に装着された可搬型記憶媒体に格納されたプログラムがDMAコントローラ(不図示)などによってRAM100−3に展開され、CPU100−2によって実行されることで、制御部110が実現される。制御部110が参照するプログラムは、ネットワークNWを介して他の装置からダウンロードされてもよい。 The information processing device 100 includes NIC100-1, CPU100-2, RAM100-3, ROM100-4, secondary storage devices 100-5 such as flash memory and HDD, and drive device 100-6, which are internal buses or dedicated communication lines. It is configured to be interconnected by. A portable storage medium such as an optical disk is mounted on the drive device 100-6. A program stored in a portable storage medium mounted on the secondary storage device 100-5 or the drive device 100-6 is expanded into the RAM 100-3 by a DMA controller (not shown) or the like, and executed by the CPU 100-2. As a result, the control unit 110 is realized. The program referred to by the control unit 110 may be downloaded from another device via the network NW.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 Although the embodiments for carrying out the present invention have been described above using the embodiments, the present invention is not limited to these embodiments, and various modifications and substitutions are made without departing from the gist of the present invention. Can be added.

1…情報処理システム、10…端末装置、20…サービス提供装置、100…情報処理装置、102…通信部、110…制御部、112…取得部、114…テキスト分割部、116…フレーズスコア算出部、118…固有表現抽出部、130…記憶部 1 ... Information processing system, 10 ... Terminal device, 20 ... Service providing device, 100 ... Information processing device, 102 ... Communication unit, 110 ... Control unit, 112 ... Acquisition unit, 114 ... Text segmentation unit, 116 ... Phrase score calculation unit , 118 ... Named entity extraction unit, 130 ... Storage unit

Claims (6)

文章を、少なくとも一文字以上を含む文字列に分割する分割部と、
ユーザによって入力された複数のクエリに基づいて、前記分割部により分割された前記文字列ごとにスコアを算出する算出部と、
前記算出部によって算出された前記スコアに基づいて、前記文章から固有表現を抽出する抽出部と、
を備える情報処理装置。
A division part that divides a sentence into a character string containing at least one character,
A calculation unit that calculates a score for each of the character strings divided by the division unit based on a plurality of queries input by the user.
An extraction unit that extracts a named entity from the sentence based on the score calculated by the calculation unit.
Information processing device equipped with.
前記算出部は、前記文字列と一致する前記クエリの入力回数と、前記文字列の長さとに基づいて、前記スコアを算出する、
請求項1に記載の情報処理装置。
The calculation unit calculates the score based on the number of times the query is input that matches the character string and the length of the character string.
The information processing device according to claim 1.
前記抽出部は、前記文字列ごとのスコアの和が最大となる位置で前記分割部が前記文章を分割したときに得られる一つまたは複数の前記文字列を、前記固有表現として抽出する、
請求項1または2に記載の情報処理装置。
The extraction unit extracts one or more of the character strings obtained when the division unit divides the sentence at a position where the sum of the scores for each character string is maximized, as the named entity.
The information processing device according to claim 1 or 2.
前記分割部は、前記文章を第1位置で分割し、
前記算出部は、前記第1位置の直前に出現する、少なくとも一文字以上を含む第1文字列のスコアと、前記第1位置の直後に出現する、少なくとも一文字以上を含む第2文字列のスコアと、前記第1文字列および前記第2文字列を組み合わせた第3文字列のスコアとを算出し、
前記抽出部は、前記第1文字列のスコアと前記第2文字列のスコアとの和と、前記第3文字列のスコアとを比較し、よりスコアが小さい方の文字列を、前記固有表現の抽出対象から除外する、
請求項1から3のうちいずれか一項に記載の情報処理装置。
The division portion divides the sentence at the first position and
The calculation unit includes a score of a first character string containing at least one character appearing immediately before the first position and a score of a second character string containing at least one character appearing immediately after the first position. , The score of the third character string which is a combination of the first character string and the second character string is calculated.
The extraction unit compares the sum of the score of the first character string and the score of the second character string with the score of the third character string, and expresses the character string having the smaller score as the unique expression. Exclude from the extraction target of
The information processing device according to any one of claims 1 to 3.
コンピュータが、
文章を、少なくとも一文字以上を含む文字列に分割し、
ユーザによって入力された複数のクエリに基づいて、前記分割した文字列ごとにスコアを算出し、
前記算出したスコアに基づいて、前記文章から固有表現を抽出する、
情報処理方法。
The computer
Divide the sentence into a string containing at least one character,
Based on a plurality of queries entered by the user, a score is calculated for each of the divided character strings.
Based on the calculated score, the named entity is extracted from the sentence.
Information processing method.
コンピュータに、
文章を、少なくとも一文字以上を含む文字列に分割する処理と、
ユーザによって入力された複数のクエリに基づいて、前記分割した文字列ごとにスコアを算出する処理と、
前記算出したスコアに基づいて、前記文章から固有表現を抽出する処理と、
を実行させるためのプログラム。
On the computer
The process of dividing a sentence into a character string containing at least one character,
A process of calculating a score for each of the divided character strings based on a plurality of queries entered by the user, and
A process of extracting a named entity from the sentence based on the calculated score,
A program to execute.
JP2019053170A 2019-03-20 2019-03-20 Information processing device, information processing method, and program Active JP7139271B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019053170A JP7139271B2 (en) 2019-03-20 2019-03-20 Information processing device, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019053170A JP7139271B2 (en) 2019-03-20 2019-03-20 Information processing device, information processing method, and program

Publications (2)

Publication Number Publication Date
JP2020154790A true JP2020154790A (en) 2020-09-24
JP7139271B2 JP7139271B2 (en) 2022-09-20

Family

ID=72559218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019053170A Active JP7139271B2 (en) 2019-03-20 2019-03-20 Information processing device, information processing method, and program

Country Status (1)

Country Link
JP (1) JP7139271B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100180199A1 (en) * 2007-06-01 2010-07-15 Google Inc. Detecting name entities and new words
JP2013134625A (en) * 2011-12-26 2013-07-08 Fujitsu Ltd Extraction device, extraction program and extraction method
JP2016110441A (en) * 2014-12-08 2016-06-20 日本電信電話株式会社 Term extraction device, method and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3880087B2 (en) 1995-11-28 2007-02-14 富士通株式会社 Morphological analyzer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100180199A1 (en) * 2007-06-01 2010-07-15 Google Inc. Detecting name entities and new words
JP2013134625A (en) * 2011-12-26 2013-07-08 Fujitsu Ltd Extraction device, extraction program and extraction method
JP2016110441A (en) * 2014-12-08 2016-06-20 日本電信電話株式会社 Term extraction device, method and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沢井 康孝: "Web検索を用いた複合名詞同定", 言語処理学会第14回年次大会発表論文集, JPN6022000001, 17 March 2008 (2008-03-17), pages 205 - 208, ISSN: 0004679445 *

Also Published As

Publication number Publication date
JP7139271B2 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
US10210243B2 (en) Method and system for enhanced query term suggestion
US9881059B2 (en) Systems and methods for suggesting headlines
JP5379138B2 (en) Creating an area dictionary
US10810374B2 (en) Matching a query to a set of sentences using a multidimensional relevancy determination
WO2019037258A1 (en) Information recommendation method, device and system, and computer-readable storage medium
US20110238413A1 (en) Domain dictionary creation
US20110040769A1 (en) Query-URL N-Gram Features in Web Ranking
CN106095845B (en) Text classification method and device
US20230177360A1 (en) Surfacing unique facts for entities
US10152478B2 (en) Apparatus, system and method for string disambiguation and entity ranking
US8793120B1 (en) Behavior-driven multilingual stemming
US8825620B1 (en) Behavioral word segmentation for use in processing search queries
Ghosh et al. A rule based extractive text summarization technique for Bangla news documents
CN108280081B (en) Method and device for generating webpage
US10621261B2 (en) Matching a comment to a section of a content item based upon a score for the section
JP2017045196A (en) Ambiguity evaluation device, ambiguity evaluation method, and ambiguity evaluation program
JP2018081394A (en) Information processing apparatus, information processing method, and program
US11803796B2 (en) System, method, electronic device, and storage medium for identifying risk event based on social information
CN107665442B (en) Method and device for acquiring target user
JP2019109654A (en) Similar text extraction device, automatic response system, similar text extraction method, and program
JP7333931B2 (en) Post analysis system, post analysis device and post analysis method
WO2019192122A1 (en) Document topic parameter extraction method, product recommendation method and device, and storage medium
CN105740436B (en) Method and device for pushing written works based on Internet search technology
JP7139271B2 (en) Information processing device, information processing method, and program
CN107533545B (en) Information presentation device, information presentation method, and recording medium

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191101

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220907

R150 Certificate of patent or registration of utility model

Ref document number: 7139271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350