JP2022148430A - Document information extraction system and document information extraction method - Google Patents
Document information extraction system and document information extraction method Download PDFInfo
- Publication number
- JP2022148430A JP2022148430A JP2021050108A JP2021050108A JP2022148430A JP 2022148430 A JP2022148430 A JP 2022148430A JP 2021050108 A JP2021050108 A JP 2021050108A JP 2021050108 A JP2021050108 A JP 2021050108A JP 2022148430 A JP2022148430 A JP 2022148430A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- feature amount
- document
- feature quantity
- evaluation target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 150
- 238000011156 evaluation Methods 0.000 claims abstract description 138
- 230000009471 action Effects 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000010801 machine learning Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000005034 decoration Methods 0.000 claims description 25
- 230000010365 information processing Effects 0.000 claims description 22
- 230000007935 neutral effect Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 4
- 230000008092 positive effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 26
- 238000013507 mapping Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000000052 comparative effect Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000007616 round robin method Methods 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/44—Statistical methods, e.g. probability models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
Description
本発明は、文書情報抽出システム、および文書情報抽出方法に関する。 The present invention relates to a document information extraction system and a document information extraction method.
特許文献1には、入力データから抽出される複数の特徴量から、入力データの分類に用いる特徴量を選択する情報処理装置について記載されている。上記情報処理装置は、入力データから抽出される複数の特徴量の組み合わせを生成し、生成した組み合わせに対して、入力データの分類の判定に適しているか否かを評価する第一評価値を算出し、特徴量の組み合わせを評価する第二評価値を算出する際に使用するパラメータを複数生成し、複数のパラメータごとに第一評価値に基づき第二評価値を算出し、複数のパラメータごとに第二評価値に基づいて特徴量を選択し特徴量のサブセットを生成して、特徴量の組み合わせの選択において特徴量の選択を行えるようにする。
特許文献2には、音声認識や画像認識における特徴量の分類を行う特徴量分類システムに関して記載されている。特徴量分類システムは、与えられた特徴量を変換すると共に、教師データである正解クラスラベルを用いて特徴量変換を行うための識別基準の学習を行う特徴量変換器と、特徴量変換器で変換された変換特徴量を分類する分類器とを備え、特徴量変換器は、他の特徴量分類システムの分類器の誤り傾向を考慮すべく、上記学習に際して他の特徴量分類システムの分類器の事後確率を用い、他の特徴量変換器とは異なる特徴量変換を行う。 Patent Literature 2 describes a feature amount classification system that classifies feature amounts in speech recognition and image recognition. A feature quantity classification system includes a feature quantity converter that converts a given feature quantity and learns discrimination criteria for performing feature quantity conversion using correct class labels as teacher data, and a feature quantity converter. and a classifier for classifying the transformed feature quantity, wherein the feature quantity converter classifies the classifier of the other feature quantity classification system during the learning in order to consider the error tendency of the classifier of the other feature quantity classification system. Using the posterior probability of , a feature quantity conversion different from that of other feature quantity converters is performed.
膨大な文書の中から有用な情報を抽出する方法として、固有表現抽出等の機械学習の仕組みを用いて文書から単語や関連語を抽出する技術がある。しかし機械学習の仕組みによって質の高い情報を抽出するには、モデルの特徴量を適切に設定する必要がある。ここで文書からの情報の抽出に用いる特徴量とは、例えば、単語の最終語や単語の左右に出現する単語等の文の性質である。こうした特徴量の設定を適切に行うには、抽出対象となる情報についての知識(ドメイン知識)を有しているだけでなく、機械学習についての知識や経験も必要とされ、特徴量の設定にかかる人的負荷が高いことが課題となっている。 As a method of extracting useful information from a huge amount of documents, there is a technique of extracting words and related terms from documents using a mechanism of machine learning such as named entity extraction. However, in order to extract high-quality information using a machine learning mechanism, it is necessary to appropriately set the feature values of the model. Here, the feature amount used for extracting information from a document is, for example, the property of a sentence such as the final word of a word or words appearing to the left and right of a word. Appropriate setting of such feature values requires not only knowledge of the information to be extracted (domain knowledge), but also knowledge and experience in machine learning. The problem is that the human load is high.
特許文献1には、入力データの分類に用いる特徴量を選択する技術に関して記載されている。しかし同文献に記載の技術は、検査対象物を撮影した画像から画素値の平均や分散等の特徴量群を抽出する技術に関するものであり、文書から有用な情報を抽出する技術に関するものではない。また、同文献では、入力データから抽出される複数の特徴量の組み合わせについて機械的な総当たり方式で特徴量を選択しており、抽出精度を得るために相当な数の学習データを準備する必要もある。 Japanese Patent Laid-Open No. 2002-200003 describes a technique for selecting feature amounts used for classifying input data. However, the technique described in the document relates to a technique for extracting a group of feature values such as the mean and variance of pixel values from an image of an object to be inspected, and does not relate to a technique for extracting useful information from a document. . In addition, in the same document, feature values are selected by a mechanical round-robin method for combinations of multiple feature values extracted from the input data, and it is necessary to prepare a considerable amount of training data in order to obtain extraction accuracy. There is also
特許文献2には、音声認識や画像認識における特徴量を分類する技術に関して記載されている。しかし同文献には、与えられた特徴量の分類に用いる分類器の調整に関する技術が記載されているに過ぎず、特徴量の設定に関する技術については記載されていない。 Patent Literature 2 describes a technique for classifying feature amounts in speech recognition and image recognition. However, this document merely describes a technique for adjusting a classifier used for classifying given feature amounts, and does not describe a technique for setting feature amounts.
本発明は、このような背景に鑑みてなされたものであり、機械学習の方法により文書から有用な情報を抽出する際に用いるモデルの特徴量の設定を支援する仕組みを備えた文書情報抽出システム、および文書情報抽出方法を提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of such a background. , and a document information extraction method.
上記目的を達成するための本発明の1つは、文書情報抽出システムであって、情報処理装置を用いて構成され、文書群を管理する文書管理部と、機械学習のモデルを用いて前記文書群の文書から情報を抽出する文書情報抽出部と、前記モデルのパラメータを構成する複数の特徴量と、前記特徴量の夫々について前記情報を抽出する際の作用の特性を示す情報である作用種別と、を記憶する記憶部と、前記複数の特徴量のうち評価の対象とする特徴量である評価対象特徴量と、前記評価対象特徴量の抽出元の1つ以上の文章と、前記評価対象特徴量に現在設定されている重みと、を表示しつつ、前記評価対象特徴量の前記作用種別または前記重みの設定を受け付けるパラメータ設定受付部と、受け付けた前記作用種別または前記重みに基づき前記パラメータを更新するパラメータ更新部と、を備える。 One of the present inventions for achieving the above object is a document information extraction system, comprising an information processing device, a document management unit for managing a group of documents, and a machine learning model for extracting the documents. a document information extraction unit for extracting information from a group of documents; a plurality of feature quantities constituting parameters of the model; an evaluation target feature quantity that is a feature quantity to be evaluated among the plurality of feature quantities, one or more sentences from which the evaluation target feature quantity is extracted, and the evaluation target a parameter setting reception unit that receives setting of the action type or the weight of the evaluation target feature amount while displaying the weight currently set for the feature amount; and the parameter based on the received action type or the weight and a parameter updating unit that updates the
その他、本願が開示する課題、およびその解決方法は、発明を実施するための形態の欄、および図面により明らかにされる。 In addition, the problems disclosed by the present application and their solutions will be clarified by the description of the mode for carrying out the invention and the drawings.
本発明によれば、機械学習の方法により文書から有用な情報を抽出する際に用いるモデルの特徴量の設定を支援することができる。 According to the present invention, it is possible to support the setting of the feature amount of a model used when extracting useful information from a document by a machine learning method.
以下、実施形態について図面を参照しつつ説明する。尚、以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略もしくは簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。とくに限定しない限り、各構成要素は単数でも複数でも構わない。 Hereinafter, embodiments will be described with reference to the drawings. The following description and drawings are examples for explaining the present invention, and are appropriately omitted or simplified for clarity of explanation. The present invention can also be implemented in various other forms. Unless otherwise specified, each component may be singular or plural.
以下の説明において、同一または類似の構成について同一の符号を付して重複した説明
を省略することがある。また、以下の説明において、符号の前に付した「S」の文字は処理ステップを意味する。また、以下の説明では、「テーブル」、「情報」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。
In the following description, the same or similar configurations may be denoted by the same reference numerals, and redundant description may be omitted. Also, in the following description, the letter "S" attached before the reference sign means a processing step. Also, in the following description, various types of information may be described using expressions such as “table” and “information”, but various types of information may be expressed in data structures other than these.
以下、本発明の一実施形態として、機械学習の方法を用いて、膨大な数の文書(文書群)から有用な情報を抽出してユーザに提供する情報処理システム(以下、「文書情報抽出システム1」と称する。)について説明する。文書情報抽出システム1は、例えば、膨大な文書群(特許文献、各種論文、ビジネスレポート、企業レポート、ニュース等)から、新材料の研究や開発の指針を立案する上で有用な情報、例えば、材料の構造と特性や機能との相関関係等を抽出し、抽出した結果をユーザに提供する、いわゆるMI(Materials Informatics、マテリアルズインフォマティクス)を用いたデータ駆動型の材料開発に利
用される。
Hereinafter, as one embodiment of the present invention, an information processing system (hereinafter referred to as "document
図1は、文書情報抽出システム1の主な構成を説明するシステムフロー図である。また、図2は、文書情報抽出システム1の主な構成を説明するブロック図である。図1に示すように、文書情報抽出システム1は、文書情報抽出部170およびパラメータ設定部180の各機能を備える。このうち文書情報抽出部170は、蓄積された文書111から機械学習のモデル(学習モデル)を用いて情報を抽出してユーザに提示する。また、パラメータ設定部180は、上記モデルのパラメータ(特徴量、特徴量の重み)を、ユーザインタフェースを介したユーザとの対話形式により設定する。
FIG. 1 is a system flow diagram for explaining the main configuration of the document
図1または図2に示すように、文書情報抽出部170は、単語/関連語抽出部171および文書情報提示部172を含む。単語/関連語抽出部171は、初期辞書112や単語/関連語辞書113を参照しつつ、機械学習の仕組みにより、単語、単語の関連語、単語の類義語等(以下、「単語/関連語114」と称する。)の情報を文書111から抽出する。上記機械学習の仕組みとして、例えば、RNN(Recurrent Neural Network)やLSTM(Long short-term memory)を用いて実現される固有表現抽出技術によるものがある。但し、上記機械学習の種類は必ずしも限定されない。
As shown in FIG. 1 or 2, the document
上記モデルは、例えば、特徴量と各特徴量の重みの情報を含んだ行列やベクトルにより表現される。文書111からの情報を抽出する上記モデルの特徴量として、例えば、周辺単語の特徴(左右単語、左右単語の品詞、係り受け)、単語自身の特徴(始単語(prefix)、終単語(suffix)、文字数、大文字小文字、品詞、文字の種類(数字、漢字等))等がある。
The model is represented by, for example, a matrix or vector containing information on the feature amount and the weight of each feature amount. The features of the model for extracting information from the
文書111は、図2に示す文書管理部160によって管理される。文書111は、多数の文書(例えば、WebスクレイピングやWebクローリングによってインターネットを介して取得された文書やユーザによって登録された文書)を含む。尚、本実施形態では、所定のトピックについて記述された、1つ以上の文、1つ以上の文章、1つ以上の節、1つ以上の節や句、2つ以上の単語等が纏まったものを文書と称する。以下では、文書情報抽出システム1により行われる各種の情報処理が文書を単位として行われる場合を例として説明するが、処理の単位は必ずしも限定されない。また以下では、文書111はテキスト形式のデータ(テキストデータ)として管理されるものとするが、文書111の管理方法は必ずしも限定されない。以下に説明する各種情報処理の対象となる文書は、例えば、形態素解析技術によって適宜形態素に分解され、また、各形態素は、例えば、適宜分散表現(単語埋め込み)に変換されて取り扱われる。
The
文書情報抽出部170が参照する初期辞書112や単語/関連語辞書113は、図2に示す辞書管理部161によって管理される。このうち初期辞書112には、例えば、上記
機械学習による抽出対象の方向性等を示す単語が設定される。例えば、熱化学に関する文書111から温度に関する情報を抽出する場合、初期辞書112には、例えば、「30度」、「10度」等の単語が設定される。尚、この場合、文書情報抽出部170は、例えば、「30℃」、「10℃」等を関連語として抽出する。単語/関連語辞書113には、単語にその関連語や類義語を対応づけた情報が管理される。初期辞書112や単語/関連語辞書113の内容は、例えば、ユーザが設定してもよいし、インターネット等から取得されるコーパスや辞書等を用いて設定してもよい。ユーザは、例えば、有用な情報を得たい技術分野や抽出しようとする情報の種類等に応じた内容の初期辞書112や単語/関連語辞書113を準備する。
The
文書情報提示部172は、単語/関連語抽出部171によって抽出された単語/関連語114や、抽出された単語/関連語114に基づき生成した情報(以下、「文書抽出情報115」と称する。)をユーザに提供する。ユーザは、例えば、文書情報抽出システム1が備えるユーザインタフェースや、文書情報抽出システム1と通信可能に接続する他の情報処理装置を介して、文書情報提示部172が提供する文書抽出情報115を利用する。
The document
パラメータ設定部180は、特徴量情報生成部181、特徴量表示優先度設定部182、パラメータ設定画面生成部183、パラメータ設定受付部184、およびパラメータ更新部185の各機能を有する。
The
このうち特徴量情報生成部181は、単語/関連語抽出部171から現状のモデルのパラメータ(特徴量と各特徴量の重み)(以下、「現状パラメータ155」と称する。)を取得し、取得した現状パラメータ155に基づき、特徴量表示優先度設定部182等によって参照される情報である特徴量情報120(特徴量評価テーブル121、特徴量頻度テーブル122、特徴量類似度テーブル123、特徴量共起度テーブル124、および特徴量抽出元情報テーブル125)を生成する。特徴量情報120の詳細については後述する。
Of these, the feature amount
特徴量表示優先度設定部182は、特徴量情報生成部181が生成した特徴量情報120に基づき、ユーザとの対話処理によりモデルのパラメータの設定を行う際の特徴量の表示優先度(以下、「特徴量表示優先度」と称する。)の算出に用いる表示優先度算出テーブル131を生成する。特徴量表示優先度設定部182は、表示優先度算出テーブル131に基づき特徴量表示優先度を求め、求めた特徴量表示優先度を特徴量表示優先度テーブル132に格納する。
The feature amount display
パラメータ設定画面生成部183は、特徴量表示優先度に従った順序で特徴量を表示し、表示した特徴量のパラメータの設定に関する情報をユーザから受け付ける画面(図10に示すパラメータ設定画面1000)を生成する。パラメータ設定画面生成部183は、パラメータ設定画面1000の生成に際し、パラメータ設定画面情報140(文字飾り定義テーブル141、マッピング対象特徴量テーブル142、特徴量評価設定情報テーブル143、および特徴量抽出状況表示テーブル144)を参照もしくは生成する。パラメータ設定画面情報140の詳細については後述する。
The parameter setting
パラメータ設定受付部184は、パラメータ設定画面1000を表示しつつユーザからパラメータの設定に関する情報を受け付ける。
The parameter
パラメータ更新部185は、パラメータ設定受付部184がユーザから受け付けた情報に基づき特徴量評価テーブル121を更新する(記憶部110は、更新の前後における特徴量評価テーブル121の双方の内容を記憶する)。また、パラメータ更新部185は、更新前後の特徴量評価テーブル121の差分の情報(以下、「パラメータ更新情報152
」と称する。)を生成し、生成したパラメータ更新情報152に基づき、単語/関連語抽出部171が用いるモデルのパラメータを更新する。
The
”. ), and based on the generated
続いて、特徴量表示優先度設定部182によって行われる特徴量表示優先度の算出方法について説明する。特徴量表示優先度設定部182は、ユーザに優先的に確認してもらいたい特徴量(文書111からの有用な情報の抽出精度に対する影響が大きいと考えられる特徴量)がパラメータ設定画面1000に優先的に表示されるように、特徴量表示優先度を設定する。具体的には、特徴量表示優先度設定部182は、以下の(1)~(3)のいずれかに該当する特徴量に対して高い特徴量表示優先度を設定する。尚、以下において、文書111から抽出すべき情報を抽出するように作用する特徴量のことを「正性特徴量」と、また、文書111から有用でない情報を抽出しないように作用する特徴量のことを「負性特徴量」と、「正性特徴量」にも「負性特徴量」にも該当しない特徴量のことを「中性特徴量」と、夫々称する。
(1)正性特徴量だが、現状パラメータ155では、特徴量の重みがゼロ付近もしくはマイナスに設定されている特徴量(以下、「誤評価正性特徴量」と称する。)。
(2)負性特徴量だが、現状パラメータ155では、特徴量の重みが大きく(ゼロ付近もしくはプラス等)設定されている特徴量(以下、「誤評価負性特徴量」と称する。)。
(3)中性特徴量だが、現状パラメータ155では、特徴量の絶対値が大きく設定されている特徴量(以下、「誤評価中性特徴量」と称する。)。
Next, a method of calculating the feature amount display priority performed by the feature amount display
(1) A positive feature amount, but in the
(2) Negative feature amount, but in the
(3) Neutral feature amount, but in the
例えば、特徴量表示優先度設定部182は、(1)の誤評価正性特徴量に該当する可能性を示す指標(以下、「正性らしさ」と称する。)を、評価対象の特徴量(以下、「当該特徴量」と称する。)と現在のモデルに用いられている他の正性特徴量(以下、「比較正性特徴量」と称する。)との類似度、当該特徴量と比較正性特徴量との共起度、現状パラメータ155における当該特徴量の重み、および文書111における当該特徴量の出現頻度に基づき評価する。
For example, the feature amount display
また、例えば、特徴量表示優先度設定部182は、上記(2)に該当する可能性を示す指標(以下、「負性らしさ」と称する。)を、評価対象の特徴量(以下、「当該特徴量」と称する。)と現在のモデルに用いられている他の負性特徴量(以下、「比較負性特徴量」と称する。)との類似度、当該特徴量と比較負性特徴量との共起度、現状パラメータ155における当該特徴量の重み、および文書111における当該特徴量の出現頻度に基づき評価する。
Further, for example, the feature amount display
また、例えば、特徴量表示優先度設定部182は、上記(3)に該当する可能性を示す指標(以下、「中性らしさ」と称する。)を、評価対象の特徴量(以下、「当該特徴量」と称する。)と現在のモデルに用いられている他の中性特徴量(以下、「比較中性特徴量」と称する。)との類似度、当該特徴量と比較中性特徴量との共起度、現状パラメータ155における当該特徴量の重みの絶対値、および文書111における当該特徴量の出現頻度に基づき評価する。
Further, for example, the feature amount display
尚、上記のいずれの場合においても、評価対象の特徴量の文書111における出現頻度を評価に用いているのは、文書111における出現頻度が少ない特徴量は、文書111からの情報の抽出精度に与える影響も少ないと考えられるからである。
In any of the above cases, the appearance frequency in the
図3は、上記(1)への該当性の評価の概念を一例として示した図である。同図には、例示する文書111から、「温度」を表す単語を抽出する特徴量の「正性らしさ」を算出する場合を例示している。同図に示すように、初期辞書112には、温度を示す単語をモデルに学習させるための「30度」、「10度」等が設定され、また、比較正性特徴量として、「終単語:度」(末尾が「度」で終わる単語)、「左単語:温度は」(左側に「温
度は」の文字列が存在する単語)が存在するものとする。
FIG. 3 is a diagram showing an example of the concept of evaluation of applicability to (1) above. In the figure, a case of calculating the "likelihood of correctness" of the feature quantity for extracting the word representing "temperature" from the illustrated
同図に示す「終単語:回」(末尾が「回」で終わる単語)、「終単語:℃」(末尾が「℃」で終わる単語)、および「左単語:低下し」(左側に「低下し」の文字列が存在する単語)は、いずれも上記(1)への該当性の評価対象となる特徴量である。尚、本例では、評価対象の各特徴量は、いずれも文書111における出現頻度が十分に高いものとする。
In the same figure, "final word: times" (words ending with "times"), "final words: ℃" (words ending with "℃"), and "left word: declining" (words ending with " Words in which the character string of "lowered" is present) are all feature quantities to be evaluated for applicability to the above (1). In this example, it is assumed that each feature amount to be evaluated has a sufficiently high appearance frequency in the
本例の場合、評価対象の「終単語:回」という特徴量は、比較正性特徴量である「終単語:度」のみと類似性があり、評価対象の「左単語:低下し」という特徴量は、比較正性特徴量である「左単語:温度は」のみと共起性がある。また、評価対象の「終単語:℃」という特徴量は、比較正性特徴量である「終単語:度」と類似性があり、かつ、比較正性特徴量である「左単語:温度は」と共起性がある。このため、本例では、当該特徴量「終単語:℃」は、他の2つの特徴量(「終単語:回」、「左単語:低下し」)よりも上記(1)に該当する可能性、即ち「正性らしさ」が高く評価される。 In the case of this example, the evaluation target feature "final word: times" has similarity only with the comparative positive feature "final word: degree", and the evaluation target "left word: declining" is similar. The feature quantity has co-occurrence only with the comparative positive feature quantity “left word: temperature”. In addition, the feature quantity “final word: °C” to be evaluated has similarity to the comparative positive feature quantity “final word: degree”, and the comparative positive feature quantity “left word: temperature is ” and co-occurrence. Therefore, in this example, the feature quantity "final word: °C" is more likely to correspond to the above (1) than the other two feature quantities ("final word: times", "left word: lower"). Ethnicity, that is, “authenticity” is highly evaluated.
特徴量表示優先度設定部182は、以上のようにして各特徴量について評価した「正性らしさ」、「負性らしさ」、「中性らしさ」に基づき、ユーザに提示する際に用いる特徴量表示優先度を求める。例えば、特徴量表示優先度設定部182は、「正性らしさ」が高い(予め設定した閾値を超えている)特徴量に高い特徴量表示優先度を設定する。また例えば、特徴量表示優先度設定部182は、「負性らしさ」が高い(予め設定した閾値を超えている)特徴量に高い特徴量表示優先度を設定する。また例えば、特徴量表示優先度設定部182は、「中性らしさ」が高い(予め設定した閾値を超えている)特徴量に高い特徴量表示優先度を設定する。尚、特徴量表示優先度設定部182が、例えば、「正性らしさ」、「負性らしさ」、「中性らしさ」のいずれか2つ以上を総合的に評価して各特徴量の特徴量表示優先度を設定するようにしてもよい。
The feature amount display
続いて、特徴量表示優先度の算出方法について、具体的なテーブルを例示しつつ説明する。特徴量表示優先度設定部182は、特徴量表示優先度の算出に際し、特徴量情報120(特徴量評価テーブル121、特徴量頻度テーブル122、特徴量類似度テーブル123、特徴量共起度テーブル124)を参照もしくは生成(更新の意味を含む)する。
Next, a method for calculating the feature amount display priority will be described with reference to specific tables. When calculating the feature amount display priority, the feature amount display
図4に、特徴量評価テーブル121の一例を示す。特徴量評価テーブル121には、モデルの現在のもしくはユーザにより変更された後における各特徴量の重みと評価に関する情報が管理される。同図に示すように、特徴量評価テーブル121は、特徴量1211、重み1212、および評価1213の各項目を有する複数のエントリ(レコード)で構成される。特徴量評価テーブル121の1つのエントリは1つの特徴量に対応している。
FIG. 4 shows an example of the feature evaluation table 121. As shown in FIG. The feature evaluation table 121 manages information regarding the weight and evaluation of each feature in the current model or after being changed by the user. As shown in the figure, the feature quantity evaluation table 121 is composed of a plurality of entries (records) having respective items of
上記項目のうち、特徴量1211には、特徴量が格納される。重み1212には、当該特徴量の重みが格納される。評価1213には、当該特徴量の作用特性に応じた種別(以下、「作用種別」と称する。)を示す情報(正性特徴量であれば「正性」、負性特徴量であれば「負性」、中性特徴量であれば「中性」)が設定される。尚、作用種別が未設定の特徴量については、評価1213に「-」が設定される。
Among the above items, the
図5に、特徴量頻度テーブル122の一例を示す。特徴量頻度テーブル122には、現在のモデルに用いられている各特徴量の文書111(文書群)における出現頻度が管理される。同図に示すように、特徴量頻度テーブル122は、特徴量1221および頻度1222の各項目を有する複数のエントリ(レコード)で構成される。特徴量頻度テーブル122の1つのエントリは1つの特徴量に対応している。上記項目のうち、特徴量1221には、特徴量が格納される。頻度1222には、文書111における当該特徴量の出現頻
度が格納される。
FIG. 5 shows an example of the feature quantity frequency table 122. As shown in FIG. The feature quantity frequency table 122 manages the appearance frequency of each feature quantity used in the current model in the document 111 (document group). As shown in the figure, the feature amount frequency table 122 is composed of a plurality of entries (records) each having items of
図6に、特徴量類似度テーブル123の一例を示す。特徴量類似度テーブル123には、モデルを構成する異なる特徴量の間の類似度が管理される。同図に示すように、特徴量類似度テーブル123は、第1特徴量1231、第2特徴量1232、および類似度1233の各項目を有する複数のエントリ(レコード)で構成される。特徴量類似度テーブル123の1つのエントリは1つの特徴量の組に対応している。
FIG. 6 shows an example of the feature amount similarity table 123. As shown in FIG. The feature amount similarity table 123 manages the similarities between different feature amounts forming the model. As shown in the figure, the feature amount similarity table 123 is composed of a plurality of entries (records) having items of a
上記項目のうち、第1特徴量1231には、上記組の一方の特徴量(以下、「第1特徴量」と称する。)が格納される。第2特徴量1232には、上記組の他方の特徴量(以下、「第2特徴量」と称する。)が格納される。類似度1233には、第1特徴量と第2特徴量の類似度が格納される。尚、特徴量情報生成部181は、例えば、コサイン類似度やレーベンシュタイン(Levenshtein)距離に基づき類似度を求める。
Among the above items, the
図7に、特徴量共起度テーブル124の一例を示す。特徴量共起度テーブル124には、モデルを構成する異なる特徴量の共起度が管理される。同図に示すように、特徴量共起度テーブル124は、第1特徴量1241、第2特徴量1242、および共起度1243の各項目を有する複数のエントリ(レコード)で構成される。特徴量共起度テーブル124の1つのエントリは1つの特徴量の組に対応している。
FIG. 7 shows an example of the feature value co-occurrence table 124. As shown in FIG. The feature amount co-occurrence degree table 124 manages the co-occurrence degrees of different feature amounts forming the model. As shown in the figure, the feature amount co-occurrence table 124 is composed of a plurality of entries (records) each having a
上記項目のうち、第1特徴量1241には、上記組の一方の特徴量(以下、「第1特徴量」と称する。)が格納される。第2特徴量1242には、上記組の他方の特徴量(以下、「第2特徴量」と称する。)が格納される。共起度1243には、第1特徴量と第2特徴量の共起度が格納される。尚、特徴量情報生成部181は、例えば、単語について単語分散表現(例えば、word2vec, BERT等により生成される分散表現)を生成し、生成した各単語の分散表現を用いて2つの単語の共起度を求める。
Among the above items, the
図8に、表示優先度算出テーブル131の一例を示す。表示優先度算出テーブル131には、特徴量評価テーブル121、特徴量頻度テーブル122、特徴量類似度テーブル123、および特徴量共起度テーブル124の内容に基づく情報が管理される。同図に示すように、表示優先度算出テーブル131は、第1特徴量1311、第2特徴量1312、類似度1313、共起度1314、第1特徴量重み1315、第2特徴量重み1316、および第2特徴量頻度1317の各項目を有する複数のエントリ(レコード)で構成される。表示優先度算出テーブル131の1つのエントリは1つの特徴量の組に対応している。
FIG. 8 shows an example of the display priority calculation table 131. As shown in FIG. The display priority calculation table 131 manages information based on the contents of the feature quantity evaluation table 121 , the feature quantity frequency table 122 , the feature quantity similarity table 123 , and the feature quantity co-occurrence degree table 124 . As shown in the figure, the display priority calculation table 131 includes a
上記項目のうち、第1特徴量1311には、上記組の一方の特徴量(以下、「第1特徴量」と称する。)が格納される。第2特徴量1312には、上記組の他方の特徴量(以下、「第2特徴量」と称する。)が格納される。類似度1313には、第1特徴量と第2特徴量の類似度が格納される。共起度1314には、第1特徴量と第2特徴量の共起度が格納される。第1特徴量重み1315には、第1特徴量の重みが格納される。第2特徴量重み1316には、第2特徴量の重みが格納される。第2特徴量頻度1317には、文書111における第2特徴量の出現頻度が格納される。
Among the above items, the
図9に、特徴量表示優先度テーブル132の一例を示す。特徴量表示優先度テーブル132には、特徴量表示優先度設定部182が表示優先度算出テーブル131に基づき生成した、各特徴量の特徴量表示優先度の設定に用いる情報が管理される。同図に示すように、特徴量表示優先度テーブル132は、特徴量1321、正性らしさ1322、負性らしさ1323、および中性らしさ1324の各項目を有する複数のエントリ(レコード)で構成される。特徴量表示優先度テーブル132の1つのエントリは1つの特徴量に対応し
ている。
FIG. 9 shows an example of the feature amount display priority table 132. As shown in FIG. The feature amount display priority table 132 manages information used for setting the feature amount display priority of each feature amount, which is generated by the feature amount display
上記項目のうち、特徴量1321には特徴量が格納される。
Among the above items, the
正性らしさ1322には、表示優先度算出テーブル131に基づき次式から求めた値(正性らしさ)が格納される。尚、次式において、特徴量iは、表示優先度算出テーブル131における第2特徴量1312が対応し、特徴量jは、同テーブルにおける第1特徴量1311が対応する。次式におけるa、b、c、dは定数である。
負性らしさ1322には、表示優先度算出テーブル131に基づき次式から求めた値(負性らしさ)が格納される。尚、次式において、特徴量iは、表示優先度算出テーブル131における第2特徴量1312が対応し、特徴量jは、同テーブルにおける第1特徴量1311が対応する。次式におけるa、b、c、dは定数である。
中性らしさ1323には、表示優先度算出テーブル131に基づき次式から求めた値(中性らしさ)が格納される。尚、次式において、特徴量iは、表示優先度算出テーブル131における第2特徴量1312が対応し、特徴量jは、同テーブルにおける第1特徴量1311が対応する。次式におけるa、b、c、dは定数である。
前述したように、パラメータ設定画面生成部183は、ユーザとの対話形式によりパラメータを設定する際、以上により求めた、正性らしさ1322、負性らしさ1323、および中性らしさ1324に基づき特徴量表示優先度を求める。
As described above, the parameter setting
以上のように、文書情報抽出システム1は、各特徴量について、正性らしさ、負性らしさ、中性らしさのうちの少なくともいずれかを求め、求めた値に基づき特徴量表示優先度を設定するので、調整することにより得られる効果の高い特徴量(文書111からより適切な単語や関連語を抽出できる可能性の高い特徴量)を優先してユーザに提示することができ、ユーザは効率よくパラメータを調整(チューニング)することができる。
As described above, the document
続いて、文書情報抽出システム1がユーザとの間の対話処理により行うパラメータの設定について説明する。尚、以下では、説明の簡単のため、文書111から単語を抽出する場合を例として説明する。
Next, parameter setting performed by the document
図10は、パラメータ設定画面生成部183がユーザとの対話処理によりパラメータの設定を行う際に表示する画面(以下、「パラメータ設定画面1000」と称する。)の一例である。同図に示すように、パラメータ設定画面1000は、特徴量評価設定欄1010、特徴量抽出状況表示欄1020、更新前後比較ボタン1030、および確定ボタン1040を有する。
FIG. 10 is an example of a screen (hereinafter referred to as "
特徴量評価設定欄1010には、ユーザに確認を促す特徴量が、特徴量表示優先度テーブル132の特徴量表示優先度の高いものから順に表示される。同図に示すように、特徴量評価設定欄1010は、特徴量1011、重み1012、文章1013、および評価1014の各項目を有する複数のエントリで構成される。特徴量評価設定欄1010の1つのエントリは1つの特徴量に対応している。
In the feature amount
上記項目のうち、特徴量1011には、ユーザに確認を促す特徴量が表示される。重み1012には、当該特徴量に設定されている重みが表示される。ユーザは当該特徴量に設定されている重みを確認しながら、当該特徴量を評価することができる。重み1012の値は、ユーザが当該画面を利用して手動で変更することも可能である。
Among the above items, in the
文章1013には、当該特徴量による単語が抽出された1つ以上の文章(文書111の要素である文章)が表示される。文章1013の特徴量に相当する部分は強調表示(本例ではアンダーラインと斜体字)されており、ユーザは、文章における特徴量の位置を容易に把握することができる。
The
評価1014には、当該特徴量について設定されている作用種別が表示される。過去に作用種別が設定されている特徴量については、評価1014に既に設定されている特徴量がデフォルト値として自動表示される。また、過去に作用種別が設定されていない特徴量については、例えば、評価1014に、パラメータ設定部180が特徴量表示優先度テーブル132の内容に基づき判定した作用種別がデフォルト値として表示される。例えば、正性らしさ1322が予め設定されている閾値を超える特徴量については「正性」が、負性らしさ1323が予め設定されている閾値を超える特徴量については「負性」が、中性らしさ1324が予め設定されている閾値を超える特徴量については「中性」が、デフォルト値として評価1014に表示される。尚、デフォルト値を自動的に判定する方法は必ずしも限定されない。評価1014の内容は、当該画面を利用してユーザが手動で変更することも可能である。ユーザは、例えば、プルダウンメニューとして表示される作用種別(「正性」、「負性」、「中性」)を操作して評価1014の内容を変更する。
The
特徴量抽出状況表示欄1020には、特徴量評価設定欄1010に表示されている各特徴量の抽出の状況(様子)を示した情報が表示される。同図に示すように、特徴量抽出状況表示欄1020は、文書ID1021、抽出単語1022、抽出元文章1023、およびマッピング外特徴量1024の各項目を有する複数のエントリで構成される。特徴量抽出状況表示欄1020の1つのエントリは文書111から抽出された1つの単語に対応している。
The feature quantity extraction
上記項目のうち、文書ID1021には、抽出元の文書の識別子である文書ID(本例では抽出元の文書のファイル名)が表示される。抽出単語1022には、特徴量評価設定欄1010に表示されている特徴量1011によって抽出された単語が表示される。
Among the above items, the
抽出元文章1023には、当該単語の抽出元の文章が表示される。同図に示すように、抽出元文章1023の特徴量に相当する部分には、特徴量の重みに応じた文字飾り(実線アンダーライン、枠囲み、斜体字、破線アンダーライン、飾り無し)が付されている。尚
、抽出元文章1023において文字飾りが付される特徴量は、後述するマッピング対象特徴量テーブル142に定義されている特徴量が対象となる。本例では、各特徴量に設定されている重み(効き方)の違いを文字飾りの種類を変えることで区別しているが、色分け等の他の方法で区別するようにしてもよい。
An
本例では、文字飾りのうち、実線アンダーラインは、温度を示す単語を抽出するのに大きく作用する特徴量(正性特徴量)に付され、また、枠囲みは、温度を示す単語を抽出するのに作用する特徴量(正性特徴量)に付され、また、斜体字は、温度でない単語を抽出しないように作用する特徴量(負性特徴量)に付され、また、破線アンダーラインは、温度でない単語を抽出しないように大きく作用する特徴量(負性特徴量)に付され、また、飾り無しは、正性特徴量および負性特徴量のいずれにも該当しない特徴量(中性特徴量)に付される。 In this example, among the character decorations, the solid underline is added to the feature quantity (positive feature quantity) that greatly affects the extraction of the word indicating temperature, and the framed character is used to extract the word indicating temperature. Italic characters are attached to features (negative features) that act not to extract words other than temperature, and dashed underlines is added to the feature quantity (negative feature quantity) that has a large effect on not extracting words that are not temperature. gender feature).
マッピング外特徴量1024には、当該単語を抽出に寄与した他の特徴量(本例では文字数)が表示される。マッピング外特徴量1024に表示される他の特徴量の例として、例えば、「数字か文字か」、「英語か日本語か」、「ローマ字か漢字か」、「大文字か小文字か」がある。
The
ユーザが更新前後比較ボタン1030を操作すると、パラメータ設定部180は、ユーザが変更操作を行う前の特徴量評価設定欄1010の内容と、ユーザが変更操作を行った後の特徴量評価設定欄1010の内容とを対比可能な状態で示した画面(以下、「更新前後対比画面1100」と称する。)を表示する。
When the user operates the before/after
図11に、更新前後対比画面1100の一例を示す。同図に示すように、例示する更新前後対比画面1100は、更新前の特徴量評価設定欄1010の内容が表示される特徴量評価設定欄(更新前)1111と、更新前の特徴量評価設定欄1010の内容が表示される特徴量評価設定欄(更新後)1112とを有する。ユーザは、更新前後対比画面1100を参照することで、自分がいずれの特徴量の評価や重みをどのように変更したのかを容易に確認することができる。尚、ユーザが特徴量の評価1014の内容を変更すると、特徴量表示優先度設定部182によって更新後の評価(作用種別)および重みに基づき特徴量表示優先度が再計算され、特徴量の表示順も更新される。
FIG. 11 shows an example of a before and after
図10に戻り、ユーザが、確定ボタン1040を操作すると、パラメータ更新部185が、パラメータ設定画面1000の設定内容(重み1012、評価1014)に基づきパラメータ更新情報152を生成し、生成したパラメータ更新情報152に基づき、単語/関連語抽出部171が用いるモデルのパラメータを更新する。尚、パラメータ更新部185が、パラメータ設定画面1000の評価1014に基づき、対応する特徴量の重みを自動設定するようにしてもよい。その場合、各特徴量について自動設定する重みは、例えば、特徴量表示優先度テーブル132における夫々の正性らしさ1322、負性らしさ1323、中性らしさ1324に基づき設定する。
Returning to FIG. 10, when the user operates the
以上のように、パラメータ設定画面1000の特徴量評価設定欄1010には、特徴量1011とともに当該特徴量の抽出元の文章1013が表示されるので、ユーザは、特徴量について適切な評価1014を設定することができる。また、特徴量抽出状況表示欄1020には、特徴量評価設定欄1010に表示されている特徴量についての抽出状況に関する情報(抽出単語1022、抽出元文章1023、マッピング外特徴量1024)が表示されるので、ユーザは、単語の抽出に際し特徴量がどのように作用するのかを視覚的に確認することができ、機械学習についての知識や経験の少ないユーザであっても、これらの情報を参考にして特徴量を効率よく適切に設定することができる。そのため、例えば、機械学習については不慣れだが、対象とする情報分野に精通しているドメインユーザの豊
富な知識や経験を有効に活用することができる。
As described above, since the
続いて、パラメータ設定画面1000および更新前後対比画面1100の生成に用いる各種テーブルの例を示す。
Next, examples of various tables used to generate the
図12は、特徴量抽出元情報テーブル125の一例である。特徴量抽出元情報テーブル125には、特徴量の抽出元に関する情報が管理される。同図に示すように、特徴量抽出元情報テーブル125は、文書ID1251、単語1252、抽出元文章1253、単語始点1254、単語終点1255、特徴量1256、特徴量始点1257、および特徴量終点1258の各項目を有する複数のエントリ(レコード)で構成される。特徴量抽出元情報テーブル125の1つのエントリは1つの特徴量に対応している。
FIG. 12 is an example of the feature quantity extraction source information table 125 . The feature quantity extraction source information table 125 manages information about the feature quantity extraction sources. As shown in the figure, the feature amount extraction source information table 125 includes a
上記項目のうち、文書ID1251には、当該特徴量の抽出元の文書の文書IDが格納される。単語1252には、当該特徴量によって抽出された単語が格納される。抽出元文章1253には、当該単語の抽出元の文章が格納される。単語始点1254および単語終点1255には夫々、当該単語の文書における位置(始点、終点)が格納される。特徴量1256には、当該特徴量が格納される。特徴量始点1257および特徴量終点1258には夫々、当該抽出元の文章における当該特徴量の出現する位置(始点、終点)が格納される。
Among the above items, the
図13は、文字飾り定義テーブル141の一例である。文字飾り定義テーブル141には、特徴量の重みに応じた文字飾りを示す情報が管理される。文字飾り定義テーブル141の内容は、例えば、システム管理者やユーザが設定する。同図に示すように、文字飾り定義テーブル141は、重み1411と文字飾り1412の各項目を有する複数のレコードで構成される。重み1411には、重みの範囲を示す情報が格納される。また、文字飾り1412には文字飾りの種類を示す情報が格納される。
FIG. 13 is an example of the character decoration definition table 141. As shown in FIG. The character decoration definition table 141 manages information indicating character decoration corresponding to the weight of the feature quantity. The contents of the character decoration definition table 141 are set by, for example, a system administrator or a user. As shown in the figure, the character decoration definition table 141 is composed of a plurality of
図14は、マッピング対象特徴量テーブル142の一例である。マッピング対象特徴量テーブル142には、パラメータ設定画面1000の特徴量抽出状況表示欄1020の抽出元文章1023やマッピング外特徴量1024に表示される特徴量のうち、文字飾りを付す対象とする特徴量(対象特徴量1421)が管理される。マッピング対象特徴量テーブル142の内容は、例えば、システム管理者やユーザが設定する。
FIG. 14 is an example of the mapping target feature quantity table 142 . In the mapping target feature amount table 142, among the feature amounts displayed in the
図15は、特徴量評価設定情報テーブル143の一例である。特徴量評価設定情報テーブル143には、パラメータ設定画面1000の特徴量評価設定欄1010に表示する情報が管理される。同図に示すように、特徴量評価設定情報テーブル143は、特徴量1431、重み1432、抽出元文章1433、特徴量始点1434、特徴量終点1435、および評価1436の各項目を有する複数のエントリ(レコード)で構成される。特徴量評価設定情報テーブル143の1つのエントリは1つの特徴量に対応している。
FIG. 15 is an example of the feature evaluation setting information table 143. As shown in FIG. Information to be displayed in the feature amount
上記項目のうち特徴量1431には、評価の対象となる特徴量が格納される。重み1432には、当該特徴量の重みが格納される。抽出元文章1433には、当該特徴量の抽出元の文章が格納される。特徴量始点1434および特徴量終点1435には夫々、抽出元文章1433における当該特徴量の位置を示す情報(始点、終点)が格納される。評価1436には、前述したデフォルト値またはユーザが設定した評価(「正性」、「負性」、「中性」のいずれか)が設定される。
Among the above items, the
図16は、特徴量抽出状況表示テーブル144の一例である。特徴量抽出状況表示テーブル144には、パラメータ設定画面1000の特徴量抽出状況表示欄1020に表示する情報が管理される。同図に示すように、特徴量抽出状況表示テーブル144は、文書I
D1441、単語1442、抽出元文章1443、単語始点1444、単語終点1445、特徴量1446、特徴量始点1447、特徴量終点1448、重み1449、文字飾り1450、およびマッピング外特徴量1451の各項目を有する複数のレコードで構成される。特徴量抽出状況表示テーブル144の1つのエントリは文書111から抽出される1つの単語に対応している。
FIG. 16 is an example of the feature quantity extraction status display table 144. As shown in FIG. Information displayed in the feature extraction
D1441,
文書ID1441には、当該単語(単語1442)の抽出元の文書111の文書IDが格納される。単語1442には、当該特徴量(特徴量1446)によって抽出された単語が格納される。抽出元文章1443には、当該単語の抽出元の文章が格納される。単語始点1444および単語終点1445には、当該単語の抽出元文章1443における位置(始点、終点)が格納される。特徴量1446には、当該単語の抽出に用いた特徴量が格納される。特徴量始点1447および特徴量終点1448には夫々、抽出元文章1443における当該特徴量の位置を示す情報(始点、終点)が格納される。
The
重み1449には、当該特徴量(特徴量1446)に設定されている重みが格納される。文字飾り1450には、当該特徴量の表示に際して付する文字飾りを示す情報が格納される。マッピング外特徴量1451には、当該単語の抽出に寄与した、マッピング対象特徴量テーブル142に定義されていない他の特徴量が格納される。
The
続いて、特徴量評価設定情報テーブル143や特徴量抽出状況表示テーブル144の生成に際しパラメータ設定部180が行う処理について説明する。
Next, processing performed by the
図17は、パラメータ設定部180が、特徴量評価設定情報テーブル143の生成に際し行う処理(以下、「特徴量評価設定情報テーブル生成処理S1700」と称する。)を説明するフローチャートである。以下、同図とともに特徴量評価設定情報テーブル生成処理S1700について説明する。
FIG. 17 is a flowchart for explaining the process performed by the
まず、パラメータ設定部180は、特徴量抽出元情報テーブル125と特徴量評価テーブル121を読み込む(S1711~S1712)。
First, the
続いて、パラメータ設定部180は、特徴量評価テーブル121のエントリを1つ選択する(S1713)。
Subsequently, the
続いて、パラメータ設定部180は、S1713で選択したエントリの特徴量に対応する特徴量抽出元情報テーブル125の抽出元文章1253を関連づけた内容を設定したエントリを特徴量評価設定情報テーブルに追加する(S1714)。
Next, the
続いて、パラメータ設定部180は、S1713で特徴量評価テーブルS1713の全てのエントリを選択済か否かを判定する(S1715)。全てのエントリを選択済でなければ(S1715:NO)、処理はS1713に戻り、未選択のエントリを選択して以上と同様の処理を行う。一方、全てのエントリを選択済であれば(S1715:YES)、特徴量評価設定情報テーブル生成処理S1700は終了する。
Subsequently, the
図18は、パラメータ設定部180が、特徴量抽出状況表示テーブル144の生成に際し行う処理(以下、「特徴量抽出状況表示テーブル生成処理S1800」と称する。)を説明するフローチャートである。以下、同図とともに特徴量抽出状況表示テーブル生成処理S1800について説明する。
FIG. 18 is a flowchart for explaining the process performed by the
まず、パラメータ設定部180は、特徴量抽出元情報テーブル125、特徴量評価テーブル121、文字飾り定義テーブル141、およびマッピング対象特徴量テーブル142
を読み込む(S1811~S1814)。
First, the
is read (S1811 to S1814).
続いて、パラメータ設定部180は、特徴量抽出元情報テーブル125のエントリを1つ選択し、選択したエントリの内容を用いて特徴量抽出状況表示テーブル144にエントリを1つ追加する(S1815)。
Subsequently, the
続いて、パラメータ設定部180は、追加したエントリの重み1449に、特徴量評価テーブル121の対応する特徴量の重みを格納する(S1816)。
Subsequently, the
続いて、パラメータ設定部180は、追加したエントリの文字飾り1450に、文字飾り定義テーブル141におけるS1816で格納した重みに対応する文字飾りを格納する(S1817)。
Subsequently, the
続いて、パラメータ設定部180は、マッピング対象特徴量テーブル142に、S1815で追加したエントリの特徴量1446と同じ特徴量があるか否かを判定する(S1818)。同じ特徴量があれば(S1818:YES)、パラメータ設定部180は、追加したエントリのマッピング外特徴量1451に空白を設定し、その後、処理はS1820に進む。同じ特徴量がなければ(S1818:NO)、パラメータ設定部180は、追加したエントリのマッピング外特徴量1451に当該特徴量を格納し(S1819)、その後、処理はS1820に進む。
Subsequently, the
続いて、パラメータ設定部180は、S1815で特徴量抽出元情報テーブル125の全てのエントリを選択済か否かを判定する(S1820)。全てのエントリを選択済でなければ(S1820:NO)、処理はS1815に戻り、未選択のエントリを選択して以上と同様の処理を行う。一方、全てのエントリを選択済であれば(S1815:YES)、特徴量抽出状況表示テーブル生成処理S1800は終了する。
Subsequently, the
続いて、以上に説明した文書情報抽出システム1の構成に用いる情報処理装置(コンピュータ)について説明する。
Next, an information processing apparatus (computer) used for the configuration of the document
図19は、文書情報抽出システム1の構成に用いる情報処理装置の一例である。同図に示すように、例示する情報処理装置10は、プロセッサ11、主記憶装置12、補助記憶装置13、入力装置14、出力装置15、および通信装置16を備える。
FIG. 19 shows an example of an information processing device used for configuring the document
文書情報抽出システム1は、例えば、通信可能に接続された複数の情報処理装置10を用いて実現してもよい。また、情報処理装置10は、その全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、情報処理装置10によって提供される機能の全部または一部は、例えば、クラウドシステムがAPI(Application Programming Interface)等を介して提供するサービ
スによって実現してもよい。
The document
また、情報処理装置10によって提供される機能の全部または一部は、例えば、SaaS(Software as a Service)、PaaS(Platform as a Service)、IaaS(Infrastructure as a Service)等を利用して実現されるものであってもよい。
Further, all or part of the functions provided by the
同図に示すプロセッサ11は、例えば、CPU(Central Processing Unit)、MPU
(Micro Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、
AI(Artificial Intelligence)チップ等を用いて構成されている。
The
(Micro Processing Unit), GPU (Graphics Processing Unit), FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit),
It is configured using an AI (Artificial Intelligence) chip or the like.
主記憶装置12は、プログラムやデータを記憶する装置であり、例えば、ROM(Read
Only Memory)、RAM(Random Access Memory)、不揮発性メモリ(NVRAM(Non Volatile RAM))等である。
The
Only Memory), RAM (Random Access Memory), nonvolatile memory (NVRAM (Non Volatile RAM)), and the like.
補助記憶装置13は、例えば、SSD(Solid State Drive)、ハードディスクドライ
ブ、光学式記憶装置(CD(Compact Disc)、DVD(Digital Versatile Disc)等)、ストレージシステム、ICカード、SDカードや光学式記録媒体等の記録媒体の読取/書込装置、クラウドサーバの記憶領域等である。補助記憶装置13には、記録媒体の読取装置や通信装置16を介してプログラムやデータを読み込むことができる。補助記憶装置13に格納(記憶)されているプログラムやデータは主記憶装置12に随時読み込まれる。
The
入力装置14は、外部からの入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、ペン入力方式のタブレット、音声入力装置等である。
The
出力装置15は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置15は、例えば、上記の各種情報を可視化する表示装置(液晶モニタ、LCD(Liquid Crystal Display)、グラフィックカード等)、上記の各種情報を音声化する装置(音声出力装置(スピーカ等))、上記の各種情報を文字化する装置(印字装置等)である。尚、例えば、情報処理装置10が通信装置16を介して他の装置との間で情報の入力や出力を行う構成としてもよい。
The
入力装置14と出力装置15は、ユーザとの間での対話処理(情報の受け付け、情報の提示等)を実現するユーザインタフェースを構成する。
The
通信装置16は、他の装置との間の通信を実現する装置である。通信装置16は、通信ネットワーク5(LAN(Local Area Network)、WAN(Wide Area Network)、イン
ターネット、公衆通信網、専用線等)を介して他の装置との間の通信を実現する、有線方式または無線方式の通信インタフェースであり、例えば、NIC(Network Interface Card)、無線通信モジュール、USBモジュール等である。
The
情報処理装置10には、例えば、オペレーティングシステム、ファイルシステム、DBMS(DataBase Management System)(リレーショナルデータベース、NoSQL等)、KVS(Key-Value Store)等が導入されていてもよい。文書情報抽出システム1は、前
述した各種の情報(データ)を、例えば、データベースのテーブルやファイルシステムが管理するファイルとして記憶する。
For example, an operating system, a file system, a DBMS (DataBase Management System) (relational database, NoSQL, etc.), a KVS (Key-Value Store), etc. may be installed in the
文書情報抽出システム1が提供する各種の機能は、プロセッサ11が、主記憶装置12に格納されているプログラムを読み出して実行することにより、もしくは、文書情報抽出システム1を構成するハードウェア(FPGA、ASIC、AIチップ等)自体によって実現される。また、文書情報抽出システム1の各種の機能は、例えば、テキストデータマイニング等の公知の各種データマイニング手法、公知の各種自然言語処理手法(形態素解析、構文解析、意味解析、文脈解析、特徴量抽出、単語分散表現、固有表現抽出、テキスト分類、系列ラベリング)、公知の各種機械学習手法(深層学習(DNN(Deep Neural Network)、RNN(Recurrent Neural Network)等)を用いて実現される。
Various functions provided by the document
以上詳細に説明したように、本実施形態の文書情報抽出システム1は、パラメータ(特徴量、重み)の設定に際し、評価対象特徴量と、評価対象特徴量の抽出元の1つ以上の文章と、評価対象特徴量に設定されている重みとを表示しつつ、作用種別または重みの設定
を受け付けるので、ユーザは、抽出元の文章や重みを確認しつつ(どのような特徴量にどのような設定がされているのかを確認しつつ)評価対象特徴量を効率よく適切に設定することができる。
As described in detail above, the document
また、パラメータ設定画面1000の特徴量評価設定欄1010の文章1013において評価対象特徴量の部分が強調表示されるので、ユーザは、評価対象特徴量が文書にどのように作用するのかを容易に確認することができる。
In addition, since the part of the evaluation target feature quantity is highlighted in the
また、パラメータ設定画面1000の特徴量抽出状況表示欄1020の抽出元文章1023には、表示する文章の評価対象特徴量の部分が、作用種別ごとに区別した文字飾りや色等で強調表示されるので、ユーザは、作用種別ごとの評価対象特徴量の作用特性を認識しつつ、評価対象特徴量を効率よく適切に設定することができる。
In addition, in the
また、パラメータ設定画面1000の特徴量抽出状況表示欄1020には、文書から抽出した単語が表示されるので、ユーザは、どのように特徴量が作用してどのような単語が抽出されるのかを認識しつつ、評価対象特徴量を効率よく適切に設定することができる。
In addition, since the words extracted from the document are displayed in the feature quantity extraction
また、パラメータ設定画面1000の特徴量抽出状況表示欄1020には、評価対象特徴量により文書から抽出した情報の抽出に作用した他の特徴量(マッピング外特徴量1024)も表示されるので、ユーザは、他の特徴量も参考にしつつ、評価対象特徴量を効率よく適切に設定することができる。
In addition, in the feature quantity extraction
このように、本実施形態の文書情報抽出システム1によれば、機械学習の方法により文書から有用な情報を抽出する際に用いるモデルの特徴量に関する設定を支援することができる。そのため、例えば、抽出しようとする情報の分野についての知識(ドメイン知識)は有しているが機械学習についての知識や経験が無い者でも、特徴量を効率よく適切に行うことができ、ドメインユーザの知識を有効に活用して特徴量を適切に設定することができる。
As described above, according to the document
以上、本発明の一実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成の一部について、他の構成の追加や削除、置換をすることが可能である。 Although one embodiment of the present invention has been described above, it goes without saying that the present invention is not limited to the above-described embodiment, and can be variously modified without departing from the scope of the invention. For example, the above embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described. Moreover, it is possible to add, delete, or replace a part of the configuration of the above embodiment with another configuration.
例えば、以上では、各種の処理が文書を単位として行われる場合を例として説明したが、処理の単位は必ずしも限定されず、本実施形態の文書情報抽出システム1は、文書に代え文章(1つ以上の文からなる文章)を単位としても同様の処理を行うことができる。 For example, in the above description, various processes are performed on a document basis, but the processing unit is not necessarily limited. The same processing can be performed using sentences consisting of the above sentences as a unit.
また、以上では、文書情報抽出部170が、蓄積された文書111から機械学習のモデル(学習モデル)により情報を抽出し、抽出した情報をシステム管理者やユーザに提示する場合を示したが、例えば、システム管理者やユーザが定義した抽出ルールを用いて情報を抽出し、システム管理者やユーザに提示するようにしてもよい。その場合、例えば、図10に示したパラメータ設定画面1000において、マッピング外特徴量1024に、ルールにマッチしたか否かを示す情報を表示するようにしてもよい。
In the above description, the document
また、上記の各構成、機能部、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイ
ル等の情報は、メモリやハードディスク、SSD(Solid State Drive)等の記録装置、
ICカード、SDカード、DVD等の記録媒体に置くことができる。
Further, each of the above-described components, functional units, processing units, processing means, etc. may be realized by hardware, for example, by designing them in an integrated circuit. Moreover, each of the above configurations, functions, etc. may be realized by software by a processor interpreting and executing a program for realizing each function. Information such as programs, tables, files, etc. that realize each function is stored in recording devices such as memories, hard disks, SSDs (Solid State Drives),
It can be placed in recording media such as IC cards, SD cards, and DVDs.
また、以上に説明した各情報処理装置の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、これらの装置が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。 Moreover, the arrangement form of various functional units, various processing units, and various databases of each information processing apparatus described above is merely an example. The arrangement form of various functional units, various processing units, and various databases can be changed to an optimum arrangement form from the viewpoint of the performance, processing efficiency, communication efficiency, etc. of hardware and software provided in these devices.
また、前述した各種のデータを格納するデータベースの構成(スキーマ(Schema)等)は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。 Also, the configuration of the database (schema, etc.) that stores the various data described above can be flexibly changed from the viewpoints of efficient use of resources, improvement of processing efficiency, improvement of access efficiency, improvement of search efficiency, and the like.
1 文書情報抽出システム、110 記憶部、111 文書、112 初期辞書、113
単語/関連語辞書、114 単語/関連語、115 文書抽出情報、120 特徴量情報、121 特徴量評価テーブル、122 特徴量頻度テーブル、123 特徴量類似度テーブル、124 特徴量共起度テーブル、125 特徴量抽出元情報テーブル、131
表示優先度算出テーブル、132 特徴量表示優先度テーブル、140 パラメータ設定画面情報、141 文字飾り定義テーブル、142 マッピング対象特徴量テーブル、143 特徴量評価設定情報テーブル、144 特徴量抽出状況表示テーブル、152 パラメータ更新情報、155 現状パラメータ、160 文書管理部、161 辞書管理部、170 文書情報抽出部、171 単語/関連語抽出部、172 文書情報提示部、180 パラメータ設定部、181 特徴量情報生成部、182 特徴量表示優先度設定部、183 パラメータ設定画面生成部、184 パラメータ設定受付部、185 パラメータ更新部、1000 パラメータ設定画面、1100 更新前後対比画面、S1700 特徴量評価設定情報テーブル生成処理、S1800 特徴量抽出状況表示テーブル生成処理
1 document information extraction system, 110 storage unit, 111 document, 112 initial dictionary, 113
word/related word dictionary, 114 word/related word, 115 document extraction information, 120 feature amount information, 121 feature amount evaluation table, 122 feature amount frequency table, 123 feature amount similarity table, 124 feature amount co-occurrence table, 125 feature quantity extraction source information table 131
display priority calculation table 132 feature amount display priority table 140 parameter
Claims (15)
文書群を管理する文書管理部と、
機械学習のモデルを用いて前記文書群の文書から情報を抽出する文書情報抽出部と、
前記モデルのパラメータを構成する複数の特徴量と、前記特徴量の夫々について前記情報を抽出する際の作用の特性を示す情報である作用種別と、を記憶する記憶部と、
前記複数の特徴量のうち評価の対象とする特徴量である評価対象特徴量と、前記評価対象特徴量の抽出元の1つ以上の文章と、前記評価対象特徴量に現在設定されている重みと、を表示しつつ、前記評価対象特徴量の前記作用種別または前記重みの設定を受け付けるパラメータ設定受付部と、
受け付けた前記作用種別または前記重みに基づき前記パラメータを更新するパラメータ更新部と、
を備える、文書情報抽出システム。 configured using an information processing device,
a document management unit that manages a group of documents;
a document information extraction unit that extracts information from the documents of the document group using a machine learning model;
a storage unit that stores a plurality of feature amounts that constitute the parameters of the model, and action types that are information indicating characteristics of actions when the information is extracted for each of the feature amounts;
An evaluation target feature quantity which is a feature quantity to be evaluated among the plurality of feature quantities, one or more sentences from which the evaluation target feature quantity is extracted, and a weight currently set for the evaluation target feature quantity. and a parameter setting reception unit that receives the setting of the action type or the weight of the evaluation target feature quantity while displaying;
a parameter updating unit that updates the parameter based on the received action type or weight;
A document information extraction system.
前記作用種別は、前記特徴量が前記文書群から抽出すべき情報を抽出するように作用することを示す正性、前記特徴量が前記文書群から抽出すべきでない情報を抽出しないように作用することを示す負性、前記特徴量の作用が前記正性および前記負性のいずれにも該当しない中性、のうちの少なくともいずれかを含む、
文書情報抽出システム。 The document information extraction system according to claim 1,
The action type is positive, which indicates that the feature quantity works to extract information that should be extracted from the document group, and that the feature quantity does not extract information that should not be extracted from the document group. including at least one of the negative indicating that the action of the feature amount is neither the positive nor the negative,
Document information extraction system.
前記パラメータ設定受付部は、表示する前記文章の前記評価対象特徴量の部分を強調表示する、
文書情報抽出システム。 The document information extraction system according to claim 1,
The parameter setting reception unit highlights a portion of the text to be displayed that is the evaluation target feature amount.
Document information extraction system.
前記パラメータ設定受付部は、表示する前記文章における前記評価対象特徴量の部分を、前記評価対象特徴量の前記作用種別ごとに区別して強調表示する、
文書情報抽出システム。 The document information extraction system according to claim 3,
The parameter setting reception unit highlights the portion of the evaluation target feature amount in the displayed sentence, distinguishing it by the action type of the evaluation target feature amount.
Document information extraction system.
前記パラメータ設定受付部は、表示する前記文章における前記評価対象特徴量の部分を、前記評価対象特徴量の前記作用種別ごとに異なる文字飾りもしくは異なる色を付すことにより区別して強調表示する、
文書情報抽出システム。 The document information extraction system according to claim 4,
The parameter setting reception unit distinguishes and emphasizes the part of the evaluation target feature quantity in the text to be displayed by attaching a different character decoration or a different color for each action type of the evaluation target feature quantity,
Document information extraction system.
前記パラメータ設定受付部は、前記評価対象特徴量により前記文書から抽出した情報の抽出に作用した他の特徴量を更に表示する、
文書情報抽出システム。 The document information extraction system according to claim 1,
The parameter setting reception unit further displays other feature amounts that affect the extraction of the information extracted from the document by the evaluation target feature amount.
Document information extraction system.
前記パラメータ設定受付部は、前記評価対象特徴量により前記文書から抽出した情報を更に表示する、
文書情報抽出システム。 The document information extraction system according to claim 1,
The parameter setting reception unit further displays information extracted from the document based on the evaluation target feature amount.
Document information extraction system.
前記評価対象特徴量の夫々について、前記文書群における前記評価対象特徴量と前記作
用種別が共通する他の前記特徴量との類似度、前記文書群における前記他の特徴量との共起度、前記評価対象特徴量に現在設定されている重み、および前記評価対象特徴量の前記文書群における出現頻度、のうちの少なくともいずれかに基づき前記評価対象特徴量を表示する優先度である特徴量表示優先度を求める特徴量表示優先度設定部と、
前記特徴量表示優先度に従って前記評価対象特徴量を表示しつつ前記評価対象特徴量の前記作用種別または前記重みの設定を受け付けるパラメータ設定受付部と、
を更に備える、文書情報抽出システム。 The document information extraction system according to claim 1,
For each of the evaluation target feature quantities, the degree of similarity between the evaluation target feature quantity in the document group and the other feature quantity having the action type in common, the degree of co-occurrence with the other feature quantity in the document group, feature quantity display, which is a priority for displaying the evaluation target feature quantity based on at least one of a weight currently set for the evaluation target feature quantity and an appearance frequency of the evaluation target feature quantity in the document group; a feature amount display priority setting unit for obtaining priority;
a parameter setting reception unit that receives setting of the action type or the weight of the evaluation target feature quantity while displaying the evaluation target feature quantity according to the feature quantity display priority;
A document information extraction system, further comprising:
前記作用種別は、前記特徴量が前記文書群から抽出すべき情報を抽出するように作用することを示す正性、前記特徴量が前記文書群から抽出すべきでない情報を抽出しないように作用することを示す負性、前記特徴量の作用が前記正性および前記負性のいずれにも該当しない中性、のうちの少なくともいずれかを含む、
文書情報抽出システム。 The document information extraction system according to claim 8,
The action type is positive, which indicates that the feature quantity works to extract information that should be extracted from the document group, and that the feature quantity does not extract information that should not be extracted from the document group. including at least one of the negative indicating that the action of the feature amount is neither the positive nor the negative,
Document information extraction system.
前記特徴量表示優先度設定部は、前記正性の前記作用種別に分類されている前記評価対象特徴量について、前記文書群における、前記評価対象特徴量と作用種別が共通する他の特徴量との類似度が高く、前記他の特徴量との共起度が高く、現在設定されている重みが小さい程、前記特徴量表示優先度を高く設定する、
文書情報抽出システム。 The document information extraction system according to claim 9,
The feature amount display priority setting unit is configured to set the evaluation target feature amount classified into the positive action type with other feature amounts having the same action type as the evaluation target feature amount in the document group. The higher the similarity of, the higher the degree of co-occurrence with the other feature amount, and the smaller the currently set weight, the higher the feature amount display priority is set.
Document information extraction system.
前記特徴量表示優先度設定部は、前記負性の前記作用種別に分類されている前記評価対象特徴量について、前記文書群における、前記評価対象特徴量と作用種別が共通する他の特徴量との類似度が高く、前記他の特徴量との共起度が高く、現在設定されている重みが大きい程、前記特徴量表示優先度を高く設定する、
文書情報抽出システム。 The document information extraction system according to claim 9,
The feature amount display priority setting unit is configured to set the evaluation target feature amount classified into the negative action type with other feature amounts having the same action type as the evaluation target feature amount in the document group. The higher the similarity of the feature, the higher the co-occurrence with the other feature, and the higher the currently set weight, the higher the feature display priority is set.
Document information extraction system.
前記特徴量表示優先度設定部は、前記中性の前記作用種別に分類されている前記評価対象特徴量について、前記文書群における、前記評価対象特徴量と作用種別が共通する他の特徴量との類似度が高く、前記他の特徴量との共起度が高く、現在設定されている重みが大きい程、前記特徴量表示優先度を高く設定する、
文書情報抽出システム。 The document information extraction system according to claim 9,
The feature amount display priority setting unit is configured to set the evaluation target feature amount classified into the neutral action type with other feature amounts having the same action type as the evaluation target feature amount in the document group. The higher the similarity of the feature, the higher the co-occurrence with the other feature, and the higher the currently set weight, the higher the feature display priority is set.
Document information extraction system.
前記情報は、単語または単語の関連語である、
文書情報抽出システム。 The document information extraction system according to claim 1,
the information is a word or a related word of a word,
Document information extraction system.
文書群を管理するステップ、
機械学習のモデルを用いて前記文書群の文書から情報を抽出するステップ、
前記モデルのパラメータを構成する複数の特徴量と、前記特徴量の夫々について前記情報を抽出する際の作用の特性を示す情報である作用種別と、を記憶するステップ、
前記複数の特徴量のうち評価の対象とする特徴量である評価対象特徴量と、前記評価対象特徴量の抽出元の1つ以上の文章と、前記評価対象特徴量に現在設定されている重みと、を表示しつつ、前記評価対象特徴量の前記作用種別または前記重みの設定を受け付けるステップ、および、
受け付けた前記作用種別または前記重みに基づき前記パラメータを更新するステップ、
を実行する、文書情報抽出方法。 The information processing device
managing a collection of documents;
extracting information from the documents of the set of documents using a machine learning model;
a step of storing a plurality of feature amounts constituting parameters of the model and an effect type, which is information indicating characteristics of an effect when the information is extracted for each of the feature amounts;
An evaluation target feature quantity which is a feature quantity to be evaluated among the plurality of feature quantities, one or more sentences from which the evaluation target feature quantity is extracted, and a weight currently set for the evaluation target feature quantity. and receiving the setting of the action type or the weight of the evaluation target feature quantity while displaying;
updating the parameter based on the received action type or weight;
A document information extraction method that performs
前記情報処理装置が、
前記評価対象特徴量の夫々について、前記文書群における前記評価対象特徴量と前記作用種別が共通する他の前記特徴量との類似度、前記文書群における前記他の特徴量との共起度、前記評価対象特徴量に現在設定されている重み、および前記評価対象特徴量の前記文書群における出現頻度、のうちの少なくともいずれかに基づき前記評価対象特徴量を表示する優先度である特徴量表示優先度を求めるステップ、および、
前記特徴量表示優先度に従って前記評価対象特徴量を表示しつつ前記評価対象特徴量の前記作用種別または前記重みの設定を受け付けるステップ、
を更に実行する、文書情報抽出方法。
The document information extraction method according to claim 14,
The information processing device
For each of the evaluation target feature quantities, the degree of similarity between the evaluation target feature quantity in the document group and the other feature quantity having the action type in common, the degree of co-occurrence with the other feature quantity in the document group, feature quantity display, which is a priority for displaying the evaluation target feature quantity based on at least one of a weight currently set for the evaluation target feature quantity and an appearance frequency of the evaluation target feature quantity in the document group; determining a priority; and
receiving the setting of the action type or the weight of the evaluation target feature quantity while displaying the evaluation target feature quantity according to the feature quantity display priority;
A method for extracting document information, further comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021050108A JP2022148430A (en) | 2021-03-24 | 2021-03-24 | Document information extraction system and document information extraction method |
PCT/JP2021/029973 WO2022201578A1 (en) | 2021-03-24 | 2021-08-17 | Document information extraction system and document information extraction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021050108A JP2022148430A (en) | 2021-03-24 | 2021-03-24 | Document information extraction system and document information extraction method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022148430A true JP2022148430A (en) | 2022-10-06 |
Family
ID=83396663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021050108A Pending JP2022148430A (en) | 2021-03-24 | 2021-03-24 | Document information extraction system and document information extraction method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2022148430A (en) |
WO (1) | WO2022201578A1 (en) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7189068B2 (en) * | 2019-04-05 | 2022-12-13 | 株式会社日立製作所 | MODEL CREATED SUPPORT METHOD AND MODEL CREATED SUPPORT SYSTEM |
-
2021
- 2021-03-24 JP JP2021050108A patent/JP2022148430A/en active Pending
- 2021-08-17 WO PCT/JP2021/029973 patent/WO2022201578A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022201578A1 (en) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11720572B2 (en) | Method and system for content recommendation | |
Neal et al. | Surveying stylometry techniques and applications | |
Hegazi et al. | Preprocessing Arabic text on social media | |
US10713571B2 (en) | Displaying quality of question being asked a question answering system | |
US9483460B2 (en) | Automated formation of specialized dictionaries | |
CN107038158B (en) | Method and apparatus for creating translation corpus, recording medium, and machine translation system | |
Kirsner et al. | Record-based word recognition | |
JP2021518027A (en) | A computer-readable storage medium that stores methods, devices, and instructions for matching semantic text data with tags. | |
US20210209500A1 (en) | Building a complementary model for aggregating topics from textual content | |
US10176889B2 (en) | Segmenting and interpreting a document, and relocating document fragments to corresponding sections | |
US10180935B2 (en) | Identifying multiple languages in a content item | |
Rizvi et al. | Optical character recognition system for Nastalique Urdu-like script languages using supervised learning | |
CN111753082A (en) | Text classification method and device based on comment data, equipment and medium | |
JP2019121139A (en) | Summarizing device, summarizing method, and summarizing program | |
Nasim et al. | Cluster analysis of urdu tweets | |
JP6409071B2 (en) | Sentence sorting method and calculator | |
Scharkow | Content analysis, automatic | |
Liu et al. | Extract Product Features in Chinese Web for Opinion Mining. | |
WO2022201578A1 (en) | Document information extraction system and document information extraction method | |
US20240104303A1 (en) | Research viewpoint presentation system and research viewpoint presentation method | |
US11610062B2 (en) | Label assignment model generation device and label assignment model generation method | |
JP2024530968A (en) | Systems and methods for using text analytics to transform, analyze, and visualize data - Patents.com | |
CN115066679B (en) | Method and system for extracting self-made terms in professional field | |
JP2022050011A (en) | Information processing device and program | |
US20240242026A1 (en) | Synonym determination system and synonym determination method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240820 |