JP2009169844A - Table recognition method and table recognition device - Google Patents

Table recognition method and table recognition device Download PDF

Info

Publication number
JP2009169844A
JP2009169844A JP2008009505A JP2008009505A JP2009169844A JP 2009169844 A JP2009169844 A JP 2009169844A JP 2008009505 A JP2008009505 A JP 2008009505A JP 2008009505 A JP2008009505 A JP 2008009505A JP 2009169844 A JP2009169844 A JP 2009169844A
Authority
JP
Japan
Prior art keywords
item
likelihood
data
relationship
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008009505A
Other languages
Japanese (ja)
Other versions
JP4871889B2 (en
Inventor
Masakazu Fujio
正和 藤尾
Takashi Onoyama
隆 小野山
Akira Nakashige
亮 中重
Katsumi Marukawa
勝美 丸川
Takeshi Eisaki
健 永崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Software Engineering Co Ltd
Original Assignee
Hitachi Software Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Software Engineering Co Ltd filed Critical Hitachi Software Engineering Co Ltd
Priority to JP2008009505A priority Critical patent/JP4871889B2/en
Publication of JP2009169844A publication Critical patent/JP2009169844A/en
Application granted granted Critical
Publication of JP4871889B2 publication Critical patent/JP4871889B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To determine whether a character string in a table is an item or data while solving ambiguity thereof. <P>SOLUTION: The ambiguity of an item or data is solved by the following steps. (1) An item likelihood of each character string is calculated based on a language pattern and a layout pattern. (2) A word co-occurrence likelihood and a layout pattern co-occurrence likelihood are calculated for each combination of labels of vertically and laterally adjacent character strings. (3) A combination of labels is selected wherein the product of the likelihood by (1) and the likelihoods by (2) is the highest. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、表形式データの処理技術に関し、特に表に記載された情報の属性を認識する技術に関する。   The present invention relates to a technology for processing tabular data, and more particularly, to a technology for recognizing attributes of information described in a table.

表形式は、情報を整理してコンパクトに伝えることができるため、様々な文書で用いられている。Ｗｅｂや電子文書の情報検索の世界では、表構造から得られる項目と対象データの関係を用いて、検索の絞込みや質問応答に応用することが提案されている。   The tabular format is used in various documents because it can organize information and convey it in a compact manner. In the world of information retrieval of Web and electronic documents, it has been proposed to apply to retrieval narrowing and question answering using the relationship between items obtained from a table structure and target data.

表の表現方法には様々なものがあり、罫線を使用するものや、スペースだけで表現するものなどがある。また、電子文書では、フォント、太さ、背景色など様々な方法で表現される。   There are various methods for expressing a table, such as those using ruled lines, and those using only spaces. In an electronic document, it is expressed by various methods such as font, thickness, and background color.

紙文書から表形式データの内容を抽出するものとしては、ＯＣＲ帳票認識が挙げられる。ＯＣＲ（Optical Character Reader）における帳票認識方式では、予め読み取り位置が決められている定型帳票を認識対象としているものが多かった。しかし、給与支払報告書やレセプトのように、同じ種類の帳票でも１枚ごとに罫線の本数やセルの位置や大きさなどが微妙に異なる帳票や、登記済通知書のように、項目名がほぼ同じだけで、配置関係も異なる場合がある。このような非定型帳票を認識するために、読取った文字と項目単語辞書との照合による帳票種類判定と組み合わせた帳票認識技術も提案されている（特許文献３）。   An example of extracting the contents of tabular data from a paper document is OCR form recognition. In the form recognition method in OCR (Optical Character Reader), there are many cases in which a fixed form whose reading position is determined in advance is recognized. However, as in the case of a salary payment report or a receipt, even if the same type of form is used, the item name is different from that of a form with a slightly different number of ruled lines, cell positions and sizes, etc. There are cases where the arrangement relationship is different even though it is almost the same. In order to recognize such an atypical form, a form recognition technique combined with a form type determination based on matching between a read character and an item word dictionary has also been proposed (Patent Document 3).

上記方式では、項目名単語辞書を用意し、項目名単語照合に成功した文字列を項目名が記載されたセルと、項目名単語照合に成功しなかった文字列をデータが記載されたセルと判定し、この項目名文字列とデータ文字列との配置関係からデータと項目名の対応づけを行う。これにより、事前レイアウト定義がなくても、非定型な帳票の読み取りを実現している。   In the above method, an item name word dictionary is prepared, and a character string that has been successfully matched with the item name word is written in the cell in which the item name is written, and a character string that is not successfully matched in the item name word is written in the cell in which the data is written. The determination is made, and the data and the item name are associated with each other based on the arrangement relationship between the item name character string and the data character string. As a result, an atypical form can be read without a prior layout definition.

特開２００４−１３９４８４号公報JP 2004-139484 A 特開平９−３１９８２４号公報Japanese Patent Laid-Open No. 9-319824 特開２００７-３２８８２０号公報JP 2007-328820 A

非定型帳票を認識する方法として、レイアウト定義は行わず、項目単語辞書のみを用いる手段が考えられる。すなわち、項目名の標準的な辞書を用意し、セル内文字行と辞書との照合もしくは部分照合により、項目名を判断する。この方法は、認識対象文書の分野が限られており、項目単語辞書が完備な場合にはうまく行くが、対象を拡大した場合には、項目単語辞書の曖昧性による問題が生じる。例えば、項目名やその部分文字列には、データ行にも出現するものがあるため、辞書照合結果のみでは、文字列が、項目かデータかを判別することはできなかった。例えば、総合振込伝票を例にすると、“銀行”と“銀行名”、“金額”と“価格”と“〜費”、“氏名”と“名”等の表記ゆれが存在する。   As a method for recognizing a non-standard form, a means that uses only an item word dictionary without layout definition is conceivable. That is, a standard dictionary of item names is prepared, and the item name is determined by collating the character line in the cell with the dictionary or by partial collation. This method works well when the field of the recognition target document is limited and the item word dictionary is complete, but when the target is expanded, there is a problem due to the ambiguity of the item word dictionary. For example, since some item names and their partial character strings also appear in the data line, it has not been possible to determine whether the character string is an item or data based only on the dictionary matching result. For example, taking a general transfer slip as an example, there are notations such as “bank” and “bank name”, “amount” and “price” and “˜cost”, “name” and “name”.

紙文書の場合、まず画像処理によりセル構造を得るというステップが入るが、表構造の解析における上記課題は、電子・紙文書の表に共通する課題である。   In the case of a paper document, a step of obtaining a cell structure by image processing is first entered. However, the above problem in the analysis of the table structure is a problem common to the tables of electronic and paper documents.

上記課題を解決するため、本発明では、以下のステップで項目名とデータの曖昧性を解消する。
(1) 言語パターンと、レイアウトパターンに基づき、各文字列の項目らしさの尤度を計算する。
(2) 上下、左右の近傍の文字列のラベルの組合せに対し、単語共起尤度と、レイアウトパターン共起尤度を計算する。
(3) 上記(1)による尤度と(2)による尤度の積が最も高くなるような、ラベルの組み合わせを選択する。 In order to solve the above problems, the present invention eliminates the ambiguity between item names and data in the following steps.
(1) Based on the language pattern and layout pattern, the likelihood of the item likelihood of each character string is calculated.
(2) The word co-occurrence likelihood and the layout pattern co-occurrence likelihood are calculated for the combination of the labels of the character strings in the vicinity of the upper, lower, left and right sides.
(3) Select a label combination that maximizes the product of the likelihood according to (1) and the likelihood according to (2).

上記ステップ(1)では、予め用意した項目辞書との照合パターン（完全一致、部分一致、境界一致）により、項目らしさの数値を計算する。また、予め用意した言語パターン辞書との照合により、データらしさの数値を計算する。レイアウトパターンとしては、ハッチングパターンを使うことができる。例えば、縦又は横に連続するセルの背景色もしくはハッチングが途中で変化する場合に、上端又は左端の背景もしくはハッチングを持つセルの項目らしさを高くする。   In the above step (1), the numerical value of the item is calculated based on a collation pattern (complete match, partial match, boundary match) with an item dictionary prepared in advance. Further, the numerical value of the data quality is calculated by collation with a language pattern dictionary prepared in advance. As a layout pattern, a hatching pattern can be used. For example, when the background color or hatching of cells that are continuous vertically or horizontally changes in the middle, the likelihood of the cell having the background or hatching at the top or left end is increased.

ステップ(2)では、隣接文字列ペアが、人手で整備されたオントロージーやシソーラスにおけるIs-A関係（上位・下位概念関係）の場合に、項目−項目関係である尤度を高めに設定し、Has-A関係（部分と全体の関係）に該当する場合に、項目−データ関係である尤度を高めに設定する。また、隣接文字列ペアのレイアウトパターン（背景パターン、セルの太さ、文字の太さ、セルの高さ等）が、変化している場合に項目−データ関係である尤度を高くし、同じ場合に項目−項目関係、データ−データ関係の尤度を高くする。   In step (2), if the adjacent character string pair has an Is-A relationship (superior / subordinate concept relationship) in an ontology or thesaurus maintained manually, the likelihood of the item-item relationship is set higher. When the Has-A relationship (part-to-total relationship) is satisfied, the likelihood of the item-data relationship is set higher. Also, when the layout pattern (background pattern, cell thickness, character thickness, cell height, etc.) of adjacent character string pairs is changing, the likelihood of the item-data relationship is increased and the same In some cases, the likelihood of the item-item relationship and the data-data relationship is increased.

ステップ(3)では、まず、ステップ(1)で得られた尤度を元に、項目とデータのラベルの初期状態を設定し、ステップ(2)の処理で、近傍のラベルとの関係で、可能なラベルのうち尤度の高いラベルに変更する処理を、尤度の上昇が閾値以下になるまで繰り返す。   In step (3), first, based on the likelihood obtained in step (1), the initial state of the label of the item and data is set, and in the process of step (2), in relation to the neighboring label, The process of changing to a label with a high likelihood among the possible labels is repeated until the increase in the likelihood falls below a threshold value.

以上の方法により、文字列自身の項目名らしさと、近傍との関係の尤度を元に、尤もらしい、項目名とデータの組合せ及び関係を選択することができる。   By the above method, it is possible to select a likely combination of item name and data and a relationship based on the likelihood of the item name of the character string itself and the likelihood of the relationship with the neighborhood.

本発明によると、枠あり／枠なし／背景色利用型／スペース型など、様々な表データから項目と値の論理関係を推定し、入力支援、情報抽出に利用することができる。
（１）項目辞書の誤照合による表論理関係解析誤りを軽減できる。
（２）既存の表認識への影響を気にすることなく、項目辞書の追加を行うことができる。
（３）項目単語辞書が不完全な場合でも、項目とデータの認識を高精度で行うことができる。 According to the present invention, the logical relationship between items and values can be estimated from various table data such as with frame / without frame / background color utilization type / space type, and can be used for input support and information extraction.
(1) It is possible to reduce table logic relationship analysis errors due to incorrect collation of item dictionaries.
(2) An item dictionary can be added without worrying about the influence on existing table recognition.
(3) Even when the item word dictionary is incomplete, items and data can be recognized with high accuracy.

本発明は、帳票や一般文書中に含まれる表形式データを対象としている。また、紙をスキャンしてできる電子化文書、Word、Excel、PowerPoint等の電子文書いずれかに限定されるものでもない。   The present invention is directed to tabular data included in a form or a general document. Further, the present invention is not limited to any one of electronic documents such as Word, Excel, PowerPoint, and the like that can be obtained by scanning paper.

≪用語説明≫
本発明において、表とは、枠を含むかどうかにはよらない。図２２に示すような、部分枠型の表２２０１や、スペースのみによる表２２０２、背景色による表２２０３を含む。本発明では、表の各枠に相当する部分を、セルと呼ぶことにする。 ≪Glossary≫
In the present invention, the table does not depend on whether a frame is included. As shown in FIG. 22, a partial frame type table 2201, a table 2202 using only spaces, and a table 2203 using background colors are included. In the present invention, a portion corresponding to each frame of the table is called a cell.

レイアウトパターンとは、表のデザインや形のことを言う。レイアウトパターンには、隣接セルの数の他、背景色、ハッチング、枠色、枠線種、枠線太さ、セルの幅、セル内文字列配置（右寄せ、左寄せ、センタリング）、文字色、文字太さ、文字フォント、文字装飾などがある。   The layout pattern refers to the design and shape of the table. In addition to the number of adjacent cells, the layout pattern includes background color, hatching, frame color, frame line type, frame line thickness, cell width, cell string arrangement (right-aligned, left-aligned, centering), character color, character There are thickness, character font, character decoration, etc.

言語パターンとは、「数値＋“％”」「数値＋“円”」「数値＋“名”」などの単位表現や、「数値＋“年”＋数値＋“月”＋数値＋“日”」などの日付表現などのように、正規表現などで表現された文字列パターンのことを言う。また、人名、組織名、場所、時間、金額など、文字列の種類のことも、広義の言語パターンと呼ぶ。   Language patterns include unit expressions such as “number +“% ”,“ number + “yen”, “number +“ name ””, and “number +“ year ”+ number +“ month ”+ number +“ day ”. A character string pattern expressed by a regular expression such as a date expression such as “”. A character string type such as a person name, an organization name, a place, a time, and an amount of money is also called a language pattern in a broad sense.

≪表の論理関係解析について説明≫
まず最初に、表の論理関係解析について説明する。 ≪Description of logical relation analysis of table≫
First, the logical relationship analysis of the table will be described.

図６は、表形式データ及びその論理関係を示したものである。表６０は、項目名として、学歴６０１、性別６０２、生年月日６０３、卒年６０４、学歴６０５を持ち、それ以外のセルをデータとして持つ。   FIG. 6 shows tabular data and its logical relationship. Table 60 has, as item names, educational background 601, gender 602, date of birth 603, graduation year 604, educational background 605, and other cells as data.

図７は、図６と同じ表に対して、論理関係のみを示したものである。実線の矢印７６〜７８は、項目名とデータ間の対応関係を表す。破線の矢印７９ａ、７９ｂ、７９ｃ、７９ｄ、７９ｅは、同一レコードとしてまとめられるデータの塊を表す。   FIG. 7 shows only the logical relationship with respect to the same table as FIG. Solid arrows 76 to 78 represent the correspondence between item names and data. Dashed arrows 79a, 79b, 79c, 79d, and 79e represent data chunks that are collected as the same record.

関係７６は、卒年７４の親属性が、学歴７１であることを表す。関係７７は、データ７８ａの属性が、卒年７４であることを表す。関係７８は、同一項目データの並列関係を表す。また、矢印７９ｅは、各項目に対応するデータ７８ａ〜７８ｄが、同一レコードとして一塊であることを表す。このように、表中の項目セル（文字列）とデータセル（文字列）を判別し、項目とデータの対応関係を決定することを表の論理関係解析と呼ぶ。このようにして解析された論理関係は、たとえばＸＭＬ形式に変換することで、検索、データ交換、質問応答など、後処理での利便性を高めることができる。   The relationship 76 represents that the parent attribute of the graduation year 74 is the educational background 71. The relation 77 represents that the attribute of the data 78 a is a graduation year 74. The relationship 78 represents the parallel relationship of the same item data. An arrow 79e indicates that the data 78a to 78d corresponding to each item is a single block as the same record. The determination of the item cell (character string) and the data cell (character string) in the table and determining the correspondence between the item and the data in this way is called logical relationship analysis of the table. The logical relationship analyzed in this way can be improved in convenience in post-processing such as search, data exchange, question answering, etc. by converting it into, for example, an XML format.

図８は、図７に示した表の論理関係をＸＭＬ形式で表現したものである。ＸＭＬのタグ８１は、図７の７９ｅのデータをＸＭＬ形式で表現したものである。タグ８３は、項目名７１に対応し、タグ８４は、その子属性である項目名７４に対応する。文字列８０１は、データ７８ａに対応し、それが項目７４に対応づけられていることを表す。また、タグ８５は項目名７２に対応し、対応するデータが文字列８０３、すなわちデータ７８ｃであることを表現している。このように、表の論理関係解析結果は、ＸＭＬ形式で表現できる。   FIG. 8 represents the logical relationship of the table shown in FIG. 7 in the XML format. The XML tag 81 represents the data 79e in FIG. 7 in the XML format. The tag 83 corresponds to the item name 71, and the tag 84 corresponds to the item name 74 that is a child attribute thereof. The character string 801 corresponds to the data 78 a and represents that it is associated with the item 74. The tag 85 corresponds to the item name 72 and represents that the corresponding data is a character string 803, that is, data 78c. Thus, the logical relationship analysis result of the table can be expressed in the XML format.

本発明は、表の論理関係、特に、項目名とデータの対応関係を抽出し、例えば図８のような出力を得る技術に関するものである。   The present invention relates to a technique for extracting a logical relationship between tables, in particular, a correspondence relationship between item names and data, and obtaining an output as shown in FIG. 8, for example.

≪本発明で解決する課題の具体的説明≫
次に、本発明が解決しようとする課題について、具体例を用いて説明する。 << Specific Explanation of Problems to be Solved by the Present Invention >>
Next, problems to be solved by the present invention will be described using specific examples.

図４は、総合振込み伝票の一例を示したものである。従来の表論理関係解析手法では、まず処理対象分野の項目単語辞書を用意する。この例では、少なくとも“銀行名”、“支店名”、“種別”、“口座番号”、“受取人”を持つ必要がある。次に、セル・文字行抽出を行った後、各行の文字列と項目単語辞書の照合を行う。そして項目単語辞書との照合に成功すれば、項目名だと判定する。   FIG. 4 shows an example of a comprehensive transfer slip. In the conventional table-logical relationship analysis method, first, an item word dictionary for a processing target field is prepared. In this example, it is necessary to have at least “bank name”, “branch name”, “type”, “account number”, and “recipient”. Next, after cell / character line extraction is performed, the character string of each line is collated with the item word dictionary. If the collation with the item word dictionary is successful, the item name is determined.

しかし、一般に項目名は、同じ内容でも表記ゆれが存在し、“銀行名”と書かれることもあれば、“銀行”と書かれることもある。そのため、項目単語辞書は、短いほうの文字列“銀行”を持つ必要がある。その結果、データ文字列４２〜４５に項目名が誤照合し、判定を間違ってしまう。すなわち、項目単語辞書だけでは、当該文字列が項目名なのかデータなのかの曖昧性を解消することができない。   However, in general, the item name has a variation in the same content, and may be written as “bank name” or “bank”. Therefore, the item word dictionary needs to have a shorter character string “bank”. As a result, the item names are erroneously collated with the data character strings 42 to 45, and the determination is wrong. That is, the ambiguity as to whether the character string is an item name or data cannot be resolved with only the item word dictionary.

このような課題を解決するために、本発明では、辞書引き結果はあくまで特徴量のひとつとして使用し、自身を含む近傍領域の各種特徴量を用いて、項目らしさとデータらしさを数値化し、この値がなるべく大きくなるように、項目及びデータの組合せ及び関係を決定する。使用する特徴量については、実施例１〜５において具体的に説明する。   In order to solve such a problem, in the present invention, the dictionary lookup result is only used as one of the feature quantities, and various item quantities in the neighborhood area including itself are used to quantify the item-likeness and data-likeness. The combination and relationship of items and data are determined so that the value becomes as large as possible. The feature amount to be used will be specifically described in Examples 1 to 5.

≪表論理関係解析装置の構成≫
図１は、本発明の実施形態の表論理関係解析装置の構成例を示す図である。 ≪Configuration of table logical relation analysis device≫
FIG. 1 is a diagram illustrating a configuration example of a table logical relation analysis apparatus according to an embodiment of the present invention.

表論理関係解析装置１０は、入力手段１１、表示装置１２、ＣＰＵ１３、印刷装置１４、ワークエリア１５、情報保持手段１６を備える。ワークエリア１５には、ＯＳ１５１のほか、認識プログラム（表論理関係解析プログラム）１５３、通信プログラム１５２を備える、もしくは必要に応じて情報保持手段１６からロードされる。情報保持手段１６には、認識プログラム１５３が必要とする各種辞書を備える。   The table logical relationship analysis apparatus 10 includes an input unit 11, a display device 12, a CPU 13, a printing device 14, a work area 15, and an information holding unit 16. In addition to the OS 151, the work area 15 includes a recognition program (table logical relationship analysis program) 153 and a communication program 152, or is loaded from the information holding unit 16 as necessary. The information holding means 16 includes various dictionaries required by the recognition program 153.

入力手段１１の入力装置１１０は、認識プログラム１５３にコマンド等を入力するためのキーボード及びマウス等の装置である。画像入力装置１１１は、紙文書を処理対象とする場合に、表を画像データとして、認識プログラム１５３に入力するためのスキャナ等の装置である。   The input device 110 of the input means 11 is a device such as a keyboard and a mouse for inputting commands and the like to the recognition program 153. The image input device 111 is a device such as a scanner for inputting a table to the recognition program 153 as image data when processing a paper document.

ＯＳ１５１は、入力手段１１、表示装置１２、ＣＰＵ１３、印刷手段１４、通信プログラム１５２、認識プログラム１５３、その他図示しないメモリ、記憶装置の動作を制御する機能を備える。通信プログラム１５２は、処置対象の文書をネットワーク経由で取得するための通信機能を備える。認識プログラム１５３は、画像入力装置１１１によって得られた画像、もしくは通信プログラム１５２によって得られた電子文書から、表領域を抽出し、表の論理関係を解析する機能を備える。   The OS 151 has a function of controlling operations of the input unit 11, display device 12, CPU 13, printing unit 14, communication program 152, recognition program 153, other memory (not shown), and storage device. The communication program 152 has a communication function for acquiring a document to be treated via a network. The recognition program 153 has a function of extracting a table area from an image obtained by the image input device 111 or an electronic document obtained by the communication program 152 and analyzing the logical relationship of the table.

情報保持手段１６が持つ、項目名単語辞書１６１、レイアウトパターン知識辞書１６２、言語パターン知識辞書１６３、レイアウト共起辞書１６４、言語共起辞書１６５は、認識プログラム１５３が表の論理関係を解析する際に参照する辞書データベースである。項目名単語辞書１６１は、項目名を判定する際に参照する辞書であり、項目名の候補となる単語が格納されている。レイアウトパターン知識辞書１６２は、セルのデザイン（背景色、配置、枠線の種類、文字フォント、太さ、サイズ、色）特徴に基づき、項目らしさとデータらしさを数値化した情報を格納する。レイアウトパターン辞書の例を、図５に示す。レイアウトパターン辞書５１０は、各セルのレイアウトパターンと、それに対する項目らしさ、データらしさを数値化した情報を格納する。知識は、パターン事例５１６、その際の対象セル位置５１７、セルのタイプ５１８（項目かデータか）、尤度５１９から構成される。例えば、知識５１１は文字太さに関するレイアウトパターンがある条件を満たすときのセルの項目らしさを格納し、知識５１２は文字フォントに関するパターンがある条件を満たすときのセルの項目らしさを格納し、知識５１３は、文字斜体装飾のパターンがある条件を満たす時のセルの項目らしさを格納している。また、知識５１４は表内に複数罫線があり、その中の一つが太線である場合に、太線の上にあるセルの項目らしさを格納している。言語パターン知識辞書１６３は、図１４の例に示すように、「数字列＋％」「数字＋月＋数字＋日」など、項目らしさあるいはデータらしさを判定するための文字列パターン（正規表現）と、その項目らしさとデータらしさを数値化した情報を格納する。レイアウト共起辞書１６４は、図１７の例に示すように、物理的連接関係にあるセル同士のデザインの組合せ（レイアウト共起）に基づき、項目らしさとデータらしさを数値化した情報を格納する。言語共起辞書１６５は、図１８の例に示すように、物理的連接関係にあるセル同士の言語パターンの組合せ（言語共起）に基づき、項目らしさとデータらしさを数値化した情報を格納する。   The item name word dictionary 161, the layout pattern knowledge dictionary 162, the language pattern knowledge dictionary 163, the layout co-occurrence dictionary 164, and the language co-occurrence dictionary 165 possessed by the information holding means 16 are used when the recognition program 153 analyzes the logical relationship of the table. This is a dictionary database to be referred to. The item name word dictionary 161 is a dictionary that is referred to when determining an item name, and stores words that are candidate item names. The layout pattern knowledge dictionary 162 stores information obtained by quantifying item-likeness and data-likeness based on cell design (background color, arrangement, frame type, character font, thickness, size, color) characteristics. An example of the layout pattern dictionary is shown in FIG. The layout pattern dictionary 510 stores information obtained by quantifying the layout pattern of each cell, item-likeness, and data-likeness for each cell. The knowledge includes a pattern example 516, a target cell position 517 at that time, a cell type 518 (whether it is an item or data), and a likelihood 519. For example, knowledge 511 stores cell item likelihood when a layout pattern related to character thickness satisfies a certain condition, knowledge 512 stores cell item likelihood when a pattern related to character font satisfies a certain condition, and knowledge 513. Stores the item-likeness of the cell when the character-italic decoration pattern satisfies a certain condition. The knowledge 514 stores the item likelihood of the cell above the thick line when there are a plurality of ruled lines in the table and one of them is a thick line. As shown in the example of FIG. 14, the language pattern knowledge dictionary 163 is a character string pattern (regular expression) for determining item-likeness or data-likeness such as “number string +%”, “number + month + number + day”. And information obtained by quantifying the items and data. As shown in the example of FIG. 17, the layout co-occurrence dictionary 164 stores information obtained by quantifying item-likeness and data-likeness based on a combination of designs (layout co-occurrence) between cells that are physically connected. As shown in the example of FIG. 18, the language co-occurrence dictionary 165 stores information obtained by quantifying item-likeness and data-likeness based on a combination of language patterns (language co-occurrence) between cells in a physically connected relationship. .

表示装置１２は、認識プログラム１５３によって表の論理関係が解析された結果を表示するディスプレイ等の装置である。ＣＰＵ１３は、ワークエリア１５内の各種プログラムをロードし、実行するための想定である。印刷装置１４は、認識プログラム１５３による表の論理関係解析結果を出力するための装置である。通信ネットワーク１９は、ネットワークでつながった別の装置上のデータやワークエリア、情報保持手段にアクセスするための装置である。   The display device 12 is a device such as a display that displays the result of analyzing the logical relationship of the table by the recognition program 153. The CPU 13 is assumed to load and execute various programs in the work area 15. The printing device 14 is a device for outputting the logical relationship analysis result of the table by the recognition program 153. The communication network 19 is a device for accessing data, a work area, and information holding means on another device connected via the network.

≪概要・効果≫
次に、本発明の概要と効果について説明する。 <Overview / Effects>
Next, the outline and effects of the present invention will be described.

本発明の前提となる技術は、表論理関係解析において、項目単語辞書との照合により、表中の項目名領域を判定し、データの文字列と項目名文字列の属性を対応付けることである。   The technology that is the premise of the present invention is to determine an item name area in a table by collating with an item word dictionary in table logical relationship analysis, and to associate a character string of data with an attribute of the item name character string.

本発明の概要は、上記の表論理関係解析において、過剰な辞書照合により項目名文字列の判定が誤る場合に、文字列の特徴、文字列セルの特徴、近傍文字列の特徴、近傍セルの特徴を用いて項目名らしさ及びデータらしさを数値化し、この値がなるべく大きくなるように、項目及びデータの組合せ及び関係を決定することである。   The outline of the present invention is that, in the above-described table logical relationship analysis, when the item name character string is erroneously determined due to excessive dictionary matching, character string characteristics, character string cell characteristics, neighboring character string characteristics, neighboring cell The feature is to digitize the likelihood of item names and the likelihood of data, and to determine combinations and relationships of items and data so that these values are as large as possible.

本発明の効果は、辞書照合のみでは項目かデータか曖昧性が残る場合に、その曖昧性を解消することである。   The effect of the present invention is to eliminate the ambiguity when the ambiguity remains between items and data only by dictionary matching.

以下、図を用いて本発明における構造要約機能の実施例を詳細に説明する。   Hereinafter, embodiments of the structure summarizing function in the present invention will be described in detail with reference to the drawings.

≪本発明の表解析フロー≫
本発明では、表の論理関係を解析するため、項目縦（Ｆｖ）、項目横（Ｆｈ）、データ縦横（Ｖｖｈ）、データ縦（Ｖｖ）、データ（Ｖｈ）の５種類のカテゴリを定義し、各セルごとに最適ラベルを選択する問題を考える。例えば、前述した図７の論理関係は、上記ラベルを用いて、図９の表９０のように表現できる。ここで、ラベルＦｘ（ｘはｈ、ｖ、ｖｈのいずれか）は、項目であることを表し、ラベルＶｘは、データであることを表す。また、ラベルＸｖ（ＸはＦ又はＶ）は、下に隣接するセルと論理関係を持つことを表し、ラベルＸｈ（Ｘは、Ｆ又はＶ）は、右方向に隣接するセルと論理関係を持つことを表す。Ｖｖｈは、上及び横の隣接するセルと論理関係を持つことを表す。 << Table analysis flow of the present invention >>
In the present invention, in order to analyze the logical relationship of the table, five types of categories of item vertical (Fv), item horizontal (Fh), data vertical (Vvh), data vertical (Vv), and data (Vh) are defined, Consider the problem of selecting the optimal label for each cell. For example, the logical relationship of FIG. 7 described above can be expressed as shown in Table 90 of FIG. 9 using the label. Here, the label Fx (x is any one of h, v, and vh) represents an item, and the label Vx represents data. Further, the label Xv (X is F or V) indicates that it has a logical relationship with a cell adjacent below, and the label Xh (X is F or V) has a logical relationship with a cell adjacent in the right direction. Represents that. Vvh represents a logical relationship with the upper and side adjacent cells.

図９において、ラベル９１０は学歴７１のラベルを表す。学歴７１は項目名であり、その下方に隣接するセル、卒年７４、学歴７５と論理関係（項目階層関係）を持つため、ラベルＦｖで表現される。ラベル９１１は、性別７２のラベルを表す。性別７２は項目名であり、その下方に隣接するセルと論理関係（項目−データ関係）を持つため、ラベルＦｖで表現される。ラベル９１３は、卒年７４のラベルを表す。卒年７４は、項目名であり、下方に隣接するセルと論理関係（項目−データ関係）を持つため、ラベルＦｖを持つ。ラベル９２０は、文字列７７１のラベルを表す。文字列７７１は、データであり、下方に隣接するセルと論理関係（データの繰り返し）を持つため、ラベルＶｖで表現される。以上のように、表の論理関係が決まると、対応するラベルを一意に決定することができる。逆に、ラベルが決まると、論理関係が一意に決まる。以下の処理フローならびに実施例では、このラベルを決定する処理について説明する。   In FIG. 9, a label 910 represents a label of educational background 71. The educational background 71 is an item name, and is expressed by a label Fv because it has a logical relationship (item hierarchical relationship) with the cell, the graduation 74, and the educational background 75 that are adjacent below. A label 911 represents a gender 72 label. The gender 72 is an item name and has a logical relationship (item-data relationship) with an adjacent cell below the item name, and thus is represented by a label Fv. A label 913 represents a label for a graduate 74. The graduation year 74 is an item name, and has a label Fv because it has a logical relationship (item-data relationship) with a cell adjacent below. A label 920 represents a label of the character string 771. Since the character string 771 is data and has a logical relationship (repetition of data) with the cell adjacent below, it is represented by a label Vv. As described above, when the logical relationship of the table is determined, the corresponding label can be uniquely determined. Conversely, when the label is determined, the logical relationship is uniquely determined. In the following processing flow and examples, processing for determining this label will be described.

図３は、本発明の実施形態の表構造解析装置１０によって実行される表の論理関係解析処理の概要を示すフローチャートである。   FIG. 3 is a flowchart showing an outline of a table logical relationship analysis process executed by the table structure analyzing apparatus 10 according to the embodiment of the present invention.

セル・文字行抽出（Ｓ３１）において、入力された文書から文字行を抽出する。本発明で文字行とは、項目名ないしはデータの判定を行うための単位であり、セルもしくはスペースにより明確に区切られた、文字の塊を表すものとする。次に、項目名文字列照合（Ｓ３２）により、予め登録された項目名単語辞書と照合し、照合パターン（部分一致、完全一致）を記録する。次に、項目名照合度計算（Ｓ３３）により、照合パターン（完全一致、部分一致か）によって、項目らしさ（すなわちＦｘ、Ｖｘの各尤度）を計算する。実際の計算方法については、実施例１で述べる。   In the cell / character line extraction (S31), a character line is extracted from the input document. In the present invention, a character line is a unit for determining an item name or data, and represents a lump of characters clearly delimited by cells or spaces. Next, it collates with the item name word dictionary registered beforehand by item name character string collation (S32), and a collation pattern (partial coincidence, complete coincidence) is recorded. Next, item likelihood (that is, likelihood of each of Fx and Vx) is calculated by the item name matching degree calculation (S33) according to the matching pattern (whether perfect match or partial match). The actual calculation method will be described in the first embodiment.

次に、項目・データ尤度計算（Ｓ３４）により、処理対象の文字列もしくは文字列が含まれるセルの項目らしさ（Ｆｘ、Ｖｘの各尤度）を計算する。Ｆｘ、Ｖｘの尤度は、レイアウトパターン及び言語パターンに基づいて計算する。例えば、文字の太さ、セルの背景色、割付、インデント等のレイアウトパターンや、「数字列＋％」、「数字＋月＋数字＋日」など、言語パターンを用いることができる。実際の計算方法については、実施例２で述べる。   Next, the item likelihood (Fx, Vx likelihood) of the cell including the character string to be processed or the character string is calculated by item / data likelihood calculation (S34). The likelihood of Fx and Vx is calculated based on the layout pattern and the language pattern. For example, a layout pattern such as character thickness, cell background color, assignment, indentation, or the like, or a language pattern such as “number string +%”, “number + month + number + day” can be used. The actual calculation method will be described in the second embodiment.

次に、関係尤度計算（Ｓ３５）により、処理対象のセルと隣接セルとの関係の確からしさを計算する。例えば、図７において、項目７１と７４の関係７６について考える。この場合、ますレイアウトパターンに着目すると、項目７１のセルは、項目７４のセルを包含する関係にあり、項目が階層関係にある可能性が高い（すなわち項目７１のラベルはＦｖ）。また、言語パターンに着目すると、“学歴”という単語は“卒年”という単語の上位概念であると考えられる。これは、概念辞書などを用いることによって判断できる。従って、レイアウトパターン、言語パターン両方の観点から、項目７１と項目７４の関係は確からしいと言うことができる。仮に、項目７１のラベルがＦｈであるとした場合、項目７１のセルが項目７２のセルに含まれるため、確からしさが下がる。また、“学歴”が“性別”の上位概念にあると仮定することになり、やはり確からしさが下がる。以上のように、レイアウトパターンと言語パターンに着目することにより、関係の確からしさを調べることができる。関係の確からしさを計算する方法については、実施例３で述べる。   Next, the likelihood of the relationship between the cell to be processed and the adjacent cell is calculated by relationship likelihood calculation (S35). For example, consider the relationship 76 between items 71 and 74 in FIG. In this case, paying attention to the layout pattern, the cell of the item 71 is in a relationship including the cell of the item 74, and there is a high possibility that the item has a hierarchical relationship (that is, the label of the item 71 is Fv). Focusing on language patterns, the word “education” is considered to be a superordinate concept of the word “graduation”. This can be determined by using a concept dictionary or the like. Therefore, it can be said that the relationship between the item 71 and the item 74 is probable from the viewpoint of both the layout pattern and the language pattern. If the label of the item 71 is Fh, since the cell of the item 71 is included in the cell of the item 72, the probability decreases. In addition, it is assumed that “education” is a superordinate concept of “gender”, which also reduces the certainty. As described above, by paying attention to the layout pattern and the language pattern, the probability of the relationship can be examined. A method for calculating the probability of the relationship will be described in Example 3.

次に、最適解候補探索（Ｓ３６）により、各文字列に付与するラベルの適切な組合せを探索する。項目・データ尤度計算（Ｓ３４）、関係尤度計算（Ｓ３５）の計算結果の全体統合尤度が大きくなる組合せを選択する必要がある。全ての組合せの全解探索は、セルの数の指数オーダで増加するため、ビームサーチなどの近似解探索の工夫が必要となる。本発明では、処理効率を考慮し、Markov Random Field（Patrick Perez, Markov Random Fields and Images, CWI Quarterly,Vol11(4), pp.413-437,1998）と組み合わせた方法について説明する。詳細については、実施例４で述べる。   Next, an appropriate combination of labels to be assigned to each character string is searched by the optimum solution candidate search (S36). It is necessary to select a combination that increases the overall integrated likelihood of the calculation results of the item / data likelihood calculation (S34) and the relationship likelihood calculation (S35). Since the total solution search for all combinations increases in an exponential order of the number of cells, it is necessary to devise an approximate solution search such as a beam search. In the present invention, a method combined with Markov Random Field (Patrick Perez, Markov Random Fields and Images, CWI Quarterly, Vol 11 (4), pp. 413-437, 1998) will be described in consideration of processing efficiency. Details are described in Example 4.

≪ラベル尤度計算方法≫
ラベル尤度とは、項目らしさ、データらしさの程度の数値を表すものとする。確率モデルを用いる場合は、項目の確率＝項目の尤度である。 ≪Label likelihood calculation method≫
The label likelihood represents a numerical value of item-likeness and data-likeness. When the probability model is used, the item probability = the item likelihood.

以下、項目名照合度計算（Ｓ３３）について、具体的な実施例を用いて説明する。   Hereinafter, the item name matching degree calculation (S33) will be described using a specific example.

（実施例１：項目名照合度による項目らしさの計算）
図１０に、各文字行と辞書エントリの照合パターンの例を示す。項目辞書１０１は、図３の処理フローで参照される項目名単語辞書１６１と同じものである。単語リスト１０２は、登録されている単語の一例を示す。照合事例テーブル１０３は、文字行と辞書照合結果のパターンとその尤度を示したものである。事例１０３１は、文字行“銀行名”の照合パターンを表す。この場合、単語リスト１０２中の単語と完全マッチするため、高い尤度が適当と考えられる。事例１０３２は、文字行“×××銀行”の照合パターンを表す。この場合、単語リスト１０２中の単語と右端が一致する形で文字行中に完全に含まれる。この場合、事例１０３１の完全一致ほどではないが、項目名の可能性が高い。事例１０３３は、文字行“○○価格（××）”の照合パターンを表す。この場合、単語リスト１０２中の“価格”が部分一致する。ただし、“価格”の右隣接文字が記号“（”であるため、右境界一致とする。この場合、事例１０３１の完全一致ほどではないが、項目名の可能性が高い。最後に、事例１０３４は、文字列“単価（△）”の照合パターンを表す。この場合、単語リスト１０２中の“単価”が部分一致する。ただし、“単価”の左端が一致し、右隣接文字が記号“（”であるため、項目名の可能性が高い。 (Example 1: Calculation of item likelihood by item name matching degree)
FIG. 10 shows an example of the collation pattern of each character line and dictionary entry. The item dictionary 101 is the same as the item name word dictionary 161 referred to in the processing flow of FIG. The word list 102 shows an example of registered words. The collation case table 103 shows patterns of character lines and dictionary collation results and their likelihoods. Case 1031 represents a matching pattern of the character line “bank name”. In this case, since the word in the word list 102 is completely matched, a high likelihood is considered appropriate. Case 1032 represents a collation pattern of the character line “xxx bank”. In this case, the word line 102 is completely included in the character line so that the right end of the word matches the word in the word list 102. In this case, there is a high possibility of an item name, although it is not as perfect as the case 1031. A case 1033 represents a collation pattern of the character line “XX price (xxx)”. In this case, “price” in the word list 102 partially matches. However, since the right adjacent character of “price” is the symbol “(”, it is the right boundary match. In this case, although it is not as complete match as the case 1031, the possibility of the item name is high. Represents a matching pattern of the character string “unit price (Δ).” In this case, “unit price” in the word list 102 partially matches, but the left end of “unit price” matches and the right adjacent character is the symbol “( ", The possibility of an item name is high.

以上のように、項目単語辞書単語との照合パターンにより、項目名らしさを定義することができる。尤度１０３５〜１０３８の値は、以上に述べた項目名らしさを反映する形で、人手で与えることも可能である。また、処理対象分野の正解データを用意し、以下の計算式により計算してもよい。
文字列照合パターンによる尤度（LstrMatch(xi)）＝項目名の頻度数÷各パターンの帳票全体での頻度 …(1) As described above, the likelihood of an item name can be defined by a matching pattern with an item word dictionary word. The values of the likelihoods 1035 to 1038 can be manually given in a form that reflects the likelihood of the item names described above. Alternatively, correct data in the field to be processed may be prepared and calculated using the following calculation formula.
Likelihood by character string matching pattern (LstrMatch (x i )) = Frequency of item name ÷ Frequency of each pattern for the entire form… (1)

式(1)について、図４の例で説明する。今、項目単語辞書中に、“銀行”という単語が含まれる場合を考える。このとき、図４の例では、“銀行”にマッチするセルが、５個ある。このうち、項目名であった頻度は１である。従って、LstrMatch(“銀行”)＝１／５＝０．２と計算される。実際には帳票サンプル全体の合計数で計算する。   Equation (1) will be described with reference to the example of FIG. Consider a case where the word “bank” is included in the item word dictionary. At this time, in the example of FIG. 4, there are five cells that match “bank”. Of these, the frequency of the item name is 1. Therefore, LstrMatch (“bank”) = 1/5 = 0.2 is calculated. Actually, it is calculated by the total number of all form samples.

次に、項目・データ尤度計算（Ｓ３４）について、具体的な実施例を用いて説明する。下記実施例２ａ〜２dで決定される尤度は、近傍のラベルとは無関係に計算される尤度である。後で式(7)に示すように、使用する各属性の尤度の積により、項目・データ尤度計算（Ｓ３４）の統合尤度が計算できる。また、以下の特徴は全て使用しても、使用する特徴をユーザが指定してもよい。   Next, the item / data likelihood calculation (S34) will be described using a specific embodiment. The likelihood determined in the following Examples 2a to 2d is a likelihood calculated regardless of the neighboring label. As shown later in Expression (7), the integrated likelihood of the item / data likelihood calculation (S34) can be calculated by the product of the likelihood of each attribute to be used. Further, all the following features may be used, or the user may specify the features to be used.

（実施例２ａ：背景パターンによる尤度計算）
項目・データ尤度計算（Ｓ３４）において、縦方向に連続するセルの背景色もしくはハッチングパターンが、その下に隣接するセルの背景色もしくはハッチングパターンと異なる場合、その最上段側に連続するセル内の文字列が、項目名の可能性が高いと判断できる。この処理は、横方向に同じ高さのセルが繰返し連続している場合にも同様に実行できる。 (Example 2a: Likelihood calculation based on background pattern)
In the item / data likelihood calculation (S34), if the background color or hatching pattern of a cell that is continuous in the vertical direction is different from the background color or hatching pattern of the cell that is adjacent to it, It can be determined that the character string is highly likely to be an item name. This process can be executed in the same manner even when cells having the same height are continuously repeated in the horizontal direction.

図１１の表の例では、左端の文字列“趣味”、“学歴”、が全てハッチングを持ち、“趣味”の隣接セルがハッチングを持たないため、“趣味”、“学歴”が項目名の可能性が高いと判断できる。加えて、その他の文字列“高校”、“専門／大学”、“その他”や、“職業”、“年収”、“貯蓄額”が、同じハッチングパターンを持っているため、項目名の可能性が高いと推測できる。レイアウトパターンに基づく尤度は、例えば以下の計算式により算出できる。
レイアウトパターンによる尤度（LlayoutMatch(xi)）＝項目名の頻度数÷パターンの頻度 …(2) In the example of the table of FIG. 11, since the leftmost character strings “hobby” and “education” all have hatching, and the adjacent cells of “hobby” do not have hatching, “hobby” and “education” have item names. It can be judged that the possibility is high. In addition, other character strings “high school”, “professional / university”, “other”, “profession”, “annual income”, and “savings” have the same hatching pattern, so the possibility of item names Can be estimated. The likelihood based on the layout pattern can be calculated by the following calculation formula, for example.
Likelihood by layout pattern (LlayoutMatch (x i )) = Frequency of item name ÷ Frequency of pattern… (2)

式(2)について、図１１の例で説明する。図１１の例では、ハッチングを持つセルが８回現われている。それに対し、実際項目名であったのは８回である。従って、Llayoutmatch(“ハッチング”)＝８／８＝１と計算される。実際には帳票サンプル全体の合計数で計算する。   Equation (2) will be described with reference to the example of FIG. In the example of FIG. 11, cells with hatching appear eight times. On the other hand, the actual item name was 8 times. Therefore, Llayoutmatch (“hatching”) = 8/8 = 1 is calculated. Actually, it is calculated by the total number of all form samples.

（実施例２ｂ：文字スタイル）
項目・データ尤度計算（Ｓ３４）において、縦方向に同じ幅のセルが繰返し接続している場合に、繰返しの最上段のセル内の文字の太さと下側のセル内の文字の太さが異なる場合に、その最上段のセル内の文字列が、項目名の可能性が高いと判断する。この処理は、太さ以外の文字のスタイル（フォント、斜体、下線等）についても適用できる。また、この処理は、横方向に同じ高さのセルが繰返し接続している場合にも同様に実行できる。 (Example 2b: Character style)
In the item / data likelihood calculation (S34), when cells having the same width are repeatedly connected in the vertical direction, the thickness of the character in the uppermost cell of the repetition and the thickness of the character in the lower cell are determined. If they are different, it is determined that the character string in the uppermost cell has a high possibility of an item name. This processing can also be applied to character styles other than thickness (font, italic, underline, etc.). This process can also be executed in the same manner when cells having the same height are repeatedly connected in the horizontal direction.

図１２の表の例では、上側の項目、“学歴”、“性別”、“生年月日”、“卒年”が他の文字列よりも太く、項目名の可能性が高いと判断できる。   In the example of the table of FIG. 12, the upper items, “educational background”, “sex”, “birth date”, and “graduated year” are thicker than other character strings, and it can be determined that the possibility of the item name is high.

本特徴による尤度は、人手で与えるか、式(2)により計算できる。   The likelihood of this feature can be given manually or calculated by equation (2).

（実施例２ｃ：線幅）
項目・データ尤度計算（Ｓ３４）において、縦方向に同じ幅のセルが繰り返し接続している場合に、繰返しの最上段のセルの下側の罫線が太く、その他の罫線の太さが細い場合に、その最上段のセル内の文字列が、項目名の可能性が高いと判断する。この処理は、横方向に同じ高さのセルが繰返し連続している場合にも同様に実行できる。 (Example 2c: line width)
In the item / data likelihood calculation (S34), when cells of the same width are repeatedly connected in the vertical direction, the ruled line below the uppermost cell of the repeat is thick and the thickness of other ruled lines is thin In addition, it is determined that the character string in the uppermost cell is highly likely to be an item name. This process can be executed in the same manner even when cells having the same height are continuously repeated in the horizontal direction.

図１３の表の例では、上側の項目、“学校”、“卒年”、“性別”、“生年月日”の下側罫線のみが太く、これらの文字列は項目名の可能性が高いと判断できる。   In the example of the table of FIG. 13, only the lower ruled lines of the upper item, “school”, “graduation”, “gender”, and “birth date” are thick, and these character strings have a high possibility of item names. It can be judged.

本特徴による尤度は、人手で与えるか、式(2)により計算できる。   The likelihood of this feature can be given manually or calculated by equation (2).

（実施例２ｄ：言語パターンによる尤度計算）
項目・データ尤度計算（Ｓ３４）において、処理対象文字列が、言語パターン知識辞書１６３に定義済みのパターンにマッチする時、パターンごとに定義される項目らしさの値を付与する。 (Example 2d: Likelihood calculation by language pattern)
In the item / data likelihood calculation (S34), when the character string to be processed matches a pattern already defined in the language pattern knowledge dictionary 163, an item-like value defined for each pattern is given.

図１４は、言語パターン知識辞書のエントリ例を示す。エントリ１４１１は、文字列が数字と記号だけで表現される場合を表す。この場合、データである可能性が高い。図４の表の例では、文字列４６が、これに相当する。エントリ１４１２は、“３０名”、“２０％”、“１，０００円”などの単位表現を表す。この場合、データである可能性が高い。図１５の例では、文字列１５１２が、これに相当する。エントリ１４１３は、年月日表現を表す。この場合、データである可能性が高い。図６では、文字列６１１〜６１５が、これに相当する。エントリ１４１４は、別の年月日表現を表す。この場合、データの可能性が高いが、スケジュール表などの場合は項目の可能性が高い。例えば、図１５の例では、本来項目である文字列１５１１に、エントリ１４１４のパターンがマッチする。従って、データらしさの尤度は相対的に低めに設定してある。   FIG. 14 shows an example of entries in the language pattern knowledge dictionary. An entry 1411 represents a case where a character string is expressed only by numbers and symbols. In this case, there is a high possibility of data. In the example of the table of FIG. 4, the character string 46 corresponds to this. The entry 1412 represents a unit expression such as “30 names”, “20%”, “1,000 yen”. In this case, there is a high possibility of data. In the example of FIG. 15, the character string 1512 corresponds to this. An entry 1413 represents a date representation. In this case, there is a high possibility of data. In FIG. 6, the character strings 611 to 615 correspond to this. An entry 1414 represents another date representation. In this case, the possibility of data is high, but in the case of a schedule table or the like, the possibility of items is high. For example, in the example of FIG. 15, the pattern of the entry 1414 matches the character string 1511 that is the original item. Therefore, the likelihood of data likelihood is set relatively low.

また、言語パターンとレイアウトパターンの組あわせごとに、尤度を定義してもよい。例えば、エントリ１４１５では、最上セルもしくは最左セルにあり、言語パターンがエントリ１４１４と照合する場合に、項目の尤度を高く設定している。   The likelihood may be defined for each combination of language pattern and layout pattern. For example, in the entry 1415, the likelihood of the item is set to be high when the language pattern matches the entry 1414 in the uppermost cell or the leftmost cell.

エントリ１４１６では、上下又は左右の隣接セルが同じパターンを持つ場合に、日付の連続性が保たれていなければ、データの尤度を高く設定している。図１６の表の例では、文字列１６１１、１６１２、１６１３が、このパターンに該当する。   In the entry 1416, when the upper and lower or left and right adjacent cells have the same pattern, if the continuity of the date is not maintained, the data likelihood is set high. In the example of the table of FIG. 16, character strings 1611, 1612, and 1613 correspond to this pattern.

本特徴量により計算される尤度を、以降、LstrpatMatch(xi)と表現するものとする。 The likelihood calculated by this feature quantity is hereinafter expressed as LstrpatMatch (x i ).

以上、レイアウトパターン、言語パターンにより決定される各文字列のＦｘ、Ｖｘ尤度（項目らしさ、データらしさの尤度）を組み合わせて用いることで、各文字列の項目らしさを総合的に判断し、項目かデータかの曖昧性を解消することができる。   As described above, by combining the Fx and Vx likelihoods (likeness of items, likelihood of dataness) of each character string determined by the layout pattern and language pattern, it is possible to comprehensively determine the item likeness of each character string, The ambiguity between items and data can be resolved.

実施例１、２では、項目単語辞書、レイアウトパターン、言語パターンによる尤度計算方法について説明した。しかし、各知識辞書により示される結果は相反する場合もありうる。その場合は、どの特徴による尤度が大きいか、また、どの特徴を重要視するかによって総合的に判断される。例えば、全ての特徴による値の掛け算により、項目らしさ、データらしさを総合的に計算することができる。以下の例では、式(7)において、そのような計算を行っている。   In the first and second embodiments, the likelihood calculation method using the item word dictionary, the layout pattern, and the language pattern has been described. However, the results shown by each knowledge dictionary may conflict. In that case, a comprehensive determination is made according to which feature has a high likelihood and which feature is important. For example, the item-likeness and the data-likeness can be calculated comprehensively by multiplying values by all the features. In the following example, such calculation is performed in Equation (7).

≪関係の確からしさの計算≫
以下、関係尤度計算（Ｓ３５）について、具体的な実施例を用いて説明する。下記実施例３ａ〜３ｅで決定される尤度は、近傍のラベルに依存して決まる尤度である。 ≪Calculation of certainty of relationship≫
Hereinafter, the relationship likelihood calculation (S35) will be described using a specific example. The likelihood determined in the following Examples 3a to 3e is a likelihood determined depending on neighboring labels.

（実施例３ａ：レイアウト共起辞書）
図１７に、隣接するセル同士のレイアウトパターンと、論理関係別の尤度を示す。これは、図３のレイアウト共起辞書１６４の一例である。テーブル１７０は、特徴量として、接続方向（縦あるいは横）１７０４、接触罫線の種類１７０５、接触罫線の太さ１７０６を用い、接続関係（２つの文字列のラベル（Ｆｘ、Ｖｘ）の組合せ）別に、関係尤度を定義している。 (Example 3a: Layout co-occurrence dictionary)
FIG. 17 shows the layout pattern between adjacent cells and the likelihood for each logical relationship. This is an example of the layout co-occurrence dictionary 164 of FIG. The table 170 uses the connection direction (vertical or horizontal) 1704, the type of contact ruled line 1705, and the thickness of the contact ruled line 1706 as feature quantities, and is classified by connection relation (combination of two character string labels (Fx, Vx)). Defines the relationship likelihood.

定義１７０１は、横方向に隣接関係を持ち、かつ太い実線で区切られた場合に、各文字列のラベルが、項目−項目（Ｆ−Ｆ）、項目‐値（Ｆ−Ｖ）、項目‐項目（Ｖ−Ｖ）である場合の尤度を示している。図１５の表の例では、文字列１５２１と文字列１５２２の関係が当てはまる。この場合、太線によりラベルの種類が変わることを示している場合が多いため、ラベルの種類の異なる項目−値（Ｆ−Ｖ）の関係の尤度が高くなっている。   The definition 1701 has an adjacency relationship in the horizontal direction and when each character string label is separated by a thick solid line, the label of each character string is item-item (FF), item-value (F-V), item-item. The likelihood in the case of (V−V) is shown. In the example of the table of FIG. 15, the relationship between the character string 1521 and the character string 1522 is applicable. In this case, since the label type is often changed by a bold line, the likelihood of the item-value (F-V) relationship with different label type is high.

定義１７０２は、縦方向に隣接関係を持ち、かつ破線で区切られた場合に、各文字列のラベルが、項目−項目（Ｆ−Ｆ）、項目‐値（Ｆ−Ｖ）、項目‐項目（Ｖ−Ｖ）である場合の尤度を示している。図１９の例では、文字列１９０１と文字列１９０２の関係や、文字列１９１１と文字列１９１２の関係が、これに該当する。破線で区切られた関係は、同種ラベルの連続である場合が多いため、ラベルの種類が等しい、項目−項目（Ｆ−Ｆ）、値−値（Ｖ−Ｖ）の関係の尤度が高くなっている。   In the definition 1702, when there is an adjacent relationship in the vertical direction and each character string label is separated by a broken line, the label of each character string is item-item (FF), item-value (F-V), item-item ( The likelihood in the case of VV) is shown. In the example of FIG. 19, the relationship between the character string 1901 and the character string 1902 and the relationship between the character string 1911 and the character string 1912 correspond to this. Since the relationship delimited by the broken line is often a continuation of the same kind of labels, the likelihood of the item-item (FF) and value-value (V-V) relationship with the same label type is increased. ing.

これらの尤度は、処理対象分野の正解サンプルを用いて、以下の式で計算できる
関係パターン尤度(LrelLayout(xi,xj))＝各関係の頻度÷各パターンの全体頻度 …(3) These likelihoods can be calculated by the following formula using correct samples in the subject field to be processed. Relationship likelihood (LrelLayout (x i , x j )) = frequency of each relationship ÷ overall frequency of each pattern (3 )

式(3)について、図１９の例で説明する。縦方向の隣接セル間の枠線の種別（破線）が破線の場合を考える。図１９に示した表１９０の例では、このような隣接関係が、３０回現われている。そのうち、値−値（Ｖ−Ｖ）関係のものは、３０回である。従って、LrelLayout（“破線枠”）＝３０／３０＝１と計算される。実際には帳票サンプル全体の合計数で計算する。   Equation (3) will be described with reference to the example of FIG. Consider a case where the type (broken line) of the frame line between adjacent cells in the vertical direction is a broken line. In the example of Table 190 shown in FIG. 19, such an adjacent relationship appears 30 times. Among them, the value-value (V-V) relation is 30 times. Accordingly, LrelLayout (“broken line frame”) = 30/30 = 1 is calculated. Actually, it is calculated by the total number of all form samples.

テーブル１７１は、特徴量として、割付方向１７０４，１７０５、セルの幅１７０６、背景色１７０７を用い、接続関係（２つの文字列のラベル（Ｆｘ、Ｖｘ）の組合せ）別に、関係尤度を定義している。   The table 171 uses the allocation directions 1704 and 1705, the cell width 1706, and the background color 1707 as features, and defines the relationship likelihood for each connection relationship (combination of two character string labels (Fx, Vx)). ing.

定義１７１１は、横（縦）方向に隣接関係を持ち、かつ左（上）のセルの文字列が右詰め、右のセルの文字列が左詰めで、セル背景色が同じ場合の、各関係の尤度を表している。この場合、割付のパターンが変化し、かついずれもセンタリングではないので、両方データである可能性が高いが、セルの背景色が同じであるため、両方項目である可能性も高い。よって、Ｆ−Ｆ及び、Ｖ−Ｖの関係の尤度が高くなっている。図２０の表２００の例では、セル２００１内の文字列とセル２００２内の文字列の関係が、このパターンに該当する。   Definition 1711 has each relationship when there is an adjacency relationship in the horizontal (vertical) direction, and the character string of the left (upper) cell is right justified, the character string of the right cell is left justified, and the cell background color is the same. Represents the likelihood of. In this case, since the allocation pattern changes and neither is centering, there is a high possibility that both are data, but since the background color of the cells is the same, there is a high possibility that both are items. Therefore, the likelihood of the relationship between FF and VV is high. In the example of the table 200 in FIG. 20, the relationship between the character string in the cell 2001 and the character string in the cell 2002 corresponds to this pattern.

定義１７１２は、横（縦）方向に隣接関係を持ち、かつ左（上）のセルの文字列がセンタリングされており、右側の文字列がセンタリングされておらず、セル背景色が異なる場合の、各関係の尤度を表している。この場合、左（上）のセルの文字列が項目名であり、右（下）のセルの文字列が値である可能性が高い。図１１の表の例では、セル１１０５内の文字列とセル１１０６内の文字列が、このパターンに該当する。
これらの尤度は、式(3)により同様に計算できる。 The definition 1712 has an adjacency relationship in the horizontal (vertical) direction, the left (upper) cell character string is centered, the right character string is not centered, and the cell background color is different. It represents the likelihood of each relationship. In this case, the character string in the left (upper) cell is an item name, and the character string in the right (lower) cell is highly likely to be a value. In the example of the table of FIG. 11, the character string in the cell 1105 and the character string in the cell 1106 correspond to this pattern.
These likelihoods can be calculated in the same manner using Equation (3).

（実施例３ｂ：言語共起辞書）
図１８に、隣接するセル同士の言語特徴と、関係尤度の定義例を示す。これは、図３の言語共起辞書１６５の一例である。テーブル１８０は、特徴量として、左（上）のセルの文字列の項目種別１８０４、右（下）のセルの言語パターン／固有表現カテゴリ１８０５を用いて、接続関係（２つの文字列のラベル（Ｆｘ、Ｖｘ）の組合せ）１８０６別に、関係尤度１８０７を定義している。図１８では、最も尤度が高い関係以外は省略している。 (Example 3b: Language co-occurrence dictionary)
FIG. 18 shows a definition example of language features and relationship likelihood between adjacent cells. This is an example of the language co-occurrence dictionary 165 of FIG. The table 180 uses the item type 1804 of the character string of the left (upper) cell and the language pattern / specific expression category 1805 of the right (lower) cell as the feature amount, and uses the connection relationship (labels of two character strings ( For each combination 1806 of Fx, Vx), a relationship likelihood 1807 is defined. In FIG. 18, other than the relationship with the highest likelihood is omitted.

定義１８０１は、左（上）側のセルの文字列が、“誕生日”、“生年月日”、“発効日”等の日付項目に類し、右（下）側のセルの文字列が日付表現である場合の、項目−値（Ｆ−Ｖ）関係の尤度を表している。日付表現は、「数値表現＋“年”＋数値表現＋“月”＋数値表現＋“日”」等の正規表現を整備することで判定できる。定義１８０１において、Ｆ−Ｖの値が０．９であり、Ｆ−Ｆの値が０．０であるということは、あるセルの言語パターンが日付表現を表し、その周囲に“誕生日”、“生年月日”等の日付項目表現があれば、その二つのセルが項目と値という論理関係で強く結びつくことを表わしている。   In the definition 1801, the left (upper) cell character string is similar to date items such as “birthday”, “birth date”, “effective date”, and the right (lower) cell character string is It represents the likelihood of the item-value (FV) relationship in the case of date expression. The date expression can be determined by preparing a regular expression such as “numeric expression +“ year ”+ numerical expression +“ month ”+ numerical expression +“ day ”. In the definition 1801, the value of FV is 0.9 and the value of FF is 0.0, which means that the language pattern of a certain cell represents a date expression, and “birthday” around it. If there is a date item expression such as “birth date”, it indicates that the two cells are strongly connected by a logical relationship between the item and the value.

同様に、定義１８０２は、左（上）側のセルの文字列が、“現住所”、“緊急連絡先”等の住所項目に類し、右（下）側のセルの文字列が住所表現である場合の、項目−値（Ｆ−Ｖ）関係の尤度を表している。住所表現は、住所データベースを用いることで判定できる。定義１８０２において、Ｆ−Ｖの値が０．９であり、Ｆ−Ｆの値が０．０であるということは、住所項目を持つセルと、住所表現の言語パターンを持つセルが隣接関係にあれば、その二つが強く結びつくことを表している。   Similarly, in the definition 1802, the character string of the left (upper) cell is similar to an address item such as “current address” or “emergency contact”, and the character string of the right (lower) cell is an address expression. The likelihood of the item-value (FV) relationship in a case is shown. Address representation can be determined by using an address database. In the definition 1802, the value of FV is 0.9 and the value of FF is 0.0. This means that a cell having an address item and a cell having a language pattern of address expression are adjacent to each other. If there is, it means that the two are strongly connected.

同様に、定義１８０３は、“取引先”という文字列と組織名表現の関係、定義１８０４は“価格”と金額表現の関係、定義１８０５は“受取人”と人名表現の関係、定義１８０６は“手数料”と金額表現の関係の強さを定義している。以上の定義では、各文字列が、人名表現か、組織名表現か、場所表現か、金額表現か、といった種別を判別する必要がある。このように、文字列を切り出し、種別を判別する技術を固有表現抽出という。これには、『工藤拓、松本裕治、「チャンキングの段階適用による日本語係り受け解析」、情報処理学会論文誌、Vol.43、No.6、pp.1834-1842』による方法を用いることができる。   Similarly, the definition 1803 is the relationship between the character string “business partner” and the organization name expression, the definition 1804 is the relationship between “price” and the amount expression, the definition 1805 is the relationship between “recipient” and the person name expression, and the definition 1806 is “ Defines the strength of the relationship between “fee” and monetary expression. In the above definition, it is necessary to determine whether each character string is a personal name expression, an organization name expression, a place expression, or a monetary expression. A technique for cutting out a character string and discriminating the type in this way is called proper expression extraction. To do this, use the method by Taku Kudo, Yuji Matsumoto, “Japanese Dependency Analysis by Chunking Stage Application,” IPSJ Journal, Vol. 43, No. 6, pp. 1834-1842. Can do.

定義１８０７は、“履歴”という文字列と“学歴”という文字列が論理関係（Ｆ−Ｆ）を持つ可能性が高いことを示している。これは一般に項目の階層関係を表す。同様に、定義１８０８は、“履歴”という文字列と“年齢”という文字列が論理関係（Ｆ−Ｆ）を持つ可能性が高いことを示している。定義１８０９は、“学歴”という文字列と“大学”という文字列が論理関係（Ｆ−Ｖ）を持つ可能性が高いことを示している。定義１８１０は、“性別”という文字列と“男”という文字列が論理関係（Ｆ−Ｖ）を持つ可能性が高いことを示している。定義１８０７〜１８０９の関係は、オントロージーやシソーラスにおけるIs-A関係（上位・下位概念関係）や、Has-A関係（部分と全体の関係）により定義できる。例えば、“車”と“乗り物”は、Is-A関係にある。“車”と“エンジン”は、Has-A関係にある。それ以外の関係では、対象分野の正解データを用意し、階層関係にある項目のペアを抽出することで、特定の言語パターン同士の関係強度を計算してもよい。その場合、以下の式により、関係の強さを計算できる。
言語パターン共起尤度（LrelLang(xi,xj)）＝文字列ペアがＦ−Ｆ（Ｆ−Ｖ）関係であった頻度÷文字列が隣接していた頻度 …(4) The definition 1807 indicates that there is a high possibility that the character string “history” and the character string “educational history” have a logical relationship (FF). This generally represents the hierarchical relationship of items. Similarly, the definition 1808 indicates that there is a high possibility that the character string “history” and the character string “age” have a logical relationship (FF). Definition 1809 indicates that there is a high possibility that the character string “education” and the character string “university” have a logical relationship (FV). Definition 1810 indicates that there is a high possibility that the character string “sex” and the character string “male” have a logical relationship (FV). The relationship between the definitions 1807 to 1809 can be defined by an Is-A relationship (upper / lower concept relationship) or Has-A relationship (part-to-whole relationship) in an ontology or thesaurus. For example, “car” and “vehicle” have an Is-A relationship. “Car” and “Engine” have a Has-A relationship. For other relationships, the strength of the relationship between specific language patterns may be calculated by preparing correct data for the target field and extracting pairs of items that have a hierarchical relationship. In that case, the strength of the relationship can be calculated by the following formula.
Language pattern co-occurrence likelihood (LrelLang (x i , x j )) = frequency that the string pair is FF (FV) relationship ÷ frequency that the string is adjacent (4)

以上、隣接関係にある文字列の、レイアウト共起パターン、言語共起パターンにより、論理関係の確からしさを総合的に判断し、表中の項目名とデータの曖昧性を解消することができる。   As described above, it is possible to comprehensively determine the certainty of the logical relationship based on the layout co-occurrence pattern and the language co-occurrence pattern of the character strings in the adjacent relationship, and to eliminate the ambiguity between the item names and data in the table.

実施例１、２、３では、項目単語辞書、レイアウトパターン、言語パターン、レイアウト共起パターン、言語共起パターンによる、尤度計算方法について説明した。しかし、各知識辞書により示される結果は相反する場合もありうる。その場合は、どの特徴による尤度が大きいか、また、どの特徴を重要視するかによって総合的に判断される。例えば、全ての特徴による値の掛け算により、項目らしさ、データらしさを総合的に計算することができる。以下の例では、式(7)と式(8)(9)において、そのような計算を行っている。   In the first, second, and third embodiments, the likelihood calculation method using the item word dictionary, the layout pattern, the language pattern, the layout co-occurrence pattern, and the language co-occurrence pattern has been described. However, the results shown by each knowledge dictionary may conflict. In that case, a comprehensive determination is made according to which feature has a high likelihood and which feature is important. For example, the item-likeness and the data-likeness can be calculated comprehensively by multiplying values by all the features. In the following example, such calculation is performed in the equations (7) and (8) and (9).

≪解探索方法≫
上記実施例で説明したように、項目名照合度計算（Ｓ３３）、項目・データ尤度計算（Ｓ３４）、関係尤度計算（Ｓ３５）により、各文字列の近傍情報のみを用いて、項目名らしさ、データらしさを評価する手段を提供した。最後に、これらの尤度を統合した全体尤度が大きくなるラベルの組合せを選択する必要がある。 ≪Solution search method≫
As described in the above embodiment, the item name matching degree calculation (S33), the item / data likelihood calculation (S34), and the relation likelihood calculation (S35) are used to determine the item name using only the neighborhood information of each character string. A means to evaluate the quality and data quality was provided. Finally, it is necessary to select a combination of labels that increases the overall likelihood by integrating these likelihoods.

全ての組合せの全解探索は、セルの数の指数オーダで増加するため、ビームサーチなどの近似解探索の工夫が必要となる。本発明では、Markov Random Field（ＭＲＦ）手法を用いて行う方法について説明する。   Since the total solution search for all combinations increases in an exponential order of the number of cells, it is necessary to devise an approximate solution search such as a beam search. In the present invention, a method performed using a Markov Random Field (MRF) method will be described.

以下、解候補探索（Ｓ３６）について、具体的な実施例を用いて説明する。   Hereinafter, the solution candidate search (S36) will be described using a specific example.

（実施例４：解候補探索）
いま、観測データをyとし、変数をxとおく。表データのラベル付け問題では、各セル内の文字列集合y=(y1,y2,…,yN)が観測データであり、それらのラベル集合x=(x1,x2,…,xN)が隠れ変数である（但し、xk={Fv,Fh,Fvh,Vv,Vh,l0:l0はラベルが未設定}）。 (Example 4: solution candidate search)
Now, let the observation data be y and the variable be x. In the tabular data labeling problem, the string set y = (y 1 , y 2 , ..., y N ) in each cell is the observation data, and the label set x = (x 1 , x 2 , ..., x N ) is a hidden variable (where x k = {Fv, Fh, Fvh, Vv, Vh, l 0 : l 0 is unlabeled}).

ＭＲＦでは、まず近傍関係グラフを定義する。形式的には、ノードSとエッジEのグラフGとして以下のように定義される。   In MRF, first, a neighborhood relation graph is defined. Formally, it is defined as a graph G of node S and edge E as follows.

Figure 2009169844
Figure 2009169844

表データの場合、各セルをノード、上下左右の隣接関係をエッジとして、近傍関係グラフを定義できる。図２１に、表データの近傍グラフの例を示す。図２１において、変数x1,x2,…,xNが、各セル２２０１に対応するノードを表し、セルの隣接関係で定義される関係２１１１〜２１１４が、エッジを表す。 In the case of tabular data, a neighborhood relationship graph can be defined with each cell as a node and the up / down / left / right adjacent relationship as an edge. FIG. 21 shows an example of a neighborhood graph of tabular data. In FIG. 21, variables x 1 , x 2 ,..., X N represent nodes corresponding to the respective cells 2201, and relationships 2111 to 2114 defined by cell adjacency relationships represent edges.

表データの論理関係の解析は、ノード集合x=(x1,x2,…,xN)に対する結合確率P(x)を最大とするラベル集合ω=(ω1,ω2,…,ωN)を選ぶ問題と定式化できる。ＭＲＦによるモデル化では、各変数は、近傍の要素のみに直接依存関係があると仮定し、以下のGibbs分布により、結合確率を、独立成分に分解する。 Analysis of the logical relationship of the tabular data is performed by analyzing the label set ω = (ω 1 , ω 2 , ..., ω with the maximum connection probability P (x) for the node set x = (x 1 , x 2 , ..., x N ). N ) can be formulated as a problem to choose. In modeling by MRF, it is assumed that each variable has a direct dependency only on neighboring elements, and the joint probability is decomposed into independent components by the following Gibbs distribution.

Figure 2009169844
Figure 2009169844

ここで、Vcは、近傍集合cにより定義されるポテンシャル関数をあらわす。表データでは、近傍集合cは、上下左右の４点で定義できる。図２１の例では、xqの近傍は、xl，xr，xt，xbとなる。ポテンシャルVcは、実施例１、実施例２ａ〜２ｄ、実施例３ａ、３ｂで定義した尤度を用いて、以下の式で定義する。 Here, V c represents a potential function defined by the neighborhood set c. In the tabular data, the neighborhood set c can be defined by four points, top, bottom, left, and right. In the example of FIG. 21, the vicinity of x q is, x l, x r, x t, the x b. The potential V c is defined by the following formula using the likelihood defined in the first embodiment, the second embodiment to the second embodiment, and the third embodiment and the third embodiment.

Figure 2009169844
Figure 2009169844

ここで、Feature(xi)、Value(xi)は、項目名照合度計算（Ｓ３３）及び、項目・データ尤度計算（Ｓ３４）で計算される項目らしさ、データらしさの尤度を表す。具体的には実施例２ａ〜２ｄで示したものを用いる。FeatureFeature(xi,xj)、FeatureValue(xi,xj)、ValueValue(xi,xj)は、関係尤度計算（Ｓ３５）で計算される値で、着目している２つのセルの論理関係の尤度を表す。具体的には実施例３で示したものを用いる。 Here, Feature (x i ) and Value (x i ) represent the likelihood of item and data likelihood calculated in the item name matching degree calculation (S33) and the item / data likelihood calculation (S34). Specifically, those shown in Examples 2a to 2d are used. FeatureFeature (x i , x j ), FeatureValue (x i , x j ), ValueValue (x i , x j ) are values calculated in the relational likelihood calculation (S35), and are the two cells of interest Represents the likelihood of a logical relationship. Specifically, the one shown in Example 3 is used.

Figure 2009169844
Figure 2009169844

式(7)に示したV(xi,xj)の右辺第１項は、Feature(xi)＞T1すなわち１より大きいとき、変数xiのラベルがFであれば小さくなり、Vであれば大きくなる。すなわち、項目尤度の高さとxiのラベルが同期する場合、ポテンシャル関数Vcが小さくなり、式(6)の確率が高くなるという性質を持つ。 The first term on the right side of V (x i , x j ) shown in equation (7) is smaller if Feature (x i )> T 1, that is, greater than 1, if the label of variable x i is F, V If it becomes larger. That is, when the item likelihood height and the label of x i are synchronized, the potential function V c becomes small and the probability of the equation (6) becomes high.

同様に、式(7)に示したV(xi,xj)の右辺第６項は、xiとxj論理関係FVの尤度と、実際のxiとxjの関係ラベルが一致する時に小さくなり、そうでない時に大きくなる。すなわち、式(6)の確率が大きくなる。 Similarly, the sixth term on the right side of V (x i , x j ) shown in equation (7) matches the likelihood of x i and x j logical relationship FV and the actual relationship label of x i and x j It gets smaller when you do it, and it gets bigger when you don't. That is, the probability of equation (6) increases.

上記ポテンシャル関数を用いて、あるノードxiのラベルがsのとき、そのラベル状態がどの程度安定かを計算する尺度、UnStablexi(s)を導入する。 Using the above potential function, we introduce UnStable xi (s), a measure that calculates how stable the label state is when the label of a node x i is s.

Figure 2009169844
Figure 2009169844

UnStablexq(s)が正の値のとき、より安定な（よりエネルギーの低い）ラベルが存在することを意味する。 When UnStable xq (s) is positive, it means that there is a more stable (lower energy) label.

次に、式(7)のポテンシャル関数を用いて、ラベルを決定するアルゴリズムについて説明する。   Next, an algorithm for determining a label using the potential function of Equation (7) will be described.

図２は、解候補探索（Ｓ３６）の処理の概要を示すフローチャートである。   FIG. 2 is a flowchart showing an overview of the solution candidate search (S36) process.

項目・データラベル初期化（Ｓ２１）において、F(xi)もしくはV(xi)の値が最大のノードについて、Fv(Fh)あるいはVv(Vh)のラベルを設定する。それ以外のノードは、l0に初期化しておく。初期化に際しては、項目名単語辞書と言語パターン知識辞書を用いて尤度計算を行う。次に、ラベル安定度計算（Ｓ２２）により、各ノードの安定度（式(10)）を計算する。式(10)では、値が大きいほど不安定であることを表す。次に、グラフ探索順序初期化（Ｓ２３）により、探索順序を決定する。グラフ上の探索は、UnStablexq(s)の大きい順に行う。探索順序は、ラベルが更新されるたびに、逐次変化する。探索順序を管理する方法として、priority queueの一種であるヒープ構造を用いることができる。ヒープ構造は、半順序集合をツリーで表現したデータ構造で、ノードの追加・削除を効率的に行うことができる。 In the item / data label initialization (S21), the label of Fv (Fh) or Vv (Vh) is set for the node having the maximum value of F (x i ) or V (x i ). The other nodes keep initialized to l 0. At initialization, likelihood calculation is performed using an item name word dictionary and a language pattern knowledge dictionary. Next, the stability (formula (10)) of each node is calculated by the label stability calculation (S22). In equation (10), the larger the value, the more unstable it is. Next, the search order is determined by graph search order initialization (S23). The search on the graph is performed in the descending order of UnStable xq (s). The search order changes sequentially each time the label is updated. As a method for managing the search order, a heap structure which is a kind of priority queue can be used. The heap structure is a data structure in which a partial order set is represented by a tree, and can add and delete nodes efficiently.

次に、ラベル更新候補検出（Ｓ２４）により、ラベル付けを行うノードxqを選択する。これは、ヒープ構造のルートノードを選択すればよい。次に、終了判定（Ｓ２５）により、xqの不安定度UnStablexq(ωq)が、閾値以上であれば終了し、そうでなければ、ラベル更新（Ｓ２６）を実行する。次に、グラフ探索順序更新（Ｓ２７）により、探索順序を更新する。探索順序の更新は、ヒープ構造からのノードの削除と追加で実現できる。 Next, the node x q to be labeled is selected by the label update candidate detection (S24). This can be done by selecting the root node of the heap structure. Next, if the degree of instability UnStable xq (ω q ) of x q is greater than or equal to the threshold value, the label update (S26) is executed otherwise. Next, the search order is updated by graph search order update (S27). The search order can be updated by deleting and adding nodes from the heap structure.

いま、xqがヒープ構造のルートノードであったとする。つまり、UnStablexk(s)が最大のノードがxqであったとする。このとき、xqのラベルを、sからtに変更したとする。すると、xqと、その４近傍のUnStablexk(s)の値が変わるため、ヒープ構造のルートノード及び近傍ノードを削除し、ラベル更新後のUnStablexk(s)の値に従い、ヒープにノードを追加する。 Assume that x q is the root node of the heap structure. That is, it is assumed that the node with the largest UnStable xk (s) is x q . In this case, the label of x q, was changed from s to t. Then, the value of x q and its 4 neighboring UnStable xk (s) change, so the root node and neighboring nodes of the heap structure are deleted, and the node is added to the heap according to the value of UnStable xk (s) after the label update. to add.

以上の探索方法により、項目らしさ、データらしさの尤度が高いセルから逐次ラベルを決定し、不安程度の高いノードのラベルを更新していくことで、項目名とデータの曖昧性を解消することができる。   By using the above search method, it is possible to resolve the ambiguity between item names and data by sequentially determining labels from cells with a high likelihood of item-likeness and data-likeness, and updating the labels of nodes with a high degree of anxiety. Can do.

本発明を用いた一般文書中の表の論理関係解析により、検索精度の向上や、リレーショナルデータベースへのデータ統合を効率化できる。また、帳票データ入力作業を効率化することができる。   The logical relationship analysis of tables in general documents using the present invention can improve search accuracy and make data integration into a relational database more efficient. Further, it is possible to make the form data input work more efficient.

表論理関係解析装置の構成例を示す図。The figure which shows the structural example of a table logic relationship analysis apparatus. 解候補探索のフロー図。The flowchart of a solution candidate search. 表論理関係解析の概要フロー図。The general | schematic flowchart of a table logic relationship analysis. 伝票の一例を示す図。The figure which shows an example of a slip. レイアウト知識辞書の例を示す図。The figure which shows the example of a layout knowledge dictionary. 表形式データ及びその論理関係の説明図。Explanatory drawing of tabular data and its logical relationship. 表の理関係を示す説明図。Explanatory drawing which shows the rational relation of a table | surface. 表論理関係をＸＭＬ表現で示した図。The figure which showed the table | surface logical relationship by XML expression. 表論理関係をセルのラベルで表現した図。The figure which expressed the table logical relationship with the label of the cell. 項目単語辞書と文字行の照合パターン例を示す図。The figure which shows the collation pattern example of an item word dictionary and a character line. 背景特徴を持つ表の例を示す図。The figure which shows the example of the table | surface with a background feature. 文字スタイル特徴を持つ表の例を示す図。The figure which shows the example of the table | surface with a character style characteristic. 罫線太さ特徴を持つ表の例を示す図。The figure which shows the example of the table | surface with a ruled line thickness characteristic. 言語パターン知識辞書のエントリ例を示す図。The figure which shows the example of an entry of a language pattern knowledge dictionary. 言語パターン知識辞書があてはまる表の例を示す図。The figure which shows the example of the table | surface to which a language pattern knowledge dictionary applies. 言語パターン知識辞書及びレイアウトパターンが当てはまる表の例を示す図。The figure which shows the example of the table | surface to which a language pattern knowledge dictionary and a layout pattern apply. レイアウト共起辞書の例を示す図。The figure which shows the example of a layout co-occurrence dictionary. 言語共起辞書の例を示す図。The figure which shows the example of a language co-occurrence dictionary. 破線罫線を持つ表の例を示す図。The figure which shows the example of the table | surface with a dashed ruled line. 縞模様を持つ表の例を示す図。The figure which shows the example of the table | surface with a striped pattern. 表のセル構造により定義される近傍グラフの図。The figure of the neighborhood graph defined by the cell structure of a table. 表の例を示す図。The figure which shows the example of a table | surface.

符号の説明Explanation of symbols

１０ 表論理関係解析装置
１１ 入力手段
１２ 表示装置
１３ ＣＰＵ
１４ 印刷装置
１５ ワークエリア
１６ 情報保持手段
１９ 通信ネットワーク
１１０ 入力装置
１１１ 画像入力装置
１５１ ＯＳ
１５２ 通信プログラム
１５３ 認識プログラム
１６１ 項目名単語辞書
１６２ レイアウトパターン知識辞書
１６３ 言語パターン知識辞書
１６４ レイアウト共起辞書
１６５ 言語共起辞書 DESCRIPTION OF SYMBOLS 10 Table logic relationship analysis apparatus 11 Input means 12 Display apparatus 13 CPU
14 Printing device 15 Work area 16 Information holding means 19 Communication network 110 Input device 111 Image input device 151 OS
152 Communication Program 153 Recognition Program 161 Item Name Word Dictionary 162 Layout Pattern Knowledge Dictionary 163 Language Pattern Knowledge Dictionary 164 Layout Co-occurrence Dictionary 165 Language Co-occurrence Dictionary

Claims (7)

項目名の候補となる単語を記憶した項目名単語辞書と、
文字列の言語パターンに基づき、文字列の項目らしさとデータらしさを数値化した情報を格納した言語パターン知識辞書と、
文字列が含まれるセルのデザイン特徴に基づき、当該デザイン特徴を有するセルの項目らしさとデータらしさを数値化した情報を格納したレイアウトパターン知識辞書と、
入力された表の論理関係を解析する表解析手段とを有し、
前記表解析手段は、入力された表のセル内の文字列と前記項目名単語辞書との照合具合により項目名らしさを判定し、セルのデザイン特徴を前記レイアウトパターン知識辞書と照合して項目らしさあるいはデータらしさを判定し、セル内の言語パターンを前記言語パターン知識辞書と照合して項目らしさあるいはデータらしさを判定し、前記各判定を総合して表中の各セルが項目であるかデータであるかを判別することを特徴とする表構造解析装置。 An item name word dictionary storing words as item name candidates;
Based on the language pattern of the character string, a language pattern knowledge dictionary storing information obtained by quantifying the character of the character string items and data,
A layout pattern knowledge dictionary storing information obtained by quantifying the item-likeness and the data-likeness of the cell having the design feature based on the design feature of the cell including the character string,
Table analysis means for analyzing the logical relationship of the input table,
The table analysis means determines the likelihood of an item name based on a matching condition between a character string in an input table cell and the item name word dictionary, and matches the design characteristics of the cell with the layout pattern knowledge dictionary to determine the likelihood of an item. Alternatively, the data likelihood is determined, the language pattern in the cell is checked against the language pattern knowledge dictionary to determine the item likelihood or the data likelihood, and the above determinations are combined to determine whether each cell in the table is an item. A table structure analyzing apparatus characterized by determining whether or not there is. 請求項１に記載の表構造解析装置において、前記表解析手段は、入力された表のセル内の文字列と前記項目名単語辞書との照合パターンが完全一致であるか、部分一致であるか、境界一致であるかを考慮して項目らしさの数値を計算することを特徴とする表構造解析装置。   2. The table structure analyzing apparatus according to claim 1, wherein the table analysis means determines whether a matching pattern between a character string in an input table cell and the item name word dictionary is a complete match or a partial match. A table structure analyzing apparatus that calculates a numerical value of item-likeness in consideration of boundary matching. 請求項２に記載の表構造解析装置において、前記表解析手段は、前記各判定で求められた項目らしさあるいはデータらしさを表す数値の積によって表中の各セルが項目であるかデータであるかを判別することを特徴とする表構造解析装置。   3. The table structure analyzing apparatus according to claim 2, wherein the table analysis means is an item or data of each cell in the table based on a product of numerical values representing item-likeness or data-likeness obtained in each determination. Table structure analyzing apparatus characterized by discriminating 請求項１に記載の表構造解析装置において、
物理的連接関係にあるセル同士のデザインの組合せに基づき、項目らしさとデータらしさを数値化した情報を格納したレイアウト共起辞書と、物理的連接関係にあるセル同士の言語共起に基づき、項目らしさとデータらしさを数値化した情報を格納した言語共起辞書を更に有し、
前記表解析手段は、入力された表の物理的連接関係にあるセル同士のデザインの組合せを前記レイアウト共起辞書と照合して項目らしさあるいはデータらしさを判定し、入力された表の物理的連接関係にあるセル同士の言語共起を前記言語共起辞書に照合して項目らしさあるいはデータらしさを判定し、これらの判定をも総合して表中の各セルが項目であるかデータであるかを判別することを特徴とする表構造解析装置。 In the table structure analyzing apparatus according to claim 1,
A layout co-occurrence dictionary that stores information that quantifies item-likeness and data-likeness based on a combination of designs between cells that are physically connected, and an item based on language co-occurrence between cells that are physically connected It further has a language co-occurrence dictionary that stores information quantifying the likelihood and the likelihood of data,
The table analysis means collates a design combination of cells in a physical connection relationship of the input table with the layout co-occurrence dictionary to determine item likelihood or data likelihood, and physical connection of the input table Whether or not each cell in the table is an item or data by comparing the language co-occurrence between cells in relation with the language co-occurrence dictionary to determine the item or data likelihood. Table structure analyzing apparatus characterized by discriminating 請求項４に記載の表構造解析装置において、前記レイアウト共起辞書は、縦又は横に連続するセルの背景色もしくはハッチングが途中で変化する場合に、上端又は左端の背景もしくはハッチングを持つセルの項目の尤度を高く設定していることを特徴とする表構造解析装置。   5. The table structure analysis device according to claim 4, wherein the layout co-occurrence dictionary includes a cell having a background or hatching at the upper end or the left end when the background color or hatching of cells that are continuous vertically or horizontally changes in the middle. A table structure analyzing apparatus characterized in that the likelihood of an item is set high. 請求項４に記載の表構造解析装置において、
前記言語共起辞書は、隣接文字列ペアがIs-A関係（上位・下位概念関係）の場合に項目−項目関係である尤度を高く設定し、Has-A関係（部分と全体の関係）に該当する場合に項目−データ関係である尤度を高く設定しており、
前記レイアウト共起辞書は、隣接文字列ペアのレイアウトパターンが、変化している場合に項目−データ関係である尤度を高く設定し、同じ場合に項目−項目関係、データ−データ関係の尤度を高く設定していることを特徴とする表構造解析装置。 In the table | surface structure analysis apparatus of Claim 4,
The language co-occurrence dictionary sets a high likelihood of being an item-item relationship when the adjacent character string pair has an Is-A relationship (upper / lower concept relationship), and has a Has-A relationship (part-to-whole relationship). Is set to a high likelihood of being an item-data relationship when
The layout co-occurrence dictionary sets the likelihood of the item-data relationship when the layout pattern of the adjacent character string pair is changing, and sets the likelihood of the item-item relationship and the data-data relationship when the layout pattern is the same. Table structure analysis device characterized by setting a high value. 請求項４に記載の表構造解析装置において、前記表解析手段は、前記項目名単語辞書と言語パターン知識辞書とを用いた照合により項目名らしさとデータらしさを判定してセルの状態を項目かデータかに初期設定し、次に、前記レイアウト共起辞書と言語共起辞書を用いた照合によりセルの状態の尤度を定量化し、状態（項目名かデータか）を変更することで尤度が上昇する場合に別の状態に変更し、表中のどのセルの状態を変更しても、尤度が低下するか、尤度の上昇が低い場合を最終の状態とすることを特徴とする表構造解析装置。   5. The table structure analyzing apparatus according to claim 4, wherein the table analyzing means determines whether the item name is likely to be an item and whether the data is likely to be an item by collation using the item name word dictionary and a language pattern knowledge dictionary. Data is initialized, and then the likelihood of the state of the cell is quantified by collation using the layout co-occurrence dictionary and the language co-occurrence dictionary, and the likelihood is changed by changing the state (item name or data) If the state of the cell rises, the state is changed to another state, and even if the state of any cell in the table is changed, the likelihood decreases or the case where the increase in likelihood is low is the final state. Table structure analyzer.
JP2008009505A 2008-01-18 2008-01-18 Table recognition method and table recognition apparatus Expired - Fee Related JP4871889B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008009505A JP4871889B2 (en) 2008-01-18 2008-01-18 Table recognition method and table recognition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008009505A JP4871889B2 (en) 2008-01-18 2008-01-18 Table recognition method and table recognition apparatus

Publications (2)

Publication Number Publication Date
JP2009169844A true JP2009169844A (en) 2009-07-30
JP4871889B2 JP4871889B2 (en) 2012-02-08

Family

ID=40970908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008009505A Expired - Fee Related JP4871889B2 (en) 2008-01-18 2008-01-18 Table recognition method and table recognition apparatus

Country Status (1)

Country Link
JP (1) JP4871889B2 (en)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248609A (en) * 2010-05-26 2011-12-08 Hitachi Omron Terminal Solutions Corp Form recognition device and form recognition method
JP2012208589A (en) * 2011-03-29 2012-10-25 Hitachi Omron Terminal Solutions Corp Business form recognition apparatus, business form recognition method and program therefor
JP2013097633A (en) * 2011-11-02 2013-05-20 Hitachi Ltd Document recognition support device, document search device, and document management method
JP2013105321A (en) * 2011-11-14 2013-05-30 Hitachi Ltd Document processing device, method of analyzing relationship between document constituents and program
JP2013190993A (en) * 2012-03-14 2013-09-26 Hitachi Ltd Device and method for analyzing table structure
WO2014068770A1 (en) * 2012-11-02 2014-05-08 株式会社日立製作所 Data extraction method, data extraction device, and program thereof
WO2014170965A1 (en) * 2013-04-16 2014-10-23 株式会社日立製作所 Document processing method, document processing device, and document processing program
JP2015072637A (en) * 2013-10-03 2015-04-16 富士通株式会社 Program, information processing device, and information processing method
JP2015102938A (en) * 2013-11-22 2015-06-04 日立オムロンターミナルソリューションズ株式会社 Document recognition apparatus, document recognition method, and program
JP2016051339A (en) * 2014-08-29 2016-04-11 日立オムロンターミナルソリューションズ株式会社 Document recognition device and method
JP2017219883A (en) * 2016-06-02 2017-12-14 日本電信電話株式会社 Logical relation recognition device, logical relation recognition method and logical relation recognition program
JP2018085093A (en) * 2016-11-17 2018-05-31 キヤノンマーケティングジャパン株式会社 Information processing apparatus, control method, and program
JP2018092459A (en) * 2016-12-06 2018-06-14 株式会社アイリックコーポレーション Image analyzing device, image analyzing method, and image analyzing program
JP2019067378A (en) * 2017-09-29 2019-04-25 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド Identifying hand drawn tables
WO2019245016A1 (en) * 2018-06-22 2019-12-26 株式会社ミラボ Standard item name setting device, standard item name setting method, and standard item name setting program
JP2020004373A (en) * 2018-06-22 2020-01-09 株式会社ミラボ Standard item name setting device, standard item name setting method, and standard item name setting program
CN111062259A (en) * 2019-11-25 2020-04-24 泰康保险集团股份有限公司 Form recognition method and device
US10846525B2 (en) 2019-02-15 2020-11-24 Wipro Limited Method and system for identifying cell region of table comprising cell borders from image document
CN113407717A (en) * 2021-05-28 2021-09-17 数库（上海）科技有限公司 Method, device, equipment and storage medium for eliminating ambiguity of industry words in news

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09319824A (en) * 1996-05-30 1997-12-12 Hitachi Ltd Document recognizing method
JPH1185899A (en) * 1997-09-05 1999-03-30 Tsubasa Syst Kk Character reader, its method and record medium
JP2000163441A (en) * 1998-11-30 2000-06-16 Nippon Telegr & Teleph Corp <Ntt> Method and device for preparing dictionary, storage medium storing dictionary preparation program, method and device for preparing retrieval request, storage medium storing retrieval request preparation program and multi-language correspondence information retrieval system
JP2004199529A (en) * 2002-12-20 2004-07-15 Fujitsu Ltd Business form recognition device and business form recognition method
JP2006092207A (en) * 2004-09-22 2006-04-06 Fuji Xerox Co Ltd Document attribute acquisition device, document attribute acquisition method and document attribute acquisition program
JP2007077882A (en) * 2005-09-14 2007-03-29 Kawasaki Heavy Ind Ltd Generator cooling structure of engine
JP2007233913A (en) * 2006-03-03 2007-09-13 Fuji Xerox Co Ltd Image processor and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09319824A (en) * 1996-05-30 1997-12-12 Hitachi Ltd Document recognizing method
JPH1185899A (en) * 1997-09-05 1999-03-30 Tsubasa Syst Kk Character reader, its method and record medium
JP2000163441A (en) * 1998-11-30 2000-06-16 Nippon Telegr & Teleph Corp <Ntt> Method and device for preparing dictionary, storage medium storing dictionary preparation program, method and device for preparing retrieval request, storage medium storing retrieval request preparation program and multi-language correspondence information retrieval system
JP2004199529A (en) * 2002-12-20 2004-07-15 Fujitsu Ltd Business form recognition device and business form recognition method
JP2006092207A (en) * 2004-09-22 2006-04-06 Fuji Xerox Co Ltd Document attribute acquisition device, document attribute acquisition method and document attribute acquisition program
JP2007077882A (en) * 2005-09-14 2007-03-29 Kawasaki Heavy Ind Ltd Generator cooling structure of engine
JP2007233913A (en) * 2006-03-03 2007-09-13 Fuji Xerox Co Ltd Image processor and program

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248609A (en) * 2010-05-26 2011-12-08 Hitachi Omron Terminal Solutions Corp Form recognition device and form recognition method
JP2012208589A (en) * 2011-03-29 2012-10-25 Hitachi Omron Terminal Solutions Corp Business form recognition apparatus, business form recognition method and program therefor
JP2013097633A (en) * 2011-11-02 2013-05-20 Hitachi Ltd Document recognition support device, document search device, and document management method
JP2013105321A (en) * 2011-11-14 2013-05-30 Hitachi Ltd Document processing device, method of analyzing relationship between document constituents and program
JP2013190993A (en) * 2012-03-14 2013-09-26 Hitachi Ltd Device and method for analyzing table structure
WO2014068770A1 (en) * 2012-11-02 2014-05-08 株式会社日立製作所 Data extraction method, data extraction device, and program thereof
JPWO2014068770A1 (en) * 2012-11-02 2016-09-08 株式会社日立製作所 Data extraction method, data extraction device and program thereof
WO2014170965A1 (en) * 2013-04-16 2014-10-23 株式会社日立製作所 Document processing method, document processing device, and document processing program
JPWO2014170965A1 (en) * 2013-04-16 2017-02-16 株式会社日立製作所 Document processing method, document processing apparatus, and document processing program
JP2015072637A (en) * 2013-10-03 2015-04-16 富士通株式会社 Program, information processing device, and information processing method
JP2015102938A (en) * 2013-11-22 2015-06-04 日立オムロンターミナルソリューションズ株式会社 Document recognition apparatus, document recognition method, and program
JP2016051339A (en) * 2014-08-29 2016-04-11 日立オムロンターミナルソリューションズ株式会社 Document recognition device and method
JP2017219883A (en) * 2016-06-02 2017-12-14 日本電信電話株式会社 Logical relation recognition device, logical relation recognition method and logical relation recognition program
JP2018085093A (en) * 2016-11-17 2018-05-31 キヤノンマーケティングジャパン株式会社 Information processing apparatus, control method, and program
JP2018092459A (en) * 2016-12-06 2018-06-14 株式会社アイリックコーポレーション Image analyzing device, image analyzing method, and image analyzing program
JP2019067378A (en) * 2017-09-29 2019-04-25 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド Identifying hand drawn tables
JP7195092B2 (en) 2017-09-29 2022-12-23 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド Identifying hand-drawn tables
WO2019245016A1 (en) * 2018-06-22 2019-12-26 株式会社ミラボ Standard item name setting device, standard item name setting method, and standard item name setting program
JP2020004373A (en) * 2018-06-22 2020-01-09 株式会社ミラボ Standard item name setting device, standard item name setting method, and standard item name setting program
JP7041963B2 (en) 2018-06-22 2022-03-25 株式会社ミラボ Standard item name setting device, standard item name setting method and standard item name setting program
US10846525B2 (en) 2019-02-15 2020-11-24 Wipro Limited Method and system for identifying cell region of table comprising cell borders from image document
CN111062259A (en) * 2019-11-25 2020-04-24 泰康保险集团股份有限公司 Form recognition method and device
CN111062259B (en) * 2019-11-25 2023-08-25 泰康保险集团股份有限公司 Table identification method and apparatus
CN113407717A (en) * 2021-05-28 2021-09-17 数库（上海）科技有限公司 Method, device, equipment and storage medium for eliminating ambiguity of industry words in news
CN113407717B (en) * 2021-05-28 2022-12-20 数库（上海）科技有限公司 Method, device, equipment and storage medium for eliminating ambiguity of industrial words in news

Also Published As

Publication number Publication date
JP4871889B2 (en) 2012-02-08

Similar Documents

Publication Publication Date Title
JP4871889B2 (en) Table recognition method and table recognition apparatus
US11734328B2 (en) Artificial intelligence based corpus enrichment for knowledge population and query response
US20180060306A1 (en) Extracting facts from natural language texts
US20170323170A1 (en) Method and system for data extraction from images of semi-structured documents
Sage et al. Recurrent neural network approach for table field extraction in business documents
CN112434691A (en) HS code matching and displaying method and system based on intelligent analysis and identification and storage medium
CN114254653A (en) Scientific and technological project text semantic extraction and representation analysis method
CN112818093A (en) Evidence document retrieval method, system and storage medium based on semantic matching
EP3948501A1 (en) Hierarchical machine learning architecture including master engine supported by distributed light-weight real-time edge engines
EP4141818A1 (en) Document digitization, transformation and validation
Tkaczyk New methods for metadata extraction from scientific literature
Romero et al. Modern vs diplomatic transcripts for historical handwritten text recognition
CN110287493B (en) Risk phrase identification method and device, electronic equipment and storage medium
CN116628229A (en) Method and device for generating text corpus by using knowledge graph
Cheddad et al. SHIBR—The Swedish historical birth records: A semi-annotated dataset
CN117034948B (en) Paragraph identification method, system and storage medium based on multi-feature self-adaptive fusion
Gutehrlé et al. Processing the structure of documents: Logical Layout Analysis of historical newspapers in French
CN110188340B (en) Automatic recognition method for text noun
CN113254583B (en) Document marking method, device and medium based on semantic vector
Dejean Extracting structured data from unstructured document with incomplete resources
Kuropiatnyk et al. Automation of Template Formation to Identify the Structure of Natural Language Documents.
Souza et al. ARCTIC: metadata extraction from scientific papers in pdf using two-layer CRF
CN114611489A (en) Text logic condition extraction AI model construction method, extraction method and system
Lamba et al. Exploring OCR Errors in Full-Text Large Documents: A Study of LIS Theses and Dissertations
CN112613318A (en) Entity name normalization system, method thereof and computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111025

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111121

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees