JP2003050968A - Device and method for document filing and program - Google Patents

Device and method for document filing and program

Info

Publication number
JP2003050968A
JP2003050968A JP2001238164A JP2001238164A JP2003050968A JP 2003050968 A JP2003050968 A JP 2003050968A JP 2001238164 A JP2001238164 A JP 2001238164A JP 2001238164 A JP2001238164 A JP 2001238164A JP 2003050968 A JP2003050968 A JP 2003050968A
Authority
JP
Japan
Prior art keywords
document
result
correction
image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001238164A
Other languages
Japanese (ja)
Inventor
Yasuhiro Okada
康裕 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2001238164A priority Critical patent/JP2003050968A/en
Publication of JP2003050968A publication Critical patent/JP2003050968A/en
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Character Discrimination (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To accurately retrieve a document image affected adversely by external disturbance, which has been impossible before. SOLUTION: When image information in a process area extracted from an inputted document image is recognized and converted into a character code and conversion results are classified by specific document items, respective process results in the processing stage of the input document images are compared with previously set specific decision conditions, and it is judged whether there is a process error according to the comparison results. When it is decided that there is a process error, correction indication information for the corresponding process result is presented. The process result is corrected according to correction information inputted in response to the presentation, and document filing data regarding the input image area generated by using the process result and/or correction result and stored.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】この発明は入力した文書画像
を予め設定しておいた文書項目に分類してファイリング
する文書ファイリング装置に係り、特に文書画像をファ
イリングするにあたり、文書検索に支障をきたす誤りが
生じたか否かを判定し、上記誤りが生じた場合にその認
識結果を適宜修正させる文書ファイリング装置及び文書
ファイリング方法並びにこれをコンピュータに実行させ
る文書ファイリングプログラムに関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a document filing apparatus for classifying an input document image into preset document items for filing, and particularly, when filing a document image, an error that interferes with document retrieval. The present invention relates to a document filing apparatus and a document filing method for determining whether or not the occurrence has occurred and appropriately correcting the recognition result when the above error occurs, and a document filing program for causing a computer to execute the same.

【0002】[0002]

【従来の技術】文書ファイリング装置とは、文書内の文
字を自動的に認識し、文書項目を分類した上で文書を蓄
積(ファイリング)するもので、例えば特開平10−2
40901号公報に開示されるものがある。
2. Description of the Related Art A document filing device is a device for automatically recognizing characters in a document, classifying document items, and then accumulating (filing) the document.
There is one disclosed in Japanese Patent No. 40901.

【0003】図23は上記特開平10−240901号
公報に開示される従来の文書ファイリング装置の構成を
概略的に示すブロック図である。図において、100は
スキャナなどによって読み込んだ文書画像を保持するイ
メージファイルで、レイアウト解析手段101に文書画
像を出力する。101はイメージファイル100からの
文書画像に対して文書レイアウト解析を行うレイアウト
解析手段であって、文書レイアウト知識ファイル107
を参考にして文字列や文字の座標情報などの文書レイア
ウトに関する情報を文書画像から抽出する。102はレ
イアウト解析手段101から文書レイアウトに関する情
報を入力する文字認識手段で、文書レイアウトに関する
情報に基づいて1文字ごとに切り出された文字画像を文
字コードに変換する。103は文書項目分類手段であっ
て、レイアウト解析手段101からの文書レイアウトに
関する情報と文書レイアウト知識ファイル107とを比
較すると共に、文字認識手段102によって得られた文
字認識結果と文書コンテンツ知識ファイル108とを比
較して文書項目ごとの文字認識結果を自動的に分類す
る。104は蓄積手段で、文書項目分類手段103から
得た文書項目ごとの文字認識結果を文字認識結果ファイ
ル109に格納する。
FIG. 23 is a block diagram schematically showing the configuration of a conventional document filing apparatus disclosed in Japanese Patent Laid-Open No. 10-240901. In the figure, reference numeral 100 denotes an image file that holds a document image read by a scanner or the like, and outputs the document image to the layout analysis unit 101. Reference numeral 101 denotes a layout analysis means for performing a document layout analysis on the document image from the image file 100, and a document layout knowledge file 107.
With reference to, information about the document layout such as character strings and coordinate information of characters is extracted from the document image. Reference numeral 102 is a character recognition means for inputting information about the document layout from the layout analysis means 101, and converts the character image cut out for each character into a character code based on the information about the document layout. Reference numeral 103 denotes a document item classification unit that compares the information about the document layout from the layout analysis unit 101 with the document layout knowledge file 107, and the character recognition result obtained by the character recognition unit 102 and the document content knowledge file 108. And the character recognition results for each document item are automatically classified. A storage unit 104 stores a character recognition result for each document item obtained from the document item classification unit 103 in a character recognition result file 109.

【0004】105は外部からの検索要求を受けて文字
認識結果ファイル109を検索する検索手段であって、
文字認識結果ファイル109から上記検索要求を満たす
文書を同定する。106は文書認識結果やこれに対応す
る文書画像を外部に出力する出力手段で、検索手段10
5によって同定された文字認識結果を文字認識結果ファ
イル109から抽出して出力するか、或いは、文字認識
結果ファイル109から抽出された文字認識結果に対応
する文書画像をイメージファイル100から抽出して出
力する。107は予め作成した読取対象文書のレイアウ
トに関する知識(文書レイアウト知識)を格納した文書
レイアウト知識ファイルであって、レイアウト解析手段
101や文書項目分類手段103によって適宜参照可能
な記憶装置から構成される。108は文書の記述内容に
関する知識(文書コンテンツ知識)を格納した文書コン
テンツ知識ファイルで、文書項目分類手段103によっ
て適宜参照可能な記憶装置から構成される。109は文
書項目分類手段103から得た文書項目ごとの文字認識
結果を格納する文字認識結果ファイルであって、検索手
段105によって検索・同定された文書をイメージファ
イル100や出力手段106に出力する。
Reference numeral 105 denotes a search means for searching the character recognition result file 109 in response to a search request from the outside.
A document satisfying the search request is identified from the character recognition result file 109. An output unit 106 outputs the document recognition result and the corresponding document image to the outside, and the retrieval unit 10
The character recognition result identified by No. 5 is extracted from the character recognition result file 109 and output, or the document image corresponding to the character recognition result extracted from the character recognition result file 109 is extracted from the image file 100 and output. To do. Reference numeral 107 denotes a document layout knowledge file that stores knowledge (document layout knowledge) about the layout of a document to be read, which is created in advance, and includes a storage device that can be appropriately referred to by the layout analysis unit 101 and the document item classification unit 103. Reference numeral 108 denotes a document content knowledge file that stores knowledge (document content knowledge) about the description content of a document, and is composed of a storage device that can be appropriately referred to by the document item classification unit 103. A character recognition result file 109 stores the character recognition result for each document item obtained from the document item classification means 103, and outputs the document searched and identified by the search means 105 to the image file 100 or the output means 106.

【0005】次に動作について説明する。図24は図2
3中の文書ファイリング装置による文書ファイル作成動
作を示すフロー図、図25は図23中の文書ファイリン
グ装置による文書検索動作を示すフロー図であり、これ
らフロー図に沿って文書ファイル作成について説明す
る。先ず、不図示のスキャナなどの画像入力装置を使用
して、文書を文書画像情報として文書ファイリング装置
に読み込み(ステップST100)、内部のイメージフ
ァイル100に格納する(ステップST101)。図2
6は図23中のイメージファイルに格納された文書画像
の一例を示す図である。図26では、某かの定例進捗会
議の議事録を文書画像として読み込んだ例を示してお
り、以下、上記文書画像を用いて説明する。
Next, the operation will be described. FIG. 24 shows FIG.
3 is a flow chart showing the document file creation operation by the document filing apparatus in FIG. 3, and FIG. 25 is a flow chart showing the document search operation by the document filing apparatus in FIG. 23. The document file creation will be described with reference to these flow charts. First, an image input device such as a scanner (not shown) is used to read a document as document image information into a document filing device (step ST100) and store it in an internal image file 100 (step ST101). Figure 2
6 is a diagram showing an example of the document image stored in the image file in FIG. FIG. 26 shows an example in which the minutes of a certain regular progress meeting are read as a document image, which will be described below using the document image.

【0006】文書ファイル作成処理として、先ず、イメ
ージファイル100から文書画像を読み出し、レイアウ
ト解析手段101によって文書レイアウトを解析する
(ステップST102)。具体的に説明すると、レイア
ウト解析手段101は、文書レイアウト知識ファイル1
07に記載された内容を利用して、文書画像内の文字
列、文字を切り出す。図27は図26の文書画像に関す
る文書レイアウト知識ファイルの内容を示す図である。
図において、110は図26の文書画像中の「会議名
称」項目、111は図26の文書画像中の「開催場所」
項目、112は図26の文書画像中の「開催日時」項目
を示し、113は図26の文書画像中の「出席者」項目
に関するレイアウト情報を示しており、114は「開催
日時」項目112に関する座標情報を示している。レイ
アウト解析手段101は、例えば図27に示した文書レ
イアウト知識における幅、高さの比から「会議名称」項
目110、「開催場所」項目111、「開催日時」項目
112、及び「出席者」項目113がともに横書きで記
載されていると判定し、文書が横書きで記載されている
ことを前提に文字列の切り出しを行い、その後、文字の
切り出しを実施する。
As a document file creation process, first, a document image is read from the image file 100 and the layout analysis means 101 analyzes the document layout (step ST102). More specifically, the layout analysis unit 101 uses the document layout knowledge file 1
By using the contents described in 07, the character string and the character in the document image are cut out. FIG. 27 is a diagram showing the contents of the document layout knowledge file relating to the document image of FIG.
In the figure, 110 is the "meeting name" item in the document image of FIG. 26, and 111 is the "venue" in the document image of FIG.
Items 112 and 112 represent "held date and time" items in the document image of FIG. 26, 113 represents layout information related to "attendees" item in the document image of FIG. 26, and 114 represents "held date and time" item 112. The coordinate information is shown. The layout analysis means 101 uses the ratio of width and height in the document layout knowledge shown in FIG. 27, for example, “meeting name” item 110, “holding place” item 111, “holding date” item 112, and “attendee” item. It is determined that both 113 are written horizontally, and the character string is cut out on the assumption that the document is written horizontally, and then the characters are cut out.

【0007】レイアウト解析手段101は、上記文字列
切り出し結果から複数の連続した文字列を組み合わせた
矩形領域を形成し、それぞれの領域に対する座標とサイ
ズ情報とを抽出してレイアウト情報を作成する。図28
はレイアウト解析手段が作成したレイアウト情報を示す
図である。図において、115はレイアウト解析手段1
01が形成した上記矩形領域の先頭の文字列の順番を示
す開始ブロックで、116は上記矩形領域の終端の文字
列の順番を示す終了ブロックである。117は開始ブロ
ック115から終了ブロック116までの矩形領域の座
標・サイズ情報を示す領域座標情報であって、118は
開始ブロック115が「5」で終了ブロック116が
「6」の領域に対する座標情報である。図28に示すよ
うに、レイアウト情報は、複数の連続した文字列を組み
合わせた矩形領域を、開始ブロック115、終了ブロッ
ク116、及びこれに関連付けられた座標・サイズ情報
から構成される。
The layout analysis means 101 forms a rectangular area in which a plurality of continuous character strings are combined from the character string cutout result, and extracts the coordinates and size information for each area to create layout information. FIG. 28
FIG. 6 is a diagram showing layout information created by a layout analysis unit. In the figure, 115 is a layout analysis unit 1.
01 is a start block indicating the order of the character strings at the beginning of the rectangular area, and 116 is an end block indicating the order of the character strings at the end of the rectangular area. Reference numeral 117 is area coordinate information indicating coordinate / size information of a rectangular area from the start block 115 to the end block 116, and 118 is coordinate information for an area where the start block 115 is “5” and the end block 116 is “6”. is there. As shown in FIG. 28, the layout information includes a start block 115, an end block 116, and coordinate / size information associated with the rectangular area in which a plurality of consecutive character strings are combined.

【0008】文字認識手段102では、レイアウト解析
手段101により得られた文字列切り出し、文字切り出
し結果に基づいて文字画像を文字コードに変換した文字
認識結果を得る(ステップST103)。図29は文字
認識手段による文字認識結果を示す図である。図におい
て、119は上述した図28における開始ブロックが
「5」で終了ブロックが「6」の領域に対する文字認識
結果である。
The character recognition means 102 cuts out the character string obtained by the layout analysis means 101, and obtains a character recognition result by converting a character image into a character code based on the character cutout result (step ST103). FIG. 29 is a diagram showing the result of character recognition by the character recognition means. In the figure, reference numeral 119 is the character recognition result for the area in which the start block is "5" and the end block is "6" in FIG.

【0009】次に、文書項目分類手段103は、文字認
識手段102から取得した文書レイアウトと文書コンテ
ンツの双方を用いて文書の項目を分類する(ステップS
T104)。先ず、文書レイアウト情報を用いた分類
は、図28に示す文書レイアウト情報と図27に示す文
書レイアウト知識とを照合することにより実現する。こ
の照合は、図28に示した開始ブロック115から終了
ブロック116までの矩形領域の座標情報と、図27に
示した文書レイアウト知識の各項目の座標情報とを用い
て、下記式(1)に従って照合度Pijを各項目ごとに
算出する。 Pij=100×(項目iとブロックjの重なり領域の面積)×2/(項目i の面積+ブロックjの面積) ・・・(1)
Next, the document item classification means 103 classifies the document items using both the document layout and the document contents acquired from the character recognition means 102 (step S).
T104). First, the classification using the document layout information is realized by collating the document layout information shown in FIG. 28 with the document layout knowledge shown in FIG. This matching is performed using the coordinate information of the rectangular area from the start block 115 to the end block 116 shown in FIG. 28 and the coordinate information of each item of the document layout knowledge shown in FIG. The matching degree Pij is calculated for each item. Pij = 100 × (area of overlapping area of item i and block j) × 2 / (area of item i + area of block j) (1)

【0010】図30は文書項目分類手段による文書レイ
アウト情報と文書レイアウト知識との照合結果を示す図
である。図において、120は図28における開始ブロ
ック115が「5」で終了ブロック116が「6」の領
域に対する座標情報118と開催日時との照合度であ
り、「46」となる。つまり、図28における開始ブロ
ック115が「5」で終了ブロック116が「6」の領
域に対する座標情報118で形成される領域の面積は9
0(幅)×10(高さ)=900、図27における開催
日時に対する座標情報118で形成される領域の面積は
90(幅)×3(高さ)=270、双方の領域が重畳す
る領域の面積は270なので、照合度は100×270
×2/(900+270)=46となる。上述した方法
で、文書項目分類手段103は、全ての領域及び文書項
目に対して文書レイアウト情報による照合度を算出す
る。
FIG. 30 is a diagram showing a result of collation of document layout information and document layout knowledge by the document item classification means. In the figure, 120 is the degree of matching between the coordinate information 118 and the holding date and time for the region in which the start block 115 is “5” and the end block 116 is “6” in FIG. 28, which is “46”. That is, the area of the region formed by the coordinate information 118 is 9 for the region where the start block 115 is “5” and the end block 116 is “6” in FIG.
0 (width) × 10 (height) = 900, the area of the region formed by the coordinate information 118 with respect to the date and time of holding in FIG. 27 is 90 (width) × 3 (height) = 270, and the region where both regions overlap Since the area of 270 is 270, the matching degree is 100 × 270
X2 / (900 + 270) = 46. By the method described above, the document item classification unit 103 calculates the matching degree based on the document layout information for all areas and document items.

【0011】一方、文書コンテンツ知識を用いた分類
は、文字認識手段102からの文字認識結果と文書コン
テンツ知識ファイル108からの文書コンテンツ知識と
を照合することにより実現する。つまり、文字認識結果
における連続した文字で構成される文字群と文書コンテ
ンツ知識とを照合して、キーワードとして文書コンテン
ツ知識に予め登録しておいた文字列に合致すると、下記
式(2)による照合度Pcを加算する。一方、存在して
はならないキーワードに合致した場合には下記式(3)
による負の照合度Peを加算する。最終的には、照合度
Pc及びPeから総合的な照合度Paを下記式(4)に
従って算出する。 Pc=20×(合致したキーワードの文字数) ・・・(2) Pe=−50×(合致したキーワードの個数) ・・・(3) Pa=Pc+Pe ・・・(4)
On the other hand, the classification using the document content knowledge is realized by collating the character recognition result from the character recognition means 102 with the document content knowledge from the document content knowledge file 108. That is, when a character group composed of consecutive characters in the character recognition result is collated with the document content knowledge and the character string registered in the document content knowledge as a keyword is matched, the collation by the following formula (2) is performed. The degree Pc is added. On the other hand, in the case of matching with a keyword that should not exist, the following formula (3)
The negative matching degree Pe due to is added. Finally, the total matching degree Pa is calculated from the matching degrees Pc and Pe according to the following equation (4). Pc = 20 × (number of matching keyword characters) (2) Pe = −50 × (number of matching keywords) (3) Pa = Pc + Pe (4)

【0012】具体例を挙げて説明する。図31は文書コ
ンテンツ知識ファイルの内容の一例を示す図、図32は
文書項目分類手段による文字認識結果と文書コンテンツ
知識との照合結果を示す図で、図33は文書項目分類手
段によって統合された文字認識結果と文書コンテンツ知
識との照合結果を示す図であり、図34は文書項目分類
手段が分類した文書項目と文字列との対応関係を示す図
である。図において、121は「開催場所」の項目に対
応するキーワード情報、122はキーワード「開催場
所」、123はキーワード「場所」、124はキーワー
ド「会議室」、125はキーワード「ルーム」、126
はキーワード「ミーティング」、127はキーワード
「会議名称」、128はキーワード「開催日時」、12
9は開始ブロックが「2」で終了ブロックが「3」であ
る領域と開催場所の項目との照合度、130は開始ブロ
ックが「1」で終了ブロックが「1」である領域と会議
名称の項目との照合度、131は開始ブロックが「2」
で終了ブロックが「3」である領域と開催場所の項目と
の照合度、132は開始ブロックが「4」で終了ブロッ
クが「5」である領域と開催日時の項目との照合度、1
33は開始ブロックが「6」で終了ブロックが「7」で
ある領域と出席者の項目との照合度、134は会議名
称、開催場所、開催日時、出席者とブロックとの対応関
係、135は対応関係134における照合度、136は
最大の照合度を与えるブロックの組み合わせを示してい
る。
A specific example will be described. FIG. 31 is a diagram showing an example of the contents of the document content knowledge file, FIG. 32 is a diagram showing the result of collation between the character recognition result by the document item classification means and the document content knowledge, and FIG. 33 is integrated by the document item classification means. FIG. 34 is a diagram showing a collation result between the character recognition result and the document content knowledge, and FIG. 34 is a diagram showing a correspondence relationship between the document items classified by the document item classification means and the character strings. In the figure, 121 is the keyword information corresponding to the item "holding place", 122 is the keyword "holding place", 123 is the keyword "place", 124 is the keyword "meeting room", 125 is the keyword "room", 126
Is the keyword “meeting”, 127 is the keyword “meeting name”, 128 is the keyword “date and time of event”, 12
9 is the degree of matching between the area where the starting block is “2” and the ending block is “3” and the item of the venue, and 130 is the area where the starting block is “1” and the ending block is “1” and the meeting name. The degree of matching with the item, the start block of 131 is “2”
The degree of matching between the area whose end block is "3" and the item of the venue is 132, and the degree of matching 132 between the area whose start block is "4" and the end block is "5" and the item of the holding date and time, 1
33 is the degree of matching between the area in which the start block is “6” and the end block is “7” and the items of the attendees, 134 is the conference name, the place of the event, the date and time of the event, the correspondence relationship between the attendees and the block, and 135 is The degree of matching 136 in the correspondence relation 134 indicates a combination of blocks that gives the maximum degree of matching.

【0013】ここでは、図32に示した開始ブロックが
「2」で終了ブロックが「3」の領域と開催場所との照
合度129を求める場合について説明する。先ず、文書
項目分類手段103は、開始ブロックが「2」で終了ブ
ロックが「3」の領域に対応する図29に示す文字認識
結果119と図31に示す「開催場所」に対応するキー
ワード情報121とを照合する。具体的には、文書項目
分類手段103が、開催場所項目の先頭に位置するキー
ワード「開催場所」122及び「場所」123と図29
に示す文字認識結果119との照合をとる。このとき、
開催場所項目の先頭に位置するキーワードは、領域の先
頭から始まる文字列のみを対象にして照合を行う。この
場合、文字認識結果119の先頭の文字列は、キーワー
ド「開催場所」122、「場所」123のいずれとも一
致しないので、照合度の加算は行わない。
Here, a case will be described in which the degree of matching 129 between the area where the starting block is "2" and the ending block is "3" shown in FIG. First, the document item classification means 103 has the keyword information 121 corresponding to the character recognition result 119 shown in FIG. 29 corresponding to the area where the start block is “2” and the end block is “3” and the “holding place” shown in FIG. 31. And match. Specifically, the document item classification means 103 displays the keywords "holding place" 122 and "place" 123 located at the beginning of the holding place item and the FIG.
The character recognition result 119 shown in FIG. At this time,
The keyword located at the beginning of the venue item is matched only with the character string starting from the beginning of the area. In this case, since the first character string of the character recognition result 119 does not match any of the keywords “holding place” 122 and “place” 123, the matching degree is not added.

【0014】次に、文書項目分類手段103は、開催場
所項目の末尾に位置するキーワード「会議室」124及
び「ルーム」125と文字認識結果119とを照合す
る。このとき、開催場所項目の末尾に位置するキーワー
ドは、領域の末尾で終了する文字列のみを対象にして照
合を行う。この場合、文字認識結果119の末尾の文字
列は、キーワード「会議室」124と一致するので、上
記式(2)に従って20×3(文字数)=60を照合度
に加算する。
Next, the document item classification means 103 collates the keywords "meeting room" 124 and "room" 125 located at the end of the holding place item with the character recognition result 119. At this time, the keyword located at the end of the holding place item is matched only with the character string ending at the end of the area. In this case, since the character string at the end of the character recognition result 119 matches the keyword “meeting room” 124, 20 × 3 (the number of characters) = 60 is added to the matching degree according to the above equation (2).

【0015】位置が任意のキーワード「ミーティング」
126と文字認識結果119との照合は、全ての文字認
識結果を対象に照合を行う。この場合、文字認識結果1
19にキーワード「ミーティング」126は1度も現れ
ないので、照合度の加算は行わない。
The keyword "meeting" whose position is arbitrary
The collation between 126 and the character recognition result 119 is performed on all the character recognition results. In this case, character recognition result 1
Since the keyword "meeting" 126 never appears in 19, the matching degree is not added.

【0016】禁止キーワード「会議名称」127及び
「開催日時」128との照合は、全ての文字認識結果を
対象にして照合を行う。このとき、文書項目分類手段1
03は、照合が成立すると、入ってはならないキーワー
ドが存在したとして照合度を減算する。この場合、文字
認識結果119の先頭の文字列がキーワード「会議名
称」127と一致するので、上記式(3)に従って照合
度を50だけ減算する。
The matching with the prohibited keywords "meeting name" 127 and "holding date and time" 128 is carried out for all character recognition results. At this time, the document item classification means 1
When the collation is successful, 03 deducts the collation degree because there is a keyword that should not be entered. In this case, since the leading character string of the character recognition result 119 matches the keyword “meeting name” 127, the matching degree is decremented by 50 according to the above equation (3).

【0017】上述のようにして、文書項目分類手段10
3が算出した加算分と減算分を足し合わせ、図31に示
すように、開始ブロックが「2」で終了ブロックが
「3」の領域と開催場所との最終的な照合度129とし
て、「10」を得る。
As described above, the document item classification means 10
The addition amount and the subtraction amount calculated by 3 are added, and as shown in FIG. 31, as the final matching degree 129 of the area where the starting block is “2” and the ending block is “3” and the venue, “10 Get

【0018】上記と同様な方法で、文書項目分類手段1
03が全ての領域及び文書項目に対して文書コンテンツ
情報による照合度を算出する。
In the same manner as described above, the document item classification means 1
03 calculates the matching degree based on the document content information for all the areas and the document items.

【0019】次に、文書項目分類手段103は、文書レ
イアウト情報と文書コンテンツ知識とに対する照合度を
求めた後、双方の照合度を加算し、図33に示す連続す
る文字列領域と文書項目との総合的な照合度を算出す
る。
Next, the document item classification means 103 obtains the degree of matching with respect to the document layout information and the document content knowledge, and then adds up the degree of matching of both, to obtain a continuous character string area and document items shown in FIG. Compute the overall matching degree of.

【0020】連続する文字列領域と文書項目との総合的
な照合度を算出した後、文書項目分類手段103は、図
27に示した文書レイアウト知識の項目の座標値から、
読取対象文書が上から順に「会議名称」、「開催場
所」、「開催日時」、「出席者」の順番で配列されてい
ることを求める。これを基にして、文書項目分類手段1
03は、文書の各項目に対応する可能性を持つ連続文字
列領域の組み合わせを抽出する。図26に示した文書の
場合、7行の文字列から4領域を抽出し、各領域に対し
て必ず1行以上の文字列を割り当て、上から「会議名
称」、「開催場所」、「開催日時」、「出席者」の順に
配列する組み合わせを抽出する。その結果、図34に示
す組み合わせが得られる。
After calculating the total degree of collation between the continuous character string area and the document item, the document item classification means 103 calculates the coordinate value of the item of the document layout knowledge shown in FIG.
It is required that the documents to be read are arranged in the order of "meeting name", "venue", "date and time", and "attendees" from the top. Based on this, document item classification means 1
03 extracts a combination of continuous character string regions that may correspond to each item of the document. In the case of the document shown in FIG. 26, 4 areas are extracted from the 7-row character string, and at least 1 character string is assigned to each area, and the "meeting name", "venue", and "holding" Extract the combinations arranged in the order of "date and time" and "attendees". As a result, the combination shown in FIG. 34 is obtained.

【0021】次に、それぞれの領域と文書項目の組み合
わせを行った場合の、文書全体としてみた場合の照合度
を求める。図34に示す会議名称、開催場所、開催日時
及び出席者とブロックとの対応関係134の場合、それ
ぞれの項目に対する照合度を図33により求める。つま
り、会議名称には開始ブロックが「1」で終了ブロック
が「1」である領域が対応しており、図33からその照
合度130は「−50」となる。また、開催場所には開
始ブロックが「2」で終了ブロックが「3」の領域が対
応しており、図33からその照合度131は「10」と
なる。さらに、開催日時には開始ブロックが「4」で終
了ブロックが「5」の領域が対応しており、図33から
その照合度132は「136」となる。最後に、出席者
には開始ブロックが「6」で終了ブロックが「7」の領
域が対応しており、図33からその照合度133は「3
8」となる。これらの照合度を加算することで、図34
に示す会議名称、開催場所、開催日時及び出席者とブロ
ックとの対応関係134に対する照合度136として
「134」を得る。
Next, the degree of collation of the entire document when the respective areas and the document items are combined is obtained. In the case of the meeting name, the place of the meeting, the date and time of the meeting, and the correspondence relationship 134 between the attendees and the block shown in FIG. 34, the matching degree for each item is obtained from FIG. That is, the area corresponding to the conference name has the start block “1” and the end block “1”, and the matching degree 130 is “−50” from FIG. 33. In addition, an area in which the starting block is “2” and the ending block is “3” corresponds to the holding place, and the matching degree 131 is “10” from FIG. 33. Furthermore, an area in which the start block is “4” and the end block is “5” corresponds to the holding date and time, and the matching degree 132 is “136” from FIG. 33. Finally, the attendee corresponds to the area in which the starting block is “6” and the ending block is “7”, and the matching degree 133 is “3” from FIG. 33.
8 ". By adding these matching degrees, FIG.
“134” is obtained as the collation degree 136 for the meeting name, the venue, the date and time of the conference, and the correspondence relationship 134 between the attendees and the block shown in FIG.

【0022】上述した方法により、文書項目分類手段1
03は、文書の各項目に対応する可能性を持つ連続文字
列領域の全ての組み合わせに対して照合度を算出すると
ともに、この照合度が最も大きくなる組み合わせを項目
分類結果とする。図34に示す例では、会議名称に対し
て2行目の文字列、開催場所に対して3行目の文字列、
開催日時に対して4行目の文字列、出席者に対して5行
目の文字列を対応付けた時、最大の照合度を示す。その
結果、正しい項目分類結果が得られる。
According to the method described above, the document item classification means 1
03 calculates the matching degree for all combinations of continuous character string areas that have the possibility of corresponding to each item of the document, and sets the combination having the largest matching degree as the item classification result. In the example shown in FIG. 34, the character string on the second line for the conference name, the character string on the third line for the venue,
When the character string on the fourth line is associated with the date and time of the event and the character string on the fifth line is associated with the attendees, the maximum matching degree is shown. As a result, the correct item classification result is obtained.

【0023】蓄積手段104では、上記の結果得られた
文書項目ごとに分類された文字認識結果を文字認識結果
ファイル109に蓄積する(ステップST105)。
The accumulating means 104 accumulates the character recognition results classified for each document item obtained as described above in the character recognition result file 109 (step ST105).

【0024】次に文書検索処理について説明する。不図
示の入力手段を用いて、検索手段105に検索要求を入
力する(ステップST100a)。検索手段105で
は、上記検索要求を受けると、文字認識結果ファイル1
09に対して検索を行い、上記検索要求に合致した文書
を同定する(ステップST101a)。出力手段106
は、検索手段105によって同定された文字認識結果に
対応する文書画像を文字認識結果ファイル109から抽
出するか、若しくは、文字認識結果ファイル109から
抽出した文字認識結果に対応する文書画像をイメージフ
ァイル100から抽出する(ステップST102a)。
出力手段106は、上述のようにして抽出した文字認識
結果及び/又は文書画像を外部に出力する(ステップS
T103a)。
Next, the document search process will be described. A search request is input to the search means 105 using an input means (not shown) (step ST100a). When the search means 105 receives the search request, the character recognition result file 1
09 is searched to identify a document that matches the search request (step ST101a). Output means 106
Extracts the document image corresponding to the character recognition result identified by the search means 105 from the character recognition result file 109 or the document image corresponding to the character recognition result extracted from the character recognition result file 109 to the image file 100. (Step ST102a).
The output unit 106 outputs the character recognition result and / or the document image extracted as described above to the outside (step S).
T103a).

【0025】[0025]

【発明が解決しようとする課題】従来の文書ファイリン
グ装置は以上のように構成されているので、外乱が加わ
った文書画像を正確に検索することができないという課
題があった。
Since the conventional document filing apparatus is configured as described above, there is a problem that it is not possible to accurately retrieve a document image with disturbance.

【0026】上記課題を具体的に説明すると、従来の文
書ファイリング装置は、文書画像から所望の文字列が切
り出されなかったり、また、文字認識自体に誤りが発生
したり、文書項目ごとの分類に誤りが発生した場合で
も、文書項目分類後の文字認識結果を強制的に出力して
しまう。即ち、網掛けや著しい画像の回転など外乱が加
わった帳票画像が入力されても、通常の帳票画像と同様
に文字列の切り出し、文字認識、文書項目分類という一
連の処理が行われ、この結果が文字認識結果ファイルと
して蓄積される。このため、外乱による誤りが生じた文
字認識結果に対して正確な検索を行うことができなかっ
た。
To explain the above problem in detail, in the conventional document filing apparatus, a desired character string is not cut out from a document image, an error occurs in the character recognition itself, or a document item is classified. Even if an error occurs, the character recognition result after document item classification is forcibly output. In other words, even if a form image with disturbance such as shading or remarkable image rotation is input, a series of processing such as character string cutout, character recognition, and document item classification is performed as in the normal form image. Is stored as a character recognition result file. Therefore, an accurate search cannot be performed for the character recognition result in which an error due to disturbance has occurred.

【0027】また、通常の帳票と外乱が加わった文書の
区別がつかないため、文書画像が正しい文字コードに変
換されていることを確認するためには、全件の文書デー
タについて文書画像と文書読取結果とを比較する必要が
あり、データ入力に多大な時間と労力がかかるという課
題があった。
Further, since it is impossible to distinguish between a normal form and a document to which disturbance has been added, in order to confirm that the document image has been converted into the correct character code, the document image and the document data for all the document data can be confirmed. There is a problem that it is necessary to compare the reading result, and it takes a lot of time and labor to input data.

【0028】この発明は上記のような課題を解決するた
めになされたもので、文書画像を予め設定した文書項目
ごとにファイリングするにあたり、文書検索に支障をき
たす誤りが生じたか否かを判定し、上記誤りが生じた場
合にその認識結果を適宜修正させることで、誤りを含有
する文字認識結果を格納することなく、外乱が加わった
文書画像についても正確に検索することができる文書フ
ァイリング装置及び文書ファイリング方法並びにこれを
コンピュータに実行させる文書ファイリングプログラム
を得ることを目的とする。
The present invention has been made to solve the above problems. When filing a document image for each preset document item, it is determined whether or not an error that hinders document retrieval has occurred. A document filing apparatus capable of accurately retrieving a disturbed document image without storing a character recognition result containing an error by appropriately correcting the recognition result when the above error occurs, and A document filing method and a document filing program that causes a computer to execute the method are provided.

【0029】[0029]

【課題を解決するための手段】この発明に係る文書ファ
イリング装置は、入力した文書画像から抽出した処理領
域内の画像情報を認識して文字コードに変換すると共
に、該変換結果を所定の文書項目ごとに分類する文書フ
ァイリング手段と、該文書ファイリング手段が入力文書
画像を処理するにあたり、予め設定した所定の判定条件
と入力文書画像に対する処理過程における各処理結果と
を比較し、該比較結果に基づいて文書ファイリング手段
の処理に誤りがあるか否かを判定する誤り判定手段と、
該誤り判定手段によって処理に誤りがあると判定される
と、これに該当する処理結果に対する修正指示情報を提
示すると共に、これに応じて入力された修正情報に従っ
て処理結果を修正する修正手段と、文書ファイリング手
段の処理結果及び/又は修正手段の修正結果を用いて、
入力画像に関する文書ファイリングデータを生成し格納
する文書データ蓄積手段とを備えるものである。
A document filing apparatus according to the present invention recognizes image information in a processing area extracted from an input document image, converts it into a character code, and converts the conversion result into a predetermined document item. A document filing unit that classifies each of the input document images and a predetermined filing condition that is set in advance when the document filing unit processes the input document image are compared with each processing result in the process of processing the input document image, and based on the comparison result. Error determining means for determining whether or not there is an error in the processing of the document filing means,
When the error determining unit determines that the process has an error, the correcting unit presents the correction instruction information for the corresponding process result, and corrects the process result in accordance with the correction information input in accordance with the correction instruction information. Using the processing result of the document filing means and / or the correction result of the correction means,
Document data storage means for generating and storing document filing data relating to an input image.

【0030】この発明に係る文書ファイリング装置は、
誤り判定手段が文書ファイリング手段によって入力文書
画像から抽出される処理領域内の文字列の配列方向を判
定条件とするものである。
The document filing apparatus according to the present invention is
The error determining means uses the arrangement direction of the character strings in the processing area extracted from the input document image by the document filing means as the determination condition.

【0031】この発明に係る文書ファイリング装置は、
誤り判定手段が文書ファイリング手段によって入力文書
画像から抽出される処理領域内の文字列の行数を判定条
件とするものである。
The document filing apparatus according to the present invention is
The error determining means uses the number of lines of the character string in the processing area extracted from the input document image by the document filing means as the determination condition.

【0032】この発明に係る文書ファイリング装置は、
誤り判定手段が文書ファイリング手段によって入力文書
画像から抽出される処理領域内の文字列の位置を判定条
件とするものである。
The document filing apparatus according to the present invention is
The error determination means uses the position of the character string in the processing area extracted from the input document image by the document filing means as the determination condition.

【0033】この発明に係る文書ファイリング装置は、
誤り判定手段が文書ファイリング手段によって入力文書
画像から抽出される処理領域内の文字列サイズ及び/又
は文字列を構成する文字サイズを判定条件とするもので
ある。
The document filing apparatus according to the present invention is
The error determining means uses the character string size in the processing area extracted from the input document image by the document filing means and / or the character size forming the character string as the determination condition.

【0034】この発明に係る文書ファイリング装置は、
誤り判定手段が文書ファイリング手段によって入力文書
画像から抽出される処理領域内の文字認識の尤度を判定
条件とするものである。
The document filing apparatus according to the present invention is
The error determination means uses the likelihood of character recognition in the processing area extracted from the input document image by the document filing means as the determination condition.

【0035】この発明に係る文書ファイリング装置は、
誤り判定手段が文書ファイリング手段によって入力文書
画像から抽出される処理領域内の文字数を判定条件とす
るものである。
The document filing apparatus according to the present invention is
The error determination means uses the number of characters in the processing area extracted from the input document image by the document filing means as the determination condition.

【0036】この発明に係る文書ファイリング装置は、
誤り判定手段が文書ファイリング手段によって入力文書
画像から抽出される処理領域内の画像情報の文字コード
変換結果を判定条件とするものである。
The document filing apparatus according to the present invention is
The error determining means uses the character code conversion result of the image information in the processing area extracted from the input document image by the document filing means as the determination condition.

【0037】この発明に係る文書ファイリング装置は、
誤り判定手段が文書ファイリング手段によって分類され
る文書項目の充足度を判定条件とするものである。
The document filing apparatus according to the present invention is
The error determination means uses the satisfaction degree of the document items classified by the document filing means as the determination condition.

【0038】この発明に係る文書ファイリング装置は、
修正手段が、処理結果の判定条件と差異がある部分のみ
を修正指示情報として提示すると共に、上記差異がある
部分に対して入力された修正情報に従って上記処理結果
を修正するものである。
The document filing apparatus according to the present invention is
The correction means presents only the portion having a difference from the determination condition of the processing result as the correction instruction information, and corrects the processing result according to the correction information input to the portion having the difference.

【0039】この発明に係る文書ファイリング装置は、
修正手段が修正情報として文書画像内の部分領域を指定
可能な修正指示情報を提示するものである。
The document filing apparatus according to the present invention is
The correction means presents correction instruction information that can specify a partial area in the document image as the correction information.

【0040】この発明に係る文書ファイリング装置は、
修正手段が、処理結果の判定条件と差異がある部分を外
部から修正可能な修正指示情報を提示するものである。
The document filing apparatus according to the present invention is
The correction means presents correction instruction information capable of externally correcting a portion that differs from the determination condition of the processing result.

【0041】この発明に係る文書ファイリング装置は、
修正手段が、処理結果に誤りがある旨の判定結果を外部
から判断可能な修正指示情報を提示するものである。
The document filing apparatus according to the present invention is
The correction means presents correction instruction information capable of externally determining the determination result that the processing result is incorrect.

【0042】この発明に係る文書ファイリング装置は、
文書データ蓄積手段が、文書ファイリング手段の処理結
果と修正手段の修正結果とを組み合わせたデータを文書
ファイリングデータとして格納するものである。
The document filing apparatus according to the present invention is
The document data storage means stores, as document filing data, data obtained by combining the processing result of the document filing means and the correction result of the correction means.

【0043】この発明に係る文書ファイリング方法は、
入力した文書画像から抽出した処理領域内の画像情報を
認識して文字コードに変換すると共に、該変換結果を所
定の文書項目ごとに分類する文書ファイリングステップ
と、該文書ファイリングステップにて入力文書画像を処
理するにあたり、予め設定した所定の判定条件と入力文
書画像に対する処理過程における各処理結果とを比較
し、該比較結果に基づいて文書ファイリングステップに
おける処理に誤りがあるか否かを判定する誤り判定ステ
ップと、該誤り判定ステップにて処理に誤りがあると判
定されると、これに該当する処理結果に対する修正指示
情報を提示すると共に、これに応じて入力された修正情
報に従って処理結果を修正する修正ステップと、文書フ
ァイリングステップにおける処理結果及び/又は修正ス
テップにおける修正結果を用いて、入力画像に関する文
書ファイリングデータを生成するファイリングデータ生
成ステップとを備えるものである。
The document filing method according to the present invention is
A document filing step of recognizing the image information in the processing area extracted from the input document image and converting it into a character code, and classifying the conversion result for each predetermined document item, and an input document image in the document filing step In processing the above, a predetermined judgment condition set in advance is compared with each processing result in the processing process for the input document image, and an error is judged based on the comparison result whether or not there is an error in the processing in the document filing step. When it is determined that the processing has an error in the determination step and the error determination step, the correction instruction information for the corresponding processing result is presented, and the processing result is corrected according to the correction information input accordingly. Correction step to be performed, the processing result in the document filing step and / or the correction in the correction step With fruit, but with a filing data generation step of generating a document filing data about the input image.

【0044】この発明に係る文書ファイリングプログラ
ムは、入力した文書画像から抽出した処理領域内の画像
情報を認識して文字コードに変換すると共に、該変換結
果を所定の文書項目ごとに分類する文書ファイリングス
テップと、該文書ファイリングステップにて入力文書画
像を処理するにあたり、予め設定した所定の判定条件と
入力文書画像に対する処理過程における各処理結果とを
比較し、該比較結果に基づいて文書ファイリングステッ
プにおける処理に誤りがあるか否かを判定する誤り判定
ステップと、該誤り判定ステップにて処理に誤りがある
と判定されると、これに該当する処理結果に対する修正
指示情報を提示すると共に、これに応じて入力された修
正情報に従って処理結果を修正する修正ステップと、文
書ファイリングステップにおける処理結果及び/又は修
正ステップにおける修正結果を用いて、入力画像に関す
る文書ファイリングデータを生成するファイリングデー
タ生成ステップとをコンピュータに実行させるものであ
る。
A document filing program according to the present invention recognizes image information in a processing area extracted from an input document image, converts the image information into a character code, and classifies the conversion result into predetermined document items. In processing the input document image in the step and the document filing step, a predetermined determination condition set in advance is compared with each processing result in the process of processing the input document image, and based on the comparison result, the document filing step is performed. An error determination step of determining whether or not there is an error in the process, and when it is determined that the process has an error in the error determination step, the correction instruction information for the process result corresponding to this is presented and The correction step to correct the processing result according to the correction information input according to Tsu using a modified result of processing results and / or modification steps in the flop, is intended to execute the filing data generating step to the computer to produce a document filing data about the input image.

【0045】[0045]

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態1.図1はこの発明の実施の形態1による文
書ファイリング装置の構成を示す図である。図におい
て、1は文書画像を格納するイメージファイルで、スキ
ャナなどの不図示の画像入力装置を用いて入力した文書
画像を格納するコンピュータのハードディスク装置やC
D−ROMなどの記録媒体などで実現される。2はイメ
ージファイル1に格納した文書画像をレイアウト解析す
るレイアウト解析手段(文書ファイリング手段)であっ
て、文書レイアウト知識ファイル8に格納された文書レ
イアウト知識に従って文書画像から文字認識すべき画像
領域を抽出する。3はレイアウト解析手段2が抽出した
処理領域内の画像情報を文字コードに変換する文字認識
手段(文書ファイリング手段)で、例えばレイアウト解
析手段2によって1文字ごとに切り出された文字画像を
文字コードに変換する。4は文字認識手段2による変換
結果を予め設定された文字項目ごとに分類する文字項目
分類手段(文書ファイリング手段)であって、レイアウ
ト解析手段2及び文字認識手段3から出力された文字列
・文字切り出し結果及び文字認識結果と、文書レイアウ
ト知識ファイル8及び文書コンテンツ知識ファイル9に
格納された文書項目に関する制約条件とを照合して、文
字認識結果を文書項目ごとの部分領域に分類する。
BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described below. Embodiment 1. 1 is a diagram showing the configuration of a document filing apparatus according to Embodiment 1 of the present invention. In the figure, 1 is an image file for storing a document image, which is a hard disk device of a computer or C for storing a document image input using an image input device (not shown) such as a scanner.
It is realized by a recording medium such as a D-ROM. Reference numeral 2 denotes a layout analysis means (document filing means) for performing a layout analysis of the document image stored in the image file 1, and extracts an image area for character recognition from the document image according to the document layout knowledge stored in the document layout knowledge file 8. To do. Reference numeral 3 denotes a character recognition means (document filing means) for converting the image information in the processing area extracted by the layout analysis means 2 into a character code. For example, a character image cut out for each character by the layout analysis means 2 is converted into a character code. Convert. Reference numeral 4 denotes a character item classification means (document filing means) for classifying the conversion result of the character recognition means 2 for each preset character item, and character strings / characters outputted from the layout analysis means 2 and the character recognition means 3. The cutout result and the character recognition result are collated with the constraint conditions relating to the document items stored in the document layout knowledge file 8 and the document content knowledge file 9, and the character recognition result is classified into partial areas for each document item.

【0046】6はキーワードファイル13内の文書デー
タを検索する検索手段で、外部から入力された文書項目
ごとの検索情報(キーワード)に従って検索を行う。7
は検索手段6で得られた文書を文書画像及び文字コード
で出力する出力手段であって、コンピュータの表示装置
などから構成される。8は文書項目ごとの文書レイアウ
ト上の規則について記述した文書レイアウト知識ファイ
ルで、レイアウト解析手段2によって適宜読み出されて
レイアウト解析に使用される。9は文書項目毎に記述さ
れる単語の情報を保持した文書コンテンツ知識ファイル
であって、文書項目分類手段4によって適宜読み出され
て文書項目の分類に使用される。10は自動キーワード
付け判定手段(誤り判定手段)で、レイアウト解析手段
2、文字認識手段3及び文書項目分類手段4で出力され
た文字列・文字切り出し結果、文字認識結果、文書項目
分類結果が文書検索を行う上で支障があるか否かを判定
する。
Reference numeral 6 is a retrieval means for retrieving the document data in the keyword file 13, which retrieves according to the retrieval information (keyword) for each document item inputted from the outside. 7
Is an output means for outputting the document obtained by the search means 6 in the form of a document image and a character code, and comprises a display device of a computer or the like. Reference numeral 8 denotes a document layout knowledge file that describes the rules on the document layout for each document item, which is appropriately read by the layout analysis means 2 and used for layout analysis. Reference numeral 9 is a document content knowledge file holding information of words described for each document item, which is appropriately read by the document item classification means 4 and used for classification of document items. Reference numeral 10 is an automatic keyword attaching determination means (error determination means), which is a character string / character cutout result, character recognition result, and document item classification result output by the layout analysis means 2, the character recognition means 3, and the document item classification means 4. It is determined whether or not there is a problem in performing the search.

【0047】11は自動キーワード付け判定手段10に
よる自動キーワード付け結果が不可であると判定された
文書項目に対してキーワードを付与するキーワード入力
手段(修正手段)であって、コンピュータのCPUが実
行する修正処理に関するソフトウェアの他に、自動キー
ワード付け判定手段10によって不可と判定された処理
結果を表示するコンピュータの表示装置やこれを介して
修正情報を入力する入力手段などから構成される。12
はキーワード蓄積手段(文書データ蓄積手段)で、自動
的に作成されたキーワードとキーワード入力手段11を
介して手動で入力されたキーワードを組み合わせてキー
ワードを出力・蓄積する。13はキーワード蓄積手段1
2により生成された文書データを蓄積するキーワードフ
ァイル(文書データ蓄積手段)である。
Reference numeral 11 is a keyword inputting means (correcting means) for adding a keyword to a document item for which the automatic keyword attaching judging means 10 has determined that the automatic keyword attaching result is impossible, and is executed by the CPU of the computer. In addition to the software relating to the correction processing, the automatic keyword assignment determination means 10 includes a display device of a computer for displaying the processing result determined to be impossible, an input means for inputting the correction information via the display device. 12
Is a keyword storage unit (document data storage unit) that outputs and stores the keyword by combining the automatically created keyword and the keyword manually input through the keyword input unit 11. 13 is a keyword storage means 1
2 is a keyword file (document data storage means) for storing the document data generated in 2.

【0048】図2は図1中のイメージファイルに格納さ
れた文書画像を示す図、図3は文書画像から得られた文
書項目ごとの文字認識結果を示す図、図4は図3の文書
項目「議事内容」に対する内容を詳細に示す図であり、
図5は図1中の自動キーワード付け判定手段に設定され
た自動キーワード付け判定条件を示す図である。図6は
図1中の自動キーワード付け判定手段による自動キーワ
ード付け判定結果を示す図、図7は文書項目「会議名
称」に対する修正画面の初期状態を示す図、図8は文書
項目「会議名称」に対する修正画面の修正後の状態を示
す図、図9は文書項目「会議日時」に対する修正画面の
初期状態を示す図、図10は文書項目「会議日時」に対
する修正画面において自動キーワードを削除した状態を
示す図、図11は文書項目「会議日時」に対する修正画
面においてキーワードを入力した状態を示す図で、図1
2は文書項目「議事内容」に対する修正画面の初期状態
を示す図であり、図13は図1中のキーワードファイル
の内容を示す図である。
FIG. 2 is a diagram showing a document image stored in the image file in FIG. 1, FIG. 3 is a diagram showing a character recognition result for each document item obtained from the document image, and FIG. 4 is a document item shown in FIG. It is a figure which shows the content with respect to "meeting content" in detail,
FIG. 5 is a diagram showing the automatic keyword attaching determination conditions set in the automatic keyword attaching determining means in FIG. 6 is a diagram showing the result of automatic keyword assignment determination by the automatic keyword assignment determination means in FIG. 1, FIG. 7 is a diagram showing the initial state of the correction screen for the document item "meeting name", and FIG. 8 is the document item "conference name". FIG. 9 is a diagram showing a state after the correction screen is corrected, FIG. 9 is a diagram showing an initial state of the correction screen for the document item “meeting date and time”, and FIG. 11 is a diagram showing a state in which a keyword is input on the correction screen for the document item "meeting date and time".
2 is a diagram showing the initial state of the correction screen for the document item "contents of proceedings", and FIG. 13 is a diagram showing the contents of the keyword file in FIG.

【0049】次に動作について説明する。先ず、レイア
ウト解析手段2は、イメージファイル1から図2に示す
文書画像14を読み出して文書レイアウトを解析する。
具体的に説明すると、レイアウト解析手段2は、文書レ
イアウト知識ファイル8に記載された内容を利用して、
文書画像内の文字列、文字を切り出す(文書ファイリン
グステップ)。
Next, the operation will be described. First, the layout analysis unit 2 reads the document image 14 shown in FIG. 2 from the image file 1 and analyzes the document layout.
More specifically, the layout analysis unit 2 uses the contents described in the document layout knowledge file 8 to
Cut out character strings and characters in a document image (document filing step).

【0050】次に、文字認識手段3は、レイアウト解析
手段2が文書画像から抽出した処理領域である文字列・
文字切り出し結果に基づいて文字画像を文字コードに変
換した文字認識結果を得る。さらに、文書項目分類手段
4は、従来の技術と同様に、文書コンテンツ知識ファイ
ル9内の文書コンテンツ情報を適宜参照して、文字認識
手段3から取得した文字認識結果を予め設定した文書項
目ごとに分類する。これらの操作を文書画像14に施す
ことにより、図3に示すような、文字列切り出し、文字
切り出し結果、文字認識結果、文書項目分類結果を得
る。図3では、文書項目が5項目存在し、文書項目「会
議名称」15〜「議事内容」19に対する結果を格納す
る。各項目15〜19に対しては「文書項目の行数」2
0、「文書項目の文字数」21が格納され、各行に対し
ては「文字列方向」22、「文字列座標(文字列の切り
出し座標)」23、「(行内の)文字数」24、「各文
字の認識結果(切り出し座標、文字コード、類似度)」
25が格納される。図4は図3の文書項目「議事内容」
に対する内容を詳細に記載したものである。
Next, the character recognizing means 3 detects a character string, which is a processing area extracted from the document image by the layout analyzing means 2.
A character recognition result is obtained by converting a character image into a character code based on the character cutout result. Further, the document item classification unit 4 appropriately refers to the document content information in the document content knowledge file 9 as in the conventional technique, and the character recognition result acquired from the character recognition unit 3 is set for each preset document item. Classify. By performing these operations on the document image 14, a character string cutout, a character cutout result, a character recognition result, and a document item classification result as shown in FIG. 3 are obtained. In FIG. 3, there are five document items, and the results for the document items “meeting name” 15 to “meeting content” 19 are stored. "Number of lines of document item" for each item 15 to 2
0, “character number of document item” 21 is stored, “character string direction” 22 for each line, “character string coordinate (coordinate of character string cutout)” 23, “number of characters (in line)” 24, “each Character recognition result (cutout coordinates, character code, similarity) "
25 is stored. Figure 4 shows the document item "Agenda" in Figure 3.
Is described in detail.

【0051】自動キーワード付け判定手段10は、図3
に示す文字列・文字切り出し、文字認識、文書項目分類
の各結果に対して、図5に示す自動キーワード付け判定
条件と比較し、この比較結果に基づいて文書項目ごとに
自動キーワード付けが可能であるか否かを判定する。図
5に示す自動キーワード付け判定条件は、例えば会議名
称、開催場所、開催日時、出席者、議事内容の各項目に
対して付与される。図5における許容文字列方向28
は、各項目に許容する文字列方向を格納し、各項目とも
に横(書き)の文字列のみを許容することを示してい
る。許容行数29は、各項目に許容される文字列の行数
を規定し、会議名称に関しては1行以上4行以下、議事
内容に関しては1行以上、他の項目に関しては1行以上
2行以下の条件で許容する。許容文字列位置30は、各
項目に許容される位置関係を規定し、会議名称、開催場
所、開催日時、出席者、議事内容の各項目が上から順番
に並ぶ条件で許容する。
The automatic keyword attaching judging means 10 is shown in FIG.
The results of the character string / character cutout, character recognition, and document item classification shown in are compared with the automatic keyword assignment determination conditions shown in FIG. 5, and automatic keyword assignment is possible for each document item based on the comparison result. Determine if there is. The automatic keyword addition determination condition shown in FIG. 5 is given to each item of, for example, a conference name, a venue, a date and time of attendance, attendees, and agenda items. Allowable character string direction 28 in FIG.
Indicates that the allowable character string direction is stored in each item, and only the horizontal (write) character string is allowed in each item. The allowable number of lines 29 defines the number of lines of a character string that is allowed for each item, 1 line to 4 lines for the meeting name, 1 line or more for the proceedings, and 1 line to 2 lines for other items. Allowed under the following conditions. The allowable character string position 30 defines the positional relationship allowed for each item, and is allowed under the condition that the items such as the meeting name, the place of the meeting, the date and time of the meeting, the attendees, and the agenda item are arranged in order from the top.

【0052】許容文字列サイズ31は、各項目に許容さ
れる文字列の大きさに関して規定し、全項目ともに文字
列の高さが23未満である条件で許容する。許容文字類
似度32は、各項目に許容される文字認識の結果得られ
る評価値を類似度で表し、全項目ともに類似度の最大値
を100とした評価値で85以上である条件で許容す
る。ここで、上記類似度は、文字認識の結果得られる評
価値によって求められる文字認識の尤度である。許容文
字数33は、各項目に許容される文字の数を規定し、最
大文字数を格納しており、会議名称と開催場所に関して
は30文字以下、開催日時と出席者に関しては50文字
以下である条件で許容する。また、議事内容に関しては
特に条件を規定していない。許容文字サイズ34は、各
項目に属する文字画像のサイズを規定し、全項目ととも
に文字の幅もしくは高さが23未満である条件で許容す
る。必須文字列35は、各項目に必須である単語を規定
し、図5の場合は開催日時に関して「月」、「日」、
「/」のいずれかを含むことを条件で許容する。他の文
書項目に関しては特に条件を規定していない。許容項目
充足数36は、文字列が存在する文書項目の数を規定
し、5つの項目、即ち全項目について文字列が存在する
条件で許容する。
The allowable character string size 31 is defined with respect to the size of the character string allowed for each item, and is allowed under the condition that the height of the character string is less than 23 for all items. The allowable character similarity 32 represents the evaluation value obtained as a result of the character recognition allowed for each item by the similarity, and all the items are allowed under the condition that the evaluation value is 85 or more with the maximum value of the similarity being 100. . Here, the similarity is the likelihood of character recognition obtained from the evaluation value obtained as a result of character recognition. The allowable number of characters 33 defines the maximum number of characters allowed in each item and stores the maximum number of characters. The condition is that the meeting name and the venue are 30 characters or less, and the date and time and attendees are 50 characters or less. Tolerate. In addition, the terms of the proceedings are not specified. The allowable character size 34 defines the size of the character image belonging to each item, and is allowed under the condition that the character width or height is less than 23 with all items. The essential character string 35 defines words that are essential for each item, and in the case of FIG. 5, “month”, “day”, and
It is allowed on condition that it contains either "/". No conditions are specified for other document items. The allowable item satisfaction number 36 defines the number of document items in which a character string exists, and is allowed under the condition that a character string exists in five items, that is, all items.

【0053】なお、図5に示す自動キーワード付け判定
条件は、キーワード入力手段11などの入力手段を介し
て外部から取捨選択することができるようにしてもよ
い。さらに、図5に示す自動キーワード付け判定条件
は、例えば下記の2つ方法で設定される。先ず、予め入
力される帳票の特性に従って、即ち、帳票のサンプルを
基にして条件値を決定しキーワード入力手段11などの
入力手段を介して外部から設定する方法がある。この他
に、例えば「許容文字数」の項目などについては、文字
認識処理の実行中に文書項目の文字数を自動的に計数す
るようにしておき、文書コンテンツ知識などに沿わない
ものを自動キーワード付け不可と判定するようにしても
よい。
The automatic keyword attaching determination condition shown in FIG. 5 may be selected from the outside through an input means such as the keyword input means 11. Furthermore, the automatic keyword addition determination condition shown in FIG. 5 is set by the following two methods, for example. First, there is a method of determining a condition value according to the characteristics of a form that is input in advance, that is, based on a sample of the form, and setting the condition value externally through an input unit such as the keyword input unit 11. In addition to this, for items such as the "allowable number of characters", the number of characters in the document item is automatically counted during the character recognition process, and automatic keyword addition is not possible for items that do not meet the document content knowledge. May be determined.

【0054】自動キーワード付け判定手段10は、上述
した図5に示す自動キーワード付け判定条件と各項目毎
に文字列・文字切り出し、文字認識、文書項目分類の各
結果とを照合する(誤り判定ステップ)。これを詳細に
説明する。先ず、文書項目「会議名称」について照合を
実施する。許容文字列方向28については、図3に示す
「会議名称」15に格納された各行の文字列方向と自動
キーワード付け判定条件を照合する。図3に示す会議名
称15の各行の文字列方向は「横」であり、自動キーワ
ード付け判定条件の許容文字列方向「横」と合致するた
め、自動キーワード付け判定手段10は、許容文字列方
向の条件はクリアと判定する。
The automatic keyword attaching judging means 10 collates the automatic keyword attaching judging condition shown in FIG. 5 with each result of the character string / character cutout, character recognition, and document item classification for each item (error judging step). ). This will be described in detail. First, the document item “meeting name” is collated. Regarding the allowable character string direction 28, the character string direction of each line stored in the “meeting name” 15 shown in FIG. The character string direction of each line of the conference name 15 shown in FIG. 3 is “horizontal”, which coincides with the allowable character string direction “horizontal” of the automatic keyword attaching determination condition. The condition is judged to be clear.

【0055】許容行数29では、図3に示す「会議名
称」15に格納された行数は「4」であり、自動キーワ
ード付け判定条件の許容行数「1以上4以下」と合致す
るため、自動キーワード付け判定手段10は許容行数の
条件はクリアと判定する。許容文字列位置30について
は、図3に示す「会議名称」15に格納された各行の文
字列座標と「開催場所」16に格納された各行の文字列
座標から「会議名称」15と「開催場所」16との領域
の位置関係を求める。具体的には、「会議名称」15の
座標は、1〜4行目の文字列を包含する外接矩形で求め
られ、SX=30,SY=40,W=310,H=12
5となり、「開催場所」16の座標はSX=45,SY
=160,W=180,H=20となるため、「会議名
称」15は「開催場所」16の上部に位置することがわ
かる。
With the allowable number of lines 29, the number of lines stored in the "meeting name" 15 shown in FIG. 3 is "4", which matches the allowable number of lines "1 or more and 4 or less" of the automatic keyword attaching determination condition. The automatic keyword attaching determination means 10 determines that the condition of the allowable number of lines is clear. Regarding the allowable character string position 30, the "meeting name" 15 and the "conference" are displayed based on the character string coordinates of each line stored in the "meeting name" 15 and the character string coordinates of each line stored in the "venue" 16 shown in FIG. The positional relationship of the area with "place 16" is obtained. Specifically, the coordinates of the “meeting name” 15 are obtained by a circumscribing rectangle including the character strings in the first to fourth lines, and SX = 30, SY = 40, W = 310, H = 12.
5, and the coordinates of "holding place" 16 are SX = 45, SY
Since = 160, W = 180, and H = 20, it can be seen that the “meeting name” 15 is located above the “holding place” 16.

【0056】一方、自動キーワード付け判定条件の許容
文字列位置30は「開催場所より上部」であるため、許
容文字列位置の条件はクリアと判断する。許容文字列サ
イズ31については、図3に示す「会議名称」15に格
納された各行の文字列座標から文字列高さの最大値を得
る。図3の場合、1行目、2行目、4行目の各行の高さ
は、25、26、25であり、文字列高さの最大値は2
6となる。また、自動キーワード付け判定条件の許容文
字列サイズ31は「文字列高さ<23」となっているた
め、許容文字列サイズの条件は棄却される。許容文字類
似度32については、図3の「会議名称」15に格納さ
れた各行各文字の類似度値の最低値を求め、「86」を
得る。
On the other hand, since the allowable character string position 30 of the automatic keyword attaching determination condition is "above the holding place", the condition of the allowable character string position is determined to be clear. Regarding the allowable character string size 31, the maximum value of the character string height is obtained from the character string coordinates of each line stored in the "meeting name" 15 shown in FIG. In the case of FIG. 3, the heights of the first, second, and fourth lines are 25, 26, and 25, and the maximum value of the character string height is 2.
It becomes 6. Further, since the allowable character string size 31 of the automatic keyword attaching determination condition is "character string height <23", the condition of the allowable character string size is rejected. As for the allowable character similarity 32, the minimum value of the similarity values of the characters in each line stored in the “meeting name” 15 of FIG. 3 is obtained and “86” is obtained.

【0057】さらに、自動キーワード付け判定条件の許
容文字類似度32は「85以上」となっており、許容文
字類似度の条件はクリアと判断する。許容文字数33に
ついては、図3の「会議名称」15に格納された文字数
を参照し、「39」を得る。自動キーワード付け判定条
件の許容文字数33は「30」となっており、許容最大
文字数を超えているため、許容文字数の条件は棄却され
る。
Further, the allowable character similarity 32 of the automatic keyword attaching determination condition is "85 or more", and it is judged that the condition of the allowable character similarity is clear. For the allowable number of characters 33, "39" is obtained by referring to the number of characters stored in the "meeting name" 15 of FIG. The allowable number of characters 33 of the automatic keyword attaching determination condition is “30”, which exceeds the maximum allowable number of characters, so the condition of the allowable number of characters is rejected.

【0058】続いて、許容文字サイズ34については、
図3の「会議名称」15に格納された各行各文字の認識
結果から各文字画像の座標を抽出し、幅・高さの最大値
を得る。図3の場合、幅の最大値は「26」、高さの最
大値は「25」となる。自動キーワード付け判定条件の
許容文字サイズ34は「文字幅または高さ<23」とな
っており、許容文字サイズを超えているため、許容文字
サイズの条件は棄却される。また、必須文字列35につ
いては、自動キーワード付け判定条件の許容文字サイズ
35の条件が規定されていないため、必須文字列35の
条件はクリアと判断する。最後に、許容項目充足数36
については、図3に示す5つの項目について1行以上の
文字列が対応ついているおり、自動キーワード付け判定
条件の許容項目充足数の「5」を満たしているため、許
容項目充足率の条件はクリアと判断する。
Next, regarding the allowable character size 34,
The coordinates of each character image are extracted from the recognition result of each character in each line stored in the "meeting name" 15 in FIG. 3 to obtain the maximum width / height values. In the case of FIG. 3, the maximum width is “26” and the maximum height is “25”. The allowable character size 34 of the automatic keyword attaching determination condition is "character width or height <23", which exceeds the allowable character size. Therefore, the allowable character size condition is rejected. Further, with respect to the essential character string 35, since the condition of the allowable character size 35 of the automatic keyword attaching determination condition is not defined, it is determined that the condition of the essential character string 35 is clear. Finally, the number of acceptable items is 36
As for the above, since the five items shown in FIG. 3 are associated with character strings of one line or more, and the allowable item satisfaction number “5” of the automatic keyword attaching determination condition is satisfied, the condition of the allowable item satisfaction rate is Judge as clear.

【0059】このように、図3の「会議名称」15に関
しては、許容文字列サイズ31、許容文字数33、許容
文字サイズ34の3条件で棄却と判定される。上記と同
様に、図3の「開催場所」16、「開催日時」17、
「出席者」18、「議事内容」19に対して自動キーワ
ード付け判定条件との照合を行う。その結果、「開催場
所」16及び「出席者」18について、全条件をクリア
する。一方、「開催日時」17に関しては、文字の網掛
け(図2では、電子出願の都合上文字の背景に施した斜
線部で示している)によって、図3の「開催日時」17
で1行目20文字目の類似度26が「52」であり、自
動キーワード付け判定条件の許容文字類似度「85」未
満となるため、許容文字類似度が棄却となる。また、
「議事内容」19に関しては、図4の4行目の文字列方
向で「縦(書き)」27が存在し、自動キーワード付け
判定条件の許容文字列方向「横」と合致しないため、許
容文字列方向で棄却となる。
As described above, the “meeting name” 15 in FIG. 3 is determined to be rejected under the three conditions of the allowable character string size 31, the allowable number of characters 33, and the allowable character size 34. Similarly to the above, "holding place" 16, "holding date and time" 17 of FIG.
The “attendees” 18 and the “meeting details” 19 are collated with the automatic keyword addition determination conditions. As a result, the "holding place" 16 and the "attendee" 18 are all cleared. On the other hand, regarding the “date and time of event” 17, the “date and time of event” 17 of FIG. 3 is indicated by the hatching of the characters (in FIG. 2, it is indicated by the shaded area on the background of the characters for the sake of electronic application).
Since the similarity 26 of the 20th character in the first line is "52", which is less than the allowable character similarity "85" of the automatic keyword attaching determination condition, the allowable character similarity is rejected. Also,
Regarding the “meeting content” 19, there is a “vertical (writing)” 27 in the character string direction on the 4th line in FIG. 4, which does not match the allowable character string direction “horizontal” in the automatic keyword attaching determination condition, so an allowable character Rejected in the row direction.

【0060】自動キーワード付け判定手段10で棄却さ
れた項目は、図6に示すように合致しないキーワード付
け判定条件とともに、図示しない画面表示手段により画
面を表示し修正を促す(修正ステップ)。オペレータ
は、図示しない指示手段により修正する文書項目を指定
する。具体的には、図6に示した自動キーワード付け判
定結果画面に沿って、マウスなどの指示手段を用いて文
書項目を指定する。例えば、図6に示す文書画像14の
前面に出ている自動キーワード付け判定結果画面内の
「会議名称」の部分にマウスカーソルを合わせてクリッ
クすると修正領域を指定することができるようなGUI
を実現するソフトウェアを本願発明の文書ファイリング
プログラムに組み込んでおく。このようなオペレータの
指示により、キーワード入力手段11は図7〜図12に
示す修正用画面を表示する。
The items rejected by the automatic keyword assigning determining means 10 are displayed on a screen by a screen displaying means (not shown) to prompt correction, together with the keyword assigning determining conditions that do not match as shown in FIG. 6 (correction step). The operator designates a document item to be corrected by an instruction means (not shown). Specifically, a document item is designated using an instruction means such as a mouse along the automatic keyword addition determination result screen shown in FIG. For example, a GUI in which the correction area can be designated by placing the mouse cursor on the "meeting name" portion in the automatic keyword attaching determination result screen appearing in front of the document image 14 shown in FIG. 6 and clicking.
Software for realizing the above is incorporated in the document filing program of the present invention. According to such an operator's instruction, the keyword input means 11 displays the correction screens shown in FIGS. 7 to 12.

【0061】図7は文書項目「会議名称」に対する修正
画面の初期状態を示している。修正ウインドウ38の上
段には自動キーワード付けの文字認識結果39が表示さ
れ、下段にはキーワードを入力するための入力欄40が
表示される。初期状態では、キーワード入力欄40は自
動キーワード付け結果がそのまま表示される。自動キー
ワード付け判定手段10では、文書項目「会議名称」に
関しては、文字列サイズ、文字数、文字サイズの3種類
の条件で棄却をされたが、図7に示す画面上で棄却状態
を解消する。例えば、文字数の条件をクリアするために
は文字数を30文字以下に削除する必要がある。この場
合、キーワード入力欄に図示しないカーソルを移動し
て、余分な文字を削除することにより実現する。削除後
の画面を図8に示す(図8中のキーワード入力欄40a
において「○月○日付け」が削除されている)。最後に
出力ボタン41を押下することにより、項目の記述内容
を確定する。この時、図3に示す文字認識結果内のデー
タを編集する。即ち、削除された文字に対応する認識結
果の文字コード、座標、類似度を全て削除する。
FIG. 7 shows the initial state of the correction screen for the document item "meeting name". A character recognition result 39 of automatic keyword addition is displayed in the upper part of the correction window 38, and an input field 40 for inputting a keyword is displayed in the lower part. In the initial state, the keyword input field 40 displays the automatic keyword addition result as it is. The automatic keyword assignment determination means 10 rejects the document item "meeting name" under three conditions of the character string size, the number of characters, and the character size, but cancels the rejected state on the screen shown in FIG. For example, in order to clear the condition of the number of characters, it is necessary to delete the number of characters to 30 or less. In this case, it is realized by moving a cursor (not shown) to the keyword input field and deleting extra characters. The screen after the deletion is shown in FIG. 8 (keyword input field 40a in FIG. 8).
In, "○ month ○ date" has been deleted). By finally pressing the output button 41, the description content of the item is confirmed. At this time, the data in the character recognition result shown in FIG. 3 is edited. That is, the character code, coordinates, and similarity of the recognition result corresponding to the deleted character are all deleted.

【0062】図9は文書項目「会議日時」に対する修正
画面の初期状態を示している。図9の例では、日付を記
入した領域に網掛け(図9では、電子出願の都合上文字
の背景に施した斜線部で示している)が掛かっており、
ノイズ付きの文字をそのまま認識した(図9中のキーワ
ード入力欄40bにおいてノイズ付き文字による不正確
な文字コードが入力されている)ため、自動キーワード
付け結果39aに正確なコードが入っていない。この場
合、図10に示すように文字認識がうまく動作しなかっ
た部分の文字を一旦削除(図10中のキーワード入力欄
40cにおいてノイズ付き文字による不正確な文字コー
ドが削除されている)し、キーワード入力手段11を介
して図11に示すような正確な文字(図11中のキーワ
ード入力欄40d)を修正者が入力する。最後に出力ボ
タン41を押下することにより、項目の記述内容を確定
する。この時、図3に示す文字認識結果内のデータを編
集する。即ち、削除された文字に対応する認識結果の文
字コード、座標、類似度をすべて削除した上で、キーワ
ード入力手段11を介して追加入力された文字を文字認
識結果に追加する。この時、人手で入力された文字に対
しては、座標及び類似度が存在しないため、座標はNU
LL、類似度は人手入力で100%正確であると判断し
て100を設定する。
FIG. 9 shows the initial state of the correction screen for the document item "meeting date and time". In the example of FIG. 9, the dated area is shaded (in FIG. 9, it is shown by a hatched portion on the background of characters for the sake of electronic application).
Since the character with noise was recognized as it is (the incorrect character code due to the character with noise is input in the keyword input field 40b in FIG. 9), the automatic keyword assigning result 39a does not contain the correct code. In this case, as shown in FIG. 10, the characters in the portion where the character recognition did not work well are temporarily deleted (the inaccurate character code due to the noisy characters is deleted in the keyword input box 40c in FIG. 10), The corrector inputs correct characters as shown in FIG. 11 (keyword input box 40d in FIG. 11) via the keyword input means 11. By finally pressing the output button 41, the description content of the item is confirmed. At this time, the data in the character recognition result shown in FIG. 3 is edited. That is, the character code, coordinates, and similarity of the recognition result corresponding to the deleted character are all deleted, and then the character additionally input through the keyword input unit 11 is added to the character recognition result. At this time, since the coordinates and the similarity do not exist for the characters manually input, the coordinates are NU.
LL and the degree of similarity are set to 100 by judging that they are 100% accurate by manual input.

【0063】図12は文書項目「議事内容」に対する修
正画面の初期状態を示している。図12の例では、議事
内容に関して縦書きの文字列が混在した棄却により、キ
ーワード入力手段11が画面表示を行っている。このと
き、修正者が、例えばスクロールバー42a,42bを
用いて全ての認識結果を閲覧し、これらの棄却条件を判
断して適切であると判断した場合、そのまま自動キーワ
ード付け結果を出力することができる機能を文書ファイ
リングプログラムに持たせておく。具体的には、図12
の初期画面でキーワード入力欄40eに手を加えず、出
力ボタン41を押下することにより、項目の記述内容を
確定する。この場合、自動キーワード付け結果は修正さ
れていないため、図3の議事内容に対する文字認識結果
は何ら変更されない。
FIG. 12 shows the initial state of the correction screen for the document item "contents of proceedings". In the example of FIG. 12, the keyword input means 11 is displaying the screen by rejecting a vertically written character string mixed in regarding the agenda item. At this time, if the corrector browses all the recognition results using, for example, the scroll bars 42a and 42b, judges the rejection conditions and determines that they are appropriate, the automatic keyword addition result can be output as it is. Allow the document filing program to have the functions that can be performed. Specifically, FIG.
By pressing the output button 41 without touching the keyword input field 40e on the initial screen, the description content of the item is confirmed. In this case, since the result of automatic keyword addition has not been modified, the result of character recognition for the agenda item in FIG. 3 is not changed at all.

【0064】キーワード入力手段11によって全ての棄
却項目に対する修正を完了すると、これら修正を反映し
た文字列切り出し、文字切り出し、文字認識、項目分類
結果は、キーワード蓄積手段12に転送される。キーワ
ード蓄積手段12では自動キーワード付け結果とキーワ
ード入力された内容の双方が格納された文字列切り出
し、文字切り出し、文字認識、項目分類結果からキーワ
ードファイルを生成する。この結果、図13に示すキー
ワードファイル13を得る(ファイリングデータ生成ス
テップ)。
When the correction of all rejected items is completed by the keyword input means 11, the character string cutout, the character cutout, the character recognition, and the item classification result reflecting these corrections are transferred to the keyword storage means 12. The keyword accumulating unit 12 generates a keyword file from the character string cutout, the character cutout, the character recognition, and the item classification result in which both the automatic keyword addition result and the contents input by the keyword are stored. As a result, the keyword file 13 shown in FIG. 13 is obtained (filing data generation step).

【0065】以上のように、この実施の形態1によれ
ば、入力した文書画像から抽出した処理領域内の画像情
報を認識して文字コードに変換すると共に、該変換結果
を所定の文書項目ごとに分類するにあたり、予め設定し
た所定の判定条件と入力文書画像に対する処理過程にお
ける各処理結果(文字認識結果として得られる自動付加
キーワード)とを比較し、該比較結果に基づいて処理に
誤りがあるか否かを判定し、処理に誤りがあると判定さ
れると、これに該当する処理結果に対する自動キーワー
ド付け結果39a,39bやキーワード入力欄40a〜
40eなどの修正指示情報を提示すると共に、これに応
じて入力されたキーワードに従って処理結果を修正し
て、処理結果及び/又は修正結果を用いて、入力画像に
関する文書ファイリングデータを生成し格納するので、
外乱が加わっていない文書に対しては自動的に文字列切
り出し、文字切り出し、文字認識、文書項目分類した結
果を蓄積すると共に、網掛けや著しい画像の回転などの
外乱が加わった帳票が入力された場合にはキーワードを
人手で入力することを促すことができる。これにより、
通常の帳票と外乱が加わった文書の区別がつかず、文書
画像が正しく変換されていることを確認するために全件
の文書データについて文書画像と文書読取結果を比較す
る労力を軽減することができる。
As described above, according to the first embodiment, the image information in the processing area extracted from the input document image is recognized and converted into the character code, and the conversion result is determined for each predetermined document item. In classifying into, the predetermined determination condition set in advance and each processing result in the processing process for the input document image (automatic addition keyword obtained as a character recognition result) are compared, and there is an error in the processing based on the comparison result. If it is determined that there is an error in the processing, the automatic keyword assigning results 39a and 39b and the keyword input field 40a for the processing result corresponding to this are determined.
For example, while presenting correction instruction information such as 40e, the processing result is corrected according to the keyword input in accordance with this, and the processing result and / or the correction result is used to generate and store the document filing data regarding the input image. ,
For documents that are not disturbed, the results of character string cutout, character cutout, character recognition, and document item classification are automatically accumulated, and forms with disturbance such as shading and remarkable image rotation are input. In this case, it is possible to prompt the user to manually input the keyword. This allows
It is not possible to distinguish between a normal form and a document with disturbance, and it is possible to reduce the effort of comparing the document image with the document reading result for all document data in order to confirm that the document image has been converted correctly. it can.

【0066】実施の形態2.図14はこの発明の実施の
形態2による文書ファイリング装置の構成を示す図であ
る。図において、11aはキーワード入力手段(修正手
段)であって、上記実施の形態1と同様の動作をすると
共に、この動作を奏するソフトウェアにキーワードとし
て文書画像内の部分領域を指定可能な機能を追加してい
る。なお、図1と同一構成要素には同一符号を付して重
複する説明を省略する。
Embodiment 2. FIG. 14 is a diagram showing the structure of a document filing apparatus according to the second embodiment of the present invention. In the figure, 11a is a keyword input means (correction means), which performs the same operation as that of the above-described first embodiment, and adds a function capable of designating a partial area in the document image as a keyword to the software that performs this operation. is doing. In addition, the same components as those in FIG. 1 are designated by the same reference numerals, and duplicate description will be omitted.

【0067】図15は図14中のイメージファイルに格
納された文書画像を示す図、図16は文書画像から得ら
れた文書項目ごとの文字認識結果を示す図、図17は図
14中の自動キーワード付け判定手段による自動キーワ
ード付け判定結果を示す図、図18は文書項目「開催場
所」に対する修正画面の修正後の状態を示す図で、図1
9は文書項目「開催日時」に対する修正画面において自
動キーワードを削除した状態を示す図、図20は文書項
目「開催日時」に対する修正画面において文書画像の部
分領域をキーワードとして入力した状態を示す図で、図
21は文書項目「開催日時」に対する修正画面において
文書画像の部分領域がキーワードとして入力された状態
を示す図であり、図22は図14中のキーワードファイ
ルの内容を示す図である。
FIG. 15 is a diagram showing a document image stored in the image file shown in FIG. 14, FIG. 16 is a diagram showing a character recognition result for each document item obtained from the document image, and FIG. 17 is an automatic diagram shown in FIG. FIG. 18 is a diagram showing a result of automatic keyword assigning determination by the keyword assigning determining means, and FIG. 18 is a diagram showing a state after the correction screen of the document item “holding place” is corrected.
9 is a diagram showing a state in which the automatic keyword is deleted on the correction screen for the document item "date and time", and FIG. 20 is a diagram showing a state in which a partial area of the document image is input as a keyword on the correction screen for the document item "date and time". FIG. 21 is a diagram showing a state in which a partial area of the document image is input as a keyword on the correction screen for the document item “held date / time”, and FIG. 22 is a diagram showing the contents of the keyword file in FIG. 14.

【0068】次に動作について説明する。先ず、レイア
ウト解析手段2は、イメージファイル1から図15に示
す文書画像14aを読み出し、上記実施の形態1と同様
に、レイアウト解析手段2、文字認識手段3、文書項目
分類手段4により、文字列切り出し、文字切り出し、文
字認識結果、文書項目分類の各結果を得る(文書ファイ
リングステップ)。図16では、文書項目は5項目存在
し、文書項目「会議名称」43〜「議事内容」47に対
する結果を格納する。各項目に対しては「文書項目の行
数」48、「文書項目の文字数」49が格納され、各行
に対しては「文字列方向」50、「文字列座標(文字列
の切り出し座標)」51、「(行内の)文字数」52、
「各文字の認識結果(切り出し座標、文字コード、類似
度)」53が格納される。図16では、図15に示す文
書画像14aが「開催場所」と「開催日時」との項目が
同一領域に記載され、且つ、議題と横並びに記載されて
いるために、文書項目分類が正しく行われなかった場合
の例を示している。上記の結果、開催日時45の項目抽
出に失敗し、行数54及び文字数55にゼロがセットさ
れている。
Next, the operation will be described. First, the layout analysis unit 2 reads the document image 14a shown in FIG. 15 from the image file 1, and the layout analysis unit 2, the character recognition unit 3, and the document item classification unit 4 perform the character string reading, as in the first embodiment. The results of cutout, character cutout, character recognition result, and document item classification are obtained (document filing step). In FIG. 16, there are five document items, and the results for the document items “meeting name” 43 to “meeting content” 47 are stored. "Number of lines of document item" 48 and "number of characters of document item" 49 are stored for each item, and "character string direction" 50, "character string coordinates (cutting coordinates of character string)" for each line. 51, "Number of characters (in line)" 52,
The “recognition result of each character (cutout coordinate, character code, similarity)” 53 is stored. In FIG. 16, the document image 14a shown in FIG. 15 has the items of “holding place” and “holding date and time” in the same area, and the items are arranged side by side. It shows an example when it is not omitted. As a result, the item extraction of the holding date 45 fails, and the number of lines 54 and the number of characters 55 are set to zero.

【0069】自動キーワード付け判定手段10では、文
字列・文字切り出し、文字認識、文書項目分類の各結果
に対して、上述した図5に示す自動キーワード付け判定
条件を適用し、文書項目毎に自動キーワード付け可能で
あるか否かを判定する(誤り判定ステップ)。実施の形
態1と同様にして、自動キーワード付け判定手段を適用
すると、図17に示す「会議名称」56、「開催場所」
57、「開催日時」58の3項目に対して棄却が発生す
る。「会議名称」56に対する棄却は行数が5行あるた
めと文字数が30文字を超過していることに起因するも
のであり、「開催場所」57に対する棄却は「会議名
称」56の文字列が「開催場所」57の文字列の上部に
位置しないことによる文字列位置による棄却である。ま
た、「開催日時」58の棄却は、「開催日時」58の項
目が抽出されなかったことによるものと、「開催日時」
58の必須文字列である「月」、「日」、「/」のいず
れの文字も存在しないことによるものである。
The automatic keyword assigning determination means 10 applies the automatic keyword assigning determination condition shown in FIG. 5 to each result of the character string / character cutout, character recognition, and document item classification, and automatically applies to each document item. It is determined whether keywords can be added (error determination step). When the automatic keyword attaching determination means is applied in the same manner as in the first embodiment, the "meeting name" 56 and the "venue place" shown in FIG.
Rejection occurs with respect to the three items 57, "holding date" 58. The rejection for the "meeting name" 56 is due to the fact that there are 5 lines and the number of characters exceeds 30 characters, and the rejection for the "venue" 57 is the character string of the "conference name" 56. It is a rejection due to the position of the character string because it is not located above the character string of "holding place" 57. In addition, the rejection of the "held date and time" 58 was due to the fact that the "held date and time" 58 item was not extracted, and the "held date and time".
This is because none of the characters "month", "day", and "/", which are 58 essential character strings, do not exist.

【0070】次に、上記実施の形態1と同様に、キーワ
ード入力手段11aを用いて棄却した文書項目の修正を
行う(修正ステップ)。「会議名称」56の修正につい
ては、上記実施の形態1と同様の行数と文字数に関する
修正を行う。これは上記実施の形態1と同様の操作によ
り実現できるため、説明を省略する。「開催場所」57
の修正では、初期画面59として自動キーワード付け結
果60とキーワード入力欄61を表示し、この場合は日
付が出力されている部分が不要であるため、後の2行を
削除する。この結果、図18に示す状態となり、出力ボ
タン62を押下することにより、「開催場所」57に対
応する文字認識結果は前の2行のみとなる。「開催日
時」58に対する修正では、「開催日時」58に対する
文字列が存在しないため、図19に示すような初期画面
を表示する。
Next, as in the first embodiment, the rejected document item is corrected using the keyword input means 11a (correction step). As for the modification of the “meeting name” 56, the modification regarding the number of lines and the number of characters is performed as in the first embodiment. Since this can be realized by the same operation as in the first embodiment, the description thereof will be omitted. "Place" 57
In the modification, the automatic keyword addition result 60 and the keyword input field 61 are displayed as the initial screen 59. In this case, since the part where the date is output is unnecessary, the latter two lines are deleted. As a result, the state shown in FIG. 18 is entered, and by pressing the output button 62, the character recognition result corresponding to the "holding place" 57 becomes only the previous two lines. Since the character string for the "held date and time" 58 does not exist in the correction for the "held date and time" 58, the initial screen as shown in FIG. 19 is displayed.

【0071】図19の自動キーワード付け結果60aと
しては「(該当なし)」と表示する。ここで、この実施
の形態2では、キーワード入力手段11aを介して文書
画像14aから項目の該当領域を入力できるように構成
する。例えば、図20に示すような矩形領域63を設定
可能とする。次に、キーワード入力手段11aでは、矩
形で指定された領域に対して、レイアウト解析と文字認
識を再度実行する。これにより、図21に示すように文
字認識結果がキーワード入力欄61aに自動的に入力さ
れる。最後に出力ボタン62を押下すると、文字列・文
字切り出し、文字認識、項目分類の結果にキーワード入
力欄61aの内容が出力される。この時、文字コードの
みではなく、座標値及び類似度も併せて出力される。
"(Not applicable)" is displayed as the automatic keyword addition result 60a in FIG. Here, in the second embodiment, the relevant area of the item can be input from the document image 14a via the keyword input means 11a. For example, a rectangular area 63 as shown in FIG. 20 can be set. Next, the keyword input means 11a again executes layout analysis and character recognition for the area designated by the rectangle. As a result, the character recognition result is automatically input to the keyword input field 61a as shown in FIG. Finally, when the output button 62 is pressed, the content of the keyword input field 61a is output as the result of character string / character cutout, character recognition, and item classification. At this time, not only the character code but also the coordinate value and the similarity are output together.

【0072】キーワード入力手段11aによって、全て
の棄却項目に対する修正を完了すると、これら修正を反
映した文字列・文字切り出し、文字認識、項目分類結果
はキーワード蓄積手段12に転送される。キーワード蓄
積手段12では自動キーワード付け結果とキーワード入
力された内容の双方が格納された文字列・文字切り出
し、文字認識、項目分類結果からキーワードファイルを
生成する。その結果、図22に示したキーワードファイ
ル13を得る(ファイリングデータ生成ステップ)。
When the correction of all rejected items is completed by the keyword input means 11a, the character string / character cutout, the character recognition, and the item classification result reflecting these corrections are transferred to the keyword storage means 12. The keyword storage unit 12 generates a keyword file from the character string / character segmentation storing both the automatic keyword addition result and the keyword input content, the character recognition, and the item classification result. As a result, the keyword file 13 shown in FIG. 22 is obtained (filing data generation step).

【0073】以上のように、この実施の形態2によれ
ば、文書画像内の部分領域を指定可能な修正指示情報を
提示するので、文字コードのみでなく、文書画像上の座
標情報を入力することができることから、手動でキーワ
ードを設定した場合でも、検索時に文書画像に重畳して
検索結果を表示することができる。
As described above, according to the second embodiment, since the correction instruction information capable of designating the partial area in the document image is presented, not only the character code but also the coordinate information on the document image is input. Therefore, even when the keyword is manually set, the search result can be displayed by being superimposed on the document image at the time of the search.

【0074】[0074]

【発明の効果】以上のように、この発明によれば、入力
した文書画像から抽出した処理領域内の画像情報を認識
して文字コードに変換すると共に、該変換結果を所定の
文書項目ごとに分類するにあたり、予め設定した所定の
判定条件と入力文書画像に対する処理過程における各処
理結果とを比較し、該比較結果に基づいて処理に誤りが
あるか否かを判定し、処理に誤りがあると判定される
と、これに該当する処理結果に対する修正指示情報を提
示すると共に、これに応じて入力された修正情報に従っ
て処理結果を修正して、処理結果及び/又は修正結果を
用いて、入力画像に関する文書ファイリングデータを生
成し格納するので、外乱が加わっていない文書に対して
は自動的に文字列・文字切り出し、文字認識、文書項目
分類した結果を蓄積し、網掛けや著しい画像の回転など
の外乱が加わった帳票が入力された場合には修正するこ
とができる。これにより、網掛けや著しい画像の回転な
どの外乱が加わった帳票についても正確な検索を可能と
すると共に、通常の帳票と外乱が加わった文書の区別が
つかず、文書画像が正しく変換されていることを確認す
るために全件の文書データについて文書画像と文書読取
結果を比較する労力を軽減することができるという効果
がある。
As described above, according to the present invention, the image information in the processing area extracted from the input document image is recognized and converted into the character code, and the conversion result is obtained for each predetermined document item. In classifying, a predetermined determination condition set in advance is compared with each processing result in the processing process for the input document image, it is determined whether there is an error in the processing based on the comparison result, and the processing has an error. When it is determined, the correction instruction information for the corresponding processing result is presented, and the processing result is corrected according to the correction information input accordingly, and the processing result and / or the correction result is used to input. Document filing data related to images is generated and stored, so the results of automatically character string / character segmentation, character recognition, and document item classification are stored for documents without disturbance. , When the form of applied disturbance such as a rotating shaded and marked image is input it can be modified. This makes it possible to accurately search even for forms that have disturbances such as shading and marked image rotation, and it is impossible to distinguish between ordinary forms and documents that have disturbances, and the document images are converted correctly. There is an effect that it is possible to reduce the effort for comparing the document image and the document reading result for all the document data in order to confirm that the document data is present.

【0075】この発明によれば、入力文書画像から抽出
される処理領域内の文字列の配列方向、文字列の行数、
文字列の位置、処理領域内の文字列サイズ及び/又は文
字列を構成する文字サイズ、文字認識の尤度、処理領域
内の文字数、処理領域内の画像情報の文字コード変換結
果、文書項目の充足度を判定条件とするので、通常の帳
票と外乱が加わった文書の区別がつかず、文書画像が正
しく変換されていることを確認するために全件の文書デ
ータについて文書画像と文書読取結果を比較する労力を
軽減することができるという効果がある。
According to the present invention, the arrangement direction of the character string in the processing area extracted from the input document image, the number of lines of the character string,
Position of character string, size of character string in processing area and / or character size of character string, likelihood of character recognition, number of characters in processing area, character code conversion result of image information in processing area, document item Since the degree of sufficiency is used as the judgment condition, it is impossible to distinguish between a normal form and a document with disturbance, and in order to confirm that the document image has been converted correctly, the document image and document reading results for all document data There is an effect that it is possible to reduce the labor for comparing.

【0076】この発明によれば、処理結果の判定条件と
差異がある部分のみを修正指示情報として提示すると共
に、上記差異がある部分に対して入力された修正情報に
従って上記処理結果を修正するので、修正に関する処理
を簡易化することができるという効果がある。
According to the present invention, only the portion having a difference from the determination result of the processing result is presented as the correction instruction information, and the processing result is corrected according to the correction information input to the portion having the difference. There is an effect that the process regarding correction can be simplified.

【0077】この発明によれば、修正情報として文書画
像内の部分領域を指定可能な修正指示情報を提示するの
で、文字コードのみでなく、文書画像上の座標情報を入
力することができることから、修正情報を設定した場合
でも、検索時に文書画像に重畳して検索結果を表示する
ことができるという効果がある。
According to the present invention, since the correction instruction information capable of designating the partial area in the document image is presented as the correction information, not only the character code but also the coordinate information on the document image can be input. Even when the correction information is set, it is possible to display the search result by superimposing it on the document image at the time of search.

【0078】この発明によれば、処理結果の判定条件と
差異がある部分を外部から修正可能な修正指示情報を提
示するので、修正に関する処理を簡易化することができ
るという効果がある。
According to the present invention, since the correction instruction information capable of externally correcting the portion that is different from the determination condition of the processing result is presented, the processing relating to the correction can be simplified.

【0079】この発明によれば、処理結果に誤りがある
旨の判定結果を外部から判断可能な修正指示情報を提示
するので、修正に関する処理を簡易化することができる
という効果がある。
According to the present invention, since the correction instruction information by which the determination result indicating that the processing result has an error can be externally determined is presented, the processing relating to the correction can be simplified.

【0080】この発明によれば、処理結果と修正手段の
修正結果とを組み合わせたデータを文書ファイリングデ
ータとして格納するので、網掛けや著しい画像の回転な
どの外乱が加わった帳票についても正確な検索が可能な
文書データを格納することができるという効果がある。
According to the present invention, the data in which the processing result and the correction result of the correction means are combined is stored as the document filing data, so that accurate retrieval is also possible for a form to which disturbance such as shading or remarkable image rotation is added. The effect is that document data that can be stored can be stored.

【図面の簡単な説明】[Brief description of drawings]

【図1】 この発明の実施の形態1による文書ファイリ
ング装置の構成を示す図である。
FIG. 1 is a diagram showing a configuration of a document filing device according to a first embodiment of the present invention.

【図2】 図1中のイメージファイルに格納された文書
画像を示す図である。
FIG. 2 is a diagram showing a document image stored in an image file in FIG.

【図3】 文書画像から得られた文書項目ごとの文字認
識結果を示す図である。
FIG. 3 is a diagram showing a character recognition result for each document item obtained from a document image.

【図4】 図3の文書項目「議事内容」に対する内容を
詳細に示す図である。
FIG. 4 is a diagram showing in detail the contents for the document item “meeting contents” of FIG. 3;

【図5】 図1中の自動キーワード付け判定手段に設定
された自動キーワード付け判定条件を示す図である。
FIG. 5 is a diagram showing automatic keyword assignment determination conditions set in the automatic keyword assignment determination means in FIG.

【図6】 図1中の自動キーワード付け判定手段による
自動キーワード付け判定結果を示す図である。
6 is a diagram showing an automatic keyword assignment determination result by the automatic keyword assignment determination means in FIG.

【図7】 文書項目「会議名称」に対する修正画面の初
期状態を示す図である。
FIG. 7 is a diagram showing an initial state of a correction screen for a document item “meeting name”.

【図8】 文書項目「会議名称」に対する修正画面の修
正後の状態を示す図である。
FIG. 8 is a diagram showing a state in which the correction screen for the document item “meeting name” has been corrected.

【図9】 文書項目「会議日時」に対する修正画面の初
期状態を示す図である。
FIG. 9 is a diagram showing an initial state of a correction screen for a document item “meeting date and time”.

【図10】 文書項目「会議日時」に対する修正画面に
おいて自動キーワードを削除した状態を示す図である。
FIG. 10 is a diagram showing a state in which an automatic keyword is deleted on the correction screen for the document item “meeting date and time”.

【図11】 文書項目「会議日時」に対する修正画面に
おいてキーワードを入力した状態を示す図である。
FIG. 11 is a diagram showing a state in which a keyword is input on the correction screen for the document item “meeting date and time”.

【図12】 文書項目「議事内容」に対する修正画面の
初期状態を示す図である。
FIG. 12 is a diagram showing an initial state of a correction screen for the document item “contents of proceedings”.

【図13】 図1中のキーワードファイルの内容を示す
図である。
FIG. 13 is a diagram showing the contents of a keyword file in FIG.

【図14】 この発明の実施の形態2による文書ファイ
リング装置の構成を示す図である。
FIG. 14 is a diagram showing a configuration of a document filing device according to a second embodiment of the present invention.

【図15】 図14中のイメージファイルに格納された
文書画像を示す図である。
15 is a diagram showing a document image stored in the image file in FIG.

【図16】 文書画像から得られた文書項目ごとの文字
認識結果を示す図である。
FIG. 16 is a diagram showing a character recognition result for each document item obtained from a document image.

【図17】 図14中の自動キーワード付け判定手段に
よる自動キーワード付け判定結果を示す図である。
FIG. 17 is a diagram showing an automatic keyword assignment determination result by the automatic keyword assignment determination means in FIG.

【図18】 文書項目「開催場所」に対する修正画面の
修正後の状態を示す図である。
FIG. 18 is a diagram showing a state after the correction screen for the document item “holding place” is corrected.

【図19】 文書項目「開催日時」に対する修正画面に
おいて自動キーワードを削除した状態を示す図である。
FIG. 19 is a diagram showing a state in which an automatic keyword is deleted on the correction screen for the document item “held date”.

【図20】 文書項目「開催日時」に対する修正画面に
おいて文書画像の部分領域をキーワードとして入力した
状態を示す図である。
FIG. 20 is a diagram showing a state in which a partial area of a document image is input as a keyword on the correction screen for the document item “held date / time”.

【図21】 文書項目「開催日時」に対する修正画面に
おいて文書画像の部分領域がキーワードとして入力され
た状態を示す図である。
FIG. 21 is a diagram showing a state where a partial area of a document image is input as a keyword on a correction screen for the document item “held date”.

【図22】 図14中のキーワードファイルの内容を示
す図である。
22 is a diagram showing the contents of a keyword file in FIG.

【図23】 従来の文書ファイリング装置の構成を概略
的に示すブロック図である。
FIG. 23 is a block diagram schematically showing a configuration of a conventional document filing device.

【図24】 図23中の文書ファイリング装置による文
書ファイル作成動作を示すフロー図である。
FIG. 24 is a flowchart showing a document file creating operation by the document filing device in FIG. 23.

【図25】 図23中の文書ファイリング装置による文
書検索動作を示すフロー図である。
FIG. 25 is a flowchart showing a document search operation by the document filing device in FIG. 23.

【図26】 図23中のイメージファイルに格納された
文書画像の一例を示す図である。
FIG. 26 is a diagram showing an example of a document image stored in the image file in FIG. 23.

【図27】 図26の文書画像に関する文書レイアウト
知識ファイルの内容を示す図である。
FIG. 27 is a diagram showing the contents of a document layout knowledge file relating to the document image of FIG. 26.

【図28】 レイアウト解析手段が作成したレイアウト
情報を示す図である。
FIG. 28 is a diagram showing layout information created by a layout analysis unit.

【図29】 文字認識手段による文字認識結果を示す図
である。
FIG. 29 is a diagram showing the result of character recognition by the character recognition means.

【図30】 文書項目分類手段による文書レイアウト情
報と文書レイアウト知識との照合結果を示す図である。
FIG. 30 is a diagram showing a result of collation of document layout information and document layout knowledge by the document item classification unit.

【図31】 文書コンテンツ知識ファイルの内容の一例
を示す図である。
FIG. 31 is a diagram showing an example of the content of a document content knowledge file.

【図32】 文書項目分類手段による文字認識結果と文
書コンテンツ知識との照合結果を示す図である。
FIG. 32 is a diagram showing a result of collating the character recognition result and the document content knowledge by the document item classification unit.

【図33】 文書項目分類手段によって統合された文字
認識結果と文書コンテンツ知識との照合結果を示す図で
ある。
FIG. 33 is a diagram showing a collation result of the character recognition result and the document content knowledge integrated by the document item classification unit.

【図34】 文書項目分類手段が分類した文書項目と文
字列との対応関係を示す図である。
FIG. 34 is a diagram showing a correspondence relationship between the document items classified by the document item classification means and the character strings.

【符号の説明】[Explanation of symbols]

1 イメージファイル、2 レイアウト解析手段(文書
ファイリング手段)、3 文字認識手段(文書ファイリ
ング手段)、4 文字項目分類手段(文書ファイリング
手段)、6 検索手段、7 出力手段、8 文書レイア
ウト知識ファイル、9 文書コンテンツ知識ファイル、
10 自動キーワード付け判定手段(誤り判定手段)、
11,11a キーワード入力手段(修正手段)、12
キーワード蓄積手段(文書データ蓄積手段)、13
キーワードファイル(文書データ蓄積手段)、100
イメージファイル、101 レイアウト解析手段、10
2文字認識手段、103 文書項目分類手段、104
蓄積手段、105 検索手段、106 出力手段、10
7 文書レイアウト知識ファイル、108 文書コンテ
ンツ知識ファイル、109 文字認識結果ファイル、1
10 「会議名称」項目、111 「開催場所」項目、
112 「開催日時」項目、113 「出席者」項目、
114 座標情報、115 開始ブロック、116 終
了ブロック、117 領域座標情報、118 座標情
報、119 文字認識結果、120照合度、121
「開催場所」の項目に対応するキーワード情報、122
キーワード「開催場所」、123 キーワード「場
所」、124 キーワード「会議室」、125 キーワ
ード「ルーム」、126 キーワード「ミーティン
グ」、127 キーワード「会議名称」、128 キー
ワード「開催日時」、129,130,131,13
2,133 照合度、134 対応関係、135 照合
度、136 組み合わせ。
1 image file, 2 layout analysis means (document filing means), 3 character recognition means (document filing means), 4 character item classification means (document filing means), 6 retrieval means, 7 output means, 8 document layout knowledge file, 9 Document content knowledge file,
10 automatic keyword attaching determining means (error determining means),
11, 11a Keyword input means (correction means), 12
Keyword storage means (document data storage means), 13
Keyword file (document data storage means), 100
Image file, 101 layout analysis means, 10
2 character recognition means, 103 document item classification means, 104
Storage means, 105 search means, 106 output means, 10
7 Document layout knowledge file, 108 Document content knowledge file, 109 Character recognition result file, 1
10 "Meeting name" item, 111 "Venue place" item,
112 "Date and time" item, 113 "Attendee" item,
114 coordinate information, 115 start block, 116 end block, 117 area coordinate information, 118 coordinate information, 119 character recognition result, 120 matching degree, 121
Keyword information corresponding to the item "venue", 122
Keyword "holding place", 123 keyword "place", 124 keyword "meeting room", 125 keyword "room", 126 keyword "meeting", 127 keyword "meeting name", 128 keyword "holding date", 129, 130, 131 , 13
2, 133 matching degree, 134 correspondence relationship, 135 matching degree, 136 combinations.

フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/40 100 G06T 7/40 100A 7/60 150 7/60 150B Fターム(参考) 5B050 AA10 BA06 BA10 CA07 EA06 EA07 FA03 FA19 5B064 AA07 EA10 5B075 ND07 ND24 NK02 NK25 NK37 UU06 5L096 BA17 FA06 FA44 FA67 FA69Front page continuation (51) Int.Cl. 7 identification code FI theme code (reference) G06T 7/40 100 G06T 7/40 100A 7/60 150 7/60 150B F term (reference) 5B050 AA10 BA06 BA10 CA07 EA06 EA07 FA03 FA19 5B064 AA07 EA10 5B075 ND07 ND24 NK02 NK25 NK37 UU06 5L096 BA17 FA06 FA44 FA67 FA69

Claims (16)

【特許請求の範囲】[Claims] 【請求項1】 入力した文書画像から抽出した処理領域
内の画像情報を認識して文字コードに変換すると共に、
該変換結果を所定の文書項目ごとに分類する文書ファイ
リング手段と、 該文書ファイリング手段が入力文書画像を処理するにあ
たり、予め設定した所定の判定条件と上記入力文書画像
に対する処理過程における各処理結果とを比較し、該比
較結果に基づいて上記文書ファイリング手段の処理に誤
りがあるか否かを判定する誤り判定手段と、 該誤り判定手段によって処理に誤りがあると判定される
と、これに該当する上記処理結果に対する修正指示情報
を提示すると共に、これに応じて入力された修正情報に
従って上記処理結果を修正する修正手段と、 上記文書ファイリング手段の処理結果及び/又は上記修
正手段の修正結果を用いて、入力画像に関する文書ファ
イリングデータを生成し格納する文書データ蓄積手段と
を備えた文書ファイリング装置。
1. The image information in the processing area extracted from the input document image is recognized and converted into a character code, and
A document filing unit that classifies the conversion result for each predetermined document item, a predetermined determination condition set in advance when the document filing unit processes an input document image, and each processing result in a processing process for the input document image. Error determination means for determining whether or not there is an error in the processing of the document filing means based on the comparison result, and if the error determination means determines that there is an error in the processing, it corresponds to this. A correction means for presenting correction instruction information for the processing result and correcting the processing result according to the correction information input in response to the processing result, the processing result of the document filing means and / or the correction result of the correction means. And a document data storage means for generating and storing document filing data relating to the input image. Grayed apparatus.
【請求項2】 誤り判定手段は、文書ファイリング手段
によって入力文書画像から抽出される処理領域内の文字
列の配列方向を判定条件とすることを特徴とする請求項
1記載の文書ファイリング装置。
2. The document filing apparatus according to claim 1, wherein the error determination means uses the arrangement direction of the character string in the processing area extracted from the input document image by the document filing means as a determination condition.
【請求項3】 誤り判定手段は、文書ファイリング手段
によって入力文書画像から抽出される処理領域内の文字
列の行数を判定条件とすることを特徴とする請求項1記
載の文書ファイリング装置。
3. The document filing apparatus according to claim 1, wherein the error determination means uses the number of lines of a character string in the processing area extracted from the input document image by the document filing means as a determination condition.
【請求項4】 誤り判定手段は、文書ファイリング手段
によって入力文書画像から抽出される処理領域内の文字
列の位置を判定条件とすることを特徴とする請求項1記
載の文書ファイリング装置。
4. The document filing apparatus according to claim 1, wherein the error determination means uses the position of the character string in the processing area extracted from the input document image by the document filing means as the determination condition.
【請求項5】 誤り判定手段は、文書ファイリング手段
によって入力文書画像から抽出される処理領域内の文字
列サイズ及び/又は文字列を構成する文字サイズを判定
条件とすることを特徴とする請求項1記載の文書ファイ
リング装置。
5. The error determination means uses the size of a character string in the processing area extracted from the input document image by the document filing means and / or the size of a character forming the character string as a determination condition. 1. The document filing apparatus described in 1.
【請求項6】 誤り判定手段は、文書ファイリング手段
によって入力文書画像から抽出される処理領域内の文字
認識の尤度を判定条件とすることを特徴とする請求項1
記載の文書ファイリング装置。
6. The error determination means uses the likelihood of character recognition in the processing area extracted from the input document image by the document filing means as a determination condition.
Document filing device described.
【請求項7】 誤り判定手段は、文書ファイリング手段
によって入力文書画像から抽出される処理領域内の文字
数を判定条件とすることを特徴とする請求項1記載の文
書ファイリング装置。
7. The document filing apparatus according to claim 1, wherein the error determination unit uses the number of characters in the processing area extracted from the input document image by the document filing unit as a determination condition.
【請求項8】 誤り判定手段は、文書ファイリング手段
によって入力文書画像から抽出される処理領域内の画像
情報の文字コード変換結果を判定条件とすることを特徴
とする請求項1記載の文書ファイリング装置。
8. The document filing apparatus according to claim 1, wherein the error determination unit uses a result of character code conversion of image information in the processing area extracted from the input document image by the document filing unit as a determination condition. .
【請求項9】 誤り判定手段は、文書ファイリング手段
によって分類される文書項目の充足度を判定条件とする
ことを特徴とする請求項1記載の文書ファイリング装
置。
9. The document filing apparatus according to claim 1, wherein the error determination means uses the degree of satisfaction of the document items classified by the document filing means as a determination condition.
【請求項10】 修正手段は、処理結果の判定条件と差
異がある部分のみを修正指示情報として提示すると共
に、上記差異がある部分に対して入力された修正情報に
従って上記処理結果を修正することを特徴とする請求項
1記載の文書ファイリング装置。
10. The correction means presents only a portion having a difference from the determination condition of the processing result as the correction instruction information, and corrects the processing result according to the correction information input to the portion having the difference. The document filing apparatus according to claim 1, wherein:
【請求項11】 修正手段は、修正情報として文書画像
内の部分領域を指定可能な修正指示情報を提示すること
を特徴とする請求項1記載の文書ファイリング装置。
11. The document filing apparatus according to claim 1, wherein the correction means presents correction instruction information capable of designating a partial area in the document image as the correction information.
【請求項12】 修正手段は、処理結果の判定条件と差
異がある部分を外部から修正可能な修正指示情報を提示
することを特徴とする請求項1記載の文書ファイリング
装置。
12. The document filing apparatus according to claim 1, wherein the correction means presents correction instruction information capable of externally correcting a portion that differs from the determination condition of the processing result.
【請求項13】 修正手段は、処理結果に誤りがある旨
の判定結果を外部から判断可能な修正指示情報を提示す
ることを特徴とする請求項1記載の文書ファイリング装
置。
13. The document filing apparatus according to claim 1, wherein the correction means presents correction instruction information capable of externally determining a determination result indicating that the processing result has an error.
【請求項14】 文書データ蓄積手段は、文書ファイリ
ング手段の処理結果と修正手段の修正結果とを組み合わ
せたデータを文書ファイリングデータとして格納するこ
とを特徴とする請求項1記載の文書ファイリング装置。
14. The document filing apparatus according to claim 1, wherein the document data accumulating unit stores, as document filing data, data obtained by combining the processing result of the document filing unit and the correction result of the correction unit.
【請求項15】 入力した文書画像から抽出した処理領
域内の画像情報を認識して文字コードに変換すると共
に、該変換結果を所定の文書項目ごとに分類する文書フ
ァイリングステップと、 該文書ファイリングステップにて入力文書画像を処理す
るにあたり、予め設定した所定の判定条件と上記入力文
書画像に対する処理過程における各処理結果とを比較
し、該比較結果に基づいて上記文書ファイリングステッ
プにおける処理に誤りがあるか否かを判定する誤り判定
ステップと、 該誤り判定ステップにて処理に誤りがあると判定される
と、これに該当する上記処理結果に対する修正指示情報
を提示すると共に、これに応じて入力された修正情報に
従って上記処理結果を修正する修正ステップと、 上記文書ファイリングステップにおける処理結果及び/
又は上記修正ステップにおける修正結果を用いて、入力
画像に関する文書ファイリングデータを生成するファイ
リングデータ生成ステップとを備えた文書ファイリング
方法。
15. A document filing step of recognizing image information in a processing area extracted from an input document image and converting it into a character code, and classifying the conversion result for each predetermined document item, and the document filing step. In processing the input document image, the predetermined determination condition set in advance is compared with each processing result in the processing process for the input document image, and there is an error in the processing in the document filing step based on the comparison result. An error determination step for determining whether or not there is an error, and when it is determined that there is an error in the processing in the error determination step, the correction instruction information for the processing result corresponding to this is presented and input in accordance with this. The correction step that corrects the processing result according to the correction information that has been corrected, and the processing result in the document filing step. Fruit and /
Or a filing data generation step of generating document filing data regarding an input image using the correction result in the correction step.
【請求項16】 入力した文書画像から抽出した処理領
域内の画像情報を認識して文字コードに変換すると共
に、該変換結果を所定の文書項目ごとに分類する文書フ
ァイリングステップと、 該文書ファイリングステップにて入力文書画像を処理す
るにあたり、予め設定した所定の判定条件と上記入力文
書画像に対する処理過程における各処理結果とを比較
し、該比較結果に基づいて上記文書ファイリングステッ
プにおける処理に誤りがあるか否かを判定する誤り判定
ステップと、 該誤り判定ステップにて処理に誤りがあると判定される
と、これに該当する上記処理結果に対する修正指示情報
を提示すると共に、これに応じて入力された修正情報に
従って上記処理結果を修正する修正ステップと、 上記文書ファイリングステップにおける処理結果及び/
又は上記修正ステップにおける修正結果を用いて、入力
画像に関する文書ファイリングデータを生成するファイ
リングデータ生成ステップとをコンピュータに実行させ
る文書ファイリングプログラム。
16. A document filing step of recognizing image information in a processing area extracted from an input document image and converting it into a character code, and classifying the conversion result for each predetermined document item, and the document filing step. In processing the input document image, the predetermined determination condition set in advance is compared with each processing result in the processing process for the input document image, and there is an error in the processing in the document filing step based on the comparison result. An error determination step for determining whether or not there is an error, and when it is determined that there is an error in the processing in the error determination step, the correction instruction information for the processing result corresponding to this is presented and input in accordance with this. The correction step that corrects the processing result according to the correction information that has been corrected, and the processing result in the document filing step. Fruit and /
Alternatively, a document filing program that causes a computer to execute a filing data generation step of generating document filing data regarding an input image using the correction result in the correction step.
JP2001238164A 2001-08-06 2001-08-06 Device and method for document filing and program Pending JP2003050968A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001238164A JP2003050968A (en) 2001-08-06 2001-08-06 Device and method for document filing and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001238164A JP2003050968A (en) 2001-08-06 2001-08-06 Device and method for document filing and program

Publications (1)

Publication Number Publication Date
JP2003050968A true JP2003050968A (en) 2003-02-21

Family

ID=19069128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001238164A Pending JP2003050968A (en) 2001-08-06 2001-08-06 Device and method for document filing and program

Country Status (1)

Country Link
JP (1) JP2003050968A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013085276A (en) * 2012-12-11 2013-05-09 Pfu Ltd Image processing device and image processing method
JP2020135610A (en) * 2019-02-22 2020-08-31 株式会社Pfu Information processing device, information processing method, and program
JP2021005317A (en) * 2019-06-27 2021-01-14 キヤノン株式会社 Image processing apparatus, method for controlling the same, and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013085276A (en) * 2012-12-11 2013-05-09 Pfu Ltd Image processing device and image processing method
JP2020135610A (en) * 2019-02-22 2020-08-31 株式会社Pfu Information processing device, information processing method, and program
JP2021005317A (en) * 2019-06-27 2021-01-14 キヤノン株式会社 Image processing apparatus, method for controlling the same, and program
US11800024B2 (en) 2019-06-27 2023-10-24 Canon Kabushiki Kaisha Image processing apparatus having checking image data erroneous recognition, method for control the same, and storage medium
JP7446724B2 (en) 2019-06-27 2024-03-11 キヤノン株式会社 Image processing device, its control method and program

Similar Documents

Publication Publication Date Title
US8520889B2 (en) Automated generation of form definitions from hard-copy forms
JP4077909B2 (en) Form processing device
JP2968145B2 (en) Advanced data collection method and data processing system
JP4998219B2 (en) Form recognition program, form recognition apparatus, and form recognition method
US11182604B1 (en) Computerized recognition and extraction of tables in digitized documents
JP4661921B2 (en) Document processing apparatus and program
US20120294496A1 (en) Face recognition apparatus, control method thereof, and face recognition method
JP2007026316A (en) Image management device, image-managing computer program and recording medium recording the same
US7099894B2 (en) Multimedia information collection control apparatus and method
JP2005173730A (en) Business form ocr program, method, and device
US7308119B2 (en) Image retrieval apparatus and method, and image display apparatus and method thereof
US8953910B2 (en) Proof reading of text data generated through optical character recognition
US10762377B2 (en) Floating form processing based on topological structures of documents
US20240211518A1 (en) Automated document intake system
JPH08314751A (en) Fault countermeasure supporting method
JP3598711B2 (en) Document filing device
JP2003050968A (en) Device and method for document filing and program
JP2004013813A (en) Information management system and method
US8234254B2 (en) Image recognition apparatus, method and system for realizing changes in logical structure models
JP4347675B2 (en) Form OCR program, method and apparatus
JP2001126010A (en) Document processor, document definition generation method and area extraction method and storage medium
JP2012146147A (en) Document processing device and document processing program
JP4357226B2 (en) Form definition device, form definition method, and form definition program
JP3930466B2 (en) Character recognition device, character recognition program
JPH1185899A (en) Character reader, its method and record medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060710

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060815