JP2020173802A - 画像ブロックの認識結果の補正方法及び装置、並びに記憶媒体 - Google Patents
画像ブロックの認識結果の補正方法及び装置、並びに記憶媒体 Download PDFInfo
- Publication number
- JP2020173802A JP2020173802A JP2020066804A JP2020066804A JP2020173802A JP 2020173802 A JP2020173802 A JP 2020173802A JP 2020066804 A JP2020066804 A JP 2020066804A JP 2020066804 A JP2020066804 A JP 2020066804A JP 2020173802 A JP2020173802 A JP 2020173802A
- Authority
- JP
- Japan
- Prior art keywords
- tree
- recognition result
- nodes
- candidate matrix
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012937 correction Methods 0.000 title claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 56
- 238000012015 optical character recognition Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 9
- 238000010845 search algorithm Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Character Discrimination (AREA)
- Character Input (AREA)
- Image Analysis (AREA)
Abstract
Description
オーバーセグメンテーションとは、文字列を原始言語フラグメントに分割し、原始言語フラグメントを結合文字認識及びコンテキストの文字に組み合わせることを意味する。オーバーセグメンテーションは、通常、連結成分ラベリング及びマージ文字分割(merged characters segmentation)の2つのステップを含む。まず、住所画像に対してノイズ低減、正規化、2値化などの全処理を行う。次に、該住所画像の連結成分を取得してもよい。図1Aに示すように、これらの連結成分及び輪郭線を分析することで、オーバーセグメンテーション法を用いて住所画像における各文字の部分を取得することができる。各セグメントは、例えば訓練された畳み込みニューラルネットワーク(CNN)モデルにより認識されてもよい。
住所画像の全てのセグメント及びCNNモデルの対応する認識結果が取得された後に、ビームサーチアルゴリズムにより、組み合わせ結果及び最終的な結果を取得してもよい。ビームサーチアルゴリズムは、経路評価及び探索のアルゴリズムである。経路評価関数は、ベイズ決定に基づくものであり、文字分類、幾何学的コンテキスト及び言語コンテキストを含む複数のコンテキストを統合する。様々な組み合わせは、異なる経路に対応する。改良されたビームサーチアルゴリズムは、最大の経路評価スコアを有する経路を効率的に見つけるように、プルーニング(pruning)判定を2つの段階に分ける。図1Bに示すように、最後に最大のスコアを有する経路により最終的な認識結果を取得する。
BK木は、Walter Austin Burkhard及びRobert M. Kellerにより提案されたため、Burkhard−Keller Treeとも称される。BK木は、主にスペル訂正、ファジイ(fuzzy)マッチング、及び辞書における文字列の類似性の比較などに使用される。通常、距離メトリックd(x、y)を用いて、BK木の隣接ノード間の距離を計算する。BK木で最も一般的に使用される距離メトリックは、レーベンシュタイン(levenshtein)距離である。該距離は、編集距離とも称され、即ち2つの文字シーケンスを比較するための文字列距離メトリックである。編集距離は、単一文字により構成された2つの文字列を挿入、削除又は置換により相互に変換する最小のステップ数を表す。
LCS(最長共通部分列)は、列の集合(通常は2つの列からなる集合)の最長共通部分列を見つけ出すためのものである。最長共通文字列(Longest Common Substring)とは異なり、連続した部分列の元の列における位置は必ずしも同一ではない。この態様では、LCSは、BK木構造における任意のノード要素と特定の文字列とを比較するために用いられる。
(付記1)
画像ブロックの認識結果の補正方法であって、
前記認識結果の候補行列を取得するステップであって、前記候補行列の各列は、対応する画像ブロックの認識結果の複数の候補を表す、ステップと、
木における探索すべきノードの範囲を決定するステップであって、前記木は、前記木におけるノードの各ペアに含まれる内容間の差のメトリックに基づいて構築される、ステップと、
決定された範囲内の全てのノードに含まれる内容と前記候補行列とのマッチングを行うことで、前記認識結果を補正するステップと、を含む、方法。
(付記2)
前記候補行列の各列における各候補は、信頼度の高い順にランク付けされる、付記1に記載の方法。
(付記3)
前記木は、LCS(最長共通部分列)に基づいて構築され、
前記差のメトリックは、LCS長さである、付記1又は2に記載の方法。
(付記4)
前記木における探索すべきノードの範囲を決定するステップは、
前記木における根ノードに含まれる内容と前記候補行列との重み付けLCS長さと、所定閾値との差分値を計算するステップと、
前記差分値以上のLCS長さを有する子ノードを前記範囲に含ませるステップと、を含む、付記3に記載の方法。
(付記5)
マッチングが取れた場合、前記重み付けLCS長さの重みは、対応する画像ブロックについて選択された候補の数、及び前記候補行列におけるマッチングすべき候補の選択された候補の数のうちのランクに基づくものである、付記4に記載の方法。
(付記6)
マッチングが取れていない場合、前記重みは、負の無限大である、付記4に記載の方法。
(付記7)
前記決定された範囲内の全てのノードに含まれる内容と前記候補行列とのマッチングを行うステップは、
前記範囲内の各ノードに含まれる内容と前記候補行列との重み付けLCS長さを計算するステップ、を含む、付記5又は6に記載の方法。
(付記8)
前記認識結果を補正するステップは、
算出された前記範囲内の各ノードに含まれる内容と前記候補行列との1つ又は複数の重み付けLCS長さに基づいて、前記認識結果を補正するステップ、を含む、付記7に記載の方法。
(付記9)
前記木は、Burkhard−Keller木である、付記1又は2に記載の方法。
(付記10)
認識結果は、光学文字認識(OCR)エンジンにより取得される、付記1又は2に記載の方法。
(付記11)
OCRエンジンは、オーバーセグメンテーション法及びビームサーチアルゴリズムを用いる、付記10に記載の方法。
(付記12)
画像ブロックの認識結果の補正装置であって、
前記認識結果の候補行列を取得する取得部であって、前記候補行列の各列は、対応する画像ブロックの認識結果の複数の候補を表す、取得部と、
木における探索すべきノードの範囲を決定する決定部であって、前記木は、前記木におけるノードの各ペアに含まれる内容間の差のメトリックに基づいて構築される、決定部と、
決定された範囲内の全てのノードに含まれる内容と前記候補行列とのマッチングを行うことで、前記認識結果を補正する補正部と、を含む、装置。
(付記13)
前記候補行列の各列における各候補は、信頼度の高い順にランク付けされる、付記12に記載の装置。
(付記14)
前記木は、LCS(最長共通部分列)に基づいて構築され、
前記差のメトリックは、LCS長さである、付記12又は13に記載の装置。
(付記15)
前記決定部は、
前記木における根ノードに含まれる内容と前記候補行列との重み付けLCS長さと、所定閾値との差分値を計算し、
前記差分値以上のLCS長さを有する子ノードを前記範囲に含ませる、付記14に記載の装置。
(付記16)
マッチングが取れた場合、前記重み付けLCS長さの重みは、対応する画像ブロックについて選択された候補の数、及び前記候補行列におけるマッチングすべき候補の選択された候補の数のうちのランクに基づくものである、付記15に記載の装置。
(付記17)
マッチングが取れていない場合、前記重みは、負の無限大である、付記15に記載の装置。
(付記18)
前記補正部は、算出された前記範囲内の各ノードに含まれる内容と前記候補行列との1つ又は複数の重み付けLCS長さに基づいて、前記認識結果を補正する、付記16又は17に記載の装置。
(付記19)
前記木は、Burkhard−Keller木である、付記12又は13に記載の装置。
(付記20)
プログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、前記プログラムがプロセッサにより実行される際に、
画像ブロックの認識結果の候補行列を取得するステップであって、前記候補行列の各列は、対応する画像ブロックの認識結果の複数の候補を表す、ステップと、
木における探索すべきノードの範囲を決定するステップであって、前記木は、前記木におけるノードの各ペアに含まれる内容間の差のメトリックに基づいて構築される、ステップと、
決定された範囲内の全てのノードに含まれる内容と前記候補行列とのマッチングを行うことで、前記認識結果を補正するステップと、を実行させる、記憶媒体。
Claims (10)
- 画像ブロックの認識結果の補正方法であって、
前記認識結果の候補行列を取得するステップであって、前記候補行列の各列は、対応する画像ブロックの認識結果の複数の候補を表す、ステップと、
木における探索すべきノードの範囲を決定するステップであって、前記木は、前記木におけるノードの各ペアに含まれる内容間の差のメトリックに基づいて構築される、ステップと、
決定された範囲内の全てのノードに含まれる内容と前記候補行列とのマッチングを行うことで、前記認識結果を補正するステップと、を含む、方法。 - 前記候補行列の各列における各候補は、信頼度の高い順にランク付けされる、請求項1に記載の方法。
- 前記木は、LCS(最長共通部分列)に基づいて構築され、
前記差のメトリックは、LCS長さである、請求項1又は2に記載の方法。 - 前記木における探索すべきノードの範囲を決定するステップは、
前記木における根ノードに含まれる内容と前記候補行列との重み付けLCS長さと、所定閾値との差分値を計算するステップと、
前記差分値以上のLCS長さを有する子ノードを前記範囲に含ませるステップと、を含む、請求項3に記載の方法。 - 前記重み付けLCS長さを計算する際に、
マッチングが取れた場合、前記重み付けLCS長さの重みは、対応する画像ブロックについて選択された候補の数、及び前記候補行列におけるマッチングすべき候補の選択された候補の数のうちのランクに基づくものであり、
マッチングが取れていない場合、前記重みは、負の無限大である、請求項4に記載の方法。 - 前記決定された範囲内の全てのノードに含まれる内容と前記候補行列とのマッチングを行うステップは、
前記範囲内の各ノードに含まれる内容と前記候補行列との重み付けLCS長さを計算するステップ、を含む、請求項5に記載の方法。 - 前記認識結果を補正するステップは、
算出された前記範囲内の各ノードに含まれる内容と前記候補行列との1つ又は複数の重み付けLCS長さに基づいて、前記認識結果を補正するステップ、を含む、請求項6に記載の方法。 - 前記木は、Burkhard−Keller木である、請求項1又は2に記載の方法。
- 画像ブロックの認識結果の補正装置であって、
前記認識結果の候補行列を取得する取得部であって、前記候補行列の各列は、対応する画像ブロックの認識結果の複数の候補を表す、取得部と、
木における探索すべきノードの範囲を決定する決定部であって、前記木は、前記木におけるノードの各ペアに含まれる内容間の差のメトリックに基づいて構築される、決定部と、
決定された範囲内の全てのノードに含まれる内容と前記候補行列とのマッチングを行うことで、前記認識結果を補正する補正部と、を含む、装置。 - プログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、前記プログラムがプロセッサにより実行される際に、
画像ブロックの認識結果の候補行列を取得するステップであって、前記候補行列の各列は、対応する画像ブロックの認識結果の複数の候補を表す、ステップと、
木における探索すべきノードの範囲を決定するステップであって、前記木は、前記木におけるノードの各ペアに含まれる内容間の差のメトリックに基づいて構築される、ステップと、
決定された範囲内の全てのノードに含まれる内容と前記候補行列とのマッチングを行うことで、前記認識結果を補正するステップと、を実行させる、記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910288895.6 | 2019-04-11 | ||
CN201910288895.6A CN111814781A (zh) | 2019-04-11 | 2019-04-11 | 用于对图像块识别结果进行校正的方法、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020173802A true JP2020173802A (ja) | 2020-10-22 |
JP7487532B2 JP7487532B2 (ja) | 2024-05-21 |
Family
ID=72831500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020066804A Active JP7487532B2 (ja) | 2019-04-11 | 2020-04-02 | 画像ブロックの認識結果の補正方法及び装置、並びに記憶媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7487532B2 (ja) |
CN (1) | CN111814781A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7134526B1 (ja) | 2021-11-15 | 2022-09-12 | 株式会社Cogent Labs | マッチング装置、マッチング方法、プログラム、及び記録媒体 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112990225B (zh) * | 2021-05-17 | 2021-08-27 | 深圳市维度数据科技股份有限公司 | 一种复杂环境下的图像目标识别方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001283156A (ja) | 2000-03-31 | 2001-10-12 | Glory Ltd | 住所認識装置、住所認識方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US7536064B2 (en) * | 2005-05-31 | 2009-05-19 | Microsoft Corporation | Image comparison by metric embeddings |
JP2012223338A (ja) * | 2011-04-19 | 2012-11-15 | Fujifilm Corp | 木構造作成装置および方法ならびにプログラム |
JP6470249B2 (ja) | 2016-12-20 | 2019-02-13 | ソフトバンク株式会社 | データクレンジングシステム、データクレンジング方法及びデータクレンジングプログラム |
CN107169445B (zh) * | 2017-05-11 | 2020-07-03 | 北京东方金指科技有限公司 | 一种大规模掌纹编码和比对方法 |
CN109325138B (zh) * | 2018-07-12 | 2022-07-15 | 上海电机学院 | 一种基于扩展与亚像素矩阵结合的图像快速识别方法 |
-
2019
- 2019-04-11 CN CN201910288895.6A patent/CN111814781A/zh active Pending
-
2020
- 2020-04-02 JP JP2020066804A patent/JP7487532B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7134526B1 (ja) | 2021-11-15 | 2022-09-12 | 株式会社Cogent Labs | マッチング装置、マッチング方法、プログラム、及び記録媒体 |
JP2023073104A (ja) * | 2021-11-15 | 2023-05-25 | 株式会社Cogent Labs | マッチング装置、マッチング方法、プログラム、及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
CN111814781A (zh) | 2020-10-23 |
JP7487532B2 (ja) | 2024-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Stephen | String searching algorithms | |
CN111159990B (zh) | 一种基于模式拓展的通用特殊词识别方法及系统 | |
US9754176B2 (en) | Method and system for data extraction from images of semi-structured documents | |
WO2023005293A1 (zh) | 文本纠错方法、装置、设备及存储介质 | |
CN110362824B (zh) | 一种自动纠错的方法、装置、终端设备及存储介质 | |
CN112784009B (zh) | 一种主题词挖掘方法、装置、电子设备及存储介质 | |
JP7487532B2 (ja) | 画像ブロックの認識結果の補正方法及び装置、並びに記憶媒体 | |
KR101379128B1 (ko) | 사전 생성 장치, 사전 생성 방법 및 사전 생성 프로그램을 기억하는 컴퓨터 판독 가능 기록 매체 | |
JPH11328317A (ja) | 日本語文字認識誤り訂正方法及び装置、並びに、誤り訂正プログラムを記録した記録媒体 | |
CN112182353B (zh) | 用于信息搜索的方法、电子设备和存储介质 | |
CN111782892B (zh) | 基于前缀树的相似字符识别方法、设备、装置和存储介质 | |
CN111160445B (zh) | 投标文件相似度计算方法及装置 | |
KR101245631B1 (ko) | 근사조합장치, 근사조합방법, 프로그램 및 기록매체 | |
CN114090722B (zh) | 查询内容自动补全的方法及装置 | |
CN113407693B (zh) | 一种用于全媒体审读的文本相似度比对方法及装置 | |
Pandi et al. | A novel similarity measure for sequence data | |
JP5252596B2 (ja) | 文字認識装置、文字認識方法及びプログラム | |
CN111488757B (zh) | 用于对图像的识别结果进行分割的方法和设备及存储介质 | |
CN111310442B (zh) | 形近字纠错语料挖掘方法、纠错方法、设备及存储介质 | |
CN115917527A (zh) | 文档检索装置、文档检索系统、文档检索程序、以及文档检索方法 | |
JP3080066B2 (ja) | 文字認識装置、方法及び記憶媒体 | |
JP2003331214A (ja) | 文字認識誤り訂正方法、装置及びプログラム | |
JP4915499B2 (ja) | 同義語辞書生成システム、同義語辞書生成方法および同義語辞書生成プログラム | |
JP4985096B2 (ja) | 文書解析システム、および文書解析方法、並びにコンピュータ・プログラム | |
JPH06274547A (ja) | 複合語認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240422 |