JP2003178081A - レイアウトグラフマッチングを使用した文書分類及びラベル付け方法 - Google Patents

レイアウトグラフマッチングを使用した文書分類及びラベル付け方法

Info

Publication number
JP2003178081A
JP2003178081A JP2002353120A JP2002353120A JP2003178081A JP 2003178081 A JP2003178081 A JP 2003178081A JP 2002353120 A JP2002353120 A JP 2002353120A JP 2002353120 A JP2002353120 A JP 2002353120A JP 2003178081 A JP2003178081 A JP 2003178081A
Authority
JP
Japan
Prior art keywords
document
layout graph
graph model
segmented
layout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2002353120A
Other languages
English (en)
Inventor
Yue Ma
マ ユー
K Kuo Chinhon
ケー． クオ チンホン
Delman David
デルマン デイヴィット
Ryan Chen
リャン チェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of JP2003178081A publication Critical patent/JP2003178081A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/83—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 セグメント化済み文書を自動的に分類及び／
またはラベル付けする文書処理システムを提供する。 【解決手段】 セグメント化済み文書の識別に使用され
る文書処理システムは、分類及び／またはラベル付けさ
れたレイアウトグラフモデル１０を格納するデータベー
ス１２を備えている。マッチングモジュール２０は、セ
グメント化済み文書１８のレイアウトグラフサンプルと
特定のレイアウトグラフモデルとの間の適合性を判定す
る。マッチングモジュール２０は、セグメント化済み文
書１８を、相関器を使用して該セグメント化済み文書、
レイアウトグラフモデル１０及び適合性の判定結果に基
づいて分類及び／またはラベル付けすることによって、
識別されたセグメント化済み文書２２として作成する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は文書分類システム及
び方法に関し、特にレイアウトグラフマッチングを用い
た文書の分類及びラベル付けに関する。
【０００２】
【従来の技術】現在、大量の異種文書の集まりを自動処
理することに大きな関心が集まっている。このような関
心が集まっている原因の１つとして、ハードウェアやネ
ットワークのインフラが進歩して、大量の文書画像のデ
ータ取込み、格納、伝送、そして再生が簡単に行えるよ
うになってきたことが挙げられる。しかし、大量の異種
文書の集まりを自動処理するのに足りる技術は、一般的
にはまだない。
【０００３】過去に試みられた解決手段は、主として、
納品書、納税申告用紙、刊行物の記事等、比較的少ない
種類の文書を処理することが中心であった。すなわち、
以前に試みられたこれらの解決手段は、その分類が既知
であること、入力画像が分類されていることのいずれか
が必要であるという領域限定があった。デスクトップ用
アプリケーションの中には双方向処理が可能なものもあ
るだろうが、完全に自動化された分類技術に対する必要
性は満たされないままである。
【０００４】完全に自動化された分類技術に対する必要
性が満たされないままでいる理由の１つは、ページレベ
ルでの分類に関するものであり、ページレベルでは、よ
り細かいレベルで分類を行う必要がある。例えば、刊行
物からタイトルページが識別されると、そこにはタイト
ル、著者、要約、キーワード、テキスト、そしておそら
くは版権、欄外のヘッダ、フッタ、及びページ番号があ
る。大部分の状況においては、引用用データベースを構
築するには単にタイトル、著者、そして要約を抽出する
だけでよいであろう。その代わりに、もしくはそれに加
えて、アプリケーションは完全な自動変換及び／又は装
置依存の再描画を行う性能を重視する場合もある。これ
らの処理の両方、ページの分類、及び論理ラベル付け
は、完全な文書解析システムには必須である。
【０００５】論理ラベル付け技術は、大きく分けると領
域に基づくものと構造に基づくものがある。領域に基づ
く技術は、例えば、非特許文献１及び非特許文献２によ
り理解できる。つまり、領域に基づく技術は各領域を各
々の特徴に基づいて個別に分類する。対照的に、構造に
基づく技術は位置のような大局的制約条件を組み込んで
いる。
【０００６】領域に基づく技術や構造に基づく技術は、
さらに、トップダウン決定に基づく技術、ボトムアップ
推論に基づく技術、大局的最適化技術に分類される。ト
ップダウン決定に基づく技術は、例えば、非特許文献３
により理解できる。トップダウン決定に基づく技術は、
さらに、非特許文献４により理解できる。また、ボトム
アップ推論に基づく技術は、非特許文献５により理解で
きる。ボトムアップ推論に基づく技術は、さらに、非特
許文献６により理解できる。さらに、大局的最適化技術
は、非特許文献７に教示されたように、最初の２つの技
術を複合させたものであることが多い。大局的最適化技
術は、さらに、非特許文献８により理解できる。
【０００７】過去に試みられた解決手段の１つには、非
特許文献９に教示されたページ様式による分類システム
が含まれる。このシステムは、納税申告用紙とビジネス
レターを区別する等、文書を大まかなクラスごとに分類
することに重点を置いている。しかし、より細かいレベ
ルで紙文書を分類する必要性がまだ残されている。特
に、刊行物クラスにおける２種類のタイトルページのイ
ンスタンスのような、同じ様式の視覚的に区別可能な文
書を区別し、さらにそれらの構成要素に論理ラベル付け
を行うことができることが必要とされている。
【０００８】
【非特許文献１】Ｏ．アルタムラ(Altamura)，Ｆ．エス
ポジト(Esposito)，Ｄ．マレルバ(Malerba)著，「ＷＩ
ＳＤＯＭ++を用いた紙文書のｘｍｌ形式への変換(Trans
forming paper documents into xml format with WISDO
M++)」，Journal of Document Analysis and Recogniti
on, 2000, 3(2): pp. 175-198
【非特許文献２】Ｇ．Ｉ．パレルモ(Palermo)，Ｙ．
Ａ．ディミトリアディス(Dimitriadis)著，「新しい回
帰的ファジィ・ニューラルシステムを用いた構造化文書
のラベル付け及びルール抽出(Structured document lab
eling and rule extraction using anew recurrent fuz
zy-neural system)」，第５回文書解析と認識国際会議
議事録(Proceedings of The Fifth International Conf
erence on Document AnalysisAnd Recognition)，1999,
pp. 181-184
【非特許文献３】Ａ．デンゲル(Dengel)，Ｒ．ブライジ
ンガー(Bleisinger)，Ｆ．ファイン(Fein)，Ｒ．ホック
(Hoch)，Ｆ．ホーネス(Hones)，Ｍ．マルブルグ(Malbur
g)著，「ＯｆｆｉｃｅＭＡＩＤ−オフィスメールの解
析、解釈、配信システム(OfficeMAID - a system for o
ffice mail analysis, interpretation and deliver
y)」，文書解析システムの国際ワークショップ(Interna
tional Workshop on DocumentAnalysis Systems)，199
4, pp. 253-276
【非特許文献４】Ｍ．クリシュナモールシー(Krishnamo
orthy)，Ｇ．ナジ(Nagy)，Ｓ．セス(Seth)，Ｍ．ビスワ
ナンサン(Viswananthan)著，「技術ジャーナルのデジタ
ル化されたページの構文のセグメント化及びラベル付け
(Syntactic segmentation and labeling of digitized
pages from technical journals)」，IEEE Transaction
sOn Pattern Analysis And Machine Intelligence, 199
3, 15(7): pp. 737-747
【非特許文献５】Ｔ．Ａ．バイヤー(Bayer)，Ｈ．ワリ
シェウスキー(Walischewski)著，「構文パターン解析を
用いた紙文書からの構造的情報の抽出実験(Experiments
on extracting structural information from paper d
ocuments using syntactic pattern analysis)」，第３
回文書解析と認識国際会議議事録(Proceedings of The
Third International Conference on Document Analysi
s And Recognition)，1995, pp. 476-479
【非特許文献６】Ｔ．フー(Hu)，Ｒ．アンゴルド(Ingol
d)著，「文書画像の効率的な論理構造認識への複合的ア
プローチ(A mixed approach toward an efficient logi
cal structure recognition from document image
s)」，Electric Publishing, 1993, 6(4):457-468
【非特許文献７】Ｙ．イシタニ著，「文書画像のＯＣＲ
誤りに耐性のある、モデルに基づく情報抽出方法(Model
-based information extraction method tolerant of O
CR errors for document images)」，第６回文書解析と
認識国際会議議事録(Proceedingsof The Sixth Interna
tional Conference on Document Analysis And Recogni
tion)，2001, pp. 908-915
【非特許文献８】Ｈ．ワリシェウスキー著，「郵便業務
自動化における対象領域の学習(Learning regions of i
nterest in postal automation)」，第５回文書解析と
認識国際会議議事録(Proceeding of The Fifth Interna
tional Conference on DocumentAnalysis And Recognit
ion)，1999, pp. 317-340
【非特許文献９】Ｃ．シン(Shin)，Ｄ．デルマン(Doerm
ann)，Ａ．ローゼンフェルト(Rosenfeld)著，「レイア
ウト構造の視覚的類似性に基づく文書ページ画像の分類
(Classification of document page images based on v
isual similarity of layout structures)」，SPIE Con
ference on Document Recognition and Retrieval (VI
I),2000, pp. 182-190）
【０００９】
【発明が解決しようとする課題】本発明は、上述したよ
うな必要性を満足させるものであり、セグメント化済み
文書を自動的に分類及び／またはラベル付けする文書処
理システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】本発明において、セグメ
ント化済み文書の識別に使用される文書処理システム
は、分類とラベル付けのうちの少なくとも一方が行われ
たレイアウトグラフモデルを格納するデータ格納部を備
えている。マッチングモジュールは、セグメント化済み
文書のレイアウトグラフサンプルと特定のレイアウトグ
ラフモデルとの間の適合性を判定する。マッチングモジ
ュールは、セグメント化済み文書を、相関器を使用して
該セグメント化済み文書、レイアウトグラフモデル及び
適合性の判定結果に基づいて分類及び／またはラベル付
けすることによって、識別されたセグメント化済み文書
として作成する。
【００１１】好ましい実施形態では、統合型ページ分類
及び論理ラベル付け方法が、分類と論理ラベル付けを同
時に実行する。レイアウトグラフモデルは、ページレイ
アウト同士が文書クラス内で一致する傾向があるという
観測結果に基づいて、視覚的に区別可能なレイアウトご
とに構築される。その後、未知のページとモデルとの間
のマッチングにより、ページ分類と論理ラベル付けが同
時に実行される。本発明は、一態様では、未知の文書の
グラフにマッチングされる完全連結の属性付き関係グラ
フによってレイアウトを表す工程を備えている。別の態
様では、本発明は、大局的な制約条件を一体的に組み込
む工程を備えることによって、領域レベルでの局所曖昧
性を回避して雑音及び変動に対するロバスト性を実現し
ている。さらに別の態様では、モデルが、ラベル付けさ
れるサンプル文書から自動的に学習する。
【００１２】本発明は、レイアウトグラフマッチング法
がページの分類と論理ラベル付けの両方において有望で
あるという点で従来のページ分類システムや方法よりも
有利である。例えば、レイアウトグラフの概念は、ペー
ジの重要な特徴を取り扱いやすい形式で保持する。ま
た、最良適合を求める探索アルゴリズムは、効率的かつ
効果的である。さらに、自動学習モデルは非常に汎用性
がある。さらに、大局的最適化法は、領域分類方法と比
べて大局的制約条件をより効果的に表す。また、葉が特
定のモデルであり、非終端節点が統合モデルである階層
型モデルベースによれば、ページの分類と論理ラベル付
けを階層的に実行することができる。
【００１３】本発明を適用可能なさらに他の分野は、以
下の詳細な説明から明らかになるであろう。以下の詳細
な説明と具体例は、本発明の好ましい実施形態を示すも
のであるが、例示のみを目的とするものであって本発明
の範囲を限定する意図がないことを理解されるべきであ
る。
【００１４】
【発明の実施の形態】以下、本発明の好ましい実施の形
態を図面に基づいて説明する。以下の好ましい実施の形
態は、本質的に例示に過ぎず、本発明、その適用物及び
用途を限定することを意図したものでは全くない。
【００１５】概略すれば、本発明は、基本的に、セグメ
ント化済み文書のページ上のセグメント化されたブロッ
ク（切り出しブロック）にラベルを割り当てると同時
に、そのセグメント化済み文書を分類するものである。
すなわち、あるクラスの文書について文書ページを複数
のブロック（セグメント）に切り分けるセグメンテーシ
ョンの結果が与えられると、本発明は、レイアウトグラ
フを生成して切り出しブロックの属性とそれらの空間的
関係を記述する。正確に分類されラベル付けされたその
ようなレイアウトグラフの集合から、モデルとなるレイ
アウトグラフが構築される。その後、このレイアウトグ
ラフモデルが、新しい未知のレイアウトグラフとマッチ
ングされる。最良の適合が発見されると、未知のグラフ
の節点にレイアウトグラフモデルのラベルが付され、そ
れにより、セグメント化済み文書に対してラベル付けと
分類がなされる。
【００１６】図１は、既に作成されてモデル用データベ
ース（データ格納部）１２に保存されているレイアウト
グラフのモデル１０を使用するシステムのフレームワー
クの概観を示す。例えば、文書の画像１４が、好ましく
は光学式文字認識（ＯＣＲ）を組み込んだセグメンテー
ションエンジン１６を使用して切り分けられる。本発明
は、フロントエンドのセグメンテーションエンジンとし
て、例えば、画像前処理、セグメンテーション及びＯＣ
Ｒをサポートするスキャンソフト(ScanSoft)社製DevKit
2000 （バージョン１０）を使用することにより、ある
程度まで達成することができる。その出力は、文字と、
その矩形状の位置と、フォントのサイズ及びスタイル
と、どの文字が行に属するか及びどの行が領域に属する
かを示すマークアップフィールドとからなるデータスト
リームである。テキストブロックと非テキストブロック
の切り分け及び各文字のフォントスタイルについては、
信頼性がない。１領域内の文字または行は、１領域にグ
ループ化された、タイトルの大きなフォントを有する行
と著者部分の小さなフォントを有する行とが観測可能な
場合であれば、異なるフォントサイズを含むことができ
る。そのような場合、本発明は、行を異なるフォントサ
イズでさらに切り分ける工程を挿入する。また、１行内
で離れすぎているワード同士は分離される。このような
調整の後、エンジンからの出力は、それぞれが、一続き
の文字群を含む数行からなる領域の集合となる。１行内
の全ての文字のフォントサイズは、平均化され、その行
のフォントサイズを得ることができる。同様に、１領域
内の全ての行が同じフォントサイズを有する領域フォン
トサイズを、行から決定することができる。特に、１行
内の文字のフォントサイズが様々である場合があるが、
１領域内の行のフォントサイズは全て同じである。そう
でなければ、その領域は、隣接する行同士がそれぞれ異
なるフォントサイズをもつ２つの領域に分割されること
になる。行同士及び領域同士は互いに重なり合うことが
あるが、重なり合わせは、通常、表および図面において
のみ発生する。表や図面は、DevKitによって切り分けら
れすぎる傾向がある。以下の説明は、テキストからの切
り出しブロックを中心に扱うが、グラフのセグメントの
フォントサイズは、改良型グラフセグメンテーションエ
ンジンが使用可能な場合には、空（null）であると見な
されることになる。
【００１７】セグメンテーション結果１８、場合によっ
ては、ＯＣＲ結果は、マッチングモジュール２０により
実行される分類及びラベル付け処理時に、１つ以上の文
書モデルとマッチングされる。それにより、各セグメン
トに文書クラスと論理ラベルが関連付けされることによ
って、分類及びラベル付けがなされたセグメント化済み
文書２２が生成される。セグメンテーションまたはＯＣ
Ｒ結果と分類及び／またはラベル付け結果は、検証モジ
ュール２４によって照合された後、モデル学習処理２５
に送られ、モデルデータベース１２に格納されているそ
のクラスの文書モデルに学習させるかあるいは改良を施
す。学習が行われるのは、検証モジュール２４が新しい
モデルの必要性を示し、かつ新しいモデルが状況に応じ
て自動的または手動で構築、分類及び／またはラベル付
け可能な場合である。セグメンテーション、ＯＣＲ、分
類及び論理ラベル付けの結果２２は、データベース入
力、自動変換、出版、経路指定等、様々なアプリケーシ
ョンで使用可能である。本発明は、分類処理、ラベル付
け処理及びモデル学習処理を中心に扱っている。
【００１８】レイアウトグラフの概念を、図２に基づい
てさらに詳細に検討する。原則的に、文書画像の全ての
セグメンテーション結果が、それぞれ独自のレイアウト
グラフサンプルを形成する。すなわち、レイアウトグラ
フサンプルは、文書画像に固有のものではないが、特定
のセグメンテーションには固有である。このことから、
レイアウトグラフサンプルの集合からレイアウトグラフ
モデルが生成されると、それに対応する固有のページセ
グメンテーションは存在しないことになる。したがっ
て、そのモデルは、全てのサンプルの「平均」であると
見なすことができる。また、１種類以上の文書について
１つのモデルが一般化されると、その一般化の定義のさ
れ方次第では、そのモデルは、いかなる実際のレイアウ
トグラフにも出現しない節点を含む場合がある。
【００１９】レイアウトグラフ２６Ａ、２６Ｂは、完全
連結の属性付き関係グラフである。レイアウトグラフサ
ンプルにおいて、各節点２６Ａ１、２６Ａ２、２６Ａ
３、２６Ｂ１、２６Ｂ２、２６Ｂ３、２６Ｂ４は、画像
化された文書２８Ａ、２８Ｂの切り出しブロック２８Ａ
１、２８Ａ２、２８Ａ３、２８Ｂ１、２８Ｂ２、２８Ｂ
３、２８Ｂ４にそれぞれ相当する。その属性には、位置
及びサイズ（矩形囲みの中心ｘ座標及びｙ座標、幅及び
高さ）、平均フォントサイズ（該当すれば）が含まれ
る。平均フォントサイズは、ブロック内の全ての文字の
フォントサイズの算術平均である。
【００２０】レイアウトグラフモデルの節点は、レイア
ウトグラフサンプルの属性と同じ属性を有しており、さ
らに、出現重みと、位置及びフォントサイズに関連する
重み数の集合とを有している。したがって、ｘ、ｙ、
ｗ、ｈが位置とサイズを表し、ｆがフォントサイズ、ｏ
が出現重み、ｗ*が重みであるとき、節点は、１１個の
値の組（ｘ、ｙ、ｗ、ｈ、ｆ、ｏ；ｗx、ｗy、ｗw、
ｗh、ｗf）によって記述することができる。
【００２１】出現重みは、ブロックの出現可能性にまさ
に関係している。出現重みは、レイアウトグラフのクラ
スの要約であるレイアウトグラフモデルにとって有用で
ある。例えば、タイトルページのクラスにおいて、奇数
ページと偶数ページのように、それらタイトルページ中
の半分が右下隅にページ番号を有し、他の半分が左下隅
にページ番号を有することとする。その場合、包括的な
モデルは、両方の位置で２種類のページ番号を持つ可能
性があり、それぞれの出現可能性は５０％になる。ま
た、この例の全てのページは上部の中央位置にタイトル
を有しており、したがって、包括的モデルは出現可能性
１００％のタイトルに関する節点を持つことになる。し
たがって、タイトルの節点の出現重みは、ページ番号に
関する２つの節点よりも必然的に高く、それは、タイト
ルブロックは常にその位置に存在するがページ番号は常
にその位置に存在するわけではないことを示している。
出現重みの数は、マッチング処理時に有用である。
【００２２】一対の節点２６Ａ１、２６Ａ２間の枝（ed
ge）３０は、画像２８Ａの対応する２つの切り出しブロ
ック２８Ａ１、２８Ａ２間の空間的関係を反映してい
る。あるブロックは、別のブロックの上方か下方のどち
らかで、かつ、左側か右側に位置する。しかしながら、
「上方」や「下方」という言葉を使用することが常に正
確なわけではない。例えば、図２では、ブロック２８Ｂ
１は、まさにブロック２８Ｂ２の「上方」に位置してい
るが、ブロック２８Ｂ１が２８Ｂ２の「右側」に位置し
ていると言えるかどうかは確かではない。また、ブロッ
ク２８Ｂ１は、ブロック２８Ｂ２と水平方向に重なり合
っているのであって、ブロック２８Ｂ１がブロック２８
Ｂ２より「部分的に右側」に位置していると言うことも
正確ではない。したがって、本発明は、枝を定義するよ
り精度の高い方法を使用して切り出しブロックの空間的
相互関係を正確に指摘するものである。
【００２３】まず、関係は、水平方向と垂直方向に分け
られる。１つの次元の関係についてさらに２つの選択肢
が有る。１つは、隔たりの関係という概念を採用するこ
とである。しかしながら、雑音を考慮する必要があるの
で、その関係には、いくらか誤差の許容度が存在するは
ずである。点についての関係は、誤差の許容度により自
然に適応することが分かる。この考えは、２つの隔たり
の関係を両文書セグメント上の複数の特徴点（左端と右
端、中間点等）間の関係によって表現することを含んで
いる。例えば、ブロック２８Ｂ１の左辺はブロック２８
Ｂ２の左辺よりも右側に位置しており、これらのブロッ
クの右辺についても同様である。また、ブロック２８Ｂ
１の右辺はブロック２８Ｂ２の左辺よりも右側であり、
ブロック２８Ｂ１の左辺はブロック２８Ｂ２の右辺より
も左側である。さらに、両ブロックの中間点を水平方向
に考察すれば、ブロック２８Ｂ１の中間点はブロック２
８Ｂ２の中間点より右側である。結果として得られる関
係の精度には、選択された特徴点の数が関係している。
誤差の許容度は、それより低い値をゼロとみなす閾値と
して導入される。したがって、ｘまたはｙ座標値間の差
がこの閾値より低ければ、２点はｘまたはｙ方向に揃っ
ていると言える。
【００２４】好ましい実施形態では、２つのブロック間
の関係を表現するために、点についての関係が９個選択
される。すなわち、ブロック２８Ｂ１の位置は、その左
座標、上座標、右座標及び下座標によってa=(la,ta,ra,
ba)として定義することができ、ブロック２８Ｂ２の位
置は、b=(lb,tb,rb,bb)として定義することができる。
ｅを揃い誤差許容度とすると、ａからｂまでの空間的関
係は次のように定義される。
【００２５】Rab = [Rl ab,Rm ab,Rr ab,Rt ab,Rb ab,Rlr ab,
Rrl ab,Rtb ab,Rbt ab] 但し、 Rl ab = R(la,lb,e) Rm ab = R((la+ra),(lb+rb),e/2) Rr ab = R(ra,rb,e) Rt ab = R(ta,tb,e) Rb ab = R(ba,bb,e) Rlr ab = R(la,rb,e) Rrl ab = R(ra,lb,e) Rtb ab = R(ta,bb,e) Rbt ab = R(ba,tb,e) 及び、R(s,t,e)は、s<t-eならば−１、s>t+eならば１、
それ以外は０である。
【００２６】レイアウトグラフモデルには、枝に関連す
る９個の属性に加えて、これらの属性の重要度と安定度
を示す９個の重みが存在する。その重みは次のように示
される。
【００２７】Wab = (Wl ab,Wm ab,Ww ab,Wt ab,Wb ab,Wlw ab,
Wwl ab,Wtb ab,Wbt ab) したがって、枝は、以下の式によって完全に記述され
る。
【００２８】(a,b)e = (R(a,b),w(a,b)) 但し、R(b,a) = -R(a,b)であり、w(a,b) = w(b,a)であ
る。表１は、一例として、枝ＡＢの属性（ブロックＡの
辺のブロックＢの辺に対する空間的関係）を示す。
【００２９】
【表１】
【００３０】上記の定義に従って、レイアウトグラフＧ
は、以下に示すような節点集合と枝集合の組合せであ
る。
【００３１】 G = ([gi]i=1,2,...,N,[(gi, gj)e]i,j=1,2,...,N) サンプルの集合全体にわたって一般化されたレイアウト
グラフモデルの場合、多少の不一致が見られる場合があ
る。例えば、レイアウトグラフモデルのタイトルの平均
的な位置が著者の位置と重なり合う場合がある。その一
方で、それらの空間的関係は、「タイトルは常に著者の
上方にあり、両者は接触しない」ことになっている。こ
の不一致が存在する理由は、位置と関係がモデル学習処
理において無関係に学習されるからである。この不一致
はマッチング結果には影響しない。
【００３２】グラフマッチングの最適解は、一般に、Ｎ
Ｐ問題である。実際の解は、ヒューリスティックスを頼
りにして分岐限定探索を採用するか、あるいは、Ｓ．ゴ
ールド(Gold)及びＡ．ランガラヤン(Rangarajan)著，
「グラフマッチングの段階付き配置アルゴリズム(A gra
duated assignment algorithm for graph matchin
g)」，IEEE Trans. Pattern Anal. Machine Intell., 1
996 18(4):377-388に教示されている非線形最適化技術
を採用する。
【００３３】本実施形態は、Ｎ−１マッチングアルゴリ
ズムを使用して、計算コストを低減させる、グラフ間の
最良適合を発見する。したがって、最良の１対ｎ適合を
求める探索は計算コストが非常に高いので、グラフ間の
適合は１対１の場合に限定される。このアルゴリズム
は、必須として、最良の１対１適合を発見する工程と、
その後、マッチングされていない節点を同定する工程
と、そして、マッチングされていない節点を、最初の工
程で発見した最良の１対１適合を参照しながら個別にマ
ッチングさせる工程を含んでいる。
【００３４】本発明は、最初の１対１適合を発見する際
に、分岐限定探索アルゴリズムの簡略版を使用する。著
者の下方にタイトルを配置する等、２つ以上の大きな誤
りを含む探索経路は、素早く消去される。
【００３５】例えば、２つのグラフＧおよびＨが、それ
ぞれｎ個およびｍ個の節点を有しているとする。Ｇの各
節点については、マッチングされていないまま放置して
おくか、あるいはマッチングされていないＨの節点とマ
ッチングさせる。その後、Ｈの節点とマッチングさせた
この節点は「マッチング済み」としてマークが付され
る。Ｇの全ての節点がこのようにして処理されると、Ｇ
とＨの間でマッピング（対応付け）が作成される。その
ようなマッピングを「適合」と称する。
【００３６】起こり得る全ての適合数が（ｎ＋ｍ）！と
なることは容易にわかる。例えば、図２には、２つのペ
ージセグメンテーションが示されている。一方のページ
は３つのブロックに切り分けられ、他方は４つのブロッ
クを有している。それらに対して、２つのレイアウトグ
ラフＧ、Ｈがそれぞれ構築される。ＧとＨの間の３つの
適合例を以下に示す。全部で（３＋４）！＝５，０４０
個の適合が起こり得る。
【００３７】
【数１】
【００３８】適合の適性を定義するため、適合のコスト
が計算される。最低限の要件は、グラフのそれ自身に対
する適合がゼロコストであることである。次に、そのコ
ストは、２つのグラフのマッチング済み成分が互いにど
の程度うまく当てはまっているかを明示するのみなら
ず、両グラフのマッチングされていない成分の影響を含
むものであることが望ましい。最後に、コストは、２つ
のグラフのサイズに関して何らかの方法で正規化される
ことが望ましい。
【００３９】グラフＧの観点から見れば、ＧとＨとの間
の適合性は、各対がＧの節点と、Ｈの対応する節点また
は空とを含んでいる対の集合によって表現することがで
きる。それは、h(gi)がＨの１節点、あるいはφとなり
得るとき、M(G,H)=[(gi,h(gi))n i=1]と記述できる。対
称的に、M(H,G)=[(hi,g(hi))m i=1]である。h(φ)及びg
(φ)はともに未定義である。h=g-1、すなわち、h(g
(hi))=hiであり、g(h(gi))=giである。したがって、Ｇ
とＨとの間の適合性は、M(G,H)及びM(H,G)によって一意
に決まる。M(G,H)=(M(G,H),M(H,G))と記述できる。
【００４０】M(G,H)及びM(H,G)のそれぞれについて、コ
ストが定義される。その場合、両方の合計が総コストで
ある。すなわち、 ctotal(M(G,H)) = C1(M(G,H))+C1(M(H,G)) C1(M(G,H))は、Ｇのサイズに関して正規化されたＧの観
点からの適合コストである。コストC1は節点対と枝対の
両方からの寄与率を含んでいる。
【００４１】以下のように、２つの節点が存在すると仮
定する。
【００４２】 a = (xa,ya,wa,ha,fa,oa,wa x,wa y,wa w,wa h,wa f) b = (xb,yb,wb,hb,fb,ob,wb x,wb y,wb w,wb h,wb f) その場合、ａをｂにマッチングさせるコストは、以下の
ように定義される。
【００４３】cn(a,b) = wa x|xa-xb|+ wa y|ya-yb|+ wa w|
wa-wb|+ wa h|ha-hb|+ wa fδ(fa,fb) 但し、x=yならばδ(x,y)=0であり、そうでない場合はδ
(x,y)=1である。なお、コストは、cn(a,b)≠cn(b,a)の
ように非対称である。ａ節点を空にマッチングさせるコ
ストは、単純に、cn(a,φ) = 0a及びcn(b,φ) = 0bであ
る。cn(φ,a)及びcn(φ,b)はともに未定義である。
【００４４】枝は、その属性とそれに関連する重みによ
って定義される。ａｂをモデルの枝、ｃｄを未知の枝と
する２つの枝ａｂ、ｃｄが存在すると仮定する。これら
の枝は、以下のように記述される。
【００４５】ab = [Rab,Wab] cd = [Rcd,Wcd] 但し、それらの属性は Rab = [Rl ab,Rm ab,Rr ab,Rt ab,Rb ab,Rlr ab,Rrl ab,Rtb ab,
Rbt ab] Rcd = [Rl cd,Rm cd,Rr cd,Rt cd,Rb cd,Rlr cd,Rrl cd,Rtb cd,
Rbt cd] であり、ａｂの重みは Wab = [Wl ab,Wm ab,Wr ab,Wt ab,Wb ab,Wlr ab,Wrl ab,Wtb ab,
Wbt ab] である。
【００４６】その場合、ａｂをｃｄにマッチングさせる
コストは、l=[l,m,r,t,b,lr,rl,tb,bt]のとき、以下の
ように定義される。
【００４７】
【数２】
【００４８】ａ、ｂ、ｃ、ｄのいずれかがφの場合、ce
(ab,cd)=ce(cd,ab)=0と定義する。節点対と枝対との間
のコストが定義されると、ＧからＨへの正規化コストを
以下のように定義する。
【００４９】
【数３】
【００５０】これにより、２つのレイアウトグラフ間の
適合のコストが完全に求められる。最良の適合は、最小
コストの適合である。
【００５１】本発明は１対１適合主義を採用しており、
未知のサンプルは、通常、モデルより多数のブロックに
過大に切り分けられるため、ブロックの多数はマッチン
グされていないまま残されることになる。この問題は、
図３のマッチングモジュール２０の動作に基づいて例示
された２段階マッチング手法を使って解決される。
【００５２】レイアウトグラフ化モジュール３２は、セ
グメント化済み文書を受け取ると、その文書を表すレイ
アウトグラフサンプル３４を生成する。その後のステッ
プ３６で、サンプル３４と複数のレイアウトグラフモデ
ル１０との間で最良の１対１適合が探索され、サンプル
３４と特定のレイアウトグラフモデル３８との最良適合
が発見される。その結果、特定のモデル３８と部分節点
マップ４０とが同定され、必要に応じてそれらを使用し
て、直ちに文書を分類し、部分的にラベル付けを行うこ
とができる。しかしながら、２段階技術によれば、レイ
アウトグラフモデル３８内のマッチング済み節点をレイ
アウトグラフサンプル３４内のマッチングされていない
節点と置換する試みを行う第２のステップが実行され
る。置換はマッチング済み節点ごとに実行され、その置
換のコストが計算される。このマッチングされていない
節点にとっては、最小コストが「最良」適合となる。な
お、この「最良」適合は、他のマッチングされていない
節点とは無関係に発見されるので、局所的な意味で最適
なのであり、大局的な意味での最適ではない。
【００５３】例えば、図２の２つのグラフの場合、第１
のステップで最良適合（Ａ−ａ，Ｂ−ｂ，Ｃ−ｃ，？−
ｄ）を得られるかもしれない。次に、第２のステップで
は、ｄに３つの選択肢がある。ｄとｂの関係はＣとＢの
関係と両立しないので、ｄをＣに対応付けさせるとコス
トが高くなる。同様に、Ｂも良い選択肢ではない。最良
適合はＡである。したがって、最終的な「最良」適合
は、（Ａ−ａ，Ｂ−ｂ，Ｃ−ｃ，Ａ−ｄ）である。この
ように、図３に符号４２で示す第２のステップは完成し
た節点マップを実現するので、このマップをクラス及び
ラベル相関器４６が使用して、セグメント化済み文書の
各セグメントに対して完全かつ同時に分類及びラベル付
けを行うことができる。この機能は、必須として、セグ
メント化済み文書に対して適合性の判定に基づいてレイ
アウトグラフモデルの分類を割り当てることと、レイア
ウトグラフモデルのラベル付き節点と適合するレイアウ
トグラフサンプルの節点に関連するセグメント化済み文
書のセグメントに対して、レイアウトグラフモデルのラ
ベル付き節点のラベルを割り当てることを含んでいる。
総体として、最終的な適合は１対ｎ適合である。完全１
対ｎ適合ではなく２段階方式を採用する主たる理由は、
計算能力に限界があるからである。
【００５４】１対１適合は１対ｎ適合よりはるかに単純
であるが、それでもその探索空間はまだ非常に大きい。
しかしながら、上述の定義によれば、コストを累算式に
計算することができる。まず、一方のグラフ、例えばＧ
の節点を順序付けすることができる。次に、最初のｇ1
からそれを空あるいはＨの１節点、例えばｈ1に盲目的
にマッチングさせることができる。この処理により、適
合のコストが増加する。その後、ｇ2に進み、それに対
する適合、例えばφを選択することができ、コストが再
び増加する。このようにして、適合の総コストを累算す
ることができる。その次に行うときには、ｇ1を、例え
ば、前回のグラフ適合の全コストを超えるほど高いコス
トを生じるｈ5にマッチングさせることもある。その場
合、累算コストは増大するだけであり、低下することは
ないので、マッチングを続ける必要はない。したがっ
て、ｇ2をｈ3にマッピングした適合を破棄することによ
って多くの時間を節約することができる。基本的に、そ
れは、最良適合が確実に無視されないようにする網羅的
な探索である。しかしながら、Ｇの最後の節点に到達す
るずっと前に大部分の最適でない適合を破棄して、探索
を大幅に加速させることができる。
【００５５】この手法は、領域分類技術と比較すると
（枝対のコストで表現される）大局的制約条件を強める
ことに優れている。また、決定木や推論機械のように制
約条件を一度に１つずつ使用するのと異なり、全ての制
約条件を同時に総コストの形で考慮する。そのような大
局的最適化の利点は、雑音や変動に対するロバスト性に
優れていることである。潜在的な短所としては、中間段
階が見えないために最適解が理解し難い場合があること
である。
【００５６】文書クラスの定義は、そのクラスのサブク
ラスが新しいクラスをさらに構成するという観測結果に
基づいて定義される。したがって、まず特定の刊行物に
固有のレイアウトグラフモデルを構築し、その結果を組
み合わせることによって、刊行物クラスのレイアウトグ
ラフモデルを構築することができる。例えば、レイアウ
トグラフモデルのデータベースを木構造の形で構築する
ことができ、その木構造では、非終端節点はその子節点
のクラスを代表するモデルに対応しており、子節点のク
ラスはそのサブクラスを代表するモデルに対応してい
る。例えば、葉は特定の刊行物のモデルに対応すること
ができ、その葉の親は特定の刊行物クラスのモデルに対
応することができる。したがって、親のモデルは、おそ
らくその葉のモデルから、あるいは、葉のモデルが構築
されたレイアウトグラフサンプルの集まりの全体または
代表的サンプルから構築される。したがって、その親の
親（祖父のモデル）は、おそらく親のモデルから、ある
いは、親のモデルが構築されたレイアウトグラフサンプ
ルの集まりの全体または代表的サンプルから構築され
る。この階層構造の順次構築は、最良適合を発見する順
次探索アルゴリズムを支援する適切な組織構造が得られ
るまで、必要に応じて繰り返すことができる。したがっ
て、マッチング処理は、その一部として木探索アルゴリ
ズムを実行することができる。
【００５７】４つの刊行物から構築されたレイアウトグ
ラフモデルの一例を図４にセグメント化されたページの
形式で示す。この図では、モデルの（サイズに関連す
る）節点の特性を使用して切り出しブロックが描写され
ているとともに、枝の特性を使用してページ上でのブロ
ック相互間の空間的関係が設定されている。各ブロック
に予め設定されたラベルも示す。フォントサイズ、重み
及び文書の分類は図示されていないが、モデルの情報の
一部として保存されている。
【００５８】なお、識別されたセグメント化済み文書は
様々な形態を取ることができ、そのような形態の１つ
は、４つのフィールドを有するデータオブジェクトに相
当する。第１のフィールドは、文書のレイアウトグラフ
サンプルに相当する。第２のフィールドは、メモリ内で
レイアウトグラフサンプルの対応する節点に関連付けさ
れた文書セグメントの配列に相当する。第３のフィール
ドは、メモリ内でレイアウトグラフサンプルに関連付け
された（分類及び／またはラベルを有する）レイアウト
グラフモデルに相当する。第４のフィールドは、モデル
の節点をサンプルの節点に部分的または完全に対応付け
した節点マップに相当する。最終的に、データオブジェ
クトは、分類及び／またはラベルを文書セグメントに対
応付けする相関器の機能によって達成され、これによ
り、文書セグメント及び／または未だセグメント化され
ていない元の文書に対して様々な種類の処理（経路指
定、保存、変換、出版等）を実行することができる。
【００５９】レイアウトグラフサンプルの属性は、一旦
ラベル付けされると、モデルの属性を得るように融合さ
れる。ブロックの位置やサイズ等、一部の属性について
は、サンプルの平均値が使用される。正規化フォントサ
イズ等、他の属性については、大勢を占める値が使用さ
れる。重み係数は、サンプル集合の属性の分散に反比例
して決定される。すなわち、属性が安定しているほど、
属性の分散は小さく、重み係数は大きくなる。モデル節
点の空のコストも同じように学習され、例えば、サンプ
ル集合内で節点が頻繁に出現するほど、空のコストが高
くなる。
【００６０】本発明にかかる文書識別システムの作成及
び使用方法を図５に示す。この図では、モデル収集問題
に取り組んでいる。モデル収集は、様々な状況や選好度
に応じていくつかの方法で本発明が特別に対処している
問題である。本発明の構成によれば、ステップ５６での
文書セグメンテーションの結果をステップ５４で観測し
た評価に基づいてステップ５２でモデルを完全な手動で
記述することは、非常に困難なことではない。しかしな
がら、正確な論理ラベルを使用してレイアウトグラフサ
ンプルの集合からモデルを自動的に学習するほうが望ま
しい。
【００６１】すなわち、本発明の方法は、ステップ５８
で開始すると、ステップ５６、５４、５２へと進み、文
書をセグメントに切り分け、切り分けられたセグメント
を受け取り、好ましくは、受け取ったセグメントに対し
て分類及びラベル付けを行い、分類及びラベル付けされ
たレイアウトグラフサンプルの形に変換し、それらのサ
ンプルを使用して分類及びラベル付けされたレイアウト
グラフモデルを構築する。その後、ステップ６２で新し
い文書をセグメント化し、ステップ６４でそのセグメン
テーションの結果からレイアウトグラフサンプルを作成
し、ステップ６６でそれらのサンプルを構築済みのモデ
ルにマッチングさせることにより、ステップ６０で上記
新しい文書が識別される。必要ならば、ステップ６８で
識別の結果を検証し、検証結果を使用してメモリ内に格
納されているモデルを改良する。ステップ７０で、この
方法は終了する。
【００６２】本発明の説明は本質的に例示に過ぎず、し
たがって、本発明の主旨を逸脱しない変形は本発明の範
囲内に包含されることが意図されている。文書及び／ま
たは文書セグメントが本発明にかかる文書及び／または
セグメントの識別により得られる理解に基づいて様々な
方法で処理できることは容易に理解できる。したがっ
て、例えば、本発明による処理の前に、文書及び／また
は文書セグメント用に追加のラベルや新しいラベルが作
成されるように、セグメント化済み文書を予め分類した
り、予めラベル付けすることも可能である。また、この
処理を、文書及び／または文書セグメントを分類する作
業や、文書及び／または文書セグメントを単にラベル付
けするだけの作業に限定することも可能である。さら
に、セグメント化済み文書またはそれに対応するレイア
ウトグラフサンプルにラベルやクラスを実際に割り当て
て文書を識別することは必ずしも必要ではないことは容
易に理解できる。特に、ラベル及び／またはクラスと文
書及び／または文書セグメントとの対応関係の知識は、
その知識に作用する処理や機能と結びついた時、その機
能や処理が文書を分類及び／またはラベル付けされたも
のと認める少なくともその期間中は、分類及び／または
ラベル付けされた文書の作成の構成要素となる。したが
って、本発明のシステム及び方法の特定の適用業務は、
技術の発展的な利用可能性、関連業務の変化及び／また
は変わりやすい市場の実勢によって変化することがあ
る。そのような変化は、本発明の精神及び範囲から逸脱
するものとみなすべきではない。
【図面の簡単な説明】
【図１】文書のラベル付けと分類を同時に実行する本発
明にかかる文書識別システムを示す構成図。
【図２】視覚的に区別可能なレイアウトを有するセグメ
ント化済み文書から本発明に従って構築されたレイアウ
トグラフモデルを示す構成図。
【図３】本発明にかかる順次情報処理を示す構成図。
【図４】特定クラスの文書から作成された４つのレイア
ウトグラフサンプルから構築されたラベル付きレイアウ
トグラフモデルを示す構成図。
【図５】本発明にかかる文書識別システムの作成及び使
用方法を示すフロー図。
【符号の説明】
１０ レイアウトグラフモデル ２０ マッチングモジュール ２５ モデル学習処理 ２６Ａ、２６Ｂ レイアウトグラフ ２６Ａ１、２６Ａ２、２６Ａ３、２６Ｂ１、２６Ｂ２、
２６Ｂ３、２６Ｂ４ 節点 ２８Ａ、２８Ｂ 画像化された文書 ２８Ａ１、２８Ａ２、２８Ａ３、２８Ｂ１、２８Ｂ２、
２８Ｂ３、２８Ｂ４ 切り出しブロック ３０ 枝
───────────────────────────────────────────────────── フロントページの続き (72)発明者 チンホン ケー． クオ アメリカ合衆国 ニュージャージー州 08550 プリンストンジャンクション テ ィファニーコート ６ (72)発明者 デイヴィット デルマン アメリカ合衆国 メリーランド州 21043 エリコットシティ ロックバーンドライ ブ 7814 (72)発明者 チェン リャン アメリカ合衆国 メリーランド州 20742 カレッジパーク Ｆターム(参考） 5B075 ND03 ND07 NR12 QP01 UU06

Claims (33)

    【特許請求の範囲】
  1. 【請求項１】 セグメント化済み文書の識別に使用され
    る文書処理システムであって、 分類及びラベル付けのうちの少なくとも一方が行われた
    レイアウトグラフモデルを格納するデータ格納部と、 前記セグメント化済み文書のレイアウトグラフサンプル
    と前記データ格納部の特定のレイアウトグラフモデルと
    の間の適合性を判定するよう動作可能なマッチングモジ
    ュールとを備え、 前記マッチングモジュールは、前記セグメント化済み文
    書に対して、該セグメント化済み文書、前記レイアウト
    グラフモデル、及び前記適合性の判定結果に基づいて分
    類及びラベル付けのうちの少なくとも一方を行うことに
    よって、識別されたセグメント化済み文書を作成する相
    関器を有している文書処理システム。
  2. 【請求項２】 請求項１に記載の文書処理システムにお
    いて、 前記マッチングモジュールは、前記特定のレイアウトグ
    ラフモデルの節点を前記レイアウトグラフサンプルの節
    点とマッチングさせるのに役立つ節点マップを作成する
    よう動作可能に構成されていることを特徴とする文書処
    理システム。
  3. 【請求項３】 請求項１に記載の文書処理システムにお
    いて、 前記相関器は、前記レイアウトグラフモデルの節点に付
    されたラベルを前記セグメント化済み文書のセグメント
    に割り当てるよう動作可能であり、 該セグメントは、前記レイアウトグラフモデルのラベル
    が付された節点と適合する前記レイアウトグラフサンプ
    ルの節点に関連していることを特徴とする文書処理シス
    テム。
  4. 【請求項４】 請求項１に記載の文書処理システムにお
    いて、 前記相関器は、前記レイアウトグラフモデルの分類を前
    記適合性の判定結果に基づいて前記セグメント化済み文
    書に割り当てるよう動作可能に構成されていることを特
    徴とする文書処理システム。
  5. 【請求項５】 請求項１に記載の文書処理システムにお
    いて、 文書をセグメント化することにより、前記セグメント化
    済み文書を作成するよう動作可能な文書セグメンテーシ
    ョンエンジンをさらに備えたことを特徴とする文書処理
    システム。
  6. 【請求項６】 請求項１に記載の文書処理システムにお
    いて、 前記セグメント化済み文書に基づき前記レイアウトグラ
    フサンプルを作成するよう動作可能なレイアウトグラフ
    化モジュールをさらに備えたことを特徴とする文書処理
    システム。
  7. 【請求項７】 請求項１に記載の文書処理システムにお
    いて、 前記識別されたセグメント化済み文書の分類及びラベル
    付けのうちの少なくとも１つの正確度に関する評価を行
    い、該評価結果に基づき前記データ格納部にある少なく
    とも１つのレイアウトグラフモデルを改良するよう動作
    可能な検証モジュールをさらに備えたことを特徴とする
    文書処理システム。
  8. 【請求項８】 請求項１に記載の文書処理システムにお
    いて、 前記レイアウトグラフモデルは、節点と枝とを含んでお
    り、 前記節点は、文書クラスに関係する文書セグメントを表
    し、前記枝は、前記文書セグメントの空間的相互関係を
    観測した結果に基づいて生成されていることを特徴とす
    る文書処理システム。
  9. 【請求項９】 請求項１に記載の文書処理システムにお
    いて、レイアウトグラフモデルを格納する前記データ格
    納部は、特定の文書クラスに従属する文書サブクラスを
    表すレイアウトグラフモデルが前記特定の文書クラスを
    表す特定のレイアウトグラフモデルに従属する関係にあ
    る階層構造を有しており、 前記マッチングモジュールは、前記階層構造に基づいて
    前記レイアウトグラフサンプルと複数のレイアウトグラ
    フモデルとのマッチングを連続的に試みるよう動作可能
    に構成されていることを特徴とする文書処理システム。
  10. 【請求項１０】 セグメント化済み文書を分類しラベル
    付けする方法であって、 前記セグメント化済み文書のレイアウトグラフサンプル
    を受け取る工程と、 前記レイアウトグラフサンプルと分類及びラベル付けの
    うちの少なくとも一方がなされているレイアウトグラフ
    モデルとの間の適合性を判定する工程と、 前記セグメント化済み文書に対して、該セグメント化済
    み文書、前記レイアウトグラフモデル、及び前記適合性
    の判定結果に基づいて分類及びラベル付けのうちの少な
    くとも一方を行うことによって、識別されたセグメント
    化済み文書を作成する工程とを備えたセグメント化済み
    文書の分類及びラベル付け方法。
  11. 【請求項１１】 請求項１０に記載のセグメント化済み
    文書の分類及びラベル付け方法において、 前記セグメント化済み文書は、分類もラベル付けもされ
    ていないセグメント化済み文書であり、前記レイアウト
    グラフサンプルを受け取る工程は、分類もラベル付けも
    されていないレイアウトグラフサンプルを受け取る工程
    であることを特徴とするセグメント化済み文書の分類及
    びラベル付け方法。
  12. 【請求項１２】 請求項１０に記載のセグメント化済み
    文書の分類及びラベル付け方法において、 前記識別されたセグメント化済み文書を作成する工程
    は、 前記レイアウトグラフモデルの分類を前記適合性の判定
    結果に基づいて前記セグメント化済み文書に割り当てる
    工程と、 前記レイアウトグラフモデルの節点に付されたラベル
    を、該レイアウトグラフモデルの節点と適合する前記レ
    イアウトグラフサンプルの節点に関連している前記セグ
    メント化済み文書のセグメントに割り当てる工程とを含
    んでいることを特徴とするセグメント化済み文書の分類
    及びラベル付け方法。
  13. 【請求項１３】 請求項１０に記載のセグメント化済み
    文書の分類及びラベル付け方法において、 前記セグメント化済み文書は、ラベル付けされていない
    セグメント化済み文書であることを特徴とするセグメン
    ト化済み文書の分類及びラベル付け方法。
  14. 【請求項１４】 請求項１０に記載のセグメント化済み
    文書の分類及びラベル付け方法において、 前記セグメント化済み文書は、予め分類又は予めラベル
    付けのうちの少なくとも一方がなされているものであ
    り、 前記分類及びラベル付けの少なくとも一方を行うことに
    よって識別されたセグメント化済み文書を作成する工程
    は、前記セグメント化済み文書に対して再分類、再ラベ
    ル付け、追加の分類、及び追加のラベル付けのうちの少
    なくとも１つを行うものであることを特徴とするセグメ
    ント化済み文書の分類及びラベル付け方法。
  15. 【請求項１５】 請求項１０に記載のセグメント化済み
    文書の分類及びラベル付け方法において、 前記識別されたセグメント化済み文書を作成する工程
    は、前記ラベル付けされたレイアウトグラフモデルの節
    点に付されたラベルを、該レイアウトグラフモデルの節
    点と適合する前記レイアウトグラフサンプルの節点に関
    連している前記セグメント化済み文書のセグメントに割
    り当てる工程を含んでいることを特徴とするセグメント
    化済み文書の分類及びラベル付け方法。
  16. 【請求項１６】 請求項１０に記載のセグメント化済み
    文書の分類及びラベル付け方法において、 前記分類及びラベル付けのうちの少なくとも一方を行う
    ことによって識別されたセグメント化済み文書を作成す
    る工程は、前記レイアウトグラフモデルの分類を前記適
    合性の判定結果に基づいて前記セグメント化済み文書に
    割り当てる工程を含んでいることを特徴とするセグメン
    ト化済み文書の分類及びラベル付け方法。
  17. 【請求項１７】 請求項１０に記載のセグメント化済み
    文書の分類及びラベル付け方法において、 文書をセグメント化することによりセグメント化済み文
    書を作成する工程を備えたことを特徴とするセグメント
    化済み文書の分類及びラベル付け方法。
  18. 【請求項１８】 請求項１０に記載のセグメント化済み
    文書の分類及びラベル付け方法において、 前記レイアウトグラフサンプルを受け取る工程は、前記
    セグメント化済み文書に基づいて前記レイアウトグラフ
    サンプルを作成する工程を含んでいることを特徴とする
    セグメント化済み文書の分類及びラベル付け方法。
  19. 【請求項１９】 請求項１０に記載のセグメント化済み
    文書の分類及びラベル付け方法において、 前記レイアウトグラフサンプルとレイアウトグラフモデ
    ルとの間の適合性を判定する工程は、 レイアウトグラフモデルを格納し、特定の文書クラスに
    従属する文書サブクラスを表すレイアウトグラフモデル
    が前記特定の文書クラスを表す特定のレイアウトグラフ
    モデルに従属する関係にある階層構造を有するデータ格
    納部にアクセスする工程と、 前記階層構造に基づいて前記レイアウトグラフサンプル
    と複数のレイアウトグラフモデルとのマッチングを連続
    的に試みる工程とを含んでいることを特徴とするセグメ
    ント化済み文書の分類及びラベル付け方法。
  20. 【請求項２０】 文書クラスについて、ラベル付きレイ
    アウトグラフモデルを構築する方法であって、 前記文書クラスの少なくとも１つの文書に対する少なく
    とも１回のセグメンテーションの結果を受け取る工程
    と、 前記セグメンテーション結果に基づいて、前記文書クラ
    スに属するページの文書セグメントを表すとともに該文
    書セグメントの特性を識別する情報を記憶している節点
    をインスタンス化する工程と、 前記セグメンテーション結果に基づいて、節点と互いに
    関連し、該節点が表す前記文書セグメントの空間的相互
    関係を識別する情報を格納している枝をインスタンス化
    する工程とを備えたラベル付きレイアウトグラフモデル
    構築方法。
  21. 【請求項２１】 請求項２０に記載のラベル付きレイア
    ウトグラフモデル構築方法において、 前記節点に対して、前記文書クラスの対応する文書セグ
    メントの内容に予め定義されたカテゴリーに基づいてラ
    ベルを付ける工程を備えていることを特徴とするラベル
    付きレイアウトグラフモデル構築方法。
  22. 【請求項２２】 請求項２１に記載のラベル付きレイア
    ウトグラフモデル構築方法において、 前記レイアウトグラフモデルを使用して、各ラベルを新
    しいセグメント化済み文書の新しい文書セグメントに割
    り当てる工程と、 前記各ラベルの新しい文書セグメントへの割り当てを検
    証する工程と、 前記各ラベルの割り当てを検証した結果に基づいて、前
    記ラベル付きレイアウトグラフモデルを改良する工程と
    をさらに備えていることを特徴とするラベル付きレイア
    ウトグラフモデル構築方法。
  23. 【請求項２３】 請求項２０に記載のラベル付きレイア
    ウトグラフモデル構築方法において、 前記文書クラスに基づいて前記レイアウトグラフモデル
    を分類する工程を備えていることを特徴とするラベル付
    きレイアウトグラフモデル構築方法。
  24. 【請求項２４】 請求項２０に記載のラベル付きレイア
    ウトグラフモデル構築方法において、 前記レイアウトグラフモデルを使用して、新しいセグメ
    ント化済み文書を前記文書クラスに関連付けする分類を
    行う工程と、 前記新しいセグメント化済み文書に対する分類を検証す
    る工程と、 前記分類を検証した結果に基づいて前記レイアウトモデ
    ルを改良する工程とをさらに備えていることを特徴とす
    るラベル付きレイアウトグラフモデル構築方法。
  25. 【請求項２５】 請求項２０に記載のラベル付きレイア
    ウトグラフモデル構築方法において、 前記セグメンテーション結果を受け取る工程は、前記文
    書クラスの少なくとも１つの文書をセグメント化するこ
    とにより、前記セグメンテーション結果を生成する工程
    を含んでいることを特徴とするラベル付きレイアウトグ
    ラフモデル構築方法。
  26. 【請求項２６】 請求項２０に記載のラベル付きレイア
    ウトグラフモデル構築方法において、 前記セグメンテーション結果を受け取る工程は、前記文
    書クラスの少なくとも１つの文書に対する少なくとも１
    回のセグメンテーションの結果を観測する工程を含んで
    いることを特徴とするラベル付きレイアウトグラフモデ
    ル構築方法。
  27. 【請求項２７】 文書の分類とラベル付けに使用される
    レイアウトグラフモデルを適合させる方法であって、 レイアウトグラフサンプルを受け取る工程と、 前記レイアウトグラフサンプルを、分類及びラベル付け
    のうちの少なくとも一方が行われた少なくとも１つのレ
    イアウトグラフモデルと比較する工程と、 前記レイアウトグラフサンプルと特定のレイアウトグラ
    フモデルとの最良適合を発見する工程とを備えたレイア
    ウトグラフモデル適合方法。
  28. 【請求項２８】 請求項２７に記載のレイアウトグラフ
    モデル適合方法において、 前記最良適合を発見する工程は、 前記レイアウトグラフサンプルと前記特定のレイアウト
    グラフモデルとの間で最良の１対１適合を作成する工程
    と、 マッチングされていない節点を同定する工程と、 前記マッチングされていない節点を、前記最良の１対１
    適合を参照しながら個々にマッチングさせる工程とを含
    んでいることを特徴とするレイアウトグラフモデル適合
    方法。
  29. 【請求項２９】 請求項２７に記載のレイアウトグラフ
    モデル適合方法において、 前記最良の適合を作成する工程は、前記レイアウトグラ
    フサンプルの節点を前記レイアウトグラフモデルの節点
    にマッピングする工程を含んでいることを特徴とするレ
    イアウトグラフモデル適合方法。
  30. 【請求項３０】 請求項２９に記載のレイアウトグラフ
    モデル適合方法において、 前記最良の適合を作成する工程は、１対のマッピングさ
    れた節点のコストを計算する工程を含んでおり、該コス
    トは、対応する節点の属性間の差の合計として定義され
    ており、該合計は、前記レイアウトグラフモデルの節点
    の重み係数で重み付けされており、該節点は、前記１対
    のマッピングされた節点の要素であることを特徴とする
    レイアウトグラフモデル適合方法。
  31. 【請求項３１】 請求項２９に記載のレイアウトグラフ
    モデル適合方法において、 前記最良の適合を作成する工程は、１対のマッピングさ
    れた枝のコストを計算する工程を含んでおり、該コスト
    は、対応する枝の属性間の差の合計として定義されてお
    り、該合計は、前記レイアウトグラフモデルの枝の重み
    係数で重み付けされており、該枝は、前記１対のマッピ
    ングされた枝の要素であることを特徴とするレイアウト
    グラフモデル適合方法。
  32. 【請求項３２】 請求項２９に記載のレイアウトグラフ
    モデル適合方法において、 前記最良の適合を作成する工程は、節点対のコストと枝
    対のコストの合計を計算する工程を含んでおり、最小コ
    ストのマッピングが前記最良の適合として定義されるこ
    とを特徴とするレイアウトグラフモデル適合方法。
  33. 【請求項３３】 請求項２９に記載のレイアウトグラフ
    モデル適合方法において、 前記レイアウトグラフサンプルとレイアウトグラフモデ
    ルとの適合性を判定する工程は、 レイアウトグラフモデルを格納し、特定の文書クラスに
    従属する文書サブクラスを表すレイアウトグラフモデル
    が前記特定の文書クラスを表す特定のレイアウトグラフ
    モデルに従属する関係にある階層構造を有するデータ格
    納部にアクセスする工程と、 前記階層構造に基づいて前記レイアウトグラフサンプル
    と複数のレイアウトグラフモデルとのマッチングを連続
    的に試みる工程とを含んでいることを特徴とするレイア
    ウトグラフモデル適合方法。
JP2002353120A 2001-12-04 2002-12-04 レイアウトグラフマッチングを使用した文書分類及びラベル付け方法 Withdrawn JP2003178081A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US33707301P 2001-12-04 2001-12-04
US60/337,073 2001-12-04

Publications (1)

Publication Number Publication Date
JP2003178081A true JP2003178081A (ja) 2003-06-27

Family

ID=23318998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002353120A Withdrawn JP2003178081A (ja) 2001-12-04 2002-12-04 レイアウトグラフマッチングを使用した文書分類及びラベル付け方法

Country Status (2)

Country Link
US (1) US20040013302A1 (ja)
JP (1) JP2003178081A (ja)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011714A (ja) * 2004-06-24 2006-01-12 Canon Inc 画像処理装置及びその制御方法、プログラム
JP2007012074A (ja) * 2005-06-30 2007-01-18 Ricoh Co Ltd 文書画像のコンテント適応スケーリング用ホワイトスペースグラフ及びツリー
JP2007304704A (ja) * 2006-05-09 2007-11-22 Seiko Epson Corp 画像管理装置
JP2009020887A (ja) * 2007-07-12 2009-01-29 Ricoh Co Ltd シンセティックテキストを生成するシステム及び方法並びに電子書類の検索方法
JP2011181007A (ja) * 2010-03-03 2011-09-15 Nippon Telegr & Teleph Corp <Ntt> アプリケーション状態認識方法、装置及びプログラム
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
US8385589B2 (en) 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US8452780B2 (en) 2006-01-06 2013-05-28 Ricoh Co., Ltd. Dynamic presentation of targeted information in a mixed media reality recognition system
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US8510283B2 (en) 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US8612475B2 (en) 2011-07-27 2013-12-17 Ricoh Co., Ltd. Generating a discussion group in a social network based on metadata
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US8989431B1 (en) 2007-07-11 2015-03-24 Ricoh Co., Ltd. Ad hoc paper-based networking with mixed media reality
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US9063953B2 (en) 2004-10-01 2015-06-23 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US9311336B2 (en) 2006-07-31 2016-04-12 Ricoh Co., Ltd. Generating and storing a printed representation of a document on a local computer upon printing
US9357098B2 (en) 2005-08-23 2016-05-31 Ricoh Co., Ltd. System and methods for use of voice mail and email in a mixed media environment
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
KR20190062388A (ko) * 2016-08-09 2019-06-05 립코드 인크. 전자 기록물 태깅을 위한 시스템 및 방법
CN110705650A (zh) * 2019-10-14 2020-01-17 深制科技(苏州)有限公司 一种基于深度学习的钣金布局方法
JP2020087105A (ja) * 2018-11-28 2020-06-04 株式会社ひらめき 情報処理方法、情報処理装置及びコンピュータプログラム
CN112464941A (zh) * 2020-10-23 2021-03-09 北京思特奇信息技术股份有限公司 一种基于神经网络的发票识别方法和系统

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167574B2 (en) * 2002-03-14 2007-01-23 Seiko Epson Corporation Method and apparatus for content-based image copy detection
US7532804B2 (en) * 2003-06-23 2009-05-12 Seiko Epson Corporation Method and apparatus for video copy detection
US7428700B2 (en) * 2003-07-28 2008-09-23 Microsoft Corporation Vision-based document segmentation
US7424672B2 (en) * 2003-10-03 2008-09-09 Hewlett-Packard Development Company, L.P. System and method of specifying image document layout definition
JP4396430B2 (ja) * 2003-11-25 2010-01-13 セイコーエプソン株式会社 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法
JP4207883B2 (ja) * 2004-03-24 2009-01-14 セイコーエプソン株式会社 視線誘導度算出システム
US7370273B2 (en) * 2004-06-30 2008-05-06 International Business Machines Corporation System and method for creating dynamic folder hierarchies
US8719700B2 (en) 2010-05-04 2014-05-06 Xerox Corporation Matching a page layout for each page of a document to a page template candidate from a list of page layout candidates
US7486827B2 (en) * 2005-01-21 2009-02-03 Seiko Epson Corporation Efficient and robust algorithm for video sequence matching
US7734636B2 (en) * 2005-03-31 2010-06-08 Xerox Corporation Systems and methods for electronic document genre classification using document grammars
JP4940973B2 (ja) * 2007-02-02 2012-05-30 富士通株式会社 論理構造認識処理プログラム、論理構造認識処理方法および論理構造認識処理装置
US8301998B2 (en) 2007-12-14 2012-10-30 Ebay Inc. Identification of content in an electronic document
US8407805B2 (en) 2009-03-04 2013-03-26 Titus Inc. Method and system for classifying and redacting segments of electronic documents
US8869299B2 (en) * 2009-03-04 2014-10-21 Titus Inc. Method and system for generating trusted security labels for electronic documents
US8332350B2 (en) 2009-04-08 2012-12-11 Titus Inc. Method and system for automated security access policy for a document management system
US8260062B2 (en) * 2009-05-07 2012-09-04 Fuji Xerox Co., Ltd. System and method for identifying document genres
US20110255794A1 (en) * 2010-01-15 2011-10-20 Copanion, Inc. Systems and methods for automatically extracting data by narrowing data search scope using contour matching
US20130036113A1 (en) * 2010-04-28 2013-02-07 Niranjan Damera-Venkata System and Method for Automatically Providing a Graphical Layout Based on an Example Graphic Layout
US20110320387A1 (en) * 2010-06-28 2011-12-29 International Business Machines Corporation Graph-based transfer learning
US8606789B2 (en) * 2010-07-02 2013-12-10 Xerox Corporation Method for layout based document zone querying
US9418385B1 (en) * 2011-01-24 2016-08-16 Intuit Inc. Assembling a tax-information data structure
US8560937B2 (en) 2011-06-07 2013-10-15 Xerox Corporation Generate-and-test method for column segmentation
US8996350B1 (en) 2011-11-02 2015-03-31 Dub Software Group, Inc. System and method for automatic document management
US8831361B2 (en) 2012-03-09 2014-09-09 Ancora Software Inc. Method and system for commercial document image classification
US9595298B2 (en) 2012-07-18 2017-03-14 Microsoft Technology Licensing, Llc Transforming data to create layouts
US8812870B2 (en) 2012-10-10 2014-08-19 Xerox Corporation Confidentiality preserving document analysis system and method
US9535910B2 (en) 2014-05-31 2017-01-03 International Business Machines Corporation Corpus generation based upon document attributes
RU2571545C1 (ru) * 2014-09-30 2015-12-20 Общество с ограниченной ответственностью "Аби Девелопмент" Классификация изображений документов на основании контента
US9626768B2 (en) 2014-09-30 2017-04-18 Microsoft Technology Licensing, Llc Optimizing a visual perspective of media
US20160092406A1 (en) * 2014-09-30 2016-03-31 Microsoft Technology Licensing, Llc Inferring Layout Intent
US10282069B2 (en) 2014-09-30 2019-05-07 Microsoft Technology Licensing, Llc Dynamic presentation of suggested content
RU2598300C2 (ru) * 2015-01-27 2016-09-20 Общество с ограниченной ответственностью "Аби Девелопмент" Способы и системы автоматического распознавания символов с использованием дерева решений
US11030259B2 (en) * 2016-04-13 2021-06-08 Microsoft Technology Licensing, Llc Document searching visualized within a document
CN109964224A (zh) 2016-09-22 2019-07-02 恩芙润斯公司 用于语义信息可视化和指示生命科学实体之间显著关联的时间信号推断的系统、方法和计算机可读介质
US10740407B2 (en) 2016-12-09 2020-08-11 Microsoft Technology Licensing, Llc Managing information about document-related activities
US10726074B2 (en) 2017-01-04 2020-07-28 Microsoft Technology Licensing, Llc Identifying among recent revisions to documents those that are relevant to a search query
US10685131B1 (en) * 2017-02-03 2020-06-16 Rockloans Marketplace Llc User authentication
US10380228B2 (en) 2017-02-10 2019-08-13 Microsoft Technology Licensing, Llc Output generation based on semantic expressions
JP6930180B2 (ja) * 2017-03-30 2021-09-01 富士通株式会社 学習装置、学習方法及び学習プログラム
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
AU2019325322A1 (en) 2018-08-22 2021-03-11 Leverton Holding Llc Text line image splitting with different font sizes
US11256760B1 (en) * 2018-09-28 2022-02-22 Automation Anywhere, Inc. Region adjacent subgraph isomorphism for layout clustering in document images
US11487902B2 (en) 2019-06-21 2022-11-01 nference, inc. Systems and methods for computing with private healthcare data
WO2020257783A1 (en) 2019-06-21 2020-12-24 nference, inc. Systems and methods for computing with private healthcare data
JP2022541199A (ja) * 2019-07-16 2022-09-22 エヌフェレンス，インコーポレイテッド データテーブルの画像表現に基づいて構造化されたデータベースにデータ挿入するためのシステムおよび方法。
FR3104282B1 (fr) * 2019-12-05 2024-01-19 Codexo Sauvegarde de documents en blocs
JP7480536B2 (ja) * 2020-03-12 2024-05-10 富士フイルムビジネスイノベーション株式会社 文書処理装置及びプログラム
US20220147843A1 (en) * 2020-11-12 2022-05-12 Samsung Electronics Co., Ltd. On-device knowledge extraction from visually rich documents
CN115034318B (zh) * 2022-06-17 2024-05-17 中国平安人寿保险股份有限公司 标题判别模型的生成方法和装置、设备、介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5841900A (en) * 1996-01-11 1998-11-24 Xerox Corporation Method for graph-based table recognition
US6691126B1 (en) * 2000-06-14 2004-02-10 International Business Machines Corporation Method and apparatus for locating multi-region objects in an image or video database

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011714A (ja) * 2004-06-24 2006-01-12 Canon Inc 画像処理装置及びその制御方法、プログラム
JP4510535B2 (ja) * 2004-06-24 2010-07-28 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US9063953B2 (en) 2004-10-01 2015-06-23 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
JP2007012074A (ja) * 2005-06-30 2007-01-18 Ricoh Co Ltd 文書画像のコンテント適応スケーリング用ホワイトスペースグラフ及びツリー
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US9357098B2 (en) 2005-08-23 2016-05-31 Ricoh Co., Ltd. System and methods for use of voice mail and email in a mixed media environment
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8452780B2 (en) 2006-01-06 2013-05-28 Ricoh Co., Ltd. Dynamic presentation of targeted information in a mixed media reality recognition system
JP2007304704A (ja) * 2006-05-09 2007-11-22 Seiko Epson Corp 画像管理装置
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8510283B2 (en) 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US9311336B2 (en) 2006-07-31 2016-04-12 Ricoh Co., Ltd. Generating and storing a printed representation of a document on a local computer upon printing
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US8989431B1 (en) 2007-07-11 2015-03-24 Ricoh Co., Ltd. Ad hoc paper-based networking with mixed media reality
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US10192279B1 (en) 2007-07-11 2019-01-29 Ricoh Co., Ltd. Indexed document modification sharing with mixed media reality
US8478761B2 (en) 2007-07-12 2013-07-02 Ricoh Co., Ltd. Retrieving electronic documents by converting them to synthetic text
JP2009020887A (ja) * 2007-07-12 2009-01-29 Ricoh Co Ltd シンセティックテキストを生成するシステム及び方法並びに電子書類の検索方法
US8385589B2 (en) 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
JP2011181007A (ja) * 2010-03-03 2011-09-15 Nippon Telegr & Teleph Corp <Ntt> アプリケーション状態認識方法、装置及びプログラム
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US8892595B2 (en) 2011-07-27 2014-11-18 Ricoh Co., Ltd. Generating a discussion group in a social network based on similar source materials
US8612475B2 (en) 2011-07-27 2013-12-17 Ricoh Co., Ltd. Generating a discussion group in a social network based on metadata
JP2019530063A (ja) * 2016-08-09 2019-10-17 リップコード インコーポレイテッド 電子記録のタグ付けのためのシステム及び方法
KR20190062388A (ko) * 2016-08-09 2019-06-05 립코드 인크. 전자 기록물 태깅을 위한 시스템 및 방법
KR102448370B1 (ko) * 2016-08-09 2022-09-28 립코드 인크. 전자 기록물 태깅을 위한 시스템 및 방법
JP7189125B2 (ja) 2016-08-09 2022-12-13 リップコード インコーポレイテッド 電子記録のタグ付けのためのシステム及び方法
US11580141B2 (en) 2016-08-09 2023-02-14 Ripcord Inc. Systems and methods for records tagging based on a specific area or region of a record
JP2020087105A (ja) * 2018-11-28 2020-06-04 株式会社ひらめき 情報処理方法、情報処理装置及びコンピュータプログラム
JP7290851B2 (ja) 2018-11-28 2023-06-14 株式会社ひらめき 情報処理方法、情報処理装置及びコンピュータプログラム
CN110705650A (zh) * 2019-10-14 2020-01-17 深制科技(苏州)有限公司 一种基于深度学习的钣金布局方法
CN110705650B (zh) * 2019-10-14 2023-10-24 深制科技(苏州)有限公司 一种基于深度学习的钣金布局方法
CN112464941A (zh) * 2020-10-23 2021-03-09 北京思特奇信息技术股份有限公司 一种基于神经网络的发票识别方法和系统
CN112464941B (zh) * 2020-10-23 2024-05-24 北京思特奇信息技术股份有限公司 一种基于神经网络的发票识别方法和系统

Also Published As

Publication number Publication date
US20040013302A1 (en) 2004-01-22

Similar Documents

Publication Publication Date Title
JP2003178081A (ja) レイアウトグラフマッチングを使用した文書分類及びラベル付け方法
US11715313B2 (en) Apparatus and methods for extracting data from lineless table using delaunay triangulation and excess edge removal
Zanibbi et al. A survey of table recognition: Models, observations, transformations, and inferences
Klink et al. Document structure analysis based on layout and textual features
Cordella et al. Symbol recognition in documents: a collection of techniques?
CN110363049B (zh) 图形元素检测识别和类别确定的方法及装置
Hu et al. Table structure recognition and its evaluation
CN108090489B (zh) 基于计算机的依据字素分割的脱机手写维文单词识别方法
US7046847B2 (en) Document processing method, system and medium
JP7396568B2 (ja) 帳票レイアウト解析装置、その解析プログラムおよびその解析方法
Rusiñol et al. Flowchart recognition for non-textual information retrieval in patent search
CN115146062A (zh) 融合专家推荐与文本聚类的智能事件分析方法和系统
Liang et al. Logical labeling of document images using layout graph matching with adaptive learning
Viswanathan Analysis of scanned documents—A syntactic approach
Summers Toward a taxonomy of logical document structures
JP3095069B2 (ja) 文字認識装置、学習方法および文字認識プログラムを記録した記録媒体
Kamola et al. Image-based logical document structure recognition
Vaidya et al. Handwritten numeral identification system using pixel level distribution features
Luth Automatic identification of music notations
Böschen et al. Formalization and preliminary evaluation of a pipeline for text extraction from infographics
Nazemi et al. Mathematical information retrieval (MIR) from scanned pdf documents and MathML conversion
Wnek Machine learning of generalized document templates for data extraction
Cesarini et al. Page classification for meta-data extraction from digital collections
CN110750644B (zh) 一种基于随机游走的词义排歧和词义学习方法
Deepa et al. A multiset approach for recognition of handwritten characters using puzzle pieces

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050615

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070808