JP2022056316A - 文字構造化抽出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム - Google Patents

文字構造化抽出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム Download PDF

Info

Publication number
JP2022056316A
JP2022056316A JP2021038794A JP2021038794A JP2022056316A JP 2022056316 A JP2022056316 A JP 2022056316A JP 2021038794 A JP2021038794 A JP 2021038794A JP 2021038794 A JP2021038794 A JP 2021038794A JP 2022056316 A JP2022056316 A JP 2022056316A
Authority
JP
Japan
Prior art keywords
character string
character
string
feature
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021038794A
Other languages
English (en)
Other versions
JP7335907B2 (ja
Inventor
リ，ユーリン
Yulin Li
チン，シャーメン
Xiameng Qin
チャン，チェンチュアン
Chengquan Zhang
ハン，ジュンユ
Junyu Han
ディン，エールイ
Errui Ding
ウ，ティエン
Tian Wu
ワン，ハイフェン
Haifeng Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022056316A publication Critical patent/JP2022056316A/ja
Application granted granted Critical
Publication of JP7335907B2 publication Critical patent/JP7335907B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

【課題】大規模、自動化処理に適し、応用範囲が広く、汎用性が高いカテゴリ及び関係の推定に基づく文字構造化抽出方法を提供する。【解決手段】文字構造化抽出方法は、実体テキスト画像に対して文字検出を行い、実体テキスト画像の文字列の位置及びコンテンツを取得するステップと、文字列の位置及びコンテンツに基づいて、文字列の多変量情報を抽出するステップと、文字列の多変量情報を特徴融合し、文字列のマルチモーダル融合特徴を取得するステップと、文字列のマルチモーダル融合特徴に基づいてカテゴリ及び関係の推定を行い、文字列のカテゴリ及び関係確率行列を取得するステップと、文字列のカテゴリおよび関係確率行列に基づいて、実体テキスト画像の構造化情報を構築するステップと、を含む。【選択図】図２

Description

本出願の実施形態は、コンピュータ技術分野に関し、具体的には、コンピュータビジョン、ディープラーニング、自然言語処理などの人工知能分野に関する。
現代社会では、情報流通と伝達の効率を加速させるために、構造化テキストは自然言語の代わりに日常生産の主な情報キャリアとなっており、デジタル化、自動化されたオフィスプロセスに広く応用されている。世界的な情報電子化の成果が顕著になっているにもかかわらず、日常生活では相変わらず大量の実体文書が記録、審査、電子化される必要がある。例えば、財務部門では報告のために、毎日大量の実体手形が人手で複数回登録されている。銀行でも個人向けサービス関連の身分情報をバインドするために大量の身分証明書が登録されている。ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ、光学文字認識）技術により、実体テキストを認識し、電子化することができる。さらに、これらの構造化されていないテキストを格納可能な構造化テキストとして処理し、テキストの構造化情報抽出を実現することにより、企業のインテリジェントオフィスを支援し、情報の電子化を促進することができる。
文字構造化情報抽出技術は、実体テキスト画像の意味コンテンツを抽出し、構造化テキストに変換し、構造化情報の抽出を実現する。現在、以下の３つの解決策が一般的に採用されている。
（１）人手による入力：この方法は人員による手動入力である。
（２）テンプレートマッチングに基づく方法：この方法は一般に構造が簡単な証明書を対象とする。その識別されるべき領域は、一般に特定の幾何学的レイアウトを有する。標準テンプレートファイルを作成することにより、指定された位置で対応するテキストコンテンツを抽出し、ＯＣＲ技術を用いて文字の認識を実現する。
（３）キーシンボル位置に基づく戦略検索：この方法では、キーシンボルを位置付けることにより、周辺で領域情報検索を行う。例えば、キーシンボル「日付」の周辺では、戦略に基づいて「２０２０年１２月１２日」というテキストを検索し、「日付」フィールドの属性値とする。
本出願の実施形態は、文字構造化抽出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムを提案する。
第１態様において、本出願の実施例は、実体テキスト画像に対して文字検出を行い、前記実体テキスト画像の文字列の位置およびコンテンツを取得するステップと、前記文字列の位置およびコンテンツに基づいて、前記文字列の多変量情報を抽出するステップと、前記文字列の多変量情報を特徴融合し、前記文字列のマルチモーダル融合特徴を取得するステップと、前記文字列のマルチモーダル融合特徴に基づいてカテゴリおよび関係の推定を行い、前記文字列のカテゴリおよび関係確率行列を取得するステップと、前記文字列のカテゴリおよび関係確率行列に基づいて、前記実体テキスト画像の構造化情報を構築するステップと、を含む、文字構造化抽出方法を提供する。
第２態様において、本出願の実施例は、実体テキスト画像に対して文字検出を行い、前記実体テキスト画像の文字列の位置およびコンテンツを取得するように構成される検出モジュールと、前記文字列の位置およびコンテンツに基づいて、前記文字列の多変量情報を抽出するように構成される抽出モジュールと、前記文字列の多変量情報を特徴融合し、前記文字列のマルチモーダル融合特徴を取得するように構成される融合モジュールと、前記文字列のマルチモーダル融合特徴に基づいてカテゴリおよび関係の推定を行い、前記文字列のカテゴリおよび関係確率行列を取得するように構成される推定モジュールと、前記文字列のカテゴリおよび関係確率行列に基づいて、前記実体テキスト画像の構造化情報を構築するように構成される構築モジュールと、を含む、文字構造化抽出装置を提供する。
第３態様において、本出願の実施例は、少なくとも１つのプロセッサと前記少なくとも１つのプロセッサと通信可能に接続された記憶装置とを含む電子機器であって、前記記憶装置に前記少なくとも１つのプロセッサによって実行可能な指令が記憶されており、前記指令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサが本出願の第１態様のいずれかの実施形態に記載の文字構造化抽出方法が実現される電子機器を提供する。
第４態様において、本出願の実施例は、コンピュータ指令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記コンピュータ指令は本出願の第１態様のいずれかの実施形態に記載の文字構造化抽出方法を実施させるためのものである、非一時的コンピュータ可読記憶媒体を提供する。
第５態様において、本出願の実施例は、プロセッサにより実行されると、本出願の第１態様のいずれかの実施形態に記載の文字構造化抽出方法が実現される、コンピュータプログラムを提供する。
本出願の実施形態によって提供される文字構造化抽出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムは、まず、実体テキスト画像に対して文字検出を行い、実体テキスト画像の文字列の位置およびコンテンツを取得する。そして、文字列の位置およびコンテンツに基づいて、文字列の多変量情報を抽出する。その後、文字列の多変量情報を特徴融合し、文字列のマルチモーダル融合特徴を取得する。さらに、文字列のマルチモーダル融合特徴に基づいてカテゴリおよび関係の推定を行い、文字列のカテゴリおよび関係確率行列を取得する。最後に、文字列のカテゴリおよび関係確率行列に基づいて、実体テキスト画像の構造化情報を構築する。この実施形態は、大規模、自動化処理に適し、応用範囲が広く、汎用性が高いカテゴリおよび関係の推定に基づく文字構造化抽出方法を提供する。
ここで説明されたコンテンツは本出願の実施形態の肝心または重要な特徴を表記するためのものではなく、本出願の範囲を限定するためのものでもないことを理解されたい。本出願の他の特徴は、以下の説明によって理解しやすくなるであろう。
以下の図面を参照して作成された非限定的な実施形態に関する詳細な説明を読むことによって、本出願の他の特徴、目的、および利点は、より明らかになるであろう。図面は、本出願をよりよく理解するためのものであり、本明細書の限定を構成しない。
本出願が適用可能な例示的なシステムアーキテクチャである。 本出願に係る文字構造化抽出方法の一実施形態のフローチャートである。 図２の文字検出ステップの分解フローチャートである。 図２の多変量情報抽出ステップの分解フローチャートである。 多変量情報抽出の適用シーンである。 図２のカテゴリおよび関係の推定ステップの分解フローチャートである。 グラフニューラルネットワーク層の構成図である。 図２の構造化情報構築ステップの分解フローチャートである。 本出願に係る文字構造化抽出装置の一実施形態の概略構成図である。 本出願の実施形態に係る文字構造化抽出方法を実現するための電子機器のブロック図である。
以下、図面に関連して、本出願の例示的な実施形態について説明する。理解を容易にするために、説明には本出願の実施形態の様々な詳細が含まれているが、それらは例示的なものにすぎないとみなされるべきである。したがって、当業者であれば、本明細書に記載された実施形態について、本明細書の範囲および趣旨から逸脱することなく、様々な変更および修正を行うことができることを認識できるであろう。同様に、以下の説明では、明確かつ簡略化するために、公知の機能および構造の説明を省略する。
なお、本出願の実施形態および実施形態における特徴は、矛盾を生じない限り、相互に組み合わせることができる。以下、図面および実施形態を参照しながら本出願を詳細に説明する。
図１は、本明細書に記載された文字構造化抽出方法または文字構造化抽出装置の一実施形態を適用することができる例示的なシステムアーキテクチャ１００を示す。
図１に示すように、システムアーキテクチャ１００は、端末装置１０１と、ネットワーク１０２と、サーバ１０３と、を含むことができる。ネットワーク１０２は、端末装置１０１とサーバ１０３との間に通信リンクを提供するための媒体である。ネットワーク１０２は、有線・無線通信リンク、または光ファイバケーブルなどの様々な接続タイプを含むことができる。
ユーザはメッセージなどを受信または送信するために、端末装置１０１を使用してネットワーク１０２を介してサーバ１０３とやりとりすることができる。端末装置１０１には、インテリジェントな文書処理アプリケーション、画像処理アプリケーションなど様々なクライアントアプリケーションがインストール可能である。
端末装置１０１は、ハードウェアであってもよいし、ソフトウェアであってもよい。端末装置１０１がハードウェアである場合、スマートフォン、タブレット、ラップトップ、デスクトップコンピュータなどを含むがこれらに限定されない様々な電子機器であり得る。端末装置１０１がソフトウェアである場合、上述した電子機器にインストール可能である。これは、複数のソフトウェアまたはソフトウェアモジュールとして実装されてもよいし、単一のソフトウェアまたはソフトウェアモジュールとして実装されてもよい。ここでは具体的な限定はしない。
サーバ１０３は、様々なサービスを提供することができる。例えば、サーバ１０３は、端末装置１０１から取得した実体テキスト画像等のデータについて解析等の処理を行い、処理結果（例えば、構造化情報）を生成することができる。
なお、サーバ１０３は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ１０３がハードウェアである場合、複数のサーバからなる分散サーバクラスターとして実装されてもよいし、単一のサーバとして実装されてもよい。サーバ１０３がソフトウェアである場合、複数のソフトウェアまたはソフトウェアモジュール（例えば、分散サービスを提供するために使用される）として実装されてもよいし、単一のソフトウェアまたはソフトウェアモジュールとして実装されてもよい。ここでは具体的な限定はしない。
なお、本実施形態によって提供される文字構造化抽出方法は、一般にサーバ１０３によって実行されるため、文字構造化抽出装置は、一般にサーバ１０３に設けられている。
図１の端末装置、ネットワーク、およびサーバの数はあくまでも概略的なものにすぎないことを理解されたい。実装の必要性に応じて、任意の数の端末装置、ネットワーク、およびサーバを有することができる。サーバ１０３に実体テキスト画像が格納されている場合、システムアーキテクチャ１００に端末装置１０１およびネットワーク１０２を設定しなくてもよい。
図２は、本出願に係る文字構造化抽出方法の一実施形態のフローチャート２００である。この文字構造化抽出方法は、以下のステップ（ステップ２０１～２０５）を含む。
ステップ２０１では、実体テキスト画像に対して文字検出を行って、実体テキスト画像の文字列の位置およびコンテンツを取得する。
本実施形態では、文字構造化抽出方法の実行主体（例えば、図１に示すサーバ１０３）は、実体テキスト画像を取得し、ＯＣＲ等の文字検出技術を用いて実体テキスト画像から文字を検出し、実体テキスト画像の文字列の位置およびコンテンツを取得することができる。ここで、実体テキスト画像は、実体テキストを撮影、スキャンなどして取得された画像であり得る。様々なカード、ビルの画像が一般的な例である。文字列は、実体テキスト画像における文字領域であり得る。その形状は通常、四角形である。したがって、文字列の位置は通常、その四角点の座標で表すことができる。文字列のコンテンツは、文字コンテンツであり得る。
ステップ２０２では、文字列の位置およびコンテンツに基づいて、文字列の多変量情報を抽出する。
本実施形態では、上述した実行主体は、文字列の位置およびコンテンツに基づいて、文字列の多変量情報を抽出することができる。ここで、多変量情報は、幾何学的特徴、視覚的特徴、セマンティック特徴などの文字列の複数のカテゴリの情報を含むことができる。幾何学的特徴と視覚的特徴は、文字列の位置に基づいて取得される。幾何学的特徴は、文字列の位置を表すために用いられる。視覚的特徴は、文字列の画像視覚情報を表すために用いられる。セマンティック特徴は文字列のコンテンツに基づいて取得され、文字列の意味を表すために用いられる。
ステップ２０３では、文字列の多変量情報を特徴融合して、文字列のマルチモーダル融合特徴を取得する。
本実施形態では、上述した実行主体は、文字列の多変量情報を特徴融合して、文字列のマルチモーダル融合特徴を取得することができる。ここで、マルチモーダル融合特徴は文字列の多変量情報を同時に含み、文字列の多変量情報をスティッチングして取得されたものである。
ステップ２０４では、文字列のマルチモーダル融合特徴に基づいてカテゴリおよび関係の推定を行って、文字列のカテゴリおよび関係確率行列を取得する。
本実施形態では、上述した実行主体は、まず、文字列のマルチモーダル融合特徴に基づいて、文字列のカテゴリおよび関係を確定し、そして、文字列のカテゴリおよび関係に基づいて推定を行い、文字列のカテゴリおよび関係確率行列を取得することができる。ここで、実体テキスト画像の文字列は通常、フィールドの属性、フィールドの値、テーブルのヘッダ、テーブルのセルの４つのカテゴリに分けられる。文字列の関係は、文字列同士の間の関係であり得る。フィールドの属性および値は、フィールド対応関係を表すことができる。フィールドの属性とフィールドの値は１対１の関係にある。テーブルのヘッダおよびセルは、テーブルの対応関係を表すことができる。テーブルのヘッダとテーブルのセルは一対多の関係にある。関係確率行列は、文字列同士の間に関係が存在する確率を表すために用いられることができる。
ステップ２０５では、文字列のカテゴリおよび関係確率行列に基づいて、実体テキスト画像の構造化情報を構築する。
本実施形態では、上述した実行主体は、文字列のカテゴリおよび関係確率行列に基づいて、実体テキスト画像の構造化情報を構築することができる。ここで、構造化情報は、文字列のカテゴリおよび文字列同士の間に存在する関係を（例えば異なるカテゴリの文字列を異なる色の矩形枠で囲むことで、および異なる関係にある文字列同士を異なる色の直線で結ぶことで）表すことができる。
本出願の実施形態によって提供される文字構造化抽出方法は、まず、実体テキスト画像に対して文字検出を行い、実体テキスト画像の文字列の位置およびコンテンツを取得する。そして、文字列の位置およびコンテンツに基づいて、文字列の多変量情報を抽出する。その後、文字列の多変量情報を特徴融合し、文字列のマルチモーダル融合特徴を取得する。さらに、文字列のマルチモーダル融合特徴に基づいてカテゴリおよび関係の推定を行い、文字列のカテゴリおよび関係確率行列を取得する。最後に、文字列のカテゴリおよび関係確率行列に基づいて、実体テキスト画像の構造化情報を構築する。この実施形態は、大規模、自動化処理に適し、応用範囲が広く、汎用性が高いカテゴリおよび関係の推定に基づく文字構造化抽出方法を提供する。
理解を容易にするために、図２によって提供される文字構造化抽出方法の各ステップについてそれぞれ詳細に説明する。なお、以下の分解方法はあくまでも一例に過ぎず、具体的な限定はしない。他の実行可能な分解方法も、同様に適用する。
図３は、図２の文字検出ステップの分解フローチャート３００である。この文字検出ステップは以下のステップ（ステップ３０１～３０４）に分解することができる。
ステップ３０１では、実体テキスト画像をシーン文字検出モデルに入力して、文字列の四角点座標を出力する。
本実施形態では、上述した実行主体は、実体テキスト画像をシーン文字検出モデルに入力して、文字列の四角点座標を出力することができる。
ここで、シーン文字検出モデルは、例えばＥＡＳＴ（ａｎ Ｅｆｆｉｃｉｅｎｔ ａｎｄ Ａｃｃｕｒａｃｙ Ｓｃｅｎｅ Ｔｅｘｔ ｄｅｔｅｃｔｉｏｎ ｐｉｐｅｌｉｎｅ、効率的で正確なシーンテキスト検出パイプライン）であり、実体テキスト画像における任意の方向および矩形形状の文字列を直接予測し、単一のニューラルネットワークにより、例えば候補集合および単語分割など不要な中間ステップを除去することができる。ＥＡＳＴから出力された文字列の四角点座標は時計回りにソートすることができる。すべての文字列の四角点座標からなる集合はＰ＝｛ｐｉ；ｉ∈Ｎ＊｝と表すことができる。ここで、ｉ番目の文字列の四角点はｐｉ＝｛（ｘｊ，ｙｊ）；ｊ∈（１，４）｝と表すことができる。
ステップ３０２では、文字列の四角点座標をアフィン変換して、文字列の正矩形四角点座標を生成する。
本実施形態では、上述した実行主体は、文字列のコンテンツを取得し続けるために、文字列の四角点座標をアフィン変換し、実体テキスト画像の歪みおよび印刷ずれによる干渉を除去して、文字列の正矩形四角点座標を生成することができる。ここで、ｉ番目の文字列の四角点座標ｐｉに対して、その正矩形四角点座標をｐ^ｉと表すことができる。
ステップ３０３では、文字列の正矩形四角点座標に基づいて、実体テキスト画像において文字列の画像スライスを切り出す。
本実施形態では、上述した実行主体は、まず、実体テキスト画像において文字列の正矩形四角点座標に対応する点を検索し、そして、切断点の結び線をＲＯＩ領域（関心領域）に囲むことにより、文字列の画像スライスを取得することができる。ここで、ｉ番目の文字列については、その正矩形四角点座標ｐ^ｉに基づいて、実体テキスト画像において対応する領域を切り出した画像スライスをＩｉと表すことができる。
ステップ３０４では、文字列の画像スライスを回帰型畳み込みニューラルネットワークに入力して、文字列のコンテンツを出力する。
本実施形態では、上述した実行主体は、文字列の画像スライスをＲＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ ｆｅａｔｕｒｅｓ、回帰型畳み込みニューラルネットワーク）に入力し、文字列のコンテンツを出力することができる。ここで、ｉ番目の文字列の画像スライスＩｉに対して、ｉ番目の文字列のコンテンツをｃｉと表すことができる。
ここで、ＲＣＮＮは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）手法をターゲット検出問題に適用し、ＣＮＮの良好な特徴抽出と分類性能を用いて、Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ（領域生成）手法によりターゲット検出問題の転化を実現している。ＲＣＮＮは、候補領域選択、ＣＮＮ特徴抽出と分類、境界回帰などのいくつかのステップを含むことができる。
本出願の実施形態によって提供される文字検出方法は、まず、実体テキスト画像をシーン文字検出モデルに入力して、文字列の四角点座標を出力する。そして、文字列の四角点座標をアフィン変換して、文字列の正矩形四角点座標を生成する。その後、文字列の正矩形四角点座標に基づいて、実体テキスト画像において文字列の画像スライスを切り出す。最後に、文字列の画像スライスを回帰型畳み込みニューラルネットワークに入力して、文字列のコンテンツを出力する。この実施形態は、実体テキスト画像における文字列の位置およびコンテンツを取得する方法を提供する。また、文字列のコンテンツを取得する前に、文字列の四角点座標アフィンを正矩形四角点座標に変換することにより、実体テキスト画像の歪みおよび印刷ずれによる干渉を解消し、文字検出の精度を向上させることができる。
構造化解析の利便性のため、まず、実体テキスト画像の一般的な関係構造について、予め定義しておき、対応する数学的形式を与えることができる。次に、構造化アルゴリズムを用いて実体テキスト画像の関係構造を予測する。最後に、関係定義により有効な関係構造をフィルタリングし、構造化情報を出力する。
一般に、実体テキスト画像は通常、フィールドおよびテーブルから構成される。そのレイアウト構造をより良く解析するために、構造化テキストをフィールドの属性、フィールドの値、テーブルのヘッダ、テーブルのセルの４つのカテゴリに分ける。また、フィールドの属性と値に対応関係があり、同列のテーブルのヘッダとセルに対応関係があり、それ以外に他の形式の関係の組合せはないと仮定する。以上の規則に従って、実体テキスト画像の構造を以下のように定義する。
Figure 2022056316000002
ここで、Ｒは、フィールド対応関係の集合を表し、フィールドの属性と値で表される。Ｍは、テーブルの対応関係の集合を表し、テーブルのヘッダとユニットで表される。Ｔは、すべての４種類のカテゴリの要素集合を表す。Ｋ、Ｖ、Ｈ、Ｃはそれぞれフィールドの属性、フィールドの値、テーブルのヘッダ、テーブルのセルの４種類のカテゴリを表す。
さらに、実体テキスト画像の構造のために無向グラフＧ＝（Ｖ，Ｅ）を定義する。ここでは、頂点Ｖ＝Ｔ、すなわち、文字列は無向グラフの頂点を表し、以下では文字列と総称する。辺集合Ｅ＝（Ｒ∪Ｍ）、すなわち、フィールド対応関係とテーブル対応関係は無向グラフの辺を表す。無向グラフの定義より、（ｖｉ，ｖｊ）＝（ｖｊ，ｖｉ），ｖｉはｉ番目の文字列、ｖｊはｊ番目の文字列（頂点）であることが分かる。
さらに、Ｅに対して、対応する文字列（頂点）間に関係があるか否かを表すための１つの２次元関係確率行列Ａ∈Ｎ２；Ａｉｊ∈｛０，１｝を構築する。ここで、１は関係があること、０は関係がないことを表す。Ｇは無向グラフであるため、Ａは対称行列である。関係確率行列Ａは以下のように定義される。
Figure 2022056316000003
このように、実体テキスト画像の構造化形式：ＶとＡを定義した。次の過程でモデルアルゴリズムにより学習と予測を行う。
図４は、図２の多変量情報抽出ステップの分解フローチャート４００である。この多変量情報抽出ステップは以下のステップ（ステップ４０１～４０５）に分解することができる。
ステップ４０１では、文字列の位置およびコンテンツに基づいて、文字列の入力トリプルおよび文字列同士の関係の入力トリプルを確定する。
本実施形態では、上述した実行主体は、文字列の位置およびコンテンツに基づいて、文字列の入力トリプルおよび文字列同士の関係の入力トリプルを確定することができる。
ここで、文字列の入力トリプルは、文字列の四角点座標と、コンテンツと、画像スライスと、を含むことができる。文字列同士の関係の入力トリプルは、文字列同士の四角点座標の差分値と、文字列同士の中心点の角度差と、文字列同士の中心点のユークリッド距離と、を含むことができる。
本出願の実施形態では、図に基づくディープラーニングアルゴリズムを提案し、多変量情報融合により文字列のカテゴリＶと関係確率行列Ａを予測する。一方、アルゴリズムの入力は文字検出の結果に基づいて確定される。具体的には、各文字列ｖｉを定義する入力トリプル（ｐｉ，ｃｉ，Ｉｉ）は、文字列の四角点座標と、コンテンツと、画像スライスと、を含む。また、文字列同士の関係（ｖｉ，ｖｊ）を定義する入力トリプル（ｄｉｊ，ｒｉｊ，ｕｉｊ）の形式は、以下のとおりである。
Figure 2022056316000004
ここで、ｄｉｊは文字列ｖｉと文字列ｖｊの四角点座標の２次元座標における差分であり、ｒｉｊは文字列ｖｉと文字列ｖｊの中心点の角度差を表し、ｒ∈［－π，π］、ｅｉｊは文字列ｖｉと文字列ｖｊの中心点のユークリッド距離を表す。
次に、文字列の入力トリプルと文字列同士の関係の入力トリプルをマルチモーダル特徴抽出アルゴリズムの入力として、文字列の多変量情報を抽出する。具体的には、ステップ４０２～４０５に示される。
ステップ４０２では、文字列の四角点座標を文字列の幾何学的特徴として確定する。
本実施形態では、上述した実行主体は、文字列の四角点座標を文字列の幾何学的特徴として確定することができる。ここで、ｉ番目の文字列ｖｉに対して、その幾何学的特徴はｐｉと表すことができる。
ステップ４０３では、実体テキスト画像を畳み込みニューラルネットワークに入力して、視覚的２次元特徴マップを出力する。
本実施形態では、上述した実行主体は、実体テキスト画像をＣＮＮに入力し、ＣＮＮは実体テキスト画像を畳み込み演算して、視覚的２次元特徴マップを出力することができる。
ステップ４０４では、文字列の四角点座標に基づいて、視覚的２次元特徴マップにおける文字列の領域を算出し、関心領域座標変換操作により文字列の視覚的特徴を切り出す。
本実施形態では、上述した実行主体は、まず、文字列の四角点座標に対応する点を視覚的２次元特徴マップにおいて検索し、点の結び線で囲まれた領域を取得し、そして、関心領域座標変換（Ｔｒａｎｓｆｏｒｍ ＲＯＩ）操作により文字列の視覚的特徴を切り出すことができる。ここで、ｉ番目の文字列ｖｉについて、その視覚的特徴は（Ｆｉ）ｖと表すことができる。
ステップ４０５では、文字列のコンテンツを事前訓練モデルに入力してセマンティック情報抽出を行い、文字列のセマンティック特徴を取得する。
本実施形態では、上述した実行主体は、文字列のコンテンツを事前訓練モデルに入力してセマンティック情報抽出を行い、文字列のセマンティック特徴を取得することができる。
ここで、事前訓練モデルは、特定の知識領域（例えば、ビル、カード、または法的契約文書など）で事前訓練されたＥＲＮＩＥのようなセマンティック情報抽出に使用することができる。ＥＲＮＩＥは、文字列に対して語彙、構文、意味を十分に表して、上位層が理解しているセマンティック特徴を取得することができる。これにより、ＥＲＮＩＥに含まれる広義の言語知識領域を文字構造化に遷移させ、シーン知識やテキスト意味に対しより強い理解能力をＥＲＮＩＥに持たせることができる。ＥＲＮＩＥによる知識理解の強化により、様々なシーンのビル、カード、文書などの垂直領域の構造化解析をより容易に解決することができる。ここでｉ番目の文字列ｖｉに対して、そのコンテンツｃｉをセマンティック情報抽出し、取得されたセマンティック特徴は（Ｆｉ）ｓと表すことができる。
さらに、上述した実行主体は、文字列の幾何学的特徴、視覚的特徴、およびセマンティック特徴をマルチモーダルスティッチング融合して、文字列のマルチモーダル特徴を生成することができる。文字列同士の組み合わせについて、文字列に対応するマルチモーダル特徴と文字列同士の関係の入力トリプルをスティッチングし、文字列同士の関係特徴を生成することで、多変量情報融合方法を提供する。ここで、ｉ番目の文字列ｖｉに対して、幾何学的特徴ｐｉ、視覚的特徴（Ｆｉ）ｖ、およびセマンティック特徴（Ｆｉ）ｓをマルチモーダルスプライシングスティッチング融合して、文字列のマルチモーダル特徴Ｆｉを生成する。ｉ番目の文字列ｖｉおよびｊ番目の文字列ｖｊに対して、その文字列同士の関係特徴は、Ｅｉｊ＝（Ｆｉ，Ｆｊ，ｄｉｊ，ｒｉｊ，ｕｉｊ）と表すことができる。
図５は、多変量情報抽出の適用シーンである。図５に示すように、医療ビル（ｍｅｄｉｃａｌ ｂｉｌｌ）に対してＯＣＲ認識を行い、幾何情報、視覚情報、文字情報を取得する。幾何情報はそのまま幾何学的特徴とすることができ、視覚情報はＣＮＮにより視覚的特徴を取得することができ、文字情報はＥＲＮＩＥによりセマンティック特徴を取得することができる。幾何学的特徴、視覚的特徴、セマンティック特徴を融合することにより、マルチモーダル特徴を取得することができる。マルチモーダル特徴に基づいて、関係確率行列Ａを取得することができる。関係確率行列Ａに基づいて、無向グラフのノードと辺を更新し、ノード分類と接続状態を確定することができる。
本実施形態によって提供される多変量情報抽出方法は、まず、文字列の位置およびコンテンツに基づいて、文字列の入力トリプルおよび文字列同士の関係の入力トリプルを確定する。そして、文字列の四角点座標を文字列の幾何学的特徴として確定する。その後、実体テキスト画像を畳み込みニューラルネットワークに入力し、視覚的２次元特徴マップを出力する。さらに、文字列の四角点座標に基づいて、視覚的２次元特徴マップにおける文字列の領域を算出し、関心領域座標変換操作により文字列の視覚的特徴を切り出す。最後に、文字列のコンテンツを事前訓練モデルに入力してセマンティック情報抽出を行い、文字列のセマンティック特徴を取得する。この多変量情報抽出方法はディープラーニング手法に基づいて文字列の多変量情報を抽出し、多変量情報の抽出効率と精度を向上させることができる。
実際の応用では、文字列のカテゴリおよび関係確率行列はグラフニューラルネットワークを用いて計算することができる。多変量情報を用いて、大規模な意味学習モデルに基づいて、ディープラーニングネットワークを構築し、文字列間関係分布を推定する。
具体的には、文字列のマルチモーダル特徴と文字列同士の関係特徴をグラフニューラルネットワークに入力し、文字列のカテゴリおよび関係確率行列を出力する。グラフニューラルネットワークに基づいてカテゴリおよび関係の推定を行い、文字列のカテゴリおよび関係を自動学習し、学習効率を向上させることができる。
ここで、グラフニューラルネットワークの構造は、同じグラフニューラルネットワーク層を多層に積層して形成することができる。例えば、グラフニューラルネットワークは、Ｎ個のグラフニューラルネットワーク層を含むことができる。このとき、グラフニューラルネットワークのｌ層目に対して、ｌ－１層目から出力された文字列のマルチモーダル特徴と文字列同士の関係特徴をｌ層目に入力し、ｌ層目から出力される文字列のマルチモーダル特徴と文字列同士の関係特徴を取得することができる。ここで、Ｎは正の整数であり、ｌとＮは式１≦ｌ＜Ｎの関係を満たし、ｌは正の整数である。
図６は、図２のカテゴリおよび関係の推定ステップの分解フローチャート６００を示している。このカテゴリおよび関係の推定ステップは、以下のステップ（ステップ６０１～６０４）に分解することができる。
ステップ６０１では、ｌ－１層目から出力された文字列同士の関係特徴を多層パーセプトロンモデルに入力して、ｌ層目から出力される関係確率行列を取得する。
本実施形態では、グラフニューラルネットワークのｌ層目に対して、その入力がｌ－１層目から出力された文字列のマルチモーダル特徴Ｆ［ｌ－１］と文字列同士の関係特徴Ｅ［ｌ－１］であり、その出力が文字列のマルチモーダル特徴Ｆ［ｌ］と文字列同士の関係特徴Ｅ［ｌ］である。
具体的には、上述した実行主体は、ｌ－１層目から出力された文字列同士の関係特徴Ｅ［ｌ－１］をＭＬＰ（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ、多層パーセプトロンモデル）に入力し、ｌ層目から出力される関係確率行列Ａ［ｌ］を取得することができる。ここで、ＭＬＰは人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＡＮＮ）とも呼ばれ、入出力層を除いてその間に複数の隠れ層を持つことができ、最もシンプルなＭＬＰは１つの隠れ層のみを含む。ＭＬＰでは、層と層の間は全結合されている。すなわち、上の層のいずれのニューロンは次の層のすべてのニューロンに接続されている。
ステップ６０２では、ｌ－１層目から出力された文字列のマルチモーダル特徴とｌ層目から出力された関係確率行列とを乗算し、文字列とそれに関連付けられた文字列をｌ層目から出力された関係確率行列の確率分布に基づいて特徴集約し、ｌ層目に埋め込まれた文字列のマルチモーダル特徴を取得する。
本実施形態では、上述した実行主体は、ｌ－１層目から出力された文字列のマルチモーダル特徴Ｆ［ｌ－１］とｌ層目から出力された関係確率行列Ａ［ｌ］とを行列乗算し、文字列と文字列に関連付けられた文字列とをｌ層目から出力された関係確率行列Ａ［ｌ］の確率分布に基づいて特徴集約し、ｌ層目に埋め込まれた文字列のマルチモーダル特徴Ｈ［ｌ］を取得することができる。
ステップ６０３では、ｌ層目に埋め込まれた文字列のマルチモーダル特徴と、ｌ－１層目から出力された文字列同士の関係特徴と、ｌ層目に埋め込まれた文字列のマルチモーダル特徴の転置とを乗算して、多層パーセプトロンモデルにより、ｌ層目から出力される文字列同士の関係特徴を取得する。
本実施形態では、上述した実行主体は、ｌ層目に埋め込まれた文字列のマルチモーダル特徴Ｈ［ｌ］と、ｌ－１層目から出力された文字列同士の関係特徴Ｅ［ｌ－１］と、ｌ層目に埋め込まれた文字列のマルチモーダル特徴Ｈ［ｌ］の転置とを３項行列乗算し、ＭＬＰにより、ｌ層目から出力される文字列同士の関係特徴Ｅ［ｌ］を取得することができる。
ステップ６０４では、単一層ゲート付き回帰型ユニットを用いて、ｌ層目に埋め込まれた文字列のマルチモーダル特徴をｌ－１層目から出力された文字列のマルチモーダル特徴に更新して、ｌ層目から出力される文字列のマルチモーダル特徴を取得する。
本実施形態では、上述した実行主体は、単一層ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）を用いて、ｌ層目に埋め込まれた文字列のマルチモーダル特徴Ｈ［ｌ］をｌ－１層目から出力された文字列のマルチモーダル特徴Ｆ［ｌ－１］に更新し、ｌ層目から出力される文字列のマルチモーダル特徴Ｆ［ｌ］を取得することができる。
ここで、ｌ＝Ｎの関係を満たす場合、ｌ層目がグラフニューラルネットワークの最後の層であることを意味し、ｌ層目から出力された関係確率行列Ａ［ｌ］は文字列の関係確率行列Ａ′であり、ｌ層目から出力された文字列特徴Ｆ［ｌ］は文字列のカテゴリＶ′である。
次に、図７を参照する。図７は、グラフニューラルネットワーク層の構成図である。図７に示すように、ｌ－１層目から出力された文字列同士の関係特徴Ｅ［ｌ－１］をＭＬＰに入力し、ｌ層目から出力される関係確率行列Ａ［ｌ］を取得する。ｌ－１層目から出力された文字列のマルチモーダル特徴Ｆ［ｌ－１］とｌ層目から出力された関係確率行列Ａ［ｌ］を行列乗算し、ｌ層目に埋め込まれた文字列のマルチモーダル特徴Ｈ［ｌ］を取得する。ｌ層目に埋め込まれた文字列のマルチモーダル特徴Ｈ［ｌ］と、ｌ－１層目から出力された文字列同士の関係特徴Ｅ［ｌ－１］と、ｌ層目に埋め込まれた文字列のマルチモーダル特徴Ｈ［ｌ］の転置とを３項行列乗算し、ＭＬＰにより、ｌ層目から出力される文字列同士の関係特徴Ｅ［ｌ］を取得する。単一層ＧＲＵを用いて、ｌ層目に埋め込まれた文字列のマルチモーダル特徴Ｈ［ｌ］をｌ－１層目から出力された文字列のマルチモーダル特徴Ｆ［ｌ－１］に更新し、ｌ層目から出力される文字列のマルチモーダル特徴Ｆ［ｌ］を取得する。
本出願の実施形態によって提供されるカテゴリおよび関係の推定方法は、まず、ｌ－１層目から出力された文字列同士の関係特徴を多層パーセプトロンモデルに入力し、ｌ層目から出力される関係確率行列を取得する。そして、ｌ－１層目から出力された文字列のマルチモーダル特徴とｌ層目から出力された関係確率行列を乗算し、文字列とそれに関連付けられた文字列をｌ層目から出力された関係確率行列の確率分布に基づいて特徴集約し、ｌ層目に埋め込まれた文字列のマルチモーダル特徴を取得する。その後、ｌ層目に埋め込まれた文字列のマルチモーダル特徴と、ｌ－１層目から出力された文字列同士の関係特徴と、ｌ層目に埋め込まれた文字列のマルチモーダル特徴の転置とを乗算し、多層パーセプトロンモデルにより、ｌ層目から出力される文字列同士の関係特徴を取得する。最後に、単一層ゲート付き回帰型ユニットを用いて、ｌ層目に埋め込まれた文字列のマルチモーダル特徴をｌ－１層目から出力された文字列のマルチモーダル特徴に更新し、ｌ層目から出力される文字列のマルチモーダル特徴を取得する。このグラフニューラルネットワークに基づくカテゴリおよび関係の推定方法によれば、文字列のカテゴリおよび関係を自動学習し、学習効率を向上させることができる。
図８は、図２の構造化情報構築ステップの分解フローチャート８００である。この構造化情報構築ステップは、以下のステップ（ステップ８０１～８０５）に分解することができる。
ステップ８０１では、文字列をトラバースして、ｉ番目の文字列のカテゴリを確定する。
本実施形態では、上述した実行主体は、文字列Ｖ′をトラバースし、ｉ番目の文字列のカテゴリを確定することができる。
ステップ８０２では、文字列の関係確率行列のｉ行目から予め設定された閾値よりも大きい要素集合を抽出し、要素添字により候補文字列関係集合を検索する。
本実施形態では、上述した実行主体は、閾値ｔ；ｔ∈（０，１）を予め設定しておき、そして文字列の関係確率行列Ａ′のｉ行目から予め設定された閾値ｔよりも大きい要素集合｛Ａｉｊ′｝を抽出し、要素添字により候補文字列関係集合｛（ｖｉ，ｖｊ）｝を検索することができる。
ステップ８０３では、候補文字列関係集合からフィールド関係またはテーブル関係に属する関係集合をスクリーニングする。
本実施形態では、上述した実行主体は、まず、フィールド関係Ｒまたはテーブル関係Ｍの和集合（Ｒ∪Ｍ）を確定し、そして、候補文字列関係集合｛（ｖｉ，ｖｊ）｝から（Ｒ∪Ｍ）に属する関係集合（Ｒ′，Ｍ′）を抽出することができる。
ステップ８０４では、ｉ番目の文字列に１組を超える関係が存在する場合、文字列のカテゴリに基づいて新たな関係集合を抽出する。
本実施形態では、ｉ番目の文字列に１組を超える関係が存在する場合、上述した実行主体は、文字列のカテゴリに基づいて新たな関係集合（Ｒ"，Ｍ"）を抽出することができる。
いくつかの実施形態では、ｉ番目の文字列ｖｉがフィールドの属性Ｋ、フィールドの値Ｖ、およびテーブルのセルＣの３者の和集合に属し、すなわちｖｉ∈（Ｋ∪Ｖ∪Ｃ）の場合、文字列の関係確率行列Ａ′のｉ行目｛Ａｉ＊′｝の中で確率値が最大となる要素に対応する文字列を選択して、ｉ番目の文字列との対応関係を表す。ｉ番目の文字列ｖｉがテーブルのヘッダＨに属し、すなわち、ｖｉ∈Ｈの場合、関係集合のすべての要素｛Ａｉ＊′｝を保持して、ｉ番目の文字列との対応関係を表す。関係集合における文字列と関係を更新することにより、新たな関係集合を生成することができる。
ステップ８０５では、新たな関係集合におけるフィールド関係とテーブル関係のマッピングにより、ｉ番目の文字列の位置およびコンテンツと結び付けて、ｉ番目の文字列のフィールドとテーブルの構造化情報を出力する。
本実施形態では、上述した実行主体は、新たな関係集合（Ｒ"，Ｍ"）におけるフィールド関係Ｒ"とテーブル関係Ｍ"のマッピングにより、ｉ番目の文字列の位置およびコンテンツと結び付けて、ｉ番目の文字列のフィールドとテーブルの構造化情報を出力することができる。
本実施形態によって提供される構造化情報の構築方法は、まず、文字列をトラバースし、ｉ番目の文字列のカテゴリを確定する。そして、文字列の関係確率行列のｉ行目から予め設定された閾値よりも大きい要素集合を抽出し、要素添字により候補文字列関係集合を検索する。その後、候補文字列関係集合からフィールド関係またはテーブル関係に属する関係集合をスクリーニングする。さらに、ｉ番目の文字列に１組を超える関係が存在する場合、文字列のカテゴリに基づいて新たな関係集合を抽出する。最後に、新たな関係集合におけるフィールド関係とテーブル関係のマッピングにより、ｉ番目の文字列の位置およびコンテンツと結び付けて、ｉ番目の文字列のフィールドとテーブルの構造化情報を出力する。カテゴリおよび関係の推定に基づいて文字構造化抽出を行う方法は、応用範囲が広く、汎用性が高い。
図９を参照すると、上述した各図に示す方法の実施形態として、文字構造化抽出装置の一実施形態が提供されている。この装置の実施形態は、図２に示す方法の実施形態に対応する。この装置は、様々な電子機器に具体的に適用可能である。
図９に示すように、本実施形態に係る文字構造化抽出装置９００は、実体テキスト画像に対して文字検出を行い、実体テキスト画像の文字列の位置およびコンテンツを取得するように構成される検出モジュール９０１と、文字列の位置およびコンテンツに基づいて、文字列の多変量情報を抽出するように構成される抽出モジュール９０２と、文字列の多変量情報を特徴融合し、文字列のマルチモーダル融合特徴を取得するように構成される融合モジュール９０３と、文字列のマルチモーダル融合特徴に基づいてカテゴリおよび関係の推定を行い、文字列のカテゴリおよび関係確率行列を取得するように構成される推定モジュール９０４と、文字列のカテゴリおよび関係確率行列に基づいて、実体テキスト画像の構造化情報を構築するように構成される構築モジュール９０５と、を含むことができる。
本実施形態では、文字構造化抽出装置９００において、検出モジュール９０１、抽出モジュール９０２、融合モジュール９０３、推定モジュール９０４、および構築モジュール９０５の具体的な処理およびそれによる技術的効果は、それぞれ図２の対応する実施形態におけるステップ２０１～２０５の関連説明を参照することができる。ここではこれ以上説明しない。
本実施形態のいくつかのオプション的な実施形態では、検出モジュール９０１はさらに、実体テキスト画像をシーン文字検出モデルに入力して、文字列の四角点座標を出力し、文字列の四角点座標をアフィン変換して、文字列の正矩形四角点座標を生成し、文字列の正矩形四角点座標に基づいて、実体テキスト画像において文字列の画像スライスを切り出し、文字列の画像スライスを回帰型畳み込みニューラルネットワークに入力して、文字列のコンテンツを出力するように構成されている。
本実施形態のいくつかのオプション的な実施形態では、抽出モジュール９０２は、文字列の位置およびコンテンツに基づいて、文字列の四角点座標、コンテンツおよび画像スライスを含む文字列の入力トリプルと、文字列同士の四角点座標の差分値、文字列同士の中心点の角度差および文字列同士の中心点のユークリッド距離を含む文字列同士の関係の入力トリプルとを確定するように構成される確定サブモジュールと、文字列の入力トリプルおよび文字列同士の関係の入力トリプルをマルチモーダル特徴抽出アルゴリズムの入力として、文字列の多変量情報を抽出するように構成される抽出サブモジュールと、を含む。
本実施形態のいくつかのオプション的な実施形態では、抽出サブモジュールはさらに、文字列の四角点座標を文字列の幾何学的特徴として確定し、実体テキスト画像を畳み込みニューラルネットワークに入力して、視覚的２次元特徴マップを出力し、文字列の四角点座標に基づいて視覚的２次元特徴マップにおける文字列の領域を算出し、関心領域座標変換操作により文字列の視覚的特徴を切り出し、文字列のコンテンツを事前訓練モデルに入力してセマンティック情報抽出を行って、文字列のセマンティック特徴を取得するように構成されている。
本実施形態のいくつかのオプション的な実施形態では、融合モジュール９０３はさらに、文字列の幾何学的特徴、視覚的特徴、およびセマンティック特徴をマルチモーダルスティッチング融合して、文字列のマルチモーダル特徴を生成し、文字列同士の組み合わせに対して、対応する文字列のマルチモーダル特徴と文字列同士の関係の入力トリプルとをスティッチングして、文字列同士の関係特徴を生成するように構成されている。
本実施形態のいくつかのオプション的な実施形態では、推定モジュール９０４は、文字列のマルチモーダル特徴と文字列同士の関係特徴をグラフニューラルネットワークに入力し、文字列のカテゴリおよび関係確率行列を出力するように構成される出力サブモジュールを含む。
本実施形態のいくつかのオプション的な実施形態では、グラフニューラルネットワークは、Ｎ個のグラフニューラルネットワーク層を含み、Ｎが正の整数であり、出力サブモジュールは、グラフニューラルネットワークのｌ層目に対して、ｌ－１層目から出力された文字列のマルチモーダル特徴と文字列同士の関係特徴をｌ層目に入力し、ｌ層目から出力される文字列のマルチモーダル特徴と文字列同士の関係特徴を取得するように構成される出力ユニットを含み、ｌとＮは式１≦ｌ＜Ｎの関係を満たし、ｌは正の整数である。
本実施形態のいくつかのオプション的な実施形態では、出力ユニットはさらに、ｌ－１層目から出力された文字列同士の関係特徴を多層パーセプトロンモデルに入力して、ｌ層目から出力される関係確率行列を取得し、ｌ－１層目から出力された文字列のマルチモーダル特徴とｌ層目から出力された関係確率行列とを乗算し、ｌ層目から出力された関係確率行列の確率分布に基づいて文字列とそれに関連付けられた文字列を特徴集約し、ｌ層目に埋め込まれた文字列のマルチモーダル特徴を取得し、ｌ層目に埋め込まれた文字列のマルチモーダル特徴と、ｌ－１層目から出力された文字列同士の関係特徴と、ｌ層目に埋め込まれた文字列のマルチモーダル特徴の転置とを乗算して、多層パーセプトロンモデルにより、ｌ層目から出力される文字列同士の関係特徴を取得し、単一層ゲート付き回帰型ユニットを用いてｌ層目に埋め込まれた文字列のマルチモーダル特徴をｌ－１層目から出力された文字列のマルチモーダル特徴に更新し、ｌ層目から出力される文字列のマルチモーダル特徴を取得するように構成されている。
本実施形態のいくつかのオプション的な実施形態では、ｌ＝Ｎの関係を満たす場合、文字列のカテゴリおよび関係確率行列がｌ層目から出力される。
本実施形態のいくつかのオプション的な実施形態では、構築モジュール９０５は、文字列をトラバースし、正の整数であるｉ番目の文字列のカテゴリを確定するように構成されるトラバースサブモジュールと、文字列の関係確率行列のｉ行目から予め設定された閾値よりも大きい要素集合を抽出し、要素添字により候補文字列関係集合を検索するように構成される検索サブモジュールと、候補文字列関係集合からフィールド関係またはテーブル関係に属する関係集合をスクリーニングするように構成されるスクリーニングサブモジュールと、ｉ番目の文字列に１組を超える関係が存在する場合、文字列のカテゴリに基づいて新たな関係集合を抽出するように構成される取得サブモジュールと、新たな関係集合におけるフィールド関係とテーブル関係のマッピングにより、ｉ番目の文字列の位置およびコンテンツと結び付けて、ｉ番目の文字列のフィールドとテーブルの構造化情報を出力するように構成されるマッピングサブモジュールと、を含む。
本実施形態のいくつかのオプション的な実施形態では、取得サブモジュールはさらに、ｉ番目の文字列がフィールドの属性、フィールドの値およびテーブルのセルの三者の和集合に属する場合、文字列の関係確率行列のｉ行目のうち確率値が最大となる要素に対応する文字列を選択して、ｉ番目の文字列との対応関係を表し、ｉ番目の文字列がテーブルのヘッダに属する場合、関係集合のすべての要素に対応する文字列を保持して、ｉ番目の文字列との対応関係を表し、対応関係に基づいて、新たな関係集合を生成するように構成されている。
本実施形態のいくつかのオプション的な実施形態では、文字列のカテゴリはフィールドの属性、フィールドの値、テーブルのヘッダ、テーブルのセルのうちの少なくとも１つを含み、フィールドの属性および値はフィールド対応関係を表し、テーブルのヘッダおよびセルはテーブル対応関係を表し、文字列は無向グラフの頂点を表し、フィールド対応関係およびテーブル対応関係は無向グラフの辺を表し、関係確率行列は無向グラフの辺構造に基づいて対応する頂点間に関係があるか否かを表す。
本出願の実施形態によれば、本出願はまた、電子機器および可読記憶媒体を提供する。
図１０は、本出願の一実施形態に係る文字構造化抽出方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似するコンピューティングデバイス等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも例示であり、ここで記述および／または要求した本出願の実施形態を限定することを意図するものではない。
図１０に示すように、電子機器は、１つ以上のプロセッサ１００１と、メモリ１００２と、各コンポーネントを接続するためのインタフェース（高速インタフェースおよび低速インタフェースを含む）とを含む。各コンポーネントは、互いに異なるバスで接続されており、共通のマザーボード上に実装されていてもよいし、必要に応じて他の方式で実装されていてもよい。プロセッサは、電子機器内で実行される指令を処理することができ、前記指令は、インタフェースに結合された表示装置等の外部入出力装置にグラフィカルユーザインタフェース（ＧＵＩ，Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のグラフィック情報を表示するために、メモリ内またはメモリ上に格納される指令を含む。他の実施形態では、必要に応じて、複数のプロセッサおよび／または複数のバスを、複数のメモリとともに使用することができる。また、複数の電子機器が接続されていてもよく、各機器は、例えば、サーバアレイ、ブレードサーバ群またはマルチプロセッサシステムなど、一部の必要な動作を提供する。図１０では、１つのプロセッサ１００１を例に挙げている。
メモリ１００２は、非一時的コンピュータ可読記憶媒体として、本出願の実施形態における文字構造化抽出方法に対応するプログラム、指令、およびモジュール（例えば、図９に示す検出モジュール９０１、抽出モジュール９０２、融合モジュール９０３、推定モジュール９０４、および構築モジュール９０５）のような非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能プログラム、およびモジュールの格納に使用することができる。プロセッサ１００１は、メモリ１００２に記憶された非一時的ソフトウェアプログラム、指令、およびモジュールを実行することにより、サーバの様々な機能アプリケーションおよびデータ処理を実行する。すなわち、上記本実施形態によって提供される文字構造化抽出方法を実施する。
メモリ１００２は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションを記憶することができるプログラム記憶領域、および、文字構造化抽出方法の電子機器の使用に基づいて生成されたデータなどを記憶することができるデータ記憶領域を含むことができる。さらに、メモリ１００２は、高速ランダムアクセスメモリを含むことができ、少なくとも１つのディスク記憶装置、フラッシュメモリデバイス、または他の非一時的ソリッドステート記憶装置のような非一時的メモリを含むこともできる。いくつかの実施形態では、メモリ１００２は、任意に、文字構造化抽出方法の電子機器にネットワークを介して接続することができる、プロセッサ１００１に対して遠隔に設置されたメモリを含むことができる。上記ネットワークの例は、インターネット、企業内ネットワーク、ローカルエリアネットワーク、移動通信網、およびそれらの組み合わせを含むが、これらに限定されない。
文字構造化抽出方法の電子機器は、入力装置１００３および出力装置１００４をさらに含むことができる。プロセッサ１００１、メモリ１００２、入力装置１００３、および出力装置１００４は、バスを介してまたはその他の方式で接続されることができる。図１０はバスを介して接続される例である。
入力装置１００３、例えば、タッチパネル、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングデバイス、１つまたは複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置は、入力された数字または文字情報を受信し、文字構造化抽出方法の電子機器のユーザ設定および機能制御に関するキー信号入力を生成することができる。出力装置１００４は、表示装置、補助照明デバイス（例えば、ＬＥＤ）、触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。この表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、およびプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。
ここで記述するシステムおよび技術の各実施形態はデジタル電子回路システム、集積回路システム、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせにおいて実装され得る。これらの各実施形態は、１つまたは複数のコンピュータプログラムに実装され、該１つまたは複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／または解釈することができ、該プログラマブルプロセッサは専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指令を受信することができ、且つデータおよび指令を該記憶システム、該少なくとも１つの入力装置および該少なくとも１つの出力装置に伝送することを含み得る。
これらのコンピュータプログラムは、プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとも呼ばれ、プログラマブルプロセッサの機械命令を含み、且つ高度プロセスおよび／またはオブジェクト指向のプログラミング言語、および／またはアセンブリ言語／機械語により実装され得る。ここで、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械命令および／またはデータをプログラマブルプロセッサに供給するための任意のコンピュータプログラム、機器、および／または装置（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を意味し、機械可読信号である機械命令を受信する機械可読媒体を含む。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに供給するための任意の信号を意味する。
ユーザとのやりとりを行うために、ここで記述するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが該キーボードおよび該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置もユーザとのやりとりを行うことに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力若しくは触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。
ここで記述したシステムおよび技術は、バックグラウンドコンポーネントを含む演算システム（例えば、データサーバ）に実施されてもよく、またはミドルウェアコンポーネントを含む演算システム（例えば、アプリケーションサーバ）に実施されてもよく、またはフロントエンドコンポーネントを含む演算システム（例えば、グラフィカルユーザインタフェースまたはウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインタフェースまたはウェブブラウザを介してここで記述したシステムおよび技術の実施形態とやりとりを行っていてもよく、またはこのようなバックグラウンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントのいずれかの組み合わせを含む演算システムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットなどを含む。
コンピュータシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは通常、互いに離れており、通信ネットワークを介してインタラクションする。クライアントとサーバの関係は、対応するコンピュータ上で動作し、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生成される。
本出願の技術案によれば、まず、実体テキスト画像に対して文字検出を行い、実体テキスト画像の文字列の位置およびコンテンツを取得する。そして、文字列の位置およびコンテンツに基づいて、文字列の多変量情報を抽出する。その後、文字列の多変量情報を特徴融合し、文字列のマルチモーダル融合特徴を取得する。さらに、文字列のマルチモーダル融合特徴に基づいてカテゴリおよび関係の推定を行い、文字列のカテゴリおよび関係確率行列を取得する。最後に、文字列のカテゴリおよび関係確率行列に基づいて、実体テキスト画像の構造化情報を構築する。この実施形態は、大規模、自動化処理に適し、応用範囲が広く、汎用性が高いカテゴリおよび関係の推定に基づく文字構造化抽出方法を提供する。
なお、上述した様々な形態のフローを用いて、ステップを並び替え、追加または削除を行うことができることを理解されるべきである。例えば、本出願に記載された各ステップは、本出願に開示された技術方案の所望の結果が達成できる限り、並行して実行されてもよく、順番に実行されてもよく、異なる順序で実行されてもよい。本明細書はここで制限はしない。
上記具体的な実施形態は、本出願の保護範囲を限定するものではない。当業者であれば、設計要件および他の要因に応じて、様々な修正、組み合わせ、副次的な組み合わせ、および代替を行うことができることは理解される。本出願の精神および原理内で行われたあらゆる補正、均等な置換および改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (27)

  1. 実体テキスト画像に対して文字検出を行い、前記実体テキスト画像の文字列の位置およびコンテンツを取得するステップと、
    前記文字列の位置およびコンテンツに基づいて、前記文字列の多変量情報を抽出するステップと、
    前記文字列の多変量情報を特徴融合し、前記文字列のマルチモーダル融合特徴を取得するステップと、
    前記文字列のマルチモーダル融合特徴に基づいてカテゴリおよび関係の推定を行い、前記文字列のカテゴリおよび関係確率行列を取得するステップと、
    前記文字列のカテゴリおよび関係確率行列に基づいて、前記実体テキスト画像の構造化情報を構築するステップと、を含む、文字構造化抽出方法。
  2. 実体テキスト画像に対して文字検出を行い、前記実体テキスト画像の文字列の位置およびコンテンツを取得するステップは、
    前記実体テキスト画像をシーン文字検出モデルに入力し、前記文字列の四角点座標を出力するステップと、
    前記文字列の四角点座標をアフィン変換し、前記文字列の正矩形四角点座標を生成するステップと、
    前記文字列の正矩形四角点座標に基づいて、前記実体テキスト画像において前記文字列の画像スライスを切り出すステップと、
    前記文字列の画像スライスを回帰型畳み込みニューラルネットワークに入力し、前記文字列のコンテンツを出力するステップと、を含む、請求項１に記載の文字構造化抽出方法。
  3. 前記文字列の位置およびコンテンツに基づいて、前記文字列の多変量情報を抽出するステップは、
    前記文字列の位置およびコンテンツに基づいて前記文字列の入力トリプルと文字列同士の関係の入力トリプルとを確定するステップであって、前記文字列の入力トリプルは、前記文字列の四角点座標、コンテンツおよび画像スライスを含み、前記文字列同士の関係の入力トリプルは、文字列同士の四角点座標の差分値、文字列同士の中心点の角度差および文字列同士の中心点のユークリッド距離を含む、ステップと、
    前記文字列の入力トリプルおよび前記文字列同士の関係の入力トリプルをマルチモーダル特徴抽出アルゴリズムの入力として、前記文字列の多変量情報を抽出するステップと、を含む、請求項２に記載の文字構造化抽出方法。
  4. 前記文字列の入力トリプルおよび前記文字列同士の関係の入力トリプルをマルチモーダル特徴抽出アルゴリズムの入力として、前記文字列の多変量情報を抽出するステップは、
    前記文字列の四角点座標を前記文字列の幾何学的特徴として確定するステップと、
    前記実体テキスト画像を畳み込みニューラルネットワークに入力し、視覚的２次元特徴マップを出力するステップと、
    前記文字列の四角点座標に基づいて、前記視覚的２次元特徴マップにおける前記文字列の領域を算出し、関心領域座標変換操作により前記文字列の視覚的特徴を切り出すステップと、
    前記文字列のコンテンツを事前訓練モデルに入力してセマンティック情報抽出を行い、前記文字列のセマンティック特徴を取得するステップと、を含む、請求項３に記載の文字構造化抽出方法。
  5. 前記文字列の多変量情報を特徴融合し、前記文字列のマルチモーダル融合特徴を取得するステップは、
    前記文字列の幾何学的特徴、視覚的特徴、およびセマンティック特徴をマルチモーダルスティッチング融合して、前記文字列のマルチモーダル特徴を生成するステップと、
    文字列同士の組み合わせに対して、対応する文字列のマルチモーダル特徴と前記文字列同士の関係の入力トリプルをスティッチングして、文字列同士の関係特徴を生成するステップと、を含む、請求項４に記載の文字構造化抽出方法。
  6. 前記文字列のマルチモーダル融合特徴に基づいてカテゴリおよび関係の推定を行い、前記文字列のカテゴリおよび関係確率行列を取得するステップは、
    前記文字列のマルチモーダル特徴と前記文字列同士の関係特徴をグラフニューラルネットワークに入力し、前記文字列のカテゴリおよび関係確率行列を出力するステップを含む、請求項５に記載の文字構造化抽出方法。
  7. 前記グラフニューラルネットワークは、Ｎ個のグラフニューラルネットワーク層を含み、Ｎは正の整数であり、
    前記文字列のマルチモーダル特徴と前記文字列同士の関係特徴とをグラフニューラルネットワークに入力し、前記文字列のカテゴリおよび関係確率行列を出力するステップは、
    前記グラフニューラルネットワークのｌ層目に対して、ｌ－１層目から出力された文字列のマルチモーダル特徴と文字列同士の関係特徴をｌ層目に入力し、ｌ層目から出力される文字列のマルチモーダル特徴と文字列同士の関係特徴を取得するステップを含み、ただし、１≦ｌ＜Ｎ、ｌは正の整数である、請求項６に記載の文字構造化抽出方法。
  8. ｌ－１層目から出力された文字列のマルチモーダル特徴と文字列同士の関係特徴をｌ層目に入力し、ｌ層目から出力される文字列のマルチモーダル特徴と文字列同士の関係特徴を取得するステップは、
    ｌ－１層目から出力された文字列同士の関係特徴を多層パーセプトロンモデルに入力し、ｌ層目から出力される関係確率行列を取得するステップと、
    ｌ－１層目から出力された文字列のマルチモーダル特徴と、ｌ層目から出力された関係確率行列とを乗算し、ｌ層目から出力された関係確率行列の確率分布に基づいて前記文字列とそれに関連付けられた文字列を特徴集約し、ｌ層目に埋め込まれた文字列のマルチモーダル特徴を取得するステップと、
    ｌ層目に埋め込まれた文字列のマルチモーダル特徴と、ｌ－１層目から出力された文字列同士の関係特徴と、ｌ層目に埋め込まれた文字列のマルチモーダル特徴の転置とを乗算し、前記多層パーセプトロンモデルにより、ｌ層目から出力される文字列同士の関係特徴を取得するステップと、
    単一層ゲート付き回帰型ユニットを用いてｌ層目に埋め込まれた文字列のマルチモーダル特徴を前記ｌ－１層目から出力された文字列のマルチモーダル特徴に更新し、ｌ層目から出力される文字列のマルチモーダル特徴を取得するステップと、を含む、請求項７に記載の文字構造化抽出方法。
  9. ｌ＝Ｎの場合、前記文字列のカテゴリおよび関係確率行列はｌ層目から出力される、請求項８に記載の文字構造化抽出方法。
  10. 前記文字列のカテゴリおよび関係確率行列に基づいて、前記実体テキスト画像の構造化情報を構築するステップは、
    前記文字列をトラバースし、ｉ（ただし、ｉは正の整数である）番目の文字列のカテゴリを確定するステップと、
    前記文字列の関係確率行列のｉ行目から予め設定された閾値よりも大きい要素集合を抽出し、要素添字に基づいて候補文字列関係集合を検索するステップと、
    前記候補文字列関係集合からフィールド関係またはテーブル関係に属する関係集合をスクリーニングするステップと、
    ｉ番目の文字列に１組を超える関係が存在する場合、文字列のカテゴリに基づいて新たな関係集合を抽出するステップと、
    前記新たな関係集合におけるフィールド関係とテーブル関係のマッピングにより、ｉ番目の文字列の位置およびコンテンツと結び付けて、ｉ番目の文字列のフィールドとテーブルの構造化情報を出力するステップと、を含む、請求項１に記載の文字構造化抽出方法。
  11. 前記関係集合に基づいて新たな関係集合を取得するステップは、
    ｉ番目の文字列がフィールドの属性、フィールドの値およびテーブルのセルの三者からなる和集合に属する場合、前記文字列の関係確率行列のｉ行目のうち確率値が最大となる要素に対応する文字列を選択して、ｉ番目の文字列との対応関係を表すステップと、
    ｉ番目の文字列がテーブルのヘッダに属する場合、関係集合のすべての要素に対応する文字列を保持して、ｉ番目の文字列との対応関係を表すステップと、
    前記対応関係に基づいて、前記新たな関係集合を生成するステップと、を含む、請求項１０に記載の文字構造化抽出方法。
  12. 文字列のカテゴリはフィールドの属性、フィールドの値、テーブルのヘッダ、テーブルのセルのうちの少なくとも１つを含み、フィールドの属性および値はフィールド対応関係を表し、テーブルのヘッダおよびセルはテーブル対応関係を表し、文字列は無向グラフの頂点を表し、フィールド対応関係およびテーブル対応関係は無向グラフの辺を表し、関係確率行列は無向グラフの辺構造に基づいて対応する頂点間に関係があるか否かを表す、請求項１～１１のいずれか１項に記載の文字構造化抽出方法。
  13. 実体テキスト画像に対して文字検出を行い、前記実体テキスト画像の文字列の位置およびコンテンツを取得するように構成される検出モジュールと、
    前記文字列の位置およびコンテンツに基づいて、前記文字列の多変量情報を抽出するように構成される抽出モジュールと、
    前記文字列の多変量情報を特徴融合し、前記文字列のマルチモーダル融合特徴を取得するように構成される融合モジュールと、
    前記文字列のマルチモーダル融合特徴に基づいてカテゴリおよび関係の推定を行い、前記文字列のカテゴリおよび関係確率行列を取得するように構成される推定モジュールと、
    前記文字列のカテゴリおよび関係確率行列に基づいて、前記実体テキスト画像の構造化情報を構築するように構成される構築モジュールと、を含む、文字構造化抽出装置。
  14. 前記検出モジュールはさらに、
    前記実体テキスト画像をシーン文字検出モデルに入力し、前記文字列の四角点座標を出力し、
    前記文字列の四角点座標をアフィン変換し、前記文字列の正矩形四角点座標を生成し、
    前記文字列の正矩形四角点座標に基づいて、前記実体テキスト画像において前記文字列の画像スライスを切り出し、
    前記文字列の画像スライスを回帰型畳み込みニューラルネットワークに入力し、前記文字列のコンテンツを出力するように構成される、請求項１３に記載の文字構造化抽出装置。
  15. 前記抽出モジュールは、
    前記文字列の位置およびコンテンツに基づいて前記文字列の入力トリプルと文字列同士の関係の入力トリプルとを確定するように構成される確定サブモジュールであって、前記文字列の入力トリプルは、前記文字列の四角点座標、コンテンツおよび画像スライスを含み、前記文字列同士の関係の入力トリプルは、文字列同士の四角点座標の差分値、文字列同士の中心点の角度差および文字列同士の中心点のユークリッド距離を含む、確定サブモジュールと、
    前記文字列の入力トリプルおよび前記文字列同士の関係の入力トリプルをマルチモーダル特徴抽出アルゴリズムの入力として、前記文字列の多変量情報を抽出するように構成される抽出サブモジュールと、を含む、請求項１４に記載の文字構造化抽出装置。
  16. 前記抽出サブモジュールはさらに、
    前記文字列の四角点座標を前記文字列の幾何学的特徴として確定し、
    前記実体テキスト画像を畳み込みニューラルネットワークに入力して、視覚的２次元特徴マップを出力し、
    前記文字列の四角点座標に基づいて、前記視覚的２次元特徴マップにおける前記文字列の領域を算出し、関心領域座標変換操作により前記文字列の視覚的特徴を切り出し、
    前記文字列のコンテンツを事前訓練モデルに入力してセマンティック情報抽出を行い、前記文字列のセマンティック特徴を取得するように構成される、請求項１５に記載の文字構造化抽出装置。
  17. 前記融合モジュールはさらに、
    前記文字列の幾何学的特徴、視覚的特徴、およびセマンティック特徴をマルチモーダルスティッチング融合して、前記文字列のマルチモーダル特徴を生成し、
    文字列同士の組み合わせに対して、対応する文字列のマルチモーダル特徴と前記文字列同士の関係の入力トリプルをスティッチングして、文字列同士の関係特徴を生成するように構成される、請求項１６に記載の文字構造化抽出装置。
  18. 前記推定モジュールは、
    前記文字列のマルチモーダル特徴と前記文字列同士の関係特徴をグラフニューラルネットワークに入力し、前記文字列のカテゴリおよび関係確率行列を出力するように構成される出力サブモジュールを含む、請求項１７に記載の文字構造化抽出装置。
  19. 前記グラフニューラルネットワークは、Ｎ個のグラフニューラルネットワーク層を含み、Ｎは正の整数であり、
    前記出力サブモジュールは、
    前記グラフニューラルネットワークのｌ層目に対して、ｌ－１層目から出力された文字列のマルチモーダル特徴と文字列同士の関係特徴をｌ層目に入力し、ｌ層目から出力される文字列のマルチモーダル特徴と文字列同士の関係特徴を取得するように構成される出力ユニットを含み、
    ただし、１≦ｌ＜Ｎ、ｌは正の整数である、請求項１８に記載の文字構造化抽出装置。
  20. 前記出力ユニットはさらに、
    ｌ－１層目から出力された文字列同士の関係特徴を多層パーセプトロンモデルに入力し、ｌ層目から出力される関係確率行列を取得し、
    ｌ－１層目から出力された文字列のマルチモーダル特徴と、ｌ層目から出力された関係確率行列とを乗算し、ｌ層目から出力された関係確率行列の確率分布に基づいて前記文字列とそれに関連付けられた文字列を特徴集約し、ｌ層目に埋め込まれた文字列のマルチモーダル特徴を取得し、
    ｌ層目に埋め込まれた文字列のマルチモーダル特徴と、ｌ－１層目から出力された文字列同士の関係特徴と、ｌ層目に埋め込まれた文字列のマルチモーダル特徴の転置とを乗算し、前記多層パーセプトロンモデルにより、ｌ層目から出力される文字列同士の関係特徴を取得し、
    単一層ゲート付き回帰型ユニットを用いてｌ層目に埋め込まれた文字列のマルチモーダル特徴を前記ｌ－１層目から出力された文字列のマルチモーダル特徴に更新し、ｌ層目から出力される文字列のマルチモーダル特徴を取得するように構成される、請求項１９に記載の文字構造化抽出装置。
  21. ｌ＝Ｎの場合、前記文字列のカテゴリおよび関係確率行列はｌ層目から出力される、請求項２０に記載の文字構造化抽出装置。
  22. 前記構築モジュールは、
    前記文字列をトラバースし、ｉ（ただし、ｉは正の整数である）番目の文字列のカテゴリを確定するように構成されるトラバースサブモジュールと、
    前記文字列の関係確率行列のｉ行目から予め設定された閾値よりも大きい要素集合を抽出し、要素添字に基づいて候補文字列関係集合を検索するように構成される検索サブモジュールと、
    前記候補文字列関係集合からフィールド関係またはテーブル関係に属する関係集合をスクリーニングするように構成されるスクリーニングサブモジュールと、
    ｉ番目の文字列に１組を超える関係が存在する場合、文字列のカテゴリに基づいて新たな関係集合を抽出するように構成される取得サブモジュールと、
    前記新たな関係集合におけるフィールド関係とテーブル関係のマッピングにより、ｉ番目の文字列の位置およびコンテンツと結び付けて、ｉ番目の文字列のフィールドとテーブルの構造化情報を出力するように構成されるマッピングサブモジュールと、を含む、請求項１３に記載の文字構造化抽出装置。
  23. 前記取得サブモジュールはさらに、
    ｉ番目の文字列がフィールドの属性、フィールドの値およびテーブルのセルの三者からなる和集合に属する場合、前記文字列の関係確率行列のｉ行目のうち確率値が最大となる要素に対応する文字列を選択して、ｉ番目の文字列との対応関係を表し、
    ｉ番目の文字列がテーブルのヘッダに属する場合、関係集合のすべての要素に対応する文字列を保持して、ｉ番目の文字列との対応関係を表し、
    前記対応関係に基づいて、前記新たな関係集合を生成するように構成される、請求項２２に記載の文字構造化抽出装置。
  24. 文字列のカテゴリはフィールドの属性、フィールドの値、テーブルのヘッダ、テーブルのセルのうちの少なくとも１つを含み、フィールドの属性および値はフィールド対応関係を表し、テーブルのヘッダおよびセルはテーブル対応関係を表し、文字列は無向グラフの頂点を表し、フィールド対応関係およびテーブル対応関係は無向グラフの辺を表し、関係確率行列は無向グラフの辺構造に基づいて対応する頂点間に関係があるか否かを表す、請求項１３～２３のいずれか１項に記載の文字構造化抽出装置。
  25. 少なくとも１つのプロセッサと前記少なくとも１つのプロセッサと通信可能に接続された記憶装置とを含む電子機器であって、
    前記記憶装置に前記少なくとも１つのプロセッサによって実行可能な指令が記憶されており、前記指令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサが請求項１～１２のいずれか１項に記載の文字構造化抽出方法が実現される電子機器。
  26. コンピュータ指令が記憶されている非一時的コンピュータ可読記憶媒体であって、
    前記コンピュータ指令はコンピュータに請求項１～１２のいずれか１項に記載の文字構造化抽出方法を実施させるためのものである、非一時的コンピュータ可読記憶媒体。
  27. プロセッサにより実行されると、請求項１～１２のいずれか１項に記載の文字構造化抽出方法が実現される、コンピュータプログラム。

JP2021038794A 2020-09-29 2021-03-10 文字構造化抽出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム Active JP7335907B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011049097.7A CN112001368A (zh) 2020-09-29 2020-09-29 文字结构化提取方法、装置、设备以及存储介质
CN202011049097.7 2020-09-29

Publications (2)

Publication Number Publication Date
JP2022056316A true JP2022056316A (ja) 2022-04-08
JP7335907B2 JP7335907B2 (ja) 2023-08-30

Family

ID=73475005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021038794A Active JP7335907B2 (ja) 2020-09-29 2021-03-10 文字構造化抽出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム

Country Status (5)

Country Link
US (1) US20210201182A1 (ja)
EP (1) EP3839818A3 (ja)
JP (1) JP7335907B2 (ja)
KR (1) KR102610518B1 (ja)
CN (1) CN112001368A (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403488B2 (en) * 2020-03-19 2022-08-02 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for recognizing image-based content presented in a structured layout
CN112699234A (zh) * 2020-12-08 2021-04-23 上海深杳智能科技有限公司 一种通用文档识别方法、系统、终端及存储介质
CN113553892A (zh) * 2020-12-31 2021-10-26 内蒙古卫数数据科技有限公司 一种基于深度学习和ocr的检验、体检报告单结果提取方法
CN112949415B (zh) * 2021-02-04 2023-03-24 北京百度网讯科技有限公司 图像处理方法、装置、设备和介质
CN112966522B (zh) * 2021-03-03 2022-10-14 北京百度网讯科技有限公司 一种图像分类方法、装置、电子设备及存储介质
CN113033534B (zh) * 2021-03-10 2023-07-25 北京百度网讯科技有限公司 建立票据类型识别模型与识别票据类型的方法、装置
CN113205041B (zh) * 2021-04-29 2023-07-28 百度在线网络技术（北京）有限公司 结构化信息提取方法、装置、设备和存储介质
CN113297975B (zh) * 2021-05-25 2024-03-26 新东方教育科技集团有限公司 表格结构识别的方法、装置、存储介质及电子设备
CN113326766B (zh) * 2021-05-27 2023-09-29 北京百度网讯科技有限公司 文本检测模型的训练方法及装置、文本检测方法及装置
CN113343982B (zh) * 2021-06-16 2023-07-25 北京百度网讯科技有限公司 多模态特征融合的实体关系提取方法、装置和设备
CN113435331B (zh) * 2021-06-28 2023-06-09 平安科技（深圳）有限公司 图像文字识别方法、系统、电子设备及存储介质
CN113779934B (zh) * 2021-08-13 2024-04-26 远光软件股份有限公司 多模态信息提取方法、装置、设备及计算机可读存储介质
CN113657274B (zh) * 2021-08-17 2022-09-20 北京百度网讯科技有限公司 表格生成方法、装置、电子设备及存储介质
CN113641746B (zh) * 2021-08-20 2024-02-20 科大讯飞股份有限公司 文档结构化方法、装置、电子设备和存储介质
CN113822599A (zh) * 2021-10-27 2021-12-21 国网江苏省电力有限公司营销服务中心 一种基于分类树融合技术的电力行业政策管理方法
CN114092949A (zh) * 2021-11-23 2022-02-25 支付宝(杭州)信息技术有限公司 类别预测模型的训练、界面元素类别的识别方法及装置
WO2023128348A1 (ko) * 2021-12-28 2023-07-06 삼성전자 주식회사 이미지 내의 텍스트를 인식하는 전자 장치 및 그 동작 방법
CN114299522B (zh) * 2022-01-10 2023-08-29 北京百度网讯科技有限公司 图像识别方法装置、设备和存储介质
CN114419304A (zh) * 2022-01-18 2022-04-29 深圳前海环融联易信息科技服务有限公司 一种基于图神经网络的多模态文档信息抽取方法
CN114443916B (zh) * 2022-01-25 2024-02-06 中国人民解放军国防科技大学 一种面向试验数据的供需匹配方法及系统
CN114821622B (zh) 2022-03-10 2023-07-21 北京百度网讯科技有限公司 文本抽取方法、文本抽取模型训练方法、装置及设备
CN114332872B (zh) * 2022-03-14 2022-05-24 四川国路安数据技术有限公司 一种基于图注意力网络的合同文档容错信息提取方法
CN116266259A (zh) * 2022-06-22 2023-06-20 中移(苏州)软件技术有限公司 图像文字结构化输出方法、装置、电子设备和存储介质
CN115270718B (zh) * 2022-07-26 2023-10-10 中国医学科学院阜外医院 一种疾病编码的自动编目方法及系统
WO2024043602A1 (ko) * 2022-08-26 2024-02-29 삼성전자 주식회사 이미지로부터 텍스트를 획득하는 방법 및 서버
CN115270645B (zh) * 2022-09-30 2022-12-27 南昌工程学院 一种基于ernie-dpcnn模型的设计方法及系统
CN115545671B (zh) * 2022-11-02 2023-10-03 广州明动软件股份有限公司 一种法律法规结构化处理的方法、系统
CN116071740B (zh) * 2023-03-06 2023-07-04 深圳前海环融联易信息科技服务有限公司 发票识别方法、计算机设备及存储介质
CN117351324B (zh) * 2023-12-04 2024-03-01 支付宝(杭州)信息技术有限公司 通过神经网络模型进行文档图像处理的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153846A (ja) * 2013-02-07 2014-08-25 Mitsubishi Electric Corp パターン認識装置
CN110321918A (zh) * 2019-04-28 2019-10-11 厦门大学 基于微博的舆论机器人系统情感分析和图像标注的方法
JP2019215647A (ja) * 2018-06-12 2019-12-19 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム。
CN111626049A (zh) * 2020-05-27 2020-09-04 腾讯科技（深圳）有限公司 多媒体信息的标题修正方法、装置、电子设备及存储介质
CN111709339A (zh) * 2020-06-09 2020-09-25 北京百度网讯科技有限公司 一种票据图像识别方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504781B (zh) * 2009-03-10 2011-02-09 广州广电运通金融电子股份有限公司 有价文件识别方法及装置
KR20190123790A (ko) 2017-03-22 2019-11-01 드릴링 인포 인코포레이티드 전자 문서로부터 데이터 추출
US10430455B2 (en) * 2017-06-09 2019-10-01 Adobe Inc. Sketch and style based image retrieval
CN108614898B (zh) * 2018-05-10 2021-06-25 爱因互动科技发展（北京）有限公司 文档解析方法与装置
CN109711464B (zh) * 2018-12-25 2022-09-27 中山大学 基于层次化特征关系图构建的图像描述方法
CN110209721A (zh) * 2019-06-04 2019-09-06 南方科技大学 判决文书调取方法、装置、服务器及存储介质
CN110609891B (zh) * 2019-09-18 2021-06-08 合肥工业大学 一种基于上下文感知图神经网络的视觉对话生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153846A (ja) * 2013-02-07 2014-08-25 Mitsubishi Electric Corp パターン認識装置
JP2019215647A (ja) * 2018-06-12 2019-12-19 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム。
CN110321918A (zh) * 2019-04-28 2019-10-11 厦门大学 基于微博的舆论机器人系统情感分析和图像标注的方法
CN111626049A (zh) * 2020-05-27 2020-09-04 腾讯科技（深圳）有限公司 多媒体信息的标题修正方法、装置、电子设备及存储介质
CN111709339A (zh) * 2020-06-09 2020-09-25 北京百度网讯科技有限公司 一种票据图像识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP7335907B2 (ja) 2023-08-30
EP3839818A2 (en) 2021-06-23
CN112001368A (zh) 2020-11-27
KR20220043824A (ko) 2022-04-05
EP3839818A3 (en) 2021-10-06
US20210201182A1 (en) 2021-07-01
KR102610518B1 (ko) 2023-12-05

Similar Documents

Publication Publication Date Title
JP2022056316A (ja) 文字構造化抽出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
KR102612295B1 (ko) 어음 이미지 인식 방법, 장치, 기기 및 저장 매체
CN112966522B (zh) 一种图像分类方法、装置、电子设备及存储介质
Yu et al. A review of recurrent neural networks: LSTM cells and network architectures
US11847164B2 (en) Method, electronic device and storage medium for generating information
US11841921B2 (en) Model training method and apparatus, and prediction method and apparatus
JP2022006174A (ja) モデルをトレーニングするための方法、装置、デバイス、媒体、およびプログラム製品
WO2022257578A1 (zh) 用于识别文本的方法和装置
US11775845B2 (en) Character recognition method and apparatus, electronic device and computer readable storage medium
CN114419304A (zh) 一种基于图神经网络的多模态文档信息抽取方法
US11468655B2 (en) Method and apparatus for extracting information, device and storage medium
CN111930894B (zh) 长文本匹配方法及装置、存储介质、电子设备
CN114566233A (zh) 分子筛选的方法、装置、电子设备及存储介质
Jiang et al. Tabcellnet: Deep learning-based tabular cell structure detection
US20210312173A1 (en) Method, apparatus and device for recognizing bill and storage medium
Jiang et al. Hadamard product perceptron attention for image captioning
Jiang et al. ShrimpSeg: a local–global structure for the mantis shrimp point cloud segmentation network with contextual reasoning
CN116450827A (zh) 一种基于大规模语言模型的事件模板归纳方法和系统
CN116704506A (zh) 一种基于交叉环境注意力的指代图像分割方法
CN113343100B (zh) 一种基于知识图谱的智慧城市资源推荐方法和系统
Yin et al. Data Visualization Analysis Based on Explainable Artificial Intelligence: A Survey
Zhang et al. End‐to‐end generation of structural topology for complex architectural layouts with graph neural networks
CN117690098B (zh) 一种基于动态图卷积的开放驾驶场景下多标签识别方法
Fang et al. End‐to‐end power equipment detection and localization with RM transformer
CN112347196B (zh) 基于神经网络的实体关系抽取方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230818

R150 Certificate of patent or registration of utility model

Ref document number: 7335907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150