JP2021193549A - テーブル認識方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム - Google Patents

Abstract

【課題】テーブル認識方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムの提供。【解決方法】本出願の実施例は、テーブル認識方法、装置、機器及び媒体を開示し、データ処理技術及びクラウドコンピューティング分野に属する。該テーブル認識方法は、対象画像におけるテーブルを検出し、候補テーブル認識結果を得ることと、候補テーブル認識結果の合併特徴を抽出し、合併特徴に基づいて候補テーブル認識結果における合併対象行を確定することと、合併対象行の方向特徴を抽出し、方向特徴に基づいて合併対象行の合併方向を確定することと、合併対象行と合併対象行の合併方向とに基づいて、候補テーブル認識結果を調整し、対象テーブル認識結果を得ることとを含む。本出願の実施例は、従来のテーブル認識方法による認識結果が不正確であるという問題点を解決し、テーブル認識の精度を向上させた。【選択図】図１

Description

本出願の実施例は、コンピュータ技術に関し、具体的には、データ処理技術及びクラウドコンピューティング分野に関し、特にテーブル認識方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムに関する。

情報技術の発展に伴い、電子テーブルの重要性は疑う余地がない。しかしながら、業務処理に関わるテーブルは単純なＥｘｃｅｌおよびＷｏｒｄドキュメントだけでなく、ＰＤＦスキャンおよび画像形式に存在するテーブル画像も多数ある。

通常、テーブル画像を手動で認識し、テーブル画像のコンテンツを手動で抽出して、Ｅｘｃｅｌ又はＷｏｒｄに入力する必要がある。処理対象のテーブル画像が多い場合、手動による認識及びコンテンツ抽出は非効率的であるだけでなく、エラーが発生しやすい。現在、ディープラーニングに基づくテーブル認識方法もあるが、テーブル認識の精度は理想的でない。

本出願の実施例では、テーブル認識の精度を向上させるためのテーブル認識方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムを提供した。

本出願の実施例の一態様において、対象画像におけるテーブルを検出し、候補テーブル認識結果を得ることと、候補テーブル認識結果の合併特徴を抽出し、合併特徴に基づいて候補テーブル認識結果における合併対象行を確定することと、合併対象行の方向特徴を抽出し、方向特徴に基づいて合併対象行の合併方向を確定することと、合併対象行と合併対象行の合併方向とに基づいて、候補テーブル認識結果を調整し、対象テーブル認識結果を得ることと、を含むテーブル認識方法を提供する。

本出願の実施例の他の一態様において、対象画像におけるテーブルを検出し、候補テーブル認識結果を取得するための候補結果確定モジュールと、候補テーブル認識結果の合併特徴を抽出し、合併特徴に基づいて候補テーブル認識結果内の合併対象行を確定するように構成される合併対象行確定モジュールと、合併対象行の方向特徴を抽出し、方向特徴に基づいて合併対象行の合併方向を確定するように構成される合併方向確定モジュールと、合併対象行と合併対象行の合併方向とに基づいて、候補テーブル認識結果を調整し、対象テーブル認識結果を取得するように構成される対象結果確定モジュールと、を含むテーブル認識装置を提供する。

本出願の実施例の他の一態様において、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサにより実行可能な指令が格納されており、指令が少なくとも１つのプロセッサにより実行されると、少なくとも１つのプロセッサに本出願の実施例に開示されたいずれかのテーブル認識方法を実現させる、電子機器を提供する。

本出願の実施例の他の一態様において、コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、コンピュータ指令は、本出願の実施例に開示されたいずれかのテーブル認識方法をコンピュータに実行させる非一時的コンピュータ可読記憶媒体を提供する。

本出願の実施例の他の一態様において、プロセッサにより実行されると、本出願の実施例に開示されたいずれかのテーブル認識方法を実現する、コンピュータプログラムを提供する。

本出願の実施例の技術案によれば、テーブル検出により候補テーブル認識結果を得た後、候補テーブル認識結果のテーブルの特徴、即ち、合併特徴及び方向特徴を抽出し、抽出されたテーブルの特徴により候補テーブル認識結果に対して構造化結合処理を行い、合併対象行及び合併対象行の合併方向を取得し、さらに候補テーブル認識結果を調整し、最終的な対象テーブル認識結果を取得する。これにより、従来のテーブル認識技術案における認識結果が不正確であるという問題点を解決し、テーブル認識の精度を向上させた。

この部分に記載された内容は、本出願の実施例のキーポイントまたは重要な特徴を限定することを意図したものではなく、本出願の範囲を制限するものでもないことを理解すべきである。本出願の他の特徴は、以下の説明によって容易に理解される。

図面は、本案をよりよく理解するためのものであり、本出願を限定するものではない。
本出願の実施例により開示されたテーブル認識方法のフローチャートである。 本出願の実施例により開示された対象画像の候補テーブル認識結果の概略図である。 本出願の実施例により開示された対象画像の対象テーブル認識結果の概略図である。 本出願の実施例により開示された他のテーブル認識方法のフローチャートである。 本出願の実施例により開示された他のテーブル認識方法のフローチャートである。 本出願の実施例により開示された対象画像におけるテーブルの外枠及び文字領域の検出結果の概略図である。 本出願の実施例により開示された対象画像における空白列を含む列領域範囲の概略図である。 本出願の実施例により開示された対象画像における空白列が結合された後の列領域範囲の概略図である。 本出願の実施例により開示されたテーブル認識装置の構造を示す概略図である。 本出願の実施例により開示された電子機器のブロック図である。

以下、添付図面を参照しながら本出願の例示的な実施例を説明し、理解を容易にするために本出願の実施例の様々な詳細が含まれているが、これらは例示的なものに過ぎないことを理解すべきである。従って、当業者であれば、ここに記載された実施例に対して、本出願の範囲及び趣旨を逸脱することなく様々に変更し、修正することができることを理解すべきである。同様に、明確かつ簡潔のために、以下の記載で公知の機能及び構造の説明を省略した。

図１は、本出願の実施例により開示されたテーブル認識方法のフローチャートである。本出願の実施例は、テーブル画像を認識して、テーブル画像のテーブルを取得する場合に、特に、テーブル画像の罫線のないテーブルを認識する場合に適用可能である。本出願の実施例により開示された方法は、テーブル認識装置により実行でき、該装置は、ソフトウェア及び／又はハードウェアによって実現でき、サーバまたは端末などの、コンピューティング機能を有するあらゆる電子機器に統合することができる。

図１に示すように、本出願の実施例により開示されたテーブル認識方法は、以下のステップを含むことができる。

Ｓ１０１：対象画像におけるテーブルを検出し、候補テーブル認識結果を得る。

対象画像を取得した後、対象検出技術に基づいて、畳み込みニューラルネットワークに基づくモデル又は残差ニューラルネットワークに基づくモデルなどの、テーブル検出機能を有する任意のニューラルネットワークモデルを用いて、対象画像におけるテーブルを検出することができる。ＣＴＰＮ技術（シーンテキスト検出方法）、ＴｅｘｔＳｎａｋｅ技術（テキスト検出方法）、ＰＳＥＮＥＴ技術（テキスト検出方法）又はＣＲＡＦＴ技術（テキスト検出方法）などの、文字検出効果のある利用可能な任意の方法により、対象画像における文字を検出し、テーブルの予備認識結果、即ち、候補テーブル認識結果を取得する。ここで、対象画像とは、認識すべきテーブルを含む任意の処理すべき画像を指し、ＰＤＦスキャンおよび他の画像形式の画像を含む。対象画像におけるテーブルは、罫線のあるテーブル及び罫線のないテーブルを含むことができ、より高い検出精度を確保するように、罫線のないテーブルが好ましい。具体的には、対象画像におけるテーブルは、企業の年次報告書、財務諸テーブルなどのタイプであってもよい。

例示的に、対象画像におけるテーブルを検出し、候補テーブル認識結果を得ることは以下のことを含む。対象画像におけるテーブルの外枠及び対象画像における文字領域を検出する。ここで、文字領域が検出された後、対象画像における文字領域の位置情報、例えば、位置座標などは確定され得る。テーブルの外枠と文字領域とに基づいて、対象画像におけるテーブルをグリッド分割し、候補テーブル認識結果を得る。対象画像における各文字領域とは、少なくとも１つの文字を含み、各文字間の距離が比較的近い領域を指す。

図２では、対象画像に罫線のないテーブルが含まれたことを例示として、対象画像の候補テーブル認識結果の概略図を示しており、本出願の実施例を具体的に限定するものではないことを理解すべきである。図２に示すように、候補テーブル認識結果が確定された後、セル情報、行情報、列情報などの、テーブルに含まれる構造化情報は予め確定され得る。同時に、図２から分かるように、候補テーブル認識結果における一部の行または一部のセルを合併処理する必要がある。例えば、文字コンテンツが「会社ｘｘｘｘ及び」のセルと、文字コンテンツが「地域Ｂ分社」のセルは、実質的に１つの完全なセルに属し、完全な文字コンテンツ「会社ｘｘｘｘ及び地域Ｂ分社」に対応すべきであり、さらに、より正確なテーブル認識結果を取得することができる。

Ｓ１０２：候補テーブル認識結果の合併特徴を抽出し、合併特徴に基づいて候補テーブル認識結果における合併対象行を確定する。

ここで、合併特徴とは、多数のテーブルの特性に関する統計分析に基づいて、統計法則に従って得られた、テーブルの合併対象行を確定するための特徴である。合併対象行とは、行単位で、隣接する上の行又は隣接する下の行と全体に合併する必要がある行を指す。

例示的に、候補テーブル認識結果の合併特徴は、以下の少なくとも１つを含む。候補テーブル認識結果における各行の有効列数と候補テーブル認識結果における最大有効列数との差、候補テーブル認識結果における各行と候補テーブル認識結果におけるヘッダとの相対的な位置関係、候補テーブル認識結果における各行の文字領域に所定の区切り文字が含まれるか否か、及び候補テーブル認識結果における各行の文字領域に数値タイプのデータが含まれるか否かなどの特徴である。ここで、ヘッダとは、候補テーブル認識結果のうちで、位置情報に基づいて確定された、有効列数が最大の行の最初のセルを指す。候補テーブル認識結果における各行の有効列数とは、該行の文字領域に対応する列の数を指す。候補テーブル認識結果における最大有効列数とは、テーブルにおける文字領域に対応する列の最大数を指す。所定の区切り文字は、文字の区切り又は改行のためにテーブルに適用可能な任意の符号（例えば、数値を改行するための小数点など）であってもよい。

さらに、合併特徴において、候補テーブル認識結果における各行の有効列数ｍと、候補テーブル認識結果における最大有効列数ｎの差は、（ｎ−ｍ）／ｎにより表すことができる。または、ｍとｎの商などの他の形式の数学的計算であってもよい。候補テーブル認識結果における各行と候補テーブル認識結果におけるヘッダとの相対的な位置関係は、ヘッダが属する行の上方にある場合と、ヘッダが属する行の下方にある場合を含む。

合併特徴を取得した後、予め確定されたテーブル合併特徴とテーブルの合併対象行との関連関係（即ち、合併特徴と合併対象行との規則性を特徴付けるために用いられる）により、候補テーブル認識結果における合併対象行を確定する。オプションとして、合併特徴とテーブルの合併対象行との関連関係は、機械学習スキーム（回帰分析スキームなどを含むがこれらに限定されない）に基づいて確定できる。

例示的に、候補テーブル認識結果における各行の有効列数と候補テーブル認識結果における最大有効列数との差が大きいほど、該行が合併対象行である確率が高くなり、候補テーブル認識結果におけるヘッダの上方にある行が、ヘッダの属する行に結合される確率が高くなり、候補テーブル認識結果における文字領域が所定の区切り文字を含む行が、合併対象行である確率が高くなり、候補テーブル認識結果における文字領域が数値タイプのデータを含む行が、合併対象行である確率が高くなる。

Ｓ１０３：合併対象行の方向特徴を抽出し、方向特徴に基づいて合併対象行の合併方向を確定する。

ここで、方向特徴とは、多数のテーブルの特性に関する統計解析に基づいて、統計法則に従って得られた、合併対象行の合併方向を確定するための特徴である。合併方向は下の行との結合及び上の行との結合を含む。上の行との結合とは、現在の合併対象行の上罫線及びそれに隣接する上の行の下罫線を削除することを指す。下の行との結合とは、現在の合併対象行の下罫線及びそれに隣接する下の行の上罫線を削除することを指す。

例示的に、合併対象行の方向特徴は、以下の少なくとも１つを含む。合併対象行がサイドヘッダを含むか否か、合併対象行がサイドヘッダのみを含むか否か、合併対象行の文字領域に数値タイプのデータが含まれるか否か、合併対象行からそれに隣接する上の行の下罫線までの距離と、それに隣接する下の行の上罫線までの距離との比、合併対象行内の文字領域（又はテキストボックスと呼ばれる）と上の行内の文字領域との幅の差、及び合併対象行内の文字領域と下の行内の文字領域との幅の差などの特徴である。サイドヘッダとは、各行で読み取り習慣に従ってテーブルの最左端にあるセルを指す。

さらに、方向特徴において、合併対象行からそれに隣接する上の行の下罫線までの距離と、それに隣接する下の行の上罫線までの距離との比は、合併対象行の中心軸からそれに隣接する上の行の下罫線までの距離と、合併対象行の中心軸からそれに隣接する下の行の上罫線までの距離との比であってもよく、または、合併対象行の上罫線からそれに隣接する上の行の下罫線までの距離と、合併対象行の下罫線からそれに隣接する下の行の上罫線までの距離との比であってもよい。

合併対象行内の文字領域と上の行内の文字領域との幅の差は次のように表すことができる。

ここで、ｈ_ｉは合併対象行のｉ番目の文字領域の幅を表し、ｌ_ｉは合併対象行のｉ番目の文字領域に対応する上の行のｉ番目の文字領域の幅を表し、ｉの値は整数である。

同様に、合併対象行内の文字領域と下の行内の文字領域との幅の差は次のように表すことができる。

ここで、ｈ_ｉは合併対象行のｉ番目の文字領域の幅を表し、ｐ_ｉは合併対象行のｉ番目の文字領域に対応する下の行のｉ番目の文字領域の幅を表し、ｉの値は整数である。前記幅の差を得た後、幅差値と差の閾値との関係に基づいて、合併対象行の合併方向を確定することができる。例えば、幅差値が差の閾値よりも大きい場合に上の行と結合するように確定し、幅差値が差の閾値以下である場合に下の行と結合するように確定し、差の閾値を合理的に設定でき、本出願の実施例では特に限定しない。

具体的には、方向特徴を取得した後、予め確定されたテーブルの方向特徴と合併対象行の合併方向との関連関係（即ち、第２の特徴と合併対象行との規則性を示すために用いられる）により、候補テーブル認識結果における合併対象行の合併方向を確定する。オプションとして、方向特徴と合併対象行の合併方向との関連関係は、機械学習スキーム（回帰分析スキームなどを含むがこれらに限定されない）に基づいて確定してもよい。

例示的に、合併対象行がサイドヘッダを含むか、または合併対象行がサイドヘッダのみを含む場合に、他の行が現在の行に結合される確率が高い。合併対象行からそれに隣接する上の行の下罫線までの距離と、それに隣接する下の行の上罫線までの距離との比の値が大きいほど、合併対象行からそれに隣接する上の行までの距離が小さく、さらに、合併対象行が上の行に結合される確率が、下の行に結合される確率よりも大きいことを示す。合併対象行内の文字領域と、それに隣接する上の行内の文字領域との幅差値が大きいほど、合併対象行が上の行に結合される確率が高い。同様に、合併対象行内の文字領域と、それに隣接する下の行内の文字領域との幅差値が大きいほど、合併対象行が下の行に結合される確率が高い。文字領域に数値タイプのデータが含まれる合併対象行が下の行に結合される確率が比較的高い。

また、本出願の実施例では、判断タイプの特徴について、異なる分岐タイプの特徴に対して、事前に異なる文字で表示するように設定することで、候補テーブル認識結果のテーブルの特徴を記録することが便利になり、さらに、後続のテーブルの構造化処理が便利になる。例えば、合併特徴において、候補テーブル認識結果における各行と、候補テーブル認識結果におけるヘッダとの相対位置関係について、該行がヘッダの上方にある場合、該行の特徴を１と記録し、該行がヘッダの下方にある場合、該行の特徴を０と記録することができる。候補テーブル認識結果におけるある行の文字領域に所定の区切り文字が含まれる場合、該行の特徴を１と記録し、それ以外の場合は、０と記録することができる。他の次元の特徴については、前述の記録方法が適用可能であり、同様に、方向特徴にも適用できる。例えば、合併対象行にサイドヘッダが含まれている場合、該合併対象行の特徴を１と記録し、それ以外の場合は、０と記録する。

候補テーブル認識結果の合併特徴及び合併対象行の合併方向にそれぞれ含まれるサブ特徴は、合併対象行及び合併方向を確定するために、単独でまたは組み合わせて使用できる。高品質の結果を確保する観点から、サブ特徴を組み合わせて使用することが好ましく、即ち、複数のサブ特徴を考慮して総合的な確定を行う。

Ｓ１０４：合併対象行と合併対象行の合併方向とに基づいて、候補テーブル認識結果を調整し、対象テーブル認識結果を得る。

確定された合併対象行と合併対象行の合併方向とに基づいて、候補テーブル認識結果を調整することで、正確な対象テーブル認識結果を得る。図３では、対象画像に罫線のないテーブルが含まれる場合を例示として、対象画像の対象テーブル認識結果の概略図を示しており、本出願の実施例に対する具体的な限定として理解されるべきではない。図２と比べて、図３では、テーブルにおける一部の行を結合したことで、テーブル認識結果がより正確になる。

また、対象テーブル認識結果を得た後、さらに、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ、光学文字認識）技術などの文字認識技術により各文字領域の文字を認識し、認識された文字をＷｏｒｄ又はＥｘｃｅｌドキュメントなどの編集可能なドキュメントに抽出することで、テーブルの画像におけるコンテンツを容易に抽出でき、Ｗｏｒｄ又はＥｘｃｅｌドキュメントをエクスポートしてユーザにフィードバックすることができる。

本出願の実施例の技術案によれば、テーブルの検出により候補テーブル認識結果を得た後、候補テーブル認識結果のテーブルの特徴、即ち、合併特徴及び方向特徴を抽出し、抽出されたテーブルの特徴に基づいて候補テーブル認識結果に対して構造化結合処理を行い、合併対象行及び合併対象行の合併方向を取得し、さらに候補テーブル認識結果を調整し、最終的な対象テーブル認識結果を取得する。これにより従来のテーブル認識方法における認識結果が不正確であるという問題点を解決し、テーブル認識の精度を向上させた。

なお、本出願の実施例において、合併特徴及び方向特徴の抽出タイミングについて厳密な制限はなく、図１に示される合併特徴及び方向特徴の抽出と他の動作の実行順序を本出願の実施例に対する具体的な限定として理解されるべきではない。例示的に、候補テーブル認識結果に基づいて合併特徴を抽出すると同時に、テーブルの各行の方向特徴を抽出し、候補テーブル認識結果における合併対象行を確定した後、合併対象行の方向特徴を直接呼び出し、合併対象行の合併方向を確定することができる。

図４は、本出願の実施例により開示された他のテーブル認識方法のフローチャートである。前記技術案に基づいてさらに最適化及び拡張し、前記各選択可能な実施形態と組み合わせることができる。図４に示すように、この方法は以下のステップを含むことができる。

Ｓ２０１：対象画像におけるテーブルを検出し、候補テーブル認識結果を得る。

Ｓ２０２：候補テーブル認識結果の合併特徴を抽出し、予め訓練されたセル合併分類モデルと合併特徴とに基づいて、候補テーブル認識結果のうちの合併対象行を確定する。

Ｓ２０３：合併対象行の方向特徴を抽出し、予め訓練されたセル合併方向確定モデルと方向特徴とに基づいて、合併対象行の合併方向を確定する。

Ｓ２０４：確定された合併対象行と合併対象行の合併方向とに基づいて、候補テーブル認識結果を調整し、対象テーブル認識結果を得る。

ここで、セル合併分類モデルは、候補テーブル認識結果における各行が結合に参加する必要があるか否かを判断するための任意の予め訓練されたモデルであってもよく、具体的には、二項分類モデルであってもよい。即ち、各行の出力結果について、結合に参加する必要があるか、又は結合に参加する必要がないかを含むことができる。セル合併方向確定モデルは、合併対象行の合併方向を判断するための任意の予め訓練されたモデルであってもよく、具体的には、二項分類モデルであってもよい。即ち、各合併対象行の出力結果について、上の行との結合又は下の行との結合を含むことができる。上の行との結合とは、現在の合併対象行の上罫線及びそれに隣接する上の行の下罫線をキャンセルすることを指す。下の行との結合とは、現在の合併対象行の下罫線及びそれに隣接する下の行の上罫線をキャンセルすることを指す。

前記技術案に基づいて、オプションとして、本出願の実施例により開示された方法はさらに以下を含む。

所定の数のサンプルテーブルを取得し、サンプルテーブルの合併対象行及び該合併対象行の合併方向を表記する。例えば、サンプルテーブルの合併対象行を１と表記し、結合する必要のない行を０と表記し、合併方向が上向き結合の場合は１と表記し、合併方向が下向き結合の場合は０と表記する。

サンプルテーブルにおける、合併対象行を確定するためのサンプル合併特徴を抽出し、サンプルテーブルにおける、合併対象行の合併方向を確定するためのサンプル方向特徴を抽出する。

表記された合併対象行及びサンプル合併特徴を用いて訓練によりセル合併分類モデルを取得する。即ち、訓練プロセスにおいて、合併対象行とサンプル合併特徴との関連関係を学習でき、合併対象行の予測に用いられる。

表記された合併対象行の合併方向及びサンプル方向特徴を用いて訓練によりセル合併方向確定モデルを取得する。即ち、訓練プロセスにおいて、合併対象行の合併方向とサンプル方向特徴との関連関係を学習でき、合併対象行の合併方向の予測に用いられる。

同様に、モデル訓練プロセスにおいて、サンプル合併特徴及びサンプル方向特徴を同時に抽出できる。サンプル合併特徴を抽出した後、サンプル方向特徴を抽出してもよく、本出願の実施例では特に限定しない。テーブル認識プロセスにおいて、処理の必要性に応じてセル合併分類モデルとセル合併方向確定モデルを択一的に用いてもよく、同時に用いてもよい。図４に示された技術案を本出願の実施例に対する具体的な限定として理解するべきではない。

例示的に、サンプル合併特徴は、サンプルテーブルにおける各行の有効列数とサンプルテーブルにおける最大有効列数との差、サンプルテーブルにおける各行とサンプルテーブルにおけるヘッダとの相対的な位置関係、サンプルテーブルにおける各行の文字領域に所定の区切り文字が含まれるか否か、及びサンプルテーブルにおける各行の文字領域に数値タイプのデータが含まれるか否かなどの特徴の少なくとも１つを含む。ここで、ヘッダとは、サンプルテーブルにおいて、位置情報に基づいて確定された有効列数が最大の行における最初のセルを指す。サンプルテーブルにおける各行の有効列数とは、該行の文字領域に対応する列の数を指す。サンプルテーブルにおける最大有効列数とは、テーブルにおける文字領域に対応する列の最大数を指す。所定の区切り文字は、数値を分割するための小数点などの、文字の改行のためにテーブルに適用可能なあらゆる符号であってもよい。

サンプル方向特徴は、合併対象行がサイドヘッダを含むか否か、合併対象行がサイドヘッダのみを含むか否か、合併対象行の文字領域に数値タイプのデータが含まれるか否か、合併対象行からそれに隣接する上の行の下罫線までの距離と、それに隣接する下の行の上罫線までの距離との比、合併対象行内の文字領域とそれに隣接する上の行における文字領域との幅の差、及び合併対象行内の文字領域とそれに隣接する下の行内の文字領域との幅の差などの特徴の少なくとも１つを含む。サイドヘッダとは、各行で読み取り習慣に従ってテーブルの最左端にあるセルを指す。モデル訓練プロセスにおける特徴の抽出とモデル使用プロセスおける特徴の抽出は同じロジックに属するため、第１のサンプル特徴と第２のサンプル特徴に関する他の記載については、上記実施例における候補テーブル認識結果の第１の特徴及び第２の特徴に関する記載を参照されたい。ここでは説明を省略する。

セル合併分類モデル及びセル合併方向確定モデルの訓練プロセスにおいて、ロジスティック回帰二項分類、ＧＢＤＴ（Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ、勾配ブースティング確定木）二項分類、ＸＧＢｏｏｓｔ（ｅＸｔｒｅｍｅ Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ）二項分類又はＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、サポートベクターマシン）二項分類等に基づいて、訓練により所望のモデルを得ることができる。自動モデリングと組み合わせてモデルパラメータを最適化することにより所望のモデルを得ることもできる。モデル融合方法により訓練を行って所望のモデルを得ることもできる。本出願の実施例では、モデルの具体的な訓練プロセスを限定しない。

本出願の実施例の技術案によれば、テーブルの検出により候補テーブル認識結果を得た後、候補テーブル認識結果の合併特徴及び方向特徴を抽出し、後続の正確なテーブル認識結果の取得にデータ基盤を確立した。その後、予め訓練されたセル合併分類モデルと合併特徴とに基づいて候補テーブル認識結果における合併対象行を確定し、予め訓練されたセル合併方向確定モデル及び方向特徴に基づいて合併対象行の合併方向を確定する。最後に、確定された合併対象行、合併方向と候補テーブル認識結果とに基づいて、正確な対象テーブル認識結果を取得する。これにより、従来のテーブル認識方法による認識結果が不正確であるという問題点を解決し、テーブル認識の精度を向上させた。さらに、セル合併分類モデル及びセル合併方向確定モデルの使用により、テーブル認識結果の精度や信頼性が確保されただけでなく、テーブル認識効率が効果的に向上し、技術案の適用範囲がより広くなる。

図５は、本出願の実施例により開示された他のテーブル認識方法のフローチャートである。上記の技術案に基づいてさらに最適化及び拡張し、上記の各オプション的な実施形態と組み合わせることができる。図５に示すように、該方法は以下のステップを含むことができる。

Ｓ３０１：対象画像におけるテーブルの外枠及び対象画像における文字領域を検出する。

例示的に、事前設定されたニューラルネットワークモデルにより対象画像におけるテーブルの外枠を検出できる。ここで、事前設定されたニューラルネットワークモデルは、Ｙｏｌｏｖ３ネットワーク構造に所定数の畳み込み層を追加することによって実現できる。事前設定されたニューラルネットワークモデルは、モデル訓練によりテーブルの外枠を検出する機能を備えており、モデル訓練プロセスに必要なパラメータは、検出の必要性に応じて柔軟に設定できる。具体的には、対象画像をＹｏｌｏｖ３ネットワーク構造によって処理した後、結果を直接出力せず、所定数（具体的な値は必要に応じて決められる）の畳み込み層に入力して畳み込み計算を行った後、全結合層を介してテーブルの外枠の検出結果を出力し、Ｙｏｌｏｖ３ネットワーク構造により処理してテーブルの外枠の検出結果を出力する場合と比べて、テーブルの外枠の検出精度を向上させることができる。また、Ｆａｓｔｅｒ Ｒ−ＣＮＮネットワークによりテーブルの外枠を検出する技術案と比べて、本出願の実施例で用いられる事前設定されたニューラルネットワークモデルはテーブル検出の精度を向上させることができ、他の分散文字をテーブル領域と誤認識することを減らすことができ、テーブル認識の精度とリコール率を両立させ、また、モデル訓練時間及び予測時間がＦａｓｔｅｒ Ｒ−ＣＮＮよりもはるかに短い。事前設定されたニューラルネットワークモデルは、モデル訓練プロセスにおいて、モデル訓練の精度を確保するように、モデル損失関数としてクロスエントロピー損失関数を用いることができる。クロスエントロピー損失関数の具体的な形式は従来技術における関数形式を参照して実現することができる。

さらに、テキスト検出のための文字領域アウェアネス方法（Ｃｈａｒａｃｔｅｒ Ｒｅｇｉｏｎ Ａｗａｒｅｎｅｓｓ ｆｏｒ Ｔｅｘｔ Ｄｅｔｅｃｔｉｏｎ、ＣＲＡＦＴ）により、対象画像における文字領域を検出することができる。ＣＲＡＦＴ方法の核となる思想は、テキストボックスを対象とせずに、対象検出という核となる概念により適合した単一文字の分割及び単一文字間の分割の方法を提案することにある。これにより、小さな知覚視野で大きなテキストや長いテキストを予測でき、テキストインスタンス全体ではなく文字レベルのコンテンツのみに焦点を当てることで、テキストの境界を効果的に取得し、対象画像における文字領域の検出精度を確保できる。

図６は、本出願の実施例により開示された対象画像におけるテーブルの外枠及び文字領域の検出結果の概略図である。図６に示すように、テーブルの外枠内における文字は、すべてテーブルのコンテンツに属し、１つの文字領域が１つのテキストボックスに対応し、テキストボックスの数はテーブルのコンテンツによって決められる。テーブルの外枠と各テキストボックスのサイズは適応的に設定できる。

さらに、対象画像におけるテーブルの外枠を検出するプロセスにおいて、本出願の実施例に係る方法は、対象画像におけるテーブルのテーブル名を検出することをさらに含み、対応して、対象画像におけるテーブルの外枠を検出した後、本出願の実施例に係る方法は、テーブル名の位置情報に基づいて、テーブルの外枠を調整することをさらに含む。これにより、テーブル名が占める領域をテーブル領域に分割することを避け、テーブルの外枠の検出精度を向上させる。

例示的に、テーブル名検出の実現に関して、テーブルの外枠検出機能を備えた事前設定されたニューラルネットワークモデルを取得するための訓練プロセスにおいて、テーブル名の検出を１つの訓練対象とすることができ、即ち、訓練サンプルテーブルにテーブルの外枠及びテーブル名を同時に表記した後、モデル訓練に用いることで、事前設定されたニューラルネットワークモデルは、テーブルの外枠検出機能とテーブル名検出機能の両方を備えたマルチタスクモデルになることができる。また、テーブル名とテーブルの本体、ヘッダとの位置関係などに基づいて、テーブル名の位置を検出することもできる。

Ｓ３０２：テーブルの外枠と文字領域の位置情報とに基づいて、対象画像におけるテーブルの各行の領域範囲を確定する。即ち、各行の上下の境界を確定する。

Ｓ３０３：対象画像内の各行に対応する文字領域の数に基づいて対象行を確定する。

具体的には、対象画像におけるテーブルの行を単位とし、対応する文字領域の数が数の閾値を超えた行、例えば、対応する文字領域の数が最も多い行を対象行として確定することができる。各行の１つの文字領域が１つの列に対応でき、つまり、対象行に対応する列数がある程度最大になる。

Ｓ３０４：対象行の行の長さと対象画像におけるテーブルの行方向の文字領域とに基づいて、対象画像におけるテーブルの各列の領域範囲を確定する。

具体的には、テーブルの行方向におけるすべての文字領域の範囲に従って、テーブルの列方向に沿ってテーブルの領域を合理的に分割し、各列の左境界線及び右境界線を確定することができる。

Ｓ３０５：各行の領域範囲と各列の領域範囲とに基づいて、対象画像におけるテーブルをグリッド分割し、候補テーブル認識結果を得る。

候補テーブル認識結果の例示的な効果については、図２を参照されたい。

Ｓ３０６：候補テーブル認識結果の合併特徴を抽出し、合併特徴に基づいて候補テーブル認識結果のうちの合併対象行を確定する。

Ｓ３０７：合併対象行の方向特徴を抽出し、方向特徴に基づいて合併対象行の合併方向を確定する。

Ｓ３０８：合併対象行と合併対象行の合併方向とに基づいて、候補テーブル認識結果を調整し、対象テーブル認識結果を得る。

上記技術案に基づいて、さらに、対象行の行の長さ及び対象画像におけるテーブルの行方向の文字領域に基づいて、対象画像におけるテーブルの各列の領域範囲を確定することは、
対象行の行の長さと対象画像におけるテーブルの行方向の文字領域とに基づいて、対象画像におけるテーブルの各列の候補領域範囲を確定することと、
各列の候補領域範囲に基づいて、文字領域を含まない空白列を検出することと、
空白列の候補領域範囲を２列の対象領域に結合し、対象画像におけるテーブルの各列の対象領域範囲を取得することとを含み、
ここで、２列の対象領域とは、空白列に隣接するとともに、空白列の両側にそれぞれ位置する列領域を指す。

ここで、例示として、図７における第２、第４及び第６の列は空白列であり、空白列は通常のテーブルには表示されないため、テーブル認識の精度のために、図８に示す列領域範囲のように、空白列領域を空白列の左右両側の列に結合することで、より合理的で正確なテーブル認識結果を取得できる。

本出願の実施例の技術案によれば、対象画像に対してテーブルの外枠検出及び文字領域検出を行うことにより、対象画像におけるテーブルの行領域範囲及び列領域範囲を確定し、候補テーブル認識結果を予め取得し、後続の効果的なテーブルの構造化処理の基盤を確立した。その後、候補テーブル認識結果に基づいて特徴抽出を行い、抽出された特徴を用いて合併対象行及び合併対象行の結合方向を確定し、候補テーブル認識結果の効果的な構造化処理を実現することで、正確な対象テーブル認識結果を取得する。これにより、従来のテーブル認識方法による認識結果が不正確であるという問題点を解決し、テーブル認識の精度を向上させた。

図９は、本出願の実施例により開示されたテーブル認識装置の構造を示す概略図である。本出願の実施例は、テーブル画像を認識して、テーブル画像におけるテーブルを取得する場合に、特に、テーブル画像における罫線のないテーブルを認識する場合に適用可能である。本出願の実施例に係る装置は、ソフトウェア及び／又はハードウェアによって実現でき、サーバまたは端末などの、コンピューティング機能を有する任意の電子機器に統合することができる。

図９に示すように、本出願の実施例に係るテーブル認識装置４００は、候補結果確定モジュール４０１、合併対象行確定モジュール４０２、合併方向確定モジュール４０３及び対象結果確定モジュール４０４を含んでもよい。

候補結果確定モジュール４０１は、対象画像におけるテーブルを検出し、候補テーブル認識結果を取得するように構成される。

合併対象行確定モジュール４０２は、候補テーブル認識結果の合併特徴を抽出し、合併特徴に基づいて候補テーブル認識結果のうちの合併対象行を確定するように構成される。

合併方向確定モジュール４０３は、合併対象行の方向特徴を抽出し、方向特徴に基づいて合併対象行の合併方向を確定するように構成される。

対象結果確定モジュール４０４は、合併対象行と合併対象行の合併方向とに基づいて、候補テーブル認識結果を調整し、対象テーブル認識結果を取得するように構成される。

オプションとして、合併対象行確定モジュール４０２は、
候補テーブル認識結果の合併特徴を抽出するように構成される合併特徴抽出ユニットと、
予め訓練されたセル合併分類モデル及び合併特徴を用いて、候補テーブル認識結果のうちの合併対象行を確定するように構成される合併対象行確定ユニットとを備える。

オプションとして、合併方向確定モジュール４０３は、
合併対象行の方向特徴を抽出するように構成される方向特徴抽出ユニットと、
予め訓練されたセル合併方向確定モデル及び方向特徴を用いて、合併対象行の合併方向を確定するように構成される合併方向確定ユニットとを備え、ここで、合併方向は、下の行との結合と、上の行との結合を含む。

オプションとして、合併特徴は、候補テーブル認識結果における各行の有効列数と候補テーブル認識結果における最大有効列数との差、候補テーブル認識結果における各行と候補テーブル認識結果におけるヘッダとの相対的な位置関係、候補テーブル認識結果における各行の文字領域に所定の区切り文字が含まれるか否か、及び候補テーブル認識結果における各行の文字領域に数値タイプのデータが含まれるか否か、の少なくとも１つを含む。

方向特徴は、合併対象行がサイドヘッダを含むか否か、合併対象行がサイドヘッダのみを含むか否か、合併対象行の文字領域に数値タイプのデータが含まれるか否か、合併対象行からそれに隣接する上方の行の下罫線までの距離と、合併対象行からそれに隣接する下方の行の上罫線までの距離との比、合併対象行の文字領域と上の行の文字領域との幅の差、及び合併対象行の文字領域と下の行の文字領域との幅の差、の少なくとも１つを含む。

ここで、ヘッダとは、候補テーブル認識結果のうち、位置情報に基づいて確定された、有効列数が最大の行の最初のセルを指す。

オプションとして、本出願の実施例に係る装置は、さらに
所定数のサンプルテーブルを取得し、サンプルテーブルにおける合併対象行及び該合併対象行の合併方向を表記するように構成されるサンプル表記モジュールと、
サンプルテーブルにおける、合併対象行を確定するためのサンプル合併特徴を抽出し、サンプルテーブルにおける、合併対象行の合併方向を確定するためのサンプル方向特徴を抽出するように構成されるサンプル特徴抽出モジュールと、
表記された合併対象行とサンプル合併特徴とに基づいて訓練を行ってセル合併分類モデルを取得するように構成される第１の訓練モジュールと、
表記された合併対象行の合併方向とサンプル方向特徴とに基づいて訓練を行ってセル合併方向確定モデルを取得するように構成される第２の訓練モジュールと、を備える。

オプションとして、候補結果確定モジュール４０１は、
対象画像におけるテーブルの外枠及び対象画像における文字領域を検出するように構成される外枠・文字検出ユニットと、
テーブルの外枠と文字領域とに基づいて、対象画像におけるテーブルをグリッド分割し、候補テーブル認識結果を得るように構成される候補結果確定ユニットと、を備える。

オプションとして、候補結果確定ユニットは、
テーブルの外枠と文字領域の位置情報とに基づいて、対象画像におけるテーブルの各行の領域範囲を確定するように構成される行領域確定サブユニットと、
対象画像における各行に対応する文字領域の数に基づいて対象行を確定するように構成される対象行確定サブユニットと、
対象行の行の長さと対象画像におけるテーブルの行方向の文字領域とに基づいて、対象画像におけるテーブルの各列の領域範囲を確定するように構成される列領域確定サブユニットと、
各行の領域範囲と各列の領域範囲とに基づいて、対象画像におけるテーブルをグリッド分割し、候補テーブル認識結果を得るように構成されるグリッド分割サブユニットとを備える。

オプションとして、列領域確定サブユニットは、
対象行の行の長さと対象画像におけるテーブルの行方向の文字領域とに基づいて、対象画像におけるテーブルの各列の候補領域範囲を確定するように構成される候補領域確定サブユニットと、
各列の候補領域範囲に基づいて、文字領域を含まない空白列を検出するように構成される空白列検出サブユニットと、
空白列の候補領域範囲を２列の対象領域に結合し、対象画像におけるテーブルの各列の対象領域範囲を取得するように構成される対象領域確定サブユニットとを備える。
ここで、２列の対象領域とは、空白列に隣接するとともに、空白列の両側にそれぞれ位置する列領域を指す。

オプションとして、外枠・文字検出ユニットは、
対象画像におけるテーブルの外枠を検出するように構成されるテーブル外枠検出サブユニットと、
対象画像における文字領域を検出するように構成される文字領域検出サブユニットとを備え、
ここで、テーブル外枠検出サブユニットは、具体的には、
事前設定されたニューラルネットワークモデルを用いて対象画像におけるテーブルの外枠を検出するように構成される。ここで、事前設定されたニューラルネットワークモデルは、Ｙｏｌｏｖ３ネットワーク構造に所定数の畳み込み層を追加することによって実現される。

オプションとして、候補結果確定モジュール４０１は、
対象画像におけるテーブルのテーブル名を検出するように構成されるテーブル名検出ユニットと、
外枠・文字検出ユニットが対象画像におけるテーブルの外枠を検出した後、テーブル名の位置情報に基づいて、テーブルの外枠を調整するように構成される外枠調整ユニットとを備える。

本出願の実施例に係るテーブル認識装置４００は、本出願の実施例に係るいずれのテーブル認識方法をも実行することができ、方法を実行するための機能モジュールおよび有益な効果を有する。本出願の装置の実施例に詳細に記載されていない内容については、本出願のいずれかの方法の実施例における記述を参照されたい。

本出願の実施例によれば、本出願の実施例は、電子機器及び可読記憶媒体を提供する。

図１０に示すように、図１０は、本出願の実施例におけるテーブル認識方法を実現するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及びその他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的としている。電子機器は、携帯情報端末、携帯電話、スマートフォン、ウェアラブルデバイス及び他の類似のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。ここに示されているコンポーネント、それらの接続関係、及びそれらの機能はただ例示的なものであり、ここで記述および／または要求した本出願の実施形態を限定することを意図するものではない。

図１０に示すように、該電子機器は、１つまたは複数のプロセッサ５０１、メモリ５０２、並びに高速インターフェース及び低速インターフェースを含む各コンポーネントを接続するためのインターフェースを備える。各コンポーネントは、異なるバスを介して互いに接続されており、共通のマザーボードにインストールされてもよく、必要に応じて他の方式でインストールされてもよい。プロセッサは、外部入力／出力装置（インターフェースに結合された表示装置など）にグラフィカルユーザインタフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ＧＵＩ）の図形情報を表示するようにメモリ内またはメモリ上に記憶された指令を含む、電子機器内で実行される指令を処理することができる。他の実現方式において、必要に応じて、複数のプロセッサ及び／又は複数のバスを複数のメモリとともに使用することができる。同様に、複数の電子機器に接続することができ、各機器は、例えば、サーバアレイ、ブレードサーバのグループ、又はマルチプロセッサシステムとして一部の必要な操作を提供する。図１０では、１つのプロセッサ５０１を例とする。

メモリ５０２は、本出願の実施例に係る非一時的コンピュータ可読記憶媒体である。メモリには、少なくとも１つのプロセッサが本出願の実施例に係るテーブル認識方法を実行するように、少なくとも１つのプロセッサで実行可能な指令が記憶されている。本出願の実施例の非一時的コンピュータ可読記憶媒体は、コンピュータに本出願の実施例により提供されるテーブル認識方法を実行させるように構成されるコンピュータ指令を記憶する。

メモリ５０２は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム並びに本出願の実施例に係るテーブル認識方法に対応するプログラム指令／モジュール、例えば、図９に示される候補結果確定モジュール４０１、合併対象行確定モジュール４０２、合併方向確定モジュール４０３及び対象結果確定モジュール４０４などのモジュールを記憶するように構成されることができる。プロセッサ５０１は、メモリ５０２に記憶された非一時的ソフトウェアプログラム、指令及びモジュールを動作させることによって、電子機器の様々な機能的アプリケーション及びデータ処理を実行し、前記方法の実施例におけるテーブル認識方法を実現する。

メモリ５０２は、プログラム記憶領域及びデータ記憶領域を含むことができる。プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要となるアプリケーションプログラムを記憶することができ、データ記憶領域は、電子機器の使用に従って作成されたデータなどを記憶することができる。また、メモリ５０２は、高速ランダムアクセスメモリを含んでもよく、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリ装置、またはその他の非一時的ソリッドステートメモリなどの非一時的メモリを含んでもよい。いくつかの実施例において、メモリ５０２は、プロセッサ５０１に対して遠隔的に設定されたリモートメモリを含むことができ、これらのリモートメモリは、ネットワークを介して本実施例におけるテーブル認識方法を実現するための電子機器に接続されることができる。前記ネットワークの例には、インターネット、イントラネット、ローカルエリアネットワーク、移動体通信網及びそれらの組み合わせが含まれるが、これらに限定されない。

本出願の実施例におけるテーブル認識方法を実現するための電子機器は、入力装置５０３及び出力装置５０４をさらに備えることができる。プロセッサ５０１、メモリ５０２、入力装置５０３及び出力装置５０４は、バスまたは他の方式で接続することができ、図１０では、バスによる接続を例とした。

入力装置５０３は、入力されたデジタルまたは文字情報を受信し、本実施例におけるテーブル認識方法を実現するための電子機器のユーザ設定及び機能制御に関連するキー信号の入力を生成することができる。例えば、タッチパネル、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つまたは複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置５０４は、表示装置、補助照明装置及び触覚フィードバック装置などを含むことができる。ここで、補助照明装置は、例えば、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）であり、触覚フィードバック装置は、例えば、振動モータなどである。該表示装置は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、ＬＥＤディスプレイ及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態において、表示装置はタッチパネルであってもよい。

ここに記載されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにより実現することができる。これらの様々な実施形態は、以下のことを含むことができる。１つまたは複数のコンピュータプログラムに実施され、該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステム上で実行及び／又は解釈されることができ、該プログラマブルプロセッサは、専用または汎用のプログラマブルプロセッサであってもよく、メモリシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び指令を受信し、データ及び指令を該メモリシステム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に送信することができる。

これらのコンピュータプログラムは、プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとも呼ばれ、プログラマブルプロセッサの機械命令を含み、且つ高度プロセスおよび／またはオブジェクト指向のプログラミング言語、および／またはアセンブリ言語／機械語により実装され得る。ここで、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械指令および／またはデータをプログラマブルプロセッサに供給するための任意のコンピュータプログラム、機器、および／または装置（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ，ＰＬＤ））を意味し、機械可読信号である機械命令を受信する機械可読媒体を含む。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに供給するための任意の信号を意味する。

ユーザとのやりとりを行うために、ここで記述するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが該キーボードおよび該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置もユーザとのやりとりを行うことに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力若しくは触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。

ここで記述したシステムおよび技術は、バックグラウンドコンポーネントを含む演算システム（例えば、データサーバ）に実施されてもよく、またはミドルウェアコンポーネントを含む演算システム（例えば、アプリケーションサーバ）に実施されてもよく、またはフロントエンドコンポーネントを含む演算システム（例えば、グラフィカルユーザインタフェースまたはウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインタフェースまたはウェブブラウザを介してここで記述したシステムおよび技術の実施形態とやりとりを行っていてもよく、またはこのようなバックグラウンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントのいずれかの組み合わせを含む演算システムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットなどを含む。

コンピュータシステムは、クライアント及びサーバを含むことができる。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント−サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。

本出願の実施例の技術案によれば、テーブルの検出により候補テーブル認識結果を得た後、候補テーブル認識結果のテーブルの特徴、即ち、合併特徴及び方向特徴を抽出し、抽出されたテーブルの特徴に基づいて候補テーブル認識結果に対して構造化結合処理を行い、合併対象行及び合併対象行の合併方向を取得し、さらに候補テーブル認識結果を調整し、最終的な対象テーブル認識結果を取得する。これにより、従来のテーブル認識方法による認識結果が不正確であるという問題点を解決し、テーブル認識の精度を向上させた。

なお、上述した様々な形態のフローを用いて、ステップを改めて並び替え、追加または削除を行うことができる。例えば、本出願に記載された各ステップは、本出願に開示された技術案の所望の結果が達成できる限り、並行して実行されてもよいし、順に実行されてもよいし、異なる順番で実行されてもよい。本明細書はここで制限しない。

上記具体的な実施形態は、本出願の保護範囲を限定するものではない。設計要件および他の要因に従って、様々な修正、組み合わせ、副次的な組み合わせ、および置換を行うことができることを当業者は理解すべきである。本出願の趣旨および原理を逸脱せずに行われたあらゆる修正、均等置換および改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (21)

1. 対象画像におけるテーブルを検出し、候補テーブル認識結果を得ることと、
   前記候補テーブル認識結果の合併特徴を抽出し、前記合併特徴に基づいて前記候補テーブル認識結果における合併対象行を確定することと、
   前記合併対象行の方向特徴を抽出し、前記方向特徴に基づいて前記合併対象行の合併方向を確定することと、
   前記合併対象行と前記合併対象行の合併方向とに基づいて、前記候補テーブル認識結果を調整し、対象テーブル認識結果を得ることと、を含むテーブル認識方法。
2. 前記合併特徴に基づいて前記候補テーブル認識結果における合併対象行を確定することは、
   予め訓練されたセル合併分類モデル及び前記合併特徴を用いて、前記候補テーブル認識結果における合併対象行を確定することを含む請求項１に記載のテーブル認識方法。
3. 前記方向特徴に基づいて前記合併対象行の合併方向を確定することは、
   予め訓練されたセル合併方向確定モデル及び前記方向特徴を用いて、前記合併対象行の合併方向を確定することを含み、
   前記合併方向は、下の行への合併方向及び上の行への合併方向を含む請求項１に記載のテーブル認識方法。
4. 前記合併特徴は、
   前記候補テーブル認識結果における各行の有効列数と前記候補テーブル認識結果における最大有効列数との差、前記候補テーブル認識結果における各行と前記候補テーブル認識結果におけるヘッダとの相対的な位置関係、前記候補テーブル認識結果における各行の文字領域に所定の区切り文字が含まれるか否か、及び前記候補テーブル認識結果における各行の文字領域に数値タイプのデータが含まれるか否か、のうちの少なくとも１つを含み、
   前記方向特徴は、
   前記合併対象行がサイドヘッダを含むか否か、前記合併対象行がサイドヘッダのみを含むか否か、前記合併対象行の文字領域に数値タイプのデータが含まれるか否か、前記合併対象行からそれに隣接する上の行の下罫線までの距離と、それに隣接する下の行の上罫線までの距離との比、前記合併対象行の文字領域と前記上の行の文字領域との幅の差、及び前記合併対象行の文字領域と前記下の行の文字領域との幅の差、のうちの少なくとも１つを含み、
   前記ヘッダとは、前記候補テーブル認識結果のうち、位置情報に基づいて確定された、有効列数が最大の行の最初のセルを指す、請求項１〜３のいずれか１項に記載のテーブル認識方法。
5. 前記の、対象画像におけるテーブルを検出し、候補テーブル認識結果を得ることは、
   前記対象画像におけるテーブルの外枠及び前記対象画像における文字領域を検出することと、
   前記テーブルの外枠と前記文字領域とに基づいて、前記対象画像におけるテーブルをグリッド分割し、候補テーブル認識結果を得ることと、を含む請求項１に記載のテーブル認識方法。
6. 前記テーブルの外枠と前記文字領域とに基づいて、前記対象画像におけるテーブルをグリッド分割し、候補テーブル認識結果を得ることは、
   前記テーブルの外枠と前記文字領域の位置情報とに基づいて、前記対象画像におけるテーブルの各行の領域範囲を確定することと、
   前記対象画像における行ごとに対応する文字領域の数に基づいて対象行を確定することと、
   前記対象行の行の長さと前記対象画像におけるテーブルの行方向の文字領域とに基づいて、前記対象画像におけるテーブルの各列の領域範囲を確定することと、
   前記各行の領域範囲と前記各列の領域範囲とに基づいて、前記対象画像におけるテーブルをグリッド分割し、候補テーブル認識結果を得ることと、を含む請求項５に記載のテーブル認識方法。
7. 前記対象行の行の長さと前記対象画像におけるテーブルの行方向の文字領域とに基づいて、前記対象画像におけるテーブルの各列の領域範囲を確定することは、
   前記対象行の行の長さと前記対象画像におけるテーブルの行方向の文字領域とに基づいて、前記対象画像におけるテーブルの各列の候補領域範囲を確定することと、
   前記各列の候補領域範囲に基づいて、文字領域を含まない空白列を検出することと、
   前記空白列の候補領域範囲を２列の対象領域に結合し、前記対象画像におけるテーブルの各列の対象領域範囲を取得することとを含み、前記２列の対象領域とは、前記空白列の異なる側にそれぞれ隣接して位置する列領域を指す請求項６に記載のテーブル認識方法。
8. 前記の、対象画像におけるテーブルの外枠を検出することは、
   事前設定されたニューラルネットワークモデルを用いて前記対象画像におけるテーブルの外枠を検出することを含み、
   前記事前設定されたニューラルネットワークモデルは、Ｙｏｌｏｖ３ネットワーク構造に所定数の畳み込み層を追加することによって実現される請求項５に記載のテーブル認識方法。
9. 前記の、対象画像におけるテーブルの外枠を検出するプロセスにおいて、前記対象画像におけるテーブルのテーブル名を検出することをさらに含み、
   前記対象画像におけるテーブルの外枠が検出された後、前記テーブル名の位置情報に応じて前記テーブルの外枠を調整することをさらに含む請求項５に記載のテーブル認識方法。
10. 対象画像におけるテーブルを検出し、候補テーブル認識結果を取得するための候補結果確定モジュールと、
    前記候補テーブル認識結果の合併特徴を抽出し、前記合併特徴に基づいて前記候補テーブル認識結果内の合併対象行を確定するように構成される合併対象行確定モジュールと、
    前記合併対象行の方向特徴を抽出し、前記方向特徴に基づいて前記合併対象行の合併方向を確定するように構成される合併方向確定モジュールと、
    前記合併対象行と前記合併対象行の合併方向とに基づいて、前記候補テーブル認識結果を調整し、対象テーブル認識結果を取得するように構成される対象結果確定モジュールと、を含むテーブル認識装置。
11. 前記合併対象行確定モジュールは、
    前記候補テーブル認識結果の合併特徴を抽出するように構成される合併特徴抽出ユニットと、
    予め訓練されたセル合併分類モデル及び前記合併特徴を用いて、前記候補テーブル認識結果における合併対象行を確定するように構成される合併対象行確定ユニットと、を含む請求項１０に記載のテーブル認識装置。
12. 前記合併方向確定モジュールは、
    前記合併対象行の方向特徴を抽出するように構成される方向特徴抽出ユニットと、
    予め訓練されたセル合併方向確定モデル及び前記方向特徴を用いて、前記合併対象行の合併方向を確定するように構成される合併方向確定ユニットと、を含み、
    前記合併方向は、下の行への合併方向及び上の行への合併方向を含む請求項１０に記載のテーブル認識装置。
13. 前記合併特徴は、
    前記候補テーブル認識結果における各行の有効列数と前記候補テーブル認識結果における最大有効列数との差、前記候補テーブル認識結果における各行と前記候補テーブル認識結果におけるヘッダとの相対的な位置関係、前記候補テーブル認識結果における各行の文字領域に所定の区切り文字が含まれるか否か、及び前記候補テーブル認識結果における各行の文字領域に数値タイプのデータが含まれるか否か、のうちの少なくとも１つを含み、
    前記方向特徴は、
    前記合併対象行がサイドヘッダを含むか否か、前記合併対象行がサイドヘッダのみを含むか否か、前記合併対象行の文字領域に数値タイプのデータが含まれるか否か、前記合併対象行からそれに隣接する上の行の下罫線までの距離と、それに隣接する下の行の上罫線までの距離との比、前記合併対象行の文字領域と前記上の行の文字領域との幅の差、及び前記合併対象行の文字領域と前記下の行の文字領域との幅の差、のうちの少なくとも１つを含み、
    前記ヘッダとは、前記候補テーブル認識結果のうち、位置情報に基づいて確定された、有効列数が最大の行の最初のセルを指す、請求項１０〜１２のいずれか１項に記載のテーブル認識装置。
14. 前記候補結果確定モジュールは、
    前記対象画像におけるテーブルの外枠及び前記対象画像における文字領域を検出するように構成される外枠・文字検出ユニットと、
    前記テーブルの外枠と前記文字領域とに基づいて、前記対象画像におけるテーブルをグリッド分割し、候補テーブル認識結果を得るように構成される候補結果確定ユニットと、を含む請求項１０に記載のテーブル認識装置。
15. 前記候補結果確定ユニットは、
    前記テーブルの外枠と前記文字領域の位置情報とに基づいて、前記対象画像におけるテーブルの各行の領域範囲を確定するように構成される行領域確定サブユニットと、
    前記対象画像における行ごとに対応する文字領域の数に基づいて対象行を確定するように構成される対象行確定サブユニットと、
    前記対象行の行の長さと前記対象画像におけるテーブルの行方向の文字領域とに基づいて、前記対象画像におけるテーブルの各列の領域範囲を確定するように構成される列領域確定サブユニットと、
    前記各行の領域範囲と前記各列の領域範囲とに基づいて、前記対象画像におけるテーブルをグリッド分割し、候補テーブル認識結果を得るように構成されるグリッド分割サブユニットと、を含む請求項１４に記載のテーブル認識装置。
16. 前記列領域確定サブユニットは、
    前記対象行の行の長さと前記対象画像におけるテーブルの行方向の文字領域とに基づいて、前記対象画像におけるテーブルの各列の候補領域範囲を確定するように構成される候補領域確定サブユニットと、
    前記各列の候補領域範囲に基づいて、文字領域を含まない空白列を検出するように構成される空白列検出サブユニットと、
    前記空白列の候補領域範囲を２列の対象領域に結合し、前記対象画像におけるテーブルの各列の対象領域範囲を取得するように構成される対象領域確定サブユニットであって、前記２列の対象領域とは、前記空白列の異なる側にそれぞれ隣接して位置する列領域を指す、対象領域確定サブユニットと、を含む請求項１５に記載のテーブル認識装置。
17. 前記外枠・文字検出ユニットは、
    前記対象画像におけるテーブルの外枠を検出するように構成されるテーブル外枠検出サブユニットと、
    前記対象画像における文字領域を検出するように構成される文字領域検出サブユニットと、を含み、
    前記テーブル外枠検出サブユニットは、
    事前設定されたニューラルネットワークモデルを用いて前記対象画像におけるテーブルの外枠を検出するように構成され、
    前記事前設定されたニューラルネットワークモデルは、Ｙｏｌｏｖ３ネットワーク構造に所定数の畳み込み層を追加することによって実現される請求項１４に記載のテーブル認識装置。
18. 前記候補結果確定モジュールは、
    前記対象画像におけるテーブルのテーブル名を検出するように構成されるテーブル名検出ユニットと、
    前記外枠・文字検出ユニットが前記対象画像におけるテーブルの外枠を検出した後、前記テーブル名の位置情報に応じて前記テーブルの外枠を調整するように構成される外枠調整ユニットと、をさらに含む請求項１４に記載のテーブル認識装置。
19. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、
    前記メモリには、前記少なくとも１つのプロセッサにより実行可能な指令が格納されており、前記指令が前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１〜９のいずれか１項に記載のテーブル認識方法を実現させる、電子機器。
20. コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、
    前記コンピュータ指令は、請求項１〜９のいずれか１項に記載のテーブル認識方法を前記コンピュータに実行させる非一時的コンピュータ可読記憶媒体。
21. プロセッサにより実行されると、請求項１〜９のいずれか１項に記載のテーブル認識方法を実現する、コンピュータプログラム。
    
    
    

Images