JP2022175285A

JP2022175285A - 表データ生成システム、表データ生成プログラムおよびオブジェクト検出器生成方法

Info

Publication number: JP2022175285A
Application number: JP2021081551A
Authority: JP
Inventors: 博幸原; Hiroyuki Hara
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2021-05-13
Filing date: 2021-05-13
Publication date: 2022-11-25

Abstract

【課題】利用者の負担を低減することができる表データ生成システム、表データ生成プログラムおよびオブジェクト検出器生成方法を提供する。【解決手段】情報処理システムは、画像データによって示される画像から、罫線が無い表としての仮想罫線表の領域としての仮想罫線表領域を、学習済みのオブジェクト検出器によって検出し（Ｓ１０２）、検出した仮想罫線表領域の画像から表データを生成する（Ｓ１０３～Ｓ１０５）ことを特徴とする。【選択図】図２

Description

本発明は、画像データから表データを生成する表データ生成システム、表データ生成プログラムおよびオブジェクト検出器生成方法に関する。

従来の表データ生成システムとして、罫線が無い表（以下「仮想罫線表」という。）の領域（以下「仮想罫線表領域」という。）を帳票の画像から検出するものが知られている（例えば、特許文献１参照。）。この表データ生成システムにおいては、文字列を含む矩形領域（以下「ボックス」という。）の配置が特定の規則を満たす領域を仮想罫線表領域として検出する。

特開２００６－１７８８０２号公報

しかしながら、従来の表データ生成システムにおいては、帳票の種類に応じて適切な規則が利用者によって生成される必要があるので、利用者の負担が大きいという問題がある。

そこで、本発明は、利用者の負担を低減することができる表データ生成システム、表データ生成プログラムおよびオブジェクト検出器生成方法を提供することを目的とする。

本発明の表データ生成システムは、画像データによって示される画像から、罫線が無い表としての仮想罫線表の領域としての仮想罫線表領域を、学習済みのオブジェクト検出器によって検出する仮想罫線表領域検出部と、前記仮想罫線表領域検出部によって検出された前記仮想罫線表領域の画像から表データを生成する表データ生成部とを備えることを特徴とする。

この構成により、本発明の表データ生成システムは、画像データによって示される画像から仮想罫線表領域を、学習済みのオブジェクト検出器によって自動で検出するので、利用者の負担を低減することができる。

本発明の表データ生成システムは、複数のページに跨って存在する、連続する複数の前記仮想罫線表の前記表データを統合して１つの表の前記表データを生成する表統合部を備えても良い。

この構成により、本発明の表データ生成システムは、複数のページに跨って存在する、連続する複数の仮想罫線表の表データを統合して１つの表の表データを生成するので、利便性を向上することができる。

本発明の表データ生成システムにおいて、前記表データ生成部は、前記仮想罫線表領域の画像に罫線を、学習済みの画像生成モデルによって付加し、罫線が付加された画像に基づいて、前記仮想罫線表の各セルの位置およびサイズを算出しても良い。

この構成により、本発明の表データ生成システムは、仮想罫線表領域の画像に罫線を、学習済みの画像生成モデルによって自動で付加し、罫線が付加された画像に基づいて、仮想罫線表の各セルの位置およびサイズを算出するので、利便性を向上することができる。

本発明の表データ生成システムにおいて、前記表データ生成部は、前記仮想罫線表の１行目の画像と、前記仮想罫線表の１列目の画像とのみに前記画像生成モデルによって罫線を付加し、罫線が付加された１行目の画像と、罫線が付加された１列目の画像とに基づいて、前記仮想罫線表の各セルの位置およびサイズを算出しても良い。

この構成により、本発明の表データ生成システムは、仮想罫線表の１行目の画像と、仮想罫線表の１列目の画像とのみに画像生成モデルによって罫線を付加し、罫線が付加された１行目の画像と、罫線が付加された１列目の画像とに基づいて、仮想罫線表の各セルの位置およびサイズを算出するので、画像生成モデルによる罫線の付加の精度を特定の精度以上にするために必要な学習データの数量を低減することができる。

本発明の表データ生成システムにおいて、前記仮想罫線表領域は、文字列を含む矩形領域としてのボックスが特定されることが可能であり、前記表データ生成部は、前記仮想罫線表の１行目に所属する前記ボックスと、前記仮想罫線表の１列目に所属する前記ボックスとを、学習済みの機械分類器によって検出し、１行目に所属する前記ボックスの位置およびサイズに基づいて１行目の画像を抽出し、１列目に所属する前記ボックスの位置およびサイズに基づいて１列目の画像を抽出しても良い。

この構成により、本発明の表データ生成システムは、仮想罫線表の１行目に所属するボックスと、仮想罫線表の１列目に所属するボックスとを、学習済みの機械分類器によって自動で検出し、１行目に所属するボックスの位置およびサイズに基づいて１行目の画像を抽出し、１列目に所属するボックスの位置およびサイズに基づいて１列目の画像を抽出するので、利便性を向上することができる。

本発明の表データ生成プログラムは、画像データによって示される画像から、罫線が無い表としての仮想罫線表の領域としての仮想罫線表領域を、学習済みのオブジェクト検出器によって検出する仮想罫線表領域検出部と、前記仮想罫線表領域検出部によって検出された前記仮想罫線表領域の画像から表データを生成する表データ生成部とをコンピューターに実現させることを特徴とする。

この構成により、本発明の表データ生成プログラムを実行するコンピューターは、画像データによって示される画像から仮想罫線表領域を、学習済みのオブジェクト検出器によって自動で検出するので、利用者の負担を低減することができる。

本発明のオブジェクト検出器生成方法は、画像データによって示される画像から、罫線が無い表としての仮想罫線表の領域としての仮想罫線表領域を検出するためのオブジェクト検出器を、転移学習によって生成することを特徴とする。

この構成により、本発明のオブジェクト検出器生成方法は、画像データによって示される画像から仮想罫線表領域を検出するためのオブジェクト検出器を、転移学習によって生成するので、オブジェクト検出器による検出の精度を特定の精度以上にするために必要な学習データの数量を低減することができる。

本発明の表データ生成システム、表データ生成プログラムおよびオブジェクト検出器生成方法は、利用者の負担を低減することができる。

１台のコンピューターによって構成される場合の本発明の一実施の形態に係る情報処理システムのブロック図である。画像データから表データを生成する場合の図１に示す情報処理システムの動作のフローチャートである。（ａ）図１に示すオブジェクト検出器によって仮想罫線表領域を検出する対象のページの画像の一例を示す図である。（ｂ）図３（ａ）に示す画像からオブジェクト検出器によって検出された仮想罫線表領域の一例を示す図である。図２に示す表データ生成処理のフローチャートである。図４に示す表データ生成処理の対象の仮想罫線表領域の画像から生成された文字列の画像の一例を示す図である。図４に示す表データ生成処理において特定されたボックスの一例を示す図である。（ａ）図４に示す表データ生成処理において特定されたボックスの、図６に示す例とは異なる一例を示す図である。（ｂ）図７（ａ）に示すボックスのうち、１行目に所属するボックスの一例を示す図である。（ｃ）図７（ａ）に示すボックスのうち、１列目に所属するボックスの一例を示す図である。（ａ）図４に示す表データ生成処理において抽出された、１行目の画像の一例を示す図である。（ｂ）図８（ａ）に示す画像に対して罫線が付加された画像の一例を示す図である。（ａ）図４に示す表データ生成処理において抽出された、１列目の画像の一例を示す図である。（ｂ）図９（ａ）に示す画像に対して罫線が付加された画像の一例を示す図である。図４に示す表データ生成処理において生成された表データによって示される表の一例を示す図である。（ａ）２回の、図４に示す表データ生成処理によって生成された２つの表の一例を示す図である。（ｂ）図１１（ａ）に示す２つの表が１つに統合された表を示す図である。本発明の一実施の形態に係るオブジェクト検出器生成方法のフローチャートである。（ａ）～（ｄ）図１２に示すオブジェクト検出器生成方法によって使用される、それぞれ「表１」というラベル名でラベル付けされた画像データの例を示す図である。図１４（ａ）～（ｅ）図１２に示すオブジェクト検出器生成方法によって使用される、それぞれ「表２」というラベル名でラベル付けされた画像データの例を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。

まず、本発明の一実施の形態に係る情報処理システムの構成について説明する。

本実施の形態に係る情報処理システムは、例えばＭＦＰ（ＭｕｌｔｉｆｕｎｃｔｉｏｎＰｅｒｉｐｈｅｒａｌ）などの画像形成装置、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）などのような１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

図１は、１台のコンピューターによって構成される場合の本実施の形態に係る情報処理システム１０のブロック図である。

図１に示すように、情報処理システム１０は、種々の操作が入力される例えばキーボード、マウスなどの操作デバイスである操作部１１と、種々の情報を表示する例えばＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）などの表示デバイスである表示部１２と、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部１３と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部１４と、情報処理システム１０全体を制御する制御部１５とを備えている。

記憶部１４は、画像データから表データを生成するための表データ生成プログラム１４ａを記憶している。表データ生成プログラム１４ａは、例えば、情報処理システム１０の製造段階で情報処理システム１０にインストールされていても良いし、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリーなどの外部の記憶媒体から情報処理システム１０に追加でインストールされても良いし、ネットワーク上から情報処理システム１０に追加でインストールされても良い。

記憶部１４は、画像データによって示される画像から仮想罫線表領域を検出するためのオブジェクト検出器１４ｂを記憶している。オブジェクト検出器１４ｂは、例えば、ＹＯＬＯ（ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ）ｖ２などによって構成される。オブジェクト検出器１４ｂは、多数の学習データを使用して学習済みである。

仮想罫線表領域は、後述するように、文字列を含む矩形領域（以下「ボックス」という。）が複数特定されることが可能である。記憶部１４は、仮想罫線表領域における全てのボックスのうち、仮想罫線表領域に含まれる仮想罫線表の１行目に所属するボックスと、この仮想罫線表の１列目に所属するボックスとを検出するための機械分類器１４ｃを記憶している。機械分類器１４ｃは、仮想罫線表領域における全てのボックスの位置およびサイズが入力されることによって、この仮想罫線表領域に含まれる仮想罫線表の１行目に所属するボックスと、この仮想罫線表の１列目に所属するボックスとを検出することができる。ここで、ボックスの位置とは、例えば、このボックスの左上端の点の左右方向における位置と、この点の上下方向における位置との組み合わせである。また、ボックスのサイズとは、このボックスの左右方向における長さ、すなわち、幅と、このボックスの上下方向における長さ、すなわち、高さとの組み合わせである。機械分類器１４ｃは、例えば、ＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）などによって構成される。機械分類器１４ｃは、多数の学習データを使用して学習済みである。

記憶部１４は、画像に罫線を付加するための画像生成モデルとしての罫線付加モデル１４ｄを記憶している。罫線付加モデル１４ｄは、例えば、ｐｉｘ２ｐｉｘ（ＧＡＮ（ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋｓ））などによって構成される。罫線付加モデル１４ｄは、多数の学習データを使用して学習済みである。

制御部１５は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）と、制御部１５のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）とを備えている。制御部１５のＣＰＵは、記憶部１４または制御部１５のＲＯＭに記憶されているプログラムを実行する。

制御部１５は、表データ生成プログラム１４ａを実行することによって、仮想罫線表領域を検出する仮想罫線表領域検出部１５ａと、表データを生成する表データ生成部１５ｂと、複数の仮想罫線表の表データを統合して１つの表の表データを生成する表統合部１５ｃとを実現する。すなわち、情報処理システム１０は、本発明の表データ生成システムを構成している。

次に、画像データから表データを生成する場合の情報処理システム１０の動作について説明する。

図２は、画像データから表データを生成する場合の情報処理システム１０の動作のフローチャートである。

情報処理システム１０は、画像データからの表データの生成の指示（以下「表データ生成指示」という。）が入力されると、図２に示す動作を実行する。ここで、表データ生成指示には、対象の画像データ（以下「対象画像データ」という。）が含まれている。対象画像データは、例えば、紙帳票がスキャナーによって読み取られて生成された画像データでも良い。

図２に示すように、仮想罫線表領域検出部１５ａは、対象画像データによって示される画像の最初のページを対象にする（Ｓ１０１）。

仮想罫線表領域検出部１５ａは、現在の対象のページの画像から仮想罫線表領域をオブジェクト検出器１４ｂによって検出する（Ｓ１０２）。

図３（ａ）は、オブジェクト検出器１４ｂによって仮想罫線表領域を検出する対象のページの画像の一例を示す図である。図３（ｂ）は、図３（ａ）に示す画像からオブジェクト検出器１４ｂによって検出された仮想罫線表領域の一例を示す図である。

仮想罫線表領域検出部１５ａは、Ｓ１０１において対象にしたページの画像が図３（ａ）に示す画像である場合、図３（ｂ）に示す仮想罫線表領域をＳ１０２において検出する。

図２に示すように、表データ生成部１５ｂは、Ｓ１０２の処理の後、現在の対象のページの画像からＳ１０２において検出した仮想罫線表領域のうち、未だ対象にしていない１つの仮想罫線表領域を対象にする（Ｓ１０３）。

次いで、表データ生成部１５ｂは、現在の対象の仮想罫線表領域の画像から表データを生成する表データ生成処理を実行する（Ｓ１０４）。

図４は、図２に示す表データ生成処理のフローチャートである。

図４に示すように、表データ生成部１５ｂは、現在の対象の仮想罫線表領域の画像に例えばガウス平滑化フィルターなどのフィルターを掛けて文字列の画像を生成する（Ｓ１２１）。すなわち、表データ生成部１５ｂは、現在の対象の仮想罫線表領域の画像のうち、文字列以外のノイズを除去する。

図５は、図４に示す表データ生成処理の対象の仮想罫線表領域の画像から生成された文字列の画像の一例を示す図である。

表データ生成部１５ｂは、現在の対象の仮想罫線表領域の画像が図３（ｂ）に示す画像である場合、図５に示す画像をＳ１２１において生成する。

図４に示すように、表データ生成部１５ｂは、Ｓ１２１の処理の後、Ｓ１２１において生成した画像において、文字列を含む最小の矩形領域を、特定の規則に基づいてボックスとして特定する（Ｓ１２２）。

図６は、Ｓ１２２において特定されたボックスの一例を示す図である。

表データ生成部１５ｂは、Ｓ１２１において生成した画像が図５に示す画像である場合、図６に示すボックスをＳ１２２において特定する。

図４に示すように、表データ生成部１５ｂは、Ｓ１２２の処理の後、Ｓ１２２において特定したボックス毎に、ボックスの位置およびサイズを取得する（Ｓ１２３）。

表データ生成部１５ｂは、Ｓ１２３の処理の後、Ｓ１２２において特定したボックス毎に、ＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ）を掛けて文字列を取得する（Ｓ１２４）。

表データ生成部１５ｂは、Ｓ１２４の処理の後、Ｓ１２３において取得した、全てのボックスの位置およびサイズを機械分類器１４ｃに入力することによって、仮想罫線表の１行目に所属するボックスと、仮想罫線表の１列目に所属するボックスとを検出する（Ｓ１２５）。

図７（ａ）は、Ｓ１２２において特定されたボックスの、図６に示す例とは異なる一例を示す図である。図７（ｂ）は、図７（ａ）に示すボックスのうち、１行目に所属するボックスの一例を示す図である。図７（ｃ）は、図７（ａ）に示すボックスのうち、１列目に所属するボックスの一例を示す図である。

表データ生成部１５ｂは、Ｓ１２２において特定されたボックスが図７（ａ）に示すボックスである場合、１行目に所属するボックスとして図７（ｂ）に示すボックスをＳ１２５において検出するとともに、１列目に所属するボックスとして図７（ｃ）に示すボックスをＳ１２５において検出する。

図４に示すように、表データ生成部１５ｂは、Ｓ１２５の処理の後、現在の対象の仮想罫線表領域の画像から、Ｓ１２５において検出した、１行目に所属するボックスの位置およびサイズに基づいて、１行目の高さで画像を抽出する（Ｓ１２６）。すなわち、表データ生成部１５ｂは、１行目の画像を抽出する。

表データ生成部１５ｂは、Ｓ１２６の処理の後、Ｓ１２６において抽出した、１行目の画像に対して、罫線付加モデル１４ｄを使用して、罫線を付加する（Ｓ１２７）。

図８（ａ）は、Ｓ１２６において抽出された、１行目の画像の一例を示す図である。図８（ｂ）は、図８（ａ）に示す画像に対して罫線が付加された画像の一例を示す図である。

表データ生成部１５ｂは、Ｓ１２５において検出した、１行目に所属するボックスが図７（ｂ）に示すボックスである場合、図８（ａ）に示す画像をＳ１２６において抽出し、図８（ｂ）に示す罫線をＳ１２７において付加する。

図４に示すように、表データ生成部１５ｂは、Ｓ１２７の処理の後、現在の対象の仮想罫線表領域の画像から、Ｓ１２５において検出した、１列目に所属するボックスの位置およびサイズに基づいて、１列目の幅で画像を抽出する（Ｓ１２８）。すなわち、表データ生成部１５ｂは、１列目の画像を抽出する。

表データ生成部１５ｂは、Ｓ１２８の処理の後、Ｓ１２８において抽出した、１列目の画像に対して、罫線付加モデル１４ｄを使用して、罫線を付加する（Ｓ１２９）。

図９（ａ）は、Ｓ１２８において抽出された、１列目の画像の一例を示す図である。図９（ｂ）は、図９（ａ）に示す画像に対して罫線が付加された画像の一例を示す図である。

表データ生成部１５ｂは、Ｓ１２５において検出した、１列目に所属するボックスが図７（ｃ）に示すボックスである場合、図９（ａ）に示す画像をＳ１２８において抽出し、図９（ｂ）に示す罫線をＳ１２９において付加する。

図４に示すように、表データ生成部１５ｂは、Ｓ１２９の処理の後、Ｓ１２７において罫線が付加された１行目の画像から、仮想罫線表の１行目の各セルの位置およびサイズを算出する（Ｓ１３０）。ここで、セルの位置とは、例えば、このセルの左上端の点の左右方向における位置と、この点の上下方向における位置との組み合わせである。また、セルのサイズとは、このセルの幅および高さの組み合わせである。

表データ生成部１５ｂは、Ｓ１３０の処理の後、Ｓ１２９において罫線が付加された１列目の画像から、仮想罫線表の１列目の各セルの位置およびサイズを算出する（Ｓ１３１）。

表データ生成部１５ｂは、Ｓ１３１の処理の後、Ｓ１３０において算出した、１行目の各セルの位置およびサイズと、Ｓ１３１において算出した、１列目の各セルの位置およびサイズとに基づいて、仮想罫線表の全てのセルの位置およびサイズを算出する（Ｓ１３２）。すなわち、表データ生成部１５ｂは、１行目の各列の幅を仮想罫線表の各列の幅とし、１列目の各行の高さを仮想罫線表の各行の高さとすることによって、仮想罫線表の全てのセルの位置およびサイズを算出する。

表データ生成部１５ｂは、Ｓ１３２の処理の後、Ｓ１２３において取得した、各ボックスの位置およびサイズと、Ｓ１３２において算出した、各セルの位置およびサイズとに基づいて、Ｓ１２４において取得した、各ボックスの文字列を、仮想罫線表において該当するセルに振り分けることによって、表データを生成する（Ｓ１３３）。ここで、表データのフォーマットは、例えばＣＳＶ（Ｃｏｍｍａ－ＳｅｐａｒａｔｅｄＶａｌｕｅｓ）、ＸＭＬ（ＥｘｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）、Ｅｘｃｅｌ（登録商標）など、後続の処理フローにおいて必要なフォーマットでも良い。ここで、後続の処理フローは、例えば、ＥＲＰ（ＥｎｔｅｒｐｒｉｓｅＲｅｓｏｕｒｃｅＰｌａｎｎｉｎｇ）、ＥＣＭ（ＥｎｔｅｒｐｒｉｓｅＣｏｎｔｅｎｔＭａｎａｇｅｍｅｎｔ）などでも良い。

図１０は、Ｓ１３３において生成された表データによって示される表の一例を示す図である。

表データ生成部１５ｂは、Ｓ１２２において特定されたボックスが図７（ａ）に示すものである場合、図１０に示す表をＳ１３３において生成する。

図４に示すように、表データ生成部１５ｂは、Ｓ１３３の処理の後、図４に示す表データ生成処理を終了する。

図２に示すように、表データ生成部１５ｂは、Ｓ１０４の表データ生成処理の後、現在の対象のページの画像からＳ１０２において検出した仮想罫線表領域のうち、未だ対象にしていない仮想罫線表領域が存在するか否かを判断する（Ｓ１０５）。

表データ生成部１５ｂは、現在の対象のページの画像からＳ１０２において検出した仮想罫線表領域のうち、未だ対象にしていない仮想罫線表領域が存在するとＳ１０５において判断すると、Ｓ１０３の処理を実行する。

仮想罫線表領域検出部１５ａは、現在の対象のページの画像からＳ１０２において検出した仮想罫線表領域のうち、未だ対象にしていない仮想罫線表領域が存在しないとＳ１０５において判断されると、現在の対象のページが、対象画像データによって示される画像の最後のページであるか否かを判断する（Ｓ１０６）。

仮想罫線表領域検出部１５ａは、現在の対象のページが、対象画像データによって示される画像の最後のページではないとＳ１０６において判断すると、対象画像データによって示される画像のページのうち、現在の対象のページの次のページを新たな対象にして（Ｓ１０７）、Ｓ１０２の処理を実行する。

表統合部１５ｃは、現在の対象のページが、対象画像データによって示される画像の最後のページであるとＳ１０６において判断されると、連続する複数の仮想罫線表が複数のページに跨って存在するか否かを判断する（Ｓ１０８）。ここで、表データ生成部１５ｂは、互いの間に他の表が存在せず、互いの列数が同一である仮想罫線表の組を、互いに連続する仮想罫線表の組として判断する。

表統合部１５ｃは、連続する複数の仮想罫線表が複数のページに跨って存在するとＳ１０８において判断すると、複数のページに跨って存在する、連続する複数の仮想罫線表の表データを統合して１つの表の表データを生成する（Ｓ１０９）。ここで、表データ生成部１５ｂは、連続する複数の仮想罫線表のそれぞれにおいて対応する列同士を連結することによって、連続する複数の仮想罫線表の表データを統合して１つの表の表データを生成する。

図１１（ａ）は、２回の表データ生成処理によって生成された２つの表の一例を示す図である。図１１（ｂ）は、図１１（ａ）に示す２つの表が１つに統合された表を示す図である。

図１１（ａ）に示す２つの表が、２枚のページに跨って存在した、連続する２つの仮想罫線表からそれぞれ生成されたものである場合、表データ生成部１５ｂは、Ｓ１０９において、図１１（ａ）に示す２つの表を１つに統合することによって、図１１（ｂ）に示す表を生成する。

図２に示すように、表データ生成部１５ｂは、連続する複数の仮想罫線表が複数のページに跨って存在しないとＳ１０８において判断されるか、Ｓ１０９の処理が実行すると、今回の図２に示す動作において生成した表データを後続の処理フローに出力して（Ｓ１１０）、図２に示す動作を終了する。

次に、オブジェクト検出器生成方法について説明する。

図１２は、本実施の形態に係るオブジェクト検出器生成方法のフローチャートである。

図１２に示すように、オブジェクト検出器１４ｂの生成の作業者は、まず、画像データに対して、ラベル付けするとともに、仮想罫線表領域を指定することによって、学習データを作成する（Ｓ１４１）。

図１３（ａ）～（ｄ）は、それぞれ「表１」というラベル名でラベル付けされた画像データの例を示す図である。図１４（ａ）～（ｅ）は、それぞれ「表２」というラベル名でラベル付けされた画像データの例を示す図である。

作業者は、Ｓ１４１において、図１３（ａ）～（ｄ）および図１４（ａ）～（ｅ）に示すように画像データに対して仮想罫線表領域２０を指定する。なお、図１３（ｄ）に示す画像データは、連続する複数の仮想罫線表が複数のページに跨って存在するものである。また、図１４（ａ）に示す画像データは、１つのページに複数の仮想罫線表が存在するものである。

図１２に示すように、作業者は、Ｓ１４１の工程の後、事前学習済みのオブジェクト検出器を用意する（Ｓ１４２）。Ｓ１４２において用意されるオブジェクト検出器は、仮想罫線表領域を画像から検出するためのものでなくて良い。Ｓ１４２において用意されるオブジェクト検出器は、例えば、１００万個の学習データによって学習された、１０００種類のオブジェクトを画像から検出するためのものである。

作業者は、Ｓ１４２の工程の後、Ｓ１４２において用意したオブジェクト検出器における最終層を、１０種類程度の少ない種類のオブジェクトを検出可能なものに交換する（Ｓ１４３）。

作業者は、Ｓ１４３の工程の後、Ｓ１４３において生成したオブジェクト検出器に、Ｓ１４１において作成した学習データを学習させることによって、オブジェクト検出器１４ｂを生成する（Ｓ１４４）。

作業者は、テスト用の画像データを使用して、Ｓ１４４において生成したオブジェクト検出器１４ｂをテストしても良い。作業者は、オブジェクト検出器１４ｂのテストにおいて自動で予測された精度が好ましくない場合や、オブジェクト検出器１４ｂのテストの結果の人間による評価が好ましくない場合、使用する学習データの数量を増やしたり、学習時のパラメーターを変更したりして再度学習させることができる。また、作業者は、オブジェクト検出器１４ｂの学習時に、過学習気味であることが判明した場合に、使用する学習データの数量を減らすこともできる。

なお、Ｓ１４１の工程は、Ｓ１４４の工程より前であれば、いつ実行されても良い。

以上に説明したように、情報処理システム１０は、画像データによって示される画像から仮想罫線表領域を、学習済みのオブジェクト検出器によって自動で検出する（Ｓ１０２）ので、利用者の負担を低減することができる。

情報処理システム１０は、複数のページに跨って存在する、連続する複数の仮想罫線表の表データを統合して１つの表の表データを生成する（Ｓ１０９）ので、利便性を向上することができる。

情報処理システム１０は、仮想罫線表領域の画像に罫線を、学習済みの罫線付加モデル１４ｄによって自動で付加し（Ｓ１２７およびＳ１２９）、罫線が付加された画像に基づいて、仮想罫線表の各セルの位置およびサイズを算出する（Ｓ１３０～Ｓ１３２）ので、利便性を向上することができる。

情報処理システム１０は、仮想罫線表の１行目の画像と、仮想罫線表の１列目の画像とのみに罫線付加モデル１４ｄによって罫線を付加し（Ｓ１２７およびＳ１２９）、罫線が付加された１行目の画像と、罫線が付加された１列目の画像とに基づいて、仮想罫線表の各セルの位置およびサイズを算出する（Ｓ１３０～Ｓ１３２）ので、罫線付加モデル１４ｄによる罫線の付加の精度を特定の精度以上にするために必要な学習データの数量を低減することができる。したがって、情報処理システム１０は、例えば、コストを大幅に削減することができる。

情報処理システム１０は、仮想罫線表の１行目に所属するボックスと、仮想罫線表の１列目に所属するボックスとを、学習済みの機械分類器１４ｃによって自動で検出し（Ｓ１２５）、１行目に所属するボックスの位置およびサイズに基づいて１行目の画像を抽出し（Ｓ１２６）、１列目に所属するボックスの位置およびサイズに基づいて１列目の画像を抽出する（Ｓ１２８）ので、利便性を向上することができる。

本実施の形態に係るオブジェクト検出器生成方法は、画像データによって示される画像から仮想罫線表領域を検出するためのオブジェクト検出器１４ｂを、転移学習によって生成する（Ｓ１４２～Ｓ１４４）ので、オブジェクト検出器１４ｂによる検出の精度を特定の精度以上にするために必要な学習データの数量を低減することができる。例えば、Ｓ１４４における学習に必要な学習データの数量は、１００個程度でも良い。したがって、情報処理システム１０は、例えば、コストを大幅に削減することができる。

１０情報処理システム（表データ生成システム、コンピューター）
１４ａ表データ生成プログラム
１４ｂオブジェクト検出器
１４ｃ機械分類器
１４ｄ罫線付加モデル（画像生成モデル）
１５ａ仮想罫線表領域検出部
１５ｂ表データ生成部
１５ｃ表統合部
２０仮想罫線表領域

Claims

画像データによって示される画像から、罫線が無い表としての仮想罫線表の領域としての仮想罫線表領域を、学習済みのオブジェクト検出器によって検出する仮想罫線表領域検出部と、
前記仮想罫線表領域検出部によって検出された前記仮想罫線表領域の画像から表データを生成する表データ生成部と
を備えることを特徴とする表データ生成システム。
複数のページに跨って存在する、連続する複数の前記仮想罫線表の前記表データを統合して１つの表の前記表データを生成する表統合部を備えることを特徴とする請求項１に記載の表データ生成システム。
前記表データ生成部は、前記仮想罫線表領域の画像に罫線を、学習済みの画像生成モデルによって付加し、罫線が付加された画像に基づいて、前記仮想罫線表の各セルの位置およびサイズを算出することを特徴とする請求項１または請求項２に記載の表データ生成システム。
前記表データ生成部は、前記仮想罫線表の１行目の画像と、前記仮想罫線表の１列目の画像とのみに前記画像生成モデルによって罫線を付加し、罫線が付加された１行目の画像と、罫線が付加された１列目の画像とに基づいて、前記仮想罫線表の各セルの位置およびサイズを算出することを特徴とする請求項３に記載の表データ生成システム。
前記仮想罫線表領域は、文字列を含む矩形領域としてのボックスが特定されることが可能であり、
前記表データ生成部は、前記仮想罫線表の１行目に所属する前記ボックスと、前記仮想罫線表の１列目に所属する前記ボックスとを、学習済みの機械分類器によって検出し、１行目に所属する前記ボックスの位置およびサイズに基づいて１行目の画像を抽出し、１列目に所属する前記ボックスの位置およびサイズに基づいて１列目の画像を抽出することを特徴とする請求項４に記載の表データ生成システム。
画像データによって示される画像から、罫線が無い表としての仮想罫線表の領域としての仮想罫線表領域を、学習済みのオブジェクト検出器によって検出する仮想罫線表領域検出部と、
前記仮想罫線表領域検出部によって検出された前記仮想罫線表領域の画像から表データを生成する表データ生成部と
をコンピューターに実現させることを特徴とする表データ生成プログラム。
画像データによって示される画像から、罫線が無い表としての仮想罫線表の領域としての仮想罫線表領域を検出するためのオブジェクト検出器を、転移学習によって生成することを特徴とするオブジェクト検出器生成方法。