JP2021013149A - 画像処理システム、画像処理装置とその制御方法、及びプログラム - Google Patents

Abstract

【課題】受信側の装置では、受信した全ての文書画像データに対して共通の画像処理を実行しているため、受信した文書画像データに対して、必要な画像処理と不要な画像処理の両方を実行することになる。【解決手段】第１の画像処理装置と第２の画像処理装置とを有する画像処理システムであって、第１の画像処理装置は、画像データを取得し、その取得した画像データと、当該画像データに関する情報を前記第２の画像処理装置に送信する。第２の画像処理装置は、処理対象の画像データかどうかを判定するための条件を設定しておき、第１の画像処理装置から受信した画像データが、処理対象の画像データであるか否かを、前記条件と前記情報とに基づいて判定し、処理対象の画像データと判定されると、当該画像データに対して前記情報に基づく画像処理を実行し、その画像処理が実行された結果を保存する。【選択図】 図８

Description

本発明は、画像処理システム、画像処理装置とその制御方法、及びプログラムに関する。

従来、受発注業務や申込審査業務を行う企業などの組織は、必要な情報を迅速かつ確実に伝達するために、見積書、注文書、申込書などの帳票書類を使用し、郵送、電子メール、ＦＡＸ（ファクシミリ）等を利用して送信している。このうち、特に、ＦＡＸは、多くの国と地域で通信網が整備されている上に、他の情報伝達手段と比べて即時性と確実性が高いことから、有用な情報伝達手段として広く活用されている。

一般に、このような業務を行う企業の担当者は、帳票書類に記載された情報を、その企業が備える所定の業務システムに入力する必要がある。その際、担当者は、その帳票書類に含まれる所定項目の記載内容を目視で確認しながら、手動で必要なデータを入力している。近年では、このデータ入力を効率化するために、ＦＡＸやスキャンで取得した文書画像データに対してＯＣＲ処理（文字認識処理）を適用し、それにより得られた文字列のデータを業務システムに自動で入力する取り組みがなされている。更に、このＯＣＲ処理そのものを効率化するために、処理対象の文書画像データを予め選別する技術も知られている。特許文献１は、第１の装置で帳票認識した特定書類の文書画像データのみを第２の装置に送信し、第２の装置で特定書類の文書画像データのみに対してＯＣＲ処理を適用することで、ＯＣＲ処理効率を高める技術を記載している。

特開２０１８−４２０６７号公報

しかしながら、特許文献１に記載の技術は、送信側の装置で、特定書類を予め選別して送信し、受信側の装置では、受信した全ての文書画像データに対して共通の画像処理を実行している。このため受信側の装置では、受信した文書画像データに対して、必要な画像処理と不要な画像処理の両方を実行する場合があった。即ち、例えば、送信側の装置で取得した文書画像データは、解像度の低下や圧縮ノイズなどの異なる劣化要因を有している。しかしながら受信側の装置では、これらを補正するための画像データの復元の要否を判断できないため、その要否を考慮することなく、共通の画像処理を実行していた。

また、送信側の複数の装置（ＭＦＰ）と単一の装置（サーバ）とが接続されたシステムでは、送信側の複数の装置に特定の書類を選別できない装置が含まれる場合がある。そのような場合、受信側のサーバでは、複数の装置から受信した情報から、特定の情報を抽出する必要があるか否か判断できないため、そのような要否を考慮せずに共通の画像処理を実行することになる。

本発明の目的は、上記従来技術の問題点の少なくとも一つを解決することにある。

本発明の目的は、受信側の装置で、画像データに対する画像処理を効率的に実行できる技術を提供することにある。

上記目的を達成するために本発明の一態様に係る画像処理システムは以下のような構成を備える。即ち、
第１の画像処理装置と第２の画像処理装置とを有する画像処理システムであって、
前記第１の画像処理装置は、
画像データを取得する取得手段と、
前記取得手段により取得された画像データと、当該画像データに関する情報を前記第２の画像処理装置に送信する送信手段と、を有し、
前記第２の画像処理装置は、
前記画像データを受信する受信手段と、
処理対象の画像データかどうかを判定するための条件を設定する手段と、
前記受信した画像データが、前記処理対象の画像データであるか否かを、前記条件と前記情報とに基づいて判定する判定手段と、
前記判定手段により処理対象の画像データと判定されると、当該画像データに対して前記情報に基づく画像処理を実行する実行手段と、
前記実行手段により画像処理が実行された結果を保存する保存手段と、を有することを特徴とする。

本発明によれば、取得した画像データに対して、処理対象の画像データかどうかを判定した画像処理を実行することにより、受信側の装置で、画像データに対する画像処理を効率的に実行できるという効果がある。

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

添付図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態１に係る画像処理システムの構成例を示す図。 実施形態１に係る画像処理装置、学習装置、画像処理サーバのハードウェア構成の一例を説明するブロック図。 本発明の実施形態１に係る学習データの成り立ちを説明する図。 実施形態１に係る画像処理システムの利用シーケンスを説明する図。 図４のＳ４０７、Ｓ４０８及びＳ４２７、Ｓ４２８における、画像処理装置から画像処理サーバへのデータ送信処理を説明するフローチャート。 図４のＳ４０２及びＳ４２２における、学習装置による学習モデルの学習処理の流れを説明するためのフローチャート。 図４のＳ４０９及びＳ４２９において、画像処理サーバが、画像処理装置から受け取った画像データが処理対象の画像データであるか否かの判定処理を説明するフローチャート。 図４のＳ４１０或いはＳ４３０における、画像処理サーバによる画像処理制御の流れを説明するフローチャート。 ユーザによって明示的に画像処理の要否設定が行われた場合における、実施形態３に係る画像処理サーバによる処理対象判定の処理を説明するフローチャート。 注文書の画像例を示す図。 図４のＳ４０４或いはＳ４２４において、受注者（ユーザ）から画像処理サーバに与えられる画像復元及び情報抽出のための画像処理の要否を設定するための設定画面例を示す図。 入力画像（劣化画像）とオリジナル画像（正解画像）の一例を示す図（Ａ）と、劣化画像と復元画像の一例を示す図（Ｂ）。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これら複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
図１は、本発明の実施形態１に係る画像処理システム１００の構成例を示す図である。

この画像処理システム１００は、画像処理装置１０１、学習装置１０２、画像処理サーバ１０３を有し、これらはネットワーク１０４を介して互いに接続されている。ここで、画像処理装置１０１、画像処理サーバ１０３は、ネットワーク１０４に対して、単一ではなく複数接続された構成であっても良い。具体的には、例えば、画像処理装置１０１は、複数の画像処理装置のそれぞれが、ネットワーク１０４を介して単一の画像処理サーバ１０３に対して接続された構成であっても良い。また、例えば、画像処理サーバ１０３は、画像処理サーバ１０３の高速演算リソースと大容量ストレージを互いに独立させて、高速演算リソースを有する第１のサーバ装置と、大容量ストレージを有する第２のサーバ装置とが接続された構成であっても良い。また学習装置１０２は、画像処理サーバ１０３による画像処理が、学習に基づく画像処理である場合に必要となる構成であって、必ずしも画像処理システム１００に含まれなくても良い。即ち、本発明の実施形態１において、画像処理サーバ１０３で実行される画像処理は、学習に基づく画像処理ではなく、従来のアルゴリズムに基づく画像処理であっても良い。

画像処理装置１０１は、プリント、スキャン、ＦＡＸ等の複数の機能を実現可能なＭＦＰ等で実現される。画像処理装置１０１は、例えば、帳票等の原稿をスキャンして取得した画像データに対して、所定の画像処理を行って得られた文書画像データを、画像処理サーバ１０３に送信する。また画像処理装置１０１は、例えば、不図示のＦＡＸ装置から、帳票等の原稿をスキャンして送信されたＦＡＸデータに対して所定の画像処理を行って得られた文書画像データを、画像処理サーバ１０３に送信する。ここで、画像処理装置１０１から画像処理サーバ１０３に送信される文書画像データは、通常、通信データ量を削減する目的で、ＪＰＥＧ等の画像圧縮、解像度変換、二値化等の非可逆変換を施したデータであるため劣化画像と呼ぶことにする。

学習装置１０２は、圧縮ノイズ除去、高解像度化、多階調化等のように、劣化画像をオリジナル画像（原画像データ）に近づけるように復元するための学習モデルの学習を実行する。そして、学習装置１０２は、学習結果（ニューラルネットワークのパラメータ等）を生成する学習部として機能する。学習装置１０２は、例えば、エンジニアによって提供された入力画像データと正解画像データのペアである学習データを用いて学習することで、学習結果を生成する。学習装置１０２は、生成した学習結果を、ネットワーク１０４を介して画像処理サーバ１０３に送信する。

画像処理サーバ１０３は、画像処理装置１０１から受信した劣化画像データを復元したり、ＯＣＲ処理によって、文書画像データに含まれる文字情報を抽出する画像処理部として機能する。画像処理サーバ１０３は、劣化画像データに対して、学習装置１０２が生成した学習結果を用いて、ニューラルネットワークによる画像復元を実行し、復元画像データを取得する。ニューラルネットワークを用いる機械学習手法の一つとしては、多層ニューラルネットワークを用いたディープラーニングが挙げられる。ここで画像処理サーバ１０３は、変換によって取得した復元画像データに対して、ＯＣＲ処理を実行し、その結果として文字認識されたテキストデータを取得する。更に、画像処理サーバ１０３は、生成した復元画像データ、及び、文字認識で得られたテキストデータを、大容量ストレージに保存する。

ネットワーク１０４は、ＬＡＮや公衆回線（ＷＡＮ）等で実現されるものであって、画像処理装置１０１、学習装置１０２、画像処理サーバ１０３を互いに接続して、装置間でデータを送受信するのに使用される。

図２は、実施形態１に係る画像処理装置１０１、学習装置１０２、画像処理サーバ１０３のハードウェア構成の一例を説明するブロック図である。

図２（Ａ）は、実施形態１に係る画像処理装置１０１のハードウェア構成例を説明するブロック図である。

画像処理装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０４、プリンタ２０５、スキャナ２０６、原稿搬送部２０７、ストレージ２０８、入力部２０９、表示部２１０、外部インタフェース２１１等を有し、これらはバス２０３を介して接続されている。ＣＰＵ２０１は、画像処理装置１０１における動作全体を制御するための制御部として機能し、ＣＰＵ２０１は、ＲＯＭ２０２に記憶されたブートプログラムを実行して、ストレージ２０８に記憶された制御プログラムをＲＡＭ２０４に展開して実行する。それによって、ＣＰＵ２０１は、画像処理装置１０１のプリント、スキャン、ＦＡＸ等の機能を実現する。ＲＯＭ２０２は、書き換えできない不揮発性メモリで、画像処理装置１０１を起動するブートプログラム等を格納している。バス２０３は、画像処理装置１０１を構成するデバイス間で相互に制御信号やデータを送受信する。ＲＡＭ２０４は揮発性メモリで実現され、ＣＰＵ２０１により実行される制御プログラムの展開エリア、及び制御プログラムを実行する際のワークメモリとして使用される。

プリンタ２０５は、画像データに基づいて記録媒体（シート）に画像を印刷する。スキャナ２０６は、文字、図表、写真等が印刷された記録媒体（シート）を光学的に読み取って、その画像データを取得する。原稿搬送部２０７は、ＡＤＦ（オートドキュメントフィーダ）等で実現されるものであって、原稿台に載置された帳票等の原稿を検知し、検知した原稿を１枚ずつスキャナ２０６に搬送する。ストレージ２０８は、例えばＨＤＤ（ハードディスクドライブ）等で、前述の制御プログラムや画像データを記憶する。入力部２０９は、タッチパネルやハードキー等を有し、ユーザからの画像処理装置１０１に対する操作入力を受け付ける。表示部２１０は、画像処理装置１０１の設定画面をユーザに対して表示する。尚、表示部２１０は入力部２０９のタッチパネルと一体であってもよい。外部インタフェース２１１は、画像処理装置１０１とネットワーク１０４との間を接続し、不図示のＦＡＸ装置からＦＡＸデータを受信したり、画像処理サーバ１０３に対して文書画像データを送信する。

図２（Ｂ）は、実施形態１に係る学習装置１０２のハードウェア構成例を説明するブロック図である。

学習装置１０２は、ＣＰＵ２３１、ＲＯＭ２３２、ＲＡＭ２３４、ストレージ２３５、入力部２３６、表示部２３７、外部インタフェース２３８、ＧＰＵ(Graphics Processing Unit)２３９を有する。これらはバス２３３を介して互いに接続される。ＣＰＵ２３１は、学習装置１０２における動作全体を制御するための制御部である。ＣＰＵ２３１は、ＲＯＭ２３２に記憶されたブートプログラムを実行して、ストレージ２０８に記憶された学習プログラムをＲＡＭ２３４に展開し、それを実行する画像データの復元を行うためのニューラルネットワークを学習する。ＲＯＭ２３２は、学習装置１０２を起動するブートプログラムを格納する。バス２３３は、学習装置１０２を構成するデバイス間で相互にデータを送受信する。ＲＡＭ２３４は、ＣＰＵ２３１が学習プログラムを展開するためのメモリ、及びＣＰＵ２３１が学習プログラムを実行する際のワークメモリを提供する。ストレージ２３５は、ＨＤＤ（ハードディスクドライブ）等で実現されるものであって、前述の学習プログラムや学習データを記憶する。入力部２３６は、ポインティングデバイスやキーボード等を含み、エンジニアからの学習装置１０２に対する操作入力を受け付ける。表示部２３７は、学習装置１０２の設定画面をエンジニアに対して提示するのに使用される。外部インタフェース２３８は、学習装置１０２とネットワーク１０４との間を接続するものであって、不図示のＰＣ等の端末装置から学習データを受信したり、画像処理サーバ１０３に対して学習モデルを送信したりする。ＧＰＵ２３９は、画像処理プロセッサを含む演算部である。ＧＰＵ２３９は、例えば、ＣＰＵ２３１による制御情報に基づいて、与えられた学習データにに基づいて、学習モデルを構成するパラメータを更新するための演算を実行する。

図２（Ｃ）は、実施形態１に係る画像処理サーバ１０３のハードウェア構成例を説明するブロック図である。

画像処理サーバ１０３は、ＣＰＵ２６１、ＲＯＭ２６２、ＲＡＭ２６４、ストレージ２６５、入力部２６６、表示部２６７、外部インタフェース２６８を有し、これらはバス２６３を介して互いに接続される。ＣＰＵ２６１は、画像処理サーバ１０３における動作全体を制御するための制御部である。ＣＰＵ２６１は、ＲＯＭ２６２に記憶されたブートプログラムを実行して、ストレージ２６５に記憶された画像処理プログラムをＲＡＭ２６４に展開して実行することで、画像データの復元や情報抽出の画像処理を選択的に実行する。ＲＯＭ２６２は、画像処理サーバ１０３を起動するブートプログラムを格納する。バス２６３は、画像処理サーバ１０３を構成するデバイス間で相互にデータや制御信号等を送受信する。ＲＡＭ２６４は、ＣＰＵ２６１が実行する画像処理プログラムの展開エリア、及び画像処理プログラムを実行する際のワークメモリを提供する。ストレージ２６５は、ＨＤＤ（ハードディスクドライブ）等で実現され、前述の画像処理プログラムや学習モデルを記憶する。入力部２６６は、ポインティングデバイスやキーボード等を有し、ユーザからの画像処理サーバ１０３に対する操作入力を受け付ける。表示部２６７は、画像処理サーバ１０３の設定画面をユーザに対して提示するのに使用される。外部インタフェース２６８は、画像処理サーバ１０３と、ネットワーク１０４との間を接続するものであって、学習装置１０２から学習モデルを受信したり、画像処理装置１０１から文書画像データを受信する。

図４は、実施形態１に係る画像処理システムの利用シーケンスを説明する図である。ここでは、受発注業務において、発注者から受注者に対して注文書などの帳票が送付された際に、受注者（ユーザ）が、当該帳票の画像データ、及び、その画像データに含まれるテキスト情報を業務システム（画像処理サーバ１０３）に保存する場合を説明する。

図４（Ａ）は、発注者から受注者に対して、郵送によって注文書などの帳票原稿が送付された際に、受注者が、その帳票原稿をスキャンして保存する例を説明する図である。

まずＳ４０１で、画像処理システム１００を提供するメーカのエンジニアは、学習装置１０２に画像復元モデルの学習を実行させるために、学習データを入力する。学習装置１０２はＳ４０２で、その入力された学習データを用いて、ニューラルネットワークの学習を実行する。この学習モデル更新の詳細は、図６を参照して後述する。そして学習装置１０２は、その学習が終了するとＳ４０３で、画像処理サーバ１０３に対して、学習結果を送信する。これらの工程は、これ以降で説明する工程よりも前に予め行われる工程である。

次にＳ４０４で受注者は、業務システムに保存したい帳票を選別するための判断条件として、予め、デバイスＩＤ、ユーザＩＤ、日時、時間帯、定型帳票フォーム等のうち、１つ以上の条件を設定する。このように例えば、受注者側の企業で、担当部門で利用可能な画像処理装置１０１のデバイスＩＤや担当者のユーザＩＤを予め登録する。これにより、異なる複数の業務で帳票を扱う場合でも、特定の受発注業務で扱う帳票を選別して業務システムに保存できる。また、例えば、受注者側の企業で、通常営業する日時や時間帯を予め登録することで、営業時間内に正しく受注処理された帳票のみを選別して業務システムに保存できる。更に、例えば、受注者側の企業で、受発注業務で用いる注文書等の定型帳票フォームを予め登録することで、帳票として認識できる、帳票ＤＢに登録済の定型帳票フォームで作成された注文書等の帳票のみを選別して業務システムに保存できる。

こうして初期設定が完了した後、Ｓ４０５で受注者は、発注者が郵送などによって送付した帳票原稿を受け取る。これを受けてＳ４０６で受注者は、その受け取った帳票原稿を画像処理装置１０１でスキャンして送信するように指示する。

これにより画像処理装置１０１はＳ４０７で、受注者の指示に従い、その原稿をスキャンして取得した画像データを画像処理サーバ１０３に送信する。更にＳ４０８で画像処理装置１０１は、その原稿のスキャンにおける画像データ取得時の識別情報を画像処理サーバ１０３に送信する。

次にＳ４０９で画像処理サーバ１０３は、Ｓ４０４で与えられた判断条件に従って、受信した画像データが処理対象の画像データであるか否かを判定する。この処理対象の画像データかどうかの判定の詳細は、図７を参照して後述する。次にＳ４１０で画像処理サーバ１０３は、処理対象の画像データと判定された画像データに対して、Ｓ４０３で与えられた学習モデルを用いて、画像データの復元や情報抽出の画像処理を選択的に実行する。この画像処理制御の詳細は、図８を参照して後述する。次にＳ４１１で画像処理サーバ１０３は、Ｓ４１０の画像処理の結果、生成した画像データの復元結果としての復元画像データ、及び情報抽出結果としての抽出テキストを、画像処理サーバ１０３が有する所定の記憶領域に保存する。そして最後にＳ４１２で画像処理サーバ１０３は、受注者に対して、その処理完了を通知する。尚、ここで用いる通知方法は、例えば、受注者が画像処理サーバ１０３の表示部２３７を参照した際に、処理完了ジョブの通知を表示する方法でも良い。また或いは、例えば、Ｓ４０６で原稿のスキャン指示を行ったログインユーザが有するメールアドレスやメッセージアカウントに対して処理完了ジョブの通知を送信する方法でも良い。

図４（Ｂ）は、発注者のＦＡＸ装置から受注者（ユーザ）側の画像処理装置１０１に対してＦＡＸ送信された際に、その画像処理装置１０１が、そのＦＡＸデータを業務システム（画像処理サーバ１０３）に転送して保存する例を説明する図である。

図４（Ｂ）のＳ４２１〜Ｓ４２３は、図４（Ａ）のＳ４０１〜Ｓ４０３と全く同様であるため、その説明を省略する。次にＳ４２４で受注者は、業務システムに保存したい帳票を選別するための判断条件として、予め、送信元ＦＡＸ番号（ファクシミリ番号）、送信先ＦＡＸ番号、ＩＰアドレス、ポート番号、日時、時間帯、定型帳票フォーム等のうち、１つ以上の条件を設定する。このように、例えば、受注者側の企業で、得意先の発注者の送信元ＦＡＸ番号や、特定の受注業務専用の送信先ＦＡＸ番号を予め登録することで、異なる複数の業務で帳票を扱う場合でも、特定の受発注業務で扱う帳票を選別して業務システムに保存できる。また例えば、受注者側の企業で、担当部門で利用可能な画像処理装置１０１のＩＰアドレスやポート番号を予め登録することで、異なる複数の業務で帳票を扱う場合でも、特定の受発注業務で扱う帳票を選別して業務システムに保存できる。また、受注者側の企業で、通常営業する日時や時間帯を予め登録することで、営業時間内に正しく受注処理された帳票のみを選別して業務システムに保存できる。更に、例えば、受注者側の企業で、受発注業務で用いる注文書等の定型帳票フォームを予め登録することで、帳票として認識できる、帳票ＤＢに登録済の定型帳票フォームで作成された注文書等の帳票のみを選別して業務システムに保存できる。

次にＳ４２５で、受注者は、ＦＡＸ受信時の画像データを、予め指定している業務システム（画像処理サーバ１０３）に転送するように設定する。

そしてＳ４２６で、発注者側のＦＡＸ装置から受注者（ユーザ）側の画像処理装置１０１に対してＦＡＸデータが送信される。これにより画像処理装置１０１は、Ｓ４２５で与えられた転送設定に従い、画像処理サーバ１０３に対して、そのＦＡＸデータを転送する。その後の図４（Ｂ）のＳ４２７〜Ｓ４３２は、図４（Ａ）のＳ４０７〜Ｓ４１２と全く同であるため、その説明を省略する。

図３は、本発明の実施形態１に係る学習データの成り立ちを説明する図である。ここでは、図３を参照して、図４（Ａ）のＳ４０１、及び、図４（Ｂ）のＳ４２１において、エンジニアが学習装置１０２に入力した学習データについて説明する。

学習データは、学習装置１０２が学習部でニューラルネットワークを学習するために使用するデータである。ニューラルネットワークを学習するためには、学習データとして、変換前後のデータのペアが必要となる。具体的には、例えば、ＦＡＸやスキャンした後の低品位の画像データを変換前のデータ（入力画像＝劣化画像）と、原稿をプリントする前の高品位の画像データを変換後のデータ（正解画像）とを学習データとして用意する。そして、その学習データを、劣化画像を正解画像に復元するための学習に用いる。即ち、例えば、ＦＡＸを想定した場合、図１２（Ａ）に示したサンプル１及びサンプル２に示すように、劣化画像としての入力画像と、オリジナル画像である正解画像とのペアを、学習データとして大量に用意するものである。

図１２（Ａ）は、入力画像（劣化画像）とオリジナル画像（正解画像）の一例を示す図である。

図３に示すように、学習データ３０６は、正解画像と入力画像のペアで構成されるデータである。ここで、正解画像３０５は、ＰＤＬデータ３０１を所定の解像度で描画処理（ＲＩＰ）した結果として生成される。一方、入力画像３０４は、ＰＤＬデータ３０１を印刷装置で印刷した原稿３０２をスキャナで読み取ってスキャン画像３０３を生成し、このスキャン画像３０３に所定の画像処理を適用することで生成される。

具体的には、例えば、ＦＡＸ送受信時の劣化画像を再現するために、解像度変換や二値化などのＦＡＸ画像処理を実行して、入力画像を生成する。また、具体的には、例えば、スキャン送信時の劣化画像を再現するために、スキャナの特性に合わせた画像補正やＪＰＥＧ等の画像圧縮などのスキャン画像処理を実行して入力画像を生成する。ここにおいて、エンジニアの開発環境下で画像データを生成する工程で用いる装置は、画像処理装置１０１のプリンタ２０５、スキャナ２０６と同様の特性を有することが望ましい。尚、スキャン画像３０３は、プリンタ２０５やスキャナ２０６を実際に動作させて取得した画像データの代わりに、プリント及びスキャンを疑似的に再現するシミュレーションによって生成した画像データを用いても良い。また、高品位の画像データの復元を行うには、大量の学習データを用いてニューラルネットワークを学習する必要があるが、ここでは予め十分な学習データが与えられた条件下で学習が行われるものとして説明する。

図６は、図４のＳ４０２及びＳ４２２における、学習装置１０２による学習モデルの学習処理の流れを説明するためのフローチャートである。尚、図６で示す処理は、学習装置１０２のＣＰＵ２３１が、ＲＯＭ２３２或いはストレージ２３５のいずれかに記憶されているプログラムをＲＡＭ２３４に展開し、その展開したプログラムを実行することにより達成される。

先ずＳ６０１でＣＰＵ２３１は、ＧＰＵ２３９を用いて、学習モデルとして用いられるニューラルネットワークを構成する重みパラメータの値を初期化する。即ち、ＣＰＵ２３１は、例えば、ニューラルネットワークを構成する重みパラメータをランダムな値に設定したり、前回学習済の値をロードして再設定したりする。次にＳ６０２に進みＣＰＵ２３１は、ＧＰＵ２３９を用いて、図４のＳ４０１及びＳ４２１で入力された学習データのうち、解像度、階調、圧縮方式（異なる圧縮率を含む）の条件が合致する入力画像と正解画像のペアを学習データとして取得する。次にＳ６０３に進みＣＰＵ２３１は、ＧＰＵ２３９を用いて、Ｓ６０１で初期化したニューラルネットワークに対して、入力画像を入力した際の出力画像と、入力画像とペアになっていた正解画像との間で、画素値の誤差を算出する演算を実行するように制御する。次にＳ６０４に進みＣＰＵ２３１は、ＧＰＵ２３９を用いて、一般に、誤差逆伝搬法（バックプロパゲーション）と呼ばれる、学習モデルの重みパラメータの値を更新する演算を実行するように制御する。そしてＳ６０５に進みＣＰＵ２３１は、ＧＰＵ２３９を用いて、所定の学習データ数を用いて所定の学習回数だけ演算処理が終了したか否かを判定する。ここで、ＣＰＵ２３１は、所定の学習データを用いた所定の学習回数が終了したと判定するとＳ６０６に処理を進め、そうでないときはＳ６０２〜Ｓ６０４の演算を繰り返す。

Ｓ６０６でＣＰＵ２３１は、ＧＰＵ２３９を用いて、学習済モデルのニューラルネットワークを構成する重みパラメータの値を、ストレージ２３５等の記憶部に保存する。Ｓ６０６で獲得した学習済モデルは、例えば、スキャンして低解像度で送信された入力画像から、オリジナルの原稿相当の高解像度の正解画像に対して、単純に既存の画像に置き換えるのではなく、未知の画像も含めて変換できるような画像変換部として形成される。

具体的には、例えば、学習済モデルは、Ｓ６０２〜Ｓ６０４を繰り返し実行して入力画像と正解画像の差分傾向を学習することで、その原稿のスキャン時の読取ノイズによって発生した画像データ中の孤立点を除去する画像復元方法を獲得する。また、具体的には、例えば、学習済モデルは、低解像度化や二値化によって発生した画像データ中の描画オブジェクトにおけるエッジ部分のがたつきを抑制して平滑化する画像復元方法を獲得する。こうして獲得した画像復元方法を備えた学習済モデルを用いることで、例えば、図１２（Ｂ）のサンプル１及びサンプル２で示した劣化画像を、それぞれ、復元画像として示すように復元することができる。

図１２（Ｂ）は、劣化画像と復元画像の一例を示す図である。

次にＳ６０７に進みＣＰＵ２３１は、他のデータ形式での学習データを用いて学習モデルを更新するか否かを判定する。ここで、ＣＰＵ２３１は、他のデータ形式での学習データを用いて学習モデルを更新すると判定ときはＳ６０１に処理を進めて、Ｓ６０１〜Ｓ６０６の処理を繰り返う。一方、他のデータ形式での学習データを用いて学習モデルを更新しないと判定したときは、この学習モデル更新の処理を終了する。

ここで、他のデータ形式とは、例えば、異なる解像度（例：６００×６００ｄｐｉ、３００×３００ｄｐｉ、２００×１００ｄｐｉ）の条件下で生成した正解画像や入力画像をペアにして学習データとして学習するものである。また、生成する他のデータ形式としては、例えば、異なる階調（１６ビット階調＝６５５３６色、８ビット階調＝２５６色、１ビット階調＝２色）の条件下で生成した正解画像や入力画像をペアにして学習するものである。ここで、生成する他のデータ形式は、画像形成装置１０１で受信可能な全てのデータ形式を、ＯＣＲエンジンが推奨する条件を満たすデータ形式に変換できるように、正解画像と入力画像のペアの組合せを網羅するようにしても良い。

図５は、図４のＳ４０７、Ｓ４０８及びＳ４２７、Ｓ４２８における、画像処理装置１０１から画像処理サーバ１０３へのデータ送信処理を説明するフローチャートである。尚、図５で示す処理は、画像処理装置１０１のＲＯＭ２０２或いはストレージ２０８に記憶されているプログラムをＲＡＭ２０４に展開し、ＣＰＵ２０１がその展開したプログラムを実行することにより達成される。

まずＳ５０１でＣＰＵ２０１は、図４のＳ４０６及びＳ４２５で設定された画像送信設定情報を取得する。具体的には、Ｓ４０６のスキャン指示、或いは、Ｓ４２５でのＦＡＸ受信の転送設定において、画像処理サーバ１０３のストレージ２６５への格納先フォルダを特定するための送信先アドレスを取得する。次にＳ５０２に進みＣＰＵ２０１は、発注者側のＦＡＸ装置から送信されたＦＡＸデータを受注者側の画像処理装置１０１で受信したか否かを判定する。ここでＣＰＵ２０１は、ＦＡＸデータを受信したと判定するとＳ５０３に処理を進め、ＦＡＸデータを受信していないと判定するとＳ５０６に遷移する。

Ｓ５０３でＣＰＵ２０１は、受信したＦＡＸデータに対して、画像処理を実行する。具体的には、画像処理装置１０１が実行可能な孤立点除去やスムージング等のフィルタを適用することで、受信したＦＡＸデータを、所定の画像処理アルゴリズムに従って補正したＦＡＸ画像データ（図１の劣化画像）を生成する。次にＳ５０４に進みＣＰＵ２０１は、Ｓ５０３で生成したＦＡＸ画像データ（劣化画像）を画像処理サーバ１０３に送信する。次にＳ５０５に進みＣＰＵ２０１は、Ｓ５０２で受信したＦＡＸジョブに関して、画像処理装置１０１で取得可能な識別情報を画像処理サーバ１０３に送信する（図４のＳ４２８）。

具体的には、例えば、画像処理装置１０１は、送信元ＦＡＸ番号、送信先ＦＡＸ番号、ＩＰアドレス、ポート番号、ＦＡＸ受信日時等の識別情報を画像処理サーバ１０３に送信する。これらの識別情報は、特定の受発注業務でやり取りされる文書画像データであるか否かの識別に利用可能と考えられる情報である。更に、画像処理装置１０１は、画像処理サーバ１０３で実現可能な画像復元を適用する際の劣化画像の条件となる識別情報を画像処理サーバ１０３に送信する。この識別情報は、解像度（例：２００×１００ｄｐｉ、２００×２００ｄｐｉ）、圧縮方式（例：ＭＲ、ＭＭＲ、ＪＢＩＧ、ＪＰＥＧ）等である。そしてＳ５０６に処理を進める。

Ｓ５０６でＣＰＵ２０１は、Ｓ４０６で示したように、受注者が画像処理装置１０１を用いて原稿のスキャンを実行したか否かを判定する。ここでＣＰＵ２０１は、スキャンが指示されたと判定するとＳ５０７に処理を進め、スキャンが指示されていないと判定すると、この処理終了する。Ｓ５０７でＣＰＵ２０１は、原稿を光学的に読み取って取得された画像データに対して画像処理を実行する。具体的には、画像処理装置１０１が実行可能なスキャナ２０６の特性に合わせた画像補正やＪＰＥＧ等の画像圧縮を実行することで、その画像データを所定の画像処理アルゴリズムに基づいて補正した画像データ（図１の劣化画像）を生成する。次にＳ５０８に進みＣＰＵ２０１は、Ｓ５０７で生成したスキャン画像データ（劣化画像）を画像処理サーバ１０３に送信する。そしてＳ５０９に進みＣＰＵ２０１は、実行されたスキャンジョブに関して画像処理装置１０１で取得可能な識別情報を、画像処理サーバ１０３に送信する（図４のＳ４０８）。

具体的には、例えば、画像処理装置１０１は、特定の受発注業務でやり取りされる文書画像データであるか否かの識別に利用可能と考えられる、デバイスＩＤ、ログインユーザＩＤ、スキャン日時等の識別情報を画像処理サーバ１０３に送信する。更に、画像処理装置１０１は、画像処理サーバ１０３で実現可能な画像復元を適用する際の劣化画像の条件となる識別情報を画像処理サーバ１０３に送信する。この識別情報は、解像度（例：３００×３００ｄｐｉ、１５０×１５０ｄｐｉ）、圧縮方式（例：高圧縮ＰＤＦ、ＪＰＥＧ）、階調（例：フルカラー、白黒二値）等である。

こうして画像処理装置１０１は、原稿をスキャンして得られた画像データ、或いはＦＡＸ受信して得られた画像データを、その画像データの復元に参照される情報とともに画像処理サーバ１０３に送信することができる。

図７は、図４のＳ４０９及びＳ４２９において、画像処理サーバ１０３が、画像処理装置１０１から受け取った画像データが処理対象の画像データであるか否かの判定処理を説明するフローチャートである。尚、図７で示す処理は、画像処理サーバ１０３のＣＰＵ２６１がＲＯＭ２６２或いはストレージ２６８に記憶されているプログラムをＲＡＭ２６４に展開して実行することにより実現される。

Ｓ７０１でＣＰＵ２６１は、図５のＳ５０４或いはＳ５０８（或いは図４のＳ４０７，Ｓ４２７）で送信されたＦＡＸ画像データ、或いはスキャン画像データである文書画像データを取得する。次にＳ７０２に進みＣＰＵ２６１は、図５のＳ５０５，Ｓ５０９（或いは図４のＳ４０７，Ｓ４２７）で送信された、文書画像データに付随する識別情報を取得する。この識別情報には、ジョブに関する識別情報と、画像に関する識別情報が含まれる。即ち、ジョブに関する識別情報は、ＦＡＸジョブであれば、送信元ＦＡＸ番号、送信先ＦＡＸ番号、ＩＰアドレス、ポート番号、ＦＡＸ受信日時等が相当し、スキャンジョブであれば、デバイスＩＤ、ログインユーザＩＤ、スキャン実行日時等が相当する。また、画像に関する識別情報は、解像度（例：３００×３００ｄｐｉ、２００×１００ｄｐｉ）、圧縮方式（例：ＭＲ、ＭＭＲ、ＪＢＩＧ、ＪＰＥＧ、高圧縮ＰＤＦ）、階調（例：フルカラー、白黒二値）等が相当する。

次にＳ７０３に進みＣＰＵ２６１は、Ｓ７０２で取得したジョブに関する識別情報を有する文書画像データが、情報抽出対象として登録された条件と合致するか否かを判定する。ここで、ＣＰＵ２６１は、条件に合致していると判定するとＳ７０４に遷移し、条件に合致していないと判定するとＳ７０９に遷移する。ここで、情報抽出対象の条件に合致するか否かの判定は、具体的には、例えば、送信元ＦＡＸ番号が、登録済のＦＡＸ番号リストに含まれるか否かを判定することによって実現される。また或いは、情報抽出対象の条件に合致するか否かの判定は、具体的には、例えば、スキャン実行したユーザが、登録済の業務担当者リストに含まれるか否かを判定することで実現される。尚、前述の例はあくまで一例であって、ユーザの所望の特定帳票を絞り込むための１つ以上の条件を設定することで、少ない条件であっても効果的に特定帳票を選別することができる。

Ｓ７０４でＣＰＵ２６１は、Ｓ７０１で画像処理装置１０１から受信した画像データが持つ画像特徴量を計算し、帳票ＤＢに登録済の帳票が持つ画像特徴量との類似度に基づく帳票認識を実行する。そしてＳ７０５に進みＣＰＵ２６１は、Ｓ７０４で得られた照合結果が、帳票ＤＢに登録済のいずれかの帳票に該当するか否かを判定する。ここで、帳票ＤＢに登録済のいずれかの帳票に該当すると判定したときはＳ７０６に遷移し、いずれの帳票にも該当しないと判定したときはＳ７０９に遷移する。尚、ここで用いる帳票認識技術は、例えば、罫線、枠線、キーワード、記号、マーク、コード等の所定の注目領域のパターンマッチングによって識別可能な公知の技術を用いることで実現できる。尚、ここで、Ｓ７０４の帳票認識の前にＳ７０３の対象判定を設けることで、帳票認識処理を全ての帳票に対して実行する必要がなくなるため、帳票認識処理そのものも効率的に実行することができる。

Ｓ７０６でＣＰＵ２６１は、Ｓ７０５で帳票ＤＢに登録済の帳票に該当すると判定された文書画像データに対して、情報抽出対象であることを示すための情報抽出フラグをオンに設定する。次にＳ７０７に進みＣＰＵ２６１は、Ｓ７０２で取得した画像に関する識別情報を有する文書画像データが、画像復元対象となる劣化画像の条件と合致するか否かを判定する。ここでＣＰＵ２６１は、その条件に合致していると判定するとＳ７０８に遷移し、条件に合致していないと判定するとＳ７０９に遷移する。Ｓ７０８でＣＰＵ２６１は、Ｓ７０７で、画像復元対象となる劣化画像の条件と合致すると判定された文書画像データに対して、画像復元対象であることを示すための画像復元フラグをオンに設定する。そしてＳ７０９に進みＣＰＵ２６１は、処理対象判定を実行すべき次の画像データがあるか否か判定し、次の画像データがあると判定したときは、前述したＳ７０１〜Ｓ７０８を繰り返し実行する。一方、次の画像データが無いと判定したときは、この処理を終了する。

以上説明したようにこの処理によれば、画像処理サーバ１０３は、画像処理装置１０１から受信した画像データが、登録済のいずれかの帳票に該当するかどうか判定し、該当すると判定した画像データに対して、更に画像の復元対象かどうか判定する。このように、登録及び復元対象の画像データを絞り込むことにより、帳票の認識及び復元対象かどうかの判定処理を全ての画像データに対して実行する必要がなくなるため、その処理を効率的に実行することができる。

図８は、図４のＳ４１０或いはＳ４３０における、画像処理サーバ１０３による画像処理制御の流れを説明するフローチャートである。尚、図８で示す処理は、画像処理サーバ１０３のＣＰＵ２６１がＲＯＭ２６２或いはストレージ２６８に記憶されているプログラムをＲＡＭ２６４に展開して実行することにより実現される。

先ずＳ８０１でＣＰＵ２６１は、図７のＳ７０６で、情報抽出フラグがオンに設定されているか否かを判定する。ここで、ＣＰＵ２６１は、情報抽出フラグがオンに設定されていると判定するとＳ８０３に遷移し、情報抽出フラグがオンに設定されていないと判定するとＳ８０２に遷移する。Ｓ８０２でＣＰＵ２６１は、Ｓ７０１で取得した文書画像データに対して、画像復元や情報抽出を実行せずに、受信した画像データを劣化画像の状態でそのまま保存してＳ８０９に処理を進める。

一方で、情報抽出フラグがオンに設定されていると判定した場合はＳ８０３に進みＣＰＵ２６１は、図７のＳ７０８で、画像復元フラグがオンに設定されているか否かを判定する。ここでＣＰＵ２６１は、画像復元フラグがオンに設定されていると判定するとＳ８０４に遷移し、画像復元フラグがオンに設定されていないと判定するとＳ８０７に遷移する。

こうして対象となる画像データが特定された状態でＳ８０４に進みＣＰＵ２６１は、図４のＳ４０３或いはＳ４２３で画像処理サーバ１０３に保存された、所定の学習済モデルを選択して取得する。ここにおいて、選択される学習済モデルは、図７のＳ７０２で取得した画像に関する識別情報、即ち、解像度、圧縮方式、階調等の劣化画像の条件を参照し、劣化画像の条件と合致する入力画像の条件を持つ学習済モデルである。

そしてＳ８０５に進みＣＰＵ２６１は、Ｓ７０１で取得した画像データを入力画像として、Ｓ８０４で取得した学習済モデルに入力する。そして、その学習モデルに従って復元された画像データを、復元された画像データとして取得する。即ち、例えば、ＦＡＸを想定した場合、ＦＡＸに対応する学習済モデルを用いることにより、例えば図１２（Ｂ）のサンプル１及びサンプル２で示した劣化画像を、それぞれ復元された結果である復元画像として取得する。そしてＳ８０６に進みＣＰＵ２６１は、Ｓ８０５で取得した復元画像を、ＲＡＭ２６４やストレージ２６５の記憶部に保存する。

次にＳ８０７に進みＣＰＵ２６１は、Ｓ７０１で取得した文書画像データとしての劣化画像、又は、劣化画像を基に復元した復元画像に対して、ＯＣＲ処理を実行して、その画像データに含まれる項目情報を抽出し、抽出テキストとして出力する。即ち、例えば、図１２（Ｂ）のサンプル１及びサンプル２で示した劣化画像、或いは、復元画像を基にして、それぞれＯＣＲ結果としての抽出テキストを出力する。ここにおいて、例えば、「源」、「Ｄ」の劣化画像に対するＯＣＲ結果が、「瀧」、「Ｏ」のように誤認識されたのに対し、復元画像に対するＯＣＲ結果は、「源」、「Ｄ」として正しく認識できるようになる。尚、ここで用いるＯＣＲ処理は、Ｓ７０１で取得し、Ｓ７０４で照合した帳票が活字帳票であれば活字ＯＣＲ処理、手書き帳票であれば手書きＯＣＲ処理、というように、対象帳票に含まれる文字種別に応じて処理モジュールを選択して用いるようにしても良い。

そしてＳ８０８に進みＣＰＵ２６１は、Ｓ８０７で出力した抽出テキストを、所定の業務システムへの入力データとして保存する。具体的には、例えば、図１０に示すように、「商品名」、「数量」、「単価」等の各項目（キー）に対応する抽出テキストの値（バリュー）が、「部品Ａ」、「２００」、「４５０」である場合、ＣＰＵ２６１は次の制御を行う。すなわち、ＣＰＵ２６１は、業務システムの各項目の入力欄に、それら抽出したテキストの値を入力して保存する。

図１０は、注文書の画像例を示す図である。

次にＳ８０９に進みＣＰＵ２６１は、画像処理制御を実行すべき次の画像データがあるか否か判定する。ここでＣＰＵ２６１は、次の画像データがあると判定した場合はＳ８０１に進んで、上述したＳ８０１〜Ｓ８０８を繰り返し実行し、次の画像データが無いと判定したときは、この処理を終了する。

以上説明したように実施形態１によれば、受信側の装置により、受信した文書画像データに対する画像処理を効率的に実行することができる。即ち、解像度の低下や、圧縮ノイズなどの劣化要因を有する文書画像データに対して、受信側の装置で、これらを補正するための画像復元の要否を判定した上で、その画像データに対する画像処理を効率的に実行することができる。

また、送信側の複数の装置（ＭＦＰ）と受信側の単一の装置（サーバ）が接続されたシステム構成であっても、受信側の装置で、画像データと共に受信した識別情報に基づいて、その受信画像データに基づく情報抽出の要否を判定する。それによって、受信した画像データに対する画像処理を効率的に実行できる。

ここにおいて、特に、ニューラルネットワークを用いた画像処理のように計算量が多く付加価値が高い機能を受信側の装置（サーバ）で提供する場合を想定する。そのような場合、実施形態１によれば、大量の画像データに対しても処理対象を取捨選択し、その画像データに対する処理効率を向上できる。例えば、受信側の装置で、ユーザが業務効率化したい帳票ワークフローに対象を絞ることで、ユーザの待ち時間を短縮することができる。更に、例えば、一般的なクラウドサービスと同様に、受信側の装置（サーバ）のサービス利用コストが計算リソース（ＣＰＵ、ＧＰＵ、ＲＡＭ等）の利用時間によって従量課金される場合でも、その利用コストを低減することができる。

［実施形態２］
上述の実施形態１は、例えば帳票単位で、画像復元や情報抽出の画像処理を実行するか否かを選択的に切り替えるものであった。これに対して実施形態２は、例えば、帳票内の指定領域のみを処理対象として、画像の復元や情報抽出のための画像処理を実行するものである。尚、実施形態２に係る画像処理システムの構成、及び画像処理装置１０１、学習装置１０２及び画像処理サーバ１０３のハードウェア構成は、前述の実施形態１と同様であるため、その説明を省略する。

図１０は、帳票の一例である注文書の一例を示し、文書画像データに対して、画像復元と情報抽出の画像処理を適用する処理対象領域を指定領域のみに限定する例を説明するための図である。

上述の実施形態１では、帳票単位で、画像復元フラグがオンに設定されていた場合、例えば、図１０で示した注文書のページ全体１０００に対して、画像の復元を実行する必要があった。

これに対して実施形態２では、Ｓ７０４で、対象の帳票であると認識した結果としての定型帳票フォームにおいて、予め、画像を復元して情報抽出したい指定領域の位置座標を設定しておくものである。即ち、例えば、図１０において、会社名１００１、注文書番号１００２、及び、注文内容１００３の各セルに含まれる項目の値（バリュー）の指定領域のみを入力画像として切り出して、それぞれについて画像復元を実行して、復元画像を生成する。

これによって、画像復元に要する時間は、処理対象の画像面積が小さくなるほど短縮できる。また、復元画像に対するＯＣＲ処理も同様に、ページ全体のＯＣＲ処理を実行する場合と比較して、処理時間を短縮できる。これは、即ち、ページ全体のＯＣＲ処理を実行する場合と比較して、ＯＣＲ対象となる文字領域を探索して推定する処理（ブロックセレクション）が簡略化され、かつ、ＯＣＲ対象の文字列そのものも必要最小限に抑制されるためである。

尚、実施形態２に係る画像処理サーバ１０３による画像処理制御は、前述の実施形態１の図８と全く同様の流れで実現されるため、その説明を省略する。但し、図８のＳ８０５の画像復元を適用する際は、実施形態１のようにページ全体ではなく、ページ内の情報抽出したい指定領域のみを入力画像として切り出したものを使用するだけで良い。また、Ｓ８０７の情報抽出を適用する際も、実施形態１のようにページ全体ではなく、Ｓ８０５で入力画像として切り出して生成した復元画像に対して、それぞれＯＣＲ処理を実行すれば良い。

以上説明したように実施形態２によれば、ユーザが業務効率化したい帳票内の指定領域のみを処理対象とすることで、帳票のページ全体に対して画像処理を実行する場合と比較して、画像復元や情報抽出の画像処理を効率的に実行することができる。即ち、ユーザが業務効率化したい帳票ワークフローにおいて、帳票を取捨選択するだけでなく、処理領域も限定することで、ユーザの待ち時間を更に短縮することができる。

［実施形態３］
前述の実施形態１，２に係る画像処理サーバ１０３による画像処理制御では、ユーザによって与えられた処理対象の帳票に対する制約を判定条件としていた。これに対して実施形態３では、ユーザによって与えられた処理対象の帳票に対する画像処理の要否を判定条件とするものである。尚、実施形態３に係る画像処理システムの構成、及び画像処理装置１０１、学習装置１０２及び画像処理サーバ１０３のハードウェア構成は、前述の実施形態１と同様であるため、その説明を省略する。

図１１は、図４のＳ４０４或いはＳ４２４において、受注者（ユーザ）から画像処理サーバ１０３に与えられる画像復元及び情報抽出のための画像処理の要否を設定するための設定画面例を示す図である。

ここで、この設定画面は、画像処理サーバ１０３の表示部２６７、又は、画像処理サーバ１０３とデータ通信可能な画像処理装置１０１の表示部２１０を用いて表示されても良い。また、この設定画面に対してユーザから与えられる設定変更の操作入力は、画像処理サーバ１０３の入力部２６６、又は、画像処理サーバ１０３とデータ通信可能な画像処理装置１０１の入力部２０９を介して入力されても良い。

図１１（Ａ）〜（Ｃ）は、画像復元のための画像処理の要否を設定する設定画面例を示す図である。また図１１（Ｄ）〜（Ｆ）は、情報抽出の一例として、ＯＣＲ出力設定を行うための画面例を示す図である。

図１１（Ａ）は、入力画像（劣化画像）から復元画像を生成して出力する設定例を示す。図１１（Ｂ）は、入力画像（劣化画像）から復元画像を生成せずに、入力画像をそのまま出力する設定例を示す。図１１（Ｃ）は、入力画像（劣化画像）及び復元画像のいずれも出力しない設定例を示す。図１１（Ｄ）は、入力画像（劣化画像）から復元画像を生成し、その復元画像を使用してＯＣＲ処理を行う設定例を示す。図１１（Ｅ）は、入力画像（劣化画像）から復元画像を生成せずに、入力画像を使用してＯＣＲ処理を行う設定例を示す。図１１（Ｆ）は、入力画像或いは復元画像に対してＯＣＲ処理を行わない設定例を示す。

例えば、ユーザが、復元画像に対するＯＣＲ結果としての抽出テキストのみを入力したい場合は、図１１（Ｃ）と（Ｄ）を設定する。これにより、ＯＣＲ対象領域のみに対して画像復元を実行できるとともに、ＯＣＲ処理後は復元画像を保存せずに破棄できる。

また、例えば、ユーザが、復元した結果である復元画像のみを閲覧して、業務システムへの入力は、その復元画像の目視によってユーザが手動入力したい場合は図１１（Ａ）と（Ｆ）を設定する。これにより、復元画像のみを取得する画像処理を実行できる。

また例えば、ユーザが、画像復元のような画像処理による加工を施さない受信した画像データそのもの（劣化画像）を保存したい場合、図１１（Ｂ）と（Ｅ）を設定する。これにより、受信した画像データそのものを保存できる。尚、図１１の設定は、送信された全ての帳票に対して共通で設定可能な構成であって良いし、定型帳票フォームとして登録済の各帳票について個別に設定可能な構成であっても良い。

図９は、図１１で示した画像出力設定やＯＣＲ出力設定のように、ユーザによって明示的に画像処理の要否設定が行われた場合における、実施形態３に係る画像処理サーバ１０３による処理対象判定の処理を説明するフローチャートである。尚、図９は、前述の実施形態１の図７に対応するものであって、図７のＳ７０１〜Ｓ７０９は、図９のＳ９０３に対応する。

Ｓ９０１でＣＰＵ２６１は、図１１で説明したユーザ指定による画像復元及び情報抽出の画像処理に関する要否設定情報を参照する。次にＳ９０２に進みＣＰＵ２６１は、Ｓ９０１で、ユーザ指定があったか否かを判定する。ここで、ＣＰＵ２６１は、ユーザ指定があったと判定したときはＳ９０４に遷移し、ユーザ指定が無かったと判定したときはＳ９０３に遷移する。Ｓ９０３でＣＰＵ２６１は、図７を参照して説明した処理対象判定を実行して、この処理を終了する。

一方、Ｓ９０２でＣＰＵ２６１は、ユーザ指定があったと判定したときはＳ９０４に進みＣＰＵ２６１は、Ｓ９０１で参照した画像復元に関する要否設定情報に基づいて、画像復元フラグをオンまたはオフに設定する。そしてＳ９０５に進みＣＰＵ２６１は、Ｓ９０１で参照した情報抽出に関する要否設定情報に基づいて、情報抽出フラグをオン又はオフに設定して、この処理を終了する。

以上説明したように実施形態３によれば、ユーザが帳票ワークフローで実際に使用したい画像（受信した文書画像データの劣化画像、又は、復元画像）、或いはテキストに基づいて、必要十分な画像及びテキストを効率的に出力することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から逸脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

１０１…画像処理装置、１０２…学習装置、１０３…画像処理サーバ、２０１…ＣＰＵ（画像処理装置）、２３１…ＣＰＵ（学習装置）、２６１…ＣＰＵ（画像処理サーバ）

Claims (16)

1. 第１の画像処理装置と第２の画像処理装置とを有する画像処理システムであって、
   前記第１の画像処理装置は、
   画像データを取得する取得手段と、
   前記取得手段により取得された画像データと、当該画像データに関する情報を前記第２の画像処理装置に送信する送信手段と、を有し、
   前記第２の画像処理装置は、
   前記画像データを受信する受信手段と、
   処理対象の画像データかどうかを判定するための条件を設定する手段と、
   前記受信した画像データが、前記処理対象の画像データであるか否かを、前記条件と前記情報とに基づいて判定する判定手段と、
   前記判定手段により処理対象の画像データと判定されると、当該画像データに対して前記情報に基づく画像処理を実行する実行手段と、
   前記実行手段により画像処理が実行された結果を保存する保存手段と、
   を有することを特徴とする画像処理システム。
2. 前記取得手段は、原稿のスキャン、或いはファクシミリの受信により前記画像データを取得することを特徴とする請求項１に記載の画像処理システム。
3. 前記画像データに関する情報は、当該画像データの解像度、圧縮方式、及びファクシミリの受信で得られた画像データの場合は、受信日時、ファクシミリ番号、又は原稿のスキャンにより得られた画像データの場合は、スキャン日時、前記第１の画像処理装置のユーザの識別情報、前記第１の画像処理装置の識別情報の少なくともいずれかを含むことを特徴とする請求項２に記載の画像処理システム。
4. 前記判定手段は、前記情報が、前記画像データがファクシミリの受信で得られた画像データで、かつファクシミリ番号を含む場合、当該ファクシミリ番号が、前記条件として設定されているか否かに応じて判定することを特徴とする請求項２又は３に記載の画像処理システム。
5. 前記判定手段は、前記情報が、前記画像データが原稿のスキャンで得られた画像データで、かつ前記第１の画像処理装置のユーザの識別情報或いは前記第１の画像処理装置の識別情報を含む場合、当該識別情報が、前記条件として設定されているか否かに応じて判定することを特徴とする請求項２又は３に記載の画像処理システム。
6. 前記画像処理は、前記画像データに含まれる文字情報の抽出、及び前記画像データから原画像データへの復元の少なくともいずれかを含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。
7. 前記実行手段は、劣化画像としての入力画像と、オリジナル画像としての正解画像とを含む学習データを有する学習モデルに基づいて、前記画像データを原画像データに復元するための画像処理を実行することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理システム。
8. 前記実行手段は、更に、前記画像データから復元された原画像データに対して文字認識処理を実行することを特徴とする請求項７に記載の画像処理システム。
9. 前記実行手段は、前記画像データにおける所定の領域の画像データに対して前記画像処理を実行することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理システム。
10. 前記画像データに含まれる文字情報の抽出、及び前記画像データから原画像データへの復元の要否を設定する設定手段を、更に有し、
    前記実行手段は、前記判定手段により処理対象の画像データと判定された画像データに対して、更に前記設定手段による設定に基づいて画像処理を実行することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理システム。
11. 画像処理装置であって、
    画像データを取得する取得手段と、
    処理対象の画像データかどうかを判定するための条件を設定する手段と、
    前記取得手段により取得した画像データが、前記処理対象の画像データであるか否かを、前記条件と前記画像データに付随する情報とに基づいて判定する判定手段と、
    前記判定手段により処理対象の画像データと判定されると、当該画像データに対して前記情報に基づく画像処理を実行する実行手段と、
    前記実行手段により画像処理が実行された結果を保存する保存手段と、
    を有することを特徴とする画像処理装置。
12. 前記判定手段は、前記情報が、前記画像データがファクシミリの受信で得られた画像データで、かつファクシミリ番号を含む場合、当該ファクシミリ番号が、前記条件として設定されているか否かに応じて判定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記判定手段は、前記情報が、前記画像データが原稿のスキャンで得られた画像データで、かつユーザの識別情報を含む場合、当該識別情報が、前記条件として設定されているか否かに応じて判定することを特徴とする請求項１１に記載の画像処理装置。
14. 前記実行手段は、劣化画像としての入力画像と、オリジナル画像としての正解画像とを含む学習データを有する学習モデルに基づいて、前記画像データを原画像データに復元するための画像処理を実行することを特徴とする請求項１１乃至１３のいずれか１項に記載の画像処理装置。
15. 画像処理装置を制御する制御方法であって、
    画像データを取得する取得工程と、
    処理対象の画像データかどうかを判定するための条件を設定する工程と、
    前記取得工程で取得した画像データが、前記処理対象の画像データであるか否かを、前記条件と前記画像データに付随する情報とに基づいて判定する判定工程と、
    前記判定工程により処理対象の画像データと判定されると、当該画像データに対して前記情報に基づく画像処理を実行する実行工程と、
    前記実行工程で画像処理が実行された結果を保存する保存工程と、
    を有することを特徴とする制御方法。
16. コンピュータに、請求項１５に記載の制御方法の各工程を実行させるためのプログラム。

Images