JP2022100071A - 画像処理装置、画像処理システム、その制御方法及びプログラム - Google Patents

Abstract

【課題】文書ファイルの自動送信可否の判定に用いる確信度の適切な信頼度合いを柔軟に設定することを目的とする。【解決手段】本開示に係る画像処理装置は、文書のスキャン画像に対する文字認識処理の結果をプロパティに用いて文書ファイルを自動送信するための画像処理装置であって、文字認識処理の結果の確からしさを表す確信度を抽出する抽出手段と、抽出された確信度が所定の閾値を超える場合に、文字認識処理の結果をプロパティに用いた文書ファイルを自動送信可能と判定する判定手段と、設定手段と、を有する。設定手段は、自動送信される文書ファイルの誤送信率が、目標とする誤送信率を達成できるように所定の閾値を設定することを特徴とする。【選択図】 図９

Description

本発明は、本発明は、文書ファイルにプロパティを設定するための技術に関するものである。

従来、文書の管理手法として、紙文書をスキャンして電子化する手法が広く行われている。そして、文書の電子化に際して、スキャンされた画像であるスキャン画像に対して文字認識処理を行い、認識された文字を使ってファイル名等のプロパティに使用することも行われている。その際、認識された文字の確からしさを表す指標として確信度を参照してプロパティへの採否や文書ファイルの自動送信の可否を決定すること等も行われている。この点、例えば、特許文献１には、処理対象の画像（第１画像）に対する文字認識処理の結果について、その確信度に応じて、参照画像（第２画像）に対する文字認識結果との比較を行い、結果が一致しない場合に警告を出力する技術が開示されている。

特開２０２０－４６８１９号公報

ここで、文書ファイルの自動送信の可否に上述の確信度を用いる場合を考える。この場合、自動送信を実行した文書ファイルについては、外部ストレージに送信してしまっている。そのため、自動送信済みの文書ファイルのファルダ名やファイル名に使用された文字列に誤りが含まれていたかについては、外部ストレージにアクセスしなければ知ることができない。自動送信においては、スキャン画像の誤送信率を一定以下に抑えること（最適な自動送信の成功率を実現すること）が重要である。そのためには、確信度の信頼度合いを正しく推定することが求められる。しかしながら、特許文献１の手法は、処理対象の画像とは別に参照画像が存在（すなわち、関連文書が存在）することを前提としている。また、確信度が信頼できる度合いを直接的に推定することはできない。

本開示の技術は、上記問題点に鑑みてなされたものであり、文書ファイルの自動送信可否の判定に用いる確信度の適切な信頼度合いを柔軟に設定できるようにすることを目的とする。

本開示に係る画像処理装置は、文書のスキャン画像に対する文字認識処理の結果をプロパティに用いて文書ファイルを自動送信するための画像処理装置であって、前記文字認識処理の結果の確からしさを表す確信度を抽出する抽出手段と、前記抽出手段で抽出された前記確信度が所定の閾値を超える場合に、前記文字認識処理の結果をプロパティに用いた文書ファイルを自動送信可能と判定する判定手段と、前記所定の閾値を設定する設定手段と、を備え、前記設定手段は、自動送信される文書ファイルの誤送信率が、目標とする誤送信率を達成できるように、前記所定の閾値を設定することを特徴とする。

本開示の技術によれば、文書ファイルの自動送信可否の判定に用いる確信度の適切な信頼度合いを柔軟に設定することができる。

本システムの全体構成を示す図である。 ＭＦＰのハードウェア構成図である。 クライアントＰＣ及びＭＦＰ連携サーバのハードウェア構成図である。 本システムのソフトウェア構成図である。 各機器間の処理の流れを示すシーケンス図である。 ＭＦＰまたはクライアントＰＣが表示するスキャン済み帳票一覧画面及び編集画面の一例を示す図である。 本システムにおける画像処理部が生成する解析結果のデータ構造の一例を示す図である。 本システムにおける画像処理部が行う自動送信判定の詳細を示すフローチャートである。 本システムにおける画像処理部が行う確信度閾値設定の詳細を示すフローチャートである。 実施形態１の誤送信率を推定する方法の一例を示す図である。

以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

［実施形態１］
＜システム構成＞
図１は、本実施形態に係る、画像処理システムの全体構成を示す図である。画像処理システムは、ＭＦＰ（Multifunction Peripheral）１１０と、インターネット上でクラウドサービスを提供するサーバ装置１２０及び１３０とを含む。ＭＦＰ１１０は、インターネットを介してサーバ装置１２０及び１３０と通信可能に接続されている。

ＭＦＰ１１０は、スキャン機能を有する情報処理装置の一例である。ＭＦＰ１１０は、スキャン機能に加え印刷機能やＢＯＸ保存機能といった複数の機能を有する複合機である。サーバ装置１２０及び１３０は、共にクラウドサービスを提供する情報処理装置の一例である。本実施形態のサーバ装置１２０は、ＭＦＰ１１０から受け取ったスキャン画像に対し画像解析を行ったり、別のサービスを提供するサーバ装置１３０に対しＭＦＰ１１０からのリクエストを転送したりするクラウドサービスを提供する。以下、サーバ装置１２０が提供するクラウドサービスを「ＭＦＰ連携サービス」と呼ぶこととする。サーバ装置１３０は、インターネットを介して送られてきたファイルを保存したり、クライアントＰＣ（不示図）などのウェブブラウザからの要求に応じて保存ファイルを提供したりするクラウドサービス（以下、「ストレージサービス」と呼ぶ。）を提供する。本実施形態では、ＭＦＰ連携サービスを提供するサーバ装置１２０を「ＭＦＰ連携サーバ」と呼び、ストレージサービスを提供するサーバ装置１３０を「ストレージサーバ」と呼ぶこととする。

図１に示す画像処理システムの構成は一例であって、これに限定されない。例えば、ＭＦＰ連携サーバ１２０の機能をＭＦＰ１１０が兼ね備えていてもよい。また、ＭＦＰ連携サーバ１２０はインターネット上ではなくＬＡＮ（Local Area Network）経由でＭＦＰ１１０と接続されていてもよい。また、ストレージサーバ１３０を、メール配信サービスを行うメールサーバに置き換えて、文書のスキャン画像をメールに添付し送信する場面に適用してもよい。

＜ＭＦＰのハードウェア構成＞
図２は、ＭＦＰ１１０のハードウェア構成を示すブロック図である。ＭＦＰ１１０は、制御部２１０、操作部２２０、プリンタ部２２１、スキャナ部２２２、モデム２２３で構成される。

制御部２１０は、以下の各部２１１～２１９で構成され、ＭＦＰ１１０全体の動作を制御する。ＣＰＵ２１１は、ＲＯＭ２１２に記憶された様々な制御プログラム（後述のソフトウェア構成図で示す各種機能に対応するプログラム）を読み出して実行する。ＲＡＭ２１３は、ＣＰＵ２１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、本実施例では１つのＣＰＵ２１１が１つのメモリ（ＲＡＭ２１３又はＨＤＤ２１４）を用いて後述のフローチャートに示す各処理を実行するものとするが、これに限定されない。例えば、複数のＣＰＵや複数のＲＡＭ又はＨＤＤを協働させて各処理を実行してもよい。ＨＤＤ２１４は、画像データや各種プログラムを記憶する大容量記憶部である。操作部Ｉ／Ｆ２１５は、操作部２２０と制御部２１０とを接続するインタフェースである。操作部２２０には、タッチパネルやキーボードなどが備えられており、ユーザによる操作／入力／指示を受け付ける。なお、タッチパネルへのタッチ操作には、人の指による操作やタッチペンによる操作が含まれる。プリンタＩ／Ｆ２１６は、プリンタ部２２１と制御部２１０とを接続するインタフェースである。印刷用の画像データはプリンタＩ／Ｆ２１６を介して制御部２１０からプリンタ部２２１へ転送され、紙等の記録媒体上に印刷される。スキャナＩ／Ｆ２１７は、スキャナ部２２２と制御部２１０とを接続するインタフェースである。スキャナ部２２２は、不図示の原稿台やＡＤＦ（Auto Document Feeder）にセットされた原稿を光学的に読み取ってスキャン画像データを生成し、スキャナＩ／Ｆ２１７を介して制御部２１０に入力する。スキャナ部２２２で生成されたスキャン画像データは、プリンタ部２２１にて印刷したり（コピー出力）、ＨＤＤ２１４に保存したり、ＬＡＮを介してＭＦＰ連携サーバ１２０等の外部装置にファイル送信したりすることができる。モデムＩ／Ｆ２１８は、モデム２２３と制御部２１０とを接続するインタフェースである。モデム２２３は、ＰＳＴＮ上のファクシミリ装置（不図示）との間で画像データをファクシミリ通信する。ネットワークＩ／Ｆ２１９は、制御部２１０（ＭＦＰ１１０）をＬＡＮに接続するインタフェースである。ＭＦＰ１１０は、ネットワークＩ／Ｆ２１９を用いて、スキャン画像データをＭＦＰ連携サーバ１２０に送信したり、ＭＦＰ連携サーバ１２０から各種データを受信したりする。

以上説明したＭＦＰ１１０のハードウェア構成は一例であり、必要に応じてその他の構成を備えるものであってもよいし、一部の構成を有していなくてもよい。

＜サーバ装置のハードウェア構成＞
図３は、ＭＦＰ連携サーバ１２０及びストレージサーバ１３０のハードウェア構成を示すブロック図である。ＭＦＰ連携サーバ１２０とストレージサーバ１３０は共通のハードウェア構成を有し、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３、ＨＤＤ３１４及びネットワークＩ／Ｆ３１５で構成される。ＣＰＵ３１１は、ＲＯＭ３１２に記憶された制御プログラムを読み出して各種処理を実行することで、全体の動作を制御する。ＲＡＭ３１３は、ＣＰＵ３１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３１４は、画像データや各種プログラムを記憶する大容量記憶部である。ネットワークＩ／Ｆ３１５は、制御部３１０をインターネットに接続するインタフェースである。ＭＦＰ連携サーバ１２０及びストレージサーバ１３０は、ネットワークＩ／Ｆ３１５を介して他の装置（ＭＦＰ１１０など）から様々な処理のリクエストを受け、当該リクエストに応じた処理結果を返す。

＜画像処理システムのソフトウェア構成＞
図４は、本実施形態に係る、画像処理システムのソフトウェア構成を示すブロック図である。以下、画像処理システムを構成するＭＦＰ１１０及び、ＭＦＰ連携サーバ１２０及びストレージサーバ１３０それぞれの役割に対応したソフトウェア構成を、順に説明する。なお、以下では、各装置が有する諸機能のうち、文書をスキャンして電子化（ファイル化）し、ストレージサーバ１３０に保存を行うまでの処理に関わる機能に絞って説明を行うものとする。

≪ＭＦＰのソフトウェア構成≫
ＭＦＰ１１０の機能モジュールは、ネイティブ機能モジュール４１０とアディショナル機能モジュール４２０の２つに大別される。ネイティブ機能モジュール４１０はＭＦＰ１１０に標準的に備えられたアプリケーションであるのに対し、アディショナル機能モジュール４２０はＭＦＰ１１０に追加的にインストールされたアプリケーションである。アディショナル機能モジュール４２０は、Ｊａｖａ（登録商標）をベースとしたアプリケーションであり、ＭＦＰ１１０への機能追加を容易に実現できる。なお、ＭＦＰ１１０には図示しない他の追加アプリケーションがインストールされていてもよい。

ネイティブ機能モジュール４１０は、スキャン実行部４１１及びスキャン画像管理部４１２を有する。また、アディショナル機能モジュール４２０は、表示制御部４２１、スキャン制御部４２２、連携サービスリクエスト部４２３、画像処理部４２４を有する。表示制御部４２１は、操作部２２０のタッチパネルに、各種のユーザ操作を受け付けるためのＵＩ（User Interface）画面を表示する。各種のユーザ操作には、例えば、ＭＦＰ連携サーバ１２０へアクセスするためのログイン認証情報の入力、スキャン設定、スキャンの開始指示、ファイル名設定、ファイルの保存指示などがある。スキャン制御部４２２は、ＵＩ画面でなされたユーザ操作（例えば、「スキャン開始」ボタンの押下）に応じて、スキャン設定の情報と共にスキャン実行部４１１に対しスキャン処理の実行を指示する。スキャン実行部４１１は、スキャン制御部４２２からのスキャン処理の実行指示に従い、スキャナＩ／Ｆ２１７を介してスキャナ２２２に文書の読み取り動作を実行させ、スキャン画像データを生成する。生成したスキャン画像データは、スキャン画像管理部４１２によってＨＤＤ２１４に保存される。この際、保存されたスキャン画像データを一意に示すスキャン画像識別子の情報が、スキャン制御部４２２へ通知される。スキャン画像識別子は、ＭＦＰ１１０においてスキャンした画像をユニークに識別するための番号や記号、アルファベットなどである。スキャン制御部４２２は、例えばファイル化する対象のスキャン画像データを上記のスキャン画像識別子を使ってスキャン画像管理部４１２から取得する。そして、ファイル化のために必要な処理のリクエストをＭＦＰ連携サーバ１２０に対して行うよう、連携サービスリクエスト部４２３に対して指示する。連携サービスリクエスト部４２３は、ＭＦＰ連携サーバ１２０に対して各種処理のリクエストを行ったり、そのレスポンスを受け取ったりする。各種処理には、例えば、ログイン認証、スキャン画像の解析、スキャン画像データの送信などが含まれる。ＭＦＰ連携サーバ１２０とのやり取りにはＲＥＳＴやＳＯＡＰなどの通信プロトコルが使用される。画像処理部４２４は、スキャン画像データに対し所定の画像処理を行って、表示制御部４２１が表示するＵＩ画面で用いられる画像を生成する。

なお、ＭＦＰ１１０とは異なる装置（不図示のクライアントＰＣなど）が、上述のアディショナル機能モジュール４２０を備えていてもよい。すなわち、ＭＦＰ１１０にて得たスキャン画像の解析リクエストや解析結果に基づくファイル名の設定等を、クライアントＰＣで行うようなシステム構成でも構わない。

≪サーバ装置のソフトウェア構成≫
まず、ＭＦＰ連携サーバ１２０のソフトウェア構成について説明する。ＭＦＰ連携サーバ１２０は、リクエスト制御部４３１、画像処理部４３２、ストレージサーバアクセス部４３３、データ管理部４３４、表示制御部４３５を有する。リクエスト制御部４３１は、外部装置からのリクエストを受信できる状態で待機しており、受信したリクエスト内容に応じて、画像処理部４３２、ストレージサーバアクセス部４３３、データ管理部４３４に対し所定の処理の実行を指示する。画像処理部４３２は、ＭＦＰ１１０から送られてくるスキャン画像データに対して、文字領域の検出処理、文字認識処理（ＯＣＲ処理）、類似文書の判定処理、自動送信判定の処理といった画像解析処理の他、回転や傾き補正といった画像加工処理を行う。なお、以下では、スキャン画像から検出される文字領域を「文字領域」と呼ぶ。また、対象となる文書として、見積書や請求書といった帳票を例に説明を行うこととし、そのスキャン画像を「帳票画像」と呼ぶ。ストレージサーバアクセス部４３３は、ストレージサーバ１３０に対する処理のリクエストを行う。クラウドサービスでは、ＲＥＳＴやＳＯＡＰなどのプロトコルを用いてストレージサーバにファイルを保存したり、保存したファイルを取得したりするための様々なインタフェースを公開している。ストレージサーバアクセス部４３３は、公開されたインタフェースを使用して、ストレージサーバ１３０に対するリクエストを行う。データ管理部４３４は、リクエスト制御部４３１からの指示を受けて、スキャン画像を含む文書ファイルを生成する。その際、当該スキャン画像に含まれる文字列について文字認識処理した結果に基づくファイル名を設定する。表示制御部４３５は、インターネット経由で接続されたＰＣやモバイル端末（いずれも不図示）上で動作しているウェブブラウザからのリクエストを受けて、画面表示に必要な画面構成情報（ＨＴＭＬ、ＣＳＳ等）を返す。ユーザは、ウェブブラウザで表示される画面経由で、登録されているユーザ情報を確認したり、スキャン設定を変更したりできる。

次に、ストレージサーバ１３０のソフトウェア構成について説明する。ストレージサーバ１３０は、リクエスト制御部（不示図）、ファイル管理部（不示図）、表示制御部（不示図）を有する。リクエスト制御部（不示図）は、外部装置からのリクエストを受信できる状態で待機しており、本実施形態においてはＭＦＰ連携サーバ１２０からのリクエストに応じて、受信したファイルの保存や保存ファイルの読み出しをファイル管理部（不示図）に指示する。そして、リクエストに応じたレスポンスをＭＦＰ連携サーバ１２０に返す。表示制御部（不示図）は、インターネット経由で接続されたＰＣやモバイル端末（いずれも不図示）上で動作しているウェブブラウザからのリクエストを受けて、画面表示に必要な画面構成情報（ＨＴＭＬ、ＣＳＳ等）を返す。ユーザは、ウェブブラウザで表示される画面経由で、保存ファイルを確認したり取得したりすることができる。

＜全体の処理の流れ＞
図５は、ＭＦＰ１１０で文書（例えば、見積書等の帳票）をスキャンし、得られたスキャン画像をファイル化してストレージサーバ１３０に保存する際の、装置間の処理の流れを示すシーケンス図である。なお、図５のシーケンス図は、スキャン画像をファイル化する際に付与されるファイル名を設定する場合の説明となっているが、ファイル名の他、フォルダパスやメタデータといったプロパティ全般に適用可能である。

ＭＦＰ１１０は、起動時にメインメニューのＵＩ画面（以下、「メイン画面」と呼ぶ。）を表示する。文書をスキャンしてファイル化し、クラウドストレージサービスの利用に必要な専用のアプリケーションをＭＦＰ１１０にインストールすることで、メイン画面上に「スキャンしてクラウドストレージに保存」ボタンが表示されるようになる。そして、ユーザがメイン画面内に表示されたメニューボタンの中から「スキャンしてクラウドストレージに保存」ボタンを押下すると、図５のシーケンス図で示される一連の処理が開始する。以下、図５のシーケンス図に沿って、装置間のやり取りを時系列に説明する。なお、以下の説明において記号「Ｓ」はステップを表す。

Ｓ５０１において、ＭＦＰ１１０は、ＭＦＰ連携サーバ１２０にアクセスするためのログイン認証の情報を入力するＵＩ画面（以下、「ログイン画面」と呼ぶ。）を操作部２２０に表示する。ログイン画面には、「ログイン」ボタン、ＩＤ入力欄及びパスワード入力欄が含まれる。

Ｓ５０２において、ユーザが、予め登録されているユーザＩＤとパスワードとを、ログイン画面上のＩＤ入力欄及びパスワード入力欄にそれぞれ入力し「ログイン」ボタンを押下すると、ログイン認証のリクエストがＭＦＰ連携サーバ１２０に送信される。

Ｓ５０３において、ログイン認証のリクエストを受けたＭＦＰ連携サーバ１２０は、当該リクエストに含まれるユーザＩＤとパスワードを用いて認証処理を行う。認証処理の結果、正規のユーザであることが確認されれば、ＭＦＰ連携サーバ１２０は、アクセストークンをＭＦＰ１１０に返す。以後、ＭＦＰ１１０からＭＦＰ連携サーバ１２０に対して行う各種リクエストの際にこのアクセストークンを一緒に送ることで、ログイン中のユーザが特定される。本実施形態では、ＭＦＰ連携サーバ１２０へのログインの完了によって、ストレージサーバ１３０へのログインも同時に完了するものとする。このためにユーザは、インターネット上のＰＣ（不図示）のウェブブラウザ等を介して、ＭＦＰ連携サービスを利用するためのユーザＩＤとストレージサービスを利用するためのユーザＩＤとの紐付けを予め行っておく。これにより、ＭＦＰ連携サーバ１２０へのログイン認証に成功すれば同時にストレージサーバ１３０へのログイン認証も完了し、ストレージサーバ１３０にログインするための操作を省略できる。そして、ＭＦＰ連携サーバ１２０においては、自装置にログインしたユーザからのストレージサービスに関するリクエストにも対応可能となる。なお、ログイン認証の方法は一般的に公知な手法（Ｂａｓｉｃ認証、Ｄｉｇｅｓｔ認証、ＯＡｕｔｈを用いた認可等）を用いて行えばよい。

Ｓ５０４において、ログインが完了すると、ＭＦＰ１１０では、スキャン設定用のＵＩ画面（以下、「スキャン設定画面」と呼ぶ。）が操作部２２０に表示される。スキャン設定画面には、「スキャン開始」ボタン、カラー設定欄、解像度設定欄が存在する。「スキャン開始」ボタンは、原稿台にセットした文書（本実施形態では見積書や請求書といった帳票を想定）に対するスキャン処理の開始を指示するためのボタンである。カラー設定欄では、スキャン時のカラーモードを設定する。例えばフルカラーやモノクロといった選択肢の中から指定できるようになっている。解像度設定欄では、スキャン時の解像度を設定する。例えば６００ｄｐｉや１２００ｄｐｉといった選択肢の中から指定できるようになっている。なお、カラーモードと解像度は設定項目の一例であって、これらすべてが存在しなくてもよいし、これら以外の設定項目が存在してもよい。また、カラーモードや解像度に関する選択肢を、ストレージサービスの要求する設定値のみに限定したりしてもよい。ログイン中のユーザは、このようなスキャン設定画面を介してスキャン処理についての詳細な条件設定を行なう。

Ｓ５０５において、スキャン設定を終えたログイン中のユーザが、ＭＦＰ１１０の原稿台にスキャン対象の文書をセットし、「スキャン開始」ボタンを押下するとスキャンが実行される。これにより、紙文書を電子化したスキャン画像データが生成される。

Ｓ５０６において、スキャンの完了後、ＭＦＰ１１０は、当該スキャンをすることによって得られたスキャン画像を、そのスキャン画像を解析するためのリクエストである解析リクエストと共にＭＦＰ連携サーバ１２０に送信する。

Ｓ５０７において、スキャン画像の解析リクエストを受けたＭＦＰ連携サーバ１２０では、リクエスト制御部４３１が画像処理部４３２に対し、画像解析処理（Ｓ５０８～Ｓ５１１）の実行を指示する。その際、リクエスト制御部４３１は、受信した解析リクエストを一意に特定可能なリクエストＩＤ（“ｐｒｏｃｅｓｓＩｄ”）をＭＦＰ１１０に返す。

ＭＦＰ連携サーバ１２０は、要求受信後、画像処理部４３２で画像解析処理を行う。

Ｓ５０８において、画像解析処理の実行指示を受けた画像処理部４３２は、解析リクエストに係るスキャン画像に対する画像解析処理を実行する。この画像解析処理では、まず、画像解析処理の対象となるスキャン画像（以下、「対象画像」と呼ぶ。）内に存在する文字領域を検出する処理（文字領域検出処理）を行う。文字領域の検出は、例えば、ある閾値で２値化を行った画像から文字と推測される矩形領域を抽出する方法等、既知の方法（例えば、ブロックセレクション処理など）を適用すればよい。

Ｓ５０９において、画像処理部４３２は、画像解析処理の対象となる紙文書の画像データが以前に電子化された紙文書の画像と類似しているかどうかを学習データと照合して判定する処理を行う。例えば、画像解析処理の対象となる紙文書の例として、見積書等の帳票が挙げられる。また、画像解析処理の対象となる帳票の画像データが以前に電子化された帳票の画像と類似しているかどうかを学習データと照合して判定する処理のことを、以下、「類似帳票判定処理」と呼ぶ。この類似帳票判定処理では、対象画像内に存在する領域であり且つ、後述の文字認識処理の対象となる文字列が含まれる領域である文字領域（以下、「文字領域」と呼ぶ。）が当該対象画像内のどこにそれぞれ位置するかを示す情報である配置情報が用いられる。具体的には、今回生成する対象帳票画像の配置情報と、学習データに蓄積された過去の帳票画像の配置情報とを比較し、文字領域の配置が同一又は類似であるかどうかを判定する。これは、文字領域の配置が同一又は類似の関係にあれば、それらは同一の文書フォーム（帳票フォーム）を用いて作成された同種の帳票であると推測できることに基づいている。以下、類似帳票判定処理の対象となる帳票画像に係る文書の文書フォーマットと同一の文書フォーマットを有する帳票を「類似帳票」と呼ぶ。また、類似帳票をスキャンして得られたスキャン画像を「類似帳票画像」と呼ぶ。また、対象画像に係る文書とその対象画像に対応する類似帳票とが、同一の文書フォーマットを有していることを、以下、単に「類似する」などと表記する場合がある。この類似帳票判定処理で使用する過去の帳票画像の配置情報は、学習データとして蓄積される。なお、本実施形態では、文字領域の配置の一致度合いのみに基づき帳票の類否判定を行っているが、例えば、文字認識処理の結果から帳票の種別（見積書、請求書等）を特定し、得られた種別の情報を加味して類否判定を行ってもよい。

Ｓ５１０において、画像処理部４３２は、文字領域検出処理によって見つかった各文字領域に対して、文字認識処理を実行する。

Ｓ５１１において、画像処理部４３２は、今回の対象画像の文書ファイルを自動送信の対象にしてもよいか否かの判定処理（以下、「自動送信判定処理」と呼ぶ。）を実行する。自動送信判定処理の詳細については図８を用いて後述する。

Ｓ５１２において、ＭＦＰ１１０は、上記画像解析処理が行われている間、上述のリクエストＩＤを使用して、ＭＦＰ連携サーバ１２０に対して定期的（例えば数百ミリ秒から数ミリ秒程度毎）に画像解析処理の状況の確認を行う（Ｓ５１２～Ｓ５１３）。この確認は、ＭＦＰ連携サーバ１２０から画像解析処理が完了したことを表す情報を含むレスポンスが取得できるまで繰り返し実行される。ＭＦＰ連携サーバ１２０のリクエスト制御部４３１は、画像解析処理の状況の確認をするためのリクエストを受けると、リクエストＩＤに対応する画像解析処理の進行状況を確認する。他方、画像解析処理が完了していた場合は、完了レスポンスを返す。これらレスポンスの“ｓｔａｔｕｓ”には現在の処理状況を示す文字列が入る。具体的には、ＭＦＰ連携サーバ１２０で処理が行われている最中である場合（処理中レスポンス）には“ｐｒｏｃｅｓｓｉｎｇ”が入り、処理が完了している場合（完了レスポンス）には“ｃｏｍｐｌｅｔｅｄ”が入る。なお、処理が失敗した場合の“ｆａｉｌｅｄ”など、他のステータスを表す文字列が入ることもある。また、完了レスポンスには、画像解析処理の結果の格納先を示すＵＲＬなどの情報も含まれる。そして、ＭＦＰ１１０は、上記画像解析処理の完了レスポンスを取得すると、当該完了レスポンスに含まれる、画像解析処理の結果の格納先を示すＵＲＬを用いて、画像解析処理の結果を取得するためのリクエストを、ＭＦＰ連携サーバ１２０に対して送信する。ＭＦＰ連携サーバ１２０のリクエスト制御部４３１は、当該リクエストを受信すると、画像解析処理の結果を含む情報（結果情報）をＭＦＰ１１０に返信する。この際の結果情報には、対象画像について文字領域判定処理の結果、類似帳票判定処理の結果、文字認識処理の結果、自動送信判定処理の結果が含まれる。

そして、自動送信判定処理の結果が「自動送信不可能」であった場合、ユーザに編集や修正等を促すため、後述するＳ５１５～Ｓ５１９の処理を実行する。他方、自動送信判定処理の結果が「自動送信可能」であった場合には、後述するＳ５１５～Ｓ５１９の処理を実行することなくＳ５２１に進み、対象画像の文書ファイルが自動生成されてストレージサーバ１３０に対して自動送信される（Ｓ５２２）。文書ファイルの自動生成の際には、文字認識処理で得られた文字列がそのファイル名に使用される。

自動送信判定処理の結果が「自動送信不可能」であった場合、Ｓ５１５において、ＭＦＰ１１０は、ユーザがファイル名を設定して送信するためのＵＩ画面を表示する。この際のＵＩ画面の例としては、後述するスキャン済み帳票一覧画面（図６（ａ））や編集画面（図６（ｂ））が挙げられる。

ユーザによって文書ファイルの保存が指示されると、Ｓ５１６において、ＭＦＰ１１０の連携サービスリクエスト部４２３は、ファイル名設定情報を学習して保存するためのリクエストをＭＦＰ連携サーバ１２０に対して送信する。以下、当該リクエストを「ファイル名設定情報保存リクエスト」と呼ぶ。そして、設定情報保存リクエストには帳票の種別に関する情報を学習（以下、「帳票学習」と呼ぶ。）させるためのリクエストも含まれる。また、ＭＦＰ１１０の連携サービスリクエスト部４２３は、ファイル名設定情報保存リクエストと併せて、再度の類似帳票判定処理を行うためのリクエストをＭＦＰ連携サーバ１２０に対して送信する。以下、再度の類似帳票判定処理を行わせるためのリクエストを「類似帳票再判定リクエスト」と呼ぶ。ここで、確定文字列の修正が行われなかった場合のファイル名設定情報には、文字認識処理された結果、最も確からしい文字列としてフォルダ名入力欄６１４等に表示された文字列に関する情報が含まれることとなる。さらに、この場合のファイル名設定情報には、その文字列の文字領域情報、その文字列が記載されていた帳票の種別に関する情報を含んでもよい。また、確定文字列の修正が行われた場合のファイル名設定情報には、その修正前後の文字列の情報をさらに含むことになる。

Ｓ５１７において、ＭＦＰ連携サーバ１２０のリクエスト制御部４３１は、ファイル名設定情報保存リクエストをＭＦＰ１１０から受信した場合、画像処理部４３２に対して当該ファイル名設定情報を保存することを指示する。また、ＭＦＰ連携サーバ１２０のリクエスト制御部４３１は、類似帳票再判定リクエストをＭＦＰ１１０から受信した場合、画像処理部４３２に対して類似帳票再判定処理の実行を指示する。

Ｓ５１８において、画像処理部４３２は、リクエスト制御部４３１からの上記保存指示を受けて、ファイル名設定情報を保存するための処理（以下、「設定情報保存処理」と呼ぶ。）を実行する。設定情報保存処理では、スキャン画像全体における文字領域の情報と、ユーザがファルダ名等に使用したスキャン画像内の文字領域および文字認識結果情報が保存されることとなる。

Ｓ５１９において、画像処理部４３２は、対象画像について、類似帳票がなかったと判定され、ファイル名等の修正が実行されていない当該対象画像について、再度の類似帳票判定処理を行う。以下、再度の類似帳票判定処理を「類似帳票再判定処理」と呼ぶ。他方、対象画像について、類似帳票が存在していた場合には、学習データに基づきファイル名が自動で設定される。そして、画像処理部４３２は、設定情報保存処理や類似帳票再判定処理が完了したことを表すステータス情報を含む情報をリクエスト制御部４３１に渡す。さらに、リクエスト制御部４３１は、画像処理部４３２から設定情報保存処理等が完了したことを表すステータス情報を含む情報を取得すると、その事実を表すステータス情報を含むレスポンスをＭＦＰ１１０に対して送信する。

Ｓ５２０において、ＭＦＰ１１０は、リクエスト制御部４３１からのレスポンスを取得すると、当該レスポンスに含まれる情報に基づいて、ファイルを生成するためのリクエスト（以下、「ファイル生成リクエスト」と呼ぶ。）をＭＦＰ連携サーバ１２０に送信する。ＭＦＰ連携サーバ１２０のリクエスト制御部４３１は、ファイル生成リクエストを受信すると、ファイル生成処理を開始するとともに、ファイル生成リクエストを正常に受けたことを表す情報を含むレスポンスをＭＦＰ１１０に返す。ＭＦＰ１１０は、リクエスト制御部４３１からの当該レスポンスを受けると処理を終了し、Ｓ５０４のスキャン設定画面表示に戻る。

Ｓ５２１において、ＭＦＰ連携サーバ１２０では、事前に登録されたスキャン設定からファイルフォーマットの情報を取得し、当該ファイルフォーマットに従って対象画像がファイル化（生成）される。

Ｓ５２２において、リクエスト制御部４３１は、生成されたファイルをストレージサーバ１３０に送信する。そして、Ｓ５２２において、ストレージサーバ１３０は、ＭＦＰ連携サーバ１２０から送信されたファイルを受信すると、当該ファイルの送信が完了したステータスを表すレスポンスをＭＦＰ連携サーバ１２０に返す。

以上が、画像処理システム全体の処理の大まかな流れである。なお、図５のシーケンス図では、ＭＦＰ１１０がＭＦＰ連携サーバ１２０とやり取りを行う内容となっているが、画像解析処理の結果取得、ＵＩ画面の表示、学習指示等は、クライアントＰＣ（不図示）等で行なう構成でもよい。
≪スキャン済み帳票一覧画面≫
図６（ａ）はスキャン済み帳票一覧画面の一例を示す図である。本画面では、ストレージサーバ１３０に送信する前の帳票のスキャン画像の一覧を閲覧することができる。

また本画面は、帳票リスト６０１、「送信」ボタン６０２、「編集」ボタン６０３、「削除」ボタン６０４から構成されている。帳票リスト６０１は画像解析処理が完了したファイル未送信の帳票の一覧を表示する領域である。

帳票リスト６０１は、帳票ＩＤ６０５、送信先６０６、ステータス６０７、ファイル名６０８の各項目で構成されている。帳票ＩＤ６０５には、帳票を一意に識別する識別子が入る。送信先６０６には、送信先となるストレージサーバ１３０の情報が入る。ステータス６０７には、類似帳票判定処理を行った結果が示され、「未学習」又は「学習済」のいずれかが表示される。「未学習」はそのスキャン画像に類似する帳票画像が過去に存在しないことを表している。他方、「学習済」はそのスキャン画像に類似する帳票画像が過去に存在したことを表している。ファイル名６０８には、類似する帳票画像が過去に存在した場合に、当該帳票画像に設定されたファイル名が入る。通常、ファイル名６０８について、ステータス６０７が「未学習」の場合はファイル名が設定されていない状態であるため空白となっている。

「送信」ボタン６０２は、ストレージサーバ１３０に対して帳票画像が含まれる文書ファイルを送信するためのボタンである。帳票リスト６０１から任意の帳票IＤを選択し、「送信」ボタン６０２を押下することで送信先６０６に表示されているストレージサーバ１３０に対して送信を行う。送信が正常に完了した場合、その帳票ＩＤに係るデータは帳票リスト６０１から削除される。

「編集」ボタン６０３は、編集画面６１０に遷移するためのボタンである。帳票リスト６０１から任意の帳票ＩＤを選択し、「編集」ボタン６０３を押下することで選択した帳票ＩＤに係るスキャン画像についての編集画面６１０へと遷移する。

「削除」ボタン６０４は選択した帳票ＩＤに係るデータの削除を行うボタンである。帳票リスト６０１から任意の帳票ＩＤを選択し、「削除」ボタン６０４を押下することで選択した帳票ＩＤに係るデータを削除することができる。

≪編集画面≫
図６（ｂ）は編集画面の一例を示す図である。本画面は、スキャン済み帳票一覧画面６００の「編集」ボタン６０３が押下されることによりスキャン済み帳票一覧画面６００から編集画面６１０へと遷移する。本画面はスキャン画像表示領域６１１、「キャンセル」ボタン６１２、「編集終了」ボタン６１３、フォルダ名入力欄６１４、ファイル名入力欄６１５、「日付入力」ボタン６１６、「ユーザＩＤ」入力ボタン６１７から構成される。

スキャン画像表示領域６１１には対象のスキャン画像が表示され、背景がグレーで表示された各文字領域が、ユーザが認識可能に表示される。この例においては、類似すると判定された過去の帳票画像に関する情報に基づいて所定の文字領域に対して文字認識処理が実行されている。具体的には、スキャン画像内の「見積書」の文字領域６１８、「INV20200604」の文字領域６１９に対して文字認識処理がされている。文字領域６１８の左上の記号「Ｐ２」は、過去の帳票画像についてフォルダ名を設定する際に２番目の文字列として利用された文字列が表示されていた文字領域を表す。文字領域６１８の左下の記号「Ｆ１」は、過去の帳票画像についてファイル名を設定する際に１番目の文字列として利用された文字列が表示されていた文字領域を表す。文字領域６１９の左上の記号「Ｆ２」は、過去の帳票画像についてファイル名を設定する際に２番目の文字列として利用された文字列が表示されていた文字領域を表す。このように、これらの文字領域に関する情報は、対象のスキャン画像における文字認識処理の対象となる文字領域とそれぞれ対応している。そして、例えば、フォルダ名入力欄６１４については、１番目の文字列として、スキャンを行った日付（例えば、2020年6月4日）が自動入力されている。そして、２番目の文字列である「見積書」が区切り文字「_」で連結され、「20200604_見積書」として、予め入力されている。また、ファイル名入力欄６１５についても同様に、１番目の文字列について帳票の種別を表す文字列が入力され、２番目の文字列について帳票の管理番号を表す文字列が入力されている。このようにして、ファイル名入力欄６１５には、予め「見積書_INV20201234」といったファイル名候補が表示されることとなる。このように自動入力されたフォルダ名やファイル名を変更したいユーザは、フォルダ名入力欄６１４を押下し、例えばスキャン画像表示領域６１１内の文字領域を指定する。或いは、「日付入力」ボタン６１６や「ユーザＩＤ」入力ボタン６１７を押下することで対応する文字列を入力してもよい。こうして入力される文字列は区切り文字列である「_」で連結される。同様の方法で、ファイル名についてもユーザは任意の修正を行うことができる。なお、文字認識処理がされていない文字領域があった場合は、適宜、ＭＦＰ連携サーバ１２０に文字認識処理をリクエストし、文字認識結果を取得してもよい。

ユーザが「編集終了」ボタン６１３を押下すると、フォルダ名やファイル名が確定して、スキャン済み帳票一覧画面６００に遷移する。遷移後のスキャン済み帳票一覧画面６００における帳票リスト６０１では、確定後の内容がファイル名６０８に反映される。ユーザが「キャンセル」ボタン６１２を押下すると、スキャン済み帳票一覧画面６００に戻る。

＜解析結果の一例＞
図７は、解析処理の結果を示すデータ構造の一例を示す図である。“ｅｎａｂｌｅｄＡｕｔｏＴｒａｎｓｍｉｓｓｉｏｎ”には、対象画像がＳ５１１の自動送信判定処理により、ユーザの確認や学習を行わずにストレージサーバ１３０への送信の可否を示す値（「true」や「false」）が格納される。“ｃｏｎｆｉｄｅｎｃｅ”には、文字認識処理（Ｓ５１０）の結果のうちファイル名欄等に自動入力された文字列単位の確信度（後述する全体確信度）の値が格納される。この値は、０～１までの実数値で表される。そして、当該実数値が大きいほど、文字認識処理（Ｓ５１０）の結果が誤っている可能性が低く、対象画像を自動送信するのに適していることとなる。画像処理部４３２は、この値を参照することで、対象画像をストレージサーバ１３０に自動送信するか、スキャン済み帳票一覧６０１に表示することでユーザの学習・修正を促すかを決定する。クライアントＰＣ（不示図）は、この値を参照することに基づいて、対象帳票を自動でストレージサーバ１３０に送信するか否かを決定する。“ｍａｔｃｈｅｄ”には、Ｓ５０９において、対象画像に係る帳票と類似する種別である帳票をスキャンして得られたスキャン画像である類似帳票が見つかったかどうかを示す値が格納される。“ｆｏｒｍＩｄ”には、類似する帳票があった場合はその帳票を一意に示す値が格納される。他方、類似する帳票がなかった場合には新たな値が発行され、当該新たな値が格納される。“ｍａｔｃｈｉｎｇＳｃｏｒｅ”には、類似する帳票があった場合にどの程度類似していたかを示す値が格納される。“ｍａｔｃｈｉｎｇＳｃｏｒｅ”は過去にスキャンした画像の配置情報と今回スキャンした画像の配置情報とが一致する度合いを０～１までの実数値で表す。そして、当該実数値が大きいほど、今回スキャンした画像は、過去にスキャンした画像に類似しているということになる。“ｒｅｃｔＩｎｆｏＡｒｒａｙ”には、類似する帳票に対して以前にユーザがファイル名を設定したときに使用した文字領域に対応する、今回の解析対象の画像の文字領域を示す情報が格納される。例えば、画像を以前にスキャンして「見積書」と「ＩＮＶ２０２０１２３４」を使用してファイル名を設定し入力結果学習したとする。その後、新規の画像をスキャンして前記スキャン画像と類似帳票判定を行った結果、類似帳票だと判定された場合、“ｒｅｃｔＩｎｆｏＡｒｒａｙ”以下には、入力した情報が自動入力対象の情報として格納される。まず、入力結果学習でＭＦＰ連携サーバ１２０のＨＤＤ３１４に保存された情報から以前に設定した「見積書」と「ＩＮＶ２０２０１２３４」の文字領域の座標情報と一部が重なる文字領域を特定する。すると、一部が重なる文字領域の座標情報と文字とが“ｒｅｃｔＩｎｆｏＡｒｒａｙ”の後述する“ｔｅｘｔ”に格納される。“ｋｅｙ”には、自動入力に使用する文字領域を一意に示す値が格納される。“ｓｃｏｒｅ”には、文字認識処理に対する結果の確からしさを表す指標である確信度を表す値が格納される。確信度は０～１までの実数値で表される。当該実数値が大きいほど、文字認識処理の結果が確からしいという意味になる。“ｒｅｇｉｏｎ”には、文字領域の座標情報とその文字認識した結果抽出した文字が格納される。“ｒｅｃｔ”は抽出した文字領域一つの座標を示す。“ｘ”は領域の左上のＸ座標、“ｙ”は領域の左上のＹ座標、“ｗｉｄｔｈ”は領域のＸ方向のピクセル数、“ｈｅｉｇｈｔ”は領域のＹ方向のピクセル数を示す。“ｔｅｘｔ”は“ｒｅｃｔ”の文字領域を文字認識処理して文字認識を行った結果、抽出された文字を示す。“ｍｅｔａｄａｔａＡｒｒａｙ”には、ファイル名を自動入力するためのファイル名に使用する文字領域の順番と区切り文字がどこに入るかを示す情報が格納される。ファイル名以外にもメタデータなどのプロパティを含む情報が設定されている場合は“ｒｅｃｔＩｎｆｏＡｒｒａｙ”や“ｍｅｔａｄａｔａＡｒｒａｙ”に必要な情報が追加される。“ｋｅｙ”には、スキャン文書に設定する設定値を一意に示す値が格納される。“ｋｅｙＴｙｐｅ”には、“ｋｅｙ”の設定値の種別を示す値が格納される。ファイル名に使用する場合は、“ｋｅｙ”が“ｆｉｌｅｎａｍｅ”で“ｋｅｙＴｙｐｅ”が“ｆｉｌｅｎａｍｅ”となる。“ｖａｌｕｅ”には、“ｋｅｙ”の値に使用する文字領域と区切り文字の情報が格納される。図８の例では“ｒｅｃｔＩｎｆｏＡｒｒａｙ”の中の“ｆｉｌｅＲｅｇｉｏｎ０”の“ｋｅｙ”を持つ領域、区切り文字、“ｆｉｌｅＲｅｇｉｏｎ１”の“ｋｅｙ”を持つ領域の順番でファイル名を自動入力されることになる。

ここまで本発明のシステム構成及びフローについて説明してきたが、ここからはＭＦＰ連携サーバ１２０の画像処理部４３２が行う画像解析処理のうち、本実施形態に重要な自動送信判定処理について説明を行う。

＜自動送信判定処理＞
本実施形態に係る自動送信判定処理のフローの説明に入る前に、前提となる技術事項について確認しておく。文書ファイルをストレージに自動送信するシステムにおいては、「自動送信率」と「誤送信率」が重要になる。「自動送信率」とは、自動送信の対象となった文書ファイルのファイル名やフォルダ名に誤った文字列が設定されることなく自動送信できる割合を示す概念である。他方、「誤送信率」とは、自動送信の対象となった文書ファイルのファイル名やフォルダ名に誤った文字列が設定されて自動送信されてしまう割合を示す概念である。ここで、自動送信率は、以下の式（１）で定義される。
「自動送信率＝自動送信ジョブ数／全ファイリングジョブ数」・・・式（１）
上記式（１）において、自動送信ジョブ数とは、帳票画像の確信度が所定の閾値を超え、自動送信処理が実行された文書ファイルの数である。全ファイリングジョブ数は、ファイリング処理が行われた文書ファイル全ての数である。そして、ユーザによる編集や修正が行われた文書ファイルと自動送信が行われたファイルの両方を足した数となる。

他方、誤送信率は、以下の式（２）で定義される。
「誤送信率＝誤送信ジョブ数／自動送信ジョブ数」・・・式（２）
ユーザの利便性向上のためには、自動送信率は高い方がよく、誤送信率は低い方がよい。ユーザは誤送信を抑制したい程度に応じて、目標とする誤送信率を予め設定する。誤送信率の設定方法としては、例えば所定のＵＩ画面においてスライドバーを操作して設定する方法が挙げられる。本実施形態では、帳票画像全体としての確信度が所定の閾値を上回った場合に自動送信してもよいと判定する。

図８は、自動送信判定処理の流れを示すフローチャートである。本フローチャートによる処理は、ＭＦＰ連携サーバ１２０が有する記憶手段であるＲＯＭ３１２やＨＤＤ３１４に記憶されたプログラムコードがＲＡＭ３１３に展開され、ＣＰＵ３１１によって実行される。自動送信判定処理の前提として、ストレージ保存済みの文書ファイルのファイル名に使用された文字列に関する情報が、設定情報保存処理（Ｓ５１８）によって、ＭＦＰ連携サーバ１２０のＨＤＤ３１４に保持されているものとする。

Ｓ８０１において、画像処理部４３２は、類似帳票判定処理（Ｓ５０９）に結果に基づき処理の振り分けを行う。対象画像に類似する帳票画像が見つかっていた場合はＳ８０２に進み、類似する帳票画像が見つからなかった場合はＳ８０６に進む。

Ｓ８０２において、画像処理部４３２は、文字認識処理（Ｓ５１０）の結果のうちファイル名欄等に自動入力された文字列単位の確信度に基づいて、対象画像全体における確信度（以下、「全体確信度」と呼ぶ。）を抽出する。まず、文字列単位の確信度について確認しておく。文字認識処理では、予め様々な文字についての特徴量（パターン）が登録された辞書データを用いて、入力文字と特徴量が一致する文字を辞書データの中から見つけることにより特定の文字を認識する。したがって、特徴量が一致する割合が高いほど、文字認識結果が正しい（特定された文字が正解である可能性が高い）ことになる。そして、文字に掠れや潰れがあるほど、この一致率は低下する傾向にある。そこで、文字認識結果における特徴量の一致率を求め、これを文字列単位の確信度とする。そして、本ステップでは、対象画像のファイル名等に使用された文字列単位の確信度の平均値等を算出するなどの方法により、対象画像全体についての確信度である全体確信度を求める。なお、全体確信度を求める際には、さらに別の情報を加味してもよい。一例として、類似帳票画像に関する情報、文字領域に関する情報、文字認識結果に関する情報がある。以下、それぞれについて説明する。

≪類似帳票画像に関する情報≫
類似帳票画像に関する情報は、対象画像が類似すると判定された帳票画像と本当に同一であるかを示す情報であり、類似度スコア、類似スコアが一定以上の帳票画像が他に存在したかといった情報が想定される。他には、当該帳票画像が類似すると判定された累積回数、類似すると判定された直近の日時、ユーザによるファイル名等の修正履歴等がある。

≪文字領域に関する情報≫
文字領域に関する情報は、対象画像と類似帳票画像の間で対応関係にある、ファイル名等に利用された文字領域についての情報である。具体的には、全体位置合わせ結果の差異や部分位置合わせ結果の差異の情報、文字領域高さの差分の情報、文字領域幅の差分の情報、周囲に類似している文字領域があるか否かといった情報が想定される。さらに、類似帳票画像におけるこれらの情報の履歴情報等の利用も考えられる。

≪文字認識結果に関する情報≫
文字認識結果に関する情報は、対象画像と類似帳票画像の間で対応関係にある、ファイル名等に利用された文字列についての情報である。具体的には、文字毎の文字認識処理の信頼度スコアの情報、文字毎の文字認識結果における次候補以降の文字の信頼度スコアの情報、文脈情報を考慮した文字列単位の信頼度スコアの情報が想定される。他にも、類似帳票画像に類似すると判定された過去の帳票画像群の文字認識結果から推定される文字列フォーマットの情報、文字認識結果の間違い傾向の情報が想定される。文字列フォーマットは、対応する文字領域には常に同一の文字列が入るのか、それとも別の文字列が入り得るのか、文字列幅が固定なのか可変なのか、文字列に数字が含まれるのか含まれないのか、等の情報が想定される。文字認識結果の間違い傾向については、文字認識モジュールとしての間違い傾向の情報や、ユーザ毎の間違い傾向の情報等が想定される。

本実施形態では、上記のようにして求めた全体確信度を０～１に正規化し、最も確からしい場合が１になるものとする。なお、全体確信度の求める方法として、例えば、上記の情報を特徴量化して入力データとし、サンプルデータに対する正誤データを用意して、機械学習を行い、生成された識別機（学習済みモデル）を利用して全体確信度を求めてもよい。ここで、サンプルデータは、ユーザのユースケースを想定して、開発者が作成もしくは収集した帳票画像であり、自動送信可能かどうかのフラグ（正誤データ）等が付加されているデータである。機械学習手法は、ニューラルネットワークやＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）等の公知の２値分類可能な手法を用いて、出力結果を０～１に正規化すればよい。または、個別にルールを作成して、組み合わせる形を取っても良い。個別のルールは機械学習を用いて生成しても良いし、サンプルデータ（ユーザのユースケースを想定して、開発者が作成もしくは収集したデータ）をもとに人手で作成しても良い。

図８のフローの説明に戻る。
Ｓ８０３において、画像処理部４３２は、上述のようにして求めた全体確信度に基づいて自動送信するか否か判定する際に用いる閾値（以下、「確信度閾値」と呼ぶ。）を決定する。本フローの開始直後の時点では、デフォルトの確信度閾値が設定されている。ここで、自動送信率を上げるためにデフォルトの確信度閾値を低くすると、誤送信率が上昇してしまう。通常は、誤送信率を所定以下に収めることが可能な範囲で確信度閾値を低くして、自動送信率を向上させることが求められる。デフォルトの確信度閾値は、このような点を考慮して決定されている。なお、確信度閾値設定処理の詳細については、図９を用いて後述する。

Ｓ８０４において、画像処理部４３２は、Ｓ８０２で抽出された全体確信度とＳ８０３で決定された確信度閾値とに基づいて、対象画像の文書ファイルの自動送信可否を判定する。具体的には、全体確信度が確信度閾値を超えていた場合には、Ｓ８０５に進む。他方、全体確信度が、確信度閾値を超えていない場合には、Ｓ８０６に進む。例えば、前述の図７の例では、Ｓ８０２で抽出される全体確信度は“０．９”である。そして、Ｓ８０３で決定される確信度閾値は、“０．７６７”である。従って、この例では、全体確信度が確信度閾値を超えるので、Ｓ８０５に進むこととなる。

Ｓ８０５において、画像処理部４３２は、対象画像に関し「自動送信可能」であることを示す付帯情報を設定する。この付帯情報としては、例えば自動送信可能であることを２値で表すフラグ（例えば「自動送信可能」の場合に“１”を「自動送信不可能」の場合に“０”を付与）などが考えられる。こうして「自動送信可能」となった場合、自動送信の可否に関する表示が「“ｅｎａｂｌｅｄＡｕｔｏＴｒａｎｓｍｉｓｓｉｏｎ”：true」となる（図７を参照）。

Ｓ８０６において、画像処理部４３２は、対象画像に関し、「自動送信不可能」であることを示す付帯情報として、例えば上述のフラグを設定する。

以上が、自動送信判定処理の内容である。なお、上述のＳ８０４の処理で全体確信度が確信度閾値を超えていた場合であっても、過去に行われた類似帳票判定処理に関する情報を参照して、対象画像に係る帳票と類似すると判定された帳票画像の数が所定の数以下である場合は、Ｓ８０６に進んでもよい。そして、その類似すると判定された帳票画像に関する情報を取得するようにしてもよい。

＜確信度閾値設定処理＞
続いて、確信度閾値設定処理（Ｓ８０３）について詳しく説明する。図９は、確信度閾値設定処理の流れを示すフローチャートである。

Ｓ９０１では、確信度閾値の再算出を必要とする一定の条件が満たされたか否かが判定される。例えば、前回の再算出から所定期間（例えば１か月）経過した、前回の再算出後に所定回数（例えば１０回）設定情報保存処理（Ｓ５１８）が実行されたといった場合に、確信度閾値の再算出が必要であると判定する。確信度閾値の再算出が必要であると判定された場合、Ｓ９０２に進む。他方、確信度閾値の再算出が必要ないと判定された場合は、Ｓ９０８に進む。

Ｓ９０２では、過去の設定情報保存処理で保存された帳票学習の結果とＳ８０２にて導出された全体確信度とに基づいて、過去の誤送信率が導出される。具体的には、まず、過去の帳票画像について、ユーザがファイル名等を修正した場合にはその文字認識処理の結果に誤りがあったと推定し、修正しなかった場合には誤りがなかったと推定する処理を行う。そして、誤りがあったと推定された場合（「誤」と表記）と誤りがなかったと推定された場合（「正」と表記）をまとめた正誤情報を得る。そして、過去の誤送信率を導出する。ここで、図１０（ａ）を参照して、過去の誤送信率がどのように導出されるのかを説明する。いま、図１０（ａ）のテーブル１０００には、０．１刻みの全体確信度毎に得た正誤情報が３列目と４列目に示されている。正誤情報を集計する単位は、０．１に限定されるものではなく、スキャン画像の数に応じて、適宜変更すればよい。

図１０（ａ）のテーブル１０００において、１列目の値Ａ及び２列目の値Ｂは、全体確信度の範囲を示す。そして、０．１刻みの１行毎に、「値Ａ≦全体確信度＜値Ｂ」の条件を満たす全体確信度を持つ対象画像の正誤情報を収集している。図１０（ａ）のテーブル１０００の３列目は、「正」と推定された過去の帳票画像の数を示し、４列目は「誤」と推定された過去の帳票画像の数を示す。そして、５列目は自動送信された過去の帳票画像の数を示し、６列目は「誤」と推定された過去の帳票画像と「正」と推定された過去の帳票画像とを合計した数である。この場合において特定の行（例えば３行目から６行目）のスキャン画像の数については、直近のデータほど、推定に与える影響が大きくなるように重みをつけてもよい。例えば、直近の帳票画像については１枚の重みでカウントし、古いものほど重みを減らしていき、一定以上古い帳票画像については、カウントをしないといった具合である。７列目は、以下の式（３）で表される「区間内誤送信率」を示す。

「区間内誤送信率＝４列目の「誤」の数／６列目のスキャン画像数」・・・式（３）
ここで、図１０（ａ）の例では８行目からデータが欠損している（「データなし」の部分）。これは、確信度閾値が“０．７”に設定されていたことに因るもので、確信度閾値が０．７を超えるスキャン画像については自動送信がなされたことを意味している。従って、全体確信度が“０．７”を超える領域については正誤情報が存在せず、区間内誤送信率も算出されない。

Ｓ９０３では、Ｓ９０２で導出した過去の誤送信率において欠損しているデータが推定される。ここでの推定は、過去に自動送信されたスキャン画像のプロパティを構成する文字列として提示された文字認識処理の結果が誤っていた割合を推定する処理と言い換えることができる。そして、この推定には公知の外挿手法を用いればよく、サンプルデータにおける合致度が高いモデルを利用すればよい。保守的な推定を行いたい場合（誤送信の抑制を重視する場合）は、モデルフィット時に誤送信率が高くなるようにする。これは、モデルへのフィッティングエラーのペナルティ項について、低くなる方向のずれのペナルティの重みを重くし、高くなる方向のずれのペナルティの重みを軽くすればよい。また、過去の帳票画像の数が少ない区間については、外挿もしくは内挿した値を、その区間の誤送信率として利用するようにしてもよい。外挿の１つの例を図１０（ｂ）に示す。図１０（ｂ）のテーブル１１００において、１列目の値Ａと２列目の値Ｂは、図１０（ａ）のテーブル１０００における１列目と２列目と同一である。３列目の代表閾値は、以下の式（４）で算出した値である。
「（Ａ＋Ｂ）／２」・・・式（４）
本実施形態では、外挿値の計算に利用するために、Ａ～Ｂの区間における中央の値を代表閾値として扱っている。そして、図１０（ｂ）のテーブル１１００の４列目の実測値は、図１０（ａ）のテーブル１０００の７列目と同一の値である。５列目の外挿値は、データが欠損している部分について、３列目の代表閾値の値と、４列目の実測値を利用して、外挿して求めた値である。この例では、指数近似により、外挿値を求めている。

図１０（ｃ）のグラフ１２００は、図１０（ｂ）のテーブル１１００における３列目の代表閾値の値と、４列目の実測値をプロットしたグラフである。このグラフ中の実線は、実測値をプロットした結果であり、点線は指数近似の結果を示す。図１０（ｃ）のグラフ１２００において、点線と実線は大きく乖離しておらず適切に外挿できていることが分かる。

Ｓ９０４では、Ｓ９０４で得た外挿結果を利用して、現状の誤送信率が導出される。Ｓ９０３までで、確信度の区間毎における区間誤送信率が推定できているので、この区間誤送信率を用いて、現状の誤送信率を導出する。図１０（ｄ）に、導出された現状の誤送信率の具体例を示す。

図１０（ｄ）のテーブル１３００において、１列目の値Ａと２列目の値Ｂは、図１０（ａ）のテーブル１０００における１列目と２列目と同一である。３列目のスキャン画像数は、図１０（ａ）のテーブル１０００の６列目と同一である。４列目の区間内誤送信率は、図１０（ｂ）のテーブル１１００の５列目の実測値と６列目の外挿値をマージした結果になっている。５列目の誤送信数は、各行のスキャン画像の数と区間内誤送信率を掛け合わせた結果になっており、全体確信度が“０．７”より大きい区間については推定値である。６列目の「値Ａ以上の累積した誤送信数」における各行の値は、該当行と該当行より１つ下にある５列目の誤送信数を足したものである。これは、確信度閾値が各行の値Aであるときに想定される誤送信数に相当する。この例においては、確信度閾値が“０．７”である場合の誤送信率は、１列目の値Ａが“０．７”である行の８列目の値Ａの場合の誤送信率、すなわち、０．５０％である。このような方法によれば、文書ファイルを自動送信したために「データなし」となっている区間も含めて区間毎の誤送信率を推定し、全ての区間について、現状における誤送信率を推定することが可能となる。

Ｓ９０５では、Ｓ９０４で推定した現状の誤送信率が目標誤送信率上限を上回るか否かが判定される。一般的に、確信度閾値を１に近づける程、誤送信率は低下するが、自動送信の対象となる文書ファイルは減り、自動送信率は低下することになる。他方、確信度閾値を０に近づける程、自動送信の対象となる文書ファイルは増え、自動送信率も増えるが、誤送信率は高くなる。これらを踏まえ、ユーザは、目標誤送信率を予め設定しておく。ここでは、目標誤送信率には上限と下限があり、幅があることを前提としている。これは、確信度閾値がバラつき、システムの挙動が不安定になることを防ぐためである。ただし、目標誤送信率に上限と下限を設けずに常に目標誤送信率となる確信度閾値を計算し直すようにしてもよい。推定誤送信率が目標誤送信率の上限を超える場合、Ｓ９０７に進む。他方、推定誤送信率が目標誤送信率の上限を超えない場合、Ｓ９０６に進む。

Ｓ９０６では、Ｓ９０４で推定した現状の誤送信率が目標誤送信率下限を下回るか否かが判定される。推定誤送信率が目標誤送信率の下限を下回る場合、Ｓ９０７に進む。他方、推定誤送信率が目標誤送信率の下限を下回らない場合、Ｓ９０８に進む。

Ｓ９０７では、目標誤送信率を達成できる新たな確信度閾値が算出され設定される。新たな確信度閾値の算出に先立って、Ｓ９０４と同様な方法で区間毎の誤送信率を計算する。そして、目標誤送信率に近い値となる全体確信度の閾値群を求めて、補間演算を行い、目標誤送信率となる新たな確信度閾値を設定する。補間演算は線形演算等の公知の方法で行えばよい。なお、目標誤送信率に上限と下限を設けていた場合は、誤送信率がその目標誤送信率の上限と下限の範囲内に入るように、新たな確信度閾値を算出する。例えば、誤送信率が目標誤送信率の上限値となるような確信度閾値を算出してもよいし、誤送信率が目標誤送信率の上限と下限の中央値となるような確信度閾値を算出してもよい。また、例えば、現状の誤送信率が目標誤送信率の上限を超えている（Ｓ９０５でＹＥＳ）の場合は、誤送信率が目標誤送信率の上限値となるような確信度閾値を算出してもよい。一方、現状の誤送信率が目標誤送信率の下限を下回っている（Ｓ９０６でＹＥＳ）の場合は、誤送信率が目標誤送信率の下限値となるような確信度閾値を算出する、というようにしてもよい。いずれの場合も、新たに算出・設定された確信度閾値によって、誤送信率が目標誤送信率を達成できる（目標誤送信率の上限と下限の範囲内に収まる）ようになる。

Ｓ９０８では、現状の確信度閾値が維持される。

以上が、確信度閾値設定処理の内容である。ここで、新たな確信度閾値を設定する場合におけるＳ９０１以下の処理について、具体例を用いて説明する。また、この例の前提として「見積書」の文書ファイルを自動送信するための確信度閾値のデフォルト値として「０．７～０．８」と設定されていたものとする。

例えば、再算出を行う条件として前回の確信度閾値再算出から2週間以上が経過していることであった場合に1か月経過したとする。この場合、確信度閾値の再算出が必要であると判定される（Ｓ９０１で、Ｙｅｓ）。

次に、過去の誤送信率を導出する。まず、「１÷２１×１００＝９５．２３８・・・」という具合に、全体確信度が“０～０．１”、“０．１～０．２”、“０．２～０．３”、・・・といった具合に区間内誤送信率を算出する（図１０（ａ）参照）。その次に、データの実測値が存在しない確信度“０．７”以降については、これまでに算出した区間内誤送信率（９５．２４％、５０．００％、２３．０８％・・・等）を指数近似することにより外挿する（Ｓ９０４）。これにより、データの実測値が存在しない確信度“０．７”以降についての区間内誤送信率（０．９４％、０．４９％、０．２６％・・・等）を算出する（図１０（ｂ）参照）。

そして、外挿結果を利用して、現状の誤送信率を導出する。すなわち、確信度が“０．７”から“０．８”の場合における誤送信率を導出する（Ｓ９０５）。ここでは誤送信率は「０．５０％」となる（図１０（ｄ）参照）。

そして、導出された現状の誤送信率（０．５０％）について、ユーザが任意に設定した目標誤送信率の上限を上回るか否かを判定する（Ｓ９０６）。いま、誤送信率の上限として０．４％が設定されていたとする。そうすると、現状の誤送信率が目標誤送信率の上限を超えることになるので、Ｓ９０８に進む。

次に、目標誤送信率の上限（ここでは０．４％）と、確信度閾値が“０．７”であるときの誤送信率０．５％と、確信度閾値が０．８であるときの誤送信率０．３５％を利用した線形補間によって新たな確信度閾値を算出する（図１０（ｄ）参照）。具体的には、０．７＋（０．５－０．４）／（０．５－０．３５）×（０．８－０．７）≒０．７６７が得られる（この計算により、誤送信率が０．４になると想定される確信度閾値を求めることができる）。こうして得られた値“０．７６７”を、新たな確信度閾値として設定する（Ｓ９０８）。

[変形例]
上述の実施形態では、過去の帳票画像全てを参照して新たな確信度閾値を算出し設定していた。参照する過去の帳票画像を一部に限定もしてもよい。例えば、対象画像と類似している帳票画像（すなわち、文書のフォーマットが同一である過去の帳票画像）に限定してもよい。この場合、対象画像に類似する帳票画像が所定の数以上（例えば、１００個以上）蓄積されていることを条件としてもよい。これにより、確信度閾値の算出精度がより向上する。また、類似する帳票画像が所定数以上あることを条件とした場合において、その中の一定の割合（例えば半分）だけを参照するようにしてもよい。

また、本変形例における過去の類似する帳票画像の範囲は、適宜変更可能である。例えば、文字領域の性質に基づいて類似する帳票画像の範囲を規定する。以下に、文字領域の性質の具体例を示す。
・固定文字列固定幅領域
固定文字列固定幅領域は、常に同一の文字列を含み、かつ、常に同じ幅となる文字領域を指す。ここで、「固定文字列」とは、所定の文字領域に含まれる文字列が常に同一の文字列であることを意味する。また「固定幅領域」は、その文字領域に含まれる文字列は常に同じ文字数であり、常に同一の幅を有していることを意味する。
・複数文字列候補可変幅領域
複数文字列候補可変幅領域は、文字領域に含まれ得る文字列として複数の文字列候補があり、幅が可変の文字領域を指す。ここで、「複数文字列候補」とは、文字領域に含まれる可能性がある文字列として複数の候補があることを意味する。「可変幅領域」とは、文字領域の幅が変化する可能性があることを意味する。
・可変文字列固定幅領域（数字なし）
可変文字列固定幅領域（数字なし）は、文字領域に含まれる文字列は可変であるが数字が入ることはなく、常に同じ幅の文字領域を指す。ここで、「可変文字列」とは、文字領域に含まれる文字列が可変であるという意味である。また、「数字なし」とは、文字領域に含まれる文字列を構成する文字が数字以外であることを意味する。
・可変文字列固定幅領域（数字込み）
「可変文字列固定幅領域（数字込み）」は、文字領域に含まれる文字列が可変であって数字が入ることもあり、常に同じ幅の文字領域を指す。
・可変文字列可変幅領域（数字なし）
「可変文字列固定幅領域（数字なし）」は、文字領域に含まれる文字列が可変であって数字が入ることはなく、その幅が可変である文字領域を指す。
・可変文字列可変幅領域（数字込み）
「可変文字列固定幅領域（数字込み）」は、文字領域に含まれる文字列が可変であって数字が入ることもあり、常に同じ幅の文字領域を指す。

なお、上述の各文字領域の性質に関する情報については、確信度算出のステップ（Ｓ８０２）で取得しておけばよい。

以上説明したように本実施形態によれば、文書ファイルの自動送信可否の判定に用いる確信度の適切な信頼度合いを柔軟に設定することができる。

［他の実施形態］
本開示の技術は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ ＭＦＰ
１２０ ＭＦＰ連携サーバ
１３０ ストレージサーバ
４２１ 表示制御部
４３１ リクエスト制御部
４３２ 画像処理部
４３４ データ管理部

Claims (16)

1. 文書のスキャン画像に対する文字認識処理の結果をプロパティに用いて文書ファイルを自動送信するための画像処理装置であって、
   前記文字認識処理の結果の確からしさを表す確信度を抽出する抽出手段と、
   前記抽出手段で抽出された前記確信度が所定の閾値を超える場合に、前記文字認識処理の結果をプロパティに用いた文書ファイルを自動送信可能と判定する判定手段と、
   前記所定の閾値を設定する設定手段と、
   を備え、
   前記設定手段は、自動送信される文書ファイルの誤送信率が、目標とする誤送信率を達成できるように、前記所定の閾値を設定する、
   ことを特徴とする画像処理装置。
2. 前記設定手段は、
   過去に自動送信されなかったスキャン画像のプロパティを構成する文字列として提示された文字認識処理の結果が誤っていた第１の割合を導出する導出手段と、
   前記第１の割合の導出の対象に含まれない、過去に自動送信されたスキャン画像のプロパティを構成する文字列として提示された文字認識処理の結果が誤っていた第２の割合を推定する推定手段と、
   前記導出手段が導出した第１の割合と前記推定手段が推定した第２の割合とに基づいて、予め定められた前記目標とする誤送信率に応じた前記所定の閾値を決定する決定手段と、
   を有する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記導出手段は、前記過去に自動送信されなかったスキャン画像のうち新しいスキャン画像ほど、確信度が高くなるように重み付けを行う、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記推定手段は、外挿することにより前記推定を行うことを特徴とする請求項２に記載の画像処理装置。
5. 前記決定手段は、線形補間することにより前記所定の閾値を決定することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記設定手段は、一定の条件が満たされた場合に、前記導出手段、前記推定手段及び前記決定手段を用いて、前記所定の閾値を決定することを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記過去に自動送信されなかったスキャン画像及び前記過去に自動送信されたスキャン画像は、処理対象のスキャン画像に係る文書のフォーマットと同一のフォーマットの文書のスキャン画像であることを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
8. 前記過去に自動送信されなかったスキャン画像及び前記過去に自動送信されたスキャン画像は、処理対象のスキャン画像に係る文書のフォーマットと同一のフォーマットの文書のスキャン画像であって、所定の数以上のスキャン画像であることを特徴とする請求項７に記載の画像処理装置。
9. 前記判定手段にて自動送信可能と判定されたスキャン画像の文書ファイルを生成する生成手段をさらに備えたことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記生成手段が生成した前記文書ファイルを外部装置に送信する送信手段をさらに備えたことを特徴とする請求項９に記載の画像処理装置。
11. 前記プロパティは、前記スキャン画像のファイル名であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記プロパティは、前記文書ファイルが保存されるフォルダ名であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
13. 前記目標とする誤送信率に上限と下限とが設けられている場合、前記設定手段は、前記自動送信される文書ファイルの誤送信率が、前記上限と下限との範囲内のいずれかの値となる場合の前記確信度に係る閾値を算出し、当該算出した閾値を前記所定の閾値として設定することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記請求項１０に記載の画像処理装置と、
    前記送信手段が送信した文書ファイルを受信する受信手段と、
    を備えるサーバ装置と、
    を有することを特徴とする画像処理システム。
15. 文書のスキャン画像に対する文字認識処理の結果をプロパティに用いて文書ファイルを自動送信するための画像処理装置の制御方法であって、
    前記文字認識処理の結果の確からしさを表す確信度を抽出する抽出ステップと、
    前記抽出ステップにて抽出された前記確信度が所定の閾値を超える場合に、前記文字認識処理の結果をプロパティに用いた文書ファイルを自動送信可能と判定する判定ステップと、
    前記所定の閾値を設定する設定ステップと、
    を含み、
    前記設定ステップでは、自動送信される文書ファイルの誤送信率が、目標とする誤送信率を達成できるように、前記所定の閾値を設定する、
    ことを特徴とする制御方法。
16. コンピュータを、請求項１乃至１３のいずれか一項に記載の装置として機能させるためのプログラム。

Images