JP2020154667A - 情報処理装置、方法及びプログラム - Google Patents

Abstract

【課題】撮像によって得られた画像のユーザーによる確認作業の効率性を向上させることを課題とする。【解決手段】情報処理装置において、複数の対象を撮像することによって得られた複数の画像を取得し、複数の画像の夫々について、所定の属性を有することの確信度を取得し、複数の画像の夫々について、確信度が所定の基準未満であるか否かを判定し、確信度が所定の基準未満であると判定された画像をユーザーに通知することとした。【選択図】図７

Description

本開示は、画像を処理するための技術に関する。

従来、認識対象の帳票の全体の特徴を抽出し、当該特徴を既存の帳票の全体の特徴データと照合して認識対象の帳票のフォーマットを認識する第１のフォーマット認識系と、認識対象の帳票の一部の特徴を抽出し、当該特徴を既存の帳票の一部の特徴データと照合して認識対象の帳票のフォーマットを認識する第２のフォーマット認識系と、を備えるフォーマット認識装置が提案されている（特許文献１を参照）。

特開平１１−２５９５９７号公報

従来、情報として保存したい対象（例えば、帳票、文書、名刺、レシート又は写真／イラスト等）を撮像し、撮像によって得られた画像データを保存することで、対象に係る情報を電子化することが行われている。また、この際、保存される情報の品質を確保するために、画像が所定の属性（例えば、帳票の種類、カラー／白黒、画像の向きが正しいか否か、白紙か否か、パンチ穴検出又は原稿折れ検出等）を有しているか否かを自動的に判定し、必要な処理を行うことが行われている。

しかし、電子化において画像の属性判定の正確性を担保するためには、自動判定によって得られた画像の属性が正しいか否かをユーザーが目視で確認する他なく、確認作業の効率が悪かった。

本開示は、上記した問題に鑑み、撮像によって得られた画像のユーザーによる確認作業の効率性を向上させることを課題とする。

本開示の一例は、複数の対象を撮像することによって得られた複数の画像を取得する画像取得手段と、前記複数の画像の夫々について、該画像が前記所定の属性を有することの確信度を取得する確信度取得手段と、前記複数の画像の夫々について、前記確信度が所定の基準未満であるか否かを判定する確信度判定手段と、前記確信度が所定の基準未満であると判定された画像をユーザーに通知する通知手段と、を備える情報処理装置である。

本開示は、情報処理装置、システム、コンピューターによって実行される方法またはコンピューターに実行させるプログラムとして把握することが可能である。また、本開示は、そのようなプログラムをコンピューターその他の装置、機械等が読み取り可能な記録媒体に記録したものとしても把握できる。ここで、コンピューター等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的または化学的作用によって蓄積し、コンピューター等から読み取ることができる記録媒体をいう。

本開示によれば、撮像によって得られた画像のユーザーによる確認作業の効率性を向上させることが可能となる。

実施形態に係るシステムの構成を示す概略図である。 実施形態に係る情報処理装置の機能構成の概略を示す図である。 実施形態に係る帳票電子化処理の流れの概要を示すフローチャートである。 実施形態に係る部分チェック補助処理の流れの概要を示すフローチャートである。 実施形態の部分チェック補助処理における品質確認画面を示す図である。 実施形態における補正候補提示画面を示す図である。 実施形態に係る優先チェック補助処理の流れの概要を示すフローチャートである。 実施形態の優先チェック補助処理における品質確認画面を示す図である。 実施形態に係る全数チェック補助処理の流れの概要を示すフローチャートである。

以下、本開示に係る情報処理装置、方法及びプログラムの実施の形態を、図面に基づいて説明する。但し、以下に説明する実施の形態は、実施形態を例示するものであって、本開示に係る情報処理装置、方法及びプログラムを以下に説明する具体的構成に限定するものではない。実施にあたっては、実施の態様に応じた具体的構成が適宜採用され、また、種々の改良や変形が行われてよい。

本実施形態では、本開示に係る情報処理装置、方法及びプログラムを、電子化帳票の品質確認作業補助システムにおいて実施した場合の実施の形態について説明する。但し、本開示に係る情報処理装置、方法及びプログラムは、撮像によって得られた画像のユーザーによる確認作業を行うための技術について広く用いることが可能であり、本開示の適用対象は、実施形態において示した例に限定されない。例えば、本開示に係る技術は、帳票、文書、名刺、レシート又は写真／イラスト等を含む様々な対象を撮像して画像データを保存するシステムにおいて、帳票の種類、カラー／白黒、画像の向きが正しいか否か、白紙か否か、パンチ穴検出又は原稿折れ検出等を含む様々な属性を確認する際に用いられてよい。

帳票の電子化業務では、大量の帳票を処理することが多く、同時に、原本破棄を前提としたアーカイブ目的である事情から、成果物として、非常に高い精度の分類・判定を要求されることが多い。このため、従来、正確な電子化を行う為に、対象の撮像によって画像データが得られた後、画像の品質確認の工程が設けられている。従来の品質確認作業では、オペレーターが画像を１枚１枚目視で確認することで、必要としている品質基準を満たしているか判断し、修正が必要と判断された場合には、画像の補正や、再スキャンが行われていた。品質確認作業の例としては、例えば、（１）白黒二値に変換すべき種類の帳票であるにもかかわらず、白黒二値の画像ではなかったため、白黒二値化を実施する作業や、（２）画像の向きが誤っていたため、画像を回転して正しい向きに修正する作業、（３）白紙原稿なのに、その画像が出力されることとなっていたので、画像を出力しないように修正する（削除フラグを付与する）作業、等が挙げられる。

しかし、判定結果のチェックを人力で実施する電子化業務の現場では、（１）作業を実施するオペレーターは、毎日大量の帳票を処理しているため、判定の失敗を見逃してしまう可能性があるといった問題や、（２）判定失敗の見逃しを防ぐために１枚ずつ時間をかけてチェックするか、複数人のオペレーターでチェックする運用にするため、電子化業務の効率が悪くなってしまう、といった問題が存在する。

このため、従来、帳票判定、原稿向き判定、白紙判定、原稿色判定、パンチ穴判定、原稿折れ判定等の判定処理、及び、その判定結果に合わせて画像毎に適切な補正を行う補正処理等の、電子化を補助するための技術が採用されている。例えば、判定／補正処理の例として、（１）帳票判定において、所定の帳票種類であると判定されたら、当該帳票の画像については色を白黒二値に補正し、他の帳票種類であると判定され画像についてはカラーで出力する、という判定／補正処理や、（２）原稿向き判定で、上下逆だと判定したら、画像を１８０度回転させて、上向きの画像に補正する判定／補正処理、（３）白紙判定で、白紙原稿と判定したら、その画像を出力しない（削除する）、という判定／補正処理等が挙げられる。

しかし、自動的な判定／補正処理では、帳票電子化のための判定／補正を十分な品質及び精度で行うことは困難であった。そのため、実際の帳票の電子化業務では、帳票１枚１枚の判定結果のチェックを人力で実施する現場が多く存在する。

即ち、従来の品質確認作業では、時間と手間がかかってしまい、効率的な電子化を実現できていない。一方で、目視での確認を行わない自動的な判定／補正処理のみでは、電子化の品質を確保することができない。以上のような状況に鑑み、本実施形態において説明するシステムでは、オペレーターがスキャン画像１枚１枚を目視で判断する手間を減らしつつ、電子化する成果物の精度を高く維持するために、（１）品質確認作業により注意を要するか否かを、判定処理の確信度（後述する）を基にユーザーへフィードバックする手段、及び（２）品質確認作業において補正が必要と判断された際により楽に補正できる手段、を提供することで、大量の帳票があっても、判定の失敗を漏れなく（オペレーターが見逃すことなく）、一方で工数はかけずに、正しく検出・補正することを可能とした。

＜システムの構成＞
図１は、本実施形態に係るシステムの構成を示す概略図である。本実施形態に係るシステムは、ネットワーク又はその他の通信手段を介して互いに通信可能に接続されたスキャナー３および情報処理装置１を備える。

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置１４、キーボードやマウス、タッチパネル等の入力デバイス１５、ディスプレイ等の出力デバイス１６、及び通信ユニット１７、等を備えるコンピューターである。但し、情報処理装置１の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、情報処理装置１は、単一の筐体からなる装置に限定されない。情報処理装置１は、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてよい。

スキャナー３は、ユーザーがセットした、文書、名刺、レシートまたは写真／イラスト等の原稿を撮像することで、画像データを取得する装置である。なお、本実施形態では、対象の画像を取得するための装置としてスキャナー３を例示したが、画像を取得するために用いられる装置は所謂スキャナーに限定されない。例えば、デジタルカメラや、スマートフォン／タブレットに内蔵されているデジタルカメラを用いて対象を撮像し、画像を得ることとしてもよい。

本実施形態に係るスキャナー３は、撮像によって得られた画像データを、ネットワークを介して情報処理装置１に送信する機能を有する。また、スキャナー３は、タッチパネルディスプレイやキーボード等の、文字入出力や項目選択を可能とするためのユーザーインターフェース、及びＷｅｂブラウズ機能やサーバー機能を更に有していてもよい。本実施形態に係る方法を採用可能なスキャナーの通信手段およびハードウェア構成等は、本実施形態における例示に限定されない。

図２は、本実施形態に係る情報処理装置１の機能構成の概略を示す図である。情報処理装置１は、記憶装置１４に記録されているプログラムが、ＲＡＭ１３に読み出され、ＣＰＵ１１によって実行されて、情報処理装置１に備えられた各ハードウェアが制御されることで、画像取得部２１、画像判定部２２、画像補正部２３、確信度取得部２４、確信度判定部２５、通知部２６、補正候補提示部２７、入力受付部２８及びパラメータ補正部２９を備える情報処理装置として機能する。なお、本実施形態及び後述する他の実施形態では、情報処理装置１の備える各機能は、汎用プロセッサであるＣＰＵ１１によって実行されるが、これらの機能の一部または全部は、１または複数の専用プロセッサによって実行されてもよい。

画像取得部２１は、複数の対象を撮像することによって得られた複数の画像を取得する。

画像判定部２２は、複数の画像の夫々について、画像が所定の属性を有することの確信度（尤度）を算出し、算出された確信度に基づいて、当該画像が所定の属性を有するか否かを判定する（以下、「属性判定処理」と称する）。本実施形態では、どれだけその属性が尤もらしいかを示す値（確信度／尤度）を算出し、この値に基づいて属性の判定が行われる。例えば、複数の属性候補がある場合は、確信度が最も高い候補に基づいて、属性の判定が行われる。例えば、原稿向き判定で、原稿が正しい方向である確信度が６０％、１８０度回転した方向である（１８０度の回転補正が必要）確信度が４０％の場合、原稿が正しい方向であると判定される。なお、本実施形態では、画像に対して加えられるべき補正に係る内容が、所定の属性として判定される。但し、画像判定部２２によって判定される属性は、撮像された画像から取得可能な属性であればよく、本実施形態における例示に限定されない。

画像補正部２３は、取得された画像を補正する。なお、画像補正部２３は、最も確信度の高い補正内容（属性）に従って自動的に画像を補正してもよいし、ユーザーの指示する補正内容に従って画像を補正してもよい。

確信度取得部２４は、複数の画像の夫々について、画像判定部２２によって算出された、所定の属性についての確信度を取得する。

確信度判定部２５は、複数の画像の夫々について、画像の属性についての確信度が所定の基準未満であるか否かを判定する。

通知部２６は、画像判定手段によって確信度が所定の基準未満であると判定された画像と、当該画像が有すると判定された所定の属性（確信度が所定の基準未満であると判定された属性の内容）とを、画像判定手段による判定結果として、出力デバイス１６を介してユーザーに通知する。

ここで、通知部２６は、確信度が所定の基準未満ではない画像を含む全ての画像をユーザーに提示する場合、確信度が所定の基準未満であると判定された画像に所定の表示（例えば、紫色や赤色の枠）を付して出力することで、確信度が所定の基準未満であると判定された画像をユーザーに通知する。この際、通知部２６は、確信度の低い画像を優先的に（作業の開始後早い段階でユーザーに提示されるように）通知することが好ましい。これは、人の目による確認作業の場合、作業の開始から時間が経過するほど、疲れや集中力の低下により、品質が基準を満たさない画像をユーザーが見過ごしてしまう確率が上がると考えられるためである。

また、通知部２６は、複数の画像のうち確信度が所定の基準未満であると判定された画像のみをユーザーに提示することで、確信度が所定の基準未満であると判定された画像をユーザーに通知してもよい。

補正候補提示部２７は、出力デバイス１６を介して、補正候補をユーザーに提示する。対象の画像が未補正の画像である場合、補正候補提示部２７は、最も確信度の高い補正内容を補正候補としてユーザーに提示する。また、対象の画像が画像補正部２３による補正済みの画像である場合、補正候補提示部２７は、２番目以降に確信度の高い補正内容を補正候補としてユーザーに提示する。また、この際、補正候補提示部２７は、補正内容毎の確信度の順に従って（確信度が高い補正内容を優先的に）、ユーザーに補正候補を提示する。

入力受付部２８は、入力デバイス１５を介して、通知部２６による通知を受けたユーザーによる、画像判定部２２による判定結果の正誤に関する入力を受け付ける。

パラメータ補正部２９は、受け付けられた正誤の入力に従って、画像判定部２２によって用いられるパラメータを変更する。

＜処理の流れ＞
次に、本実施形態に係る情報処理装置１によって実行される処理の流れを説明する。なお、以下に説明する処理の具体的な内容および処理順序は、本開示を実施するための一例である。具体的な処理内容および処理順序は、本開示の実施の形態に応じて適宜選択されてよい。

図３は、本実施形態に係る帳票電子化処理の流れの概要を示すフローチャートである。本フローチャートに示された処理は、帳票の電子化作業が開始されたことを契機として実行される。

ステップＳ１０１及びステップＳ１０２では、帳票画像の取得、及び属性判定処理が実行される。画像取得部２１は、スキャナー３が対象（本実施形態では、帳票）を撮像することによって得た画像を取得する（ステップＳ１０１）。そして、画像判定部２２は、取得された画像に対して、１又は複数の属性について属性判定処理を実行する（ステップＳ１０２）。本実施形態において実行される属性判定処理は、具体的には、向き判定処理及び白紙判定処理を含む。

向き判定処理において、画像判定部２２は、ステップＳ１０１で取得された画像を二値化し、二値化された画像に含まれる文字列の候補を抽出する。そして、画像判定部２２は、抽出された文字列の画像において、４辺（上下左右の辺）の各辺のエッジをならして近似直線にし、各辺の画素が当該直線上にどれだけの割合乗ったかをカウントすることで、直線性を算出する（即ち、１００％なら完全な直線である）。多くの言語において、正立した文字列の形状は、上辺が凸凹で、下辺が平であるため、もっとも直線性の高い辺が、抽出された文字列の下辺であると推定できる。このため、本実施形態では、算出された４辺についての直線性のうち最も高い値を確信度として用い、画像判定部２２は、確信度が閾値（例えば、８０％）以上である場合に、当該最も高い値に係る辺を、文字列の下辺と推定する。画像判定部２２は、判定された文字列の下辺の位置（上下左右の何れの位置にあるか）が、帳票に対して予め設定された文字列の下辺の位置（例えば、下）と一致している場合、画像の向きは正しいと判定し、判定された文字列の下辺の位置が、帳票に対して予め設定された文字列の下辺の位置と異なる場合、画像の向きが誤っていると判定する。

白紙判定処理において、画像判定部２２は、ステップＳ１０１で取得された画像を二値化し、二値化された画像の全画素数に対して黒画素が占める割合（黒画素率）を算出する。そして、画像判定部２２は、算出された黒画素率に対して、所定の変換を施すことで、確信度を算出する。例えば、画像判定部２２は、「確信度＝１００−（黒画素率＊５０）」のような変換を行うことで、黒画素率０から２％を、確信度１００から０％に対応させる（黒画素率０％であれば白紙である確信度１００％、黒画素率２％であれば白紙である確信度０％）ことができる。

以上のようにして、属性判定処理に含まれる向き判定処理や白紙判定処理等が実行される。なお、属性判定処理は、画像が所定の属性を有しているか否かを判定するための処理であり、判定において確信度（尤度）が算出され、算出された確信度に基づいて所定の属性を有しているか否かの判定が行われる判定手段が採用されていれば、具体的に判定される属性の種類や、判定のための手段は限定されない。また、属性判定処理の結果得られた属性及び確信度は、メタ情報として対象画像に付与される。属性判定処理が終了すると、処理はステップＳ１０３へ進む。

ステップＳ１０３では、補正処理が実行される。画像補正部２３は、ステップＳ１０２で実行された属性判定処理の結果に従って、画像の補正を実行する。例えば、画像補正部２３は、対象画像の向きが規定の向きと異なると判定された場合、対象画像の向きが規定の向きと一致するように対象画像を回転させることで、画像の向きを補正する。また、例えば、画像補正部２３は、対象画像が白紙であると判定された場合、対象画像に対して削除フラグを付与する。その後、処理はステップＳ１０４へ進む。

なお、本実施形態では、属性判定処理の結果に従って、画像が自動的に補正されることとしているが、自動的な補正処理は省略されてもよい。補正処理は、例えば、ユーザーによる確認作業（後述する）を経た後で、ユーザーによる指示に従って実行されてもよい。

ステップＳ１０４では、処理対象の全ての帳票について、ステップＳ１０１からステップＳ１０３までの処理が完了したか否かが判定される。処理が完了していない帳票がある場合、処理はステップＳ１０１へ戻る。一方、処理対象の全ての帳票について所定の処理が完了したと判定された場合、処理はステップＳ１０５へ進む。

ステップＳ１０５からステップＳ１０８では、選択された品質確認作業の補助処理が実行される。品質確認作業の種類は、ユーザーからの入力内容や、予め設定された内容に従って、「低確信度の帳票のみチェック」、「アシスト有り全数チェック」、「アシスト無し全数チェック」、及び「チェック無し」の中から決定される（ステップＳ１０５）。

決定された品質確認作業の種類が「低確信度の帳票のみチェック」である場合、部分チェック補助処理が実行される（ステップＳ１０６）。また、決定された品質確認作業の種類が「アシスト有り全数チェック」である場合、優先チェック補助処理が実行される（ステップＳ１０７）。また、決定された品質確認作業の種類が「アシスト無し全数チェック」である場合、全数チェック補助処理（即ち、従来の品質確認作業において採用されていた処理と同様の処理）が実行される（ステップＳ１０８）。また、決定された品質確認作業の種類が「チェック無し」である場合、品質確認作業はスキップされる。ステップＳ１０６からステップＳ１０８で実行される部分チェック補助処理、優先チェック補助処理及び全数チェック補助処理の詳細については、後述する。その後、処理はステップＳ１０９へ進む。

ステップＳ１０９では、帳票の画像及び属性情報が保存される。情報処理装置１は、ステップＳ１０１からステップＳ１０８までの処理で得られた画像及び関連する属性情報を、電子化された帳票データとして、記憶装置１４やネットワーク状に構築された帳票データベースに保存する。その後、本フローチャートに示された処理は終了する。

図４は、本実施形態に係る部分チェック補助処理の流れの概要を示すフローチャートである。本フローチャートに示された処理は、図３を参照して説明した帳票電子化処理のステップＳ１０６に相当する。部分チェック補助処理では、複数の画像のうち確信度が所定の基準未満であると判定された画像のみがユーザーに提示される。

ステップＳ２０１では、確信度が基準未満の属性の有無が判定される。確信度取得部２４は、ステップＳ１０２で実行された属性判定処理によって得られた、処理対象の画像の属性及び属性毎の確信度を、対象画像に付されたメタ情報から取得する。そして、確信度判定部２５は、対象画像について、確信度が所定の基準未満である属性があるか否かを判定することで、当該画像についてユーザーに注意を促す通知を行う必要があるか否かを判定する。

ここで、「所定の基準未満」とは、例えば、（１）確信度が予め設定された閾値（例えば、２０％）以下であること、（２）バッチ処理の結果や統計（例えば、対象日におけるスキャン全体の統計）から、当該確信度が外れ値とみなせること（正規分布３σ外、等）、及び、（３）ユーザーが指定した閾値（通知基準）以下であること、等である。確信度が基準未満の属性が無いと判定された場合、処理はステップＳ２０５へ進む。一方、確信度が基準未満の属性が有ると判定された場合、処理はステップＳ２０２へ進む。

ステップＳ２０２では、対象画像及び対象画像の属性がユーザーに通知され、ユーザーの目視による確認が促される。通知部２６は、対象画像をユーザーに提示し、ステップＳ２０１で確信度が基準未満であると判定された属性について、ユーザーに目視による確認を促す。

図５は、本実施形態の部分チェック補助処理における品質確認画面を示す図である。本実施形態に係る品質確認画面では、左欄に画像の一覧が表示され、右欄に現在確認対象として提示されている帳票の画像が表示される。なお、左欄に一覧表示されている画像のうち、斜線網掛けの枠が付されている画像が、右欄で現在確認対象となっている画像である。部分チェック補助処理における品質確認画面では、左欄には、複数の画像のうち確信度が所定の基準未満であると判定された帳票画像についてのみ、サムネイルが表示される。但し、基準未満の画像に絞り込むためのフィルタリング処理を省略し、左欄に全ての画像のサムネイルを表示することとしてもよい。なお、フィルタリングが省略される場合には、画像の枠の色を変える（例えば、紫色や赤色とする）等の方法で、視覚的に該当画像を目立たせる強調表示が行われることが好ましい。

そして、ユーザーは、右欄に表示された画像を視認することで、画像が電子帳票としての品質基準を満たしているか否かを確認し、確認結果（画像が電子帳票として規定の品質基準を満たしているか否か）を入力する。

また、ステップＳ２０２において、通知部２６は、ユーザーに対して、画像の補正候補を提示してもよい。対象の画像が未補正の画像である場合、補正候補提示部２７は、最も確信度の高い補正内容を補正候補としてユーザーに提示する。また、対象の画像が画像補正部２３による補正済みの画像である場合、補正候補提示部２７は、２番目以降に確信度の高い補正内容を補正候補としてユーザーに提示する。また、この際、補正候補提示部２７は、補正内容毎の確信度の順に従って、ユーザーに補正候補を提示する。

図６は、本実施形態における補正候補提示画面を示す図である。図６に示された補正候補提示画面の例では、確信度（直線性）が最も高い辺が下辺となるように向き補正済みの画像について、確信度（直線性）が２番目に高い辺が下辺となるような補正内容、及び確信度（直線性）が３番目に高い辺が下辺となるような補正内容を、補正候補として提示している。ユーザーは、提示された補正候補を確認し、正しい補正候補を選択して、補正指示を入力する。その後、処理はステップＳ２０３へ進む。

ステップＳ２０３では、ユーザーによる入力内容が判定される。入力受付部２８は、ユーザーによる入力を受け付け、受け付けられた内容を判定する。入力された内容が、画像が電子帳票としての品質基準を満たしていることを示す内容（例えば、「ＯＫ」であることを示す入力、又はこれ以上の補正が不要であることを示す入力等）であった場合、処理はステップＳ２０５へ進む。一方、入力された内容が、画像が電子帳票としての品質基準を満たしていないことを示す内容や、補正を指示する内容であった場合、処理はステップＳ２０４へ進む。

ステップＳ２０４では、画像の補正や帳票の再スキャン等が実行される。ユーザーによる入力内容が補正を指示する内容であった場合、画像補正部２３は、ユーザーによる補正指示に従って、画像の補正を行う。また、ユーザーによる入力内容が、補正によっても問題が解決しない品質の画像であることを示す内容であった場合（例えば、原稿の搬送歪みが発生して画像が酷く歪んでしまった場合や、コンテンツの一部が読めない程度に原稿の折れが大きい場合等）、情報処理装置１は、対象画像を破棄し、対象画像に係る帳票の再スキャンを促す通知を出力する。その後、処理はステップＳ２０５へ進む。

ステップＳ２０５では、処理対象の全ての画像について、ステップＳ２０１からステップＳ２０４までの処理が完了したか否かが判定される。処理が完了していない画像がある場合、次の処理対象画像が選択され、処理はステップＳ２０１へ戻る。一方、処理対象の全ての画像について所定の処理が完了したと判定された場合、本フローチャートに示された処理は終了する。

図７は、本実施形態に係る優先チェック補助処理の流れの概要を示すフローチャートである。本フローチャートに示された処理は、図３を参照して説明した帳票電子化処理のステップＳ１０７に相当する。優先チェック補助処理では、スキャンされた全ての画像がユーザーに提示されるが、このうち、確信度が所定の基準未満であると判定された画像については、ユーザーの注意を特に喚起するように提示される。

ステップＳ３０１及びステップＳ３０２では、対象画像が、確信度が基準未満の属性を有する場合に、当該画像について警告設定が行われる。確信度取得部２４は、ステップＳ１０２で実行された属性判定処理によって得られた、処理対象の画像の属性及び属性毎の確信度を、対象画像に付されたメタ情報から取得する。そして、確信度判定部２５は、対象画像について、確信度が所定の基準未満である属性があるか否かを判定することで、当該画像についてユーザーに注意を促す通知を行う必要があるか否かを判定する（ステップＳ３０１）。

確信度が基準未満の属性が有ると判定された場合、通知部２６は、対象画像に対して、確信度が基準未満であると判定された属性について、当該画像の確認時に特段の注意をもって目視による確認を行うようユーザーに通知するための警告設定を行う（ステップＳ３０２）。一方、確信度が基準未満の属性が無いと判定された場合、ステップＳ３０２の処理はスキップされる。その後、処理はステップＳ３０３へ進む。

ステップＳ３０３では、対象画像及び対象画像の属性がユーザーに通知され、ユーザーの目視による確認が促される。通知部２６は、対象画像をユーザーに提示し、目視による確認を行うよう通知する。なお、通知部２６は、提示される帳票画像が、ステップＳ３０２で警告設定が行われた帳票画像である場合、特段の注意をもって目視による確認を行うべきであることを、品質確認画面右欄への表示の際に、ユーザーに対して警告する。

図８は、本実施形態の優先チェック補助処理における品質確認画面を示す図である。本実施形態に係る品質確認画面では、左欄に画像の一覧が表示され、右欄に現在確認対象として提示されている帳票の画像が表示される。優先チェック補助処理における品質確認画面では、左欄には、スキャンによって得られた全ての帳票画像のサムネイルが表示される。但し、優先チェック補助処理における品質確認画面では、左欄に表示されたサムネイルのうち、ステップＳ３０２で警告設定が行われた帳票画像については、枠の色を変える（例えば、紫色や赤色とする）等の方法で、視覚的に該当画像を目立たせる強調表示が行われる（図中では太枠で表示している）。

また、図８に示された品質確認画面では、警告設定が行われた帳票画像が右欄に表示される際に、特段の注意をもって目視による確認を行うべきであることをユーザーに対して警告するための警告ウィンドウが表示されている。

そして、ユーザーは、右欄に表示された画像を視認することで、画像が電子帳票としての品質基準を満たしているか否かを確認し、確認結果（画像が電子帳票として規定の品質基準を満たしているか否か）を入力する。入力が受け付けられた際、通知部２６は、対象画像について再チェックを促す警告及び／又は画面遷移を行ってもよい。

また、ステップＳ３０３において、ユーザーに対して、画像の補正候補を提示してもよいことは、上記説明した部分チェック補助処理（図４を参照）と同様であるため、説明を省略する。その後、処理はステップＳ３０４へ進む。

ステップＳ３０４では、ユーザーによる入力内容が判定される。入力受付部２８は、ユーザーによる入力を受け付け、受け付けられた内容を判定する。入力された内容が、画像が電子帳票としての品質基準を満たしていることを示す内容であった場合、処理はステップＳ３０６へ進む。一方、入力された内容が、画像が電子帳票としての品質基準を満たしていないことを示す内容や、補正を指示する内容であった場合、処理はステップＳ３０５へ進む。

ステップＳ３０５では、画像の補正や帳票の再スキャン等が実行される。ユーザーによる入力内容が補正を指示する内容であった場合、画像補正部２３は、ユーザーによる補正指示に従って、画像の補正を行う。また、ユーザーによる入力内容が、補正によっても問題が解決しない品質の画像であることを示す内容であった場合、情報処理装置１は、対象画像を破棄し、対象画像に係る帳票の再スキャンを促す通知を出力する。その後、処理はステップＳ３０６へ進む。

ステップＳ３０６では、処理対象の全ての画像について、ステップＳ３０１からステップＳ３０５までの処理が完了したか否かが判定される。処理が完了していない画像がある場合、次の処理対象画像が選択され、処理はステップＳ３０１へ戻る。一方、処理対象の全ての画像について所定の処理が完了したと判定された場合、本フローチャートに示された処理は終了する。

図９は、本実施形態に係る全数チェック補助処理の流れの概要を示すフローチャートである。本フローチャートに示された処理は、図３を参照して説明した帳票電子化処理のステップＳ１０８に相当する。全数チェック補助処理では、スキャンされた全ての画像がユーザーに提示される。

ステップＳ４０１では、対象画像及び対象画像の属性がユーザーに通知され、ユーザーの目視による確認が促される。通知部２６は、対象画像及び当該対象画像について判定された属性をユーザーに提示し、ユーザーに目視による確認を促す。

そして、ユーザーは、右欄に表示された画像を視認することで、画像が電子帳票としての品質基準を満たしているか否かを確認し、確認結果（画像が電子帳票として規定の品質基準を満たしているか否か）を入力する。また、ステップＳ４０１において、ユーザーに対して、画像の補正候補を提示してもよいことは、上記説明した部分チェック補助処理（図４を参照）と同様であるため、説明を省略する。その後、処理はステップＳ４０２へ進む。

ステップＳ４０２では、ユーザーによる入力内容が判定される。入力受付部２８は、ユーザーによる入力を受け付け、受け付けられた内容を判定する。入力された内容が、画像が電子帳票としての品質基準を満たしていることを示す内容であった場合、処理はステップＳ４０４へ進む。一方、入力された内容が、画像が電子帳票としての品質基準を満たしていないことを示す内容や、補正を指示する内容であった場合、処理はステップＳ４０３へ進む。

ステップＳ４０３では、画像の補正や帳票の再スキャン等が実行される。ユーザーによる入力内容が補正を指示する内容であった場合、画像補正部２３は、ユーザーによる補正指示に従って、画像の補正を行う。また、ユーザーによる入力内容が、補正によっても問題が解決しない品質の画像であることを示す内容であった場合、情報処理装置１は、対象画像を破棄し、対象画像に係る帳票の再スキャンを促す通知を出力する。その後、処理はステップＳ４０４へ進む。

ステップＳ４０４では、処理対象の全ての画像について、ステップＳ４０１からステップＳ４０３までの処理が完了したか否かが判定される。処理が完了していない画像がある場合、次の処理対象画像が選択され、処理はステップＳ４０１へ戻る。一方、処理対象の全ての画像について所定の処理が完了したと判定された場合、本フローチャートに示された処理は終了する。

なお、フローチャートには記載を省略したが、ステップＳ２０２、ステップＳ３０２及びステップＳ４０１で受け付けられたユーザーによる入力内容（自動判定結果の正誤や、ユーザーによって指示された補正内容）に従って、画像の属性判定のために画像判定部２２によって用いられるパラメータが変更されてもよい。例えば、パラメータ補正部２９は、確信度が低い画像に対して、その後ユーザーによって行われた手動補正の内容を、判定処理に対してフィードバックすることで、同じ判定ミスを起きにくくすることが出来る。より具体的には、パラメータ補正部２９は、カラー判定（カラーにしたいものをモノクロと扱ってしまった）であれば、以後はよりカラーと判定しやすくなるよう、カラー判定のための確信度の閾値を変動させる、等のパラメータ変更を自動的に行うことが出来る。

また、例えば、パラメータ補正部２９は、手動補正の傾向から、設定を変えた方が良さそうであれば、自動で、またはユーザーに提案する形で、固定の設定に変更することが出来る。より具体的には、パラメータ補正部２９は、向き補正を自動で行う設定であるが、向き判定の確信度が低い画像に対して、すべて９０度回転のような手動補正を行われているならば、９０度回転を固定設定として提案する、等のパラメータ変更を自動的に行うことが出来る。このようなパラメータ補正は、カラー判定や向き判定に限らず、全ての属性判定について適用することが出来る。

＜効果＞
上記説明した実施形態に係るシステムによれば、判定過程で生じる確信度を用い、全数チェックするが、確信度が低い画像に特に注視するためのアシストを行うか、又は、確信度が低い画像のみをチェックすることで、速度と精度とを両立させることが可能となる。

１ 情報処理装置

Claims (12)

1. 複数の対象を撮像することによって得られた複数の画像を取得する画像取得手段と、
   前記複数の画像の夫々について、該画像が前記所定の属性を有することの確信度を取得する確信度取得手段と、
   前記複数の画像の夫々について、前記確信度が所定の基準未満であるか否かを判定する確信度判定手段と、
   前記確信度が所定の基準未満であると判定された画像をユーザーに通知する通知手段と、
   を備える情報処理装置。
2. 前記通知手段は、前記複数の画像を前記ユーザーに提示する際に、前記確信度が所定の基準未満であると判定された画像に所定の表示を付して出力することで、前記確信度が所定の基準未満であると判定された画像をユーザーに通知する、
   請求項１に記載の情報処理装置。
3. 前記通知手段は、前記複数の画像のうち、前記確信度が所定の基準未満であると判定された画像のみを前記ユーザーに提示することで、前記確信度が所定の基準未満であると判定された画像をユーザーに通知する、
   請求項１に記載の情報処理装置。
4. 前記通知手段は、前記複数の画像を前記ユーザーに提示する際に、前記確信度の低い画像を優先的に通知する、
   請求項１から３の何れか一項に記載の情報処理装置。
5. 前記通知手段は、前記確信度が所定の基準未満であると判定された属性の内容を前記ユーザーに通知する、
   請求項１から４の何れか一項に記載の情報処理装置。
6. 前記所定の属性は、前記画像に対して加えられるべき補正内容であり、
   補正内容毎の確信度の順に従って、前記ユーザーに補正候補を提示する補正候補提示手段を更に備える、
   請求項１から５の何れか一項に記載の情報処理装置。
7. 最も確信度の高い補正内容で前記画像を補正する画像補正手段を更に備え、
   前記補正候補提示手段は、前記画像補正手段による補正済みの画像について、２番目以降に確信度の高い補正内容を補正候補として前記ユーザーに提示する、
   請求項６に記載の情報処理装置。
8. 前記補正候補提示手段は、未補正の画像について、最も確信度の高い補正内容を補正候補として前記ユーザーに提示する、
   請求項６に記載の情報処理装置。
9. 前記複数の画像の夫々について、該画像が前記所定の属性を有することの確信度を算出し、算出された該確信度に基づいて該画像が前記所定の属性を有するか否かを判定する画像判定手段を更に備え、
   前記確信度取得手段は、前記画像判定手段によって算出された前記確信度を取得する、
   請求項１から８の何れか一項に記載の情報処理装置。
10. 前記通知手段は、前記画像判定手段による判定結果として、該画像判定手段によって該画像が有すると判定された前記所定の属性を更に通知し、
    前記通知手段による通知を受けたユーザーによる、前記画像判定手段による判定結果の正誤に関する入力を受け付ける入力受付手段と、
    受け付けられた正誤の入力に従って、前記画像判定手段によって用いられるパラメータを変更するパラメータ補正手段と、
    を更に備える、請求項１から９の何れか一項に記載の情報処理装置。
11. コンピューターが、
    複数の対象を撮像することによって得られた複数の画像を取得する画像取得ステップと、
    前記複数の画像の夫々について、該画像が前記所定の属性を有することの確信度を取得する確信度取得ステップと、
    前記複数の画像の夫々について、前記確信度が所定の基準未満であるか否かを判定する確信度判定ステップと、
    前記確信度が所定の基準未満であると判定された画像をユーザーに通知する通知ステップと、
    を実行する、方法。
12. コンピューターを、
    複数の対象を撮像することによって得られた複数の画像を取得する画像取得手段と、
    前記複数の画像の夫々について、該画像が前記所定の属性を有することの確信度を取得する確信度取得手段と、
    前記複数の画像の夫々について、前記確信度が所定の基準未満であるか否かを判定する確信度判定手段と、
    前記確信度が所定の基準未満であると判定された画像をユーザーに通知する通知手段と、
    として機能させるためのプログラム。

Images