JP2020173564A - 書類処理支援システム - Google Patents

Abstract

【課題】ユーザが装着するタイプの表示デバイスを用いて、紙の書類を効率よく処理するためのナビゲートを提供する。【解決手段】本発明に係る書類処理支援システムは、ユーザが装着する表示デバイスによって書類の画像データを撮影し、その画像データを用いて書類タイプを識別するとともに、その書類タイプに対応するナビゲーション画像を、前記表示デバイス上に表示する。【選択図】図４Ａ

Description

本発明は、紙の書類を処理することを支援する書類処理支援システムに関する。

定型的な帳票を処理する事務作業においては、作業の効率性が求められる。１例として企業の年末調整業務において、年末調整表を各社員が記入し、経理部員がその記入内容をチェックする作業が挙げられる。このような作業においては、帳票の所定欄に対して所定事項が記入されているか、押印欄に対して押印がされているか、などのチェックを、目視確認によって実施するのが典型的である。

下記特許文献１は、金融機関における事務作業をナビゲートする技術について記載している。同文献は、『事務ナビゲーションサーバ、事務ナビゲーションシステム、事務ナビゲーション方法およびプログラムを提供する。』ことを目的として、『金融機関における事務作業の手順が定義された事務フロー定義にしたがって、事務作業端末に表示されるナビゲーション画面を生成するナビゲーション部と、前記事務フロー定義にてナビゲーション画面として勘定系画面が使用される場合、前記事務作業端末に記憶された前記勘定系画面の呼び出しを前記事務作業端末に要求する勘定系呼出部と、を備える事務ナビゲーションサーバ。』という技術を記載している（要約参照）。

下記特許文献２は、機密事項を記載した紙の書類をヘッドマウントディスプレイによって閲覧する技術について記載している。同文献は、『２次元コードを読み取る情報処理端末が、携帯端末として用いられるかヘッドマウントディスプレイとして用いられるかによって、当該２次元コードに対応する文字データまたは画像データの表示を変えることによって、ユーザにとって視認性の高い表示を行うことが可能な仕組みを提供する』ことを課題として、『撮影手段を有する情報処理装置が携帯端末かヘッドマウンドディスプレイとして用いるかを判定し、携帯端末として用いられる場合には、２次元コードに対応する文字データまたは画像データを一覧で表示し、ヘッドマウントディスプレイとして用いられる場合には、複数の前記２次元コードに対応する前記文字列データまたは画像データを、撮影手段により前記紙媒体を撮影することによって得られた画像データの複数の前記二次元コード上にそれぞれ重ね合わせた画像データを表示する。』という技術を記載している（要約参照）。

特開２０１４−１２７１４１号公報 特開２０１８−０９２２２８号公報

上記特許文献１においては、事務作業をナビゲートすることは可能であるものの、そのナビゲートは、アプリケーション上で提供されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）として提供されている。換言すると同文献においては、紙の書類に対する作業をナビゲートすることは考慮されていない。

上記特許文献２は、ヘッドマウントディスプレイによって紙の書類を閲覧し、そのとき拡張現実（ＡＲ）技術を用いて、ディスプレイ上で画像を表示する。同文献は機密情報に対する処理をターゲットとしており、紙の書類を処理する作業効率を向上させることについては考慮されていない。

本発明は、上記のような課題に鑑みてなされたものであり、ユーザが装着するタイプの表示デバイスを用いて、紙の書類を効率よく処理するためのナビゲートを提供することを目的とする。

本発明に係る書類処理支援システムは、ユーザが装着する表示デバイスによって書類の画像データを撮影し、その画像データを用いて書類タイプを識別するとともに、その書類タイプに対応するナビゲーション画像を、前記表示デバイス上に表示する。

本発明に係る書類処理支援システムによれば、紙の書類を処理する場合であっても、その書類の書類タイプに応じた適切な作業ナビゲーションを、ユーザに対して提供することができる。

実施形態１に係る書類処理支援システム１０の構成図である。 表示部２１０が表示する画面イメージの例である。 ユーザが記入内容チェック２１２ａを選択したとき表示デバイス２００が表示するナビゲーションの画面イメージである。 書類４００を撮影ウインドウ２１３内に収めた様子を示す画面イメージである。 書類チェック部１２０によるチェック結果を表示デバイス２００が表示している様子を示す画面イメージである。 書類チェック部１２０によるチェック結果を表示デバイス２００が表示している様子を示す別例である。 添付書類４１０を撮影する様子を示す画面イメージである。 書類４００の記入内容と添付書類４１０の内容が一致しない場合におけるチェック結果を表示デバイス２００が表示している様子を示す例である。 記入内容チェック２１２ａにおいて書類４００が正しく記入されていると書類チェック部１２０が判断した場合における画面イメージである。 ユーザが操作メニュー２１１において第３者チェック２１２ｂを選択したとき表示デバイス２００が表示する画面イメージである。 書類チェック部１２０によるチェック結果を表示する画面イメージの別例である。

＜実施の形態１＞
図１は、本発明の実施形態１に係る書類処理支援システム１０の構成図である。書類処理支援システム１０は、ユーザが紙の書類を処理する作業を支援するシステムである。ここでいう紙の書類とは、例えば会社における事務作業者が記入内容をチェックする書類であり、書類処理支援システム１０はそのチェック作業を支援する。書類処理支援システム１０は、サーバ１００と表示デバイス２００を備える。

表示デバイス２００は、書類を処理するユーザが装着するデバイスである。表示デバイス２００は、表示部２１０とカメラ２２０を備える。表示部２１０は、後述するナビゲーション画像を表示する。カメラ２２０は、ユーザが処理する書類の画像を撮像する。表示デバイス２００は、例えばヘッドマウントディスプレイを用いて構成することができる。以下ではこれを前提とし、表示部２１０はユーザの視界内に画像を重畳表示するものとする。

サーバ１００は、表示デバイス２００と連動して、ユーザによる書類処理作業を支援するコンピュータである。サーバ１００は、ネットワーク３００を介して表示デバイス２００と接続されている。サーバ１００は、書類分類部１１０、学習器１１１、書類チェック部１２０、書類データベース１２１、メッセージ送信部１３０を備える。

書類分類部１１０は、表示デバイス２００が撮影した画像データを取得し、その画像データ（すなわちその書類）が属する書類タイプを識別する。識別処理は、例えば学習器１１１に対して画像データを入力として与え、学習器１１１がその画像データの書類タイプを識別した結果を取得することにより、実施することができる。その他適当な手法を用いてもよい。以下では学習器１１１を用いることを前提とする。

学習器１１１は、書類の画像データとその書類が属する書類タイプとの間の対応関係をあらかじめ学習アルゴリズムにしたがって学習し、その学習結果を記憶装置に格納することにより、構成することができる。学習アルゴリズムとしては任意のものを用いることができるが、本発明においては画像データを分類するタイプの学習アルゴリズムが最も適していると考えられる。

書類チェック部１２０は、表示デバイス２００が撮影した画像データに対して、その書類タイプに対応するチェックルールを適用することにより、書類が正しく記入されているか否かをチェックする。チェックルールの例としては例えば、（ａ）押印欄に対して押印がされているか否か、（ｂ）記入必須欄に対して正しい事項が記入されているか否か、などが挙げられる。詳細については後述する。

書類データベース１２１は、書類タイプごとに、チェックルールが適用されるべき部分の画像データ上における座標を定義したデータベースである。例えば上記例（ａ）（ｂ）が適用される領域の座標を、書類タイプごとに記述している。書類データベース１２１はさらに、各書類タイプのチェックルールについても、そのルールが適用される座標と対応付けて記述している。書類データベース１２１は、座標とチェックルールを記述したデータを記憶装置に対して格納することにより、構成することができる。

メッセージ送信部１３０は、各ユーザに対して電子メールその他のメッセージを送信する。例えば未提出の書類があるユーザに対して、提出を促すメッセージを送信することができる。その他適当なメッセージを送信してもよい。メッセージ送信の具体例については後述の実施形態３で説明する。

＜実施の形態１：チェック手順＞
図２は、表示部２１０が表示する画面イメージの例である。表示部２１０は、ユーザが実施する作業内容を指定する操作メニュー２１１をユーザの視界内に重畳表示する。ユーザは操作メニュー２１１の中から実施したい作業内容を選択する。ここでは記入内容チェック２１２ａについて説明し、第３者チェック２１２ｂとリマインドメッセージ２１２ｃについては後述の実施形態で説明する。選択動作は表示デバイス２００の仕様によって異なるが、例えば２本の指を記入内容チェック２１２ａの上に重ねて閉じ合わせる動作などが考えられる。以後の説明においても同様である。

図３Ａは、ユーザが記入内容チェック２１２ａを選択したとき表示デバイス２００が表示するナビゲーションの画面イメージである。表示デバイス２００は、ユーザがチェックすべき書類（図３Ａにおける書類４００）をカメラ２２０によって撮影するように促すメッセージを表示する。表示デバイス２００はさらに、撮影ウインドウ２１３を画面表示する。撮影ウインドウ２１３は、カメラ２２０が撮影している画像を表示する。ユーザは撮影ウインドウ２１３内に書類４００が収まるように、表示デバイス２００の姿勢を調整する。

図３Ｂは、書類４００を撮影ウインドウ２１３内に収めた様子を示す画面イメージである。ユーザは、書類４００を撮影ウインドウ２１３内に収めたことを確認し、ＯＫボタンを選択する。カメラ２２０は書類４００の画像データを撮影し、その画像データをサーバ１００に対して送信する。

書類分類部１１０は、表示デバイス２００から書類４００の画像データを受け取る。書類分類部１１０は、その画像データの書類タイプを識別し、その識別結果を出力する。出力結果は、例えば書類タイプを表すＩＤなどである。書類チェック部１２０は、その書類タイプに対応するチェックルールを書類データベース１２１から取得する。例えば書類タイプＩＤをキーとして書類データベース１２１を検索することにより、チェックルールを取得できる。

図４Ａは、書類チェック部１２０によるチェック結果を表示デバイス２００が表示している様子を示す画面イメージである。ここでは書類４００の右上部分が押印欄として構成されており、押印欄に対して押印がされているか否かを書類チェック部１２０がチェックするものとする。押印がない場合は、その旨のマーク２１４を画面表示する。マーク２１４は、例えば押印欄の中央に表示すればよい。書類チェック部１２０は、例えば以下の手順によって押印有無をチェックすることができる。

（押印チェック手順：ステップ１）
書類データベース１２１は、書類４００の書類タイプについて、押印欄の座標をチェックルールとして記述している。例えば押印欄の左上座標と縦横サイズなどによって、押印欄の座標領域を記述することができる。書類チェック部１２０はその座標を書類データベース１２１から取得する。

（押印チェック手順：ステップ２）
書類チェック部１２０は、書類４００の画像データから、赤色成分を有する部分の座標を取得する。例えば色相が赤であり、彩度が閾値以上である部分を抽出することにより、赤色部分を取得する。

（押印チェック手順：ステップ３）
書類チェック部１２０は、ステップ２によって取得した部分に対して、押印有無をチェックする際にノイズとなる部分を除去する。例えばモルフォロジー変換のクロージング処理とオープニング処理によってノイズを除去できる。クロージング処理により、例えば前景領域内の穴を埋めることができる。オープニング処理により、例えば背景領域を平坦にすることができる。

（押印チェック手順：ステップ４）
書類チェック部１２０は、ノイズ除去後の画像領域と、ステップ１によって取得した押印欄の座標領域とが重複している部分を抽出する。書類チェック部１２０は、重複領域の最小外接円を生成する。書類チェック部１２０は、最小外接円の面積と、重複領域の面積との比を求める。書類チェック部１２０は、その比が閾値以上であれば押印があると判定し、それ以外であれば押印がないと判定する。

（押印チェック手順：ステップ４：補足）
本ステップにおいて算出する面積比が閾値以上である場合、重複領域は円形であると考えられる。したがってその場合は、赤色の押印が押印欄上に存在すると判断することにした。面積比が閾値未満である場合、押印が存在しないかまたは不鮮明であると考えられるので、その場合はまとめて押印が存在しないと判定することにした。

図４Ｂは、書類チェック部１２０によるチェック結果を表示デバイス２００が表示している様子を示す別例である。ここでは書類４００の中央部分が記入必須欄として構成されており、記入必須欄に正しい内容が記入されているか否かを書類チェック部１２０がチェックするものとする。正しい内容が記入されていない場合は、マーク２１４を例えば記入必須欄の中央に画面表示する。記入必須欄の座標は書類データベース１２１上に格納することができる。

書類チェック部１２０は、記入必須欄の座標領域内の画像に対して文字認識処理を実施することにより、記入内容を取得する。書類チェック部１２０は、その記入内容と、書類データベース１２１が記述しているチェックルールとを比較することにより、正しい内容が記入されているか否かをチェックすることができる。記入内容が正しくない場合や、記入がない場合は、いずれも正しい内容が記入されていないとみなす。

チェックルールとしては、記入が必須であることに加えて、記入者固有の事項を定義することができる。例えば記入必須欄が個人を識別する情報（社員ＩＤなど）を記入する欄である場合は、その個人識別情報のフォーマットにしたがって記入されているか否かをチェックすることができる。さらには、その個人識別情報に対応する個人固有の情報（例えば社員氏名）を書類データベース１２１上にあらかじめ保持しておき、その個人固有情報が記入必須欄に記入されているか否かをチェックすることができる。

図４Ｃは、添付書類４１０を撮影する様子を示す画面イメージである。書類４００の書類タイプが付属書類を添付すべきものである場合、表示デバイス２００は、添付書類を撮影するよう促すメッセージを表示するとともに、撮影ウインドウ２１３を再表示する。ここでは書類４００が年末調整表であり、添付書類４１０として控除証明書類を撮影する例を示した。添付書類４１０が複数ある書類タイプであれば、表示デバイス２００は図４Ｃと同様のナビゲーションを繰り返せばよい。

図４Ｄは、書類４００の記入内容と添付書類４１０の内容が一致しない場合におけるチェック結果を表示デバイス２００が表示している様子を示す例である。書類データベース１２１は、添付書類４１０が付属する書類４００の書類タイプについて、添付書類４１０に対応する事項を記入すべき領域の座標をチェックルールとして記述している。書類チェック部１２０は、その領域に対して文字認識を実施する。添付書類４１０のうち必要事項が記載されている箇所の座標についても同様に、チェックルールとして記述してもよい。書類チェック部１２０は、添付書類４１０の内容と、文字認識によって取得した内容とを比較することにより、正しい内容が記入されているか否かをチェックする。

添付書類４１０が控除証明書類である場合、添付書類４１０の記載内容に対して所定の計算式を適用した結果を、書類４００に対して記入することになる。書類データベース１２１は、その計算式をチェックルールとして定義してもよい。この場合、書類チェック部１２０は書類４００に対して文字認識を実施した結果に対してさらにその計算式を適用する。書類チェック部１２０は、その適用結果と添付書類４１０の内容を比較することにより、正しい内容が記入されているか否かをチェックする。計算式がともなうその他の添付書類についても同様に処理することができる。

＜実施の形態１：まとめ＞
本実施形態１に係る書類処理支援システム１０は、表示デバイス２００が撮影した書類４００の画像データを用いて書類タイプを識別し、その書類タイプに対応するチェックルールを適用する。ユーザはチェック結果を表示デバイス２００上のナビゲーション画像として視覚的に把握することができる。これにより、紙の書類４００を処理する作業を、効率的に支援することができる。

本実施形態１に係る書類処理支援システム１０は、紙の書類４００の書類タイプを識別し、その書類タイプに対応するチェックルールを書類データベース１２１から取得する。これにより、紙の書類であっても、書類タイプごとにチェックルールを自動適用することができる。したがって、紙の書類に対するチェックルールをチェック者の判断によって適用する負担を抑制することができる。

本実施形態１に係る書類処理支援システム１０は、正しく記入されていないことが判明した箇所をマーク２１４によって示唆することにより、ユーザが書類４００の対応する箇所を目視確認するように促すことができる。これによりユーザは、正しく記入されていないと判断された箇所のみを目視確認すれば足りるので、それ以外の箇所も含めて目視確認する従来の作業手順と比較して、作業負担を抑制することができる。

本実施形態１に係る書類処理支援システム１０は、添付書類４１０が付属する書類タイプである場合は、添付書類４１０を撮影するように表示デバイス２００上のナビゲーションによって促す。さらに、添付書類４１０と書類４００を比較することにより、添付書類４１０の内容が書類４００に対して正しく反映されているか否かをチェックする。これにより、添付書類４１０を目視チェックする負担を抑制することができる。

本実施形態１に係る書類処理支援システム１０は、書類データベース１２１が記述している個人固有の記入事項とその記入欄の座標を取得し、書類４００の画像データに対して文字認識を実施することにより、その個人固有の記入事項が記入欄に記入されているか否かをチェックする。これにより、紙の書類４００とその個人固有の事項を対照比較するための作業負担を抑制することができる。

＜実施の形態２＞
本発明の実施形態２では、第３者チェック２１２ｂの作業内容について説明する。記入内容チェック２１２ａによって書類４００が正しく記入されていることが確認された場合、表示デバイス２００はその旨をサーバ１００に対して通知する。サーバ１００は、正しく記入されている書類４００の画像データを記憶装置（例えば書類データベース１２１上の適当なフィールドなどでもよい）に格納する。記入内容チェック２１２ａを実施したユーザ以外のユーザは、その画像データを再チェックすることができる。この再チェックのことを本発明においては第３者チェックと呼ぶ。

図５Ａは、記入内容チェック２１２ａにおいて書類４００が正しく記入されていると書類チェック部１２０が判断した場合における画面イメージである。ユーザがＯＫボタンを選択すると、表示デバイス２００はその旨をサーバ１００に対して通知し、サーバ１００は書類４００の画像データを記憶装置に格納する。

図５Ｂは、ユーザが操作メニュー２１１において第３者チェック２１２ｂを選択したとき表示デバイス２００が表示する画面イメージである。ユーザが第３者チェック２１２ｂを選択すると、表示デバイス２００は再チェックする書類４００を指定する選択メニューを表示する。例えば書類タイプのリストを表示して選択させることができる。ユーザが再チェック対象を選択すると、表示デバイス２００はその書類の画像データをサーバ１００に対して照会する。サーバ１００はその画像データを記憶装置から読み出して表示デバイス２００に対して送信する。

書類分類部１１０と書類チェック部１２０は、表示デバイス２００に対して画像データを送信する際に、その画像データの書類タイプに対応するチェックルールを書類データベース１２１から取得し、画像データと併せて表示デバイス２００に対して送信する。これにより表示デバイス２００は、受け取った画像データに対応するチェックルールを把握することができる。例えばチェックルールが適用される座標領域を把握することができる。

図５Ｂにおいては、チェックルールとして押印欄の座標領域を表示デバイス２００が書類チェック部１２０から取得し、画像ウインドウ２１５上で書類の画像データを表示するとともに、押印欄の座標領域をハイライト表示している。ハイライト表示の例としては、その座標領域を中心として図５Ｂのようなマーク２１６を表示することが考えられる。ユーザはその画像データに対応する書類４００のうち、ハイライトされている領域を目視確認することにより、再チェックを実施する。チェックルールが複数ある場合は、図５Ｂのようなハイライト表示をチェックルールごとに繰り返せばよい。

＜実施の形態２：まとめ＞
本実施形態２に係る書類処理支援システム１０は、正しく記入されている書類４００の画像データを記憶装置に格納しておき、第３者チェック２１２ｂを実施するときその画像データを読み出して表示デバイス２００上で表示する。さらに、その画像データの書類タイプに対応するチェックルールを書類データベース１２１から取得し、表示デバイス２００はそのチェックルールにしたがってマーク２１６を重畳表示する。これにより、第３者が書類４００を再チェックする際に、再チェックすべき個所をガイドすることができるので、再チェックの負担を抑制できる。

＜実施の形態３＞
実施形態１〜２においては、表示デバイス２００上でナビゲーション画像を表示する例を説明したが、表示デバイス２００が撮影した書類４００の画像データは、それ以外の用途においても用いることができる。例えば書類４００が個人識別情報欄を有している場合は、その座標領域をチェックルールとして書類データベース１２１上に格納しておき、書類チェック部１２０はその個人識別情報欄に対して文字認識を実施することにより、書類４００を提出した個人を特定することができる。書類４００を提出した個人を特定することにより、書類４００を提出済／未提出いずれであるかを個人ごとに特定することができる。サーバ１００は、提出済／未提出者のリストを書類タイプごとに記憶装置（例えば書類データベース１２１上の適当なフィールドなどでもよい）に格納することができる。

メッセージ送信部１３０は、未提出者に対して提出を促すリマインドメッセージを発信することができる。例えばユーザがリマインドメッセージ２１２ｃを選択すると、書類タイプと提出済／未提出者のリストを表示デバイス２００上で画面表示し、さらにリマインドメッセージを発信するか否か選択させることができる。発信する場合はその旨をサーバ１００に対して通知し、メッセージ送信部１３０は未提出者のリストを読み出してそれぞれメッセージを送信する。メッセージの形式は任意であり、例えば電子メールでもよいしその他形態のメッセージでもよい。

＜実施の形態４＞
図６は、書類チェック部１２０によるチェック結果を表示する画面イメージの別例である。以上の実施形態においては、書類４００が正しく記入されているか否かをマーク２１４などによって表示する例を説明した。これに代えてまたはこれに加えて、記入不備の程度が軽微である場合は、書類チェック部１２０がその不備を自動訂正してもよい。あるいは後段の作業フローにおいて別の作業者が自発的に訂正してもよい。例えば明らかな誤記などについては、このような処理が適していると考えられる。この場合は図６に例示するように、そのような訂正を実施する旨をナビゲートメッセージとして表示するとともに、該当箇所を表すマーク２１７を表示してもよい。

不備が軽微であるか否かの判断基準としては様々あるが、例えば以下のような例が考えられる。（ａ）押印欄については、印影が押印欄からわずかにずれている場合は、軽微な不備とみなすことができる。例えば上述の面積比が閾値に対してわずかに不足する場合は、軽微な不備とみなすことができる。（ｂ）個人識別ＩＤと氏名が合致しない場合は、そのずれの程度に応じて軽微な不備とみなすことができる。例えば氏名のうち一部のみが不鮮明である場合は、個人識別ＩＤが正しい前提の下で、その不鮮明部分は軽微な不備とみなすことができる。

＜本発明の変形例について＞
以上の実施形態においては、書類分類部１１０／学習器１１１／書類チェック部１２０／書類データベース１２１／メッセージ送信部１３０をサーバ１００が備える構成例を説明したが、これらのうちいずれか１つ以上を表示デバイス２００上に実装してもよい。例えば書類チェック部１２０は、表示デバイス２００が実行するアプリケーションとして構成することもできる。この場合、表示デバイス２００はサーバ１００から書類タイプのみを取得し、その書類タイプに対応するチェックルールを表示デバイス２００がチェックすることになる。

以上の実施形態において、書類分類部１１０／学習器１１１／書類チェック部１２０／書類データベース１２１／メッセージ送信部１３０は、サーバ１００とは別のコンピュータ上に構成することもできる。例えば学習器１１１と書類データベース１２１は、別のサーバコンピュータ上に実装しているものをサーバ１００が利用してもよい。

以上の実施形態において、表示デバイス２００が画面表示する操作メニュー２１１などのナビゲーション画像は、例えば表示デバイス２００が実行するアプリケーションによって提供することができる。ナビゲーションの内容は、そのアプリケーション内に組み込んで実装してもよいし、例えばＷｅｂアプリケーションのようにサーバ１００からナビゲーション内容を取得して表示デバイス２００がそれを適当な形式にフォーマットすることにより生成してもよい。その他適当な手段によって実装してもよい。

書類分類部１１０、書類チェック部１２０、メッセージ送信部１３０は、これらの機能を実装した回路デバイスなどのハードウェアを用いて構成することもできるし、これらの機能を実装したソフトウェアを演算装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵなど）が実行することにより構成することもできる。

１０：書類処理支援システム
１００：サーバ
１１０：書類分類部
１１１：学習器
１２０：書類チェック部
１２１：書類データベース
１３０：メッセージ送信部
２００：表示デバイス
２１０：表示部
２１１：操作メニュー
２１３：撮影ウインドウ
２１４：マーク
２１５：画像ウインドウ
２１６：マーク
２１７：マーク
２２０：カメラ
３００：ネットワーク
４００：書類
４１０：添付書類

Claims (14)

1. 紙の書類を処理することを支援する書類処理支援システムであって、
   ユーザが装着する表示デバイス、
   前記書類が属する書類タイプを識別する書類分類部、
   を備え、
   前記表示デバイスは、前記書類の画像を撮像してその画像データを前記書類分類部に対して出力し、
   前記書類分類部は、前記画像データが属する前記書類タイプを識別してその結果を出力し、
   前記表示デバイスは、前記書類分類部が識別した前記書類タイプに対応する、前記書類を処理するための作業内容を示唆するナビゲーション画像を、前記ユーザの視界内に表示する
   ことを特徴とする書類処理支援システム。
2. 前記書類分類部は、書類の画像とその書類のタイプとの間の対応関係をあらかじめ学習した学習器を備え、
   前記書類分類部は、前記表示デバイスから受け取った前記画像データを前記学習器に対して入力として与えることにより、前記画像データに対応する前記書類タイプを識別する
   ことを特徴とする請求項１記載の書類処理支援システム。
3. 前記書類処理支援システムはさらに、前記書類の記載内容をチェックする書類チェック部を備え、
   前記書類チェック部は、前記書類分類部が識別した前記書類タイプに対応するチェックルールを前記画像データに対して適用することにより、前記書類が正しく記載されているか否かをチェックするとともに、そのチェック結果を出力し、
   前記表示デバイスは、前記チェック結果を表す前記ナビゲーション画像を、前記視界内に表示する
   ことを特徴とする請求項１記載の書類処理支援システム。
4. 前記書類処理支援システムはさらに、前記書類が有する押印欄の座標を前記書類タイプごとに記述した書類データベースを備え、
   前記書類チェック部は、前記書類分類部が識別した前記書類タイプが、前記押印欄を有するものである場合は、その書類タイプに対応する前記押印欄の座標を前記書類データベースから取得し、
   前記書類チェック部は、前記画像データ上における前記押印欄の座標領域において押印画像が存在するか否かをチェックすることにより、前記書類が正しく記載されているか否かをチェックする
   ことを特徴とする請求項３記載の書類処理支援システム。
5. 前記書類チェック部は、前記押印欄を有する書類の前記画像データのうち赤色成分を閾値以上有する赤色領域を特定し、
   前記書類チェック部は、前記赤色領域に含まれる前記押印画像のノイズを除去し、
   前記書類チェック部は、前記ノイズを除去した後の前記赤色領域と、前記押印欄の座標領域とが重なる重複領域を抽出し、
   前記書類チェック部は、前記重複領域の最小外接円を作成し、
   前記書類チェック部は、前記最小外接円の面積と前記重複領域の面積の比が閾値以上である場合は、前記押印欄の座標領域において押印画像が存在すると判定し、閾値未満である場合は、存在しないと判定する
   ことを特徴とする請求項４記載の書類処理支援システム。
6. 前記書類処理支援システムはさらに、書類が有する記入欄の座標を前記書類タイプごとに記述するとともに前記記入欄に記入すべき事項を前記書類タイプごとに記述した書類データベースを備え、
   前記書類チェック部は、前記書類分類部が識別した前記書類タイプに対応する前記記入欄に記入すべき前記事項を前記書類データベースから取得し、
   前記書類チェック部は、前記画像データ上における前記記入欄の座標領域に対して文字認識を実施することにより、前記記入欄に記載されている文字を取得し、
   前記書類チェック部は、前記書類データベースから取得した前記事項と、前記文字認識によって取得した文字とを比較することにより、前記記入欄に記入すべき事項が記載されているか否かをチェックする
   ことを特徴とする請求項３記載の書類処理支援システム。
7. 前記書類データベースは、前記記入欄に記入すべき前記事項として、所定の計算式にしたがって算出すべき数値を記述しており、
   前記書類チェック部は、前記文字認識によって取得した文字を前記計算式に対して適用することにより、前記記入欄に記入すべき事項が記載されているか否かをチェックする
   ことを特徴とする請求項６記載の書類処理支援システム。
8. 前記書類チェック部は、前記書類が正しく記載されていると判断した場合は、前記画像データを記憶装置に格納する
   ことを特徴とする請求項３記載の書類処理支援システム。
9. 前記表示デバイスは、前記画像データを前記記憶装置から取得し、
   前記表示デバイスは、前記チェックルールにしたがって、前記ユーザが目視確認により前記書類の記載内容を確認するように促す前記ナビゲーション画像を、前記記憶装置から取得した画像データと併せて前記視界内に表示する
   ことを特徴とする請求項８記載の書類処理支援システム。
10. 前記書類処理支援システムはさらに、前記書類が有する個人識別情報を記載すべき個人識別欄の座標を前記書類タイプごとに記述した書類データベースを備え、
    前記書類チェック部は、前記書類分類部が識別した前記書類タイプが、前記個人識別欄を有するものである場合は、その書類タイプに対応する前記個人識別欄の座標を前記書類データベースから取得し、
    前記書類チェック部は、前記画像データ上における前記個人識別欄の座標領域に対して文字認識を実施することにより、前記個人識別欄に記載されている個人識別情報を取得するとともに、その取得した個人識別情報を用いて、対応する個人が前記書類を提出済である旨を表す情報を記憶装置に格納する
    ことを特徴とする請求項３記載の書類処理支援システム。
11. 前記書類処理支援システムはさらに、前記書類を提出済である旨を表す情報が前記記憶装置に格納されていない個人に対して、提出を促すメッセージを送信する、メッセージ送信部を備える
    ことを特徴とする請求項１０記載の書類処理支援システム。
12. 前記表示デバイスは、前記書類が正しく記載されていない場合は、前記ユーザが目視確認により前記書類の記載内容を確認するように促す前記ナビゲーション画像を、前記視界内に表示する
    ことを特徴とする請求項３記載の書類処理支援システム。
13. 前記表示デバイスは、前記書類が正しく記載されておらず、かつその記載不備の程度が閾値未満である場合は、その記載不備を自動訂正するので前記ユーザが対処する必要がない旨を表す前記ナビゲーション画像を、前記視界内に表示する
    ことを特徴とする請求項３記載の書類処理支援システム。
14. 前記表示デバイスは、前記ユーザの視界内に画像を表示するディスプレイと、前記書類の前記画像データを撮像するカメラとを備えたヘッドマウントディスプレイデバイスとして構成されている
    ことを特徴とする請求項１記載の書類処理支援システム。

Images