JP2018067180A - 作業支援装置および作業支援プログラム - Google Patents

Abstract

【課題】事後的なフォーマットの追加および変更に即座に対応できるようにする。【解決手段】作業支援装置１００は、判別部１１４と、学習部１１５とを備える。判別部１１４は、フォーマットごとに決められた記入欄を含む書類の静止画像１５２から書類のフォーマットを判別する。学習部１１５は、判別部１１４により判別されたフォーマットがフォーマットデータベース１６１に登録済でなければ、当該フォーマットをフォーマットデータベース１６１に登録する。【選択図】図１

Description

本発明は、作業支援装置および作業支援プログラムに関するものである。

特許文献１には、文書画像から切り出された１ページ分の画像の特徴を抽出し、事前に定義された帳票の特徴から帳票の様式を認識して、帳票を自動的に分別する技術が記載されている。

特許文献２には、作業者の視界空間の画像中にある商品ＩＤを認識し、その商品ＩＤに関連付けされている商品情報を作業者用ＨＭＤユニットに送信し、その作業者用ＨＭＤユニットのＨＭＤに自動的に商品情報を表示させる技術が記載されている。「ＩＤ」は、Ｉｄｅｎｔｉｆｉｅｒの略語である。「ＨＭＤ」は、Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙの略語である。

特開２００９−２１２６１３号公報 特開２００７−３２０７１５号公報

特許文献１に記載されている技術では、事後的な様式の追加および変更に即座に対応できないという課題がある。

特許文献２に記載されている技術では、商品ＩＤがどのような状態で画像に映っているか一切考慮せずに商品ＩＤを認識しようとすることになる。よって、文字認識の精度が十分に得られず、商品ＩＤを誤認識したり、商品ＩＤを認識できなかったりするおそれがある。

本発明は、事後的なフォーマットの追加および変更に即座に対応できるようにすることを目的とする。

本発明の一態様に係る作業支援装置は、
フォーマットごとに決められた記入欄を含む書類である作業対象物の画像から前記作業対象物のフォーマットを判別する判別部と、
前記判別部により判別されたフォーマットがデータベースに登録済でなければ、当該フォーマットを前記データベースに登録する学習部とを備える。

前記データベースには、登録済のフォーマットごとに、フォーマットの識別子と、フォーマットに対応する画像の特徴量の数値範囲とを示す項目を含むレコードが格納され、
前記判別部は、前記作業対象物の画像の特徴量を算出することで前記作業対象物のフォーマットを判別し、算出した特徴量の数値を前記データベースで照合して当該フォーマットの識別子を取得し、
前記学習部は、前記判別部での照合結果として前記判別部により判別されたフォーマットの識別子が取得されなければ、当該フォーマットが前記データベースに登録済でないと判断し、当該フォーマットの識別子を設定するとともに、前記判別部での特徴量の算出結果から当該フォーマットに対応する画像の特徴量の数値範囲を設定し、設定した識別子と、設定した数値範囲とを示す項目を含むレコードを当該フォーマットに対応するレコードとして前記データベースに格納する。

前記作業対象物の画像から前記作業対象物に含まれる記入欄の画像を切り出す切出部をさらに備え、
前記データベースには、登録済のフォーマットごとに、フォーマットの識別子と、フォーマットに対応する画像における記入欄の位置とを示す項目を含むレコードが格納され、
前記切出部は、前記判別部により取得された識別子を前記データベースで照合して前記判別部により判別されたフォーマットに対応する画像における記入欄の位置を特定し、特定した位置の画像を前記作業対象物に含まれる記入欄の画像として切り出す。

前記切出部は、前記判別部での照合結果として前記判別部により判別されたフォーマットの識別子が取得されなければ、前記作業対象物の画像を解析して前記作業対象物に含まれる記入欄の位置を特定し、特定した位置の画像を前記作業対象物に含まれる記入欄の画像として切り出すとともに、前記学習部により設定された識別子と、特定した位置とを示す項目を含むレコードを当該フォーマットに対応するレコードとして前記データベースに格納する。

前記切出部により切り出された画像から文字を認識する認識部をさらに備える。

動画像を撮影する撮影部と、
前記動画像を解析し、前記作業対象物が前記撮影部の撮影領域内に存在し、かつ、静止状態であることを検出した場合に、検出時点における前記作業対象物の静止画像を前記作業対象物の画像として取得して記録媒体に記録する検出部とをさらに備える。

前記検出部は、１つの作業対象物の静止画像を取得した後、前記１つの作業対象物が前記撮影部の撮影領域内に存在しなくなってから、次の作業対象物が前記撮影部の撮影領域に存在し、かつ、静止状態であることを検出した場合に、検出時点における前記次の作業対象物の静止画像を取得して前記記録媒体に記録する。

前記検出部は、前記作業対象物の静止画像を前記動画像から切り出して取得する。

前記検出部は、前記作業対象物の静止画像を補正してから前記記録媒体に記録する。

前記動画像をディスプレイに表示するとともに、前記検出部により前記作業対象物の静止画像が取得された場合に、メッセージを前記ディスプレイに表示する表示部をさらに備える。

前記判別部により判別されたフォーマットから、作業者が行うべき作業の内容を判断し、判断結果を前記作業者に通知する判断部をさらに備える。

本発明の一態様に係る作業支援プログラムは、
コンピュータに、
フォーマットごとに決められた記入欄を含む書類である作業対象物の画像から前記作業対象物のフォーマットを判別する処理と、
判別されたフォーマットがデータベースに登録済でなければ、当該フォーマットを前記データベースに登録する処理とを実行させる。

本発明では、書類の画像から判別されたフォーマットがデータベースに登録済でなければ、当該フォーマットがデータベースに登録される。よって、本発明によれば、事後的なフォーマットの追加および変更に即座に対応できるようになる。

実施の形態１に係る作業支援装置の構成を示すブロック図。 実施の形態１に係る作業支援装置の動作を示すフローチャート。 図２のステップＳ１１およびステップＳ１２の動作に対応する状態遷移図。 図２のステップＳ１５の動作の具体例を示す図。

以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。

実施の形態１．
本実施の形態について、図１から図３を用いて説明する。

＊＊＊構成の説明＊＊＊
図１を参照して、本実施の形態に係る作業支援装置１００の構成を説明する。

作業支援装置１００は、コンピュータである。作業支援装置１００は、プロセッサ１０１を備えるとともに、記録媒体１０２、入力装置１０３、ディスプレイ１０４、撮像装置１０５といった他のハードウェアを備える。プロセッサ１０１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

作業支援装置１００は、機能要素として、撮影部１１１と、検出部１１２と、表示部１１３と、判別部１１４と、学習部１１５と、切出部１１６と、認識部１１７と、判定部１１８と、判断部１１９と、登録部１２０とを備える。撮影部１１１、検出部１１２、表示部１１３、判別部１１４、学習部１１５、切出部１１６、認識部１１７、判定部１１８、判断部１１９、登録部１２０といった「部」の機能は、ソフトウェアにより実現される。

プロセッサ１０１は、演算処理を行うＩＣである。「ＩＣ」は、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略語である。プロセッサ１０１は、具体的には、ＣＰＵである。「ＣＰＵ」は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略語である。

記録媒体１０２は、メモリ単体でもよいが、本実施の形態では、メモリと補助記憶装置との組み合わせである。メモリは、具体的には、フラッシュメモリまたはＲＡＭである。「ＲＡＭ」は、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略語である。補助記憶装置は、フラッシュメモリまたはＨＤＤである。「ＨＤＤ」は、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略語である。

記録媒体１０２には、動画像１５１および静止画像１５２が記録される。記録媒体１０２には、さらに、フォーマットデータベース１６１、切出位置データベース１６２、条件データベース１６３、および、書類情報データベース１６４の実体が格納される。なお、フォーマットデータベース１６１、切出位置データベース１６２、条件データベース１６３、および、書類情報データベース１６４のうち２つ以上が統合されて１つのデータベースとして実装されてもよい。

入力装置１０３は、具体的には、マウス、キーボード、または、タッチパネルである。

ディスプレイ１０４は、具体的には、ＬＣＤまたはＨＭＤである。「ＬＣＤ」は、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略語である。ＨＭＤには、スマートグラスも含まれる。ディスプレイ１０４として、ＨＭＤを採用する場合には、後述する作業者がＨＭＤを装着する。

撮像装置１０５は、具体的には、ＵＳＢカメラ、または、ＨＭＤに搭載されたカメラである。「ＵＳＢ」は、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略語である。撮像装置１０５として、ＵＳＢカメラを採用する場合には、後述する作業者の近辺にＵＳＢカメラが備え付けられる。

作業支援装置１００は、ハードウェアとして、通信装置を備えていてもよい。

通信装置は、データを受信するレシーバおよびデータを送信するトランスミッタを含む。通信装置は、具体的には、通信チップまたはＮＩＣである。「ＮＩＣ」は、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略語である。

メモリには、「部」の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ１０１に読み込まれ、プロセッサ１０１によって実行される。メモリには、ＯＳも記憶されている。「ＯＳ」は、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略語である。プロセッサ１０１は、ＯＳを実行しながら、「部」の機能を実現するプログラムを実行する。なお、「部」の機能を実現するプログラムの一部または全部がＯＳに組み込まれていてもよい。

「部」の機能を実現するプログラムおよびＯＳは、補助記憶装置に記憶されていてもよい。補助記憶装置に記憶されているプログラムおよびＯＳは、メモリにロードされ、プロセッサ１０１によって実行される。

作業支援装置１００は、プロセッサ１０１を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、「部」の機能を実現するプログラムの実行を分担する。それぞれのプロセッサは、プロセッサ１０１と同じように、プロセッシングを行うＩＣである。

「部」の処理の結果を示す情報、データ、信号値、および、変数値は、メモリ、補助記憶装置、または、プロセッサ１０１内のレジスタまたはキャッシュメモリに記憶される。

「部」の機能を実現するプログラムは、磁気ディスク、光ディスクといった可搬記録媒体に記憶されてもよい。

＊＊＊動作の説明＊＊＊
図１のほか、図２および図３を参照して、本実施の形態に係る作業支援装置１００の動作を説明する。作業支援装置１００の動作は、本実施の形態に係る作業支援方法に相当する。作業支援装置１００の動作は、本実施の形態に係る作業支援プログラムの処理手順に相当する。

紙媒体を取り扱う事務業務では、複数種類の書類を同一の作業者が受け取り、書類の内容およびフォーマットに応じてどのような作業を行うべきか判断し、作業を実施する。本実施の形態では、作業支援装置１００が、紙の書類に対する作業の負荷を軽減し、業務を効率化するために、以下のような動作を行う。

ステップＳ１１において、撮影部１１１は、動画像１５１を撮影する。

ステップＳ１１の詳細な動作を以下に説明する。

表示部１１３は、「撮影開始」ボタンをディスプレイ１０４に表示する。作業者が入力装置１０３を用いて「撮影開始」ボタンを押下すると、撮影部１１１は、撮像装置１０５を用いた動画像１５１の撮影を開始する。このとき、表示部１１３は、「撮影終了」ボタンをディスプレイ１０４に表示する。作業者が入力装置１０３を用いて「撮影終了」ボタンを押下するまで、撮影部１１１は、撮像装置１０５を用いて動画像１５１を撮影し続けるとともに、撮影した動画像１５１を記録媒体１０２に記録する。その間、表示部１１３は、撮影部１１１により撮影された動画像１５１をディスプレイ１０４に表示する。

ステップＳ１２において、検出部１１２は、ステップＳ１１で撮影された動画像１５１を解析する。検出部１１２は、作業対象物が撮影部１１１の撮影領域内に存在し、かつ、静止状態であることを検出した場合に、検出時点における作業対象物の静止画像１５２を取得して記録媒体１０２に記録する。作業対象物は、文字が記された物体であれば、任意の物体でよいが、本実施の形態では、フォーマットごとに決められた記入欄を含む書類である。

ステップＳ１２の詳細な動作を以下に説明する。

検出部１１２は、作業者が作業対象物を撮像装置１０５の前にかざすと、作業対象物の動きが止まった時点における作業対象物の静止画像１５２を、撮影部１１１により撮影された動画像１５１から切り出して取得する。このとき、表示部１１３は、検出部１１２により作業対象物の静止画像１５２が取得されたことがわかるように、メッセージをディスプレイ１０４に表示する。具体的には、表示部１１３は、撮影部１１１により撮影された動画像１５１をディスプレイ１０４に表示しながら、検出部１１２により作業対象物の静止画像１５２が取得されたことを示す「ＯＫ」というメッセージをディスプレイ１０４に表示する。その後、検出部１１２は、取得した静止画像１５２を補助記憶装置に書き出す。

作業対象物の動きが止まったこと、すなわち、作業対象物が静止状態になったことを検出する方法としては、任意の方法を用いてよいが、本実施の形態では、動画像１５１の各フレームに映っている作業対象物の位置の差分を抽出する方法が用いられる。具体的には、検出部１１２は、書類である作業対象物の４隅の座標を動画像１５１のフレームごとに算出し、あるフレームについて算出した座標を直前のフレームについて算出した座標と比較したときに、いずれの座標の差分も０であるか、あるいは、規定値以下であれば、作業対象物が静止状態になったと判断する。

なお、検出部１１２は、作業対象物の静止画像１５２を動画像１５１から切り出して取得する代わりに、作業対象物の動きが止まった時点で、撮像装置１０５を用いて作業対象物の静止画像１５２を撮影してもよい。その場合、検出部１１２は、動画像１５１よりも高解像度で静止画像１５２を撮影することが望ましい。

本実施の形態では、検出部１１２は、作業対象物の静止画像１５２を補正してから記録媒体１０２に記録する。具体的には、検出部１１２は、取得した静止画像１５２に映っている作業対象物が斜めまたは逆向きになっている場合、静止画像１５２を回転して補正し、補正後の静止画像１５２を補助記憶装置に書き出す。

図３に示すように、検出部１１２は、１つの作業対象物の静止画像１５２を取得した後、当該１つの作業対象物が撮影部１１１の撮影領域内に存在しなくなってから、次の作業対象物が撮影部１１１の撮影領域に存在し、かつ、静止状態であることを検出した場合に、検出時点における当該次の作業対象物の静止画像１５２を取得して記録媒体１０２に記録する。このように静止画像１５２が新たに記録される度に、ステップＳ１３以降の動作が行われる。

ステップＳ１３において、判別部１１４は、ステップＳ１２で記録された作業対象物の静止画像１５２から作業対象物のフォーマットを判別する。具体的には、判別部１１４は、ステップＳ１２で記録された作業対象物の静止画像１５２の特徴量を算出する。判別部１１４は、算出結果から作業対象物のフォーマットを判別する。判別部１１４により判別されたフォーマットがフォーマットデータベース１６１に登録済であれば、そのままステップＳ１５以降の動作が行われる。一方、判別部１１４により判別されたフォーマットがフォーマットデータベース１６１に登録済でなければ、ステップＳ１４の動作が行われてからステップＳ１５以降の動作が行われる。このように、判別部１１４は、書類の内容から種類を自動判別し、以降の処理を自動で決定する。

ステップＳ１３の詳細な動作を以下に説明する。

判別部１１４は、検出部１１２により記録された静止画像１５２を補助記憶装置から読み込む。判別部１１４は、読み込んだ静止画像１５２の特徴量を算出するとともに、読み込んだ静止画像１５２から文字を認識する。なお、ここで判別部１１４により認識される文字は、作業対象物の記入欄に記入された文字ではなく、作業対象物の記入欄を示す文字である。具体例として、作業対象物が住所の記入欄を含む書類であれば、「住所」という文字が判別部１１４による認識の対象となる。判別部１１４は、算出した特徴量の数値と、認識した文字との組み合わせをフォーマットデータベース１６１で照合する。フォーマットデータベース１６１には、「フォーマットＩＤ」、「特徴量範囲」、「文字」といった項目を含むレコードが格納されている。「フォーマットＩＤ」は、作業対象物のフォーマットを一意に識別するＩＤである。「特徴量範囲」は、「フォーマットＩＤ」に対応する作業対象物の静止画像１５２の特徴量の数値範囲である。２つ以上のフォーマットの「特徴量範囲」が重複することは許容される。「文字」は、「フォーマットＩＤ」に対応する作業対象物に含まれる記入欄を示す文字である。作業対象物に複数の記入欄が含まれる場合は、「文字」が記入欄ごとにレコードに含まれる。判別部１１４は、算出した特徴量の数値が「特徴量範囲」内であり、かつ、認識した文字が「文字」と一致するレコードがフォーマットデータベース１６１に格納されていれば、該当するレコードの「フォーマットＩＤ」を取得する。判別部１１４が「フォーマットＩＤ」を取得した場合、判別部１１４により判別されたフォーマットがフォーマットデータベース１６１に登録済であるということになる。一方、判別部１１４が「フォーマットＩＤ」を取得しなかった場合、すなわち、該当するレコードがフォーマットデータベース１６１に格納されていなかった場合、判別部１１４により判別されたフォーマットがフォーマットデータベース１６１に登録済でなかったということになる。

なお、判別部１１４は、算出した特徴量の数値と、認識した文字との組み合わせをフォーマットデータベース１６１で照合する代わりに、まず、算出した特徴量の数値をフォーマットデータベース１６１で照合し、必要なときだけ、認識した文字をフォーマットデータベース１６１で照合してもよい。その場合、判別部１１４は、算出した特徴量の数値が「特徴量範囲」内であるレコードがフォーマットデータベース１６１に１つしか格納されていなければ、認識した文字の照合を省略するか、または、文字の認識自体を省略して、該当するレコードの「フォーマットＩＤ」を取得する。一方、判別部１１４は、算出した特徴量の数値が「特徴量範囲」内であるレコードがフォーマットデータベース１６１に２つ以上格納されていれば、それらのレコードの中から、認識した文字が「文字」と一致するレコードを選択し、選択したレコードの「フォーマットＩＤ」を取得する。

ステップＳ１４において、学習部１１５は、ステップＳ１３で判別されたフォーマットをフォーマットデータベース１６１に登録する。すなわち、学習部１１５は、書類の種類を学習する。

ステップＳ１４の詳細な動作を以下に説明する。

学習部１１５は、判別部１１４により「フォーマットＩＤ」が取得されなかった場合、新たな「フォーマットＩＤ」を設定し、判別部１１４により算出された特徴量の数値から「特徴量範囲」を設定し、判別部１１４により認識された文字を「文字」として設定する。学習部１１５は、設定した「フォーマットＩＤ」、「特徴量範囲」、および、「文字」を含むレコードをフォーマットデータベース１６１に登録する。

「特徴量範囲」を設定する方法としては、任意の方法を用いてよいが、本実施の形態では、判別部１１４により算出された特徴量の数値に固定値を加算して「特徴量範囲」の上限値を決定し、判別部１１４により算出された特徴量の数値から同じ固定値を減算して「特徴量範囲」の下限値を決定するものとする。

なお、学習部１１５は、新たなレコードをフォーマットデータベース１６１に登録する前に、ディスプレイ１０４を介して作業者に登録の許否を問い合わせてもよい。その場合、学習部１１５は、入力装置１０３を介して作業者から登録の許可を得たときだけ、新たなレコードをフォーマットデータベース１６１に登録する。学習部１１５は、作業者から登録の許可を得られなかったときは、何もしないか、あるいは、入力装置１０３を介して作業者から既存の「フォーマットＩＤ」の指定を受け付ける。作業者が既存の「フォーマットＩＤ」を指定できるようにすることで、フォーマットの二重登録を防止できる。すなわち、判別部１１４によるフォーマットの誤判別またはフォーマットデータベース１６１における「特徴量範囲」の誤設定に起因して、判別部１１４が「フォーマットＩＤ」を取得できなかった場合でも、既知のフォーマットが新規のフォーマットとしてフォーマットデータベース１６１に登録されるという事態を回避できる。作業者により「フォーマットＩＤ」が指定された場合、ステップＳ１５以降では、その「フォーマットＩＤ」が、判別部１１４により取得された「フォーマットＩＤ」の代替として用いられる。

ステップＳ１５において、切出部１１６は、ステップＳ１２で記録された作業対象物の静止画像１５２から作業対象物に含まれる記入欄の画像を切り出す。すなわち、切出部１１６は、画像から必要箇所を認識して切り出す。

ステップＳ１５の詳細な動作を以下に説明する。

切出部１１６は、判別部１１４により「フォーマットＩＤ」が取得された場合、その「フォーマットＩＤ」に対応するレコードを切出位置データベース１６２から抽出する。切出位置データベース１６２には、「フォーマットＩＤ」、「記入欄ＩＤ」、「座標」といった項目を含むレコードが格納されている。「フォーマットＩＤ」は、フォーマットデータベース１６１の「フォーマットＩＤ」と同じである。「記入欄ＩＤ」は、「フォーマットＩＤ」に対応する作業対象物に含まれる記入欄を一意に識別するＩＤである。「座標」は、「フォーマットＩＤ」に対応する作業対象物の静止画像１５２における、「記入欄ＩＤ」で識別される記入欄の座標である。「座標」は、記入欄の位置を特定することができる座標であればよいが、本実施の形態では、記入欄の左上隅および右下隅の座標である。なお、記入欄の切出領域が矩形であることを前提に、「座標」として、記入欄の１つの隅の座標と、記入欄の切出領域の長辺および短辺の長さとの組み合わせが設定されてもよい。切出部１１６は、抽出したレコードの「記入欄ＩＤ」を取得するとともに、抽出したレコードの「座標」によって特定される位置の画像を、判別部１１４により読み込まれた静止画像１５２から切り出す。

切出部１１６は、判別部１１４により「フォーマットＩＤ」が取得されなかった場合、新たな「記入欄ＩＤ」を設定し、判別部１１４により読み込まれた静止画像１５２から、判別部１１４により文字が認識された位置の近傍の罫線を認識することで、作業対象物に含まれる記入欄の「座標」を特定する。切出部１１６は、学習部１１５により設定された「フォーマットＩＤ」、設定した「記入欄ＩＤ」、および、特定した「座標」を含むレコードを切出位置データベース１６２に登録する。判別部１１４により認識された文字によって区別される記入欄が２つ以上ある場合、切出部１１６は、記入欄ごとに新たなレコードを切出位置データベース１６２に登録する。切出部１１６は、登録したレコードの「座標」によって特定される位置の画像を、判別部１１４により読み込まれた静止画像１５２から切り出す。

判別部１１４により文字が認識された位置の近傍の罫線を認識する方法としては、任意の方法を用いてよいが、本実施の形態では、判別部１１４により文字が認識された位置の右側で最も近くに存在する矩形領域を抽出する方法が用いられる。図４の例では、切出部１１６は、新規会員申込書である作業対象物の静止画像１５２から、判別部１１４により「住所」という文字が認識された位置の右側で最も近くに存在する矩形領域の左上隅の座標（Ｘ１，Ｙ１）および右下隅の座標（Ｘ２，Ｙ２）を算出する。学習部１１５により設定された、新規会員申込書に対応する「フォーマットＩＤ」は、「００１」とする。切出部１１６は、住所の記入欄に対応する「記入欄ＩＤ」を「００１１」に設定する。そして、切出部１１６は、新規会員申込書に対応する「フォーマットＩＤ」として「００１」、住所の記入欄に対応する「記入欄ＩＤ」として「００１１」、住所の記入欄の「座標」として（Ｘ１，Ｙ１）および（Ｘ２，Ｙ２）を含むレコードを切出位置データベース１６２に登録する。切出部１１６は、氏名、電話番号、および、生年月日の記入欄についても、住所の記入欄と同様に、レコードを切出位置データベース１６２に登録する。

なお、切出部１１６は、罫線を認識することで記入欄の「座標」を特定する代わりに、作業者に手動で記入欄の「座標」を特定させてもよい。

上記のように、本実施の形態において、フォーマットデータベース１６１には、登録済のフォーマットごとに、フォーマットの識別子と、フォーマットに対応する静止画像１５２の特徴量の数値範囲とを示す項目を含むレコードが格納されている。判別部１１４は、作業対象物の静止画像１５２の特徴量を算出することで作業対象物のフォーマットを判別する。判別部１１４は、算出した特徴量の数値をフォーマットデータベース１６１で照合して当該フォーマットの識別子を取得する。学習部１１５は、判別部１１４での照合結果として判別部１１４により判別されたフォーマットの識別子が取得されなければ、当該フォーマットがフォーマットデータベース１６１に登録済でないと判断する。学習部１１５は、当該フォーマットの識別子を設定するとともに、判別部１１４での特徴量の算出結果から当該フォーマットに対応する静止画像１５２の特徴量の数値範囲を設定する。そして、学習部１１５は、設定した識別子と、設定した数値範囲とを示す項目を含むレコードを当該フォーマットに対応するレコードとしてフォーマットデータベース１６１に格納する。

また、本実施の形態において、切出位置データベース１６２には、登録済のフォーマットごとに、フォーマットの識別子と、フォーマットに対応する静止画像１５２における記入欄の位置とを示す項目を含むレコードが格納されている。切出部１１６は、判別部１１４での照合結果として判別部１１４により判別されたフォーマットの識別子が取得されれば、判別部１１４により取得された識別子を切出位置データベース１６２で照合して判別部１１４により判別されたフォーマットに対応する静止画像１５２における記入欄の位置を特定する。そして、切出部１１６は、特定した位置の画像を作業対象物に含まれる記入欄の画像として切り出す。一方、切出部１１６は、判別部１１４での照合結果として判別部１１４により判別されたフォーマットの識別子が取得されなければ、作業対象物の静止画像１５２を解析して作業対象物に含まれる記入欄の位置を特定する。そして、切出部１１６は、特定した位置の静止画像１５２を作業対象物に含まれる記入欄の静止画像１５２として切り出す。また、切出部１１６は、学習部１１５により設定された識別子と、特定した位置とを示す項目を含むレコードを当該フォーマットに対応するレコードとして切出位置データベース１６２に格納する。

ステップＳ１６において、認識部１１７は、ステップＳ１５で切り出された画像から文字を認識する。

ステップＳ１６の詳細な動作を以下に説明する。

認識部１１７は、切出部１１６により切り出された画像の特徴量を算出する。認識部１１７は、算出した特徴量の数値から、記入欄に記入された文字を判別する。ここで認識部１１７により判別される文字には、チェックボックス内のチェックマーク、および、押印欄内の印影も含まれる。切出部１１６により切り出された画像が２つ以上ある場合、認識部１１７は、画像ごとに文字を判別する。

なお、認識部１１７は、特徴量の数値から文字を判別する代わりに、パターンマッチングにより文字を判別してもよい。

ステップＳ１７において、判定部１１８は、ステップＳ１６で認識された文字から、作業対象物に含まれる記入欄への記入内容に不備がないかどうかを判定する。

ステップＳ１７の詳細な動作を以下に説明する。

判定部１１８は、認識部１１７により判別された文字を条件データベース１６３で照合する。条件データベース１６３には、「フォーマットＩＤ」、「記入欄ＩＤ」、「条件」、「表示内容」といった項目を含むレコードが格納されている。「フォーマットＩＤ」および「記入欄ＩＤ」は、切出位置データベース１６２の「フォーマットＩＤ」および「記入欄ＩＤ」と同じである。「条件」は、「フォーマットＩＤ」に対応する作業対象物に含まれる、「記入欄ＩＤ」で識別される記入欄の記入内容に関する条件である。「表示内容」は、作業者に通知すべきメッセージである。判定部１１８は、判別部１１４により取得された「フォーマットＩＤ」、または、学習部１１５により設定された「フォーマットＩＤ」と、切出部１１６により取得または設定された「記入欄ＩＤ」とを含むレコードの「条件」が満たされていれば、不備がないと判定し、満たされていなければ、不備があると判定する。

ステップＳ１８において、判断部１１９は、ステップＳ１３で判別されたフォーマットから、作業者が行うべき作業の内容を判断する。判断部１１９は、判断結果を作業者に通知する。

ステップＳ１８の詳細な動作を以下に説明する。

条件データベース１６３の「表示内容」には、判定部１１８により不備がないと判定された場合に作業者に通知すべきメッセージと、判定部１１８により不備があると判定された場合に作業者に通知すべきメッセージとの両方が設定されている。少なくとも前者のメッセージには、作業者が次に行うべき作業の内容を表すメッセージが含まれている。判断部１１９は、判別部１１４により取得された「フォーマットＩＤ」、または、学習部１１５により設定された「フォーマットＩＤ」と、切出部１１６により取得または設定された「記入欄ＩＤ」とを含むレコードの「表示内容」から、判定部１１８の判定結果に応じたメッセージを取得してディスプレイ１０４に表示する。具体例として、住所の記入欄への記入が必須であるという「条件」が設定されているとき、住所の記入欄の画像から何も文字が認識されていなければ、記入内容が「条件」を満たしていないことになるので、判定部１１８により不備があると判定される。よって、判断部１１９は、「表示内容」から、不備があると判定された場合に作業者に通知すべきメッセージを取得してディスプレイ１０４に表示する。別の具体例として、チェックボックスへのチェックマークの記入が必須であるという「条件」が設定されているとき、チェックボックスの画像から何も文字が認識されていないか、あるいは、チェックボックスではないものが認識されていれば、記入内容が「条件」を満たしていないことになるので、判定部１１８により不備があると判定される。よって、判断部１１９は、「表示内容」から、不備があると判定された場合に作業者に通知すべきメッセージを取得してディスプレイ１０４に表示する。さらに別の具体例として、作業対象物のすべての記入欄への記入内容が「条件」を満たしている場合は、判定部１１８により不備がないと判定される。よって、判断部１１９は、「表示内容」から、不備がないと判定された場合に作業者に通知すべきメッセージを取得してディスプレイ１０４に表示する。このメッセージには、作業者が次に行うべき作業の内容を表すメッセージが含まれている。このように、本実施の形態では、判断部１１９が、作業者が行うべき作業の内容を判断して、その結果を表示する。なお、「表示内容」のメッセージは、プロジェクションマッピングの手法を用いて作業対象物に重畳表示されてもよい。また、「表示内容」のメッセージの代わりに、あるいは、「表示内容」のメッセージとともに、認識部１１７による文字認識の結果が表示されてもよい。

ステップＳ１９において、登録部１２０は、ステップＳ１６で認識された文字を、作業対象物に含まれる記入欄への記入内容として書類情報データベース１６４に登録する。すなわち、登録部１２０は、書類の規定項目を登録する。

ステップＳ１９の動作は、ステップＳ１７で不備がないと判定された場合のみ行われてもよいが、本実施の形態では、ステップＳ１７の判定結果に関わらず行われる。そのため、ステップＳ１９の動作は、ステップＳ１７の動作の前、あるいは、ステップＳ１７の動作と並行して行われてもよい。

なお、ステップＳ１１およびステップＳ１２とは別の方法で作業対象物の画像を撮影し、その画像をステップＳ１３以降で静止画像１５２の代わりに用いてもよい。

以上説明したように、本実施の形態では、前提として、作業支援装置１００が、処理済の書類画像を入力し、フォーマットの学習を行う。これにより、フォーマットデータベース１６１が構築される。

作業者が書類をカメラの前にかざすと、作業支援装置１００は、書類の判定、記入内容の認識、および、不備の判定を自動的に実施し、作業者へ作業内容を指示する。作業者は、指示に従って作業を実施すればよい。

作業支援装置１００は、書類のフォーマットが未知のフォーマットである場合、そのフォーマットを新規フォーマットとして登録する。すなわち、作業支援装置１００は、新規フォーマットを追加してフォーマットを学習する。また、作業支援装置１００は、書類の判別および不備の判定に必要な情報をフィードバックすることで、再学習処理を行う機構も持つ。これにより、人手による作業よりも高い精度で書類の判別および不備の判定ができる。

ここで、本実施の形態の適用例を説明する。

第１の適用例として、本実施の形態を銀行のテラー業務に適用することが考えられる。

この例では、ＨＭＤを装着したテラーが作業者に相当する。作業者は、口座開設の書類、振込の書類といった銀行で扱う複数種類の書類を広げる。作業支援装置１００は、その作業動画を備え付けのカメラまたはＨＭＤに付属のカメラで撮影し、入力および自動処理を行う。その結果として、作業支援装置１００は、ＨＭＤを通じて作業者に次の作業を指示する。書類に不備があった場合、再度書類を撮影してもよいし、書類を登録済として処分してもよい。この例によれば、テラー業務の負荷を軽減することができる。

第２の適用例として、本実施の形態をコンビニエンスストアのレジ業務に適用することが考えられる。

この例では、ＨＭＤを装着した店員が作業者に相当する。作業者は、宅配便の送り状、公共料金振込用紙といった書類を広げる。作業支援装置１００は、その作業動画を備え付けのカメラまたはＨＭＤに付属のカメラで撮影し、入力および自動処理を行う。その結果として、作業支援装置１００は、ＨＭＤを通じて作業者に次の作業を指示する。具体例として、宅配便の送り状については、送り状の不備を自動で確認したり、荷物を受け取る作業を指示したり、荷物の重さおよびサイズを計る作業を指示したりすることができる。公共料金振込用紙については、書類から金額を自動で認識して料金を受け取る作業を指示したり、領収印を押す作業を指示したりすることができる。この例によれば、作業の内容および順序を十分に知らない作業者であっても、適切に作業を実施できるようになる。

第３の適用例として、本実施の形態を銀行の書写台記載作業に適用することが考えられる。

この例では、顧客が作業者に相当する。作業者は、銀行で扱う複数種類の書類を作業台で広げる。作業支援装置１００は、その作業動画を備え付けのカメラで撮影し、入力および自動処理を行う。その結果として、作業支援装置１００は、書類の不備または記入漏れを作業者に通知することができる。通知方法の具体例として、プロジェクタを用いて紙にメッセージを投影し、重畳表示することができる。メッセージは、作業者の記入作業と同時に更新および反映される。この例によれば、記入を補助し、以降の作業における手戻り量を軽減することができる。

本実施の形態は、上記以外にも様々な業務に適用することができる。具体例として、本実施の形態を役所の事務に適用することが考えられる。あるいは、本実施の形態を役所、鉄道、保険、および、通信キャリア等の窓口業務に適用することが考えられる。あるいは、本実施の形態を医療機関でレセプトを確認する業務、または、薬局で処方箋を確認する業務に適用することが考えられる。

＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態では、文字が記された物体である作業対象物が撮影領域内に存在し、かつ、静止状態であることが検出された場合に、検出時点における作業対象物の静止画像１５２が記録される。よって、本実施の形態によれば、文字認識の精度が十分に得られる画像を記録することができる。

また、本実施の形態によれば、作業者の「無意識の判断」および「スキルを要する書類の確認作業」を自動化し、業務を効率化することができる。

本実施の形態では、検出部１１２が、動画が撮影されている間において、後の処理に最適な画像を取得可能なタイミングで画像を自動的に切り出す。これにより、作業者は、カメラが画像を取得するタイミングを意識することなく作業を行うことができる。本実施の形態では、検出部１１２により書類の静止画像１５２が自動的に記録されるため、作業者が書類をスキャンする手間を省くことができ、業務を効率化することができる。

本実施の形態では、書類の画像から判別されたフォーマットがデータベースに登録済でなければ、当該フォーマットがデータベースに登録される。よって、本実施の形態によれば、事後的なフォーマットの追加および変更に即座に対応できるようになる。

本実施の形態では、判別部１１４が、書類に含まれる記入欄の名称および位置等から、書類のフォーマットを判別する。判別には書類の文字認識結果を使用することもできる。また、学習部１１５が、入力された書類のフォーマットを学習し、未知のフォーマットを新たなフォーマットとして登録する。この学習は、作業開始前にも作業中にも行われる。学習に必要な情報は、手動で付加されてもよい。本実施の形態では、判別部１１４により書類の種類が自動的に判別され、判定部１１８により書類の不備が自動的に判定されるため、作業者が書類の不備を見逃すことを防止できる。

本実施の形態では、判断部１１９により書類の種類に応じた作業の内容が自動的に判断されるため、作業者が業務システムおよび業務フローを熟知していなくても、適切な作業を行うことができる。

＊＊＊他の構成＊＊＊
本実施の形態では、「部」の機能がソフトウェアにより実現されるが、変形例として、「部」の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、「部」の機能の一部が専用の電子回路により実現され、残りがソフトウェアにより実現されてもよい。

専用の電子回路は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＦＰＧＡ、または、ＡＳＩＣである。「ＧＡ」は、Ｇａｔｅ Ａｒｒａｙの略語である。「ＦＰＧＡ」は、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略語である。「ＡＳＩＣ」は、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略語である。

プロセッサ１０１、メモリ、および、専用の電子回路を、総称して「プロセッシングサーキットリ」という。つまり、「部」の機能は、ソフトウェアにより実現されるか、ソフトウェアとハードウェアとの組み合わせにより実現されるかに関わらず、プロセッシングサーキットリにより実現される。

「部」を「工程」、「手順」、または、「処理」に読み替えてもよい。

以上、本発明の実施の形態について説明したが、この実施の形態を部分的に実施しても構わない。具体的には、この実施の形態に係る作業支援装置１００の機能要素のうち、一部の機能要素のみを採用してもよい。なお、本発明は、この実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。

１００ 作業支援装置、１０１ プロセッサ、１０２ 記録媒体、１０３ 入力装置、１０４ ディスプレイ、１０５ 撮像装置、１１１ 撮影部、１１２ 検出部、１１３ 表示部、１１４ 判別部、１１５ 学習部、１１６ 切出部、１１７ 認識部、１１８ 判定部、１１９ 判断部、１２０ 登録部、１５１ 動画像、１５２ 静止画像、１６１ フォーマットデータベース、１６２ 切出位置データベース、１６３ 条件データベース、１６４ 書類情報データベース。

Claims (12)

1. フォーマットごとに決められた記入欄を含む書類である作業対象物の画像から前記作業対象物のフォーマットを判別する判別部と、
   前記判別部により判別されたフォーマットがデータベースに登録済でなければ、当該フォーマットを前記データベースに登録する学習部と
   を備える作業支援装置。
2. 前記データベースには、登録済のフォーマットごとに、フォーマットの識別子と、フォーマットに対応する画像の特徴量の数値範囲とを示す項目を含むレコードが格納され、
   前記判別部は、前記作業対象物の画像の特徴量を算出することで前記作業対象物のフォーマットを判別し、算出した特徴量の数値を前記データベースで照合して当該フォーマットの識別子を取得し、
   前記学習部は、前記判別部での照合結果として前記判別部により判別されたフォーマットの識別子が取得されなければ、当該フォーマットが前記データベースに登録済でないと判断し、当該フォーマットの識別子を設定するとともに、前記判別部での特徴量の算出結果から当該フォーマットに対応する画像の特徴量の数値範囲を設定し、設定した識別子と、設定した数値範囲とを示す項目を含むレコードを当該フォーマットに対応するレコードとして前記データベースに格納する請求項１に記載の作業支援装置。
3. 前記作業対象物の画像から前記作業対象物に含まれる記入欄の画像を切り出す切出部をさらに備え、
   前記データベースには、登録済のフォーマットごとに、フォーマットの識別子と、フォーマットに対応する画像における記入欄の位置とを示す項目を含むレコードが格納され、
   前記切出部は、前記判別部により取得された識別子を前記データベースで照合して前記判別部により判別されたフォーマットに対応する画像における記入欄の位置を特定し、特定した位置の画像を前記作業対象物に含まれる記入欄の画像として切り出す請求項２に記載の作業支援装置。
4. 前記切出部は、前記判別部での照合結果として前記判別部により判別されたフォーマットの識別子が取得されなければ、前記作業対象物の画像を解析して前記作業対象物に含まれる記入欄の位置を特定し、特定した位置の画像を前記作業対象物に含まれる記入欄の画像として切り出すとともに、前記学習部により設定された識別子と、特定した位置とを示す項目を含むレコードを当該フォーマットに対応するレコードとして前記データベースに格納する請求項３に記載の作業支援装置。
5. 前記切出部により切り出された画像から文字を認識する認識部をさらに備える請求項３または４に記載の作業支援装置。
6. 動画像を撮影する撮影部と、
   前記動画像を解析し、前記作業対象物が前記撮影部の撮影領域内に存在し、かつ、静止状態であることを検出した場合に、検出時点における前記作業対象物の静止画像を前記作業対象物の画像として取得して記録媒体に記録する検出部と
   をさらに備える請求項１から５のいずれか１項に記載の作業支援装置。
7. 前記検出部は、１つの作業対象物の静止画像を取得した後、前記１つの作業対象物が前記撮影部の撮影領域内に存在しなくなってから、次の作業対象物が前記撮影部の撮影領域に存在し、かつ、静止状態であることを検出した場合に、検出時点における前記次の作業対象物の静止画像を取得して前記記録媒体に記録する請求項６に記載の作業支援装置。
8. 前記検出部は、前記作業対象物の静止画像を前記動画像から切り出して取得する請求項６または７に記載の作業支援装置。
9. 前記検出部は、前記作業対象物の静止画像を補正してから前記記録媒体に記録する請求項６から８のいずれか１項に記載の作業支援装置。
10. 前記動画像をディスプレイに表示するとともに、前記検出部により前記作業対象物の静止画像が取得された場合に、メッセージを前記ディスプレイに表示する表示部をさらに備える請求項６から９のいずれか１項に記載の作業支援装置。
11. 前記判別部により判別されたフォーマットから、作業者が行うべき作業の内容を判断し、判断結果を前記作業者に通知する判断部をさらに備える請求項１から１０のいずれか１項に記載の作業支援装置。
12. コンピュータに、
    フォーマットごとに決められた記入欄を含む書類である作業対象物の画像から前記作業対象物のフォーマットを判別する処理と、
    判別されたフォーマットがデータベースに登録済でなければ、当該フォーマットを前記データベースに登録する処理と
    を実行させる作業支援プログラム。

Images