JP2015011588A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 ワークフローを中断しても、該ワークフローを簡単に再開するための技術を提供すること。
【解決手段】 撮影部が書類を撮影することで得られる画像を書類画像として取得する。書類画像を含む複数の書類画像から成るグループに対するワークフローを中断する指示を検知すると、該中断時における該ワークフローの状態を示す情報を中断情報として印刷部に印刷させる。中断情報が印刷された印刷物を撮影部が撮影することで得られる画像から中断情報を抽出し、該抽出した中断情報の一部、若しくは全部を投影部に供給する。
【選択図】 図１

Description

本発明は、書類に対するワークフローを実現させるための技術に関するものである。

近年、ワークフローの多くはコンピュータシステムシステムを使用して実施されている。また、複合機には多くの機能が盛り込まれ、スキャン、加工、送信、受信の他、ワークフローを補助する機能が盛り込まれている。

ワークフローを実施するに当たり、中断、再開が発生するが、作業者の負担を軽減するとともに、中断によるオーバーヘッドを限りなく少なくし、スムーズに再開できることが望ましい。

ワークフローのひとつに書類の作成がある。書類作成の一形態として、コンピュータ上の専用ソフトウェアで編集され、完成後、プリンタで印刷されるものがある。書類作成を再開する場合、多くは、コンピュータ上で専用ソフトウェアを起動し、編集中の書類のファイルを選択することで行われる。しかしながら、一旦印刷した書類を再度編集する場合は、その書類のファイルの保存場所の特定に時間がかかる等の課題があった。ファイルの保存場所を失念する場合、あるいは、別の操作者が実施する際に正確な引き継ぎが行われない場合、問題となる。このような問題を解決するため、印刷済みの書類から編集を再開する方法が以下の文献で開示されている。

特許文献１では、印刷した書類上に編集プログラム名とファイルの情報を数字列に変換し、文字としてあるいはバーコードとして印字するようにした。編集再開時に、文字を入力あるいはバーコードを読み取ることで、直ちに編集が再開できるようになった。

また、特許文献２では、書類の印刷時に識別番号を埋め込んでおき、スキャン時に識別番号により特定されるアクションを実施するようにした。書類をスキャンすることで、書類に対する、保存、電子メール送信等の作業を自動的に実施できるようになった。

特開平６−３４８７０４号公報 特開２００６−２２８２０８号公報

これらの先行技術により、印刷した書類に対して、再度、編集や送信の作業を実施できるようになった。しかしながら、これら先行技術はいずれも、印刷した一書類に対してのみに作用するものであり、複数の書類を扱うワークフローに対して、いったん中断した作業を再開することはできない。ワークフローは単に書類に対する操作だけではなく、中断時の状態を再現する必要がある。

本発明はこのような問題に鑑みてなされたものであり、ワークフローを中断しても、該ワークフローを簡単に再開するための技術を提供する。

本発明の一様態によれば、撮影部と、供給された画像を投影面に投影する投影部と、印刷部と、を有する画像処理装置であって、前記撮影部が書類を撮影することで得られる画像を書類画像として取得する取得手段と、前記書類画像を含む複数の書類画像から成るグループに対するワークフローを中断する指示を検知すると、該中断時における該ワークフローの状態を示す情報を中断情報として前記印刷部に印刷させる印刷手段と、前記中断情報が印刷された印刷物を前記撮影部が撮影することで得られる画像から前記中断情報を抽出し、該抽出した中断情報の一部、若しくは全部を前記投影部に供給する供給手段とを備えることを特徴とする。

本発明の構成によれば、ワークフローを中断しても、該ワークフローを簡単に再開することができる。

システムの構成例を示すブロック図。 システムの使用環境及びその使用例を俯瞰した状態を示す図。 システムの状態遷移図。 状態３０１における処理内容を示すフローチャート。 状態３０２における処理内容を示すフローチャート。 状態３０３における処理内容を示すフローチャート。 状態３０４における処理内容を示すフローチャート。 状態３０５における処理内容を示すフローチャート。 状態３０６における処理内容を示すフローチャート。 ユーザインターフェース画面の表示例を示す図。 ユーザインターフェース画面の表示例を示す図。 ユーザインターフェース画面の表示例を示す図。 ユーザインターフェース画面の表示例を示す図。 ユーザインターフェース画面の表示例を示す図。 ユーザインターフェース画面の表示例を示す図。 ユーザインターフェース画面の表示例を示す図。 ステップＳ４０１の段階における投影面２０１上の様子を示す図。 ユーザインターフェース画面の表示例を示す図。 ユーザインターフェース画面の表示例を示す図。 システムの動作を示すフローチャート。 状態３２１及び状態３２２のフローチャート。 状態３２１における処理内容を示すフローチャート。 状態３２２における処理内容を示すフローチャート。 状態３２０における処理内容を示すフローチャート。 ワーク管理テーブルの構成例を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態に係る画像処理装置として機能するシステムの構成例について、図１を用いて説明する。なお、図１に示した構成はあくまでも一例であり、以下に説明する各機能が実現可能な構成であれば、如何なる構成を採用しても構わない。また、図１に示した各機能部は、１つの装置内にまとめられても良いし、例えば投影部１０１や撮影部１０２を別個の装置とするなど、いくつかの装置によって図１の構成を実現させても良い。

投影部１０１は、制御部１０３から供給された画像等の情報を、スクリーンなどの投影面上の、制御部１０３によって指定された位置に投影する。

撮影部１０２は、少なくとも投影部１０１による投影範囲を含むような撮影範囲を撮影するものであり、ディジタルカメラやビデオカメラなどにより構成されている。制御部１０３は、記憶部１０４に格納されているコンピュータプログラムやデータを用いて処理を実行することで、システムを構成する各部の動作制御を行う。例えば、投影部１０１に画像等の情報を供給したり、撮影部１０２が撮影した画像を適当な機能部に供給したりする。制御部１０３は、ＣＰＵやＧＰＵなどにより構成されている。

記憶部１０４には、制御部１０３の実行対象となるコンピュータプログラムやデータ、以下の説明において既知の情報として取り扱う情報、投影部１０１に投影させる情報、などが格納されている。記憶部１０４は、ＲＡＭやＲＯＭ、ハードディスクドライブ装置などにより構成されている。

ＵＩ（ユーザインターフェース）部１０５は、本システムに対するユーザ操作指示を解釈する。ＵＩ部１０５は、公知のジェスチャ認識技術を用いてユーザのジェスチャを操作指示として取得するために、赤外線カメラや超音波センサ等を備えていてもよい。

通信部１０６は、不図示のファイルサーバやアプリケーションサーバ等の外部機器との間でデータ通信を行う。印刷部１０７は、供給された印刷データに基づいて、紙などの印刷媒体上に画像や文字などを印刷することで印刷物を生成するものであり、プリンタや複写機などの印刷機器である。

画像補正部１１０は、撮影部１０２が撮影した画像に対して公知の様々な補正処理を施す。例えば、撮影部１０２が撮影した画像から不要部分を除いたり形状の歪みを補正したりする。

画像識別部１１１は、画像補正部１１０によって補正された画像中の撮影対象を識別する。文字認識部１１２は、画像補正部１１０によって補正された画像中の文字部分を公知の文字認識技術によって文字コード列へと変換する。

文字マスク部１１３は、画像補正部１１０によって補正された画像中の文字列が存在する範囲を一定色に塗りつぶすなどして、人間が文字として知覚不可能な状態へと加工する処理を行う。画像変形部１１４は、画像補正部１１０によって補正された画像に対し、一部範囲のみの切り出しや拡大・縮小などの加工処理を行う。

なお、上記の画像補正部１１０、画像識別部１１１、文字認識部１１２、文字マスク部１１３、画像変形部１１４は何れも、本実施形態ではハードウェアで構成されているものとして説明するが、コンピュータプログラムで実装しても構わない。この場合、このコンピュータプログラムは記憶部１０４に格納され、制御部１０３がこのコンピュータプログラムを実行することで、これら各機能部の機能を実現させる。また、このコンピュータプログラムは、通信部１０６と通信可能な外部機器にインストールしてもよい。この場合、このコンピュータプログラムは外部機器によって実行され、本システムはこの外部機器との間で画像や処理結果のやりとりを行うことで、結果としてこのコンピュータプログラムの実行結果を得る。

図２は、本実施形態に係るシステムの使用環境及びその使用例を俯瞰した状態を示す図である。図２では、本実施形態に係るシステム２００は、投影部１０１および撮影部１０２を備えるカメラ付きプロジェクタであり、机等の投影面２０１上に置かれ、投影部１０１によって投影面２０１上に画像等を投影するように配置される。２１０はその投影範囲を示す。

撮影部１０２は、投影面２０１上の状態、たとえば投影範囲２１０内に置かれた紙等の撮影画像を制御部１０３に提供する。システム２００は、ユーザが操作指示としておこなうタッチやスワイプなどのジェスチャを認識するためのビデオカメラなどを更に備えていてもよい。本例では、ユーザ２２１及びユーザ２２２が投影面２０１を挟んだ対面にそれぞれ存在しており、主にユーザ２２１がシステム２００に対する操作指示をおこなう。以下、操作者として単にユーザと書く場合はユーザ２２１を意味する。

なお、２００は、上記システムから投影部１０１と撮影部１０２とを除いた装置（投影装置）としてもよく、その場合、制御部１０３、記憶部１０４、ＵＩ部１０５、通信部１０６は、すべて投影装置内部に一体化されているものとする。そして投影部１０１や撮影部１０２、印刷部１０７はこの投影装置の外部機器として適当な位置に配置される。

ただしこれはあくまで一例であって、前述の部分は投影装置から分離されていてもよい。たとえば、投影装置は不図示のパーソナルコンピュータと接続され、制御部１０３、記憶部１０４、ＵＩ部１０５、通信部１０６はパーソナルコンピュータ内に存在していてもよい。あるいは記憶部１０４のうち、投影内容のデータを記憶する部分のみがイントラネットやインターネット上のサーバにあって、投影装置は通信部１０６を介した有線や無線通信でそのデータを取得してもよい。また同様に制御部１０３の一部プログラムあるいは全部はサーバ上で動作してもよい。

図２０は、本実施形態に係るシステムの動作を示すフローチャートである。また、図３は、本実施形態に係るシステムの状態遷移図である。以下に、図３，２０を適宜参照しながら、本実施形態に係るシステムにおいて、ワーク開始から終了までの処理の流れを状態と対応付けて説明する。

状態３０１では、投影部１０１によって投影面２０１上に複数の作業メニューボタンとワークの再開ボタンとを投影する。そしてＵＩ部１０５が、ユーザがこの複数の作業メニューボタンのうち何れか１つにタッチしてワークを選択したことを検知すると、状態３０２に遷移する（Ｓ２００１→Ｓ２００２）。一方、ＵＩ部１０５が、ユーザが再開ボタンにタッチしたことを検知すると、状態３２１に遷移する（Ｓ２００１→Ｂ）。

ここで、投影面２０１上に投影された画面においてユーザによってタッチされた部分が、投影元の画面の何れの位置に該当するのかを特定するための技術については周知であるため、これに係る説明は省略する。

状態３０２では、投影部１０１は、投影面２０１上に、選択されたワークに応じたスキャン対象のドキュメント種リストを投影し、該投影面２０１上にスキャン対象の書類が置かれるのを待つ。投影部１０１は、リスト内にスキャン済みの書類がある場合はそのサムネイル画像を投影する（Ｓ２００２）。そして、ＵＩ部１０５が、投影面２０１上に書類が置かれたことを検知すると、状態３０３に遷移する（Ｓ２００３→Ｓ２００４）。一方、ＵＩ部１０５が、投影されているサムネイル画像をユーザがタッチしてスキャン済みの書類を指定したことを検知すると、状態３０６に遷移する（Ｓ２００３→Ｓ２０１２）。また、ＵＩ部１０５が、ユーザが投影されている戻るボタンをタッチしたことを検知すると、状態３０１に戻る（Ｓ２００３→Ｓ２００１）。なお、ステップＳ２００３では、より多岐の操作を受け付けるように構成してもよい。

状態３０３では、撮影部１０２は、投影面２０１上に置かれた書類を撮影（スキャン）して撮影画像を生成し（Ｓ２００４）、画像補正部１１０は該撮影画像を補正する（Ｓ２００５）。以下で特に触れない限りは、撮影画像とは、画像補正部１１０により処理された画像であるとする。そして画像識別部１１１は、撮影画像に対する識別処理を行って、該撮影画像がどの種類の書類の撮影画像であるのかを識別する（Ｓ２００６）。この識別の結果、撮影画像がどの種類の書類の撮影画像であるのかを識別することができた場合には、状態３０４に遷移する（Ｓ２００７→Ｓ２０１０）。一方、識別することができなかった場合には、状態３０５に遷移する（Ｓ２００７→Ｓ２００８）。

状態３０４では、投影部１０１は、撮影画像のサムネイルを、ドキュメント種リスト中の対応するサムネイル表示領域内に投影する（Ｓ２０１０）。撮影画像の識別結果が誤っていたり、撮影画像の状態が悪い（書類がきれいに写っていないなど）などが原因で、ユーザが手動識別ボタンをタッチしたことをＵＩ部１０５が検知すると、状態３０５に遷移する（Ｓ２０１１→Ｓ２００８）。また、ユーザが画像の取り直しボタンをタッチしたことをＵＩ部１０５が検知すると、状態３０３に戻る（Ｓ２０１１→Ｓ２００４）。また、投影面２０１上に置かれた先の書類が取り除かれた（撮影部１０２の撮影範囲から外れた）ことをＵＩ部１０５が検知すると、状態３０６に遷移する（Ｓ２０１１→Ｓ２０１２）。

状態３０５では、画像識別部１１１が撮影画像の内容の識別に失敗した場合、あるいはは、ユーザが状態３０４で手動識別を選択した場合、投影部１０１は、手動による撮影画像の種別指定を促すメッセージを投影面２０１上に投影し、種別の指定を待つ。スキャン対象リスト中の要素をタッチすることで書類を指定したことをＵＩ部１０５が検知すると（Ｓ２００８→Ｓ２００９）、撮影画像は、この指定した書類と同種類の書類の撮影画像と確定し（Ｓ２００９）、状態３０４に遷移する。もし、ユーザが現在のワークに必要無いドキュメントを誤ってスキャンしてしまった場合、スキャンのキャンセルボタンをタッチすることで、現在の紙面画像は破棄されて状態３０２に戻る（Ｓ２００８→Ｓ２００２）。

状態３０６では、投影部１０１は、投影面２０１上に状態３０２でタッチされたサムネイルに対応する画像、若しくは書類種別が確定した書類画像を投影する（Ｓ２０１２）。そして、状態３０７に遷移する。

状態３０７では、ＵＩ部１０５は、状態３０６までにスキャンされ、投影面２０１上に投影されている撮影画像に対する追加処理の指示入力を受け付ける（Ｓ２０１３）。指示入力に応じて、状態３０８〜３１２の何れかの状態に遷移する。

状態３０８ではＳ２０１４における処理を行い、状態３０９ではＳ２０１５における処理を行い、状態３１０ではＳ２０１６における処理を行い、状態３１１ではＳ２０１７における処理を行い、状態３１２ではＳ２０１８における処理を行う。Ｓ２０１４乃至Ｓ２０１７の何れの処理を行っても、その後、状態３０７に戻り、次の指示入力を待つ。各作業が終了後、画像に作業結果を反映して更新する。全ての作業が完了した場合は状態３１２に遷移する。

状態３１２では、作業結果を確定し、追加処理の指示入力受け付けを終了し（Ｓ２０１８）、状態３１３に遷移する。状態３１３では、すでにスキャンされた書類を確認する（Ｓ２０１９）。スキャンされていない書類がある場合には、投影部１０１は、スキャンされていない書類がある旨をメッセージとして投影面２０１上に投影し、次の書類のスキャンを指示するスキャンボタンを、投影面２０１上に投影する（Ｓ２０１９→Ｓ２０２０）。そして、ユーザによるスキャンボタンへのタッチがＵＩ部１０５によって検出されると、状態３０２へ遷移する（Ｓ２０２１→Ｓ２００２）。一方、全ての書類がスキャンされていれば、投影部１０１は、スキャンが完了した旨をメッセージとして投影面２０１上に投影するとともに、状態３１４へ遷移する（Ｓ２０２１→Ｓ２０２２）。なお、スキャンされていない書類があっても、次工程へ処理を進めることができるように構成してもよい。状態３１４では、次工程を実施する（Ｓ２０２２）。ステップＳ２０２２でワーク毎に決められた工程が実施され、ワークが完了する。次に、上記の各状態における処理について、より詳細に説明する。なお、ワーク（ワークフロー）の中断と再開に関する状態３２０〜３２２に関しては後述する。

（状態３０１）
状態３０１における処理内容を図４のフローチャートを用いて説明する。ステップＳ４０１では、制御部１０３は、複数のボタン（複数の作業メニューボタンと再開ボタン）を記憶部１０４から読み出して投影部１０１に供給するので、投影部１０１は、この供給されたそれぞれのボタンを投影面２０１上に投影する。例えば本例では、作業メニューボタン数は３個とし、ボタンタイトルを「ワーク１」、「ワーク２」、「ワーク３」とする。また、中断したワークを再開するための再開メニューのボタンタイトルを「ワーク再開」とする。ステップＳ４０１の段階における投影面２０１上の様子を図１７に示す。それぞれのボタンのタイトル（文字列）は、外部ファイルを使用することで、差し替えることが可能である。

ステップＳ４０２では、ＵＩ部１０５は、ステップＳ４０１で投影面２０１上に投影された何れかのボタンをユーザがタッチしたことを検知すると、該タッチされたボタンを特定する。例えば、ユーザが作業メニューボタン「ワーク１」をタッチしたことを検知する。ユーザが作業メニューボタンのいずれかにタッチしたことを検知した場合には、状態３０２へと遷移し、再開メニューボタンにタッチしたことを検知した場合には、状態３２１へと遷移する。

（状態３０２）
状態３０２における処理内容を図５のフローチャートを用いて説明する。ステップＳ５０１では、制御部１０３は、ユーザがタッチした作業メニューボタンに対応するドキュメント種リストを記憶部１０４から読み出して投影部１０１に供給するので、投影部１０１は、このドキュメント種リストを投影面２０１上に投影する。たとえば、作業「ワーク１」に応じたスキャン対象（ワーク１に必要な書類のグループ）が「帳票１」、「地図Ａ」、「契約書ａ」、「帳票２」、「地図Ｂ」、「契約書ｂ」の６種類の書類であるとする。この場合、６種類の書類のそれぞれについて、該書類のタイトルとサムネイル表示領域をひとつの要素とするリストを投影する。なお、投影面２０１と投影可能範囲の関係でリストの全部を一度に投影できない場合には、その一部を投影し、その後、ユーザからの操作指示に応じてリストをスクロールさせて残りの部分を投影させるようにしても構わない。

図１８（ｂ）にドキュメント種リストの投影例を示す。図１８（ｂ）に示す如く、上記リストの先頭「帳票１」、「地図Ａ」、「契約書ａ」の３つのリスト要素が投影されている。１８０１ａ、１８０１ｂ、１８０１ｃはそれぞれ、「帳票１」、「地図Ａ」、「契約書ａ」の撮影画像をすでに取得している場合に、該撮影画像のサムネイルを表示するための領域（サムネイル表示領域）である。なお、撮影画像が未取得のリスト要素に対応するサムネイル表示領域には、撮影画像が既取得のリスト要素に対応するサムネイル表示領域と区別可能な形で、その書類種別の代表的な内容がわかるような画像を投影してもよい。そのようにすることで、リストの各要素が示す書類の種類がどのようなものかを明示する効果があり、ユーザがスキャン対象の書類を選ぶ作業を補助することができる。

図５に戻って、次に、ステップＳ５０２では、ＵＩ部１０５は、投影面２０１上に書類が置かれたか否かを判断する。この判断には様々な方法を適用することができる。例えば、撮影部１０２による撮影画像に書類が含まれているか否かを判断しても良いし、ユーザが手に書類を持って投影面２０１上に載置した動作を認識することで判断しても良い。

ステップＳ５０２における判断の結果、投影面２０１上に書類が置かれた場合には、状態３０３に遷移し、投影面２０１上に書類が置かれていない場合は、処理はステップＳ５０４に進む。

ステップＳ５０４では、ＵＩ部１０５は、投影部１０１が投影面２０１上に投影した戻るボタンをユーザがタッチしたか否かを判断する。この判断の結果、タッチした場合には、状態３０１に遷移する。一方、タッチしていない場合には、処理はステップＳ５０５に進む。

ステップＳ５０５では、ＵＩ部１０５は、投影面２０１上でユーザがスワイプしたことを検知すると、制御部１０３は、投影部１０１が投影しているドキュメント種リストを該スワイプに応じてスクロールさせてから投影部１０１に供給する。これにより投影部１０１は、ユーザによるスワイプに応じてスクロールされたドキュメント種リストを投影面２０１上に投影することになる。例えば、左向きのスワイプによりリストを１要素分スクロールして「地図Ａ」、「契約書ａ」、「帳票２」の３つのリスト要素を投影する。

ステップＳ５０６では、ＵＩ部１０５は、投影面２０１上でユーザが投影中の何れかのリスト要素（具体的にはサムネイル表示領域内）をタッチしたことを検知する。ステップＳ５０７では、制御部１０３は、このタッチされたリスト要素に対して「スキャン済み」を示す値が設定されているか否かを判断する。例えば、リスト要素「帳票２」の撮影画像がすでに撮影されて記憶部１０４に登録されている場合には、この登録時に、リスト要素「帳票２」に対して「スキャン済み」を示す値が設定されている。一方、リスト要素「帳票２」の撮影画像がまだ撮影されていない場合には、リスト要素「帳票２」に対して「スキャン済み」を示す値はまだ設定されていない。

タッチされたリスト要素に対して「スキャン済み」を示す値が設定されていると判断した場合には、状態は３０６に遷移し、まだ設定されていないと判断した場合には、処理はステップＳ５０２に戻る。

この場合、状態３０６では、制御部１０３は、タッチされたリスト要素の撮影画像を記憶部１０４から読み出して投影部１０１に供給するので、投影部１０１は、この供給された撮影画像を投影面２０１上に投影する。例えば、リスト要素「帳票２」がスキャン済みであるとすると、図１８（ａ）の領域１８０２内に「帳票２」の撮影画像を投影する。

（状態３０３）
状態３０３における処理内容を図６のフローチャートを用いて説明する。ステップＳ６０１では、制御部１０３は、投影面２０１上に置かれた書類を撮影する（書類の内容を取り込む）ためのスキャンボタンを記憶部１０４から読み出して投影部１０１に供給するので、投影部１０１はこのスキャンボタンを投影面２０１上に投影する。この投影位置に、置かれた書類が重なる場合は、別の位置に投影するようにしてもよい。

ステップＳ６０２では、ＵＩ部１０５は、ユーザがこのスキャンボタンにタッチしたことを検知する。ステップＳ６０３では、撮影部１０２は、書類を含む投影面２０１上を撮影する。ステップＳ６０４では、画像補正部１１０は、ステップＳ６０３で撮影部１０２により撮影された画像から、書類が写っている画像部分を抽出する。ここで、撮影部１０２が投影面２０１に正対していない場合、撮影した画像中の書類の写っている部分は、書類の置かれた位置によって異なる不等辺の四辺形状をしている可能性がある。そのような場合、画像補正部１１０は、この四辺形を画像から切り出したうえで長方形に補正した画像を取得する。以降では、この補正後の画像を書類画像と呼称する。

上記補正には公知の技術を用いればよい。たとえば具体的には、ソーベルフィルタなどのエッジ強調処理を施した画像に対しハフ変換を実施することでエッジ直線の集合を抽出する。このエッジ直線集合から４辺の候補となる直線を選択する。たとえば、一定以上の長さを持つ４辺が一定以上の面積を成す四辺形を構成するような組み合わせを選択すればよい。この四辺形の４つの頂点座標を長方形の各４つの頂点の座標へと変換する変換行列を求める。この変換行列は、逆透視変換行列としてその計算方法も公知である。そして、選択した辺がなす四辺形の内部の画素を、各々変換行列によって変換した座標に配置することで、画像中の書類部分を長方形に補正された書類画像を取得することができる。上記説明は一例であって、他の方法で書類画像を生成してもよい。

ステップＳ６０５では、画像識別部１１１が、ステップＳ６０４で取得した書類画像の内容を識別する。具体的には、書類画像が、ワーク毎にスキャン対象としてあらかじめ定められている書類種別のどれに該当するのかを識別する。

この画像識別の方法には、たとえば画像特徴量による類似度を用いればよい。公知の画像特徴量算出方法によって求めた各書類の画像特徴量を登録しておき、書類画像からもとめた画像特徴量と比較することで、最も一致度の高い書類の種別を識別結果とする。この比較の際に一致度に閾値を設け、最も高い一致度が閾値以下の場合は、識別は失敗とする。

上記方法は一例であって、画像特徴量以外にも、書類画像内の文字列を公知の文字認識技術によって認識し、各書類の文字内容と比較してもっとも一致度の高い書類の種別を識別結果としてもよい。あるいは記載内容のレイアウト、たとえば表の個数や位置関係、さらには表内部の構造などを比較に用いてもよい。さらに、これら複数の比較方法による一致度を総合して識別結果を得てもよい。

また、ユーザが投影面２０１上に複数の書類を一度に置いた場合、ステップＳ６０４で画像補正部１１０は撮影画像から各々の書類部分を切り出した書類画像を生成し、ステップＳ６０５で画像識別部１１１は各々の書類画像に対する識別結果を生成してもよい。そして各々の結果に対して状態３０４以降の処理をおこなうようにしてもよい。そして、ステップＳ６０６における識別が成功した場合には、状態３０４に遷移し、識別が失敗した場合には、状態３０５に遷移する。

（状態３０４）
状態３０４における処理内容を図７のフローチャートを用いて説明する。ステップＳ７０１で制御部１０３は、書類種別が確定した書類画像のサムネイルを生成して投影部１０１に供給するので、投影部１０１は、確定した書類種別に対応するリスト要素のサムネイル表示領域内に、制御部１０３から供給されたサムネイルを投影する。このとき、書類画像が対応するサムネイル表示領域内へと縮小しながら移動するようなアニメーションを投影してもよい。ステップＳ７０１では更に、制御部１０３は、該確定した書類種別に対応するリスト要素に対して「スキャン済み」を示す値を設定する。

ステップＳ７０２では、ＵＩ部１０５は、投影面２０１上に投影されている取り直しボタンがユーザによってタッチされたか否かを判断する。この判断の結果、取り直しボタンがユーザによってタッチされていれば、状態３０３に遷移する。一方、取り直しボタンがユーザによってタッチされていなければ、処理はステップＳ７０３に進む。

ステップＳ７０３では、ＵＩ部１０５は、ユーザが手動識別ボタンをタッチしたか否かを判断する。この判断の結果、ユーザが手動識別ボタンをタッチした場合には、状態３０５に遷移する。一方、ユーザが手動識別ボタンをタッチしていなければ、処理はステップＳ７０４に進む。

ステップＳ７０４でＵＩ部１０５が、投影面２０１上に置かれた書類が取り除かれた（撮影部１０２の撮影範囲から外れた）ことを検知すると、状態３０６に遷移する。一方、検知していなければ、処理はステップＳ７０２に戻る。

（状態３０５）
状態３０５における処理内容を図８のフローチャートを用いて説明する。ステップＳ８０１では、制御部１０３は、手動による書類画像の種別指定を促すメッセージを記憶部１０４から読み出して投影部１０１に供給するので、投影部１０１は、このメッセージを投影面２０１上に投影する。例えば、メッセージとして「自動認識できませんでした。原稿種類のサムネイル枠をタッチしてください。」を投影する。

ステップＳ８０２では、ＵＩ部１０５は、投影部１０１が投影面２０１上に投影したキャンセルボタンをユーザがタッチしたか否かを判断する。この判断の結果、タッチした場合には、現在の書類画像は記憶部１０４から破棄されて状態３０２に戻る。一方、タッチしていない場合には、処理はステップＳ８０３に進む。

ステップＳ８０３では、ＵＩ部１０５は、投影面２０１上に投影されているリスト要素のサムネイル表示領域のうちユーザがタッチしたサムネイル表示領域を特定する。例えば、リスト要素「地図Ａ」のサムネイル枠内にタッチしたことを特定する。

ステップＳ８０４では、制御部１０３は、タッチされたサムネイル表示領域のリスト要素に「スキャン済み」を示す値が設定されているか否かを判断する。この判断の結果、設定されている場合には、処理はステップＳ８０１に戻る。一方、設定されていない場合には、書類画像の種別は、タッチされたサムネイル表示領域に対応する書類種別であると判断すると共に、このリスト要素に「スキャン済み」を示す値を設定する。そして、状態３０４に遷移する。例えば、リスト要素「地図Ａ」がスキャン済みの場合は、再度手動によるドキュメントの種別指定を促す。その結果、書類の種類が確定する。

なお、上記は状態３０５における動作の一例であって、例えば、別のユーザ操作を認識してもよい。たとえば、ユーザが投影面２０１上の書類画像からあるサムネイル表示領域へと指を移動する動作を、書類画像の該サムネイル表示領域に対応する書類種別への指定として認識してもよい。この場合、複数の書類を一度に撮影した場合であってもそれぞれの書類画像に対する手動の種別指定が可能となる。

または、画像識別部１１１が識別結果をひとつに絞り込めなかった場合、識別結果の候補に基づいて投影面２０１上に投影されるリスト要素の数や順番を変更してもよい。たとえば、画像識別部１１１の識別処理における一致度の上位が、登録されている帳票Ｂ、帳票Ｃ、帳票Ａの順でありそれ以外の種別との一致度が低い場合、「帳票Ｂ」、「帳票Ｃ」、「帳票Ａ」のサムネイル表示領域をこの順で投影してもよい。このようにすることで、ユーザの手動によるドキュメント種別指定の手間を軽減することができる。

また、ユーザが誤りやすい不要ドキュメントを記憶部１０４に登録しておき、書類画像が不要ドキュメントと識別された場合は、誤りの可能性を警告するメッセージを投影するようにしてもよい。そうすることで、現在ワークに必要な書類とは似て非なる書類をユーザが誤って処理することを防止することができる。

（状態３０６）
状態３０６における処理内容を図９のフローチャートを用いて説明する。ステップＳ９０１で制御部１０３は、投影面２０１上に状態３０２でタッチされたサムネイルに対応する（生成元の）書類画像、若しくは、状態３０３又は状態３０５で書類種別が確定した書類画像、を投影部１０１に供給する。投影部１０１は、制御部１０３から供給された書類画像を投影面２０１上に投影する。その後、状態３０７へと遷移する。

（状態３０７）
状態３０７では、状態３０６において投影面２０１上に投影されている書類画像に対する、ユーザからのさらなる追加処理の指示入力を受け付ける。そして、入力された指示入力に応じて、状態３０８〜状態３１２の何れかの状態に遷移する。

状態３０７では、制御部１０３は、図１０に例示するようなユーザインターフェース画面を投影部１０１に供給するので、投影部１０１は、この供給されたユーザインターフェース画面を投影面２０１上に投影する。

図１０に例示するように、このユーザインターフェース画面上には、状態３０６において投影された書類画像１００１、帳票１、地図Ａ、契約書ａのそれぞれに対応するサムネイル表示領域１００２ａ〜１００２ｃが配置されている。また、このユーザインターフェース画面上には、書類画像１００１に対する、ユーザからのさらなる追加処理の指示入力を受け付けるための指示ボタン１００３〜１００７が配置されている。

指示ボタン１００３は、マスク処理の指示を受け付けるボタンであり、ユーザによるタッチ操作をＵＩ部１０５により検知することで、指示を受け付ける。指示ボタン１００３が指示された場合は、状態３０８に遷移する。

指示ボタン１００４は、ＯＣＲ処理の指示を受け付けるボタンであり、ユーザによるタッチ操作をＵＩ部１０５により検知することで、指示を受け付ける。指示ボタン１００４が指示された場合は、状態３０９に遷移する。

指示ボタン１００５は、範囲指定の指示を受け付けるボタンであり、ユーザによるタッチ操作をＵＩ部１０５により検知することで、指示を受け付ける。指示ボタン１００５が指示された場合は、状態３１０に遷移する。

指示ボタン１００６は、印刷処理の指示を受け付けるボタンであり、ユーザによるタッチ操作をＵＩ部１０５により検知することで、指示を受け付ける。指示ボタン１００６が指示された場合は、状態３１１に遷移する。

指示ボタン１００７は、これ以上追加処理を行わないことを示す指示を受け付けるボタンであり、ユーザによるタッチ操作をＵＩ部１０５により検知することで、指示を受け付ける。指示ボタン１００７が指示された場合は、状態３１２に遷移する。

（状態３０８）
状態３０８では、投影面２０１上に投影表示されている書類画像に対してマスク処理を行う。マスク処理では、書類画像中の領域に対するマスク処理を行う。状態３０８では、制御部１０３は、図１１に例示するようなユーザインターフェース画面を記憶部１０４から読み出して投影部１０１に供給するので、投影部１０１はこのユーザインターフェース画面を投影面２０１上に投影する。このユーザインターフェース画面上には、書類画像１１０１、帳票１、地図Ａ、契約書ａのそれぞれに対応するサムネイル表示領域１１０２ａ〜１１０２ｃが配置されている。また、書類画像１１０１上には、マスクする候補となる領域を示す枠１１０３が重畳されている。また、指示ボタン１００３〜１００７のうちユーザによって選択指示された指示ボタン１００３及び完了指示するための指示ボタン１００７と、他の指示ボタン１００４〜１００６とは異なる表示形態となっている（白黒が反転している）。

ユーザは、何れかの枠１１０３をタッチすることで、マスクしたい領域を決定する。決定された領域は、黒塗りもしくはモザイク化されて表示される。然るにＵＩ部１０５が何れかの枠１１０３に対するタッチ操作を検知すると、制御部１０３は、該タッチされた枠１１０３内の領域に対して規定の処理（黒塗りやモザイク化など）を実行し、該処理後のユーザインターフェース画面を投影部１０１に供給する。これにより投影部１０１は、マスク処理済みの書類画像１１０１を含む上記ユーザインターフェース画面を投影面２０１上に投影することになる。

そしてＵＩ部１０５が、ユーザが指示ボタン１００７に対するタッチ操作を行ったことを検知すると、制御部１０３は、マスク処理前の書類画像を上記マスク処理済みの書類画像に更新して記憶部１０４に登録する。更に制御部１０３は、このマスク処理済みの書類画像のサムネイルを作成し、サムネイル表示領域１１０２ａ内のサムネイルを該作成したサムネイルに更新する。そして、状態３０７に戻る。

また、本実施形態では、マスクする候補となる領域は予め決まっているものとしたが、これに限るものではない。たとえば、撮影画像に対して文字認識技術を用いて文字列の認識処理を行い、認識された文字列中に予め登録しておいたプライバシー等を示すキーワードが含まれている場合に、該文字列を含む領域をマスク候補領域として決定してもよい。あるいは画像特徴量を用いて検出される顔写真や特定の図形などをマスク候補領域としてもよい。

また、マスク処理結果をユーザが目視で確認した結果、該結果に問題がある場合は、前状態へ遷移させるようにしてもよい。たとえば、確認完了を示す指示ボタン１００７のほかに、前状態へ戻ることを指示するための戻るボタンを用意し、該戻るボタンがタッチされた場合は、前状態へ戻るようにしても良い。

状態３０８において、現在操作している操作ユーザと別の第二のユーザが処理結果を確認するために、処理結果の表示を第二のユーザのいる方向へと回転させる為の回転ボタンを表示してもよい。たとえば図２のように、ユーザ２２１および第二のユーザ２２２が対面している場合、回転ボタンに対するタッチを検知したら、表示をユーザ２２２に向けるよう１８０度回転する。このとき、例えば図１１の投影表示のうち処理結果の表示（書類画像１１０１）の内容のみ回転してもよいし、図１１の投影表示全体を回転してもよい。ユーザ２２２が別の方向にいる場合、その方向を向くような角度で回転してもよい。ユーザ２２２が処理結果を確認し、再度回転ボタンをタッチすることで、処理結果の表示は再び回転して元の表示に戻る。この時、ユーザ２２２が処理結果の表示を確認した意思を表すための確認ボタンを更に設けてもよい。ユーザ２２２に向けた表示を行う際に、回転ボタンを確認ボタンとして扱うようにしてもよい。さらにユーザ２２２がこの確認ボタンをタッチした様子を撮影部１０２により撮影しておき、そのときの処理結果の内容や時刻等と関連付けて電子的ログとして記憶部１０４に記録しておいてもよい。なお、このような回転ボタンによる表示回転は、状態３０８に限らず、後述する状態３０９、状態３１０等、他の状態において実施されてもよい。

（状態３０９）
状態３０９では、投影面２０１上に投影表示されている書類画像に対してＯＣＲ処理を行う。ＯＣＲ処理では、書類画像から文字認識を行う。状態３０９では、制御部１０３は、図１２に例示するようなユーザインターフェース画面を記憶部１０４から読み出して投影部１０１に供給するので、投影部１０１はこのユーザインターフェース画面を投影面２０１上に投影する。このユーザインターフェース画面上には、書類画像１２０１、帳票１、地図Ａ、契約書ａのそれぞれに対応するサムネイル表示領域１２０２ａ〜１２０２ｃが配置されている。また、書類画像１２０１上には、ＯＣＲ処理を行う領域の候補の枠１２０３が重畳されている。また、指示ボタン１００３〜１００７のうちユーザによって選択指示された指示ボタン１００４及び完了指示するための指示ボタン１００７と、他の指示ボタン１００３，１００５〜１００６とは異なる表示形態となっている（白黒が反転している）。

ＵＩ部１０５が、ユーザが何れかの枠１２０３をタッチしたことを検知すると、文字認識部１１２は、該タッチした枠内の領域に対して文字認識処理を実行し、制御部１０３は、該文字認識処理の結果として得られる文字列を該領域に重畳する。そして制御部１０３は、この重畳後の書類画像を含む上記ユーザインターフェース画面を投影部１０１に供給するので、投影部１０１は、この供給されたユーザインターフェース画面を投影面２０１上に投影する。

そしてＵＩ部１０５が、ユーザが指示ボタン１００７に対するタッチ操作を行ったことを検知すると、制御部１０３は、文字列を重畳前の書類画像を文字列を重畳後の書類画像に更新して記憶部１０４に登録する。更に制御部１０３は、この文字列を重畳後の書類画像のサムネイルを作成し、サムネイル表示領域１２０２ａ内のサムネイルを該作成したサムネイルに更新する。そして、状態３０７に戻る。

なお、ＯＣＲ処理を行う領域については、書類毎に対象となる領域を予め登録しておき、該登録領域の枠を投影表示することで実現する。なお、本実施形態では、ＯＣＲ処理を行う領域は予め決まっているものとしたが、これに限るものではない。たとえば、書類画像に対してレイアウト（文書）解析技術を用いて、文字列の記載されている領域を特定し、該領域をＯＣＲ処理を行う領域の候補として表示してもよい。また、ＯＣＲ処理を行う候補となる領域の枠は表示せず、書類画像全体をＯＣＲ処理の対象領域とみなし、文字認識処理を行ってもよい。

また、本実施形態では、ＯＣＲ処理の結果を書類画像に重畳したが、ＯＣＲ処理の結果の表示形態はこれに限るものではなく、たとえば、書類画像を表示している領域とは異なる領域内に表示するようにしても構わない。

（状態３１０）
状態３１０では、投影面２０１上に投影表示されている書類画像に対して範囲指定を行う。範囲指定では、書類画像から所定の範囲を切り出し、新たな画像として生成する。状態３１０では、制御部１０３は、図１３に例示するようなユーザインターフェース画面を記憶部１０４から読み出して投影部１０１に供給するので、投影部１０１はこのユーザインターフェース画面を投影面２０１上に投影する。このユーザインターフェース画面上には、書類画像１３０１、帳票１、地図Ａ、契約書ａのそれぞれに対応するサムネイル表示領域１３０２ａ〜１３０２ｃが配置されている。また、書類画像１３０１上には、範囲指定を行った場合に表示される範囲指定枠１３０３が重畳されている。また、指示ボタン１００３〜１００７のうちユーザによって選択指示された指示ボタン１００５及び完了指示するための指示ボタン１００７と、他の指示ボタン１００３〜１００４，１００６とは異なる表示形態となっている（白黒が反転している）。

ユーザは、書類画像上にタッチ操作を行うことで範囲指定を行う。範囲指定の方法には様々な方法が考え得るが、例えば、指定したい領域の対角線上となる頂点を２点タッチすることにより該範囲を指定することができる。然るにＵＩ部１０５が範囲指定のためのタッチ操作を検知すると、制御部１０３は、該タッチ操作により決定した領域の枠を書類画像上に重畳し、該重畳後の書類画像を含むユーザインターフェース画面を投影部１０１に供給する。投影部１０１は、この供給されたユーザインターフェース画面を投影面２０１上に投影する。

そしてＵＩ部１０５が、ユーザが指示ボタン１００７に対するタッチ操作を行ったことを検知すると、制御部１０３は、書類画像から、範囲指定された領域内の画像を抽出し、該抽出した画像を、該書類画像の代わりに記憶部１０４に登録する。更に制御部１０３は、この抽出した画像のサムネイルを作成し、サムネイル表示領域１３０２ａ内のサムネイルを該作成したサムネイルに更新する。そして、状態３０７に戻る。

上記のように、本実施形態では、範囲指定として２点タッチによる方法を用いたが、異なる方法を用いてもよい。たとえば、１点タッチ操作を行い、該タッチされた点を起点とし且つ所定サイズを有する領域を指定領域としても良い。具体的には、タッチした点を起点とし、予め定義したＡ４サイズを有する領域を指定領域としてもよい。また、複数の所定サイズを定義しておき、所定サイズを切り替えられるようにしてもよい。Ａ４などの規格サイズを２点タッチにより正確に指定することは難しいが、所定サイズを予め用意しておくことで、規格サイズの指定を容易にすることが可能になる。

また、本実施形態では、タッチ指示による領域を表示することで範囲指定結果を示していたが、異なる方法を用いてもよい。たとえば、タッチ指示により領域を決定した後、指示ボタン１００７を指示することで、範囲指定された領域のみをトリミングして表示してもよい。

（状態３１１）
状態３１１では、投影面２０１上に投影表示されている書類画像を、印刷部１０７により紙などの印刷媒体上に印刷する。然るに制御部１０３は、この書類画像から印刷データを生成し、該生成した印刷データを印刷部１０７に送出する。該印刷が完了した後、状態３０７に遷移する。印刷処理が正しく完了しない場合は、問題が起きた旨をメッセージとして投影面２０１上に投影表示するとともに、状態３０７へ遷移する。

（状態３１２）
状態３０７で画像に対する作業が完了すれば、状態３１２で作業結果が確定する。その後、状態３１３へ遷移する。例えば、ＵＩ部１０５が、ユーザが指示ボタン１００７に対するタッチ操作を行ったことを検知すると、状態３１３に遷移する。

（状態３１３）
状態３１３では、制御部１０３は、現在選択されているワークについて取得すべき全ての種別の書類画像が記憶部１０４に登録されたか否かを確認する。この確認の結果、取得していない種別の書類画像がまだ残っている場合には、制御部１０３は、その旨を示すメッセージと共に、次の書類のスキャンを指示するためのボタンを記憶部１０４から読み出して投影部１０１に供給する。投影部１０１は、供給されたメッセージ及びボタンを投影面２０１上に投影する。そしてＵＩ部１０５がこのボタンがユーザ操作によってタッチされたことを検知すると、状態３０２へ遷移する。

一方、取得していない種別の書類画像はもう残っていない場合には、制御部１０３は、スキャンが完了した旨のメッセージと共に、次の工程に進むために指示するボタンを記憶部１０４から読み出して投影部１０１に供給する。投影部１０１は、供給されたメッセージ及びボタンを投影面２０１上に投影する。そして、ＵＩ部１０５がこのボタンがユーザ操作によってタッチされたことを検知すると、状態３１４に遷移する。

ここで、「現在選択されているワークについて取得すべき全ての種別の書類画像が記憶部１０４に登録されたか否か」を確認するために、制御部１０３は、次のような処理を行う。即ち、現在選択されているワークに対する各リスト要素に対して「スキャン済み」を示す値が設定されているか否かを確認し、全てのリスト要素に対して「スキャン済み」を示す値が設定されていれば、該ワークについて全ての書類画像は取得したと判断する。一方、「スキャン済み」を示す値が設定されていないリスト要素が１以上残っている場合には、該ワークについてまだ取得していない種別の書類画像があると判断する。

現在選択されているワークについて全ての書類画像は取得したと制御部１０３が判断した場合に、投影部１０１が投影面２０１上に投影するユーザインターフェース画面を図１４に示す。図１４に示す如く、このような場合には、全てのサムネイル表示領域にサムネイルが表示されており、取得していない種別の書類画像はもう残っていないことが分かる。また、このユーザインターフェース画面には、全ての種別の書類画像を記憶部１０４に登録した旨のメッセージ、次の工程に進む旨を示すメッセージ１４０１、次の工程に進むことを指示するためのボタン１４０３が配置されている。このボタン１４０３がタッチされたことをＵＩ部１０５が検知すると、状態３１４へ遷移する。

現在選択されているワークについてまだ取得していない種別の書類画像があると制御部１０３が判断した場合に、投影部１０１が投影面２０１上に投影するユーザインターフェース画面を図１５に示す。図１５の場合、帳票１、地図Ａについては、対応するサムネイル表示領域にサムネイルが表示されていることからも分かるように、書類画像は記憶部１０４に登録されている。しかし、契約書ａについてはサムネイル表示領域にサムネイルが表示されていないことからもわかるように、書類画像は記憶部１０４には登録されていない。

このユーザインターフェース画面には、取得していない種別の書類画像がまだ残っている旨のメッセージ１５０１、次の書類のスキャンを指示するためのボタン１５０３が配置されている。このボタン１５０３がタッチされたことをＵＩ部１０５が検知すると、状態３０２へ遷移する。

ワークの性質上、取得していない種別の書類画像がまだ残っているような場合であっても、次工程に進めてよい場合は、ここで次工程へ移行する指示ボタンを加えて投影し、ユーザがこのボタンにタッチした場合は状態３１４に遷移するようにしてもよい。

（状態３１４）
状態３１４では、状態３１３で確定した画像に対し、本ワークとは別の次工程を実施する。例として、書類画像を指示された送信先に送信する工程を次工程とする場合の処理を説明する。送信処理では、予め関連付けられた送信先に、書類画像を送信する。送信の方法としては、電子メールの添付ファイルとして送信する方法を用いる。

状態３１４に遷移したときに、制御部１０３が記憶部１０４から読み出して投影部１０１に供給し、該投影部１０１が投影面２０１上に投影したユーザインターフェース画面を図１６に示す。

本ユーザインタフェース上には、本ワークに係る全ての種別の書類画像を取得した旨のメッセージ１６０１、取得済みの書類画像のサムネイル１６０２、送信先ボタン１６０３が配置されている。書類画像と送信先ボタン１６０３とは予め対応付けられており、対応先が表示される。図１６の例では、帳票１および契約書ａが「送信先１」の送信先ボタン１６０３に対応付けられており、地図Ａおよび契約書ａが「送信先２」の送信先ボタン１６０３に対応付けられている。

然るに、ＵＩ部１０５が「送信先１」の送信先ボタン１６０３がタッチされたことを検知すると、制御部１０３は通信部１０６を制御して、帳票１及び契約書ａの書類画像を送信先１に送信する。また、ＵＩ部１０５が「送信先２」の送信先ボタン１６０３がタッチされたことを検知すると、制御部１０３は通信部１０６を制御して、地図Ａ及び契約書ａの書類画像を送信先２に送信する。もちろん、送信するタイミングはこれに限るものではない。

本実施形態では、次工程における送信の方法として電子メールへの添付を一例として用いたが、異なる方法でもよい。例えば、送信先の基幹システムとして提供されるＤＢシステムへ登録する方法を用いることもできる。

状態３１４で次工程を実施することで、本システムにおけるワークの一連動作を終了する。終了後は初期状態である状態３０１に遷移してもよい。なお、上記の各状態に対する平均的な作業時間を記憶しておき、もしあるユーザによる操作がこの平均作業時間を大幅に上回る場合は、サポートが必要とみなして熟練ユーザに連絡がいくようにしてもよい。

次に、ワークを中断し、その後再開する場合の処理の流れを、上記処理の流れに追加して説明する。ワークの中断は、書類リストの一覧を投影する状態３０２においてユーザが中断を指示することでおこなわれる。この中断指示については、たとえば図１８（ａ）（図１８（ｂ））のユーザインターフェース画面に更に中断ボタンを追加し、該ボタンをユーザがタッチしたことをＵＩ部１０５が検知することで、中断指示が入力されたと制御部１０３が判断しても良い。あるいは中断を示すジェスチャがなされたことをＵＩ部１０５が検知することで、中断指示が入力されたと制御部１０３が判断しても良い。中断指示が入力されたと判断した場合には状態３２０に遷移し、制御部１０３は印刷部１０７を制御して、再開に必要な工程に関する情報を紙などの印刷媒体上に印刷させる。

状態３２０における処理内容を図２４のフローチャートを用いて説明する。記憶部１０４には、ワーク管理テーブルが保持されている。上記のワーク選択において１つのワークが選択され、該選択されたワークに係る処理が開始されると、制御部１０３は、このワーク管理テーブルにレコードを追加し且つ該レコードに新たなＩＤを付与する。そして制御部１０３は、この追加したレコードに、ワーク開始日時や選択されたワークの種類（上記の例では「ワーク１」、「ワーク２」などである）を登録する。ワーク内の工程が実施される度にワーク管理テーブルは更新される。ワーク管理テーブルの構成例を図２５に示す。以下では、図２５に示したワーク管理テーブルを例にとって説明する。

ステップＳ２４０１では制御部１０３は、現在選択されているワークについて作業工程（該ワーク内に属する種別の画像についてどのような処理を行ったのか）を取得し、該取得した作業工程をワーク管理テーブル２５０１に反映させる。例えば、ワーク１を選択し、ワーク１内に属する種別の画像に対する処理を開始したことで、ＩＤ＝１００２のレコードがワーク管理テーブル２５０１に追加されたとする。図２５では、ワーク１に係る現在の作業工程として、「帳票１」、「地図Ａ」、「契約書ａ」、のそれぞれの種別の書類画像が記憶部１０４に登録されている（読み取り済み）ことが、このワーク管理テーブル２５０１に登録されている。また、再開に有益となる情報を、別途、ワーク管理テーブル２５０１のメモ欄に記録するように構成してもよい。

ステップＳ２４０２では、制御部１０３は、このワーク管理テーブル２５０１から、印刷部１０７に印刷させる情報、即ち工程情報（中断情報）を収集する。ここで、印刷媒体に印刷する情報量に上限がなければ、現在選択されているワークのレコードに記録されている全ての情報を工程情報としても良いが、状況に応じて、ワークの再開に必要な情報に絞ってもよい。何れの情報に絞るかは、予め定められていても良いし、適当なフィルタでもって決定しても良い。

ステップＳ２４０３では、ステップＳ２４０２で収集した工程情報を、印刷対象画像に埋め込み、工程情報が埋め込まれた印刷対象画像を生成（ラスタライズ）する。なお工程情報を画像に埋め込む方法には様々な方法が考えられ、如何なる方法を採用しても構わない。例えば、可視電子透かし、不可視電子透かし、地紋、等の技術を用いて工程情報を印刷対象画像に埋め込んでも良い。なお、工程情報は印刷対象画像に埋め込むことに限るものではなく、印刷対象画像以外の余白部分に、文字、数字、バーコード、等のコードに変換してから印刷しても良い。

印刷対象画像は、如何なる画像であってもよく、専用のフォーマットを有する画像であっても良いし、これまでにスキャンして記憶部１０４に登録した画像のうち１以上であってもよい。

なお、印刷する内容は、ワークの工程を再現するための情報に限らず、例えばワーク管理テーブル２５０１のメモ欄にあるような、再開に有益な情報としてもよい。例えば、読み取りが済んでいない書類の一覧を提示する、あるいは、書類の有効期限を提示する等である。

このように、ワーク管理テーブル２５０１に登録されている情報のうちどの情報を印刷対象とするのかは予め制御部１０３側で予め設定されていても良い。また、印刷対象の情報を選択するための画面を投影面２０１上に投影し、ユーザによるタッチ操作によって選択させても良い。

ステップＳ２４０４では、制御部１０３は、ステップＳ２４０３でラスタライズされた画像の印刷データを生成して印刷部１０７に送出することで、該印刷部１０７は、工程情報が埋め込まれた印刷対象画像を紙などの印刷媒体上に印刷する。印刷後は初期状態である状態３０１に遷移する。

次に、状態３０１で再開ボタン（図１７のワーク再開）が選択され、工程情報が埋め込まれた印刷物を撮影部１０２で撮影した画像を用いてワークを再開するまでの処理（図２０のＢ）の流れについて図２１のフローチャートを用いて説明する。

ユーザは、先の工程情報が印刷された印刷物を撮影部１０２の撮影範囲内に置く。ステップＳ２１０１（状態３２１）では、撮影部１０２は、この印刷物を含む撮影範囲内を撮影する。撮影タイミングは、ユーザがジェスチャなどで指示しても良いし、何らかのボタンをタッチすることで指示しても良いし、如何なる方法で指示しても良い。

ステップＳ２１０２（状態３２１）では制御部１０３は、ステップＳ２１０１で撮影された画像から工程情報を読み出す。埋め込まれた情報を読み出すための技術については、埋め込む技術と同様に周知であるので、これについての説明は省略する。

ステップＳ２１０３（状態３２１及び状態３２２）では、制御部１０３は、ステップＳ２１０２で読み出した工程情報から、ワークを中断した画像を特定し、該特定した画像のサムネイルを投影部１０１に供給する。投影部１０１は、この供給されたサムネイルを投影面２０１上に投影する。

ここで、再開しようとしたワークのものとは異なる工程情報を含む印刷物を撮影した場合などが原因で、ユーザが取り直しボタンをタッチしたことをＵＩ部１０５が検知すると、処理はステップＳ２１０４を介してステップＳ２１０１に戻る（状態３２２）。一方、ユーザが確認ボタンをタッチしたことをＵＩ部１０５が検知すると、処理はステップＳ２１０４を介してステップＳ２０１３（状態３０２）に進む（状態３２２）。以下では、状態３２１及び状態３２２のそれぞれにおける処理及び遷移状態についてより詳細に説明する。

（状態３２１）
状態３２１における処理内容を図２２のフローチャートを用いて説明する。ステップＳ２２０１では、制御部１０３は、スキャンボタンを記憶部１０４から読み出して投影部１０１に供給するので、投影部１０１はこの供給されたスキャンボタンを投影面２０１上に投影する。

ユーザは、撮影部１０２の撮影範囲内に、工程情報が埋め込まれた先の印刷物を配置し、該配置が完了すると、投影面２０１上に投影されている上記のスキャンボタンをタッチする。ステップＳ２２０２では、ＵＩ部１０５は、ユーザがこの投影されたスキャンボタンをタッチしたことを検知する。ステップＳ２２０３では、制御部１０３は、ＵＩ部１０５が上記スキャンボタンがタッチされたことを検知すると、撮影部１０２に、撮影範囲内を撮影させる。

ステップＳ２２０４では、制御部１０３は、撮影部１０２によって撮影された画像から中断情報を抽出する。中断情報が文字や数字であればＯＣＲ処理によって抽出し、バーコードであればバーコードのデコーダでもって抽出し、電子透かしであればそれぞれの透かし種類に対応した読み取り方法で抽出する。この抽出した工程情報には、例えば、ＩＤなど、中断したワークを特定可能な情報が含まれているので、この情報を参照することで、該工程情報がワーク管理テーブル２５０１に登録されている中断ワークのうちどの中断ワークに対応するのかを特定できる。すなわち、この抽出した工程情報に対応する、ワーク管理テーブル２５０１中のレコードを特定することができる。

ステップＳ２２０５では、制御部１０３は、ワーク管理テーブル２５０１においてステップＳ２２０４で特定したレコード中の「読み取り済み書類」に登録されている書類画像を記憶部１０４から読み出す。そしてその後、状態３２２へと遷移する。

（状態３２２）
状態３２２における処理内容を図２３のフローチャートを用いて説明する。ステップＳ２３０１では、制御部１０３は、上記ステップＳ２２０５で読み出したそれぞれの書類画像のサムネイルを生成し、該生成したそれぞれのサムネイルを投影部１０１に供給する。投影部１０１は、これら供給されたサムネイルを投影面２０１上に投影する。

ステップＳ２３０２では、制御部１０３は、工程情報に含まれている情報や、上記ステップＳ２２０４で特定したレコードに記録されている情報など、中断時点の情報や再開に有益な情報を投影部１０１に供給する。投影部１０１は、これら供給された情報を投影面２０１上に投影する。投影する情報は、例えば、顧客氏名、前回のワーク実施日時、工程の進捗具合、未スキャンの書類のリスト、中断時に顧客に依頼した内容、再開時にスキャン予定の書類のリスト等である。ワーク管理テーブル２５０１のメモ欄の様に、再開時までのアクションアイテムや、再開を容易にするための情報を投影してもよい。

ステップＳ２３０３では、制御部１０３は、次の状態に進むための確認ボタンと撮り直しボタンの２つの操作ボタンを記憶部１０４から読み出して投影部１０１に供給する。投影部１０１は、これら供給された２つの操作ボタンを投影面２０１上に投影する。

ステップＳ２３０３の時点で投影面２０１上に投影されているユーザインターフェース画面について、図１９を用いて説明する。図１９に示す如く、ユーザインターフェース画面には、ステップＳ２３０２で投影した情報１９０１、即ち、中断時のワークの工程に関する情報が配置されている。この情報には、再開を容易にするための情報も含まれる。また、ユーザインターフェース画面には、ワーク管理テーブル２５０１においてステップＳ２２０４で特定したレコード中の「読み取り済み書類」に登録されている書類画像のサムネイル１９０２ａ〜１９０２ｃも配置されている。また、ユーザインターフェース画面には、取り直しボタン１９１０と確認ボタン１９０３とが配置されている。

もし１つのワークで複数の中断が存在したら、すべての中断時点の情報を投影してもよい。また、撮影した書類の中断時点より後にワークが実施されている場合、どの工程から再開するかを選択するためのボタンを投影面２０１上に投影してもよい。

ステップＳ２３０４では、ＵＩ部１０５は、ステップＳ２３０３で投影された２つの操作ボタンの何れかをタッチしたことを検知する。ＵＩ部１０５が確認ボタンにタッチしたことを検知した場合には、処理はステップＳ２３０５を介して状態３０２へ遷移し、撮り直しボタンにタッチしたことを検知すると、処理はステップＳ２３０５を介して状態３２１へ遷移する。

この場合、状態３０２のステップＳ５０１では、制御部１０３は、該中断ワークに対応するドキュメント種リストを記憶部１０４から読み出して投影部１０１に供給するので、投影部１０１は、このドキュメント種リストを投影面２０１上に投影する。もちろん、該ドキュメント種リスト上のそれぞれのサムネイル表示領域には、ステップＳ２３０２で表示したサムネイルが表示される。

以上説明したように、本実施形態によれば、中断時の工程情報を埋め込んだ印刷物をスキャンすることで、システムに中断時の状態を自動的に認識させる。かつ工程情報から中断時のワーク状態を説明する情報を投影する。その結果、本システムを操作するユーザが中断前後で異なる場合でも、容易にワークが再開できる。またユーザがワーク再開に必要な情報を忘れずに済む効果がある。

なお、上記説明では中断は状態３０２においておこなわれ、再開時も状態３０２から開始する例を示したが、別の状態においても中断・再開が可能なようにしてもよい。更に任意の状態で中断・再開が可能なように、状態の再現に必要な情報をさらに工程情報に含めるようにしてもよい。また、状態３２０で工程情報を印刷する際に、再開するワーク内容をユーザが視覚的に確認できるように文字や画像を用いて工程情報を説明する内容を印刷してもよい。このようにすることで、ユーザが容易にワーク再開できる効果がある。

このように、複数のユーザによる、複数の書類に対する作業を容易に実施できる効果がある。また、作業を中断後、中断時に印刷した紙を撮影するだけで容易に作業を再開でき、中断時の状況を思い出すことが容易になる効果がある。また、中断前後で異なるユーザーが作業を継続する際、装置へのキーボードやマウス入力で顧客情報やワーク情報の入力による再開に比べ、個々の状況を容易に把握でき、作業をスムーズに再開できる効果がある。

［第２の実施形態］
以下では、第１の実施形態との相違点のみについて説明し、以下で特に触れない限りは、第１の実施形態と同様であるとする。第１の実施形態では、状態３２２において、ワーク中断時のリストを投影し、確認ボタンによりワークを再開するように構成している。しかしながら、当初選択したワークとは異なるワークに変更する場合がある。

本実施形態では、状態３２２では、確認ボタン及び撮り直しボタンに加え、移行可能なワークに移行するために指示するボタンも投影する。他のワークが選択された場合、ワーク管理テーブル２５０１に新たな管理情報を生成する。また、選択されたワークに属する種別の書類画像がすでに記憶部１０４に登録済みである場合には、登録済みの書類画像を、新しいワークにコピーする。たとえば、作業「ワーク４」のスキャン対象が「帳票１」、「契約書ｃ」、「契約書ｄ」であり、「ワーク１」で既に「帳票１」の書類画像が登録済みであれば、「帳票１」の書類画像を「ワーク４」にコピーする。その後、状態３０７に遷移し、ワークが再開される。このように、本実施形態によれば、中断後、異なるワークへの移行が容易に実施可能である。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 撮影部と、供給された画像を投影面に投影する投影部と、印刷部と、を有する画像処理装置であって、
   前記撮影部が書類を撮影することで得られる画像を書類画像として取得する取得手段と、
   前記書類画像を含む複数の書類画像から成るグループに対するワークフローを中断する指示を検知すると、該中断時における該ワークフローの状態を示す情報を中断情報として前記印刷部に印刷させる印刷手段と、
   前記中断情報が印刷された印刷物を前記撮影部が撮影することで得られる画像から前記中断情報を抽出し、該抽出した中断情報の一部、若しくは全部を前記投影部に供給する供給手段と
   を備えることを特徴とする画像処理装置。
2. 前記取得手段は、取得した書類画像の種類を識別し、該識別した種類が、前記グループに属する種別に該当していれば、該取得した書類画像のサムネイルを前記投影部に供給することを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記サムネイルを前記投影部に供給した後、前記撮影部が撮影した画像から前記書類が検出されなくなった場合には、該サムネイルの生成元である書類画像を前記投影部に供給する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記取得手段は、前記投影部によって投影されたサムネイルが指示されたことを検知した場合には、該サムネイルの生成元である書類画像を前記投影部に供給する
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記取得手段は、前記投影部が投影した書類画像に対するユーザ操作に応じて該書類画像を更新し、該更新した書類画像のサムネイルを前記投影部に供給する
   ことを特徴とする請求項２乃至４の何れか１項に記載の画像処理装置。
6. 前記投影部は、前記取得手段によって供給されたサムネイルを、前記投影面において、該サムネイルの生成元である書類画像の種類に対応する領域内に投影する
   ことを特徴とする請求項２乃至５の何れか１項に記載の画像処理装置。
7. 前記印刷手段は、前記中断情報を電子透かしで印刷媒体に埋め込んで前記印刷部に印刷させることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記印刷手段は、前記中断情報をバーコード、数字、文字の何れかでもって印刷媒体上に前記印刷部によって印刷させることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
9. 前記供給手段による供給の後、前記取得手段は、前記中断情報に対応するグループについて取得済みの書類画像を前記中断情報から特定し、該特定した書類画像のサムネイルを、前記投影面において、該サムネイルの生成元である書類画像の種類に対応する領域内に投影する
   ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記グループは、規定のワークで必要な複数の種類の書類画像のグループであることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 撮影部と、供給された画像を投影面に投影する投影部と、印刷部と、を有する画像処理装置が行う画像処理方法であって、
    前記画像処理装置の取得手段が、前記撮影部が書類を撮影することで得られる画像を書類画像として取得する取得工程と、
    前記画像処理装置の印刷手段が、前記書類画像を含む複数の書類画像から成るグループに対するワークフローを中断する指示を検知すると、該中断時における該ワークフローの状態を示す情報を中断情報として前記印刷部に印刷させる印刷工程と、
    前記画像処理装置の供給手段が、前記中断情報が印刷された印刷物を前記撮影部が撮影することで得られる画像から前記中断情報を抽出し、該抽出した中断情報の一部、若しくは全部を前記投影部に供給する供給工程と
    を備えることを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至１０の何れか１項に記載の各手段として機能させるためのコンピュータプログラム。

Images