JP2016162372A - 情報処理システム及び情報処理方法 - Google Patents

Abstract

【課題】文書画像登録時の操作者の作業負担を軽減することを目的とする。
【解決手段】紙文書が撮影された文書画像の属性領域を推定する領域推定手段と、属性領域に対する文字認識により属性情報を推定する情報推定手段と、属性領域に対応する紙文書上の領域に対応付けて、属性領域から推定された属性情報を投影する投影手段と、操作者の動作に対してジェスチャ認識を行うジェスチャ認識手段と、文書画像の属性情報を、ジェスチャ認識手段による認識結果に従い編集する編集手段と、該編集された属性情報と文書画像とを対応付けて記憶する記憶手段とを有する。
【選択図】図３

Description

本発明は、情報処理システム及び情報処理方法に関する。

従来、医療現場等において、電子カルテの普及や、医療機器のデジタル化により、医療関連の情報は、電子的に保管・管理されることが多くなってきている。しかしながら、問診票、同意書、他の病院や検査施設からの医療情報には、紙文書が利用されている場合もある。また、病院内の電子機器が利用し難い環境での医療情報の参照や記録等にも紙文書が利用される場合がある。このような場合でも、紙文書の情報を電子化することにより、電子的な管理を行うことを併用している場合が多い。しかしながら、紙文書を含め、各文書の書式等は必ずしも統一されているわけではなく、また、他の病院等から持ち込まれる紙文書も電子化の対象となる。

特許文献１には、紙文書から電子文書を画面に表示して、氏名等の対象情報の記載領域の指定と、対象情報の内容種別や属性の選択の操作を行わせ、記載領域に対して文字認識し、認識結果を電子文書に対応付ける技術が開示されている。特許文献２には、指定された記載領域によく書かれている内容や表現の情報を事前に保有しておき、この情報を基に文字認識を行うことで、文字認識の精度の向上を狙う技術が開示されている。さらに、近年、紙文書の光学的スキャンを行う機器が出現してきている。特許文献３には、カメラ部分が文書の上方向に設置されたオーバーヘッド型スキャナ機器を用い、操作者の手による指定により、文書認識の対象領域を特定し、対象領域の文字認識等を行う技術が開示されている。

特開平１１−２８３０００号公報 特開２００６−３１１２９号公報 特開２０１２−１６９９９６号公報

紙文書の電子化においては、複数の紙文書が連続してスキャンされ、紙文書に対応する文書画像が生成される。その後、操作者の指示に従い、必要な情報の入力、編集等が行われ、文書画像が登録される。しかしながら、同一文書に対するスキャンする行為と、情報の入力や編集の行為が分断され、個々に行う必要があるため、操作者による作業負担が大きいという問題がある。

本発明はこのような問題点に鑑みなされたもので、文書画像登録時の操作者の作業負担を軽減することを目的とする。

そこで、本発明は、紙文書が撮影された文書画像の属性領域を推定する領域推定手段と、前記属性領域に対する文字認識により属性情報を推定する情報推定手段と、前記属性領域に対応する前記紙文書上の領域に対応付けて、前記属性領域から推定された前記属性情報を投影する投影手段と、操作者の動作に対してジェスチャ認識を行うジェスチャ認識手段と、前記文書画像の前記属性情報を、前記ジェスチャ認識手段による認識結果に従い編集する編集手段と、該編集された属性情報と前記文書画像とを対応付けて記憶する記憶手段とを有することを特徴とする。

本発明によれば、文書画像登録時の操作者の作業負担を軽減することができる。

情報処理システムの全体図である。 情報処理システムのハードウェア構成を示す図である。 情報処理システムのソフトウェア構成を示す図である。 スキャナ装置の処理を示すフローチャートである。 管理装置の処理を示すフローチャートである。 紙文書の一例を示す図である。 投影画像の説明図である。 編集指示と、表示更新処理と、編集指示に応じた処理との関係図である。 編集指示に対応するジェスチャの説明図である。 編集指示に対応するジェスチャの説明図である。 編集指示に対応するジェスチャの説明図である。 編集指示に対応するジェスチャの説明図である。 編集指示に対応するジェスチャの説明図である。

以下、本発明の実施形態について図面に基づいて説明する。

図１は、情報処理システムの全体図である。情報処理システムは、スキャナ装置１００と、管理装置１１０とを有している。スキャナ装置１００と管理装置１１０との間は、外部インターフェース（Ｉ／Ｆ）であるケーブル１２０で接続されている。スキャナ装置１００は、オーバーヘッド型の装置であり、原稿台１０１と、ヘッド１０２と、原稿台１０１と、操作パネル１０３と、を有している。原稿台１０１は、紙文書１３０を載せるための台である。ヘッド１０２は、原稿台１０１を含む領域のカメラによる撮影と、原稿台１０１への情報の投影と、を行う。操作パネル１０３は、ユーザ操作を受け付けるためのユーザインタフェースである。さらに、本実施形態に係るスキャナ装置１００は、ユーザの手等の指示物１４０によるジェスチャを認識し、認識されたジェスチャに応じた指示内容を特定し、指示内容に応じた処理を行うことができる。

図２は、情報処理システムのハードウェア構成を示す図である。スキャナ装置１００及び管理装置１１０は、それぞれ外部Ｉ／Ｆ２０５及び外部Ｉ／Ｆ２１５を有し、両者は、ケーブル１２０で接続され、連携動作ができるようになっている。

以下、まずスキャナ装置１００について説明する。２０１はＣＰＵであり、本実施形態における各種システムの大部分の制御や処理を実現するものである。その作業内容は、後述するＲＯＭ２０２やＲＡＭ２０３上のプログラムによって指示される。また、ＣＰＵ２０１自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることもできる。２０２はＲＯＭであり、ＣＰＵ２０１による制御の手順を記憶させた計算機プログラムやデータが格納されている。２０３はＲＡＭであり、ＣＰＵ２０１が処理するための制御プログラムを格納するとともに、ＣＰＵ２０１が各種制御を実行する際の様々なデータの作業領域を提供するものである。なお、後述するスキャナ装置１００の機能及び処理は、ＣＰＵ２０１がＲＯＭ２０２等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

２０４は、入力装置であり、操作者による各種入力操作環境を提供するものである。入力装置２０４は、図１に示す操作パネル１０３上のボタンやタッチセンサからの操作の内容を入力として受け取る。２０６は、内部構成の各部分に接続されているアドレスバス、データバス等であり、各部間の情報交換・通信機能を提供する。これにより、各部分が連携して動作できる。２０７は撮影装置であり、図１のヘッド１０２内に設けられている。撮影装置２０７は、紙文書や操作者の手によるジェスチャを撮影する。２０８は、投影表示装置であり、ヘッド１０２内に設けられている。投影表示装置２０８は、原稿台１０１に対し、テキストや画像等の情報を投影する。この結果、操作者は、読み取り対象の紙文書１３０と共に、投影された情報を見ることができる。２０５は外部Ｉ／Ｆであり、管理装置１１０との通信を実現するものである。２２０は、外部Ｉ／Ｆ２１５による通信で利用されるケーブルである。

次に、管理装置１１０のハードウェア構成について説明する。なお、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、外部Ｉ／Ｆ２１５、及びバス２１６は、それぞれ管理装置１１０のＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部Ｉ／Ｆ２０５及びバス２０６と同様である。また、後述する管理装置１１０の機能及び処理は、ＣＰＵ２１１がＲＯＭ２１２等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

２１４は、入力装置であり、ユーザによる各種入力操作環境を提供するキーボードやマウスであるが、ユーザからの各種入力操作環境を提供するものであれば、タッチパネル、スタイラスペン等でもよい。また、音声認識やジェスチャ操作による入力でもよい。２１６は、各種データ等を記憶するための外部記憶装置であり、ハードディスク等の記録媒体と、記憶媒体を駆動し情報を記録するドライブ等で構成される。保管された計算機プログラムやデータはキーボード等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ２０３上に呼び出される。

２１７は、他のコンピュータ装置等と通信を行うための通信装置ＮＣＵであり、ネットワーク（ＬＡＮ）等を介して、遠隔地に存在する不図示の装置と通信し、本実施形態のプログラムやデータを共有することが可能になる。この通信手段としては、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、Ｅｔｈｅｒｎｅｔ（登録商標）等の有線通信や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、ＩＥＥＥ８０２．１１ａ／ｂ／ｎ等の無線通信等が挙げられる。すなわち、管理装置１１０と接続されている機器と通信手段をもつものであればよい。管理装置１１０が利用する情報は、外部記憶装置２２０だけではなく、ＮＣＵ２１７を介して外部から受け付けてもよい。また、管理装置１１０は、ＲＯＭ２１２やＲＡＭ２１３、外部記憶装置２２０だけでなく、ＮＣＵ２１７を介して、他の機器に、情報を格納してもよい。

２１８は、ＧＰＵである。ＧＰＵ２１８は、ＣＰＵ２１１等とバス２１６を経由して、与えられた表示指示や計算指示に従い、計算を行って表示内容の画像の作成や表示位置等の計算を行い、その計算結果を２１９の表示装置へ送って描画させる。また、ＧＰＵ２１８は、バス２１６を経由して、計算結果をＣＰＵ２１１に戻すことで、ＣＰＵ２１１と連携した計算処理を行う場合もある。２１９は、表示装置であり、ディスプレイ等で構成され、各種入力操作の状態やそれに応じた計算結果等をユーザに対して表示する。

図３は、情報処理システムのソフトウェア構成を示す図である。まず、スキャナ装置１００のソフトウェア構成について説明する。３０１は、操作処理部であり、文書画像を取得し、撮影処理部３０５へ送る。操作処理部３０１はまた、管理装置１１０から受け取った文書画像等の表示に対する操作者からのジェスチャに応じた指示を受け付ける。操作処理部３０１はまた、後述の管理装置１１０により特定された文書画像内の領域や、文書画像の属性情報を取得し、これを具体的な表示内容画像とし、表示操作部３０３に送る。操作処理部３０１はまた、それらに対する操作者によるジェスチャの認識結果を基に、操作指示を判別し、これを管理装置１１０や表示操作部３０３に送る。指示解釈部３０２は、操作者によるジェスチャの認識結果を基に、操作指示を判別する。

３０３は、表示操作部であり、表示処理部３０４と、撮影処理部３０５とを有している。表示処理部３０４は、操作処理部３０１の指示に従い、ヘッド１０２内に設けられた投影表示装置２０８を利用して、投影画像の投影表示のための処理を行う。撮影処理部３０５は、原稿台１０１を撮影範囲とする撮影を制御する。なお、撮影処理部３０５の撮影画像は、動画でもよく静止画でもよい。撮影処理部３０５は、例えば、操作者がジェスチャを行っている画像の撮影を制御する。

３０６は操作認識部で、手画像認識部３０７と、ジェスチャ認識部３０８を有している。手画像認識部３０７は、事前に手の画像を大量に事例として学習しておく。そして、手画像認識部３０７は、表示操作部３０３により得られた撮影画像から、学習結果に基づき、指示物としての操作者の手の出現と、その出現領域の部分画像を判別する。ジェスチャ認識部３０８は、事前に手のジェスチャ時の画像を大量に事例として学習しておく。そして、ジェスチャ認識部３０８は、撮影画像から、学習結果に基づき、操作者の手のジェスチャのパタンを判別する。操作認識部３０６で利用される画像に対する機械学習の手法については、公知技術を利用することができる。また、操作処理部３０１と、操作処理部３１１の連携は、図２の外部Ｉ／Ｆ２０５，２１５、ケーブル１２０を利用して情報の授受が行われるものとする。

次に、管理装置１１０のソフトウェア構成について説明する。３１１は、操作処理部であり、画像処理部３１２と、設定部３１３とを有している。スキャナ装置１００の撮影により得られた文書画像には、文書画像の縦横に対し、文書画像に示される紙文書の縦横が斜めになっていたり、立体的に丸まっていたりするものがある。また、撮影位置と被写体である紙文書の立体的な関係から生じる空間的なひずみ等が生じた文書画像もある。これに対し、画像処理部３１２は、紙文書の四辺・領域を推定するとともに、紙文書の立体的な状態を推定し、その結果に基づき、文書画像に対して画像補正を行う。設定部３１３は、文書画像に対し、文書画像から得られた情報を付加し、画像記憶部３２２に格納する。設定部３１３はまた、スキャナ装置１００における操作者の操作に応じて、画像記憶部３２２に格納されている属性情報の追加、変更、削除等の編集処理を行う。

３１４は、認識処理部であり、レイアウト解析部３１５、文字認識部３１６、分類部３１７を有している。レイアウト解析部３１５は、操作処理部３０１の処理後の文書画像を複数の領域に分離し、各領域の領域種別を特定する。領域種別としては、文字列が表示されたテキスト領域や画像が表示された図領域等がある。

レイアウト解析部３１５は、例えば、文書画像を２値化して２値画像を生成し、２値画像を低解像度化して間引き画像（縮小画像）を作成する。例えば、１／（Ｍ×Ｎ）の間引き画像を作成するとする。この場合、レイアウト解析部３１５は、２値画像をＭ×Ｎ画素毎に分割し、Ｍ×Ｎ画素内に黒画素が存在すれば縮小後の対応する画素を黒画素とし、存在しなければ白画素とすることにより、間引き画像を作成する。次に、レイアウト解析部３１５は、間引き画像において黒画素が連結する部分（連結黒画素）を抽出して当該連結黒画素に外接する矩形を作成していく。

文字画像サイズに近い矩形（１文字の矩形）が並んでいる場合や、縦横のどちらかが文字画像サイズに近い矩形（数文字が繋がった連結黒画素の矩形）で短辺の近くに同様の矩形が並んでいる場合は、１つの文字行を構成している文字画像である可能性が高い。レイアウト解析部３１５は、この場合は矩形同士を結合して、１つの文字行を表す矩形を得る。そして、レイアウト解析部３１５は、１つの文字行を表す矩形の短辺の長さがほぼ同じで、列方向にほぼ等間隔に並んでいる矩形の集合は、本文部である可能性が高いので結合して本文領域を抽出する。また、レイアウト解析部３１５は、写真領域や図領域や表領域は、文字画像よりも大きいサイズの連結黒画素の領域を、写真や図、表の図領域として抽出する。なお、領域を抽出する処理は、実施形態に限定されるものではなく、他の公知の方法を用いてもよい。

文字認識部３１６は、レイアウト解析部３１５でテキスト領域と判定された領域に対し、文字認識処理を行い、テキスト情報を得る。文字認識処理としては、公知の技術を用いることができる。分類部３１７は、レイアウト解析部３１５及び文字認識部３１６の処理結果に基づいて、検査結果の報告書や、問診票等といった文書画像の分類を行う。分類部３１７は、例えば、事前に多数の文書画像とその分類結果を事例として学習しておき、レイアウト解析部３１５で得られる各領域の配置状況の類似性により、文書画像を推定する。また、他の例としては、分類部３１７は、文書画像のタイトル領域を推定し、タイトル領域のテキスト情報を用いて文書画像を分類してもよい。また、他の例としては、文書分類ができるような記号や印が紙文書に付加されていてもよい。この場合には、分類部３１７は、この記号や印の画像に基づいて、文書画像を分類してもよい。

３１８は抽出処理部であり、属性領域推定部３１９と、属性情報推定部３２０と、分類部３２１を有している。属性領域とは、文書画像内において、属性情報が示された領域である。属性情報は、文書の属性に関する情報であり、属性種別及び属性値を含む。本実施形態に係る情報処理システムが処理対象とする紙文書は、医療文書であるものとする。これに対応し、属性種別としては、患者の識別情報としての患者番号と、診療科の識別情報としての診療科名と、文書種別の３つがあるものとする。本実施形態においては、患者の識別情報は、数字列の患者番号であり、診療科の識別情報は、診療科名を示すテキスト情報であり、文書種別は、問診票、検査結果など、文書の内容を識別するテキスト情報であるものとする。

医療文書においては、患者の識別情報は最も重要な属性種別となる。医療文書は、患者に関する情報が記載されたものが非常に多く、かつ、患者毎に作成された文書となることが多い。そのため、文書がどの患者に関するものかがわかることは非常に重要で、患者毎に作成される電子カルテに紐づける形で利用されることが多い。患者の識別情報に次いで、診療科の識別情報も重要な属性種別である。診療科の属性値から、文書画像を利用する医療関係者や診療科等がわかる。さらに、文書種別も重要な属性種別である。特定の検査結果報告書や、問診票や同意書等といった文書種別による文書画像の分類を行うことで、医師等の医療関係者が、患者の電子カルテに紐づけられた文書画像の中から、希望の文書画像の検索を容易に行うことができる。

属性領域推定部３１９は、各テキスト領域が属性領域か否かを推定する。属性情報推定部３２０は、属性領域から得られた文字列を属性情報と推定する。属性情報推定部３２０は、さらに、属性領域から属性値が得られた場合に、この属性値に対応する属性種別を推定する。なお、抽出処理部３１８は、例えば、事前に医療文書や医療辞書、診療科名一覧等の情報や、医療文書の事例情報を知識として記憶しておくこととする。ここで、知識には、文書画像内のレイアウトや、テキスト情報の中での医療用語や表現等の出現傾向等の情報が含まれているものとする。そして、属性領域推定部３１９は、この知識に基づいて、属性領域を推定し、属性情報推定部３２０は、この知識に基づいて、属性情報を推定する。

例えば、「患者番号」という属性種別の下に記載されているのが属性種別「患者番号」に対する属性値であるという知識が記憶されているとする。この場合には、属性領域推定部３１９は、テキスト領域が「患者番号」の記載の下に位置する場合には、このテキスト領域を属性領域であると推定する。さらに、属性情報推定部３２０は、この属性領域から得られた文字列を、患者種別「患者番号」の属性値であると推定する。属性情報推定部３２０はさらに、得られた属性値が属性種別「患者番号」に対応するものであると推定する。これにより、属性情報として、患者種別と、その属性値が得られる。

分類部３２１は、認識処理部３１４で得られた情報と属性領域推定部３１９で得られた情報とに基づいて、文書情報を分類する。具体的には、分類部３２１は、属性領域推定部３１９の情報や、認識処理部３１４で得られたテキスト情報の中での医療用語や表現等の出現傾向から、文書情報を分類する。３２２は、画像記憶部であり、操作処理部３０１の処理後の文書画像と、文書画像に対して得られた属性情報とを対応付けて記憶する。

次に、本実施形態に係る文書画像登録処理について説明する。図４は、文書画像登録処理におけるスキャナ装置１００の処理を示すフローチャートである。図５は、文書画像登録処理における、管理装置１１０の処理を示すフローチャートである。文書画像登録処理は、操作者が操作パネル１０３を操作することにより開始される。なお、文書画像登録処理は、紙文書のスキャン作業、ユーザによる属性情報の確認作業と並行して実行される。

図６は、紙文書の一例を示す図である。文書画像登録処理においては、紙文書群に含まれる紙文書が連続してスキャンされる。そして、各紙文書から生成された文書画像の登録時に、操作者による属性情報等の確認作業が行われる。以下、紙文書群に含まれる複数の紙文書のうち図６に示す紙文書６００が読み取り対象として、原稿台１０１に置かれた場合を例に、文書画像登録処理について説明する。紙文書６００の領域６０１には、「患者番号」という属性種別が記載され、これに対応付けて、領域６０２には、患者番号の属性種別に対する属性値として「１２３４５」が記載されている。さらに、領域６０３には、属性種別「診療科名」に対する属性値として、「心療内科」が記載されている。領域６０４には、属性種別「文書種別」に対する属性値として「ＢＢＢテスト結果」が記載されている。領域６０４以下の領域には、本文である「●記載テスト項目１…」が記載されている。

続いて、図４を参照しつつ、スキャナ装置１００の処理について説明する。Ｓ４０１において、撮影処理部３０５は、紙文書の撮影開始を制御する。このとき、スキャナ装置１００は、スキャナ装置１００の各機能が動作できるように、必要に応じて初期化処理を行う。撮影が開始されると、撮影装置２０７は、撮影を開始し、撮影処理部３０５は、撮影装置２０７から文書画像を取得する。撮影装置２０７はさらにジェスチャ認識のための動画像の撮影を開始する。そして、操作処理部３０１は、文書画像を管理装置１１０に送信し、さらにジェスチャ認識のための動画像（撮影画像）の管理装置１１０への送信を開始する。

次に、Ｓ４０２において、操作処理部３０１は、紙文書のスキャンの終了指示を受け付けたか否かを確認する。操作処理部３０１は、終了指示を受け付けた場合には（Ｓ４０２でＹｅｓ）、処理をＳ４０３へ進める。操作処理部３０１は、終了指示を受け付けなかった場合には（Ｓ４０２でＮｏ）、処理をＳ４０４へ進める。Ｓ４０３において、操作処理部３０１は、終了指示を管理装置１１０に送信し、処理を終了する。

続いて、図５を参照しつつ、Ｓ４０１〜Ｓ４０３の処理に対応して実行される、管理装置１１０の処理について説明する。Ｓ５０１において、操作処理部３１１は、文書画像を受信する。次に、Ｓ５０２において、操作処理部３１１は、撮影画像の受信を開始する。このとき、操作者の手によるジェスチャ操作を得るために、手画像認識部３０７及びジェスチャ認識部３０８は、撮影画像に対する認識処理を開始する。すなわち、撮影画像の監視が開始される。次に、Ｓ５０３において、操作処理部３１１は、スキャナ装置１００から終了指示を受信したか否かを確認する。操作処理部３１１は、終了指示を受信した場合には（Ｓ５０３でＹｅｓ）、処理をＳ５１２へ進める。操作処理部３１１は、終了指示を受信しなかった場合には（Ｓ５０３でＮｏ）、処理をＳ５０４へ進める。

Ｓ５０４において、操作処理部３１１は、紙文書が変更されたか否かを判定する。具体的には、操作処理部３１１の画像処理部３１２は、文書画像において、紙文書の四辺・領域検出を行う。そして、操作処理部３１１は、四辺・領域が得られた場合、紙文書があると判定し、四辺・領域が得られない場合には、紙文書はないと判定する。さらに、操作処理部３１１は、四辺・領域が得られない状態から得られる状態に変化した場合に、新規の紙文書が出現したものとして、紙文書が変更されたと判定する。操作処理部３１１は、紙文書が変更されたと判定した場合には（Ｓ５０４でＹｅｓ）、処理をＳ５０５へ進める。操作処理部３１１は、紙文書が変更されなかったと判定した場合には（Ｓ５０４でＮｏ）、処理をＳ５１０へ進める。

Ｓ５０５において、管理装置１１０は、文書画像の解析処理の初期化を行う。具体的には、管理装置１１０は、Ｓ５０１において受信した文書画像よりも前に受信した文書画像、すなわち前ページがある場合には、前ページ（文書画像）と、前ページから得られた属性情報及び属性領域の位置とを対応付けて、画像記憶部３２２に格納する。なお、前ページの属性情報は、後述する処理において、編集が施されたものである。ここで、Ｓ５０５の処理は、編集後の属性情報と、文書画像と、を対応付けて記憶部に記憶（格納）する記憶処理の一例である。次に、Ｓ５０６において、画像処理部３１２は、文書画像に対し、画像補正を行うとともに、画像領域を確定する。画像処理部３１２は、原稿台１０１に置かれた紙文書上に投影画像を投影する際の位置調整のため、画像補正後の文書画像の位置と、画像補正前の文書画像の位置の対応関係を示す対応情報を生成しておく。

次に、Ｓ５０７において、認識処理部３１４は、文書画像に対し、文字認識処理を行う。具体的には、レイアウト解析部３１５が文書画像のレイアウト解析を行いテキスト領域の位置を求め、文字認識部３１６が文字認識を行い、分類部３１７が文書画像の分類を行う。次に、Ｓ５０８において、抽出処理部３１８は、属性領域及び属性情報を推定する。具体的には、属性領域推定部３１９は、属性領域を推定し、属性情報推定部３２０は、属性情報を推定する。分類部３２１は、文書情報を分類する。ここで、Ｓ５０８の処理は、紙文書が撮影された文書画像の属性領域を推定する領域推定処理の一例であり、また、属性領域に対する文字認識により属性情報を推定する情報推定処理の一例である。

次に、Ｓ５０９において、操作処理部３１１は、投影画像を生成するための情報をスキャナ装置１００に送信する。ここで、投影画像を生成するための情報には、Ｓ５０６における画像補正前後の文書画像の位置関係を示す情報と、画像補正後の文書画像、Ｓ５０７において特定されたテキスト領域の位置情報とが含まれる。さらに、投影画像を生成するための情報には、Ｓ５０８において推定された属性情報と、属性領域の位置情報とが含まれる。

これに対し、図４に示すＳ４０４において、スキャナ装置１００の操作処理部３０１は、管理装置１１０から投影画像を生成するための情報を受信する。そして、Ｓ４０５において、操作処理部３０１は、投影画像を生成するための情報に基づいて、投影画像を生成する。次に、Ｓ４０６において、表示処理部３０４は、投影表示装置２０８を用いて、原稿台１０１に乗せられた紙文書上に、投影画像を投影表示する。

図７（ａ）は、投影画像７００の一例を示す図である。投影画像７００は、画像補正前後の文書画像の位置関係に基づいて、実際の紙文書に対して正しい位置に投影されるよう調整されている。投影画像７００の７０１は、文書画像の四辺・領域検出結果から得られた外枠である。７１１，７１２，７１３は、テキスト領域を示す領域枠である。７２１，７２２，７２３は、属性情報を表示する属性情報領域である。属性情報領域７２１には、対応する属性領域から抽出された属性値と、属性値の属性種別とが表示されている。なお、図７（ａ）の例においては、診療科及び文書種別の属性値の抽出に失敗したため、属性情報領域７２２，７２３には、抽出されるべき属性値の属性種別のみが表示され、属性値は表示されていない。

さらに、領域枠７１１から属性情報領域７２１に伸びる矢印７３１が表示されている。これは、領域枠７１１の文字列から属性情報領域７２１に示される属性情報が推定されたことを示している。同様に、領域枠７１２から属性情報領域７２２に伸びる矢印７３２が表示されており、領域枠７１２の文字列から属性情報領域７２２に示される属性情報が推定されたことを示している。なお、例えば、テキスト領域の位置から記載される属性種別が推定されたものの、文字認識に失敗したような場合には、領域枠７１２と属性情報領域７２３を対応付ける矢印７３２が表示されるものの、属性情報領域７２３に属性値は表示されない。ここで、矢印７３１，７３２が伸びる領域枠７１１、７１２は、属性領域であることを示す画像の一例であり、矢印７３１，７３２は、属性領域であることを示す画像と、属性領域から推定された属性情報とを対応付ける画像の一例である。

図７（ｂ）は、図７（ａ）の投影画像７００が紙文書６００上に投影された状態を示す図である。このように、スキャナ装置１００の表示処理部３０４、管理装置１１０により推定されたテキスト領域や、属性情報等を紙文書６００に重畳して表示することができる。すなわち、表示処理部３０４は、属性領域に対応する紙文書上の領域に対応付けて、属性領域から推定された属性情報を投影する。表示処理部３０４はまた、属性領域に対応する紙文書上の領域が属性領域でることを示す画像を投影する。表示処理部３０４は、属性領域に対応する紙文書上の領域が属性領域であることを示す画像と、属性領域から推定された属性情報とを対応付ける画像をさらに投影する。すなわち、表示処理部３０４の処理は、投影処理の一例である。

操作者は、紙文書に重畳された投影内容から、管理装置１１０により推定された属性領域及び属性情報を確認することができる。そして、操作者は、自身の手等の指示物の動作により、属性領域の変更、属性情報の編集等の指示を入力することができる。これに対し、スキャナ装置１００は、撮影画像から指示物の動作に応じた編集内容を特定し、適宜属性情報の編集等を行う。このように、本実施形態に係る情報処理システムにおいては、スキャン直後、かつ文書画像を登録する前に、操作者による確認作業を行うことができる。

図４に戻り、Ｓ４０６の処理の後、Ｓ４０７において、スキャナ装置１００の手画像認識部３０７は、撮影画像から手画像を認識したか否かを確認する。手画像が認識された場合には（Ｓ４０７でＹｅｓ）、処理をＳ４０８へ進める。手画像認識部３０７は、手画像が認識されなかった場合には（Ｓ４０７でＮｏ）、処理をＳ４０２へ進める。

Ｓ４０８において、ジェスチャ認識部３０８は、手画像から特定のジェスチャが認識されたか否かを確認する。ジェスチャ認識部３０８は、具体的には、Ｓ４０７において得られた手画像の画像領域を時間順に並べた動画に対し、画像認識処理を行うことにより、特定のジェスチャを検出する。ジェスチャ認識部３０８は、手の形や動きから、ジェスチャパタンを特定し、特定のジェスチャのジェスチャパタンである場合には、特定のジェスチャを示す識別情報を出力する。ここで、特定のジェスチャは、予め定められたジェスチャであり、文書画像の属性情報の編集指示に対応付けられているものとする。また、種類の異なる複数の編集指示それぞれに特定のジェスチャが割り当てられているものとする。すなわち、Ｓ４０８において、ジェスチャ認識部３０８は、複数種類のジェスチャを特定ジェスチャとして認識する。ここで、Ｓ４０８の処理は、操作者の動作に対してジェスチャ認識を行うジェスチャ認識処理の一例である。

ジェスチャ認識部３０８は、特定のジェスチャが認識された場合には（Ｓ４０８でＹｅｓ）、処理をＳ４０９へ進める。ジェスチャ認識部３０８は、特定のジェスチャが認識されなかった場合には（Ｓ４０８でＮｏ）、処理をＳ４０２へ進める。Ｓ４０９において、操作処理部３０１は、ジェスチャ認識部３０８から出力された特定のジェスチャの識別情報に対応する編集指示を特定する。操作処理部３０１は、特定した編集指示を管理装置１１０に送信する。次に、Ｓ４１０において、操作処理部３０１は、編集指示に従い、投影画像の内容（投影内容）を更新する。Ｓ４１０の処理については、後に詳述する。なお、Ｓ４０９及びＳ４１０の処理の順番は、実施形態に限定されるものではない。他の例としては、スキャナ装置１００は、Ｓ４１０の処理の後にＳ４０９を行ってもよく、Ｓ４０９及びＳ４１０の処理を並行して行ってもよい。

一方、図５に示すＳ５１０において、管理装置１１０の操作処理部３１１は、Ｓ４０９において、スキャナ装置１００から送信された編集指示を受信すると（Ｓ５１０でＹｅｓ）、処理をＳ５１１へ進める。なお、操作処理部３１１は、編集指示を受け付けなかった場合には（Ｓ５１０でＮｏ）、処理をＳ５０３へ進める。Ｓ５１１において、操作処理部３１１は、編集指示に応じた、属性情報の編集処理を行う。ここで、編集処理とは、文書画像に対応付けられるものとして推定された属性情報の変更、追加又は削除を行うものである。ここで、Ｓ５１１の処理は、文書画像の属性情報をジェスチャ認識における認識結果に従い編集する編集処理の一例である。

以下、Ｓ５１１の処理について具体的に説明する。図８は、編集指示と、編集指示に対して実行されるスキャナ装置１００による表示更新処理（Ｓ４１０）と、管理装置１１０による、編集指示に応じた処理（Ｓ５１１）との関係を示す図である。１行目に示すように、属性領域の移動、拡大又は縮小に係る編集指示が特定された場合、スキャナ装置１００の表示処理部３０４は、属性領域の移動、拡大又は縮小に係る表示内容の更新を行う。また、管理装置１１０の操作処理部３１１は、属性領域の位置を更新し、移動、拡大又は縮小後の領域から得られた文字列を属性情報として取得する。２行目に示すように、属性領域と属性情報の対応付けの解除、設定又は変更に係る指示が特定された場合、スキャナ装置１００の表示処理部３０４は、対応関係を示す矢印の表示の削除、追加又は変更に係る表示内容の更新を行う。また、管理装置１１０の操作処理部３１１は、属性値の削除、追加又は変更を行う。

３行目に示すように、属性値の解除に係る編集指示が特定された場合、スキャナ装置１００の表示処理部３０４は、属性値の表示を削除する。また、操作処理部３１１は、文書画像の属性情報から、編集指示に係る属性値を削除する。４行目に示すように、新たな属性値の設定に係る編集指示が特定された場合、スキャナ装置１００の表示処理部３０４は、属性値を追加表示する。また、管理装置１１０の操作処理部３１１は、属性値の追加を行う。５行目に示すように、前ページとの関係設定に係る編集指示が特定された場合、スキャナ装置１００の表示処理部３０４は、編集指示に係る属性情報の表示領域に、「前と同じ」又は「前と異なる」の表示を行う。また、管理装置１１０の操作処理部３１１は、前ページと異なる旨の編集指示が特定された場合に、前ページ群に対し、同一の属性値を設定する。なお、前ページ群及び前ページ群に対する操作処理部３１１の処理につては後述する。

以下、各編集指示に対応するジェスチャと、各編集指示に対応するスキャナ装置１００及び管理装置１１０の処理について説明する。図９は、属性領域の移動、拡大又は縮小に係る編集指示に対応するジェスチャの説明図である。属性領域の移動、拡大又は縮小の編集指示を入力するためには、操作者は、まず、図９（ａ）に示すように、投影された領域枠９００内を人差し指で指示した状態で、一定時間、手の動きを静止させる。スキャナ装置１００のジェスチャ認識部３０８は、この動作を特定のジェスチャとして認識し、操作処理部３０１は、この動作に対応して、属性領域の移動に係る編集指示を特定する。この場合、スキャナ装置１００の表示処理部３０４は、領域枠９００を点滅表示することにより、領域枠９００の移動が可能な状態になったことを操作者に通知する。

操作者は、手をそのままの形で移動させることにより、領域枠９００を移動させることができる。図９（ｂ）は、領域枠９００の移動後の状態を示す図である。領域枠９００の投影位置は、紙文書上の「ＡＡＡ病院」が表示された領域９１０から「心療内科」が表示された領域９１１に移動している。すなわち、スキャナ装置１００の表示処理部３０４は、図８の１行目に示すように、編集指示に応じて、属性領域の位置変更に係る投影内容の更新を行う。さらに、このとき、管理装置１１０の文字認識部３１６は、移動後の領域枠９００が投影される領域に対応する文書画像上のテキスト領域に対して文字認識を行い、操作処理部３１１は、得られた文字列を文書情報の属性情報として取得する。さらに、移動前の領域枠９００に対応する属性情報を削除する。すなわち、操作処理部３１１は、属性領域を変更するジェスチャが認識された場合に、変更前の属性領域の属性情報を削除し、変更後の属性領域の属性情報を追加する。

また、図９（ａ）に示すように、操作者が投影された領域枠９００を人差し指で指示した状態で、一定時間、手の動きを静止させる。スキャナ装置１００のジェスチャ認識部３０８は、この動作を特定のジェスチャとして認識し、操作処理部３０１は、この動作に対応して、属性領域の変倍（拡大又は縮小）に係る編集指示を特定する。このとき、スキャナ装置１００の表示処理部３０４は、領域枠９００を点滅表示することにより、領域枠９００の変倍が可能な状態になったことを操作者に通知する。なお、スキャナ装置１００は、静止させる時間の長短により、属性領域の移動と変倍とを区別して特定することができる。また、操作者は、点滅の仕方を変えることにより、変倍と、移動とを区別することができる。

そして、操作者が、手をそのままの形で、領域枠９００の外側に移動させることにより、領域枠９００を拡大し、領域枠９００のより内側に移動させることにより、領域枠９００を縮小することができる。このとき、スキャナ装置１００の表示処理部３０４は、属性領域の拡大又は縮小に係る投影内容の更新を行う。さらに、このとき、管理装置１１０の文字認識部３１６は、変倍後の領域に対して文字認識を行い、操作処理部３１１は、変倍前の属性領域から得られた属性情報を、新たに得られた文字列（属性情報）に変更する。

図１０は、属性領域と属性情報との対応付けの解除に係る編集指示に対応するジェスチャの説明図である。図１０（ａ）に示すように、領域枠１０００と、属性情報領域１００１と、両者を対応付ける矢印１００２とが表示されているとする。この状態において、操作者は、人差し指で属性情報領域１００１内の属性種別「診療科」を指示した上で、一定時間、人差し指を左右に振る動作を行う。この動作が特定のジェスチャとして認識され、これに対応して、属性領域と属性情報との対応付けの解除に係る編集指示が特定される。この場合、スキャナ装置１００の表示処理部３０４は、属性情報領域１００１を点滅表示する。そして、操作者が「診療科」の文字の上で人差し指を停止させると、図１０（ｂ）に示すように、表示処理部３０４は、領域枠１０００と属性情報領域１００１の間の矢印１００２を削除する。さらに、管理装置１１０の操作処理部３１１は、属性情報から、領域枠１０００に対応する属性領域から推定された属性値を削除する。

図１１は、属性領域と属性情報との対応付けの設定に係る編集指示に対応するジェスチャの説明図である。図１１（ａ）に示すように、領域枠１１００と、属性情報領域１１０１とが表示されているとする。なお、両者を対応付ける矢印は表示されていない。この状態において、操作者は、人差し指で領域枠１１００内の「心療内科」を指示した上で、一定時間手の動きを静止する。この動作が特定のジェスチャとして認識され、これに対応して、属性領域と属性情報との対応付けの設定に係る変数指示が特定される。その後、操作者がいわゆるドラッグ操作により人差し指を属性情報領域１１０１に移動させると、図１１（ｂ）に示すように、スキャナ装置１００の表示処理部３０４は、領域枠１１００と属性情報領域１１０１とを対応付ける矢印１１０２を追加表示する。

また、図１１（ｂ）に示すように、既に矢印１１０２が表示されている状態で、図１１（ａ）を参照しつつ説明したような動作により、他の属性情報領域への対応付けが行われると、属性領域と属性情報との対応付けの変更に係る編集指示が特定される。この場合、スキャナ装置１００の表示処理部３０４は、矢印１１０２に替えて、他の属性情報の枠に延びる矢印を投影表示する。また、管理装置１１０の操作処理部３１１は、領域枠１１００に対応する属性領域から得られた属性値を、新たに対応付けられた属性情報領域に示される属性種別に対する属性値として文書画像に対応付ける。

図１２は、属性値の削除に係る編集指示に対応するジェスチャの説明図である。図１２（ａ）に示すように、領域枠１２００と、属性情報領域１２０１が表示され、属性情報領域１２０１には、推定された属性値が表示されているとする。この状態において、操作者は、属性情報領域１２０１内の属性値「１２３４５」を指示した上で、一定時間、人差し指を左右に振る動作を行う。この動作が特定のジェスチャとして認識され、これに対応し、属性値の設定に係る編集指示が特定される。この場合、スキャナ装置１００の表示処理部３０４は、属性情報領域１２０１内の属性値「１２３４５」の表示を削除する。さらに、管理装置１１０の操作処理部３１１は、属性情報から属性値「１２３４５」を削除する。

次に、属性値の追加に係る編集指示に対応するジェスチャについて説明する。例えば、じゃんけんの「グー」のように、手を握る動作を特定のジェスチャとする。そして、この動作と、例えば属性種別「文書種別」に対する属性値「問診票」を特定の属性値として対応付けて記憶しておく。そして、操作者が手を握る動作を行った場合には、特定の属性値の追加に係る編集指示が特定される。この場合、スキャナ装置１００の表示処理部３０４は、対応する属性種別に対して、編集指示に係る属性値（問診票）を追加表示する。さらに、管理装置１１０の操作処理部３１１は、属性情報に編集指示に係る属性値を追加する。

さらに、他の例としては、スキャナ装置１００は、特定の属性値は、スキャナ装置１００の設置場所に基づいて決定してもよい。具体的には、スキャナ装置１００は、自装置の設置場所（位置情報）を特定する。さらに、スキャナ装置１００は、設置場所と診療科名とを対応付けた情報を予め記憶しているものとし、この情報に基づいて、設置場所から診療科名を特定する。そして、特定した診療科名を特定の属性情報として決定する。本処理は、撮影装置２０７を含むスキャナ装置１００の設置場所に基づいて、特定の属性情報を特定する属性情報決定処理の一例である。

図１３は、前ページとの関係設定に係る編集指示の説明図である。図１３に示すように、操作者は、属性情報領域１３００内を人差し指で指した状態で一定時間静止する。この動作が特定のジェスチャとして認識され、これに対応し、人差し指で指示された属性情報領域１３００に対応する属性値に関する、前ページとの関係の設定に係る編集指示が特定される。例えば、１回の操作で、属性値が前ページと同一である旨の編集指示が特定され、再び同じ操作が行われると、属性値が前ページと異なる旨の編集指示に変更される。同様に、同じ操作を繰り返すことで、同一か否かの設定を変更することができる。

これに対応し、表示処理部３０４は、図１３（ａ）に示すように、属性値が前ページと同一である旨の編集指示が特定され場合には、属性情報領域１３００内に、この編集指示を示す「前と同じ」を表示する。また、表示処理部３０４は、図１３（ｂ）に示すように、属性値が前ページと異なる旨の編集指示が特定された場合には、この編集指示を示す「前と異なる」の文字列を表示する。

また、管理装置１１０の操作処理部３１１は、前ページと同一である旨の編集指示が特定された場合には、処理を行うことなく、編集指示に応じた編集処理（５１１）を終え、処理をＳ５０３へ進める。一方、操作処理部３１１は、前ページと異なる旨の編集指示が特定された場合には、前ページよりも前のページのうち、同一が設定された連続するページのいずれかにおいて属性値が推定されている場合には、これを抽出する。ここで、前ページよりも前のページのうち、同一が設定された連続するページを前ページ群と称することとする。そして、操作処理部３１１は、前ページ群に属するすべてのページ（文書画像）に対し、抽出した属性値を対応付ける。

前ページと異なる旨の編集指示が特定されるは、属性値が前ページと異なる値になった場合である。そこで、前ページと異なる旨の編集指示が特定された場合に、前ページ群に対し、同一の属性値を対応付ける処理を行うこととした。これにより、医療文書を光学スキャンしている場合、現在、光学スキャンしようとしている紙文書の属性値である患者ＩＤ、診療科情報、文書の種別情報の値の付与が行われることとなる。すなわち、属性値が異なる値になった場合に、異なる値が得られた文書画像に対する前ページ群に属する少なくとも１つのページから属性値が推定されていれば、この属性値を前ページ群に属するすべてのページに対応付けることができる。

本処理は、紙文書の医療文書を光学スキャンにより電子化する際に、対象となる医療文書が患者単位で管理され、同一患者の書類が連続してスキャンされることが多いことに対応したものである。また、患者ＩＤ等の情報は複数ページで構成される医療文書の場合、問診票等では先頭ページに、同意書等では最後のページに記載されることが多いという傾向があることを配慮したものである。そのため、属性値が得られたページがあった場合に、それと同じ属性値を持つべきページが、その前後にある可能性が高いと考えられる。このとき、同一の属性値が連続するページ範囲が指定されていることが好ましい。しかし、このページ範囲の指定が可能となるのは、複数の紙文書の光学スキャン完了後となってしまう。これに対し、本実施形態では、１枚の紙文書の光学スキャンが完了する度に、新たに得られた文書画像と、既に得られた文書画像（前ページ）との間での属性値が同一か否かの関係を操作者に指定してもらい、その結果を記録することとした。そして、記録された結果から、同じ値を付与する範囲と、それを行う時点を決定する。

図５に戻り、Ｓ５１２において、操作処理部３１１は、終了指示を受信した場合には、前ページよりも前のページに同一が連続するページが存在し、属性値が存在する場合には、この属性値を、前ページ群に属するすべてのページに設定し、処理が終了する。本処理は、上述の前ページ群に対する処理と同様である。

以上のように、本実施形態に係る情報処理システムにおいては、操作者は、スキャン動作と並行して、属性情報の確認、編集作業を行うことができる。これにより、処理の効率化を図ることができ、操作者の作業負担を軽減することができる。さらに、特定の属性値を対応付けることが予め決まっているような場合には、簡単なジェスチャ操作により、属性値の対応付けを行うことができる。

本実施形態に係る情報処理システムの第１の変更例としては、スキャナ装置１００及び管理装置１１０のハードウェア構成は、実施形態に限定されるものではない。他の例としては、図２に示す構成は、いわゆるハードウェアである制限はなく、仮想的にソフトウェアで作り出されたものであってもよい。

また、第２の変更例としては、情報処理システムが備える装置の数は、実施形態に限定されるものではない。本実施形態において説明したスキャナ装置１００及び管理装置１１０の構成及び処理が１つの装置で実現されてもよく、又は３以上の装置の協働により実現されてもよい。例えば、撮影装置２０７と撮影表示装置２２７を別の装置として設けてもよい。また、他の例としては、スキャナ装置１００は、ＰＣやスマートフォン等の機器で実現してもよい。

また、第３の変更例としては、処理対象となる紙文書は、医療文書に限定されるものではない。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、文書画像登録時の操作者の作業負担を軽減することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ スキャナ装置
１１０ 管理装置
３０１ 操作処理部
３０３ 表示操作部
３０６ 操作認識部
３１１ 操作処理部
３１４ 認識処理部
３１８ 抽出処理部

Claims (14)

1. 紙文書が撮影された文書画像の属性領域を推定する領域推定手段と、
   前記属性領域に対する文字認識により属性情報を推定する情報推定手段と、
   前記属性領域に対応する前記紙文書上の領域に対応付けて、前記属性領域から推定された前記属性情報を投影する投影手段と、
   操作者の動作に対してジェスチャ認識を行うジェスチャ認識手段と、
   前記文書画像の前記属性情報を、前記ジェスチャ認識手段による認識結果に従い編集する編集手段と、
   該編集された属性情報と前記文書画像とを対応付けて記憶する記憶手段と
   を有することを特徴とする情報処理システム。
2. 前記投影手段は、前記認識結果に基づいて、投影内容を更新することを特徴とする請求項１に記載の情報処理システム。
3. 前記編集手段は、前記認識結果に基づいて、前記属性情報の変更、追加又は削除を行うことを特徴とする請求項１又は２に記載の情報処理システム。
4. 前記投影手段は、前記属性領域に対応する前記紙文書上の領域が前記属性領域であることを示す画像をさらに投影することを特徴とする請求項１乃至３何れか１項に記載の情報処理システム。
5. 前記投影手段は、前記属性領域に対応する前記紙文書上の領域が前記属性領域であることを示す画像と、前記属性領域から推定された前記属性情報とを対応付ける画像をさらに投影することを特徴とする請求項４に記載の情報処理システム。
6. 前記編集手段は、投影された前記属性領域を他の領域に変更する第１のジェスチャが認識された場合に、変更前の前記属性領域の前記属性情報を前記文書画像の属性情報から削除し、変更後の領域に示される属性情報を前記文書画像の属性情報に追加することを特徴とする請求項４又は５に記載の情報処理システム。
7. 前記編集手段は、投影された前記属性情報を指定する第２のジェスチャが認識された場合に、前記属性情報を変更することを特徴とする請求項１乃至６何れか１項に記載の情報処理システム。
8. 前記編集手段は、投影された前記属性情報を指定する第３のジェスチャが認識された場合に、前記属性情報を削除することを特徴とする請求項１乃至７何れか１項に記載の情報処理システム。
9. 前記編集手段は、予め定められた第４のジェスチャが認識された場合に、前記文書画像の前記属性情報に、前記第４のジェスチャに対応付けられた特定の属性情報を追加することを特徴とする請求項１乃至８何れか１項に記載の情報処理システム。
10. 前記紙文書を撮影する撮影手段が設置された設置場所に基づいて、前記特定の属性情報を決定する属性情報決定手段と
    をさらに有し、
    前記編集手段は、前記第４のジェスチャが認識された場合に、前記属性情報決定手段により決定された前記特定の属性情報を、前記文書画像の前記属性情報に追加することを特徴とする請求項９に記載の情報処理システム。
11. 前記情報推定手段は、前記属性情報として、属性種別及び属性値を推定することを特徴とする請求項１乃至１０何れか１項に記載の情報処理システム。
12. 前記紙文書は医療文書であり、
    前記情報推定手段は、前記属性種別として、患者の識別情報、診療科の識別情報及び文書種別のうち少なくとも１つを推定することを特徴とする請求項１１に記載の情報処理システム。
13. 前記編集手段は、処理対象の文書画像の前記属性情報が、前記処理対象の文書画像よりも前に撮影された文書画像の前記属性情報と同一とするか否かを指定する第５のジェスチャが認識された場合に、前記第５のジェスチャに従い、前記処理対象の文書画像よりも前に撮影された文書画像及び前記処理対象の文書画像のうち少なくとも一方の文書画像の前記属性情報を変更することを特徴とする請求項１乃至１２何れか１項に記載の情報処理システム。
14. 情報処理システムが実行する情報処理方法であって、
    紙文書が撮影された文書画像の属性領域を推定する領域推定ステップと、
    前記属性領域に対する文字認識により属性情報を推定する情報推定ステップと、
    前記属性領域に対応する前記紙文書上の領域に対応付けて、前記属性領域から推定された前記属性情報を投影する投影ステップと、
    操作者の動作に対してジェスチャ認識を行うジェスチャ認識ステップと、
    前記文書画像の前記属性情報を、前記ジェスチャ認識ステップにおける認識結果に従い編集する編集ステップと、
    該編集された属性情報と前記文書画像とを対応付けて記憶手段に記憶する記憶ステップと
    を含むことを特徴とする情報処理方法。

Images