JP2008158777A - 画像処理装置及び方法、コンピュータプログラム及び記憶媒体 - Google Patents

Abstract

【課題】 形状の異なる複数のメモ、写真等が添付された原稿を、添付書類の情報とオリジナル原稿の双方の情報を保持したままま電子化するのは容易ではなかった。
【解決手段】 添付書類が付加されていなオリジナル原稿を読み取り得られた第１の画像データと、前記オリジナル原稿に添付紙が付加された原稿を読み取り得られた第２の画像データを入力し、前記第１の画像データと前記第２の画像データを比較して差分領域を抽出し、抽出された差分領域をアノテーションデータに変換し、変換されたアノテーションデータを前記第１の画像データと合成する。
【選択図】 図２

Description

本発明は、原稿を電子化して画像データを生成する画像処理装置及び方法、コンピュータプログラム及び記憶媒体に関する。

近年、病院、会社、学校などにおいて、これまで紙で管理されてきた書類の電子化が急速に進んでいる。電子化の方法として、一般的に紙文書をスキャナ等で読み取り、画像やＰＤＦ等の電子データに変換して保存することが行われている。しかし、病院のカルテなどを始めとする書類には、付箋紙、写真、グラフのような、当該カルテに付随する別の書類が複数添付され、セットで保存されていることが多い。このような多くの添付書類が付随されている紙文書を、添付書類の情報を保持したまま、上述したような方法で電子化することは容易ではなかった。添付書類の情報を失うことなく電子化したい場合には、添付書類を剥がしたオリジナルの文書をスキャナで読み取った後、さらに剥がした添付書類を一つ一つスキャナで読み取るか、あるいは手作業でデータを入力する等の作業を行う必要があった。また電子化した後も、オリジナル文書の電子データと、剥がした添付書類の電子データを対応づけて管理し、要求に応じて、いつでもまとめて取り出せるような状態にしておかなければならず手間がかかった。

このような付箋紙等が貼付された紙文書の電子化をサポートする技術として、例えば、特許文献１がある。特許文献１では、既定の形状の付箋紙が添付された紙文書において、該当する形状の領域を検索することによって、付箋紙の位置情報とイメージ情報とを抽出する。そして、抽出した結果をもとに付箋紙のアノテーション情報を作成し、オリジナル文書に対応づけて記憶する方法が記載されている。
特開２０００−２２２３９４号公報

特許文献１では、紙文書に添付されている付箋紙の形状が既定である場合、付箋紙部分の電子化が可能である。しかし、付箋紙の形状が固定でない場合、あるいは複数の付箋紙が重なって貼られているような場合には電子化することができないという問題があった。

本発明は、上述した従来技術の問題を解決するためのものであって、第１の原稿を読み取って得られた第１の画像データと、前記第１の原稿に添付紙が付加された第２の原稿を読み取って得られた第２の画像データを入力する入力手段と、前記入力手段によって入力された前記第１の画像データと前記第２の画像データを比較して差分領域を抽出する抽出手段と、前記抽出手段によって抽出された差分領域をアノテーションデータに変換する変換手段と、前記変換されたアノテーションデータを前記第１の画像データと合成する合成手段とを有することを特徴とする。

本発明によれば、添付紙が付加されている原稿を電子化する際、添付紙とオリジナル原稿の双方の情報を失うことなく、容易に電子化することができる。

以下、添付する図面を参照して、本発明の好適な実施形態について説明する。

＜第１の実施形態＞
図１は、第１の実施形態の画像処理装置１００の構成例を示すブロック図である。

図１の画像処理装置１００は、入力装置１０１、読取装置１０２、電子化した文書を表示可能な表示装置１０９、プリンタ等の出力装置１１０とインタフェイスを介して接続されている。入力装置１０１は、ユーザからの入力を受け付けるキーボードやマウス等であり、読取装置１０２はスキャナ等である。

画像処理装置１００は、文書に添付されている付箋紙、写真等を始めとする添付書類（添付紙）のアノテーションデータへの変換とアノテーションデータをオリジナル原稿に対応づけて保存、管理を行なう。

画像処理装置１００は、読取装置１０２で読み取って得られた電子データを一時的に保存する一時記憶領域１０４と、一時記憶領域１０４に記憶された複数の電子データを読み出し、各電子データの差分を抽出する差分抽出部１０５を有する。さらに、画像処理装置１００は、抽出した差分を領域解析する領域解析・分割部１０６、領域分割した各領域をアノテーションデータに変換するアノテーションデータ変換部１０７を有する。さらに、画像処理装置１００は、添付書類を電子化したアノテーションデータを、添付書類を剥がした原稿（オリジナル原稿）に対応づけて保存するアノテーション処理部１０８を有する。さらに、画像処理装置１００は、アノテーションデータの付加された電子データを管理する文書管理装置１０３で構成されている。

第１の実施形態に係る文書電子化システムにおいて、添付書類付きの紙文書を電子化する場合にユーザが行う動作について、図１のブロック図を用いて説明する。まず、添付書類が一枚添付されている場合のユーザが行うフローを説明する。

ユーザはまず添付書類のついたままの紙原稿を読取装置１０２で読み取る。読み取られた電子データは、電子データＢとして文書管理装置１０３の一時記憶領域１０４に一時的に保存される。次に添付書類を剥がした原稿（オリジナル原稿）を再び読取装置１０２で読み取る。読み取られた電子データは、電子データＡとして、文書管理装置１０３の一時記憶領域１０４に保存される。

次に、紙原稿に対し添付書類が複数重なって添付されている場合にユーザが行うフローを説明する。ユーザはまず、添付書類が全てついた紙原稿を読取装置１０２で読み取り、一時記憶領域１０４に保存する。次に一番上（つまり最も上側）に添付されている書類だけを剥がし、同様に読取装置１０２で読み取る。そしてここで得られた電子データＢは、一時記憶領域１０４に一時的に保存される。同じように、重なった書類を次々に剥がしながら読み取るという操作を繰り返し、得られた電子データ（Ｂ１、Ｂ２、Ｂ３・・・）が一時記憶領域１０４に読み取った順番で保存されていく。そして、最後にすべての添付書類を剥がした紙原稿を読み取り装置１０２で読み取り、それはオリジナル原稿の電子データＡとして一時記憶領域１０４に保存される。

次に、前述したフローで電子化した添付書類をアノテーションデータに変換する処理の流れについて、図２に示したフローチャートに沿って具体的に説明する。前述したようなフローでユーザが紙原稿の読み取りを終了すると、メモ解析システムは図２のフローチャートに示すような流れで、紙原稿に付与されていた添付書類をアノテーションデータに変換する処理を開始する。

ステップＳ２０１において、差分抽出部１０５は、一時記憶領域１０４から、オリジナル原稿の電子データＡを取り出す。

ステップＳ２０２において、差分抽出部１０５は、文書管理装置１０３の一時記憶領域１０４から、添付書類がついたまま読み取り得られた電子データのうち１ページ分の電子データＢ１を取り出す。

ステップＳ２０３において、差分抽出部１０５は、オリジナル原稿の電子データＡと、電子データＢ１の画素値（例えば、輝度や濃度など）を比較し、差分領域を抽出する。

ステップＳ２０４において、ステップＳ２０３で抽出した差分領域を領域解析・分割部１０６で解析し、オブジェクト単位に分割する。そして分割した各オブジェクトと、各オブジェクトの形状と、各オブジェクトの座標情報を合わせて、アノテーションデータ変換部１０７の一時記憶領域１１２に保存する。ここで、座標情報は、そのオブジェクトがオリジナル原稿のどの位置に付加されていたかを表す情報である。

ステップＳ２０５において、ステップＳ２０４で分割した各オブジェクトを、アノテーションデータ変換部１０７でアノテーションデータに変換する。そして、アノテーション処理部１０８において、変換されたアノテーションデータを電子データＡに関連付けて電子データＡと合成し、アノテーション情報記憶部１１１に保存する。ステップＳ２０５の具体的な処理方法については、図４で説明する。

ステップＳ２０６では、電子データＢが、一時記憶領域１０４に保存されている添付書類付きページの最終ページであるかどうか判定する。最終ページである場合は処理を終了し、最終ページでない場合ステップＳ２０２に戻る。このようにして、添付書類付きページの最終ページまでアノテーションデータ変換を繰り返す。

なお、アノテーションデータと電子データＡとを関連付けて、アノテーション情報記憶部１１１に保存する処理は、ステップＳ２０６の最終ページであると判定された後に行なってもよい。

ステップＳ２０６において、電子データＢが最終ページであると判定されたら、処理を終了する。

図３は、ステップＳ２０４において一時記憶領域１１２に保存されるオブジェクト情報の構成例を示す図である。図２に示すようにオブジェクト情報は、読取装置１０２で読み取られた各ページ単位で保存されており、ページごとにオブジェクト情報、形状情報、座標情報などを持つ。ここで、オブジェクト情報とは、オブジェクトの属性に関する情報で、テキスト、イメージ、グラフィックスなどの情報である。また、形状情報は、添付書類の形状に関する情報で、添付書類が正方形、長方形、円、台形等の情報である。また、座標情報は、オブジェクトがオリジナル原稿のどの位置に付加されているかを示す情報である。

次に、ステップＳ２０５のアノテーションデータ変換の詳細について説明する。

図４は、ステップＳ２０５のアノテーションデータ変換の流れを示すフローチャートである。

ステップＳ４０１において、一時記憶領域１１２に保存されている、全ページのオブジェクトのうち、１ページ分のオブジェクト情報を読み込む。

ステップＳ４０２において、ステップＳ４０１で読み込んだオブジェクト情報の中から、オブジェクト情報を一つ読み出す。続くステップＳ４０３においてステップＳ４０２で読み出したオブジェクトがテキストオブジェクトであるか、それ以外であるかを判定する。オブジェクトがテキストである場合には、ステップＳ４０４において、テキストのアノテーションデータに変換する。また、テキストでないと判定されたら、ステップＳ４０５に進み、イメージのアノテーションデータに変換する。

続く、ステップＳ４０６において、ステップＳ４０４またはステップＳ４０５で生成されたアノテーションデータを、電子データＡと関連付けてアノテーション情報記憶部１１１に保存する。このとき、アノテーションデータの紙原稿における位置を示す一時記憶領域１１２に保存されている座標情報を参照して、アノテーションデータは、電子データの対応する位置に付加されて保存される。例えば、紙原稿の右上に添付書類が添付されている場合は、電子データの右上にアノテーションデータが付加され、紙原稿の中心に添付書類が添付されている場合は、電子データの中心にアノテーションデータが付加される。

ステップＳ４０７において、当該オブジェクトが当該ページに含まれる最後のオブジェクトであるかどうかを判定し、最後のオブジェクトでない場合、再びステップＳ４０２に戻る。当該ページの全オブジェクトのアノテーション変換が終了したら、ステップＳ４０８に移り、当該ページが一時記憶領域１１２に保存されている最終ページであるかどうかを判定する。ここで最終ページでないと判断されたら、再びステップＳ４０１に戻り、前述した処理を全ページ終わるまで繰り返す。

図５は、ステップＳ４０６においてアノテーション情報記憶部１１１に保存されるアノテーションデータの構造例を示す図である。図５に示すようにアノテーション情報は、オリジナル原稿のページ単位で保存されており、オリジナル原稿ごとにアノテーション情報、属性情報（テキストかイメージか）、座標情報を持つ。なお、アノテーションに関する情報ならその他の情報を含んでもよい。

図６は、電子化する前の様々な添付書類が貼られている紙文書の例である。ここでは、紙文書の１例としてカルテを例にあげる。

図７は、図６の添付書類が付加されている紙文書から添付書類をすべて剥がした状態の紙文書（オリジナル原稿）である。

図８は、第１の実施形態における手順で電子データ化した紙文書を、表示装置１０９で表示した例である。このように、電子データ化した後も、電子化する前に添付されていた書類の形状、位置がそのままの状態で、再現することができる。オリジナル原稿に付与されているアノテーションデータは、表示／非表示を、不図示のＵＩによって切り替えることもできる。また、印刷時にアノテーションデータを一緒に印刷する／印刷しないも、不図示のＵＩによって選択することができる。さらに、新しいアノテーションデータを付加することもできる。

上記第１の実施形態によれば、複数の添付書類が添付されている紙文書を電子化する際に、個々の添付書類をそれぞれアノテーションデータに変換して、オリジナル原稿を電子化したデータとあわせて保存することができる。また、各添付書類のオリジナル原稿における位置の情報もあわせて保存することができる。

それにより、紙文書に付箋紙等の書類が複数添付されている場合でも、添付書類の内容、添付されている位置情報等を失うことなく電子化することができる。

さらに、添付されている添付書類の形状や種類に問わず、添付書類を抽出しアノテーションデータに変換することが可能である。

また、複数の添付書類が重なった状態で添付されているような紙文書でも、重なっている添付書類を剥がしながら数回に分けてスキャンし、スキャンしたページごとに段階的にアノテーションデータ化する。これにより、添付書類の重なり順、位置情報を保持したまま、オリジナル原稿に付加することができる。よって、複数の添付書類が付与された紙文書においても、電子化する前の状態に近い状態で電子データ化することが可能となった。

＜第２の実施形態＞
以下、本発明にかかる第２の実施形態の処理を説明する。なお、第２の実施形態において、第１の実施形態と略同様の構成については、同一符号を付けて、その詳細説明を省略する。

第１の実施形態において、添付書類が添付されている紙文書を電子化する際に、添付書類をアノテーションデータに変換し、オリジナル文書の位置に対応づけて保存する例を説明した。第２の実施形態においては、添付書類の色、形状でアノテーションデータを自動で分類して保存するシステムを説明する。

第２の実施形態においても、添付書類の付与された紙文書を電子化する際にユーザが読取装置１０２で読み取りを行うフローは第１の実施形態と同じである。また、図２を用いて説明した文書電子化のフローは、次に説明する図２のステップＳ２０５を除き、第１の実施形態と同様である。

図９は、第２の実施形態における自動分類対応のアノテーション変換処理を行うか、第１の実施形態で説明した通常のアノテーション変換処理を行なうかを示すフローチャートである。

ステップＳ９０１はアノテーションデータの自動分類が指定されているかどうかを判定するステップである。ユーザは不図示のＵＩによってアノテーションデータの自動分類を指定する。なお、ユーザから指示がない場合、自動的に、自動分類が指定されてもよい。

ステップＳ９０１において、自動分類が指定されたら、ステップＳ９０２の自動分類対応のアノテーション変換処理に進む。自動分類が指定されていなかったら、ステップＳ９０３の通常のアノテーション変換処理に進む。ステップＳ９０３では、第１の実施形態で説明した図４に示すアノテーション変換処理が行われる。

次に、図１０、図１１を用いて、ステップＳ９０２で行われる自動分類対応のアノテーション変換処理の詳細について説明する。

図１０は、自動分類対応のアノテーション変換処理の例を示すフローチャートである。

この例では、オリジナル文書に添付されていたメモ、付箋等の色に基づいて、アノテーションデータをデータベースに分類して保存する。

以下、その処理フローを説明する。

ステップＳ１００１において、一時記憶領域１１２に保存されている、全ページ分のオブジェクト情報のうち、１ページ分のオブジェクト情報を読み込む。

ステップＳ１００２において、ステップＳ１００１で読み込んだオブジェクト情報の中から、オブジェクト情報を一つ取り出し、続くステップＳ１００３において当該オブジェクトの色を判定する。

当該オブジェクトがピンク色である場合には、ステップＳ１００５において、オブジェクトの属性（テキストやイメージなど）に応じたアノテーションデータに変換する。さらに、ステップＳ１００６で、Ａ看護士の添付書類として分類されアノテーション情報記憶部１１１に保存される。

また、ステップＳ１００４において、ピンク色でないと判定されたら、ステップＳ１００７に進み、当該オブジェクトが水色であるかどうか判定する。オブジェクトが水色の場合、ステップＳ１００８にすすみ、水色でない場合、ステップＳ１０１０にすすむ。ステップＳ１００８において、オブジェクトを属性に応じたアノテーションデータに変換し、ステップＳ１００９において、Ｂ医者の添付書類として分類されアノテーション情報記憶部１１１に保存される。

また、ステップＳ１０１０において、属性に応じたアノテーションデータに変換し、ステップＳ１０１１で、Ｃ医者の添付書類として分類されアノテーション情報記憶部１１１に保存される。

そして、ステップＳ１０１２において、生成されたアノテーションデータを、電子データＡと関連付けてアノテーション情報記憶部１１１に保存する。このとき、一時記憶領域１１２に保存されている座標情報を参照して、アノテーションデータは、電子データの対応する位置に付加されて保存される。

ステップＳ１０１３において、当該オブジェクトが当該ページに含まれる最後のオブジェクトであるかどうかを判定し、最後のオブジェクトでない場合、再びステップＳ１００２に戻る。これを当該ページの全オブジェクトのアノテーション変換が終わるまで繰り返していく。

当該ページの全オブジェクトのアノテーション変換が終了したら、ステップＳ１０１４に移り、当該ページが一時記憶領域１１２に保存されている最終ページであるかどうかを判定する。そして、最終ページでないと判断されたら、ステップＳ１００１に戻り、前述した処理が全ページ終わるまで繰り返される。

なお、添付書類の色はピンク、水色に限らずその他の色を用いて分類を行なってもよい。また、本実施形態では、添付書類の色に応じて３人の人に分類したが、複数の添付書類の色に応じた複数の人に分類してもよい。

図１１は、ステップＳ１００６、１００９、１０１１において分類して保存されたアノテーションデータの状態の一例である。図１１に示すように、あらかじめ指定した添付書類の色に応じて、誰が貼った添付書類かが認識され、添付書類を貼った人毎にアノテーションが分類されて保存される。

上記第２の実施形態によれば、たとえ、添付書類を貼った人の名前が添付書類上に記入されていなくても、添付書類の色に応じて、添付書類を貼った人を特定することができる。また、人毎にアノテーションが分類されるため、各自が貼った添付書類を容易に抽出することができる。

＜変形例＞
第２の実施形態では、添付書類の色に応じて、添付書類を貼った人を特定して分類したが、添付書類の形状に基づき、添付書類を貼った人を特定して分類してもよい。

また、他の分類方法としては、添付書類に含まれるキーワードに応じて、添付書類を分類してもよい。

＜他の実施形態＞
本発明は上述のように、複数の機器（たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても一つの機器（たとえば複写機、ファクシミリ装置）からなる装置に適用してもよい。

また、各種デバイスと接続された装置あるいはシステム内のコンピュータに、前述した実施形態の機能を実現するための図６に示すようなソフトウェアのプログラムコードを供給してもよい。そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従い前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。

またこの場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段は本発明を構成する。例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。

かかるプログラムコードを格納する記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）は、本実施形態に含まれる。あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

さらに供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納される。そして、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。

本発明の実施形態による画像処理装置の構成を示すブロック図である。 本発明の実施形態による添付書類の情報をアノテーションデータに変換する処理動作を示すフローチャートである。 本発明の実施形態によるオブジェクト情報の構成例を示す図である。 本発明の第１の実施形態による添付書類の情報をアノテーションデータに変換する処理の詳細を示すフローチャートである。 本発明の実施形態によるアノテーションデータの構造例を示す図である。 本発明の実施形態による添付書類が貼られた紙文書の例を示す図である。 本発明の実施形態による紙文書（オリジナル原稿）を示す図である。 本発明の実施形態による電子文書を表示装置で表示した例を示す図である。 本発明の第２の実施形態による添付書類の情報をアノテーションデータに変換する変換方法を選択するフローチャートである。 本発明の第２の実施形態による添付書類の情報を添付書類の色に応じて分類する処理動作を示すフローチャートである。 本発明の第２の実施形態によるアノテーションデータの構造の例を示す図である。

Claims (9)

1. 第１の原稿を読み取って得られた第１の画像データと、前記第１の原稿に添付紙が付加された第２の原稿を読み取って得られた第２の画像データを入力する入力手段と、
   前記入力手段によって入力された前記第１の画像データと前記第２の画像データを比較して差分領域を抽出する抽出手段と、
   前記抽出手段によって抽出された差分領域をアノテーションデータに変換する変換手段と、
   前記変換されたアノテーションデータを前記第１の画像データと合成する合成手段と
   を有することを特徴とする画像処理装置。
2. さらに、前記抽出手段によって抽出された差分領域をオブジェクトに分割する分割手段を有し、
   前記オブジェクトの前記第１の原稿における位置情報に基づいて、前記分割されたオブジェクトは、前記第１の画像データと合成されることを特徴とする請求項１記載の画像処理装置。
3. さらに、前記オブジェクトの属性を判別する属性判別手段を有し、
   前記属性判別手段の判別結果、前記オブジェクトがイメージの場合、イメージ属性のアノテーションデータに変換し、前記オブジェクトがテキストの場合、テキスト属性のアノテーションデータに変換することを特徴とする請求項２記載の画像処理装置。
4. さらに、前記添付紙の色を判定し、前記判定した色に対応づけられたユーザの情報として分類する分類手段を有することを特徴とする請求項１または請求項２記載の画像処理装置。
5. さらに、前記添付紙の形状を判定し、前記判定した形状に対応付けられたユーザの情報として分類する分類手段を有することを特徴とする請求項１または請求項２記載の画像処理装置。
6. さらに、前記添付紙に含まれるキーワードを判定し、前記判定したキーワードに応じて、前記添付紙を分類する分類手段を有することを特徴とする請求項１または請求項２記載の画像処理装置。
7. 第１の原稿を読み取って得られた第１の画像データと、前記第１の原稿に添付紙が付加された第２の原稿を読み取って得られた第２の画像データを入力する入力ステップと、
   前記入力ステップによって入力された前記第１の画像データと前記第２の画像データを比較して差分領域を抽出する抽出ステップと、
   前記抽出ステップによって抽出された差分領域をアノテーションデータに変換する変換ステップと、
   前記変換されたアノテーションデータを前記第１の画像データと合成する合成ステップと
   を有することを特徴とする画像処理方法。
8. 画像処理装置を制御して、請求項７に記載された画像処理を実現することを特徴とするコンピュータプログラム。
9. 請求項８に記載されたコンピュータプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。

Images