JP2018036794A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】紙文書に追記した情報が紙文書から生成した電子画像において容易に視認できる。【解決手段】入力されたイメージデータを文字、図形、写真等の領域判別を行い、判別結果に従ってベクタライズし構造化データに変換する処理において、領域判別処理で文字領域と判断された領域をさらに解析し、文字領域の文字列が印字文字か手書き文字かを判別する。印字文字の場合には、変換先の構造化データの本体属性に変換し、手書き文字の場合には、変換先の構造化データの補足属性に変換する。本体属性に対応する本体領域の手書き文字列が存在した部分は、補足属性に変換した手書き文字列との関連性を示す情報に置き換えて構造化データを作成する。【選択図】図３

Description

本発明は、画像処理装置及びプログラムに関し、手書きで加筆された紙文書を読み取って得られる画像データを構造化データに変換する技術に係る。

従来、ワードプロセッサやプレゼンテーション資料作成ソフトウェアで作成され印刷された紙文書に、鉛筆やボールペン等で手書きメモを書き込む場合がある。手書き文字が追加された紙文書をスキャナ等で画像化し、文字認識処理を実施し、Microsoft Office（登録商標）のアプリケーションファイル（例えばPowerPoint（登録商標）ファイル）のような構造化データに変換した場合、元から紙文書に印字された文字なのか、手書きで追加した文字なのか判別がつかない。そのため、構造化データからだけではどのような文字（情報）を追記したか分からなくなっていた。

また、手書き情報を含まない形で文書を共有したい場合に、手書き文字を消しゴムで消したり修正液で消したりする手間が発生していた。

例えば特許文献１には、元文書に対して加筆されたと判断された部分を加筆の特徴に応じて電子文書のレイヤーに配置し、統合された電子文書に変換する技術が開示されている。

特開２０１２−４８６３７号公報

しかしながら、特許文献１に記載の技術は、電子文書がレイヤー構造であることを閲覧者が認識する必要がある。また、統合された電子文書の表示もしくはレイヤーごとの表示から、どの部分が加筆されたかを閲覧者が判断することが難しい。

本発明は、上記の状況から、紙文書に追記した情報が紙文書から生成した電子画像において容易に視認できることを目的とする。

本発明の一態様の画像処理装置は、手書きで加筆された紙文書を読み取って得られた画像データを解析し、画像データに含まれる文字と文字以外の領域を判別する領域判別部と、該領域判別部により判別された文字領域を解析し、文字領域に存在する文字が印字文字又は手書き文字のいずれであるかを判定する文字種別判別部と、印字文字及び手書き文字を文字コード化する文字コード化処理部と、領域判別部により判別された文字以外の領域、及び、文字コード化した印字文字を含む文字領域を構造化データの本体属性に変換する構造化データ変換部と、文字コード化された手書き文字を構造化データの補足属性に変換する補足属性変換部と、文字種別判別部により判定された手書き文字が存在した本体属性に対応する本体領域の手書き文字部を、手書き文字が存在したことを表す情報に置き換える手書き文字置換部と、を備える。

本発明の少なくとも一態様によれば、紙文書に追記した情報が紙文書から生成した電子画像において容易に視認することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第１の実施形態に係る画像処理装置を含むシステムの全体構成を示す概略図である。 本発明の第１の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 本発明の第１の実施形態に係る画像処理装置の機能構成を示すブロック図である。 本発明の第１の実施形態に係る画像処理装置の動作を示すフローチャートである。 手書き文字を含む入力画像の例を示す図である。 本発明の第１の実施形態に係る、入力画像に対し領域判別処理を実施した結果を示す図である。 本発明の第１の実施形態に係る文字種判別処理を示すフローチャートである。 本発明の第１の実施形態に係る文字種別判別処理を実施した結果を示す図である。 本発明の第１の実施形態に係る、PowerPointファイルアプリケーションによるアプリケーション画面の表示例である。 ノート属性を含む一般的なPowerPointファイルのファイルフォーマットの構造例を示す図である。 本発明の第１の実施形態の第１例に係る、手書き文字をPowerPointファイルのノート領域に配置したアプリケーション画面の表示例を示す図である。 本発明の第１の実施形態の第２例に係る、手書き文字をPowerPointファイルのノート領域に配置したアプリケーション画面の表示例を示す図である。 本発明の第２の実施形態の第１例に係る、手書き文字をPowerPointファイルのコメント領域に配置したアプリケーション画面の表示例を示す図である。 コメント属性を含む一般的なPowerPointファイルのファイルフォーマットの構造例を示す図である。 本発明の第２の実施形態の第２例に係る、手書き文字をPowerPointファイルのコメント領域に配置したアプリケーション画面の表示例を示す図である。 本発明の第２の実施形態の第３例に係る、手書き文字をPowerPointファイルのコメント領域に配置したアプリケーション画面の表示例を示す図である。 本発明の第２の実施形態の第４例に係る、手書き文字をPowerPointファイルのコメント領域に配置したアプリケーション画面の表示例を示す図である。 本発明の第２の実施形態の第５例に係る、PowerPointファイルのコメント領域に表示された手書き文字情報の内容を削除したアプリケーション画面の表示例を示す図である。 本発明の第３の実施形態に係る、手書き文字をＰＤＦファイルの注釈領域に配置したアプリケーション画面の表示例を示す図である。 本発明の第４の実施形態に係る画像処理装置の機能構成を示すブロック図である。

以下、本発明を実施するための形態の例について、添付図面を参照しながら説明する。説明は下記の順序で行う。なお、各図において実質的に同一の機能又は構成を有する構成要素については、同一の符号を付して重複する説明を省略する。
１．第１の実施形態（PowerPointファイルのノート領域を用いる例）
２．第２の実施形態（PowerPointファイルのノート領域を用いる例）
３．第３の実施形態（ＰＤＦファイルの注釈機能を用いる例）
４．第４の実施形態（出力形態を選択する例）
５．その他

＜１．第１の実施形態＞
［システム構成］
図１は、第１の実施形態に係る画像処理装置を含むシステムの全体構成を示す概略図である。

図１のシステム１０では、クライアント端末１、プリンタコントローラー２、画像形成装置３、スキャナ４、及びカメラ５がネットワークＮを介して相互に通信可能に接続されている。ネットワークＮは、例えばイーサネット（登録商標）などの規格に準拠したＬＡＮ等のネットワークである。クライアント端末１、プリンタコントローラー２、画像形成装置３は、画像処理装置の一例である。

クライアント端末１は、例えばパーソナルコンピューター（ＰＣ）等の端末装置である。クライアント端末１は、ユーザーの入力操作によって印刷出力が指示された印刷ジョブを、ネットワークＮを介してプリンタコントローラー２に送信する。この印刷ジョブは、例えば、ＰＤＬ（Page Description Language）に従ってクライアント端末１により生成されるデータであり、出力設定や入力データが含まれる。また、クライアント端末１は、他装置から電子文書（画像データ）を受信し、記憶する。

プリンタコントローラー２は、画像形成装置３に画像の印刷出力を行わせる。このプリンタコントローラー２は、ネットワークＮを介してクライアント端末１から印刷ジョブを受信する。そして、プリンタコントローラー２は、受信した印刷ジョブから取り出した入力データにラスタライズ処理（ＲＩＰ処理）を実行し、ビットマップデータ（画像形成用データ）を生成する。

プリンタコントローラー２と画像形成装置３はネットワークＮを介して接続されているが、直接接続してもよい。このときプリンタコントローラー２と画像形成装置３は、ビデオインタフェース回線等の専用回線を介して接続されてもよい。

画像形成装置３は、プリンタコントローラー２から受信した印刷ジョブに基づいて、用紙に画像を形成して出力する。画像形成装置３は、複数種類の機能（印刷機能、複写機能、スキャン機能等）を備えた複合機（ＭＦＰ：Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）でもよい。

スキャナ４は、読み取り面に載置された紙文書Ｐの表面を読み取って画像データ（ビットマップデータ）を生成し、ネットワークＮ又は無線を介してクライアント端末１等へ出力する。

カメラ５は、紙文書Ｐを撮像して画像データを生成し、ネットワークＮを介してクライアント端末１等へ出力する。

［各装置のハードウェア構成］
図２は、各装置のハードウェア構成を示すブロック図である。

ここでは、上述したシステム１０に示されたクライアント端末１、プリンタコントローラー２、画像形成装置３、スキャナ４、及びカメラ５を構成するコンピューター２０のハードウェア構成を説明する。なお、各装置の機能、使用目的に合わせてコンピューター２０の各部は取捨選択される。

コンピューター２０は、バス２４にそれぞれ接続されたＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３を備える。さらに、コンピューター２０は、表示部２５、操作部２６、不揮発性ストレージ２７、ネットワークインターフェース２８を備える。

ＣＰＵ２１は、本実施形態に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ２２から読み出して実行する。なお、コンピューター２０は、ＣＰＵ２１の代わりに、ＭＰＵ（Micro-Processing Unit）等の処理装置を備えるようにしてもよい。

ＲＡＭ２３には、演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。表示部２５は、例えば、液晶ディスプレイモニタであり、コンピューター２０で行われる処理の結果等を表示する。操作部２６には、例えば、キーボード、マウス又はタッチパネル等が用いられ、ユーザーが所定の操作入力、指示を行うことが可能である。

不揮発性ストレージ２７としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フレキシブルディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等が用いられる。この不揮発性ストレージ２７には、ＯＳ（Operating System）、各種のパラメータの他に、コンピューター２０を機能させるためのプログラムが記録されている。例えば不揮発性ストレージ２７には、電子文書の画像データが保存される。

ネットワークインターフェース２８には、例えば、ＮＩＣ（Network Interface Card）等が用いられ、ＬＡＮ等のネットワークＮを介して各装置間で各種のデータを送受信することが可能である。

本発明に係る画像処理装置は、図２のようなコンピューター２０上で動作する。よって、画像処理装置は、パーソナルコンピューター、スマートフォンやタブレット端末などの携帯端末、ネットワークＮ上に配置されたサーバー（例えばプリンタコントローラー２）、ＭＦＰのような複合機、スキャナ４、カメラ５、及びその他の装置でも動作可能である。

［画像処理装置の機能］
図３は、第１の実施形態に係る画像処理装置が備えるコンピューター２０の機能構成を示す。ここでは、画像処理装置をクライアント端末１に適用した例について説明する。以降の説明において、紙文書を読み取って得た画像データを構造化データの本体属性に変換する技術は周知（例えば特開２００５−１４９０９７号公報等）であるので、詳細な説明は割愛する。

図３に示すように、クライアント端末１は、入力画像受信部３１、画像データ記録部３２、領域判別部３３、文字種別判別部３４、文字コード化処理部３５、構造化データ変換部３６、手書き文字置換部３７、構造化データ記録部３８、及び構造化データ出力部３９を備える。コンピューター２０のＣＰＵ２１が、ＲＯＭ２２に格納されたプログラムを実行することにより各部の機能が実現される。

入力画像受信部３１は、手書きで加筆された紙文書Ｐを読み取って得られる画像データ（入力画像）を受信する。画像データは、例えばスキャナ４やカメラ５により得られる。あるいは、ネットワークＮを介して不図示のサーバーから受信したり、リムーバブルメディアから取得したりしてもよい。

画像データ記録部３２は、入力画像受信部３１により受信した画像データを記録する。画像データ記録部３２には、例えば不揮発性ストレージ２７が用いられる。

領域判別部３３は、入力画像受信部３１又は画像データ記録部３２から画像データを取得して解析する。画像データに含まれる文字と文字以外の領域を判別し、判別結果を文字種別判別部３４及び構造化データ変換部３６に出力する。例えば領域判別部３３では、文字領域、図形領域、写真領域を判別する。

文字種別判別部３４は、領域判別部３３により判別された文字領域を解析し、文字領域に存在する文字が印字手書き文字又は印字文字のいずれであるかを判定する。この文字種別判別部３４は、印字文字認識処理部３４１、手書き文字認識処理部３４２、及び手書き文字判定部３４３を備える。

印字文字認識処理部３４１は、文字領域と判別された画像に対して印字文字認識処理を実行する。また手書き文字認識処理部３４２は、文字領域と判別された画像に対して手書き文字認識処理を実行する。さらに印字文字認識処理部３４１は、印字文字認識処理後に印字文字認識度を算出する。また手書き文字認識処理部３４２は、手書き文字認識処理後に手書き文字認識度を算出する。印字文字認識処理部３４１と手書き文字認識処理部３４２を、一つのブロックにまとめてもよい。

手書き文字判定部３４３は、印字文字認識処理部３４１で算出された印字文字認識度と手書き文字認識処理部３４２で算出された手書き文字認識度から、双方の文字の認識度の比率から印字文字と手書き文字を判別する。

文字コード化処理部３５は、手書き文字判定部３４３から受信した文字領域に含まれる印字文字及び手書き文字を文字コード化する処理を行う。

構造化データ変換部３６は、入力された画像データをベクタライズ処理して構造化データの本体属性に変換し、構造化データ記録部３８又は構造化データ出力部３９へ出力する。この構造化データ変換部３６は、本体属性変換部３６１と、補足属性変換部３６２を備える。

本体属性変換部３６１は、領域判別部３３により判別された文字以外（図形、写真）の領域、及び、文字コード化した印字文字を含む文字領域を構造化データの本体属性に変換する。補足属性変換部３６２は、文字コード化された手書き文字を構造化データの補足属性に変換し、補足属性に対応する補足領域（後述するノート領域、コメント領域、注釈機能のポップアップウィンドウ等）に配置する。

補足属性に対応する補足領域は、文書作成ソフトウェアで利用される構造化データのコメント属性で定義される領域、ノート属性で定義される領域、あるいは注釈機能のポップアップウィンドウ等で定義される領域である。

手書き文字置換部３７は、文字種別判別部３４により判定された手書き文字が存在した本体属性に対応する本体領域の手書き文字部を、手書き文字が存在したことを表す情報に置き換える。言い換えると、手書き文字置換部３７は、本体領域の手書き文字部に対応する部分に、補足属性に変換した手書き文字との関連性を示す情報（記号、図形、文字列、画像等）を生成する。

構造化データ記録部３８は、構造化データ変換部３６から入力された構造化データを記録する。構造化データ記録部３８には、例えば不揮発性ストレージ２７が用いられる。

構造化データ出力部３９は、構造化データ変換部３６から出力された又は構造化データ記録部３８から読み出した構造化データを、表示部２５等へ出力する。

［画像処理装置の動作］
図４は、第１の実施形態に係る画像処理装置が適用されたクライアント端末１の動作を示すフローチャートである。コンピューター２０のＣＰＵ２１が、ＲＯＭ２２に格納されたプログラムを実行することにより図４のフローチャートの処理が実現される。

まず、入力画像受信部３１は、印刷文書に手書きでメモを加えた紙文書Ｐをスキャナ４もしくはカメラ５等の電子画像化手段で電子画像化した画像データを、入力画像として受信する（Ｓ１）。入力画像の例を図５に示す。

図５は、手書き文字を含む入力画像の例を示す。
図５の入力画像Ｄの場合、印字領域４０の「2017年4月：リリース」と印字された行の下に、「遅すぎる！」という文字が手書きで追加されている。左斜め上を向いた矢印と「遅すぎる！」という文字を含む領域を、手書き領域４１とする。

次に、領域判別部３３は、この入力画像を走査して領域判別処理を実施し、文字領域、図形領域、写真領域を判別する（Ｓ２）。判別結果を図６に示す。

図６は、入力画像に対し領域判別処理を実施した結果を示す。
破線の枠が図形領域Ａｇ、実線の枠が文字領域Ａｔとして判別されている。図６の例では、写真領域は存在しない。手書き領域４１では、矢印が図形領域４２に、手書き文字が文字領域４３に判別される。

次に、領域判別部３３は、領域判別処理の結果が文字領域であるか否かを判定し（Ｓ３）、文字領域以外の領域である場合（Ｓ３のＮＯ）にはステップＳ４へ進み、文字領域である場合（Ｓ３のＹＥＳ）にはステップＳ６へ進む。

次に、構造化データ変換部３６の本体属性変換部３６１は、領域判別部３３により判別された文字以外の領域（図形領域、写真領域）に対して認識処理を実施し（Ｓ４）、構造化データの本体属性に変換する（Ｓ５）。ステップＳ５の処理が終了後、ステップＳ１１へ進む。

次に、領域判別処理の結果が文字領域である場合（Ｓ３のＹＥＳ）には、文字種別判別部３４による文字種別判別処理を実施する（Ｓ６）。文字種別判別処理のフローチャート（サブルーチン）を図７に示す

［文字種別判別処理］
図７は、図４のステップＳ５の文字種別判別処理を示すフローチャートである。

まず文字種別判別部３４に、入力画像Ｄの文字領域が入力される（Ｓ２１）。次に、文字種別判別部３４の印字文字認識処理部３４１は、文字領域と判別された画像に対して印字文字認識処理（Ｓ２２）を実施し、印字文字認識度を算出する。

また、文字種別判別部３４の手書き文字認識処理部３４２は、文字領域と判別された画像に対して手書き文字認識処理（Ｓ２３）を実施し、手書き文字認識度を算出する。

次に、手書き文字判定部３４３は、印字文字認識処理部３４１で算出された印字文字認識度と、手書き文字認識処理部３４２で算出された手書き文字認識度を比較する（Ｓ２４）。ここで、印字文字認識度をＯＣＲＳ、手書き文字認識度をＩＣＲＳとする。

印字文字認識度（ＯＣＲＳ）が手書き文字認識度（ＩＣＲＳ）よりも大きい場合には（Ｓ２４のＹＥＳ）、手書き文字判定部３４３は、文字領域に含まれる文字は印字文字であると判定する（Ｓ２５）。

一方、印字文字認識度（ＯＣＲＳ）が手書き文字認識度（ＩＣＲＳ）以下である場合には（Ｓ２４のＮＯ）、手書き文字判定部３４３は、文字領域に含まれる文字は手書き文字であると判定する（Ｓ２６）。

次に、ステップＳ２５，Ｓ２６により印字文字又は手書き文字と判定された文字に対して、それぞれに文字コード化処理部３５が文字コード化処理を行う（Ｓ２７）。ステップＳ２７の処理とステップＳ２２，Ｓ２３の処理を順不同とすることができる。ステップＳ２７の処理が終了後、図４のステップＳ７に進む。

なお、文字コード化処理部３５の機能を、印字文字認識処理部３４１及び手書き文字認識処理部３４２が備えていてもよい。即ち、印字文字認識処理部３４１及び手書き文字認識処理部３４２がそれぞれの文字認識を実施する際に、文字コード化処理を実施してもよい。ここで、文字種別判別結果の例を図８に示す。

図８は、入力画像Ｄの文字領域に対し文字種別判別処理を実施した結果である。手書き文字を含む文字領域はドットで塗りつぶしてある。

図８において、ドットで図６の文字領域４３がドットで塗りつぶされており、文字領域４３の文字が手書き文字（手書き文字部４３Ａ）と判別されたことがわかる。この判別結果を元に、構造化データへの変換が行われる。

構造化データとは、ＯＯＸＭＬやＯＤＦ、ＰＤＦ（登録商標）等のフォーマットで記述されたデータのことである。

ＯＯＸＭＬ（Office Open XML, OpenXML）は、ＸＭＬをベースとしたオフィススイート用のファイルフォーマットである。Microsoft Word（登録商標）、Microsoft Excel（登録商標）、Power Pointは、ＯＯＸＭＬに準拠している。
ＯＤＦ（Open Document Format）は、ワープロ文書や表計算ソフトのワークシートなど、オフィスソフトの扱う文書ファイルを保存するためのＸＭＬベースのオープンなファイルフォーマットである。
ＰＤＦ（Portable Document Format）とは、Adobe Systems社によって開発された、電子文書のためのフォーマットである。ＰＤＦ形式のファイルには文字情報だけでなく、フォントや文字の大きさ、字飾り、埋め込まれた画像、それらのレイアウトなどの情報を保存できる。

図４のフローチャートの説明に戻る。文字種別判別部３４の手書き文字判定部３４３により、入力画像Ｄの文字領域が手書き文字であるか否かを判定する（Ｓ７）。手書き文字ではない場合（Ｓ７のＮＯ）、構造化データ変換部３６の本体属性変換部３６１は、印字文字と判別された文字列を構造化データの本体属性に変換する（Ｓ８）。ステップＳ８の処理が終了後、ステップＳ１１へ進む。

一方、入力画像Ｄの文字領域が手書き文字である場合（Ｓ７のＹＥＳ）、構造化データ変換部３６の補足属性変換部３６２は、手書き文字と判別された文字列を構造化データの補足属性に変換する（Ｓ９）。

以下、構造化データの補足属性の例として、Microsoft OfficeのPowerPointのノート属性に変換する場合について説明する。図９にPowerPointファイルをアプリケーションで開いた表示例を示す。

（アプリケーションの表示例）
図９は、第１の実施形態に係るPowerPointファイルをアプリケーションにより開いたときの表示例である。

図９に示すアプリケーション画面５０には、ホームメニュー５１や校閲メニュー５２などの複数のメニューが用意されている。それらの複数のメニューの下側に本体属性に対応する本体領域５３と、本体領域５３の下側に補足属性に対応するノート領域５４が設けられている。本体領域５３は、アプリケーション画面５０の中央において広い面積を占める。このファイルフォーマットは、ＩＳＯ２９５００で標準化されたＸＭＬ形式のフォーマットである。

（ファイルフォーマットの構造例）
図１０は、ノート属性を含む一般的なPowerPointファイルのファイルフォーマットの構造例を示す。

図９に示した本体領域５３のオブジェクトは‘slides’フォルダ６１（本体属性ディレクトリ）内の‘slide1.xml’に記述され、ノート領域５４の文字列は‘notesSlides’フォルダ６２（ノート属性ディレクトリ）内の‘notesSlide1.xml’に記述される。

図４のフローチャートの説明に戻る。次に、手書き文字置換部３７は、構造化データの手書き文字部が存在した本体領域の手書き文字部を、手書き文字が存在したことを表す情報（構造化データ）に置き換える（Ｓ１０）。構造化データ変換部３６は、これらの構造化データを、構造化データ記録部３８に記録する。

次に、構造化データ出力部３９は、ユーザーの指示に応じて、構造化データ記録部３８に記録された構造化データを出力する。例えば、構造化データ出力部３９は、アプリケーションにより表示部２５に構造化データを表示する（Ｓ１１）。ステップＳ１１の処理が終了したら本フローチャートの処理を終了する。

［手書き文字が存在していたことを表す情報の例］
手書き文字が存在した本体領域５３の手書き文字部に作成する、手書き文字が存在したことを表す情報の例について説明する。

［第１例］
図１１は、第１の実施形態の第１例に係る、手書き文字をPowerPointファイルのノート領域に配置したアプリケーション画面の表示例を示す。

図１１のアプリケーション画面５０Ａでは、「遅すぎる！」と書かれた手書き文字列５４１をノート領域５４に配置する。また、本体領域５３の文書画像５３０Ａの手書き文字列が存在していた部分（手書き文字部５３１）に、ノート領域５４に配置された手書き文字列５４１との対比が取れる情報（図１１の例では★の記号）を配置する。図１１では、本体領域５３の文書画像５３０Ａに配置した手書き文字が存在したことを表す情報（★）と同じ情報が、ノート領域５４にも配置されている。これによりユーザーは、ノート領域５４の文字列と本体領域５３の手書き文字部５３１との対応関係を、容易に認識することができる。

また、記号だけではそこに手書き文字列が存在していたことをユーザーが見逃す可能性があるため、手書き文字列が存在していたことを表す文字列も追加し配置してもよい。例えば図１１では、手書き文字部５３１に「手書き有」の文字列が配置されている。このおうに、手書き文字が存在したことを表す情報との関連性を示す情報を、本体領域５３又はノート領域５４（補足領域）の少なくともいずれか一方に配置するとよい。

［第２例］
第２例では、紙文書に手書き文字が複数存在していた場合には、複数の手書き文字が存在していたことを表す情報と、該手書き文字が存在していたことを表す情報との関連性を示す情報の各々に、対応関係を表す情報を付加する。例えば、紙文書に加筆された手書き文字列が多数存在する場合には、‘記号＋通し番号’としてもよい。

図１２は、第１の実施形態の第２例に係る、手書き文字をPowerPointファイルのノート領域に配置したアプリケーション画面の表示例を示す。

図１２のアプリケーション画面５０Ｂでは、ノート領域５４に２つの手書き文字列５４１ａ，５４１ｂが存在し、本体領域５３の文書画像５３０Ｂにも２箇所に手書き文字部５３１ａ，５３１ｂが存在する。そして、ノート領域５４の手書き文字列５４１ａ，５４１ｂに対応する本体領域５３の手書き文字部５３１ａ，５３１ｂの前に、‘★１’，‘★２’の記号が配置されている。

また、本体領域５３に追加する文字列は、元から本体領域５３に存在する他の情報（印字文字列等）と区別できるように、文字色、文字サイズ、文字の太さ、斜体などの異なる装飾で追加してもよい。図１２の例では、文字列が斜体で表示されている。

［第１の実施形態の効果］
上述した構成の本発明によれば、印字文字と手書き文字が混在した紙文書を電子画像化し、その電子画像をベクタライズ処理して清書化されたファイルフォーマットに変換する処理において、印字文字と手書き文字を容易に判別できるようになる。

＜２．第２の実施形態＞
第１の実施形態に係る構造化データの別の補足属性の例として、手書き文字をMicrosoft OfficeのPowerPointのコメント属性に変換する場合について説明する。

［第１例］
図１３は、第２の実施形態の第１例に係る、手書き文字をPowerPointファイルのコメント領域に配置したアプリケーション画面の表示例を示す。

図１２のアプリケーション画面７０Ａにおいて、本体領域７３の文書画像７３０Ａの手書き文字が存在していた部分（手書き文字部５３１）に、透明オブジェクト７３１ａを配置する。また、配置した透明オブジェクト７３１ａに関連するコメントとして、手書き文字列「遅すぎる！」をコメント領域７５のコメント欄７５１に追加する。コメント表示ボタン５２１をマウスポインタ等で押すことにより、コメント領域７５が表示される。

透明オブジェクト７３１ａは、非可視文字コード（空白、タブ）でもよいし、透明な図形オブジェクトでもよい。

またコメント欄７５１の「遅すぎる！」の左側にクライアント端末１のユーザー名（ＫＵＲＯＫＩ）が表示されているが、操作部２６を操作して後から手書きコメントを加筆したユーザー名を入力してもよい。あるいは、コメント欄７５１にユーザー名を表示しなくてもよい。

コメント機能を利用すると、アプリケーションが自動でコメント領域７５にコメントが存在することを表すマーク７３２ａ（記号、図形等）を本体領域７３の対応する場所に表示し、コメント欄７５１の手書き文字列との関連を示すことが可能である。本体領域７３の対応する場所とは、手書き文字部５３１に対応する位置である。

図１３において、本体領域７３の文書画像７３０Ａに透明オブジェクト７３１ａ及びマーク７３２ａが配置され、そこにコメントがあることがアプリケーションにより示されている。また図１３において、透明オブジェクト７３１ａ及びマーク７３２ａに関連するコメントとして、手書き文字列がコメント領域７５のコメント欄７５１に追加されている。

（ファイルフォーマットの構造例）
図１４は、コメント属性を含む一般的なPowerPointファイルのファイルフォーマットの構造例を示す。

図１３に示した本体領域７３の透明オブジェクト７３１ａは‘slides’フォルダ６１（本体属性ディレクトリ）内の‘slide1.xml’に記述され、コメント領域７５のコメントは‘comments’フォルダ６３（コメント属性ディレクトリ）内の‘comment1.xml’に記述される。

［第２例］
図１３の本体領域７３に配置する透明オブジェクトは、手書き文字列があったことを表す可視文字列であってもよい。

図１５は、第２の実施形態の第２例に係る、手書き文字をPowerPointファイルのコメント領域に配置したアプリケーション画面の表示例を示す。

図１５のアプリケーション画面７０Ｂでは、本体領域７３の文書画像７３０Ｂの手書き文字部５３１に、マーク７３２ａの横に可視文字列‘手書き有’からなるオブジェクト７３１ｂが配置されている。

このように本体領域７３に可視文字列からなるオブジェクト７３１ｂを配置することにより、そこに手書き文字列が存在していたことをユーザーが見逃す可能性が減少する。

［第３例］
図１６は、第２の実施形態の第３例に係る、手書き文字をPowerPointファイルのコメント領域に配置したアプリケーション画面の表示例を示す。

図１６のアプリケーション画面７０Ｃでは、本体領域７３の文書画像７３０Ｃの手書き文字部５３１に、可視文字列‘手書き有’からなるオブジェクト７３１ｂの右上に、マーク７３２ｃが配置されている。

［第４例］
図１７は、第２の実施形態の第４例に係る、手書き文字をPowerPointファイルのコメント領域に配置したアプリケーション画面の表示例を示す。

図１７のアプリケーション画面７０Ｄでは、本体領域７３の文書画像７３０Ｄの手書き文字部５３１にマーク７３２ａのみが表示され、オブジェクトが配置されない又は透明オブジェクト７３１ａ（図１３）が配置される。そして、コメント領域７５のコメント欄７５１に、手書き文字列の存在を示す可視文字列７５１ｄ‘手書き有’とともに、手書きコメント「遅すぎる！」が表示される。

これにより、本体領域７３にマーク７３２ａのみを表示し、手書き文字列の存在を示す可視文字列を表示しなくても、ユーザーはコメント領域７５に配置された可視文字列７５１ｄ‘手書き有’を見ることにより、手書き文字の存在を認識することができる。

［第５例］
図１８は、第２の実施形態の第５例に係る、PowerPointファイルのコメント領域に表示された手書き文字情報の内容を削除したアプリケーション画面の表示例を示す。

図１８のアプリケーション画面７０Ｅでは、本体領域７３に図１７と同じ文書画像７３０Ｄを表示しているが、コメント領域７５のコメント欄７５１のコメントが削除されている。

Microsoft Office等のＸＭＬベースの文書作成アプリケーションの機能として、補足領域（ノート領域やコメント領域）の文字列を一括で削除する一括削除機能が用意されている。手書き文字列を補足領域に配置した場合に、この一括削除機能を利用することで、手書き文字列を含まない形で文書配布したいという要望にも簡単に対応可能となる。本例は、第１の実施形態にも適用可能である。

＜３．第３の実施形態＞
ＰＤＦやMicrosoft Wordの機能にも同様のコメント機能（注釈機能）があり、この機能を使ってそれぞれのフォーマットに変換することで、第１及び第２の実施形態と同様の効果を持たせることが可能である。

図１９は、第３の実施形態に係る、手書き文字をＰＤＦファイルの注釈領域に配置したアプリケーション画面の表示例を示す。

図１９のアプリケーション画面７０Ｅでは、本体領域に対応する文書画像８０の手書き文字部５３１に、図形や記号等からなる注釈アイコン８１が配置され、注釈アイコン８１と紐付けられたポップアップウィンドウ８２が表示される。ポップアップウィンドウ８２は補足属性に対応する補足領域である。ポップアップウィンドウ８２に、手書き文字列‘遅すぎる！’が配置される。

ＰＤＦの場合は、ページ毎のページオブジェクトのAnnots配列に手書き文字列（注釈データ）を登録することで実現可能である。

上述した第３の実施形態によれば、ＰＤＦファイルを用いた場合でも、第１の実施形態及び第２の実施形態と同様の作用効果を奏する。

なお、ＰＤＦの場合でも、注釈アイコン８１の近くに可視文字列（例えば‘手書き文字有’）からなるオブジェクトを配置してもよい。

＜４．第４の実施形態＞
この構造化データ変換機能を実装するアプリケーション（クライアント端末１や画像形成装置３など）に、出力形態を選択可能なＵＩを持たせる。そして、手書き文字列を「ノート領域に配置」、「コメント領域に配置」、「本体領域に配置」、「完全に削除してどこにも配置しない」などの選択肢をユーザーが選択することも可能である。

図２０は、第４の実施形態に係る画像処理装置が備えるコンピューター２０Ａの機能構成を示す。ここでは、画像処理装置をクライアント端末１に適用した例について説明する。

図２０のコンピューター２０Ａは、図３のコンピューター２０に対して出力形態設定部９０を備える点が異なる。

出力形態設定部９０は、スキャナ４等の電子画像化手段により得られた電子データを、どのフォーマット（データ形式）の構造化データに変換するか選択を促すフォーマット選択画面（図示略）を表示部２５に表示する。次に、出力形態設定部９０は、選択されたフォーマットが複数の出力形態（手書き文字列の配置態様）を備える場合には、上記の出力形態を選択させる出力形態選択画面（図示略）を表示する。そして、出力形態設定部９０は、ユーザーの選択に基づく出力形態で、手書き文字列をアプリケーション画面に出力する。

なお、出力形態設定部９０は、「完全に削除してどこにも配置しない」が選択された場合には、ベクタライズ処理時に手書き文字以外の情報（例えば図形領域４２として判別された矢印）も含めて変換後の構造化データに加筆した情報を反映しない。このようにすることで、手書き情報を含まない形で文書を他ユーザーと共有、配布することができる。

＜５．その他＞
なお、スキャナ４及びカメラ５等の電子画像化手段であっても、図２に示すようなコンピューターを搭載していれば、画像処理装置を適用することが可能である。

さらに、本発明は上述した各実施形態例に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。

例えば、上述した実施形態例は本発明を分かりやすく説明するために装置及びシステムの構成を詳細且つ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態例の構成の一部を他の実施形態例の構成に置き換えることは可能である。また、ある実施形態例の構成に他の実施形態例の構成を加えることも可能である。また、各実施形態例の構成の一部について、他の構成の追加、削除、置換をすることも可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又はＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。

１…クライアント端末、 ４…スキャナ、 ５…カメラ、 １０…システム、 ２１…ＣＰＵ、 ２７…不揮発性ストレージ、 ３１…入力画像受信部、 ３３…領域判別部、 ３４…文字種別判別部、 ３５…文字コード化処理部、 ３６…構造化データ変換部、 ３７…手書き文字置換部、 ３９…構造化データ出力部、 ４０…印字文字領域、 ４１…手書き領域、 ４２…図形領域、 ４３…文字領域、 ４３Ａ…手書き文字部、 ５３…本体領域、 ５４…ノート領域、 ６１…本体属性フォルダ、 ６２…ノート属性フォルダ、 ６３…コメント属性フォルダ、 ７３…本体領域、 ７４…補正領域、 ７５…コメント領域、 ３６１…本体属性変換部、 ３６２…補正属性変換部、 ５２１…コメント表示ボタン、 ５３１，５３１ａ，５３１ｂ…手書き文字部、 ５４１，５４１ａ，５４１ｂ…手書き文字列、７５１…コメント欄、 Ｐ…紙文書、 Ｄ…画像データ

Claims (10)

1. 手書きで加筆された紙文書を読み取って得られた画像データを解析し、前記画像データに含まれる文字領域と文字以外の領域を判別する領域判別部と、
   前記領域判別部により判別された前記文字領域を解析し、前記文字領域に存在する文字が印字文字又は手書き文字のいずれであるかを判定する文字種別判別部と、
   前記印字文字及び前記手書き文字を文字コード化する文字コード化処理部と、
   前記領域判別部により判別された前記文字以外の領域、及び、文字コード化した前記印字文字を含む文字領域を構造化データの本体属性に変換する構造化データ変換部と、
   文字コード化された前記手書き文字を前記構造化データの補足属性に変換する補足属性変換部と、
   前記文字種別判別部により判定された前記手書き文字が存在した前記本体属性に対応する本体領域の手書き文字部を、前記手書き文字が存在したことを表す情報に置き換える手書き文字置換部と、
   を備える画像処理装置。
2. 前記本体領域に配置した前記手書き文字が存在したことを表す情報と同じ情報を、前記補足属性に対応する補足領域にも配置する
   請求項１に記載の画像処理装置。
3. 前記手書き文字が存在したことを表す情報との関連性を示す情報を、前記本体領域及び前記補足属性に対応する補足領域の少なくともいずれか一方に配置する
   請求項１に記載の画像処理装置。
4. 前記手書き文字が複数存在していた場合には、複数の前記手書き文字が存在していたことを表す情報と、前記手書き文字が存在していたことを表す情報との関連性を示す情報の各々に、対応関係を表す情報を付加する
   請求項３に記載の画像処理装置。
5. 前記手書き文字が存在したことを表す情報には、前記本体領域に存在する他の情報と区別できる装飾が施される
   請求項１に記載の画像処理装置。
6. 前記補足属性に対応する前記補足領域は、文書作成ソフトウェアで利用される前記構造化データのコメント属性で定義される領域又はノート属性で定義される領域である
   請求項１に記載の画像処理装置。
7. 前記文書作成ソフトウェアで利用される前記構造化データは、ＯＯＸＭＬ、ＯＤＦのフォーマットで記述されるデータである
   請求項１に記載の画像処理装置。
8. 前記構造化データがＰＤＦ（登録商標）で記述されるデータである場合、前記補足属性にはAnnots配列で定義される注釈機能を利用する
   請求項１に記載の画像処理装置。
9. 前記手書き文字が存在したことを表す情報は少なくとも、記号、文字列、図形、又は画像のいずれかである
   請求項１乃至８のいずれかに記載の画像処理装置。
10. 手書きで加筆された紙文書を読み取って得られた画像データを解析し、前記画像データに含まれる文字領域と文字以外の領域を判別する手順と、
    判別された前記文字領域を解析し、前記文字領域に存在する文字が印字文字又は手書き文字のいずれであるかを判定する手順と、
    前記印字文字及び前記手書き文字を文字コード化する手順と、
    判別された前記文字以外の領域、及び、文字コード化した前記印字文字を含む文字領域を構造化データの本体属性に変換する手順と、
    文字コード化された前記手書き文字を前記構造化データの補足属性に変換する手順と、
    前記手書き文字が存在した前記本体属性に対応する本体領域の手書き文字部を、前記手書き文字が存在したことを表す情報に置き換える手順と、
    をコンピューターに実行させるためのプログラム。

Images