JP2016015115A - 情報処理装置、情報処理方法、及び記録媒体 - Google Patents

Abstract

【課題】手書きで文字が加筆された原稿の文字を所望の文字データに編集する情報処理装置、方法及び記録媒体を提供する。【解決手段】原稿に予め印字された印字文字及び印字後に加筆された加筆文字が光学的に読み取られて生成された読取画像データを得る。得られた読取画像データの印字文字の画像及び加筆文字の画像を文字データに変換する。変換された文字データの文字データ編集情報に従って、前記文字データを編集する。文字データ編集では、変換された文字データを、印字文字の画像が文字データに変換された印字文字データと、加筆文字の画像が文字データに変換された加筆文字データとを区別し、受け付けられた加筆文字データ編集情報に従って、区別された加筆文字データを編集する。【選択図】図７

Description

本発明は、情報処理装置、情報処理方法、及び記録媒体に関する。

近年、情報の電子化が推進される傾向にあり、原稿の電子化に用いられるスキャナは欠かせない機器となっている。このようなスキャナにより電子化された原稿（以下、「電子化データ」とする。）は、画像形成装置等により必要に応じて記録媒体に出力され、若しくは、ネットワークを介してＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理端末に送信されて利用される。

このとき、電子化しようとしている原稿に手書きで文字が加筆されることがある。このような場合、電子化しようとしている原稿には、文書作成ソフト等により作成されて予め印刷された文字（以下、「文書文字」とする。）と、手書きで加筆された文字（以下、「手書き文字」とする。）とが混在することになる。そのため、このように手書きで文字が加筆された原稿（以下、「加筆原稿」とする。）は、文書文字と手書き文字との違いが目立って見栄えが悪く、電子化されたとしてもその見栄えの悪さは残ったままとなる。

そこで、加筆原稿の電子化データである画像データに含まれる文字を、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ：光学文字認識）を利用して文字として認識し、情報処理装置が処理可能な形式の文字データに変換する情報処理装置が知られている（例えば、特許文献１を参照）。

ところが、このような情報処理装置におけるＯＣＲは、文書文字等のように書体が整っている文字に関しては精度良く認識することが可能であるが、手書き文字等のように書体が整っていない文字に関しては誤認識し、誤った文字に変換してしまうことがある。このような誤変換は、手書き文字等のように書体が整っていない文字に関しては特に顕著に起こるが、文書文字等のように書体が整っている文字についても起こり得る。

本発明の１つの側面は、手書きで文字が加筆された原稿の文字を所望の文字データに編集することができる情報処理装置を提供することを目的とする。

一態様における、原稿に予め印字された印字文字及び前記印字文字が印字された後に加筆された加筆文字が光学的に読み取られて生成された読取画像データにおける前記印字文字の画像及び前記加筆文字の画像を、文字データに変換する情報処理装置は、前記印字文字の画像及び前記加筆文字の画像を前記文字データに変換するデータ変換部と、変換された前記文字データを編集するための文字データ編集情報を受け付ける編集情報受付部と、受け付けられた前記文字データ編集情報に従って、変換された前記文字データを編集する文字データ編集部と、変換された前記文字データから、前記印字文字の画像が前記文字データに変換された印字文字データと、前記加筆文字の画像が前記文字データに変換された加筆文字データとを区別する文字データ区別部とを備え、前記編集情報受付部は、区別された前記加筆文字データを編集するための加筆文字データ編集情報を受け付け、前記文字データ編集部は、受け付けられた前記加筆文字データ編集情報に従って、区別された前記加筆文字データを編集する。

本発明によれば、加筆原稿を電子化する際に、手書きで文字が加筆された原稿の文字を所望の文字データに編集することができる。

本発明の実施形態に係る画像形成システムの運用形態の例を示す図である。 本発明の実施形態に係る画像形成装置のハードウェア構成の一例を模式的に示すブロック図である。 本発明の実施形態に係る画像形成装置の機能構成の一例を模式的に示すブロック図である。 本発明の実施形態に係るクライアント端末の機能構成の一例を模式的に示すブロック図である。 本発明の実施形態に係る画像形成装置が電子化しようとしている加筆原稿の一例を示す図である。 本発明の実施形態に係るクライアント端末が、加筆原稿の電子化データである画像データに含まれる文字を、ＯＣＲを利用して文字データに変換した結果の一例のイメージを示す図である。 本発明の実施形態に係るテキスト編集画面の表示例を示す図である。 本発明の実施形態に係るクライアント端末が、手書きテキストを編集した結果の一例を示す図である。 本発明の実施形態に係るクライアント端末が、加筆原稿を電子化する際の処理の一例を説明するためのフローチャートである。 本発明の実施形態に係るクライアント端末が、手書きテキストを編集した結果の一例を示す図である。 本発明の実施形態に係るクライアント端末が、手書きテキストを編集した結果の一例を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、画像形成システムの例として、原稿を電子化するためのスキャナを備えた画像形成装置と、ユーザが操作するクライアント端末とがネットワークを介して接続された画像形成システムを例として説明する。即ち、本発明の一実施形態に係る情報処理装置は、例えばクライアント端末である。以下、情報処理装置がクライアント端末である例で説明する。尚、情報処理装置は、画像形成装置等の画像処理装置であってもよい。

このような画像形成システムにおいて、本実施形態に係る画像形成装置は、原稿を電子化するために、スキャナにより原稿を読み取ってその原稿の電子化データである画像データを生成し、不揮発性の記録媒体に記憶する。さらに、画像形成装置は、画像データを必要に応じてネットワークを介してクライアント端末に送信する。このとき、本実施形態に係る画像形成装置が電子化しようとしている原稿には、手書きで文字が加筆されることがある。

そのため、本実施形態に係る画像形成装置１が電子化しようとしている原稿には、文書作成ソフト等により作成されて予め印刷された文字（以下、「文書文字」とする。）と、手書きで加筆された文字（以下、「手書き文字」とする。）とが混在することになる。従って、このように手書きで文字が加筆された原稿（以下、「加筆原稿」とする。）においては、文書文字と手書きで文字との違いが目立って見栄えが悪くなってしまい、電子化されたとしてもその見栄えの悪さは残ったままとなる。

そこで、本実施形態に係るクライアント端末は、画像形成装置からネットワークを介して送信され、若しくは、その他の方法で入力された上記画像形成装置により生成された加筆原稿の電子化データである画像データに含まれる文字を認識する。具体的には、クライアント端末は、ＯＣＲを利用して画像データに含まれる文字を認識し、情報処理装置が処理可能な形式の文字データに変換するようになっている。

ところが、通常、ＯＣＲは、文書文字等のように書体が整っている文字に関しては精度良く認識することが可能であるが、手書き文字等のように書体が整っていない文字に関しては誤認識することがある。そのため、誤認識された文字がそのまま文字データに変換されると、誤った文字に変換されてしまうことになる。

そこで、本実施形態に係るクライアント端末は、加筆原稿の電子化データである画像データに含まれる文字をＯＣＲを利用して文字データに変換した後、変換した文字データから手書き文字に対応する文字データ（以下、「手書きテキスト」とする。）を抽出し、抽出した手書きテキストを利用者が自由に編集することが可能なように構成されている。従って、本実施形態に係るクライアント端末によれば、ＯＣＲによる誤認識により手書き文字が誤変換された場合であっても、誤変換された手書きテキストを利用者が自由に編集することが可能となる。そのため、本実施形態に係るクライアント端末は、加筆原稿を電子化する際に、手書き文字を利用者が所望する文字データに編集することが可能となる。

尚、本実施形態に係るクライアント端末は、手書きテキストを編集するように構成されている例について説明するが、文書文字に対応する文字データ（以下、「文書テキスト」とする。）についても同様に編集することが可能なように構成されていても良い。

まず、本実施形態に係る画像形成システムの運用形態について、図１を参照して説明する。即ち、図１は、本実施形態に係る画像形成システムの運用形態の例を示す図である。例えば、図１に示すように、本実施形態に係る画像形成システムは、画像形成装置１が接続されたネットワーク３と、クライアント端末２が接続されたネットワーク４とがインターネット又は電話回線等の公衆回線５を介して接続されて構成される。

尚、ネットワーク４に接続されているクライアント端末２の数は一例であり、これらがもっと多く接続された大規模なシステムであっても良い。また、それぞれ異なるクライアント端末２が接続された複数のネットワークが公衆回線５を介して画像形成装置１と接続される構成としても良いし、画像形成装置１とクライアント端末２とが同一のネットワーク上に接続されて構成されていても良い。

画像形成装置１は、撮像機能、画像形成機能、及び通信機能等を備えることにより、プリンタ、ファクシミリ、スキャナ、又は複写機として利用可能なＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ：複合機）である。また、画像形成装置１は、クライアント端末２から送信されてきた印刷ジョブに含まれる画像データに基づいてＣＭＹＫ（Ｃｙａｎ Ｍｇｅｎｔａ Ｙｅｌｌｏｗ Ｋｅｙ Ｐｌａｔｅ）若しくはモノクロの描画データを生成する。次に、画像形成装置１は、生成した描画データに基づいて、給紙された用紙に対して画像形成出力を実行するカラープリンタ及びモノクロプリンタとしての機能を有する。

クライアント端末２は、ユーザが操作するＰＣ等である。尚、クライアント端末２は、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、スマートフォン、及びタブレット端末等の携帯情報端末によって実現されても良い。また、本実施形態に係るクライアント端末２は、画像形成装置１を利用するための専用のソフトウェアであるプリンタドライバがインストールされている。

尚、図１におけるネットワーク３及び４は、例えば、オフィスＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の限定されたネットワークである。図１では、画像形成装置１及びクライアント端末２は、夫々のＬＡＮを介して公衆回線５に接続されるが、画像形成装置１及びクライアント端末２は、公衆回線５に接続されても良い。

次に、本実施形態に係る画像形成装置１及びクライアント端末２のハードウェア構成について図２を参照して説明する。即ち、図２は、本実施形態に係る画像形成装置１のハードウェア構成の一例を模式的に示すブロック図である。尚、図２においては、クライアント端末２のハードウェア構成を例として説明するが、画像形成装置１についても同様とする。さらに、画像形成装置１は、図２に示すハードウェア構成に加えて、プリンタ、スキャナ、及びファクシミリにおいて専用の機能を実現するためのハードウェアを備える。

図２に示すように、本実施形態に係るクライアント端末２は、一般的なサーバ又はＰＣ等と同様の構成を含む。即ち、本実施形態に係るクライアント端末２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４０、及びＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）５０がバス８０を介して接続される。また、Ｉ／Ｆ５０には、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６０及び操作部７０が接続される。

ＣＰＵ１０は演算手段であり、クライアント端末２全体の動作を制御する。また、ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記録媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。さらに、ＲＯＭ３０は、読み出し専用の不揮発性記録媒体であり、ファームウェア等のプログラムが記憶される。さらにまた、ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記録媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、各種の制御プログラム、及びアプリケーション・プログラム等が記憶される。

Ｉ／Ｆ５０は、バス８０と各種のハードウェア及びネットワーク等を接続し制御する。また、ＬＣＤ６０は、ユーザがクライアント端末２の状態を確認するための視覚的ユーザインタフェースであり、ＬＣＤ等の表示装置によって実現される。さらに、操作部７０は、例えばキーボード又はマウス等であり、ユーザがクライアント端末２に情報を入力するためのユーザインタフェースである。

このようなハードウェア構成において、ＲＯＭ３０、ＨＤＤ４０、又は光学ディスク等の記録媒体に記憶されたプログラムが、ＲＡＭ２０に読み出される。次に、ＣＰＵ１０がＲＡＭ２０にロードされたプログラムに従って演算を行うことにより、ソフトウェア制御部が構成される。従って、本実施形態においては、上記プログラムの一部若しくは全てがデータ形式変換プログラムとして機能する。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係るクライアント端末２の機能を実現する機能ブロックが構成される。

次に、本実施形態に係る画像形成装置１の機能構成について、図３を参照して説明する。即ち、図３は、本実施形態に係る画像形成装置１の機能構成の一例を模式的に示すブロック図である。尚、図３においては、電気的接続を実線の矢印で示しており、転写紙若しくは文書束の流れを破線の矢印で示している。

図３に示すように、本実施形態に係る画像形成装置１は、コントローラ１００、給紙テーブル１０１、プリントエンジン１０２、プリント用排紙トレイ１０３、ＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ：原稿自動搬送装置）１０４、スキャナエンジン１０５、スキャン用排紙トレイ１０６、ディスプレイパネル１０７、及びネットワークＩ／Ｆ１０８を有する。また、コントローラ１００は、主制御部１１０、エンジン制御部１２０、画像処理部１３０、操作表示制御部１４０、及び入出力制御部１５０を有する。

給紙テーブル１０１は、画像形成部であるプリントエンジン１０２に転写紙を給紙する。プリントエンジン１０２は、給紙テーブル１０１から搬送されてきた転写紙に対して画像形成出力を実行することにより画像を描画する画像形成部である。本実施形態に係るプリントエンジン１０２の具体的態様としては、電子写真方式による画像形成機構である。このプリントエンジン１０２により画像が描画された画像形成済みの転写紙は、プリント用排紙トレイ１０３に排紙される。

ＡＤＦ１０４は、原稿読取部であるスキャナエンジン１０５に原稿を自動搬送する。また、スキャナエンジン１０５は、光学情報を電気信号に変換する光電変換素子を含む原稿読取部である。即ち、スキャナエンジン１０５は、ＡＤＦ１０４により自動搬送されてきた原稿、若しくは、原稿台ガラスにセットされた原稿を光学的に走査して読み取って撮像データを生成する原稿読取部である。ＡＤＦ１０４により自動搬送されてスキャナエンジン１０５により読み取られた原稿は、スキャン用排紙トレイ１０６に排紙される。また、原稿に印字された印字文字及び加筆された加筆文字は、スキャナエンジン１０５等によって、光学的に読み取られる。

ディスプレイパネル１０７は、画像形成装置１の状態を視覚的に表示する出力インタフェースであると共に、タッチパネルとしてユーザが画像形成装置１を直接操作し若しくは画像形成装置１に対して情報を入力する際の入力インタフェースでもある。即ち、ディスプレイパネル１０７は、ユーザによる操作を受けるための画像を表示する機能を含む。尚、ディスプレイパネル１０７は、図２に示すＬＣＤ６０及び操作部７０によって実現される。

ネットワークＩ／Ｆ１０８は、画像形成装置１がネットワークを介して管理者用端末又はＰＣ等の他の機器と通信するためのインタフェースである。具体的には、ネットワークＩ／Ｆ１０８には、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）、又はＦｅｌｉＣａ（登録商標）等のインタフェースが用いられる。このように、本実施形態に係る画像形成装置１は、ネットワークＩ／Ｆ１０８を介して接続された端末から印刷依頼の画像データ及び印刷要求などの各種制御コマンドを受信する。尚、ネットワークＩ／Ｆ１０８は、図２に示すＩ／Ｆ５０によって実現される。

コントローラ１００は、ソフトウェアとハードウェアとの組み合わせによって構成される。具体的には、ＲＯＭ３０又はＨＤＤ４０等の不揮発性記録媒体に記憶されたファームウェア等の制御プログラムが、ＲＡＭ２０にロードされる。次に、ロードされたプログラムに従ってＣＰＵ１０が演算を行うことにより構成されるソフトウェア制御部と集積回路などのハードウェアとによってコントローラ１００が構成される。コントローラ１００は、画像形成装置１全体を制御する制御部として機能する。

主制御部１１０は、コントローラ１００に含まれる各部を制御する役割を担い、コントローラ１００の各部に命令を与える。また、主制御部１１０は、入出力制御部１５０を制御し、ネットワークＩ／Ｆ１０８及びネットワークを介して他の装置にアクセスする。エンジン制御部１２０は、プリントエンジン１０２及びスキャナエンジン１０５等の駆動部を制御し若しくは駆動させる。

画像処理部１３０は、主制御部１１０の制御に従い、ＰＤＬ（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）等により記述された画像データを出力情報として生成する。画像データは、例えば、入力された印刷ジョブに含まれる文書データ若しくは画像データに基づいて描画データである。この描画データとは、ＣＭＹＫのビットマップデータ等の情報であり、画像形成部であるプリントエンジン１０２が画像形成動作において形成すべき画像を描画するための情報である。

また、画像処理部１３０は、スキャナエンジン１０５から入力される撮像データを処理し、読取画像データを生成する。この読取画像データとは、スキャナ動作の結果物として画像形成装置１に格納され若しくはネットワークＩ／Ｆ１０８及びネットワークを介して他の機器に送信される情報である。

操作表示制御部１４０は、ディスプレイパネル１０７に情報表示を行い若しくはディスプレイパネル１０７を介して入力された情報を主制御部１１０に通知する。また、入出力制御部１５０は、ネットワークＩ／Ｆ１０８及びネットワークを介して入力される信号及び命令を主制御部１１０に入力する。

次に、本実施形態に係るクライアント端末２の機能構成について、図４を参照して説明する。即ち、図４は、本実施形態に係るクライアント端末２の機能構成の一例を模式的に示すブロック図である。尚、図４においては、電気的接続を実線の矢印で示している。

図４に示すように、本実施形態に係るクライアント端末２は、コントローラ２００、キーボード／マウス２０１、液晶ディスプレイ２０２、及びネットワークＩ／Ｆ２０３を有する。また、コントローラ２００は、主制御部２１０、ＯＣＲ変換部２２０、手書きテキスト抽出部２３０、表示情報生成部２４０、テキスト編集部２５０、操作表示制御部２６０、及び入出力制御部２７０を有する。

キーボード／マウス２０１は、ユーザがクライアント端末２に対して情報を入力する際の入力インタフェースである。尚、キーボード／マウス２０１は、図２に示す操作部７０によって実現される。また、液晶ディスプレイ２０２は、クライアント端末２の状態を視覚的に表示する出力インタフェースである。尚、液晶ディスプレイ２０２は、図２に示すＬＣＤ６０によって実現される。

ネットワークＩ／Ｆ２０３は、クライアント端末２がネットワークを介して管理者用端末又はＰＣ等の他の機器と通信するためのインタフェースである。具体的には、ネットワークＩ／Ｆ２０３には、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢインタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、又はＦｅｌｉＣａ（登録商標）等のインタフェースが用いられる。このように、本実施形態に係るクライアント端末２は、ネットワークＩ／Ｆ２０３を介して接続された画像形成装置１に印刷を依頼するため、画像データ及び印刷要求などの各種制御コマンドを送信する。尚、ネットワークＩ／Ｆ２０３は、図２に示すＩ／Ｆ５０によって実現される。

コントローラ２００は、ソフトウェアとハードウェアとの組み合わせによって構成される。具体的には、ＲＯＭ３０又はＨＤＤ４０等の不揮発性記録媒体に記憶されたファームウェア等の制御プログラムが、ＲＡＭ２０にロードされる。次に、ロードされたプログラムに従ってＣＰＵ１０が演算を行うことにより構成されるソフトウェア制御部と集積回路などのハードウェアとによってコントローラ２００が構成される。コントローラ２００は、クライアント端末２全体を制御する制御部として機能する。

主制御部２１０は、コントローラ２００に含まれる各部を制御する役割を担い、コントローラ２００の各部に命令を与える。また、主制御部２１０は、入出力制御部２７０を制御し、ネットワークＩ／Ｆ２０３及びネットワークを介して他の装置にアクセスする。

ＯＣＲ変換部２２０は、主制御部２１０の制御に従い、原稿が画像形成装置１により読み取られて生成された電子化データである画像データに含まれる文字を、ＯＣＲを利用して文字として認識し、文字データに変換する。以下では、ＯＣＲ変換部２２０により上記画像データに含まれる文字を文字データに変換する処理を「ＯＣＲ変換処理」とする。尚、データ変換部は、例えばＯＣＲ変換部２２０である。以下、データ変換部がＯＣＲ変換部２２０である例で説明する。

手書きテキスト抽出部２３０は、ＯＣＲ変換部２２０により変換された文字データから手書き文字に対応する文字データ（手書きテキスト）を抽出する。以下では、手書きテキスト抽出部２３０により上記手書きテキストを抽出する処理を「手書きテキスト抽出処理」とする。尚、文字データ区別部は、例えば手書きテキスト抽出部２３０である。以下、文字データ区別部が手書きテキスト抽出部２３０である例で説明する。

このとき、手書きテキスト抽出部２３０は、文書作成ソフト等により作成された原稿データであって、画像形成装置１が電子化しようとしている原稿の基となる原稿データと、ＯＣＲ変換処理後の加筆原稿の電子化データとを比較する。次に、手書きテキスト抽出部２３０は、比較結果に基づいて、異なる部分の電子化データにおける文字データを手書きテキストとして抽出する。若しくは、手書きテキスト抽出部２３０は、加筆される前の原稿の電子化データにＯＣＲ変換処理が施された電子化データと、ＯＣＲ変換処理後の加筆原稿の電子化データとを比較して、異なる部分の電子化データにおける文字データを手書きテキストとして抽出する。また、この他、手書きテキスト抽出部２３０は、ＯＣＲ変換処理において、認識率が所定値未満の文字については手書きテキストとして抽出し、認識率が所定値以上の文字については文書テキストとして抽出する。このように、手書きテキスト抽出部２３０は、電子化データにおける文字データから、手書きテキスト及び文書テキストがそれぞれ別になるように抽出し、手書きテキストと、文書テキストとを区別する。

表示情報生成部２４０は、主制御部２１０の制御に従い、手書きテキスト抽出部２３０による抽出結果に基づいて、編集画面表示情報を生成する。尚、編集画面表示情報は、抽出された手書きテキストを利用者が編集するためのインタフェースであるテキスト編集画面を液晶ディスプレイ２０２に表示するための情報である。尚、入力画面表示情報生成部は、例えば表示情報生成部２４０である。以下、入力画面表示情報生成部が表示情報生成部２４０である例で説明する。また、利用者は、このテキスト編集画面において、キーボード／マウス２０１を介してクライアント端末２を操作することにより、手書きテキストを編集するための編集情報を入力する。尚、編集情報受付部は、例えばキーボード／マウス２０１である。以下、編集情報受付部がキーボード／マウス２０１である例で説明する。

テキスト編集部２５０は、主制御部２１０の制御に従い、テキスト編集画面においてキーボード／マウス２０１を介して入力された編集情報に従って手書きテキストを編集する。以下では、テキスト編集部２５０により上記手書きテキストを編集する処理をテキスト編集処理とする。このテキスト編集部２５０が提供するテキスト編集機能が、本実施形態に係る要旨の一つである。尚、文字データ編集部は、例えばテキスト編集部２５０である。以下、文字データ編集部がテキスト編集部２５０である例で説明する。

操作表示制御部２６０は、液晶ディスプレイ２０２に情報表示を行い若しくはキーボード／マウス２０１を介して入力された情報を主制御部２１０に通知する。また、入出力制御部２７０は、ネットワークＩ／Ｆ２０３及びネットワークを介して入力される信号及び命令を主制御部２１０に入力する。

このように構成された画像形成システムにおいて、本実施形態に係る画像形成装置１は、原稿を電子化するために、スキャナエンジン１０５により原稿を読み取ってその原稿の電子化データである画像データを生成する。画像形成装置１は、生成した画像データをＨＤＤ４０等の不揮発性の記録媒体に記憶しておき、必要に応じて記録媒体に出力し、若しくは、ネットワークを介してクライアント端末に送信するように構成される。このとき、本実施形態に係る画像形成装置１が電子化しようとしている原稿には、手書きで文字が加筆されることがある。

そのため、本実施形態に係る画像形成装置１が電子化しようとしている原稿には、文書作成ソフト等により作成されて予め印刷された文字（文書文字）と、手書きで加筆された文字（手書き文字）とが混在することになる。従って、このように手書きで文字が加筆された原稿（加筆原稿）は、文書文字と手書き文字との違いが目立って見栄えが悪く、電子化されたとしてもその見栄えの悪さは残ったままとなる。

そこで、本実施形態に係るクライアント端末２は、画像データに含まれる文字を、ＯＣＲを利用して文字として認識し、情報処理装置が処理可能な形式の文字データに変換する。尚、画像データは、画像形成装置１からネットワークを介して送信され、若しくは、その他の方法で入力された上記画像形成装置１により生成された加筆原稿の電子化データである。

ところが、通常、ＯＣＲは、文書文字等のように書体が整っている文字に関しては精度良く認識することが可能であるが、手書き文字等のように書体が整っていない文字に関しては誤認識することがある。そのため、誤認識された文字がそのまま文字データに変換されると、誤った文字に変換されてしまうことになる。

そこで、本実施形態に係るクライアント端末２は、ＯＣＲ変換処理を施した加筆原稿の電子化データから手書きテキストを抽出し、抽出した手書きテキストを利用者が自由に編集することが可能なように構成されている。従って、本実施形態に係るクライアント端末２によれば、ＯＣＲ変換処理により手書き文字が誤変換された場合であっても、誤変換された手書きテキストを利用者が自由に編集することが可能となる。そのため、本実施形態に係るクライアント端末２は、加筆原稿を電子化する際に、手書き文字を利用者が所望する文字データに編集することが可能となる。

尚、本実施形態においては、加筆原稿には、文書文字である印字文字が予め印字され、加筆原稿は、その印字文字が印字された後に手書き文字である加筆文字が加筆された原稿として使用される。そして、加筆原稿の電子化データが、原稿に予め印字された印字文字及び前記印字文字が印字された後に加筆された加筆文字が光学的に読み取られて生成された読取画像データとして使用される。そのため、本実施形態においては、文書文字に対応する文字データが印字文字データして利用される。さらに、手書き文字に対応する文字データが加筆文字データとして利用され、手書きテキストを編集するための編集情報が加筆文字データ編集情報として利用され、文書テキストを編集するための編集情報が印字文字データ編集情報として利用される。また、本実施形態においては、テキスト編集画面が入力画面として機能し、液晶ディスプレイ２０２が表示画面として機能し、編集画面表示情報が入力画面表示情報として利用される。

次に、本実施形態に係る画像形成装置１が電子化しようとしている加筆原稿について、図５を参照して説明する。即ち、図５は、本実施形態に係る画像形成装置１が電子化しようとしている加筆原稿の一例を示す図である。具体的には、例えば、図５に示すように、本実施形態に係る画像形成装置１が電子化しようとしている加筆原稿には、文書文字Ｃ１と手書き文字Ｃ２とが混在している。このように、加筆原稿は、予め印刷された文字と手書きで加筆された文字との違いが目立って見栄えが悪い。

そこで、本実施形態に係るクライアント端末２は、加筆原稿の電子化データである画像データに含まれる文字を、ＯＣＲを利用して情報処理装置が処理可能な形式の文字データに変換する。このときの結果の一例を図６に示す。即ち、図６は、本実施形態に係るクライアント端末２が、加筆原稿の電子化データである画像データに含まれる文字を、ＯＣＲを利用して文字データに変換した結果のイメージを示す図である。

図６に示すように、本実施形態に係るクライアント端末２は、加筆原稿の電子化データである画像データに含まれる文字を、ＯＣＲを利用して文字データに変換した結果、文書文字Ｃ１と手書き文字Ｃ２との違いによる見栄えの悪さが解消されている。但し、手書きテキストに関しては誤変換されてしまっている。

そこで、本実施形態に係るクライアント端末２は、手書きテキストを利用者が編集するためのインタフェースであるテキスト編集画面を液晶ディスプレイ２０２に表示するようになっている。このときのテキスト編集画面の表示例を図７に示す。即ち、図７は、本実施形態に係るテキスト編集画面の表示例を示す図である。

図７に示すように、本実施形態に係るテキスト編集画面には、ＯＣＲ変換処理が施された加筆原稿の電子化データのプレビュー画面が表示される。そして、利用者は、このプレビュー画面において点線で囲まれている部分を選択することで、手書きテキストを編集することができる。このとき、利用者は、同時に、フォント、フォントサイズ、フォントの色、文字の向き、枠線の有無、枠線の色、実線又は点線といった枠線のスタイル、文字の太さ又は下線付きといった文字のスタイル、及び背景色等を編集することができる。また、この他、利用者は、手書きテキストの位置を変更したり、枠のサイズを変更したりすることができる。このように、本実施形態に係るクライアント端末２は、加筆文字データの文字、文字種、文字サイズ、文字色、文字位置、文字の向き、加筆文字データを含む所定の領域の背景色、及び所定の領域を囲む枠線を編集することが可能となっている。

このようにして手書き文字の文字データが編集された結果の一例を図８に示す。即ち、図８は、本実施形態に係るクライアント端末２が、手書きテキストを編集した結果の一例を示す図である。図８に示すように、本実施形態に係る画像形成装置１が、利用者によりキーボード／マウス２０１を介して入力された編集情報に従って手書きテキストを編集した結果、手書き文字Ｃ２が文書文字Ｃ１と違和感なく挿入され、加筆原稿の見栄えが良くなる。

さらに、本実施形態に係る画像形成装置１が、利用者によりキーボード／マウス２０１を介して入力された編集情報に従って手書きテキストを編集した結果、手書き文字の誤変換が解消されて、利用者の所望する文字データに変換される。

このように、本実施形態に係るクライアント端末２は、手書きテキストを利用者が自由に編集することが可能なように構成されている。従って、本実施形態に係るクライアント端末２によれば、ＯＣＲ変換処理により手書き文字が誤変換された場合であっても、誤変換された手書きテキストを利用者が自由に編集することが可能となる。そのため、本実施形態に係るクライアント端末２は、加筆原稿を電子化する際に、手書き文字を利用者が所望する文字データに編集することが可能となる。

次に、本実施形態に係るクライアント端末２が、加筆原稿を電子化する際の処理の一例を、図９を参照して説明する。即ち、図９は、本実施形態に係るクライアント端末２が、加筆原稿を電子化する際の処理の一例を説明するためのフローチャートである。

図９に示すように、本実施形態に係るクライアント端末２が、加筆原稿を電子化する際には、まず、ＯＣＲ変換部２２０は、主制御部２１０の制御に従って、画像データに対してＯＣＲ変換処理を実行する（Ｓ９０１）。尚、画像データは、原稿が画像形成装置１により読み取られて生成された上記原稿の電子化データである。即ち、本実施形態においては、Ｓ９０１において実行されるＯＣＲ変換処理が、例えばデータ変換ステップとして実行される。

手書きテキスト抽出部２３０は、主制御部２１０の制御に従って、Ｓ９０１においてＯＣＲ変換処理が実行された電子化データに対して手書きテキスト抽出処理を実行する（Ｓ９０２）。即ち、本実施形態においては、Ｓ９０２において実行されるテキスト抽出処理が、例えば文字データ区別ステップとして実行される。

表示情報生成部２４０は、主制御部２１０の制御に従って、Ｓ９０２における抽出結果に基づいて、編集画面表示情報を生成する（Ｓ９０３）。即ち、本実施形態においては、Ｓ９０３において実行される編集画面表示情報を生成する処理が、例えば入力画面表示情報生成ステップとして実行される。

テキスト編集部２５０は、主制御部２１０の制御に従い、Ｓ９０３において生成された編集画面表示情報においてキーボード／マウス２０１を介して入力された編集情報を受け付ける。次に、テキスト編集部２５０は、受け付けた編集情報に従って、Ｓ９０１においてＯＣＲ変換処理が実行された電子化データに対してテキスト編集処理を実行する（Ｓ９０４）。即ち、Ｓ９０４において実行される編集情報を受け付ける処理が、例えば編集情報受付ステップとして実行され、テキスト編集処理が文字データ編集ステップとして実行される。尚、このとき、テキスト編集部２５０は、各手書きテキストをそれぞれ識別し、キーボード／マウス２０１を介して入力された各手書きテキストに関する編集情報に従って、各手書きテキストをそれぞれ個別に編集することが可能である。

このようにして手書き文字の文字データが編集された結果の一例を図１０に示す。即ち、図１０は、本実施形態に係るクライアント端末２が、手書きテキストを編集した結果の一例を示す図である。尚、図１０は、手書きテキストの背景が元原稿とは異なる色となるように編集された例である。

図１０に示すように、本実施形態に係る画像形成装置１が、利用者によりキーボード／マウス２０１を介して入力された編集情報に従って手書きテキストを編集する。編集の結果、手書きテキストが強調表示され、手書きテキストが、元々は手書き文字であることを利用者に認識させることが可能となる。

また、このようにして手書き文字の文字データが編集された結果の一例を図１１に示す。即ち、図１１は、本実施形態に係るクライアント端末２が、手書きテキストを編集した結果の一例を示す図である。尚、図１１は、手書きテキストの色が文書文字に対応する文字データよりも薄くなるように編集された例である。

図１１に示すように、本実施形態に係る画像形成装置１が、利用者によりキーボード／マウス２０１を介して入力された編集情報に従って手書きテキストを編集する。編集の結果、手書きテキストを目立たなくすると共に、手書きテキストが元々は手書き文字であることを利用者に認識させることが可能となる。

以上、説明したように、本実施形態に係るクライアント端末２は、ＯＣＲ変換処理を施した加筆原稿の電子化データから手書きテキストを抽出し、抽出した手書きテキストを利用者が自由に編集することが可能なように構成されている。従って、本実施形態に係るクライアント端末２によれば、ＯＣＲ変換処理により手書き文字が誤変換された場合であっても、誤変換された手書きテキストを利用者が自由に編集することが可能となる。そのため、本実施形態に係るクライアント端末２は、加筆原稿を電子化する際に、手書き文字を利用者が所望する文字データに編集することが可能となる。

尚、本実施形態に係るクライアント端末２は、テキスト編集画面を液晶ディスプレイ２０２に表示して、そのテキスト編集画面において入力された編集情報に基づき手書きテキストを編集する構成に限られない。例えば、クライアント端末２は、一般的な文書作成ソフトにより手書きテキストを編集するように構成されていても良い。

また、各処理の全部又は一部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、及びＪａｖａ（登録商標）等のレガシープログラミング言語又はオブジェクト指向プログラミング言語等で記述されたコンピュータに実行させるためのプログラムによって実現されてもよい。即ち、プログラムは、情報処理装置等のコンピュータに各処理を実行させるためのコンピュータプログラムである。

また、プログラムは、ＲＯＭ又はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等のコンピュータが読み取り可能な記録媒体に格納して頒布することができる。さらに、記録媒体は、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤ（登録商標）カード、又はＭＯ等でもよい。さらにまた、プログラムは、電気通信回線を通じて頒布することができる。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

１ 画像形成装置
２ クライアント端末
１０ ＣＰＵ
２０ ＲＡＭ
３０ ＲＯＭ
４０ ＨＤＤ
５０ Ｉ／Ｆ
６０ ＬＣＤ
７０ 操作部
８０ バス
１０１ 給紙テーブル
１０２ プリントエンジン
１０３ プリント用排紙トレイ
１０４ ＡＤＦ
１０５ スキャナエンジン
１０６ スキャン用排紙トレイ
１０７ ディスプレイパネル
１０８ ネットワークＩ／Ｆ
１１０ 主制御部
１２０ エンジン制御部
１３０ 画像処理部
１４０ 操作表示制御部
１５０ 入出力制御部
２０１ キーボード／マウス
２０２ 液晶ディスプレイ
２０３ ネットワークＩ／Ｆ
２１０ 主制御部
２２０ ＯＣＲ変換部
２３０ 手書きテキスト抽出部
２４０ 表示情報生成部
２５０ テキスト編集部
２６０ 操作表示制御部
２７０ 入出力制御部
Ｃ１ 文書文字
Ｃ２ 手書き文字

特開２００６−１９６９７６号公報

Claims (6)

1. 原稿に予め印字された印字文字及び前記印字文字が印字された後に加筆された加筆文字が光学的に読み取られて生成された読取画像データにおける前記印字文字の画像及び前記加筆文字の画像を、文字データに変換する情報処理装置であって、
   前記印字文字の画像及び前記加筆文字の画像を前記文字データに変換するデータ変換部と、
   変換された前記文字データを編集するための文字データ編集情報を受け付ける編集情報受付部と、
   受け付けられた前記文字データ編集情報に従って、変換された前記文字データを編集する文字データ編集部と、
   変換された前記文字データから、前記印字文字の画像が前記文字データに変換された印字文字データと、前記加筆文字の画像が前記文字データに変換された加筆文字データとを区別する文字データ区別部と
   を備え、
   前記編集情報受付部は、区別された前記加筆文字データを編集するための加筆文字データ編集情報を受け付け、
   前記文字データ編集部は、受け付けられた前記加筆文字データ編集情報に従って、区別された前記加筆文字データを編集する情報処理装置。
2. 前記編集情報受付部は、前記加筆文字の画像が前記文字データに変換された加筆文字データ毎に、前記加筆文字データを編集するための加筆文字データ編集情報をそれぞれ個別に受け付け、
   前記文字データ編集部は、前記加筆文字データ毎にそれぞれ個別に受け付けられた前記加筆文字データ編集情報に従って、前記加筆文字データを前記加筆文字データ毎にそれぞれ個別に編集する請求項１に記載の情報処理装置。
3. 前記加筆文字の画像が前記文字データに変換された加筆文字データを編集するための加筆文字データ編集情報を入力させるための入力画面を表示画面に表示させるための入力画面表示情報を生成する入力画面表示情報生成部をさらに備え、
   前記編集情報受付部は、前記入力画面において入力された前記加筆文字データ編集情報を受け付ける請求項１又は２に記載の情報処理装置。
4. 前記文字データ編集部は、前記加筆文字の画像が前記文字データに変換された加筆文字データの文字、文字種、文字サイズ、文字色、文字位置、文字の向き、前記加筆文字データを含む所定の領域の背景色、及び前記所定の領域を囲む枠線の少なくともいずれかを編集する請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 原稿に予め印字された印字文字及び前記印字文字が印字された後に加筆された加筆文字が光学的に読み取られて生成された読取画像データにおける前記印字文字の画像及び前記加筆文字の画像を、文字データに変換する情報処理装置が行う情報処理方法であって、
   前記情報処理装置が、前記印字文字の画像及び前記加筆文字の画像を前記文字データに変換するデータ変換ステップと、
   前記情報処理装置が、変換された前記文字データを編集するための文字データ編集情報を受け付ける編集情報受付ステップと、
   前記情報処理装置が、受け付けられた前記文字データ編集情報に従って、変換された前記文字データを編集する文字データ編集ステップと、
   前記情報処理装置が、変換された前記文字データから、前記印字文字の画像が前記文字データに変換された印字文字データと、前記加筆文字の画像が前記文字データに変換された加筆文字データとを区別する文字データ区別ステップと
   を含み、
   前記編集情報受付ステップは、区別された前記加筆文字データを編集するための加筆文字データ編集情報を受け付け、
   前記文字データ編集ステップは、受け付けられた前記加筆文字データ編集情報に従って、区別された前記加筆文字データを編集する情報処理方法。
6. 原稿に予め印字された印字文字及び前記印字文字が印字された後に加筆された加筆文字が光学的に読み取られて生成された読取画像データにおける前記印字文字の画像及び前記加筆文字の画像を、文字データに変換する処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   前記コンピュータが、前記印字文字の画像及び前記加筆文字の画像を前記文字データに変換するデータ変換ステップと、
   前記コンピュータが、変換された前記文字データを編集するための文字データ編集情報を受け付ける編集情報受付ステップと、
   前記コンピュータが、受け付けられた前記文字データ編集情報に従って、変換された前記文字データを編集する文字データ編集ステップと、
   前記コンピュータが、変換された前記文字データから、前記印字文字の画像が前記文字データに変換された印字文字データと、前記加筆文字の画像が前記文字データに変換された加筆文字データとを区別する文字データ区別ステップと
   を含み、
   前記編集情報受付ステップは、区別された前記加筆文字データを編集するための加筆文字データ編集情報を受け付けるステップであり、
   前記文字データ編集ステップは、受け付けられた前記加筆文字データ編集情報に従って、区別された前記加筆文字データを編集するステップ
   を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。