JP2005260655A - 画像形成装置 - Google Patents

Abstract

【課題】視覚的弱者に対して原稿読み取り装置より読み込んだ原稿の種別を音声で知らせることができる画像形成装置を提供すること。
【解決手段】音声を発生させる音声発生装置と、原稿を光学的に読み取り電子データに変換する画像読み取り手段と、前記画像読み取り手段により読み取られた画像データを一時記憶するデータ記憶手段と、前記画像記録手段に記憶されている画像データに基づく可視像を記録媒体上に形成する画像形成手段を有する画像形成装置において、前記画像読み取り手段により読み取られた画像データより画像の領域と画像領域中の文字列を判別する文字列判別手段と、前記文字列判定手段の判定結果に基づいて前記音声発生装置を制御する手段と、を有することを特徴とする。
【選択図】図１

Description

本発明は、原稿を光学的に読み取り電気信号に変換して記録媒体へ一時記憶し、記憶されたデータに基づき被記録媒体上へ可視の画像を形成する画像形成装置に関するものである。

特に、本発明画像形成装置の有する原稿読み取り装置により読み取られた原稿についてその読み取られた原稿の種別を判定し、音声発生装置を制御することによりメッセージを発生させユーザに原稿種別を認識させるものである。

従来、原稿を光学的に読み取り、読み取った画像データよりテキストデータを抽出し、編集可能なテキストデータに変換する画像入出力装置が知られている。

又、原稿読み取り手段により読み込んだ画像を一時記憶するための記憶手段を有する記憶手段において記憶された画像データを被記録材上に画像形成を行うことが可能な画像形成装置が知られている。

以上のような画像形成装置において視力が低いユーザ等視覚的な弱者が認識することが難しいとされる原稿中の文字サイズや原稿の種別について、原稿の表裏や種別を確認しないまま原稿を原稿読み取り装置で読み込ませることを想定した場合、原稿台又は自動原稿送り装置にセットする方向を誤ってセットする場合に音声で原稿読み取り装置への原稿のセット状態並びにセットしている原稿の種別を通知してリカバリを促す方法が必要である。

本発明は上記事情に鑑みてなされたもので、その目的とする処は、視覚的弱者に対して原稿読み取り装置より読み込んだ原稿の種別を音声で知らせることができる画像形成装置を提供することにある。

上記目的を達成するため、本発明は、音声を発生させる音声発生装置と、原稿を光学的に読み取り電子データに変換する画像読み取り手段と、前記画像読み取り手段により読み取られた画像データを一時記憶するデータ記憶手段と、前記画像記録手段に記憶されている画像データに基づく可視像を記録媒体上に形成する画像形成手段を有する画像形成装置において、前記画像読み取り手段により読み取られた画像データより画像の領域と画像領域中の文字列を判別する文字列判別手段と、前記文字列判定手段の判定結果に基づいて前記音声発生装置を制御する手段と、を有することを特徴とする。
とから構成した。

本発明によれば、原稿読み取り装置に読み込まれたデータより文字及びそのサイズ、位置又はイメージを抽出して編集可能なフォーマットとし、そのフォーマットより原稿の種別を判定し、判定結果に基づく音声を発生させることにより、視覚的弱者に対して原稿種別を音声で知らせることができる。

以下に本発明の実施の形態を添付図面に基づいて説明する。

図１は本発明に係る画像形成装置の概略図である。

スキャナ１０１は、原稿台１０２又は自動原稿送り装置１０３に置かれた原稿を光学的に読み取り電子データに変換する。コントローラユニット１０４は、スキャナ１０１と印刷機１０５間のデータの処理や機器制御を司る。具体的には、ハードディスク１０６等の記録装置にスキャナによって読み込んだ画像データを一時的に記録を行ったり、図示しないネットワーク上の情報処理装置へデータを送信する等、多目的の制御を司る機器制御ブロックや、スキャナ１０１によって読み込んだ画像データより文字を抽出し編集可能なフォーマットへ変換する文字抽出変換ブロック１０８、前記文字抽出変換ブロックで変換されたフォーマットデータより原稿種別を判定し音声データを発生する音声発生ブロック１０７、画像読み取り時や印刷機１０５において被記録材へ印刷する時に各種画像処理を行う画像処理ブロック１０９を有する。

又、コントローラユニット１０４にはその他に図示しないEtherNetや電話回線等ネットワーク通信するためのＩ／Ｆを有するネットワークブロック、画像形成装置の機能を拡張するためのＰＤＬプリントＩ／Ｆ、ＣＰＵアクセラレータＩ／Ｆ等もユニットとして構成することができる。又、画像読み取りから画像形成に至る制御は図２に示す操作部を通してユーザが設定操作を行う。特に、本発明に係る実施形態として画像処理ユニット並びに画像データを一時的に記録を行う記憶装置を用いて提案する装置の詳細は後に詳しく述べる。

図２に操作部の構成を示す。図２は図１に示す画像読み取り機１０１における操作パネル１０６の外観を示す図である。

ＬＣＤ表示部２０１は、ＬＣＤ上にタッチパネルシートが貼られており、システムの操作画面を表示するとともに、表示してあるキーが押されるとその位置情報をコントローラＣＰＵに伝える。スタートキー２０２は、原稿画像の読取り動作を開始する時等に用いる。スタートキー中央部には、緑と赤の２色ＬＥＤがあり、その色によってスタートキーが使える状態にあるかどうかを示す。ストップキー２０３は、稼働中の動作を止める働きをする。ＩＤキー２０４は、使用者のユーザＩＤを入力するときに用いる。リセットキー２０５は、操作部からの設定を初期化するときに用いる。

図３に画像読み取り装置の構成を示す。

図３において、３０１は原稿台ガラスであり、読み取られるべき原稿３０２が所定の位置に置かれる。原稿３０２は、例えばハロゲンランプから構成される照明ランプ３０３により照射され、その反射光はミラー３０４，３０５，３０６を経てレンズ３０７によりＣＣＤ３０８上に結像される。ミラー３０４、照明ランプ３０３を含む第１ミラーユニット３１０のミラー３０４は、速度ｖで移動し、ミラー３０５，３０６を含む第２ミラーユニット３１１は、速度１／２ｖで移動することにより、原稿３０２の前面を走査する。第１ミラーユニット３１０及び第２ミラーユニット３１１は、モータ３０９により駆動する。ＣＣＤ３０８によって撮像されると、例えばＲ，Ｇ，Ｂそれぞれ８ビットのデジタル画像信号に変換され、図４に示す画像処理や装置のシーケンス制御を行うコントローラユニットへ入力される。

次に、コントロールユニットの構成を示す。

コントロールユニットは、ＣＰＵ４０１、画像処理回路４０２、ＲＡＭ４０３、ＲＯＭ４０４、Ｉ／Ｏ制御回路４０５、画像データや機器制御プログラム等を記憶する記憶装置４０６、ネットワークＩ／Ｆ４０７、操作部４０８、操作部４０８上に表示されるデータを記憶するＶＲＡＭ４０９、制御プログラム等が記憶されているＲＯＭ４１０、拡張インターフェース４１１から構成されている。

ＣＰＵ４０１は、画像のＪＢＩＧ，ＪＰＥＧ等の圧縮、伸長、回転等をＲＡＭ４０３上のデータに対して施す処理機能とネットワークインターフェイス４０７を介してイーサネット等のネットワークとの通信を行うネットワークコントローラ、又、ＰＣの標準拡張バスであるＰＣＩバスインターフェースを有し、拡張Ｉ／Ｆ４１１に拡張デバイスを接続することにより機能の拡張を行うことができる。本発明に係る画像形成装置には前記拡張デバイスとして音声発生装置を接続している。音声発生装置はＰＣＩバスＩ／Ｆを有しており、スピーカとアンプから構成される一般的なものである。音声発生装置は、ＣＰＵ４０１からのコマンドで任意の音声を合成する。

コントロールユニット１０３へは図３に示した画像読み取り装置で読み取られたデジタル画像データが入力される。入力されたデジタルデータは、画像処理回路４０２で画像処理を施され、ＣＰＵ４０１を経由してＲＡＭ４０３又はＩ／Ｏ制御回路４０５を経由して接続されているＨＤＤ等の記憶装置４０６に圧縮して一時記憶する。一時的に圧縮記憶したビットマップデータは、ＣＰＵ４０６が伸長しＲＡＭに展開する。ＲＡＭ上に展開された画像データをそのまま画像処理回路を介して印刷機へデータを出力、或は展開されたデータについてＣＰＵ４０６が文字抽出変換処理を施し、編集可能なフォーマットとして文書を構成する。構成された編集可能フォーマットについて更にメモリに格納されている文字サイズのレファレンス値を参照して文字拡大処理を施す。文字拡大された文書データについて操作部上の画面に等倍表示するためのプレビュー画像を作成し、ＶＲＡＭ上に転送する。転送されたデータに基づき操作部上に表示する。

図５により印刷機１０５における画像データの信号処理を説明をする。

画像処理ブロックを出たイエロー（Ｙ）、マゼンダ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）の４色に色分解された画像データは、それぞれの図示しないＰＷＭ部を通ってそれぞれ画像形成される。５０１は三角波発生部、５０２は入力されるデジタル画像信号をアナログ信号に変換するＤ／Ａコンバータ（Ｄ／Ａ変換部）である。三角波発生５０１からの信号（図５（２）のａ）及びＤ／Ａコンバータ５０２からの信号（図５（２）のｂ）は、コンパレータ５０３で代償比較されて、図５（２）のｃのような信号となってレーザ駆動部５０４に送られ、ＣＭＹＫそれぞれがＣＭＹＫそれぞれのレーザ５０５でレーザビームに変換される。

そして、ポリゴンスキャナ６１３で、それぞれのレーザビームを走査して、それぞれの感光ドラム６１７，６２１，６２５，６２９に照射される。

図６にカラー印刷機の概要図を示す。

６１３はポリゴンミラーであり、４つの半導体レーザ６０５より発光された４本のレーザ光を受ける。その内の１本はミラー６１４，６１５，６１６を経て感光ドラム６１７を走査し、次の１本はミラー６１８，６１９，６２０を経て感光ドラム６２１を走査し、６２，６２３，６２４を経て感光ドラム６２５を走査し、次の１本はミラー６２６，６２７，６２８を経て感光ドラム６２９を走査する。

一方、６３０はイエロー（Ｙ）のトナーを供給する現像器であり、レーザ光に従い、感光ドラム６１７上にイエローのトナー像を形成し、６３１はマゼンタ（Ｍ）のトナーを供給する現像器であり、レーザ光に従い、感光ドラム６２１上にマゼンタのトナー像を形成し、６３２はシアン（Ｃ）のトナーを供給する現像器であり、レーザ光に従い感光ドラム６２５上にシアンのトナー像を形成し、６３３はブラック（Ｋ）のトナーを供給する現像器であり、レーザ光に従い、感光ドラム６２９上にマゼンタのトナー像を形成する。

以上４色（Ｙ，Ｍ，Ｃ，Ｋ）のトナー像がシートに転写され、フルカラーの出力画像を得ることができる。

シートカセット６３４，６３５又は手差しトレイ６３６の何れかより供給されたシートは、レジストローラ６３７を経て転写ベルト６３８上に吸着されて搬送される。給紙のタイミングと同期が取られて、予め感光ドラム６１７，６２１，６２５，６２９には各色のトナーが現像されており、シートの搬送と共にトナーがシートに転写される。各色のトナーが転写されたシートは、分離され、搬送ベルト６３９により搬送され、定着器６４０によってトナーがシートに定着される。定着器６４０を抜けたシートは、フラッパ６５０により一旦下方向へ導かれてシートの後端がフラッパ６５０を抜けた後、スイッチバックさせて排出する。これによりフェイスダウン状態で排出され、先頭頁から順にプリントしたときに正しい順となる。

尚、４つの感光ドラム６１７，６２１，６２５，６２９は、距離ｄをおいて、等間隔に配置されており、搬送ベルト６３９により、シートは一定速度ｖで搬送されており、このタイミング同期がなされて４つの半導体レーザ６０５は駆動される。

図７にモノクロ印刷機部の概観図を示す。

７１３はポリゴンミラーであり、４つの半導体レーザ５０５より発光されたレーザ光を受ける。レーザ光はミラー７１４，７１５，７１６を経て感光ドラム７１７を走査する。一方、７３０は黒色のトナーを供給する現像器であり、レーザ光に従い、感光ドラム７１７上にトナー像を形成し、トナー像がシートに転写され、出力画像を得ることができる。

シートカセット７３４，７３５及び手差しトレイ７３６の何れかより給紙されたシートは、レジストローラ７３７を経て転写ベルト７３８上に吸着され、搬送される。給紙のタイミングを同期が取られて、予め感光ドラム７１７にはトナーが現像されており、シートの搬送とともに、トナーがシートに転写される。トナーが転写されたシートは、分離され、定着器７４０によってトナーがシートに定着される。定着器７４０を抜けたシートは、フラッパ７５０により一旦下方向へ導かれてシートの後端がフラッパ７５０を抜けた後、スイッチバックさせて搬出する。これによりフェイスダウン状態で排出され、
先頭頁から順にプリントしたときに正しいページ順となる。

図８にコントローラユニット１０３内の文字抽出変換ブロック１０８の構成を示す。

図４に図示したコントローラ構成においてＣＰＵ４０１の内部構成回路とＲＡＭ４０３上にマッピングされた各領域間で以下のような処理を行う。

具体的には、同図において、８０１は文書画像を取り込むスキャナ回路（画像読み取り手段）、８０２はその文書画像を記憶するメモリ回路（データ記憶手段）８０３を制御するメモリコントロール回路、８０４は入力した文書画像の特徴により文字部の領域等を分割する領域分割回路（抽出手段）、８０５はその領域分割結果を記憶する領域メモリ、８０６は画像の特徴を抽出、比較することにより文字、記号等を認識する認識回路（認識手段）である。８０７はその認識結果を記憶する認識メモリ、８０８は辞書メモリ、８０９は入力情報の処理を行う情報処理回路（処理手段）で、任意の複数の文字部を選択し、選択した複数の文字部の認識結果を再構成する（文字抽出変換手段）。

８１０は文字部や画像を表示するモニタ等の表示装置（表示手段）、８１１はＭＯドライブ或はハードディスク等の外部記憶装置、又、画像形成装置内の内部記憶装置８１３は、本画像入出力装置のシステム全体の制御を司るＣＰＵ等から成るシステム制御回路であり、ＲＯＭ８１４に記憶されたプログラムに従って全体の制御を行う。ＲＯＭ８１４は、後述するフローチャート等、本発明に係る処理の制御プログラムを記憶している。

尚、図８に示した構成においてメモリコントロール回路８０３、像域分離回路８０４、認識回路８０６、情報処理回路８０９は、先に述べた図４におけるコントローラブロックのＣＰＵ４０１の回路構成に含まれている。上記回路をソフトウェア処理で行っても良い。

又、メモリ回路８０２、領域メモリ８０５、認識メモリ８０７、辞書メモリ８０８は、図４に示すＲＡＭ４０３上の領域にマッピングされている。

次に、図９のフローチャートにより動作を説明する。このフローチャートの動作は、システム制御回路８１３により実行されるものである。

先ず、システム制御回路８１３の制御の下で、スキャナ回路８０１に文書画像読み込み指示が与えられると、スキャナ回路８０１は文書画像をデジタル画像データ（以下、イメージデータと言う）として読み取る（ステップＳ９０１）。この読み取ったイメージデータは、メモリコントロール回路８０２の制御により、メモリ回路８０３に記憶される（ステップＳ９０２）。

そして、文書画像１枚分のイメージデータがメモリ回路８０３に記憶されると、システム制御回路８１３は、メモリコントロール回路８０２に指示し、読み取ったイメージデータを領域分割回路８０４に出力させるとともに、領域分割８０４に対して動作指示を与える。この結果、領域分割回路８０４は、入力されたイメージデータ中のイメージの種別を判定し（ステップＳ９０３）、その結果を領域メモリ８０５に記憶される（ステップＳ９０４）。

ここで、領域判定処理としては、例えば入力したイメージデータに対して処理速度を上げるために間引き処理が行われたり、黒画素の連続性を検出するために輪郭線追跡が行われる。そして、黒画素が連続する領域に外接する矩形を抽出し、その矩形の大きさや、その中に存在する黒画素の占める割合等でもってその領域が文字から成るイメージか、写真等の非文字部分かを判別する。

一般に、文字画像は縦書きと横書きの場合があるが、これは上記の文字と判定された矩形領域との距離を調べ、水平方向との距離が小さい場合には横書き、垂直方向の距離が小さい場合には縦書きと判定することができる。

又、写真等の場合には、矩形の大きさが或る程度以上になり、且つ、黒画素数が多い場合であり、表の場合には、矩形が整然と並んでいて、且つ、矩形内の黒画素数が占める割合が低いので容易に判断できる。

本実施の形態では、以上のようにして領域分割するものとするが、これ以外のアルゴリズムに従っても良いのは勿論である。要するに、本実施の形態では少なくとも文字イメージ部分と非文字部分とを識別できれば良い。

又、場合によっては、個々の領域をユーザが表示画面を見て、ポインティングデバイスでもって領域を設定し、種別を指定或は修正するようにしても良い。

以上の結果、領域分割回路８０４は領域メモリ８０５に例えば図１２に示すようなテーブルを構築する。

図１２に示すテーブルにおいて、第１フィールドは個々の領域に付けられた領域番号であり、第２フィールドはその領域（矩形）を特定する情報（左上隅と右した隅の座標）である。又、第３フィールドは個々の領域の種別が格納され、本実施形態では文字イメージであることを示す“テキスト”と、写真画像等の非文字であることを示す。“非テキスト”の２種類としている。

次に、上述の領域分割回路８０４による領域分割処理が完了すると、システム制御回路８０２は領域メモリ８０５を参照して、テキスト領域として判定された領域のイメージデータをメモリ回路８０３より読み出し（ステップＳ９０５）、そのデータを認識回路８０６に出力される。このとき、領域分割回路８０４は単にバイパスするのみである。

認識回路８０６は、与えられたイメージデータから文字イメージを切り出し、その切り出した文字イメージから特徴情報を抽出し、辞書メモリ８０８内の標準特徴情報と比較することで（ステップＳ９０６）、公知の文字認識処理を行う。

一般に、このような文字認識処理では、認識対象の文字イメージから得られる特徴情報（特徴ベクトル）と、認識辞書（辞書メモリ８０８）に記憶されている標準的な特徴情報との距離を求めていき、最も距離が近い標準特徴情報を有する文字（文字コード）を第１候補とし、以下、第２候補、第３候補…として出力する。このとき、最大候補はＮ個とし、それ以上の候補は出力しないというようにしている。

次に、認識回路８０６は、上記認識処理として得られた第１候補とその他の候補を認識メモリ７に出力する。このとき、システム制御回路８１２は、認識された文字イメージの位置情報（文書画像中のどの位置に存在した文字かを示す情報）を認識回路８０６に渡し、その情報も認識メモリ８０７に格納される（ステップＳ９０７）。この結果、認識メモリ８０７には図１３に示すようなテーブルが構築される。

図１３に示すテーブルにおいて、第１フィールドにはどの領域（図１３参照）の文字かを示す情報が、第２フィールドには文字イメージの位置情報が、第３フィールドには文字コード（認識結果得られた候補文字で第１候補、第２候補…）がそれぞれ格納される。

尚、ここでは個々の文字の大きさがほぼ一定であるものとしているが、異なるサイズ文字を有する文書画像を認識する場合には、図１３のテーブルにおける座標位置情報は２つ必要になる。即ち、例えば左上隅と右下隅の座標データである。

次に、上記のように文書画像中の文字領域に対する文字認識が完了すると、入力した文書画像中の文字以外と判定された領域についてはビットマップデータを、文字認識された部分に関しては認識メモリ８０７に記憶されたテーブルの内容をそれぞれ外部記憶装置８１１にファイリングする。又、文書画像の種別や位置を表している、領域メモリ８０５に記憶されたテーブルの内容も同時にファイリングする（ステップＳ９０８）。

ここで、文書画像が複数ある場合には、例えばスキャナー回路８０１に設けられた自動原稿搬送機の原稿載置センサーにより文書画像があるか否かの判断を行い、もしあれば以上述べた動作を繰り返し行う（ステップＳ９０９）。

又、不図示のキーボード等の指示を受け、他のアプリケーション等により認識した文字コード情報をプレーンテキストとして利用する場合は、外部記憶装置８１１より任意に選択した画像を読み出し、これを領域分割結果に基づいた画像として表示装置８１０に表示する処理や音声発生装置８１６で音声メッセージを発生させる処理は、システム制御回路８１３の制御の下で情報処理回路８０９が行う（ステップＳ９１０）。

次に、表示処理について説明する。

本実施形態における表示装置８１０は、図２に示した操作部の表示部とするが汎用のモニターでも良く、情報処理回路８０９内には表示画像を格納するバッファメモリが備えられているものとする。

非文字イメージ（写真等）についてはそのまま上記のバッファメモリに展開し、文字イメージに対しては認識結果の第１候補の文字コードに基づいて不図示のフォントメモリよりフォントデータを取り出して文字パターンを発生させ、認識メモリ７に格納されている図１３に示すテーブルの位置情報及びフォントサイズに従って対応する位置に展開する。又、認識メモリ８０７に記憶されている座標データに基づき、文字拡大、縮小、文書の再構成を行うために座標変換を行う。この変換された座標情報を基にフォントメモリよりフォントデータを取り出す。

一方、本発明の画像形成装置では、各々のフォントデータに対応する音声データを外部記憶装置８１０又は内部記憶装置８１１に記憶していてファイリングされたデータを参照して音声を発生させ文書を読み上げることが可能である。

次に、図１０のフローチャートにより音声による原稿種別メッセージ発生制御を説明する。

先ず、本発明の画像形成装置の原稿読み取り装置により原稿が読み取られる（ステップＳ１００１）、次に読み込まれた電子データより文字抽出変換処理を行う（ステップＳ１００２）、図９で説明のフローチャートに基づきファイリングされたデータを参照して、ファイル中に文字列か画像の領域が存在するか否かを図１２のテーブルを参照することにより判定を行う（ステップＳ１００３）。存在しない場合は白紙と判定しユーザに音声で「白紙です」とメッセージを出す（ステップＳ１００４）。

ユーザはメッセージを確認し、原稿の表裏が正しいか、つまり原稿台又は自動原稿送り装置に正しくセットされたかどうかの注意を促すことが可能となり、もう一度読み込ませるかそのまま出力させるかをシーケンシャルに行うことができる。白紙と判定されて原稿確認を「ＯＫ」であると判断した場合はフラグ「NOTHING ＝１」を設定する（ステップＳ１００６）。このフラグは後に原稿種別メッセージ発生のシーケンスで用いる。

次に、ステップＳ１００３で白紙でないと判定された場合、つまりファイリングされたデータ中に文字列かイメージデータが含まれていると図１２に示したテーブルから判断した場合（ステップＳ１００７）は、文字列が含まれている場合は文字列フラグ「CARACTER＝１」（ステップＳ１００９）、含まれていない場合は「CARACTER＝０」を設定する（ステップＳ１００８）。

次に、ステップＳ１００７同様ファイリングされたデータ中にイメージがないかを図１２のテーブルから判定して（ステップＳ１０１０）、イメージが含まれている場合はイメージフラグ「IMAGE ＝１」（ステップＳ１０１２）を設定、含まれていない場合は「IMAGE ＝０」をセットする。

以上のフラグ設定を用い「原稿種別」フラグを読み込み（ステップＳ１０１３）、原稿種別メッセージを発生する（ステップＳ１０１４）。

図１１のフローチャートによりユーザの操作フローの一例を示す。

ユーザは原稿を本画像形成装置の有する原稿読み取り装置原稿をセットてし原稿を読み取らせる（ステップＳ１１０１）、白紙か否かを判定結果に基づくメッセージを確認する（ステップＳ１１０２）、原稿に正しくセットされているか否かを確認して（ステップＳ１１０４）間違っている場合は原稿を載せ換える（ステップＳ１１０３）、原稿が正しくセットされている場合は操作部スタートボタンを押し原稿種別を発せられる音声で確認する。

このとき、図１２のテーブルの第３フィールドに個々の領域の種別が格納されているので、テキスト領域についてのみ、第１のフィールドに格納された領域番号及び第２フィールドに格納された領域（矩形）を特定する情報により、バッファメモリに展開された画像に認識処理が行われた順序を表す番号を付加するとともに、文字イメージ領域を表す枠を付加した後、表示装置８１０に表示する。

図１４は原稿画像と表示画像の関係の具体例を示したものである。同図中、１４００は文書画像（若しくはメモリ回路８０３に記憶された画像データ）を示しており、図示のように、文書画像は写真画像と文字とが混在したものとなっている。

又、１４０１は表示装置８１０の表示内容を示し、１４０２はこのとき利用可能なプレーンテキストを示しており、認識処理の順序を誤ったために文脈が前後している。

そこで、不図示のキーボード等により、１４０３の表示内容のように表示された認識処理の順序を変更指示することによって、システム制御回路８１３の制御の下で情報処理回路８０９は外部記憶装置８１１に別ファイルとして記憶する。

ここで、文字コードの順序を変更するとき、例えば不図示の表の中に複数の文字が含まれている場合等、表全体の挿入位置を変更したい場合があるが、その際、表内の複数の文字部を連結させて１つの文字部として扱うことが可能であり、扱う文字部の数を削減することができる。

このようにして、外部記憶装置８１１に記憶された別ファイルを他のアプリケーションより読み込むことにより、文脈を正しく訂正した文字コード情報がプレーンテキストとして利用される。

図１５を用い、もう少し詳しく説明する。

先ず、前記した表示装置８１０の表示内容に付加された認識処理が行われた順序を表す番号についてであるが、以下のようにして作成している。

図１５ａ）には１４０１の表示内容に相当する８０５の領域メモリに構築されたテーブル内容を示しているが、これにより第１フィールドの領域番号から非テキスト領域を除いて、テキスト領域のみの領域番号を選択し、各々の順序関係を保存しながら空き番号が無くなるよう新規領域番号を設定し図１５ｂ）に示すような対応表を作成する。

この対応表において、第１フィールドは図１５ａ）の第１フィールドにおけるテキスト領域のみの領域番号であり、第２フィールドは前記した新規領域番号であり、これが１４０１の表示内容に付加した認識処理が行われた順序を表す番号に相当する。

従って、前記１４０３の表示内容で説明したように認識処理の順番を変更し、文脈を修正する場合は、例えば、不図示のキーボード等を用いて指示することにより認識処理が行われた順序を表す新規領域番号を図１５ｃ）に示すように修正することにより行うことが可能である。ここにおいては、２番目と３番目に行われた認識処理の順番を逆転させているが、対応表の第２フィールドに対応する第１フィールドの領域番号から、図１３のテーブルを参照して領域番号に対応する文字コードを抽出することができる。このようにして、修正した新規領域番号の順番で文字コードを外部記憶装置８１１より読み出し、１４０４に示すようなプレーンテキストが形成されることになる。又、前記した表内の複数の文字部を結合させて１つの文字部として扱う場合を図１６により説明する。

図１６ａ）は８０５の領域メモリに構築されたテーブル内容を示していて、領域番号の４〜７に対応する文字部が表内の文字部とする。

図１６ｂ）は修正前、図１６ｃ）は修正後の対応表であるが、これらを比較すると第１フィールドの４〜７に対応する文字部における第２フィールドの値が等しく変更され、しかも第１フィールドの２に対応する文字部における第２フィールドの値と順序関係が逆転している。これは表内の文字部が一括して第１フィールドの１と２の文字部の間に挿入されることを示している。

このようにして表内の複数の文字部に対して第２フィールドの値を等しくしておき、扱いを連動させることができる。但し、連動させる文字部の順序を入れ替える場合も考えられ、図１６ｃ）の対応表に第３フィールドを拡張し、表内の文字部の認識処理の順序を記述している。この拡張部分の順序を変更することで順序を変更する。

以上の結果、例えばファイリングされた文字認識結果を利用したい場合には、他のアプリケーションに移動する前に、文字部の認識結果が文脈通りになっているかを容易に認識することができ、それが満足できないものであれば、不図示のキーボード等で適宣認識結果を訂正することが可能である。

尚、上記の例では、認識結果の文字コードに基づいて文字パターンを発生させて表示したが、全画像のビットマップをファイリングすることにより、そのまま表示するようにしても良い。但し、この場合にも、認識処理が行われた順序を表す番号を付加するとともに、文字部ごとに文字イメージ領域を表す枠を付加する。

又、上記の例では、認識処理が行われた順序を数字により表し、又、文字イメージ領域を表すのに枠により囲んだが、これに限らず、順序を表すのにアルファベット等を使用したり、枠の代わりに網掛けや表示色を変えたりする等しても良い。即ち、区別できさえすれば、如何なる表示形態にしても良い。

又、上記の例では、領域分割結果に基づく画像の表示及び確認することにより、文脈を訂正した後、プレーンテキストを別ファイルとして記憶しているが、その際、同時に既にファイリングされた各テーブル内容を前記対応表を作成記憶することにより修正するようにしても良い。

又、上記の例では、領域分割結果に基づく画像を表示する例を示したが、プリント出力装置によりプリントしても良い。この場合、複数枚出力することにより、後で一括して訂正処理を行うことで可能である。

更に、本実施の形態で示した装置を汎用の情報処理装置に適用しても良い。この場合の装置構成としては、例えば図１５に示すような構成となる。

図１７において、１７００は装置或はシステム全体を制御するＣＰＵ、１７０１はブートプログラムやＢＩＯＳ等を記憶するＲＯＭ、１７０２はＣＰＵ１７００のワーク領域として使用するＲＡＭであり、図８のメモリ回路８０３に対応するイメージ格納エリア１７０３、領域メモリ８０５に対応する領域種別エリア１５０４、認識メモリ８０７に対応する認識結果エリア１７０５、音声発生器１７１７から音声を発生するための音声データエリア１７１８をはじめ、以下のデータ或はプログラムが展開若しくは確保されている。

即ち、１７０６は一連の処理手順に対応するプログラム、１７０７は印刷する時に使用する出力バッファエリア、１７０８は制御プログラム１７０６をはじめとして本装置全体の制御を行うオペレーティングシステム（ＯＳ）である。

又、１７０９は原稿画像を読み取るためのイメージスキャナー、１７１０はハードディスク装置や光磁器ディスク装置等の大容量記憶装置であり、この中にはオペレーティングシステム１７０８も記憶されている。１７１１は過搬性の記憶媒体からのデータのリードを行うための装置であって、図示ではディスクドライブを有したフロッピーディスク装置である。このフロッピーディスク装置１７１１にセットするフロッピーディスク、若しくはハードディスク装置等の記憶装置１７１０の何れか一方に、上述の制御プログラム１７０６が格納されている。

１７１２は表示画面に表示するビットマップイメージを展開するためのＶＲＡＭ、１７１３はこのＶＲＡＭ１７１２に展開されたビットマップイメージを表示する表示器、１７１４は認識結果を修正するための各種情報を入力するためのキーボード、１７１５は表示器１７１３の表示画面の中で所望の位置を指定したり、各種メニューの中の１つを選択したりするためのポインティングデバイス、１７１６はプリンタである。１７１７はシステムの使用に際してユーザに音声で操作方法等を知らせるための音声発生器である。

上記構成の装置における動作は、先に説明した実施形態の動作とほぼ同じであるが、メモリコントロール回路２や領域分割回路４に相当する処理は、ＣＰＵ１００が制御プログラム１０６に従って行うことになる。

このように、本発明は、汎用の情報処理装置或はシステムに、先に説明した処理を実現するためのプログラムを外部から供給することでも達成できる。

従って、本発明は、ホストコンピュータ、インタフェース、プリンタ等の複数の機器から構成されるシステムに適用しても、複写機等の１つの機器から成る装置に適用しても良い。

又、本発明は、システム或は装置に記憶媒体に格納されたプログラムを供給することによって達成されることは言うまでもない。

図１８に本発明の画像形成装置における文字抽出変換処理についてその処理手順を示す。

画像読み取り装置によって読み込まれたデータは、一時的にハードディスク等の記憶装置に圧縮データとして記憶される。本発明では、画像形成装置が非稼動時つまりユーザが本画像形成装置を使用していない時に、予め操作部２００によって設定（ｃ）で自動的にコントローラユニットにおいて記憶装置より圧縮データを読み込んできて圧縮後のデータを伸長し（ａ）、文字抽出変換ブロックにおいて編集可能なテキストデータを抽出し、抽出された文字とその位置情報からページ構成し（１８０２，１８０５）、元の画像データと関連づけて元の画像データとは別に記憶装置に記憶する（ｂ）。

勿論、非稼動時以外にも適時設定で文字抽出変換処理を機能させることもできる。このとき、元の画像データへ関連づける内容として、ページとして構成された編集可能なフォーマットとなったデータとオリジナルの画像データ（１８０１，１８０４）を関連づけることは勿論のこと、画像データから抽出されたテキストデータのうちページの先頭部分又はページの代表的な文字列をファイル名とし、又、オリジナルの画像データに写真等のイメージデータが含まれるか否かの属性等を関連づける（１８０３，１８０６）。このように、画像データに関連づけられた各種情報より、例えば画像データ中に或る特定の文字列が含まれる場合は, 音声データでメッセージをユーザに対して発することで注意を促したり、画像出力を制限する等の特別な制御を施すことが可能である。

上記オリジナルデータ（１８０１，１８０４）と変換後のデータ（１８０２，１８０５）は対になって記憶することもできるし、別に記憶することもできる。又、オリジナルデータをプリンタで印刷した場合記憶装置内のデータを削除することもできるし、そのまま保存することもできる。

図１９に原稿種別とフラグ、メッセージの関係を示す。

図１９（Ａ）は原稿が白紙であった場合、各フラグは「NOTHING=１」、「CHARACTER ＝０」、「IMAGE ＝０」と設定され音声データとしては図に示したように「原稿種別は白紙です」「原稿を確認してください」とメッセージが発せられる。（Ｂ）は原稿中に文字列のみ含まれている場合で各フラグは「NOTHING ＝０」「CHARACTER ＝１」「IMAGE ＝０」とセットされ、音声データとして「原稿種別は文字原稿です」と発せられる。（Ｃ）は原稿中に文字とイメージが混在している場合で各フラグは「NOTHING ＝０」「CHARACTER ＝１」「IMAGE ＝１」とセットされ、音声データとしては「原稿種別は文字写真原稿です」と発せられる。又、上記挙げた音声データは一例であり、原稿の種別が理解できれば他の音声データでも構わないものとする。

本発明は、原稿読み取り装置により読み取られた原稿の種別を判定する機能を備える画像形成装置に対して有用である。

本発明の画像形成装置の概略図である。 操作部の構成図である。 画像読み取り装置の構成図である。 コントロールユニット構成図である。 画像データの信号処理図である。 カラー印刷機の概略図である。 モノクロ印刷機の概略図である。 文字抽出部の説明図である。 文字抽出部の動作説明の一例を示すフローチャートである。 原稿種別判別によるフラグ設定の一例を示すフローチャートである。 ユーザの操作フローの一例を示すフローチャートである。 フローチャート図８の領域メモリに構築されるテーブルの内容を示す図である。 図８の認識メモリに構築されるテーブルの内容を示す図である。 原稿画像と表示画像との関係を示す説明図である。 テーブル内容と対応表の関係を示す図である。 テーブル内容と対応表の関係を示す図である。 装置の構成例を示すブロック図である。 本発明の画像形成装置における文字抽出変換処理の説明図である。 本発明の画像形成装置における音声メッセージ例を示す図である。

符号の説明

１０１ スキャナ
１０２ 原稿台
１０３ 自動原稿送り装置
１０４ コントローラユニット
１０５ 印刷機
１０６ ハードディスク
１０７ 音声発生ブロック
１０８ 文字抽出変換ブロック
１０９ 画像処理ブロック
２０１ ＬＣＤ表示部
２０２ スタートキー
２０３ ストップキー
２０４ ＩＤキー
２０５ リセットキー
４０１ ＣＰＵ
４０２ 画像処理回路
４０３ ＲＡＭ
４０４ ＲＯＭ
４０５ Ｉ／Ｏ制御回路
４０６ 記憶装置
４０７ ネットワークＩ／Ｆ
４０８ 操作部
４０９ ＶＲＡＭ
４１０ ＲＯＭ
４１１ 拡張Ｉ／Ｆ

Claims (4)

1. 音声データを発生させる音声発生装置と、原稿を光学的に読み取り電子データに変換する画像読み取り手段と、前記画像読み取り手段により読み取られた画像データを一時記憶するデータ記憶手段と、前記画像記録手段に記憶されている画像データに基づく可視像を記録媒体上に形成する画像形成手段と、を有する画像形成装置において
   前記画像読み取り手段により読み取られた画像データよりイメージ画像と文字列を抽出し原稿種別を判別する原稿種別判別手段と、前記原稿種別判定手段の判別定結果に基いて前記音声発生装置を制御する手段を有することを特徴とする画像形成装置。
2. 前記原稿種別判定手段において前記画像読み取り装置で読み込まれた画像中に文字列がある場合は前記音声発生装置よりその旨の音声メッセージを出力することを特徴とする請求項１記載の画像形成装置。
3. 前記原稿種別判定手段において前記画像読み取り装置で読み込まれた画像中に文字列が無い場合は前記音声発生装置よりその旨の音声メッセージを出力することを特徴とする請求項１記載の画像形成装置。
4. 前記原稿種別判定手段において前記画像読み取り装置で読み込まれた画像中に文字列以外の画像領域が判別された場合は前記音声発生装置よりその旨の音声メッセージを出力することを特徴とする請求項１記載の画像形成装置。

Images