JP2002015280A - 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像データ中の文字画像が文字コードデータ
に変換される割合を高くしつつ、誤認識の文字コードデ
ータが出力されることを有効に防止する。 【解決手段】 出力形式判定部は、入力された画像デー
タ中の文字画像から文字コードを認識した後に、当該文
字画像を文字コードデータに変換するか否かを、文字認
識確度Ｃn のほか、近隣の文字画像との連続性の度合い
である文字連続性度Ｐn を用いて判定する。文字連続性
度は、近隣文字画像との距離、フォントサイズの差、フ
ォントタイプの相違、文字画像列の長さ、および色の差
を検出することにより求められる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像認識技術に関
し、特に、入力された画像データ中の文字画像を、文字
コードデータに変換するか否かを判定する処理について
の画像認識技術に関する。

【０００２】

【従来の技術】最近の画像認識装置は、読取に関する条
件の良い原稿（例えば同一フォントの文字のみで構成さ
れた原稿）であれば、極めて高い精度で文字画像を文字
コードとして認識可能である。しかしながら、原稿上の
文字の品質が悪かったり、原稿上の文字等のレイアウト
が複雑であると、文字画像を文字コードとして認識する
認識精度が大きく低下し、誤認識される文字画像が増加
してしまう。

【０００３】このような問題に対し、原稿を読み取って
得られた画像データのすべてをバックアップ用に保存す
るシステムが知られている。しかし、バックアップ用の
画像データを含んで保存されたファイルの容量は、当然
ながら入力された画像データよりも大幅に増えてしま
う。

【０００４】そこで、誤認識されている可能性が高い文
字画像のみを、文字コードデータに変換することなく、
文字画像データ（例えばビットマップ形式の画像デー
タ）のまま出力する画像認識装置が提案されている。こ
こで、誤認識の可能性の判断には、例えばあらかじめ記
憶されている標準パターンとの類似度などの結果から検
出された、文字コードを認識する確からしさの情報が使
用される。

【０００５】

【発明が解決しようとする課題】しかしながら、文字コ
ードを認識する確からしさの情報だけでは、画像データ
中の文字画像のうち、どの文字画像が正確に文字コード
として認識されていて、どの文字画像が誤認識されてい
るかという判別の精度はあまり高いものではなく、結果
的に誤認識される文字画像を十分に除去することが困難
である。

【０００６】特に、最近では、読み取られる原稿は多様
化しており、カラーの原稿や複雑なレイアウトの原稿な
どが増えている。これに伴って、画像データから文字画
像が存在する文字領域を抽出することが難しくなってき
ている。したがって、例えば、図１１に示すような、非
文字である図形が文字部の中に埋め込まれた原稿を読み
取る場合、図１２に示すように、得られた画像データ中
の非文字画像である図形画像から誤って文字コードを認
識して、文字コードデータで出力される事態が生じ得
る。なお、図中の符号Ｅ1 は、図形画像から文字コード
が誤認識されて得られた文字コードデータ、符号Ｅ2
は、文字画像から文字コードが誤認識されて得られた文
字コードデータを示す。しかも、図形画像から文字コー
ドデータＥ1に変換される際の文字コードを認識する確
からしさが、本来の文字画像とあまり変わらない場合が
ある。このため、文字コードを認識する確からしさの情
報だけで文字コードデータに変換するか否かの判定を行
うと、図形画像から誤認識されて得られた文字コードデ
ータを除去することができない。

【０００７】一方、特開平８−５５１８５号公報には、
画像データ中の文字画像が存在する文字領域を抽出する
段階で、近隣の文字画像との位置関係を調べながら文字
領域を抽出するという技術が提案されている。また、特
開平８−１６１４２１号公報には、文字領域を抽出する
段階で、近隣の文字画像との位置関係を調べて文字領域
の候補となる文字候補領域をまず抽出し、この文字候補
領域内の画像データのうち文字コードを認識することが
できる文字画像によって文字領域を再構成するという技
術が提案されている。しかしながら、上記公報に開示さ
れたいずれの技術も、画像データ中から文字領域を抽出
するための技術に過ぎない。

【０００８】本発明は、上記従来技術の問題点に鑑みて
なされたものであり、本発明の目的は、入力された画像
データ中の文字画像が文字コードデータに変換される割
合を高くしつつ、誤認識の文字コードデータが出力され
ることを有効に防止することにある。

【０００９】

【課題を解決するための手段】本発明の目的は、下記す
る手段により達成される。

【００１０】（１） 画像認識装置において、入力され
た画像データ中の文字画像から文字コードを認識する文
字認識部と、文字コードが認識された文字画像について
の、近隣の文字画像との連続性の度合いである文字連続
性度を検出する文字連続性度検出部と、文字コードが認
識された文字画像を文字コードデータに変換するか否か
を、文字連続性度を用いて判定する出力形式判定部と、
を有することを特徴とする画像認識装置。

【００１１】（２） 前記文字連続性度検出部は、文字
コードが認識された文字画像と該文字画像の近隣の文字
画像との距離、文字コードが認識された文字画像と該文
字画像の近隣の文字画像とのフォントサイズの差、文字
コードが認識された文字画像と該文字画像の近隣の文字
画像とのフォントのタイプの相違、文字コードが認識さ
れた文字画像が含まれる連続した文字画像の列の長さ、
および文字コードが認識された文字画像と該文字画像の
近隣の文字画像との色の差のうち、少なくともいずれか
一つ以上を検出することを特徴とする上記（１）に記載
の画像認識装置。

【００１２】（３） 前記文字認識部は、さらに文字コ
ードを認識する確からしさの度合いである文字認識確度
を検出し、前記出力形式判定部は、前記文字認識部によ
り検出された文字認識確度と、前記文字連続性度検出部
により検出された文字連続性度とに基づいて判定するこ
とを特徴とする上記（１）または（２）に記載の画像認
識装置。

【００１３】（４） 入力された画像データ中の文字画
像が切り出されて形成され、隣接する文字コードデータ
に重なることなく連続して配置される文字画像データを
作成する文字画像データ作成部、をさらに有し、前記出
力形式判定部は、文字コードデータに変換しないと判定
された文字画像のうち文字連続性度が所定値以上の文字
画像を切り出して、文字画像データを作成すると判定す
ることを特徴とする上記（１）〜（３）のいずれかに記
載の画像認識装置。

【００１４】（５） 電子ファイルを作成するファイル
作成部、をさらに有することを特徴とする上記（１）〜
（４）のいずれかに記載の画像認識装置。

【００１５】（６） 原稿を読み取ることによって画像
データを得るスキャナ部、をさらに有することを特徴と
する上記（１）〜（５）のいずれかに記載の画像認識装
置。

【００１６】（７） 画像データを受信する画像データ
受信部と、データを用紙に印刷するプリント部と、をさ
らに有することを特徴とする上記（１）〜（６）のいず
れかに記載の画像認識装置。

【００１７】（８） 画像認識方法において、入力され
た画像データ中の文字画像から文字コードを認識する過
程と、文字コードが認識された文字画像についての、近
隣の文字画像との連続性の度合いである文字連続性度を
検出する過程と、文字コードが認識された文字画像を文
字コードデータに変換するか否かを、文字連続性度を用
いて判定する過程と、を有することを特徴とする画像認
識方法。

【００１８】（９） 画像認識プログラムを記録したコ
ンピュータ読取可能な記録媒体であって、入力された画
像データ中の文字画像から文字コードを認識する過程
と、文字コードが認識された文字画像についての、近隣
の文字画像との連続性の度合いである文字連続性度を検
出する過程と、文字コードが認識された文字画像を文字
コードデータに変換するか否かを、文字連続性度を用い
て判定する過程と、をコンピュータに実行させるための
画像認識プログラムを記録したコンピュータ読取可能な
記録媒体。

【００１９】

【発明の実施の形態】以下、添付した図面を参照して、
本発明の実施形態を説明する。

【００２０】図１は、本発明の第１実施形態に係る画像
認識装置を含む情報機器システムの構成図である。

【００２１】情報機器システム１００は、画像認識装置
としての機能を有するコンピュータ１０、画像入力装置
であるスキャナ５０、および、画像出力装置であるプリ
ンタ６０等の情報機器がネットワークＮ上に接続されて
構成されている。

【００２２】コンピュータ１０、スキャナ５０、およ
び、プリンタ６０は、ネットワークＮを経由して互いに
データの授受を行うことができる。

【００２３】図２は、コンピュータ１０の概略構成を示
すブロック図である。

【００２４】コンピュータ１０は、各情報機器との間で
データの授受を行うためのインターフェース（Ｉ／Ｆ）
１８と、スキャナ５０を制御するためのスキャナドライ
バ１２と、プリンタ６０を制御するためのプリンタドラ
イバ１４と、所定のプログラムやデータを記憶するＲＯ
Ｍ１５と、一時的にデータを記憶するＲＡＭ１６と、各
種情報の表示やユーザからの指示入力が可能な操作パネ
ル１７と、文字認識等の処理を行う画像処理部１３（詳
細後述）と、上記各部を制御する主制御部１１とを有し
ている。なお、スキャナドライバ１２、プリンタドライ
バ１４は、ソフトウェアであり、図示しないハードディ
スク等の記憶装置に記憶されている。

【００２５】図１に示す情報機器システムの動作指示
は、コンピュータ１０の操作パネル１７から行うことが
できる。本実施形態において操作パネル１７は、コンピ
ュータ１０のディスプレイ上に表示される架空のパネル
であり、コンピュータ１０を操作するためのキーボード
やマウス等の機器により、動作指示を行う。

【００２６】例えば、操作パネル１７上にはスキャン＆
ファイルボタンとスキャン＆プリントボタンとが表示さ
れており、スキャン＆ファイルボタンで動作指示を行っ
た場合には、スキャナ５０は原稿読取動作を開始し、読
み取りによって得られた画像データはコンピュータ１０
に送信され、画像処理部１３にて文字認識等の画像処理
がなされた後、所定の形式のファイルとしてコンピュー
タ１０内の記憶装置に保存される。

【００２７】また、スキャン＆プリントボタンで動作指
示を行った場合には、スキャナ５０の読み取りによって
得られた画像データは、画像処理部１３にて文字認識等
の画像処理がなされた後、プリンタ６０に送信され用紙
上に印刷される。

【００２８】次に、画像処理部１３について詳細に説明
する。

【００２９】画像処理部１３は、文字認識部３１、文字
色検出部３２、出力形式判定部３３、文字画像データ作
成部３４、文字消去部３５、およびファイル作成部３６
を備えている。

【００３０】文字認識部３１は、個々の文字画像から文
字コードを認識して文字コードデータを得るほか、文字
コードを認識する確からしさの度合いである文字認識確
度を検出する。文字画像から文字コードを認識する方法
は、例えば、各文字画像の特徴量とあらかじめ記憶され
ている辞書パターンとの一致の度合いに基づいて行われ
る。文字認識確度は、例えば１０段階で与えられ、値が
大きいと文字認識確度が高いことを意味する。また、文
字認識部３１は、文字画像の位置情報を認識する。個々
の文字画像の位置情報は、例えば図３に示すように、画
像データの左上を原点として、各文字画像の外接矩形の
左上および右下の座標として得られる。さらに、文字認
識部３１は、文字画像から、フォントのタイプやフォン
トサイズ、さらには太字・斜体などのスタイル、アンダ
ーライン等の文字属性を認識する。

【００３１】フォントのタイプは、例えばセリフ系とサ
ンセリフ系などに分類されて判別される。また、フォン
トサイズは、個々の文字画像の外接矩形の大きさと、文
字コードが認識されて得られた文字コードデータを一般
的なフォントで表した場合の大きさとを比較することに
より求められる。所定の代表的なフォントの文字高さや
文字幅などの情報、すなわちフォントメトリックデータ
は、あらかじめデータとして記憶されている。

【００３２】文字色検出部３２は、文字コードが認識さ
れた個々の文字画像の色を検出する。

【００３３】出力形式判定部３３は、文字コードが認識
された文字画像を、文字コードデータに変換するか否か
の判定を行う。本実施形態では、出力形式判定部３３
は、文字コードが認識された文字画像を調べて、文字コ
ードデータに変換するか、文字コードデータに変換せず
に、入力された画像データ中の文字画像が切り出されて
形成され、隣接する文字コードデータに重なることなく
連続して配置される文字画像データを作成するか、ある
いは入力された画像データのまま元の位置に残すか、の
判定を行う。そして、文字画像データ作成部３４は、文
字コードが認識された文字画像のうち、文字画像データ
を作成する旨の判定が行われた文字画像を、入力された
画像データから切り出して文字画像データを作成する。

【００３４】文字消去部３５は、元の画像データ、すな
わち入力されたカラーの画像データから、文字コードデ
ータまたは文字画像データとされた後の元の文字画像を
消去する。

【００３５】ファイル作成部３６は、入力された画像デ
ータ中の文字画像から得られた文字コードデータや文字
画像データなどを用いて、所定の形式のファイルを作成
する。

【００３６】次に、画像処理部１３の動作を図４および
図５のフローチャートを用いて説明する。

【００３７】まず、スキャナ５０で原稿を読み取ること
によって得られた画像データに対し、ＲＧＢ表色系から
Ｌａｂ表色系へと色空間の変換を行う（Ｓ１１）。Ｌａ
ｂ表色系は、スキャナあるいはプリンタ等の個々の情報
機器に依存しないので、ネットワークＮ上で共通の色情
報として扱うことができるものである。

【００３８】次に、文字認識部３１に入力する画像デー
タを作成するために、ＯＣＲ前処理が行われる（Ｓ１
２）。後に文字認識部３１がモノクロ２値画像データか
ら特徴量を抽出して文字コードの認識を行うことから、
ＯＣＲ前処理では、まず、Ｌａｂ表色系で表示されたカ
ラー画像データに対して２値化処理を行うことにより、
文字画像が黒で、その背景画像が白のモノクロ２値画像
データを作成する。本実施形態では、文字画像およびそ
の背景画像のＬ、ａ、ｂのレベルを検出することによ
り、例えば白地に書かれた色文字や、色地に書かれた黒
文字等が原稿上に表されていても、原稿を読み取ること
によって入力された画像データ中の文字画像から十分に
文字コードを認識することができるように２値化処理を
行う。この他、ＯＣＲ前処理では、入力された画像デー
タ中の孤立点等のノイズの除去、原稿が傾いて読み取ら
れた場合の補正処理、つぶれたりかすれたりしている文
字画像の補正なども行われる。

【００３９】ＯＣＲ前処理により得られたモノクロ２値
画像データは、文字認識部３１に入力され、文字認識処
理が行われる（Ｓ１３）。文字認識部３１は、モノクロ
２値画像データから文字画像が存在する文字領域の抽出
を行った後、文字領域内の個々の文字画像から文字コー
ドを認識する。また、文字認識部３１は、文字コードを
認識する確からしさの度合いである文字認識確度を検出
することができ、さらに、文字画像の位置情報のほか、
フォントのタイプ、フォントサイズ、太字・斜体などの
スタイル、アンダーライン等の文字属性を認識する。

【００４０】次いで、文字色検出処理が行われる（Ｓ１
４）。すなわち、文字コードが認識された個々の文字画
像の色は、文字色検出部３２により検出される。ここで
は、Ｌａｂ表色系に色変換された画像データが使用され
る。文字画像の色の検出は、例えば、画像データ中の文
字画像が存在する文字領域のＬａｂの値を読み取り、文
字画像を構成する全画素について、Ｌ、ａ、ｂそれぞれ
の平均値を求めることにより行う。文字画像とその背景
画像との画素の区別は、ＯＣＲ前処理（Ｓ１２）で得ら
れたモノクロ２値画像データを用いて行う。つまり、個
々の文字画像の外接矩形内において、モノクロ２値画像
データにおける黒画素を文字画像の画素、白画素を背景
画像の画素と区別することができる。

【００４１】文字画像を文字コードデータに変換して出
力する場合、文字色検出部３２により検出された個々の
文字画像の色情報に基づいて、色を指定して文字コード
データが出力される。これにより、例えば原稿上の文字
の色を再現することができる。

【００４２】そして、文字領域内の個々の文字画像につ
いて出力形式の判定処理が行われる（Ｓ１５）。すなわ
ち、出力形式判定部３３により、文字コードが認識され
た文字画像を、文字コードデータに変換するか否かの判
定が行われる。

【００４３】出力形式判定部３３は、大きく分けて２つ
の評価量に基づいて、出力形式の判定を行う。出力形式
の判定を行うための第１の評価量は、文字コードを認識
する確からしさの度合いである文字認識確度である。出
力形式の判定を行うための第２の評価量は、文字コード
が認識された文字画像についての、近隣の文字画像との
連続性の度合いである文字連続性度である。この文字連
続性度は、文字画像から認識される文字属性の連続性の
面から、文字らしさを評価した値であり、その詳細は後
述する。

【００４４】そして、出力形式判定部３３は、文字コー
ドが認識された文字画像のうち、文字コードデータに変
換しないと判定した文字画像を、さらに２つの出力形式
に分類して判定する。すなわち、出力形式判定部３３
は、文字コードが認識された文字画像が文字画像には違
いないものの文字認識確度が小さい場合、隣接する文字
コードデータに重なることなく連続して配置するため
に、入力された画像データ中の文字画像を切り出して文
字画像データを作成すると判定する。また、出力形式判
定部３３は、文字コードが認識された文字画像が非文字
画像である図形画像であるにもかかわらず誤って文字コ
ードが認識されたと考えられる場合、当該文字画像を入
力された画像データのまま元の位置に残すと判定する。

【００４５】次に、文字コードが認識された文字画像に
ついての出力形式の判定処理についてさらに詳しく説明
する。

【００４６】文字認識部３１からは、個々の文字画像に
対して、文字コードデータのほか、セリフ系・サンセリ
フ系などのフォントのタイプ、フォントサイズ、太字・
斜体などのスタイル、アンダーライン等の文字属性、文
字認識確度、文字コードが認識された各文字画像ごとの
位置情報、などの情報が出力される。そして、これら文
字認識部３１からの情報をもとに、文字画像の位置や文
字属性についての連続性を検出して文字らしさを評価す
る。前述したように、文字認識処理では、ある程度周辺
の文字画像との位置関係を調べて、より文字らしい部分
を文字領域として画像データから抽出するが、抽出され
た文字領域内に非文字画像である図形画像が文字画像と
間違えられて含まれている場合がある。本実施形態で
は、特に、これらの孤立した文字画像を誤って文字コー
ドデータに変換することのないように、すべての文字画
像から文字コードを認識した後に、当該文字画像を文字
コードデータに変換するか否かの判定を行うようにして
いる。

【００４７】文字連続性度、すなわち文字らしさの評価
量は、文字コードが認識された文字画像と該文字画像の
近隣の文字画像との距離、文字コードが認識された文字
画像と該文字画像の近隣の文字画像とのフォントサイズ
の差、文字コードが認識された文字画像と該文字画像の
近隣の文字画像とのフォントのタイプの相違、文字コー
ドが認識された文字画像が含まれる連続した文字画像の
列の長さ、および文字コードが認識された文字画像と該
文字画像の近隣の文字画像との色の差、の５項目につい
て順に調べ、各項目において文字画像の連続性に着目し
た評価ポイントを算出することにより検出される。

【００４８】具体的には、図５に示すように、まず、注
目する個々の文字画像の順番を示す変数ｎを初期化する
（Ｓ２１）。

【００４９】そして、文字コードが認識された文字画像
と該文字画像の近隣の文字画像との距離に基づいて、第
１の評価ポイントを計算する（Ｓ２２）。ここでは、注
目文字画像の前後±ｋ個の文字画像の位置情報（図３参
照）が調べられ、次式により第１の評価ポイントＰ1nが
計算される。なお、式中の添字は、個々の文字画像の順
番を示す（以下の式において同様）。

【００５０】

【数１】

【００５１】但し、Ｐ1n＜０のときは、Ｐ1n＝０ Ｍ1 ：第１の評価ポイントの最大値 Ｘ1 ：文字コードが認識された文字画像の外接矩形の左
Ｘ座標 Ｘ2 ：文字コードが認識された文字画像の外接矩形の右
Ｘ座標 Ｙ1 ：文字コードが認識された文字画像の外接矩形の上
Ｙ座標 Ｙ2 ：文字コードが認識された文字画像の外接矩形の下
Ｙ座標 である。

【００５２】上記式に示すように、近隣文字画像との距
離が大きい程、第１の評価ポイントは小さくなる。すな
わち、注目文字画像が近隣文字画像から離れている程、
連続性が小さく、文字画像である可能性が低いというこ
とを表している。

【００５３】なお、上記式からわかるように、例えば複
数の文字画像が横に並んで形成された行の右端や左端の
文字画像を考慮するため、注目文字画像の右側の近隣文
字画像との距離と左側の近隣文字画像との距離とを調べ
て、両者のうち小さい方が評価ポイントの計算に使用さ
れる。

【００５４】次に、文字コードが認識された文字画像と
該文字画像の近隣の文字画像とのフォントサイズの差に
基づいて、第２の評価ポイントを計算する（Ｓ２３）。
ここでは、注目文字画像の前後±ｋ個の文字画像のフォ
ントサイズが調べられ、次式により第２の評価ポイント
Ｐ2nが計算される。

【００５５】

【数２】

【００５６】但し、Ｐ2n＜０のときは、Ｐ2n＝０ Ｍ1 ：第２の評価ポイントの最大値 Ｓ ：フォントサイズ である。

【００５７】上記式の分母は、近隣文字画像の平均フォ
ントサイズを表す。上記式に示すように、近隣文字画像
とのフォントサイズの差が大きい程、連続性が小さく、
第２の評価ポイントは小さくなる。

【００５８】次に、文字コードが認識された文字画像と
該文字画像の近隣の文字画像とのフォントのタイプの相
違に基づいて、第３の評価ポイントを計算する（Ｓ２
４）。ここでは、注目文字画像の前後±ｋ個の文字画像
のフォントのタイプが調べられ、注目文字画像とフォン
トのタイプが相違している文字画像の数をＮf として、
次式により第３の評価ポイントＰ3nが計算される。

【００５９】Ｐ3n＝Ｍ3 −Ｎf 但し、Ｐ3n＜０のときは、Ｐ3n＝０ Ｍ3 ：第３の評価ポイントの最大値 である。

【００６０】上記式に示すように、近隣文字画像とのフ
ォントのタイプの相違が多い程、連続性が小さく、第３
の評価ポイントは小さくなる。

【００６１】次に、文字コードが認識された文字画像が
含まれる連続した文字画像の列の長さに基づいて、第４
の評価ポイントを計算する（Ｓ２５）。ここでは、注目
文字画像の前後に、順に個々の文字画像の外接矩形の間
隔を調べ、当該間隔が所定の閾値ＴＨ以上であれば、文
字画像列の区切りであると判断する。なお、閾値ＴＨ
は、例えば近隣文字画像の平均サイズによって変化させ
るのが望ましい。そして、注目文字画像をｎ番目の文字
画像として、注目文字画像の左側に存在するｉ1番目の
文字画像から、注目文字画像の右側に存在するｉ2 番目
の文字画像までが、一つの文字画像列であると判断され
ると、次式により第４の評価ポイントＰ4nが計算され
る。

【００６２】Ｐ4n＝ｉ2 −ｉ1 ＋１ 但し、Ｐ4n＞Ｍ4 のときは、Ｐ4n＝Ｍ4 Ｍ4 ：第４の評価ポイントの最大値 である。

【００６３】上記式に示すように、文字画像列が長い
程、連続性が大きいとされ、第４の評価ポイントは大き
くなる。

【００６４】最後に、文字コードが認識された文字画像
と該文字画像の近隣の文字画像との色の差に基づいて、
第５の評価ポイントを計算する（Ｓ２６）。ここでは、
注目文字画像の前後±ｋ個の文字画像の色が調べられ、
次式により第５の評価ポイントＰ5nが計算される。

【００６５】

【数３】

【００６６】但し、Ｐ5n＜０のときは、Ｐ5n＝０ Ｍ5 ：第５の評価ポイントの最大値 Ｌ，ａ，ｂ：文字画像の色をＬａｂ表色系で表した値 である。

【００６７】上記式に示すように、近隣文字画像との色
の差が大きい程、連続性が小さく、第５の評価ポイント
は小さくなる。

【００６８】以上のようにして求められた第１〜５の評
価ポイントから、総合評価ポイントとしての文字連続性
度Ｐn が、次式により計算される（Ｓ２７）。

【００６９】Ｐn ＝Ｗ1 ×Ｐ1n＋Ｗ2 ×Ｐ2n＋Ｗ3 ×Ｐ
3n＋Ｗ4 ×Ｐ4n＋Ｗ5 ×Ｐ5n 但し、Ｗ1 〜Ｗ5 は、それぞれの評価ポイントにたいす
るウェイトであり、適宜設定することができる。

【００７０】一方、この文字連続性度Ｐn とは別に、文
字コードを認識する確からしさの度合いである文字認識
確度Ｃn が、各文字画像ごとに得られる。

【００７１】そして、出力形式判定部３３は、文字認識
確度Ｃn のほか、近隣の文字画像との連続性の度合いで
ある文字連続性度Ｐn を用いて、既に文字コードが認識
された各文字画像について、出力形式の判定を行う。

【００７２】図６は、出力形式の判定基準を説明するた
めの図である。

【００７３】まず、文字認識確度Ｃn の閾値として、例
えば小さい方の閾値ＣＴh1と大きい方の閾値ＣＴh2とが
設定され、文字連続性度Ｐn の閾値として、例えば小さ
い方の閾値ＰＴh1と大きい方の閾値ＰＴh2とが設定され
る。

【００７４】出力形式判定部３３は、まず、文字認識確
度Ｃn が大きい方の閾値ＣＴh2より大きい文字画像を、
文字コードデータに変換する旨の判定を行う（Ｓ２８で
ＹＥＳ、Ｓ３３）。出力形式判定部３３は、また、文字
認識確度Ｃn が小さい方の閾値ＣＴh1より大きく、且つ
文字連続性度Ｐn が小さい方の閾値ＰＴh1より大きい文
字画像も、文字コードを正しく認識していると判断し
て、文字コードデータに変換する旨の判定を行う（Ｓ２
９でＹＥＳ、Ｓ３３）。すなわち、文字認識確度Ｃn が
非常に大きい文字画像（Ｃn ＞ＣＴh2）は、文字コード
データに変換すると判定され、文字認識確度Ｃn が中ぐ
らいの文字画像（ＣＴh1＜Ｃn ＜ＣＴh2）は、文字連続
性度Ｐn が閾値ＰＴh1より大きい場合に限って文字コー
ドデータに変換すると判定される。

【００７５】上記の２つのステップＳ２８およびＳ２９
で文字コードデータに変換しないと判定された文字画像
は、文字連続性度Ｐn により、さらに２つの出力形式に
分類されて判定される。すなわち、文字コードデータに
変換しないと判定された文字画像のうち、文字連続性度
Ｐn が閾値ＰＴh2より大きい文字画像は、入力された画
像データ中の文字画像を切り出して文字画像データを作
成すると判定される。一方、文字コードデータに変換し
ないと判定された文字画像のうち、文字連続性度Ｐn が
閾値ＰＴh2以下の文字画像は、入力された画像データの
まま元の位置に残すと判定される。

【００７６】このように、文字認識部３１により文字コ
ードが認識された文字画像は、出力形式判定部３３によ
り、最終的に３つに分類される。すなわち、個々の文字
画像は、確実に文字コードが認識されたと判断されて、
文字コードデータで出力する旨の判定が行われたもの
（図６中のＡ1 で示す領域）と、文字画像には違いない
が正しい文字コードが認識できたか否かが疑わしい文字
画像と判断されて、隣接する文字コードデータに重なる
ことなく連続して配置される文字画像データで出力する
旨の判定が行われたもの（図６中のＡ2 で示す領域）
と、近隣文字画像との連続性が少なく、非文字画像であ
る図形画像であるにもかかわらず誤って文字コードが認
識された文字画像であると判断されて、入力された画像
データのまま元の位置に残す旨の判定が行われたもの
（図６中のＡ3 で示す領域）と、に分類される。

【００７７】そして、注目する文字画像の順番を示す変
数ｎを繰り上げ（Ｓ３４）、画像データ内の全文字画像
について、上記の処理を繰り返し行う（Ｓ３５）。

【００７８】このようにして、画像データ中の個々の文
字画像について出力形式の判定処理が終了すると、図４
に示すメインフローチャートに戻り、文字画像データの
作成が行われる（Ｓ１６）。すなわち、文字画像データ
作成部３４は、文字認識部３１から出力される文字画像
の位置情報にしたがって、画像データ中の文字画像を切
り出して文字画像データを作成する。このとき、個々の
文字画像ごとに外接矩形領域の画像データが切り出され
る。

【００７９】ここで、文字画像データとして出力する文
字画像を、原稿を読み取って得られた画像データとして
元の位置に残さず、個々の文字画像単位で切り出すの
は、文字コードデータと文字画像データとが重ならない
ようにするためである。つまり、一般に、入力フォント
と出力フォントとが全く同じである場合は少ないので、
例えば文字画像から変換された文字コードデータが配置
される位置と、入力時の画像データ中の文字画像の位置
とは、多少ずれてしまう。したがって、文字画像を一文
字画像ずつ切り出さずに元の画像データとして残した場
合、そのままで文字コードデータを配置すると、文字コ
ードデータと原稿を読み取って得られた元の画像データ
中の文字画像とが重なるといった問題が生じ得る。そこ
で、本実施形態では、一文字画像ずつ切り出しておい
て、文字画像データを作成し、例えば文字コードデータ
を出力フォントで配置した位置に続けて、切り出してお
いた文字画像データを配置する。

【００８０】また、文字画像データ作成部３４は、文字
画像データを作成する際に、文字画像の外接矩形内に対
して、エッジ強調、または当該文字画像に適したγ変換
を行う。これにより、例えばビットマップで表された文
字画像データでも、用紙に印刷して鮮明な文字を再現す
ることができる。

【００８１】次に、文字消去処理が行われる（Ｓ１
７）。すなわち、文字画像から文字コードデータまたは
文字画像データを得た後、文字消去部３５により、原稿
を読み取ることによって入力されたカラーの画像データ
から、文字コードデータまたは文字画像データとされた
後の元の文字画像が消去される。

【００８２】図７は、文字消去処理を説明するための図
である。図７に示すように、個々の文字画像の外接矩形
内における画像データ（図７（Ａ））から、文字画像に
当たる部分を一旦消去し（図７（Ｂ））、周囲の画像デ
ータで補完する（図７（Ｃ））。消去する部分は、当該
文字画像の外接矩形内におけるモノクロ２値画像データ
から黒を２〜３画素膨張させる処理を行うことによって
求める。なお、原稿を読み取ることによって入力された
元の画像データから文字画像に当たる部分を除去した後
の画像データには、図７（Ｂ）に示すように、文字画像
以外の画像データ、すなわち、写真や線画に対応する画
像、背景画像などが残っている。

【００８３】以上の処理を実施することにより、例えば
図８に示すように、画像データ中の文字画像から、文字
コードデータＤ1 と文字画像データＤ2 とが、また、非
文字画像である図形画像をそのまま残した画像データＤ
3 が得られる。なお、図９は、文字コードデータ、文字
画像データ、および画像データの内容を別々に示す図で
ある。図８および図９に示されるように、非文字画像で
ある図形画像であるにもかかわらず誤って文字コードが
認識された孤立して存在している文字画像は、文字コー
ドデータに変換されないので、図１２のように図形画像
の部分に誤認識の文字コードデータが出力されることは
ない。

【００８４】そして、これらの文字コードデータ、文字
画像データ、および画像データは、所定のファイル形式
でページ内に配置されて保存される（Ｓ１８）。なお、
スキャン＆プリントボタンが選択されている場合は、所
定のデータがプリンタ６０に送信されて用紙に印刷され
る。

【００８５】このように、本実施形態によれば、文字画
像から文字コードを認識した後に、当該文字画像を文字
コードデータに変換するか否かの判定を、文字連続性度
を用いて行うようにしたので、非文字画像である図形画
像であるにもかかわらず誤って文字コードが認識され
て、文字コードデータとして出力される事態を有効に防
止することができる。

【００８６】しかも、文字連続性度を用いることによ
り、文字コードを認識する確からしさに高目の厳しい閾
値を設けなくても誤認識の文字コードデータを除去する
ことが可能となるため、入力された画像データ中の文字
画像が文字コードデータに変換される割合を高く維持す
ることができる。

【００８７】本発明は、上記した実施形態のみに限定さ
れるものではなく、特許請求の範囲内において、種々改
変することができる。

【００８８】例えば、上記実施形態では、入力された画
像データの色空間を、ＲＧＢ表色系からＬａｂ表色系に
変換して画像処理するようにしたが、スキャナ５０で読
み取って得られた画像データのＲＧＢ表色系等、他の色
空間を使用して画像処理を行うことも可能である。

【００８９】また、上述した文字画像の連続性に着目し
た第１〜第５の評価ポイントを算出する方法は、上記実
施形態で示した式等に限定されるものではない。例え
ば、次式により第２の評価ポイントＰ2nを計算すること
も可能である。

【００９０】

【数４】

【００９１】また、上記実施形態では、文字連続性度Ｐ
n は、第１〜５の評価ポイントに基づいて総合的に求め
られるが、これに限定されるものではない。文字連続性
度Ｐn は、例えば、第１〜５の評価ポイントのうちの一
つ、あるいは二つ以上を任意に組み合わせたものに基づ
いて求められるようにすることも可能である。

【００９２】また、上記実施形態では、出力形式判定部
３３は、文字認識確度Ｃn と文字連続性度Ｐn とに基づ
いて、図６に示す方法で、各文字画像についての出力形
式の判定を行っているが、これに限定されるものではな
い。出力形式判定部３３は、例えば、文字認識確度Ｃn
の閾値ＣＴh を文字連続性度Ｐn に応じて連続的に変化
させる図１０に示す方法で、各文字画像についての出力
形式の判定を行うことも可能である。

【００９３】また、簡易な出力形式の判定処理を行う場
合には、文字画像から文字コードを認識する確からしさ
の度合いを定量的に（例えば１０段階で）検出すること
なく、文字画像から文字コードを認識できたか否かのみ
を検出し、出力形式判定部３３が、文字コードが認識さ
れた文字画像を文字コードデータに変換するか否かを、
文字連続性度を用いて判定するようにしてもよい。

【００９４】さらに、上記実施形態では、画像認識装置
としてコンピュータを例に挙げて説明したが、本発明の
画像認識装置はこれに限定されるものではなく、例えば
同様の処理をスキャナで行ってコンピュータやプリンタ
等に送信するシステム、スキャナから直接画像データを
受信してプリンタで同様の処理を行うシステム、原稿の
読み取りから用紙への印刷までの処理をカラーのデジタ
ルコピー機ですべて行うシステム、等にも適用すること
が可能である。

【００９５】なお、上記した実施形態において、画像認
識の制御は、上記した処理手順（図４、図５参照）を記
述した所定のプログラムを主制御部１１が実行すること
によって行われるものであり、この所定のプログラム
は、コンピュータ読取可能な記録媒体（例えば、フロッ
ピー（登録商標）ディスクやＣＤ−ＲＯＭ等）によって
提供されることもできる。また、この所定のプログラム
は、上記各処理を実行するアプリケーションソフトウェ
アとして提供されてもよいし、コンピュータ、デジタル
コピー機、スキャナ、プリンタ等の各情報機器や管理サ
ーバの一機能として各情報機器や管理サーバのソフトウ
ェアに組み込んでもよい。

【００９６】

【発明の効果】以上説明したように、本発明によれば、
文字画像から文字コードを認識した後に、当該文字画像
を文字コードデータに変換するか否かの判定を、文字連
続性度を用いて行うようにしたので、非文字画像である
図形画像であるにもかかわらず誤って文字コードが認識
されて、文字コードデータとして出力される事態を有効
に防止することができる。

【００９７】しかも、文字連続性度を用いることによ
り、文字コードを認識する確からしさに高目の厳しい閾
値を設けなくても誤認識の文字コードデータを除去する
ことが可能となるため、入力された画像データ中の文字
画像が文字コードデータに変換される割合を高く維持す
ることができる。

【００９８】また、文字コードデータに変換しないと判
定された文字画像のうち文字連続性度が所定値以上の文
字画像を切り出して文字画像データを作成し、隣接する
文字コードデータに重なることなく連続して配置するよ
うにしたので、文字コードデータと文字画像データとを
重なることなく出力することが可能となる。

【図面の簡単な説明】

【図１】 本発明の実施形態に係る画像認識装置を含む
情報機器システムの構成を示す図である。

【図２】 図１に示されるコンピュータの概略構成を示
すブロック図である。

【図３】 各文字画像の位置情報を説明するための図で
ある。

【図４】 画像認識処理を示すフローチャートである。

【図５】 図４に示される出力形式判定処理を示すサブ
ルーチンのフローチャートである。

【図６】 出力形式の判定基準を説明するための図であ
る。

【図７】 文字消去処理を説明するための図である。

【図８】 文字コードデータ、文字画像データ、および
非文字画像である図形画像をそのまま残した画像データ
をあわせて配置した一例を示す図である。

【図９】 文字コードデータ、文字画像データ、および
画像データの内容を別々に示す図である。

【図１０】 出力形式の他の判定基準を説明するための
図である。

【図１１】 非文字である図形が文字部の中に埋め込ま
れた原稿の一例を示す図である。

【図１２】 従来の画像認識装置により、図１１の原稿
を読み取って得られた画像データを画像処理して出力し
た一例を示す図である。

【符号の説明】

１０…コンピュータ（画像認識装置）、 ３１…文字認識部、 ３３…出力形式判定部、 ３４…文字画像データ作成部、 ３６…ファイル作成部。

Claims (9)

【特許請求の範囲】
1. 【請求項１】 画像認識装置において、 入力された画像データ中の文字画像から文字コードを認
   識する文字認識部と、 文字コードが認識された文字画像についての、近隣の文
   字画像との連続性の度合いである文字連続性度を検出す
   る文字連続性度検出部と、 文字コードが認識された文字画像を文字コードデータに
   変換するか否かを、文字連続性度を用いて判定する出力
   形式判定部と、 を有することを特徴とする画像認識装置。
2. 【請求項２】 前記文字連続性度検出部は、文字コード
   が認識された文字画像と該文字画像の近隣の文字画像と
   の距離、文字コードが認識された文字画像と該文字画像
   の近隣の文字画像とのフォントサイズの差、文字コード
   が認識された文字画像と該文字画像の近隣の文字画像と
   のフォントのタイプの相違、文字コードが認識された文
   字画像が含まれる連続した文字画像の列の長さ、および
   文字コードが認識された文字画像と該文字画像の近隣の
   文字画像との色の差のうち、少なくともいずれか一つ以
   上を検出することを特徴とする請求項１に記載の画像認
   識装置。
3. 【請求項３】 前記文字認識部は、さらに文字コードを
   認識する確からしさの度合いである文字認識確度を検出
   し、 前記出力形式判定部は、前記文字認識部により検出され
   た文字認識確度と、前記文字連続性度検出部により検出
   された文字連続性度とに基づいて判定することを特徴と
   する請求項１または２に記載の画像認識装置。
4. 【請求項４】 入力された画像データ中の文字画像が切
   り出されて形成され、隣接する文字コードデータに重な
   ることなく連続して配置される文字画像データを作成す
   る文字画像データ作成部、をさらに有し、 前記出力形式判定部は、文字コードデータに変換しない
   と判定された文字画像のうち文字連続性度が所定値以上
   の文字画像を切り出して、文字画像データを作成すると
   判定することを特徴とする請求項１〜３のいずれかに記
   載の画像認識装置。
5. 【請求項５】 電子ファイルを作成するファイル作成
   部、をさらに有することを特徴とする請求項１〜４のい
   ずれかに記載の画像認識装置。
6. 【請求項６】 原稿を読み取ることによって画像データ
   を得るスキャナ部、をさらに有することを特徴とする請
   求項１〜５のいずれかに記載の画像認識装置。
7. 【請求項７】 画像データを受信する画像データ受信部
   と、データを用紙に印刷するプリント部と、をさらに有
   することを特徴とする請求項１〜６のいずれかに記載の
   画像認識装置。
8. 【請求項８】 画像認識方法において、 入力された画像データ中の文字画像から文字コードを認
   識する過程と、 文字コードが認識された文字画像についての、近隣の文
   字画像との連続性の度合いである文字連続性度を検出す
   る過程と、 文字コードが認識された文字画像を文字コードデータに
   変換するか否かを、文字連続性度を用いて判定する過程
   と、 を有することを特徴とする画像認識方法。
9. 【請求項９】 画像認識プログラムを記録したコンピュ
   ータ読取可能な記録媒体であって、 入力された画像データ中の文字画像から文字コードを認
   識する過程と、 文字コードが認識された文字画像についての、近隣の文
   字画像との連続性の度合いである文字連続性度を検出す
   る過程と、 文字コードが認識された文字画像を文字コードデータに
   変換するか否かを、文字連続性度を用いて判定する過程
   と、 をコンピュータに実行させるための画像認識プログラム
   を記録したコンピュータ読取可能な記録媒体。