JP2002007963A - 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像データ中の文字画像から文字コードを認
識して得られた文字コードデータと文字画像から文字コ
ードデータに変換することなく切り出された文字画像デ
ータとが混在する画像を出力する画像認識装置におい
て、双方の混在によりユーザに与える違和感を低減す
る。 【解決手段】 文字出力形式判定部３３は、例えば単語
等の文字画像集合の中に、文字認識確度が所定値以上の
文字コードデータ候補の文字画像と、文字認識確度が所
定値より小さい文字画像データ候補の文字画像とが混在
する場合、当該単語内の全文字画像を文字コードデータ
に変換することなく切り出して文字画像データを作成す
る旨の判定を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像認識技術に関
し、特に、文字コードを認識する確からしさの度合いが
小さい文字画像を、文字コードデータに変換することな
く文字画像から切り出された文字画像データで出力する
画像認識技術に関する。

【０００２】

【従来の技術】最近の画像認識装置は、読取に関する条
件の良い原稿（例えば同一フォントの文字のみで構成さ
れた原稿）であれば、極めて高い精度で文字画像を文字
コードとして認識可能である。しかしながら、原稿上の
文字の品質が悪かったり、原稿上の文字等のレイアウト
が複雑であると、文字画像を文字コードとして認識する
認識精度が大きく低下し、誤認識される文字画像が増加
してしまう。

【０００３】このような問題に対し、誤認識されている
可能性が高い文字画像を文字コードデータに変換するこ
となく、文字画像データ（例えばビットマップ形式の画
像データ）のまま出力する画像認識装置が提案されてい
る。この画像認識装置によれば、原稿上の文字とは異な
る文字コードデータを出力してしまうことがない。

【０００４】

【発明が解決しようとする課題】しかしながら、誤認識
されている可能性が高い文字画像のみを文字画像データ
として出力した場合、図１２に示すように文字画像デー
タと文字コードデータとの形状に差異が生じてしまい、
ユーザに違和感を与えるといった問題があった（図中矩
形で示す部分は、文字画像データとして出力した部
分）。

【０００５】図１３（Ａ）は、カーニングが行われてい
る文字画像を従来の画像認識装置で出力した場合を示し
ており、文字画像データと文字コードデータとの差異が
顕著である。

【０００６】カーニングとは、隣り合う特定文字の組合
わせで印字するときに、文字間の距離を詰めて空間のバ
ランスの取れた文字配列をすることであり、図１３
（Ａ）では文字画像データである「Ｗ」の右下部分に文
字コードデータの「ｅ」を詰めて配列した例を示してい
る。文字コードデータ「ｅ」の左側の一部分が文字画像
データ「Ｗ」によって隠れてしまっている。

【０００７】また、図１３（Ｂ）は、斜体で表現されて
いる文字画像を出力した場合を示しており、同様に差異
が顕著である。

【０００８】斜体で表現された「Ｗ」の文字画像データ
の右下側には文字画像「ｅ」の左側の一部分が含まれて
おり、文字コードデータで出力された「ｅ」との位置が
ずれている。また、斜体で表現された「ｎ」の文字画像
データの左上部分に文字画像「ｋ」の右側の一部分が含
まれており、文字コードデータで出力された「ｋ」との
位置がずれている。

【０００９】本発明の目的は、画像データ中の文字画像
から文字コードを認識して得られた文字コードデータと
文字画像から文字コードデータに変換することなく切り
出された文字画像データとが混在する画像を出力する画
像認識装置において、双方の混在によりユーザに与える
違和感を低減することである。

【００１０】

【課題を解決するための手段】本発明の目的は、下記す
る手段により達成される。

【００１１】（１） 画像認識装置において、画像デー
タ中の文字画像から文字コードを認識する文字認識部
と、文字コードに応じて、文字画像を文字コードデータ
に変換する変換部と、文字認識部における認識の確から
しさである文字認識確度を検出する文字認識確度検出部
と、個々の文字画像が複数集合して形成された文字画像
集合の中に、文字認識確度が所定確度より低い文字画像
が含まれるか否かを検出する低確度文字画像検出部と、
前記文字画像集合の中に低確度文字画像が含まれている
場合、当該文字画像集合全体に対して文字コードデータ
への変換を制止する制御部と、を有することを特徴とす
る画像認識装置。

【００１２】（２） 画像認識装置において、画像デー
タ中の文字画像から文字コードを認識する文字認識部
と、文字コードに応じて、文字画像を文字コードデータ
に変換する変換部と、文字認識部における認識の確から
しさである文字認識確度を検出する文字認識確度検出部
と、文字認識確度が所定確度より小さく、かつ、文字画
像の並び方向の端縁を通る並び方向に垂直な直線が隣接
する文字画像と交わる特定文字画像が存在するか否かを
検出する特定文字画像検出部と、前記特定文字画像が存
在する場合、当該特定文字画像を含み個々の文字画像が
複数集合して形成された文字画像集合全体に対して文字
コードデータへの変換を制止する制御部と、を有するこ
とを特徴とする画像認識装置。

【００１３】（３） 前記特定文字画像は、斜体を呈
し、前記文字画像集合は、当該特定文字画像を含む単語
を形成していることを特徴とする上記（２）に記載の画
像認識装置。

【００１４】（４） 前記特定文字画像は、隣接する文
字画像とカーニングが行われる組を形成し、前記文字画
像集合は、少なくとも当該特定文字画像とカーニングが
行われる隣接する文字画像との組を含むことを特徴とす
る上記（２）に記載の画像認識装置。

【００１５】（５） 電子ファイルを作成するファイル
作成部、をさらに有することを特徴とする上記（１）ま
たは（２）に記載の画像認識装置。

【００１６】（６） 原稿を読み取ることによって画像
データを得るスキャナ部、をさらに有することを特徴と
する上記（１）または（２）に記載の画像認識装置。

【００１７】（７） 画像データを受信する画像データ
受信部と、データを用紙に印刷するプリント部と、をさ
らに有することを特徴とする上記（１）または（２）に
記載の画像認識装置。

【００１８】（８） 画像認識方法において、画像デー
タ中の文字画像から文字コードを認識する過程と、文字
コードを認識する際の認識の確からしさである文字認識
確度を検出する過程と、個々の文字画像が複数集合して
形成された文字画像集合の中に、文字認識確度が所定確
度より低い文字画像が含まれるか否かを検出する過程
と、前記文字画像集合の中に低確度文字画像が含まれて
いる場合、当該文字画像集合全体に対して文字コードに
応じた文字コードデータへの変換を制止する過程と、を
有することを特徴とする画像認識方法。

【００１９】（９） 画像認識方法において、画像デー
タ中の文字画像から文字コードを認識する過程と、文字
コードを認識する際の認識の確からしさである文字認識
確度を検出する過程と、文字認識確度が所定確度より小
さく、かつ、文字画像の並び方向の端縁を通る並び方向
に垂直な直線が隣接する文字画像と交わる特定文字画像
が存在するか否かを検出する過程と、前記特定文字画像
が存在する場合、当該特定文字画像を含み個々の文字画
像が複数集合して形成された文字画像集合全体に対して
文字コードに応じた文字コードデータへの変換を制止す
る過程と、を有することを特徴とする画像認識方法。

【００２０】（１０） 画像認識プログラムを記録した
コンピュータ読取可能な記録媒体であって、画像データ
中の文字画像から文字コードを認識する過程と、文字コ
ードを認識する際の認識の確からしさである文字認識確
度を検出する過程と、個々の文字画像が複数集合して形
成された文字画像集合の中に、文字認識確度が所定確度
より低い文字画像が含まれるか否かを検出する過程と、
前記文字画像集合の中に低確度文字画像が含まれている
場合、当該文字画像集合全体に対して文字コードに応じ
た文字コードデータへの変換を制止する過程と、をコン
ピュータに実行させるための画像認識プログラムを記録
したコンピュータ読取可能な記録媒体。

【００２１】（１１） 画像認識プログラムを記録した
コンピュータ読取可能な記録媒体であって、画像データ
中の文字画像から文字コードを認識する過程と、文字コ
ードを認識する際の認識の確からしさである文字認識確
度を検出する過程と、文字認識確度が所定確度より小さ
く、かつ、文字画像の並び方向の端縁を通る並び方向に
垂直な直線が隣接する文字画像と交わる特定文字画像が
存在するか否かを検出する過程と、前記特定文字画像が
存在する場合、当該特定文字画像を含み個々の文字画像
が複数集合して形成された文字画像集合全体に対して文
字コードに応じた文字コードデータへの変換を制止する
過程と、をコンピュータに実行させるための画像認識プ
ログラムを記録したコンピュータ読取可能な記録媒体。

【００２２】

【発明の実施の形態】以下、添付した図面を参照して、
本発明の実施形態を説明する。

【００２３】図１は、本発明の第１実施形態に係る画像
認識装置を含む情報機器システムの構成図である。

【００２４】情報機器システム１００は、画像認識装置
としての機能を有するコンピュータ１０、画像入力装置
であるスキャナ５０、および、画像出力装置であるプリ
ンタ６０等の情報機器がネットワークＮ上に接続されて
構成されている。

【００２５】コンピュータ１０、スキャナ５０、およ
び、プリンタ６０は、ネットワークＮを経由して互いに
データの授受を行うことができる。

【００２６】図２は、コンピュータ１０の概略構成を示
すブロック図である。

【００２７】コンピュータ１０は、各情報機器との間で
データの授受を行うためのインターフェース（Ｉ／Ｆ）
１８と、スキャナ５０を制御するためのスキャナドライ
バ１２と、プリンタ６０を制御するためのプリンタドラ
イバ１４と、所定のプログラムやデータを記憶するＲＯ
Ｍ１５と、一時的にデータを記憶するＲＡＭ１６と、各
種情報の表示やユーザからの指示入力が可能な操作パネ
ル１７と、文字認識等の処理を行う画像処理部１３（詳
細後述）と、上記各部を制御する主制御部１１とを有し
ている。なお、スキャナドライバ１２、プリンタドライ
バ１４は、ソフトウェアであり、図示しないハードディ
スク等の記憶装置に記憶されている。

【００２８】図１に示す情報機器システムの動作指示
は、コンピュータ１０の操作パネル１７から行うことが
できる。本実施形態において操作パネル１７は、コンピ
ュータ１０のディスプレイ上に表示される架空のパネル
であり、コンピュータ１０を操作するためのキーボード
やマウス等の機器により、動作指示を行う。

【００２９】例えば、操作パネル１７上にはスキャン＆
ファイルボタンとスキャン＆プリントボタンとが表示さ
れており、スキャン＆ファイルボタンで動作指示を行っ
た場合には、スキャナ５０は原稿読取動作を開始し、読
み取りによって得られた画像データはコンピュータ１０
に送信され、画像処理部１３にて文字認識等の画像処理
がなされた後、所定の形式のファイルとしてコンピュー
タ１０内の記憶装置に保存される。

【００３０】また、スキャン＆プリントボタンで動作指
示を行った場合には、スキャナ５０の読み取りによって
得られた画像データは、画像処理部１３にて文字認識等
の画像処理がなされた後、プリンタ６０に送信され用紙
上に印刷される。

【００３１】次に、画像処理部１３について詳細に説明
する。

【００３２】画像処理部１３は、文字認識部３１、文字
色検出部３２、文字出力形式判定部３３、文字画像デー
タ作成部３４、文字消去部３５、およびファイル作成部
３６を備えている。

【００３３】文字認識部３１は、個々の文字画像から文
字コードを認識して文字コードデータを得るほか、文字
コードを認識する確からしさの度合いである文字認識確
度を検出する。文字画像から文字コードを認識する方法
は、例えば、各文字画像の特徴量とあらかじめ記憶され
ている辞書パターンとの一致の度合いに基づいて行われ
る。文字認識確度は、例えば１０段階で与えられ、値が
大きいと文字認識確度が高いことを意味する。また、文
字認識部３１は、文字画像の位置情報を認識する。個々
の文字画像の位置情報は、例えば図３に示すように、画
像データの左上を原点として、各文字画像の外接矩形の
左上および右下の座標として得られる。さらに、文字認
識部３１は、文字画像から、フォントの種類やフォント
サイズ、さらには斜体などのスタイル、等の文字属性を
認識する。フォントは、所定の数種類の代表的な出力フ
ォントに分類されて判別される。また、文字色検出部３
２は、文字コードが認識された個々の文字画像の色を検
出する。

【００３４】文字出力形式判定部３３は、画像データ中
の文字画像を、文字コードデータに変換するか、あるい
は文字コードデータに変換せずに、文字画像を切り出し
て文字画像データを作成するかの判定を行う。そして、
文字画像データ作成部３４は、文字画像データを作成す
る旨の判定が行われた文字画像を、入力された画像デー
タから切り出して文字画像データを作成する。

【００３５】文字消去部３５は、元の画像データ、すな
わち入力されたカラーの画像データから、文字コードデ
ータまたは文字画像データとされた後の元の文字画像を
消去する。

【００３６】ファイル作成部３６は、入力された画像デ
ータ中の文字画像から得られた文字コードデータや文字
画像データを用いて、所定の形式のファイルを作成す
る。

【００３７】次に、画像処理部１３の動作を図４および
図５のフローチャートを用いて説明する。

【００３８】まず、スキャナ５０で原稿を読み取ること
によって得られた画像データに対し、ＲＧＢ表色系から
Ｌａｂ表色系へと色空間の変換を行う（Ｓ１１）。Ｌａ
ｂ表色系は、スキャナあるいはプリンタ等の個々の情報
機器に依存しないので、ネットワークＮ上で共通の色情
報として扱うことができるものである。

【００３９】次に、文字認識部３１に入力する画像デー
タを作成するために、ＯＣＲ前処理が行われる（Ｓ１
２）。後に文字認識部３１がモノクロ２値画像データか
ら特徴量を抽出して文字コードの認識を行うことから、
ＯＣＲ前処理では、まず、Ｌａｂ表色系で表示されたカ
ラー画像データに対して２値化処理を行うことにより、
文字画像が黒で、その背景画像が白のモノクロ２値画像
データを作成する。本実施形態では、文字画像およびそ
の背景画像のＬ、ａ、ｂのレベルを検出することによ
り、例えば白地に書かれた色文字や、色地に書かれた黒
文字等が原稿上に表されていても、原稿を読み取って得
られた画像データ中の文字画像から十分に文字コードを
認識することができるように２値化処理を行う。この
他、ＯＣＲ前処理では、入力された画像データ中の孤立
点等のノイズの除去、原稿が傾いて読み取られた場合の
補正処理、つぶれたりかすれたりしている文字画像の補
正なども行われる。

【００４０】ＯＣＲ前処理により得られたモノクロ２値
画像データは、文字認識部３１に入力され、文字認識処
理が行われる（Ｓ１３）。文字認識部３１は、モノクロ
２値画像データから文字画像が存在する文字領域の抽出
を行った後、文字領域内の個々の文字画像から文字コー
ドを認識する。また、文字認識部３１は、文字コードを
認識する確からしさの度合いである文字認識確度を検出
することができ、さらに、文字画像の位置情報のほか、
フォントの種類、フォントサイズ、斜体などのスタイル
等の文字属性を認識する。この結果、文字認識部３１か
らは、個々の文字画像に対して、文字コードデータの
他、文字認識確度、位置情報、およびフォントの種類等
の文字属性などの情報が出力される。

【００４１】次いで、文字色検出処理が行われる（Ｓ１
４）。すなわち、文字コードが認識された個々の文字画
像の色は、文字色検出部３２により検出される。ここで
は、Ｌａｂ表色系に色変換された画像データが使用され
る。文字画像の色の検出は、例えば、画像データ中の文
字画像が存在する文字領域のＬａｂの値を読み取り、文
字画像を構成する全画素について、Ｌ、ａ、ｂそれぞれ
の平均値を求めることにより行う。文字画像とその背景
画像との画素の区別は、ＯＣＲ前処理（Ｓ１２）で得ら
れたモノクロ２値画像データを用いて行う。つまり、個
々の文字画像の外接矩形内において、モノクロ２値画像
データにおける黒画素を文字画像の画素、白画素を背景
画像の画素と区別することができる。

【００４２】文字画像を文字コードデータに変換して出
力する場合、文字色検出部３２により検出された個々の
文字画像の色情報に基づいて、色を指定して文字コード
データが出力される。これにより、例えば原稿上の文字
の色を再現することができる。

【００４３】そして、画像データ中の個々の文字画像に
ついて出力形式の判定処理が行われる（Ｓ１５）。すな
わち、文字出力形式判定部３３により、画像データ中の
文字画像を、文字コードデータに変換するか、あるいは
文字コードデータに変換せずに、文字画像を切り出して
文字画像データを作成するかの判定が行われる。

【００４４】文字出力形式判定部３３は、まず、文字認
識確度が所定値以上の文字画像を、文字コードデータに
変換する候補の文字画像とし、文字認識確度が所定値よ
り小さい文字画像を、文字画像データを作成する候補の
文字画像とする。そして、文字出力形式判定部３３は、
単語や文字画像ブロック内での後述する特別な文字出力
形式の判定処理が行われない場合には、個々の文字画像
ごとに、候補とされた内容通りの文字出力形式の判定を
行う。すなわち、文字認識確度が所定値以上の文字コー
ドデータ候補の文字画像は、文字コードデータで出力
し、文字認識確度が所定値より小さい文字画像データ候
補の文字画像は、文字画像データで出力する旨の文字出
力形式の判定が行われる。

【００４５】本実施形態の文字出力形式判定部３３は、
個々の文字画像が複数集合して形成された文字画像集合
として、単語と、パラグラフ程度に文字画像が存在する
集合である文字画像ブロックとを取り上げ、それらの文
字画像集合の中に、文字認識確度が所定値より小さい文
字画像データ候補の文字画像がどの程度混在しているか
を検出して、以下に説明するように文字コードデータと
文字画像データとを違和感なく出力させるための判定を
行う。

【００４６】具体的には、図５に示すように、まず、注
目する単語の順番を示す変数ｊと、注目する文字画像ブ
ロックの順番を示す変数ｋとを初期化する（Ｓ２１）。

【００４７】次に、注目単語についての出力形式の判定
を開始する。すなわち、注目単語内の個々の文字画像の
中で、例えば１０段階で表される文字認識確度Ｃが所定
の閾値Ｔh1より小さい文字画像データ候補の文字画像が
いくつあるかをカウントし、Ｎb とする（Ｓ２２）。な
お、閾値Ｔh1は、適宜設定することができる。

【００４８】注目単語内において、文字画像データ候補
の文字画像の数Ｎb が所定の閾値Ｔh2より大きい場合
（Ｓ２３でＹＥＳ）、注目単語内の全文字画像を切り出
して文字画像データを作成する旨の出力形式の判定を行
う（Ｓ２４）。なお、閾値Ｔh2は、適宜設定することが
でき、例えば文字画像データ候補の文字画像の数が１個
以上あった場合でも注目単語内の全文字画像を切り出し
て文字画像データを作成すると判定させることが可能で
ある。また、閾値Ｔh2は、例えば単語内の文字画像の総
数によって変化させることも可能である。さらに、注目
単語内における文字画像データ候補の文字画像の数Ｎb
を判定に使用する代わりに、数Ｎb を単語内の文字画像
の総数で除した割合を判定に使用することも勿論可能で
ある。

【００４９】そして、注目する単語の順番を示す変数ｊ
を繰り上げ（Ｓ２５）、画像データ内の全単語につい
て、上記の処理を繰り返し行う（Ｓ２６）。

【００５０】次に、注目文字画像ブロックについての出
力形式の判定を開始する。本実施形態では、文字画像ブ
ロック内に存在する個々の文字画像の総数Ｎt が所定の
閾値Ｔh3以下である場合（Ｓ２７でＹＥＳ）にのみ、特
別な文字出力形式の判定を行うようにしている。

【００５１】まず、上記した注目単語についての文字出
力形式の判定と同様に、注目文字画像ブロック内の個々
の文字画像の中で、文字認識確度Ｃが所定の閾値Ｔh1よ
り小さい文字画像データ候補の文字画像がいくつあるか
をカウントし、Ｎb とする（Ｓ２８）。

【００５２】注目文字画像ブロック内において、文字画
像データ候補の文字画像の数Ｎb を文字画像の総数Ｎt
で除した割合Ｎb ／Ｎt が所定の閾値Ｔh4より大きい場
合（Ｓ２９でＹＥＳ）、注目文字画像ブロック内の全文
字画像を切り出して文字画像データを作成する旨の文字
出力形式の判定を行う（Ｓ３０）。なお、閾値Ｔh4は、
例えば６０％等、適宜設定することができ、例えば文字
画像ブロック内の文字画像の総数Ｎt によって変化させ
ることも可能である。さらに、割合Ｎb ／Ｎtの閾値Ｔh
4を判定に使用する代わりに、文字画像データ候補の文
字画像の数Ｎbを判定に使用することも勿論可能であ
る。

【００５３】一方、文字画像ブロック内に存在する個々
の文字画像の総数Ｎt が所定の閾値Ｔh3より大きい場合
（Ｓ２７でＹＥＳ）、上記した特別な文字出力形式の判
定処理は行われない。

【００５４】つまり、本実施形態では、文字画像ブロッ
クは、前述したように、例えば図６に示される矩形領域
Ｒ1 ，Ｒ2 等のような、パラグラフ程度に文字画像が存
在する集合をいう。ここで、閾値Ｔh3は、適宜設定する
ことができ、例えば若干少なく設定し、タイトルや脚注
等の１〜２行の文字画像からなる文字画像ブロックにつ
いて文字出力形式の判定処理を行うようにしてもよい。
特に、タイトルには、様々なフォントが使われており、
文字画像データと文字コードデータとが混在して出力さ
れると、フォントの差異が目立つ可能性が高いので、文
字画像ブロック単位で文字出力形式の判定を行う利点が
大きい。なお、あまり一般的でないフォントが使われて
いると文字認識確度も全体的に低下するので、原稿上の
フォントが文字コード認識の際に想定している一般的な
フォントと異なる場合には、画像データ中の文字画像
は、結果的に、文字コードデータに変換されずに文字画
像データで出力されることになる。

【００５５】そして、注目する文字画像ブロックの順番
を示す変数ｋを繰り上げ（Ｓ３１）、画像データ内の全
文字画像ブロックについて、上記の処理を繰り返し行う
（Ｓ３２）。

【００５６】このようにして、画像データ中の個々の文
字画像について文字出力形式の判定処理が終了すると、
図４に示すメインフローチャートに戻り、文字画像デー
タの作成が行われる（Ｓ１６）。すなわち、文字認識部
３１から出力される文字画像の位置情報にしたがって、
画像データ中の文字画像を切り出して文字画像データを
作成する。このとき、個々の文字画像ごとに外接矩形領
域の画像データが切り出される。但し、単語や文字画像
ブロック内の全文字画像を切り出して文字画像データを
作成するような、連続した文字画像の集合を切り出す場
合、例えば単語内のｎ番目の文字画像の位置情報、すな
わち外接矩形の左上および右下の座標を（Ｘ1n，Ｙ1
n）、（Ｘ2n，Ｙ2n）とすると、（Ｍｉｎ（Ｘ1n），Ｍ
ｉｎ（Ｙ1n））、（Ｍａｘ（Ｘ2n），Ｍａｘ（Ｙ2n））
で指定される単語内の全文字画像を含む矩形領域の画像
データが切り出される。

【００５７】ここで、文字画像データとして出力する文
字画像を、原稿を読み取って得られた画像データとして
元の位置に残さず、例えば単語単位で切り出すのは、文
字コードデータと文字画像データとが重ならないように
するためである。つまり、一般に入力フォントと出力フ
ォントとが全く同じである場合は少ないので、例えば文
字画像から変換された文字コードデータが配置される位
置と、入力された画像データ中の当該文字画像の位置と
は、多少ずれてしまう。したがって、文字画像を、一文
字画像ずつ、あるいは一単語ずつ切り出さずに画像デー
タとして元の位置に残した場合、そのまま文字コードデ
ータを配置すると、文字コードデータと原稿を読み取っ
て得られた元の画像データ中の文字画像とが重なるとい
った問題が生じ得る。そこで、本実施形態では、一文字
画像ずつ、あるいは一単語ずつ切り出しておいて、文字
画像データを作成し、例えば文字コードデータを出力フ
ォントで配置した位置に続けて、切り出しておいた文字
画像データを配置する。

【００５８】次に、文字消去処理が行われる（Ｓ１
７）。すなわち、文字画像から文字コードデータまたは
文字画像データを得た後、文字消去部３５により、原稿
を読み取って得られたカラーの画像データから、文字コ
ードデータまたは文字画像データとされた後の元の文字
画像が消去される。

【００５９】図７は、文字消去処理を説明するための図
である。図７に示すように、個々の文字画像の外接矩形
内における画像データ（図７（Ａ））から、文字画像に
当たる部分を一旦消去し（図７（Ｂ））、周囲の画像デ
ータで補完する（図７（Ｃ））。消去する部分は、当該
文字画像の外接矩形内におけるモノクロ２値画像データ
から黒を２〜３画素膨張させる処理を行うことによって
求める。なお、原稿を読み取って得られた元の画像デー
タから文字画像に当たる部分を除去した後の画像データ
には、図７（Ｂ）に示すように、文字画像以外の画像デ
ータ、すなわち、写真や線画に対応する画像、背景画像
などが残っている。

【００６０】以上の処理を実施することにより、例えば
図８に示すように、画像データ中の文字画像から、文字
コードデータＤ1 と文字画像データＤ2 とが、また、非
文字画像である図形画像をそのまま残した画像データＤ
3 が得られる。

【００６１】そして、これらの文字コードデータ、文字
画像データ、および画像データは、所定のファイル形式
でページ内に配置されて保存される（Ｓ１８）。なお、
スキャン＆プリントボタンが選択されている場合は、所
定のデータがプリンタ６０に送信されて用紙に印刷され
る。

【００６２】このように、本実施形態によれば、文字コ
ードデータと文字画像データとの双方を、両者の位置ず
れやフォントの差異を目立たなくしてユーザに与える違
和感を低減しつつ、自然に配置することが可能となる。

【００６３】図９は、本発明の第２実施形態に係る画像
認識装置の文字出力形式判定処理を示すサブルーチンの
フローチャートである。

【００６４】この第２実施形態は、上述した第１実施形
態と画像認識処理における文字出力形式判定処理（図４
のＳ１５）の内容（図５参照）が相違している。以下、
第２実施形態の画像認識処理について、第１実施形態と
の相違点を中心に説明する。

【００６５】スキャナ５０で原稿を読み取ることによっ
て得られた画像データに対し、図４に示すように、色空
間の変換（Ｓ１１）、ＯＣＲ前処理（Ｓ１２）、文字認
識処理（Ｓ１３）、および文字色検出処理（Ｓ１４）
が、上述した第１実施形態と同様に行われた後、画像デ
ータ中の個々の文字画像について文字出力形式の判定処
理が行われる（Ｓ１５）。すなわち、文字出力形式判定
部３３により、画像データ中の文字画像を、文字コード
データに変換するか、あるいは文字コードデータに変換
せずに、文字画像を切り出して文字画像データを作成す
るかの判定が行われる。

【００６６】本実施形態の文字出力形式判定部３３は、
個々の文字画像ごとに、文字認識確度が所定値より小さ
く、かつ、文字画像の並び方向の端縁を通る並び方向に
垂直な直線が隣接する文字画像と交わるような特定文字
画像が存在するか否かを検出し、以下に説明するように
文字コードデータと文字画像データとを違和感なく出力
させるための判定を行う。

【００６７】具体的には、図９に示すように、まず、注
目する個々の文字画像の順番を示す変数ｎを初期化する
（Ｓ４１）。

【００６８】次に、注目文字画像の文字認識確度Ｃが所
定の閾値Ｔh より小さいか否かが判断される（Ｓ４
２）。文字出力形式判定部３３は、あらかじめ、文字認
識確度Ｃが所定の閾値Ｔh 以上の文字画像を、文字コー
ドデータに変換する候補の文字画像とし、文字認識確度
Ｃが所定の閾値Ｔh より小さい文字画像を、文字画像デ
ータを作成する候補の文字画像とする。そして、文字出
力形式判定部３３は、斜体の文字画像やカーニングが行
われる文字画像に対する後述する特別な出力形式の判定
処理が行われない場合には、個々の文字画像ごとに、候
補とされた内容通りの文字出力形式の判定を行う。すな
わち、文字認識確度Ｃが閾値Ｔh 以上の文字コードデー
タ候補の文字画像は、文字コードデータで出力し、文字
認識確度Ｃが閾値Ｔh より小さい文字画像データ候補の
文字画像は、文字画像データで出力する旨の出力形式の
判定が行われる（Ｓ４３、Ｓ４４）。なお、閾値Ｔh1
は、適宜設定することができる。

【００６９】このように、文字出力形式判定部３３は、
基本的には、個々の文字画像ごとに、候補とされた内容
通りの文字出力形式の判定を行うが、文字画像の並び方
向の端縁を通る並び方向に垂直な直線が隣接する文字画
像と交わるような、斜体の文字画像やカーニングが行わ
れる文字画像について、同様の判定を行うと問題が生じ
る。つまり、前述したように、用紙上に印刷された文字
の一部において文字コードデータで印刷された文字と文
字画像データで印刷された文字とが２重書きになった
り、あるいは文字コードデータで印刷された文字の一部
が文字画像データで印刷された文字によって上書きされ
て継ぎ目でずれてしまったりする。そこで、本実施形態
では、個々の文字画像について、文字コードデータ候補
の文字画像か、あるいは文字画像データ候補の文字画像
かを決定した後に、以下に述べるように、さらに当該文
字画像が斜体の文字画像やカーニングが行われる文字画
像であるか否かを調べ、適切な文字出力形式の判定を行
う。

【００７０】すなわち、注目文字画像の文字認識確度Ｃ
が所定の閾値Ｔh より小さい場合、当該文字画像が斜体
を呈しているか否かが判断される（Ｓ４５）。文字画像
が斜体を呈しているか否かの文字属性の情報は、文字認
識部３１で認識され、個々の文字画像ごとに文字属性情
報として記憶されている。そして、当該文字画像が斜体
を呈している場合（Ｓ４５でＹＥＳ）、当該斜体の文字
画像を含む文字画像集合としての単語内の全文字画像を
切り出して文字画像データを作成する旨の出力形式の判
定を行う（Ｓ４６）。

【００７１】次に、注目文字画像が、１つ前の文字画像
とカーニングが行われる組を形成しているか否かが判断
される（Ｓ４７）。カーニングが行われる文字画像の組
は、あらかじめデータとして記憶されており、例えば、
ＷＡ、ＶＡ、Ｗｅ等が挙げられる。なお、カーニングが
行われる組を形成しているとの判断には、組を成す個々
の文字画像がそれぞれ外接矩形の位置情報を有してい
て、両者の隙間が詰められる処理がなされている場合だ
けではなく、組を成す２つの文字画像の隙間があらかじ
め詰められていて、一体となった１つの外接矩形の位置
情報を有している場合も含まれる。また、注目文字画像
が、１つ後の文字画像あるいは前後の文字画像とカーニ
ングが行われる組を形成しているか否かを判断するよう
にしてもよい。

【００７２】当該注目文字画像が１つ前の文字画像とカ
ーニングが行われる組を形成している場合（Ｓ４７でＹ
ＥＳ）、文字画像集合としてのカーニングが行われる組
を成す両文字画像を切り出して文字画像データを作成す
る旨の出力形式の判定を行う（Ｓ４８）。なお、この場
合（Ｓ４７でＹＥＳ）、カーニングが行われる組を含む
単語内の全文字画像を切り出して文字画像データを作成
する旨の出力形式の判定を行うことも可能である。

【００７３】そして、注目する文字画像の順番を示す変
数ｎを繰り上げ（Ｓ４９）、画像データ内の全文字画像
について、上記の処理を繰り返し行う（Ｓ５０）。

【００７４】このようにして、画像データ中の個々の文
字画像について文字出力形式の判定処理が終了すると、
図４に示すメインフローチャートに戻り、文字画像デー
タの作成が行われる（Ｓ１６）。すなわち、文字認識部
３１から出力される文字画像の位置情報にしたがって
（図３参照）、画像データ中の文字画像を切り出して文
字画像データを作成する。

【００７５】このとき、個々の文字画像ごとに外接矩形
領域の画像データが切り出される。但し、単語内の全文
字画像や、カーニングが行われる組を成す両文字画像を
切り出して文字画像データを作成するような、連続した
文字画像の集合の切り出しは、以下のように行われる。

【００７６】例えば、図１０に示すように、文字画像が
斜体を呈している場合、斜体の文字画像を含む単語内の
ｎ番目の文字画像の位置情報、すなわち外接矩形の左上
および右下の座標を（Ｘ1n，Ｙ1n）、（Ｘ2n，Ｙ2n）と
すると、（Ｍｉｎ（Ｘ1n），Ｍｉｎ（Ｙ1n））、（Ｍａ
ｘ（Ｘ2n），Ｍａｘ（Ｙ2n））で指定される単語内の全
文字画像を含む矩形領域の画像データが切り出される。

【００７７】また、図１１に示すように、文字画像がカ
ーニングが行われる組を形成している場合、前の文字画
像の位置情報、すなわち外接矩形の左上および右下の座
標を（Ｘ1n，Ｙ1n）、（Ｘ2n，Ｙ2n）、後の文字画像の
位置情報を（Ｘ1n+1，Ｙ1n+1）、（Ｘ2n+1，Ｙ2n+1）と
すると、（Ｘ1n，Ｙ1n）、（Ｘ2n+1，Ｙ2n+1）で指定さ
れる矩形領域の画像データが切り出される。

【００７８】ここで、文字画像データとして出力する文
字画像を、原稿を読み取って得られた画像データとして
元の位置に残さず、例えば単語単位で切り出すのは、前
述したように、文字コードデータと文字画像データとが
重ならないようにするためである。

【００７９】次に、上記した第１実施形態と同様にし
て、文字消去処理（Ｓ１７）、および所定の形式でのフ
ァイル作成（Ｓ１８）が行われる。なお、スキャン＆プ
リントボタンが選択されている場合は、所定のデータが
プリンタ６０に送信されて用紙に印刷される。

【００８０】このように、本実施形態によれば、文字コ
ードデータと文字画像データとの双方を、両者が２重書
きされたり継ぎ目でずれてしまったりすることを防止し
てユーザに与える違和感を低減しつつ、自然に配置する
ことが可能となる。

【００８１】本発明は、上記した実施形態のみに限定さ
れるものではなく、特許請求の範囲内において、種々改
変することができる。

【００８２】例えば、上記実施形態では、入力された画
像データの色空間を、ＲＧＢ表色系からＬａｂ表色系に
変換して画像処理するようにしたが、スキャナ５０で読
み取って得られた画像データのＲＧＢ表色系等、他の色
空間を使用して画像処理を行うことも可能である。

【００８３】また、文字出力形式判定部３３は、文字コ
ードデータ変換候補の文字画像であるか否かを決定する
ための評価量として、文字認識確度を用いたが、この文
字認識確度以外に、文字画像の位置情報や色情報から得
られる文字らしさ（文字連続性）の度合いを組み合わせ
た評価量を用いることも可能である。

【００８４】また、注目単語あるいは文字画像ブロック
内の全文字画像を切り出して文字画像データを作成する
旨の判定を行う際に、例えば注目単語内における文字認
識確度が所定値より小さい文字画像の数Ｎb を判定に使
用したが、注目単語内における全文字画像の文字認識確
度の平均値を判定に使用することも可能である。

【００８５】また、上記実施形態では、画像認識装置と
してコンピュータを例に挙げて説明したが、本発明の画
像認識装置はこれに限定されるものではなく、例えば同
様の処理をスキャナで行ってコンピュータやプリンタ等
に送信するシステム、スキャナから直接画像データを受
信してプリンタで同様の処理を行うシステム、原稿の読
み取りから用紙への印刷までの処理をカラーのデジタル
コピー機ですべて行うシステム、等にも適用することが
可能である。

【００８６】なお、上記した実施形態において、画像認
識の制御は、上記した処理手順（図４、図５等参照）を
記述した所定のプログラムを主制御部１１が実行するこ
とによって行われるものであり、この所定のプログラム
は、コンピュータ読取可能な記録媒体（例えば、フロッ
ピー（登録商標）ディスクやＣＤ−ＲＯＭ等）によって
提供されることもできる。また、この所定のプログラム
は、上記各処理を実行するアプリケーションソフトウェ
アとして提供されてもよいし、コンピュータ、デジタル
コピー機、スキャナ、プリンタ等の各情報機器や管理サ
ーバの一機能として各情報機器や管理サーバのソフトウ
ェアに組み込んでもよい。

【００８７】

【発明の効果】以上説明したように、本発明によれば、
文字画像集合の中に、文字認識確度が所定確度より低い
文字画像が含まれている場合、当該文字画像集合全体に
対して文字コードデータへの変換を制止することによっ
て、文字コードデータと文字画像データとが混在するこ
とによる両者の位置ずれやフォントの差異を目立たなく
することができ、ユーザに与える違和感を低減すること
が可能となる。

【００８８】また、文字認識確度が所定確度より小さ
く、かつ、文字画像の並び方向の端縁を通る並び方向に
垂直な直線が隣接する文字画像と交わる特定文字画像が
存在する場合、当該特定文字画像を含み個々の文字画像
が複数集合して形成された文字画像集合全体に対して文
字コードデータへの変換を制止することによって、文字
コードデータと文字画像データとが２重書きされたり継
ぎ目でずれてしまったりすることを防止することがで
き、ユーザに与える違和感を低減することが可能とな
る。

【図面の簡単な説明】

【図１】 本発明の第１実施形態に係る画像認識装置を
含む情報機器システムの構成図である。

【図２】 図１に示されるコンピュータの概略構成を示
すブロック図である。

【図３】 各文字画像の位置情報を説明するための図で
ある。

【図４】 画像認識処理を示すフローチャートである。

【図５】 図４に示される文字出力形式判定処理を示す
サブルーチンのフローチャートである。

【図６】 文字画像ブロックを説明するための図であ
る。

【図７】 文字消去処理を説明するための図である。

【図８】 文字コードデータ、文字画像データ、および
非文字画像である図形画像をそのまま残した画像データ
を配置した図である。

【図９】 本発明の第２実施形態に係る画像認識装置の
文字出力形式判定処理を示すサブルーチンのフローチャ
ートである。

【図１０】 単語内の斜体の全文字画像を含む矩形領域
の画像データが切り出された一例を示す図である。

【図１１】 カーニングが行われる組の両文字画像を含
む矩形領域の画像データが切り出された一例を示す図で
ある。

【図１２】 従来の画像認識装置により、文字コードデ
ータと文字画像データとを配置した一例を示す図であ
る。

【図１３】 従来の画像認識装置により、文字コードデ
ータと文字画像データとを配置した一例を示す図であ
る。

【符号の説明】

１０…コンピュータ（画像認識装置）、 ３１…文字認識部、 ３３…文字出力形式判定部、 ３６…ファイル作成部。

Claims (11)

【特許請求の範囲】
1. 【請求項１】 画像認識装置において、 画像データ中の文字画像から文字コードを認識する文字
   認識部と、 文字コードに応じて、文字画像を文字コードデータに変
   換する変換部と、 文字認識部における認識の確からしさである文字認識確
   度を検出する文字認識確度検出部と、 個々の文字画像が複数集合して形成された文字画像集合
   の中に、文字認識確度が所定確度より低い文字画像が含
   まれるか否かを検出する低確度文字画像検出部と、 前記文字画像集合の中に低確度文字画像が含まれている
   場合、当該文字画像集合全体に対して文字コードデータ
   への変換を制止する制御部と、 を有することを特徴とする画像認識装置。
2. 【請求項２】 画像認識装置において、 画像データ中の文字画像から文字コードを認識する文字
   認識部と、 文字コードに応じて、文字画像を文字コードデータに変
   換する変換部と、 文字認識部における認識の確からしさである文字認識確
   度を検出する文字認識確度検出部と、 文字認識確度が所定確度より小さく、かつ、文字画像の
   並び方向の端縁を通る並び方向に垂直な直線が隣接する
   文字画像と交わる特定文字画像が存在するか否かを検出
   する特定文字画像検出部と、 前記特定文字画像が存在する場合、当該特定文字画像を
   含み個々の文字画像が複数集合して形成された文字画像
   集合全体に対して文字コードデータへの変換を制止する
   制御部と、 を有することを特徴とする画像認識装置。
3. 【請求項３】 前記特定文字画像は、斜体を呈し、前記
   文字画像集合は、当該特定文字画像を含む単語を形成し
   ていることを特徴とする請求項２に記載の画像認識装
   置。
4. 【請求項４】 前記特定文字画像は、隣接する文字画像
   とカーニングが行われる組を形成し、前記文字画像集合
   は、少なくとも当該特定文字画像とカーニングが行われ
   る隣接する文字画像との組を含むことを特徴とする請求
   項２に記載の画像認識装置。
5. 【請求項５】 電子ファイルを作成するファイル作成
   部、をさらに有することを特徴とする請求項１または２
   に記載の画像認識装置。
6. 【請求項６】 原稿を読み取ることによって画像データ
   を得るスキャナ部、をさらに有することを特徴とする請
   求項１または２に記載の画像認識装置。
7. 【請求項７】 画像データを受信する画像データ受信部
   と、データを用紙に印刷するプリント部と、をさらに有
   することを特徴とする請求項１または２に記載の画像認
   識装置。
8. 【請求項８】 画像認識方法において、 画像データ中の文字画像から文字コードを認識する過程
   と、 文字コードを認識する際の認識の確からしさである文字
   認識確度を検出する過程と、 個々の文字画像が複数集合して形成された文字画像集合
   の中に、文字認識確度が所定確度より低い文字画像が含
   まれるか否かを検出する過程と、 前記文字画像集合の中に低確度文字画像が含まれている
   場合、当該文字画像集合全体に対して文字コードに応じ
   た文字コードデータへの変換を制止する過程と、 を有することを特徴とする画像認識方法。
9. 【請求項９】 画像認識方法において、 画像データ中の文字画像から文字コードを認識する過程
   と、 文字コードを認識する際の認識の確からしさである文字
   認識確度を検出する過程と、 文字認識確度が所定確度より小さく、かつ、文字画像の
   並び方向の端縁を通る並び方向に垂直な直線が隣接する
   文字画像と交わる特定文字画像が存在するか否かを検出
   する過程と、 前記特定文字画像が存在する場合、当該特定文字画像を
   含み個々の文字画像が複数集合して形成された文字画像
   集合全体に対して文字コードに応じた文字コードデータ
   への変換を制止する過程と、 を有することを特徴とする画像認識方法。
10. 【請求項１０】 画像認識プログラムを記録したコンピ
    ュータ読取可能な記録媒体であって、 画像データ中の文字画像から文字コードを認識する過程
    と、 文字コードを認識する際の認識の確からしさである文字
    認識確度を検出する過程と、 個々の文字画像が複数集合して形成された文字画像集合
    の中に、文字認識確度が所定確度より低い文字画像が含
    まれるか否かを検出する過程と、 前記文字画像集合の中に低確度文字画像が含まれている
    場合、当該文字画像集合全体に対して文字コードに応じ
    た文字コードデータへの変換を制止する過程と、 をコンピュータに実行させるための画像認識プログラム
    を記録したコンピュータ読取可能な記録媒体。
11. 【請求項１１】 画像認識プログラムを記録したコンピ
    ュータ読取可能な記録媒体であって、 画像データ中の文字画像から文字コードを認識する過程
    と、 文字コードを認識する際の認識の確からしさである文字
    認識確度を検出する過程と、 文字認識確度が所定確度より小さく、かつ、文字画像の
    並び方向の端縁を通る並び方向に垂直な直線が隣接する
    文字画像と交わる特定文字画像が存在するか否かを検出
    する過程と、 前記特定文字画像が存在する場合、当該特定文字画像を
    含み個々の文字画像が複数集合して形成された文字画像
    集合全体に対して文字コードに応じた文字コードデータ
    への変換を制止する過程と、 をコンピュータに実行させるための画像認識プログラム
    を記録したコンピュータ読取可能な記録媒体。